CN115034974A - 可见光与红外融合图像类自然色还原方法、设备及储存介质 - Google Patents
可见光与红外融合图像类自然色还原方法、设备及储存介质 Download PDFInfo
- Publication number
- CN115034974A CN115034974A CN202210485261.1A CN202210485261A CN115034974A CN 115034974 A CN115034974 A CN 115034974A CN 202210485261 A CN202210485261 A CN 202210485261A CN 115034974 A CN115034974 A CN 115034974A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- visible light
- initial
- natural color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000012467 final product Substances 0.000 claims abstract description 4
- 238000012546 transfer Methods 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 abstract description 12
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000005057 refrigeration Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005574 cross-species transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种可见光与红外融合图像类自然色还原方法、设备及储存介质,涉及图像处理技术领域。S1、获取可见光图像数据和红外图像数据,S2、对图像进行预处理,S3、将预处理后的可见光图像数据变化为灰度矩阵,采用双导向一阶融合的方式,得到两幅一阶初始融合图像;S4、选择三幅参考图像,将参考图像均转换至YUV空间中,以得到YUV空间中三通道的值;S5、计算参考图像的YUV分量通过通道均值与标准差,后将其传递给两幅一阶初始融合图像以得到两幅初始类自然色还原图像;S6、将两幅初始类自然色还原图像进行二阶权重配比融合即得。采用本方法融合的图像的色彩具有较好的自然感,融合还原结果比较符号人眼的视觉特性,并且没有颜色溢散现象出现。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种可见光与红外融合图像类自然色还原方法、设备及储存介质。
背景技术
可见光与红外融合图像的类自然色还原技术是现今国内外高性能夜视技术发展的重要方向之一,该技术有效提高了人们对目标的探测和场景理解能力。基于人眼视觉特性的类自然色还原技术充分利用了可见光和红外波段的图像信息,可使观察者的目标识别速度和准确度提高30%~60%,受到国内外的广泛关注,目前已存在相关方面的类自然色夜视装备的应用。
传统的可见光与红外融合图像类自然色还原技术采用基于单幅参考图像的全局色彩传递算法,还原后图像的色调受到参考图像的影响较大,在实际应用中难以保证对各类场景的适应性,同时还原后的图像受到参考图像的影响易出现色彩溢散现象,不利于人眼的视觉感知。为实现符合人眼视觉特性的红外图像类自然色还原,亟需一种可见光与红外融合图像类自然色还原方法,在保留红外图像目标的同时,改善图像的显示效果,满足人眼的视觉特性。
发明内容
鉴于以上技术问题,本发明的目的是针对现有技术的缺陷,提供了一种可见光与红外融合图像类自然色还原方法,其融合还原结果比较符号人眼的视觉特性,并且没有颜色溢散现象出现。
本发明采用以下技术方案为:一种可见光与红外融合图像类自然色还原方法,包括以下步骤:
S1、获取可见光图像数据和红外图像数据,并对其进行配准处理;
S2、对可见光图像数据采用高斯滤波预处理,对红外图像数据采用直方图均衡化预处理;
S3、将预处理后的可见光图像数据变化为灰度矩阵,采用双导向一阶融合的方式,在YUV空间内将可见光图像和红外图像进行融合得到两幅一阶初始融合图像;
S4、选择三幅参考图像,并将所有参考图像均转换至YUV空间中,以得到YUV空间中三通道的值;
S5、计算转换后的参考图像的YUV分量通过通道均值与标准差,后将其传递给两幅一阶初始融合图像以得到两幅初始类自然色还原图像;
S6、将两幅初始类自然色还原图像转换至RGB空间并进行二阶权重配比融合即得。
本发明的另一个目的是提供一种可见光与红外融合图像类自然色还原设备,包括,
处理器,以及
获取模块,用于获取可见光图像数据和红外图像数据,
储存模块,所述储存器上储存有可在所述处理器上运行的用于可见光与红外融合图像类自然色还原的程序,用于可见光与红外融合图像类自然色还原的程序被所述处理器执行时实现如上述可见光与红外融合图像类自然色还原方法的步骤,
输出模块,用于输出计算结果。
本发明的另一个目的是提供一种计算机可读储存介质,其内储存有处理器可执行的程序代码,所述计算机可读储存介质包括多条指令,所述多条指令被配置为使处理器执行上述的可见光与红外融合图像类自然色还原方法。
本发明的有益效果是:该可见光与红外图像融合方法具有较常规算法更好的环境适应性,融合图像的色彩具有较好的自然感,且算法处理量较小,对于现有的实时硬件融合处理算法的运算速度影响不大,是一种环境适应性强的自然感彩色融合处理算法;融合还原结果比较符号人眼的视觉特性,并且没有颜色溢散现象出现。
附图说明
图1为本发明的方法流程图;
图2为还原效果演示图。
具体实施方式
为了对本发明的技术特征、目的和有益效果有更加清楚的理解,现对本发明的技术方案进行以下详细说明,但不能理解为对本发明的可实施范围的限定。
如图1所示,一种可见光与红外融合图像类自然色还原方法,包括以下步骤:
S1、获取可见光图像数据和红外图像数据,并对其进行配准处理;
为了实现可见光图像数据和红外图像数据的融合,首先需要获取同一视角下的红外图像和可见光图像,其中,可见光图像可采用常见的可见光传感器或者相机进行获取,红外图像可采用制冷或非制冷红外探测器获取。本实施例中,获取可见光图像数据和红外图像数据的设备和方法均是本领域常见的设备和方法,因此对其不予赘述。
同时,对图像进行配准的方法有多种,如基于区域的相关法、互信息法、Fourier变换法等,基于特征的固定特征描述子法、金字塔法等,以及物理配准法等都能够应用于本实施例,本实施例中选择更加方便的物理配准法作为配准方法。
S2、对可见光图像数据采用高斯滤波预处理,对红外图像数据采用直方图均衡化预处理;
对可见光图像数据进行处理时,对整幅图像进行加权平均,预处理后,可见光图像中的每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到,进而除去了可见光图像中的噪声。同时,为了增强红外图像数据的对比度,采用直方图均衡化对红外图像进行预处理。由于高斯滤波和直方图均衡化都属于现有技术,因此,本实施例中对其具体操作方法不予赘述。
S3、将预处理后的可见光图像数据变化为灰度矩阵,采用双导向一阶融合的方式,在YUV空间内将可见光图像和红外图像进行融合得到两幅一阶初始融合图像;
由于红外图像数据本身就是灰度矩阵,因此,本步骤中,仅将可见光图像数据变换为灰度矩阵。将可见光图像数据变换为灰度矩阵的方法有很多,比如经典公式:Gray=R*0.299+G*0.587+B*0.114,或者Gray=(R*299+G*587+B*114+500)/1000,又或者Gray=(R*30+G*59+B*11+50)/100等等,现有技术的这些RGB图像(可见光图像即为RGB图像)转为灰度矩阵的方法都可用于本实施例,为了便于运算,本实施例中选用公式Gray=(R*299+G*587+B*114+500)/1000将可见光图像数据变换为灰度矩阵。
在获得可见光图像数据的灰度矩阵后,采用双导向一阶融合的方式,在YUV空间内将可见光图像和红外图像进行融合以得到两幅一阶初始融合图像。通过以下公式对其进行融合:
式中,及分别为两幅一阶初始融合图像在YUV空间中三通道的值,Vis(i,j)、IR(i,j)分别为可见光原始图像以及红外原始图像,a1、b1、a2、b2、a3、b3、c1、d1、c2、d2、c3、d3的取值范围在0~1之间且a1=c1且b1=d1,a2、b2、a3、b3以及c2、d2、c3、d3的选取需要使得以及保持在0~255的区间内;
从发明人的经验来看,对于权重a2、b2、a3、b3以及c2、d2、c3、d3,其只要满足上述条件均能够应用于本发明,权重值不同带来的影响仅是色彩效果的差异。
经过上述公式的融合后,即得到两幅一阶初始融合图像。
S4、选择三幅参考图像,并将所有参考图像均转换至YUV空间中,以得到YUV空间中三通道的值;
对于参考图像,其主要作用是对S3中得到的一阶初始融合图像进行色彩传递,因此,参考图像应当为可见光图像。同时,为了便于色彩传递,参考图像应当选用色彩丰富的图像,比如,将色彩比较丰富的海天、植物、城镇等图像作为参考图像。
对于参考图像的数量,理论上来说,只需要一副参考图像就可以实现后续的色彩传递,但是,仅一副参考图像在色彩传递时,其色彩较为单薄,容易出现传递误差,因此,本实施例中要求至少具有两幅参考图像。从理论上来讲,参考图像的数量越多越好,但是,参考图像越多,其计算量越大,计算速度越慢,因此,参考图像的数量优选为3幅。
在选择好参考图像后,将所有的参考图像转换至YUV空间中,可采用以下公式进行转换:
S5、计算转换后的参考图像的YUV分量通过通道均值与标准差,后将其传递给两幅一阶初始融合图像以得到两幅初始类自然色还原图像;
本步骤中,通过运用三幅参考图像与两幅一阶初始融合图像的U、V通道数值,计算参考图像的组合权重因子,进而计算三幅参考图像组合后的通道均值和标准差,然后将三幅参考图像的色彩在YUV空间中传递给两幅一阶初始融合图像,最终得到两幅初始类自然色还原图像,其具体操作如下:
首先通过以下公式计算两幅一阶初始融合图像与参考图像的标准差和平均值的差值度量:
式中,为两幅一阶初始融合图像与所有参考图像之间的差值度量;为两幅一阶初始融合图像的U空间矩阵;Ui为所有参考图像的U空间矩阵;为两幅一阶初始融合图像的V空间矩阵;Vi为所有参考图像的V空间矩阵;为所有参考图像的U空间矩阵标准差;为所有参考图像的V空间矩阵标准差;i为参考图像的编号,且i=1,2,3;j为一阶初始融合图像的编号,且j=1,2;
然后通过下式确定参考图像色彩传递的组合系数:
随后对三幅参考图像进行组合,通过下式计算得到三幅参考图像关于YUV三通道的标准差和平均值:
式中,为三幅参考图像组合后的平均值,为三幅参考图像组合后的标准差,为色彩传递中的组合系数,为三幅参考图像在YUV三通道中的平均值,为三幅参考图像在YUV三通道中的标准差。i=1,2,3,为参考图像的编号;j=1,2,为两幅初始融合过程色彩传递编号。
最后通过下述公式计算得到两幅初始类自然色还原图像:
式中,为两幅一阶初始融合图像YUV三通道的标准差, 为两幅一阶初始融合图像YUV三通道的平均值,Yz、Uz、Vz为最终得到的两幅初始类自然色还原图像三通道值,与分别为三幅参考图像组合后所得到的YUV三通道的标准差与平均值,z为初始类自然色还原图像的编号,z=1,2且z=j。
S6、将两幅初始类自然色还原图像转换至RGB空间并进行二阶权重配比融合即得。
首先将S5得到的两幅初始类自然色还原图像转换至RGB空间中:
然后,通过权重配比将两幅初始类自然色还原图像进行融合,最终得到类自然色还原图像,计算过程如下:
式中,R0、R1、R2分别为融合后图像、第1幅初始类自然色还原图像、第2幅初始类自然色还原图像的R值;G0、G1、G2分别为融合后图像、第1幅初始类自然色还原图像、第2幅初始类自然色还原图像的G值;B0、B1、B2分别为融合后图像、第1幅初始类自然色还原图像、第2幅初始类自然色还原图像的B值;k1、k2为权重配比因子,k1、k2均在0~1范围内,且k1+k2=1,同时,经过发明人的大量实验发现,当k1、k2选择为0.5时,其具有较好的效果。
最终,通过本实施例的方法融合后的图片如图2所示,从图2可知,最终的类自然色还原图像与两幅原始图像相比,保留了原始图像中的细节,同时从原本的黑白图像转换成基于人眼视觉特性的类自然色图像;与两幅初始类自然色还原图像相比,最终的类自然色还原图像没有出现色彩溢散的现象,整体色彩还原效果要优于两幅初始类自然色还原图像。
本实施例还提供了一种可见光与红外融合图像类自然色还原设备,包括,
处理器,以及
获取模块,用于获取可见光图像数据和红外图像数据,
储存模块,所述储存器上储存有可在所述处理器上运行的用于可见光与红外融合图像类自然色还原的程序,用于可见光与红外融合图像类自然色还原的程序被所述处理器执行时实现如上述可见光与红外融合图像类自然色还原方法的步骤,
输出模块,用于输出计算结果。
本实施例还提供了一种计算机可读储存介质,其内储存有处理器可执行的程序代码,其特征在于,所述计算机可读储存介质包括多条指令,所述多条指令被配置为使处理器执行上述的可见光与红外融合图像类自然色还原方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种可见光与红外融合图像类自然色还原方法,其特征在于,包括以下步骤:
S1、获取可见光图像数据和红外图像数据,并对其进行配准处理;
S2、对可见光图像数据采用高斯滤波预处理,对红外图像数据采用直方图均衡化预处理;
S3、将预处理后的可见光图像数据变化为灰度矩阵,采用双导向一阶融合的方式,在YUV空间内将可见光图像和红外图像进行融合得到两幅一阶初始融合图像;
S4、选择三幅参考图像,并将所有参考图像均转换至YUV空间中,以得到YUV空间中三通道的值;
S5、计算转换后的参考图像的YUV分量通过通道均值与标准差,后将其传递给两幅一阶初始融合图像以得到两幅初始类自然色还原图像;
S6、将两幅初始类自然色还原图像转换至RGB空间并进行二阶权重配比融合即得。
3.根据权利要求1所述的方法,其特征在于,所述S5的具体操作为:
计算两幅一阶初始融合图像与参考图像的差值度量:
式中,为两幅一阶初始融合图像与所有参考图像之间的差值度量;为两幅一阶初始融合图像的U空间矩阵;Ui为所有参考图像的U空间矩阵;为两幅一阶初始融合图像的V空间矩阵;Vi为所有参考图像的V空间矩阵;为所有参考图像的U空间矩阵标准差;为所有参考图像的V空间矩阵标准差;i为参考图像的编号,且i=1,2,3;j为一阶初始融合图像的编号,且j=1,2;
计算参考图像色彩传递的组合系数:
计算三幅参考图像的YUV三通道的标准差和平均值:
式中,为三幅参考图像组合后的平均值;为三幅参考图像组合后的标准差;为色彩传递中的组合系数;为三幅参考图像在YUV三通道中的平均值;为三幅参考图像在YUV三通道中的标准差;i=1,2,3,为参考图像;j=1,2,为两幅初始融合过程色彩传递编号;
得到初始类自然色还原图像:
5.一种可见光与红外融合图像类自然色还原设备,其特征在于,包括,
处理器,以及
获取模块,用于获取可见光图像数据和红外图像数据,
储存模块,所述储存器上储存有可在所述处理器上运行的用于可见光与红外融合图像类自然色还原的程序,用于可见光与红外融合图像类自然色还原的程序被所述处理器执行时实现如权利要求1-4任一项所述的方法的步骤,
输出模块,用于输出计算结果。
6.计算机可读储存介质,其内储存有处理器可执行的程序代码,其特征在于,所述计算机可读储存介质包括多条指令,所述多条指令被配置为使处理器执行权利要求1-4任一项所述的可见光与红外融合图像类自然色还原的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210485261.1A CN115034974A (zh) | 2022-05-06 | 2022-05-06 | 可见光与红外融合图像类自然色还原方法、设备及储存介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210485261.1A CN115034974A (zh) | 2022-05-06 | 2022-05-06 | 可见光与红外融合图像类自然色还原方法、设备及储存介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115034974A true CN115034974A (zh) | 2022-09-09 |
Family
ID=83118651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210485261.1A Pending CN115034974A (zh) | 2022-05-06 | 2022-05-06 | 可见光与红外融合图像类自然色还原方法、设备及储存介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115034974A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681636A (zh) * | 2023-07-26 | 2023-09-01 | 南京大学 | 基于卷积神经网络的轻量化红外与可见光图像融合方法 |
-
2022
- 2022-05-06 CN CN202210485261.1A patent/CN115034974A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681636A (zh) * | 2023-07-26 | 2023-09-01 | 南京大学 | 基于卷积神经网络的轻量化红外与可见光图像融合方法 |
CN116681636B (zh) * | 2023-07-26 | 2023-12-12 | 南京大学 | 基于卷积神经网络的轻量化红外与可见光图像融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | MLFcGAN: Multilevel feature fusion-based conditional GAN for underwater image color correction | |
WO2021120406A1 (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
WO2022021999A1 (zh) | 一种图像处理方法及图像处理装置 | |
WO2021098083A1 (zh) | 基于显著特征的多光谱相机动态立体标定算法 | |
CN111080538B (zh) | 一种红外融合边缘增强方法 | |
Zheng et al. | Segmented spherical projection-based blind omnidirectional image quality assessment | |
CN106960428A (zh) | 可见光和红外双波段图像融合增强方法 | |
CN110910456B (zh) | 基于Harris角点互信息匹配的立体相机动态标定方法 | |
CN113902657A (zh) | 图像拼接方法、装置和电子设备 | |
CN114868384B (zh) | 用于图像处理的设备及方法 | |
CN110880191B (zh) | 基于直方图均衡化的红外立体相机动态外参计算方法 | |
CN106709890B (zh) | 用于低照度视频图像处理的方法及装置 | |
Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
CN118302788A (zh) | 从有噪原始图像进行高动态范围视图合成 | |
CN102231844A (zh) | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 | |
Asmare et al. | Image Enhancement by Fusion in Contourlet Transform. | |
CN116091314A (zh) | 一种基于多尺度深度单应性的红外图像拼接方法 | |
CN110365966B (zh) | 一种基于视窗的视频质量评价方法及装置 | |
TWI792696B (zh) | 顏色恆常性對比學習的方法和裝置 | |
CN110580684A (zh) | 一种基于黑白-彩色双目相机的图像增强方法 | |
Hsu et al. | Object detection using structure-preserving wavelet pyramid reflection removal network | |
TWI426779B (zh) | Object color correction method, system and its computer program products | |
CN115034974A (zh) | 可见光与红外融合图像类自然色还原方法、设备及储存介质 | |
CN113298177B (zh) | 夜间图像着色方法、装置、介质和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |