CN114549382B - 一种红外图像与可见光图像融合的方法及系统 - Google Patents
一种红外图像与可见光图像融合的方法及系统 Download PDFInfo
- Publication number
- CN114549382B CN114549382B CN202210155872.XA CN202210155872A CN114549382B CN 114549382 B CN114549382 B CN 114549382B CN 202210155872 A CN202210155872 A CN 202210155872A CN 114549382 B CN114549382 B CN 114549382B
- Authority
- CN
- China
- Prior art keywords
- image
- layer image
- infrared
- visible light
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 57
- 238000001914 filtration Methods 0.000 claims description 22
- 238000000354 decomposition reaction Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000002596 correlated effect Effects 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 11
- 238000003331 infrared imaging Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种红外图像与可见光图像融合的方法及系统，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种红外图像与可见光图像融合的方法及系统。
背景技术
图像传感器上有一个重要元件：彩色滤光片(color filter)，此元件对传感器的成像有巨大的影响。例如，一般相机的图像传感器会使用红外截止滤光片(IR cutfilter)，这种滤光片会将可见光以外的红外光屏蔽，而使可见光(R，G，B)能够照射到图像传感器的感光部分。用此种红外截止滤光片的相机，成像得到的图片为RGB图像，其与人眼对外界的响应非常类似。
然而，使用红外截止滤光片的一大问题也在于此。在较暗或者极暗的场景下，与人眼对外界的响应相似，图像传感器也无法捕捉到足够的光线。因此，其成像图片通常噪声过大。
相反，如果不使用红外截止滤光片，则图像传感器的响应受到红外光的影响。由于红外光的响应一般取决于被摄物体的表面材质的反射率，和人眼所能看到的光线亮暗没有关系，因此，即使是暗光条件下，也能捕捉到足够多的光线，使成像的图片清晰可见。但是其成像结果中景物的亮暗与人眼对外界的观察不符，且图像没有颜色。
现有技术为了改善暗光条件下拍摄的质量，会将可见光图像(YUV格式，Y表征亮度，UV表征颜色)与红外光图像(只有Y分量，没有UV分量)进行融合。融合结果图像的Y分量为红外光图像的Y分量，UV分量为可见光图像的UV分量。但是，由于红外光图像的Y分量与人眼对外界的观感不符，导致最后融合后的图像虽然信噪比较好，但是主观上却有明显的不自然感。
发明内容
本申请实施例的目的在于提供一种红外图像与可见光图像融合的方法及系统，用以现有技术的融合结果图像的Y分量为红外光图像的Y分量，UV分量为可见光图像的UV分量，由于红外光图像的Y分量与人眼对外界的观感不符，导致主观上明显的不自然感的问题。
本申请实施例提供的一种红外图像与可见光图像融合的方法，包括：
获取可见光图像，并将可见光图像分解为可见光亮度图像和可见光颜色图像；对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
获取红外图像，并根据红外图像生成红外亮度图像；对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；
将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像；
将综合亮度图像和颜色图像作为红外图像与可见光图像的融合结果。
上述技术方案中，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。
在一些可选的实施方式中，将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像，包括：
对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
上述技术方案中，对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
在一些可选的实施方式中，对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差分绝对值，计算融合基底层图像中该像素点的亮度值，包括：
当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；
当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；
当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
上述技术方案中，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
在一些可选的实施方式中，其中，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。
上述技术方案中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。
在一些可选的实施方式中，将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像，包括：
对可见光细节层图像进行噪声抑制，得到抑制后的图像；
对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
上述技术方案中，由于可见光细节层图像存在较大噪声，因此，在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
在一些可选的实施方式中，对可见光细节层图像进行噪声抑制，得到抑制后的图像，包括：
对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
本申请实施例提供的一种红外图像与可见光图像融合的系统，包括：
可见光图像传感器，用于获取可见光图像；
可见光成像模块，用于将可见光图像转换为可见光亮度图像和颜色图像；
可见光分解模块，用于对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
红外光图像传感器，用于获取红外图像；
红外光成像模块，用于将红外图像转换为红外亮度图像；
红外光分解模块，用于对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
图像融合模块，用于将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像；
存储单元，用于将综合亮度图像和颜色图像作为融合结果存储。
上述技术方案中，利用可见光图像传感器获取可见光图像，利用红外光图像传感器获取红外图像；利用可见光成像模块，将可见光图像转换为可见光亮度图像和颜色图像；利用红外光成像模块，将红外图像转换为红外亮度图像；利用可见光分解模块，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像；利用红外光分解模块，将红外亮度图像分解为红外基底层图像和红外细节层图像；利用图像融合模块，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点，并在存储单元将综合亮度图像和颜色图像作为融合结果存储。
在一些可选的实施方式中，图像融合模块还用于：对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
上述技术方案中，图像融合模块对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
在一些可选的实施方式中，图像融合模块还用于：当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；其中，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
上述技术方案中，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值，其中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
在一些可选的实施方式中，图像融合模块还用于：对可见光细节层图像进行噪声抑制，得到抑制后的图像；对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
上述技术方案中，由于可见光细节层图像存在较大噪声，因此，图像融合模块在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
在一些可选的实施方式中，图像融合模块还用于：对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
在一些可选的实施方式中，可见光图像传感器包括带有红外截止滤光片的CMOS传感器或CCD传感器，红外光图像传感器包括无红外截止滤光片的CMOS传感器或CCD传感器，CMOS传感器或CCD传感器能够捕捉光信号并将之转化为电信号，并量化为数字信号图片，以传输给后续模块进行处理。
在一些可选的实施方式中，可见光成像模块包括白平衡校正模块、解马赛克模块、伽马压缩曲线模块和色域空间转换模块，能够将可见光图像传感器输出的可见光图像转成适合人眼观看的YUV格式图像，其中，Y通道表征图像的亮度，Y通道图像即为可见光亮度图像，UV通道表征图像的颜色，UV通道图像即为可见光颜色图像。
在一些可选的实施方式中，可见光分解模块包括：
第一滤波模块，用于对可见光亮度图像进行滤波得到可见光基底层图像；
第一减法模块，用于将可见光亮度图像的亮度值减去红外基底层图像的亮度值，得到可见光细节层图像；
红外光分解模块包括：
第二滤波模块，用于对红外亮度图像进行滤波得到红外基底层图像；
第二减法模块，用于将红外亮度图像的亮度值减去红外基底层图像的亮度值，得到红外细节层图像。
上述技术方案中，第一滤波模块和第二滤波模块通常为低通滤波或者双边滤波，可以得到基底层图像，用亮度图像减去基底层图像得到细节层图像，基底层图像主要表征了图像的亮度，细节层图像表征了图像的纹理，边缘，噪声等信息。
综上本申请提供一种红外图像与可见光图像融合的方法及系统，通过将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种红外图像与可见光图像融合的系统的功能模块图；
图2为本申请实施例提供的一种红外图像与可见光图像融合的方法步骤流程图；
图3为本申请实施例提供的差值绝对值与融合比例的关系图。
图标：1-可见光图像传感器，2-可见光成像模块，3-可见光分解模块，4-红外光图像传感器，5-红外光成像模块，6-红外光分解模块，7-图像融合模块，8-存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参照图1，图1为本申请实施例提供的一种红外图像与可见光图像融合的系统的功能模块图，包括可见光图像传感器1、可见光成像模块2、可见光分解模块3、红外光图像传感器4、红外光成像模块5、红外光分解模块6、图像融合模块7和存储单元8。
其中，可见光图像传感器1，用于获取可见光图像。可见光成像模块2，用于将可见光图像转换为可见光亮度图像和颜色图像。可见光分解模块3，用于对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；红外光图像传感器4，用于获取红外图像。红外光成像模块5，用于将红外图像转换为红外亮度图像。红外光分解模块6，用于对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像。图像融合模块7，用于将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像。存储单元8，用于将综合亮度图像和颜色图像作为融合结果存储。
本申请实施例中，利用可见光图像传感器1获取可见光图像，利用红外光图像传感器4获取红外图像；利用可见光成像模块2，将可见光图像转换为可见光亮度图像和颜色图像；利用红外光成像模块5，将红外图像转换为红外亮度图像；利用可见光分解模块3，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像；利用红外光分解模块6，将红外亮度图像分解为红外基底层图像和红外细节层图像；利用图像融合模块7，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点，并在存储单元8将综合亮度图像和颜色图像作为融合结果存储。
在一些可选的实施方式中，图像融合模块7还用于：对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
本申请实施例中，对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
在一些可选的实施方式中，图像融合模块7还用于：当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；其中，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
本申请实施例中，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值，其中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。当该像素点的亮度值的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
在一些可选的实施方式中，图像融合模块7还用于：对可见光细节层图像进行噪声抑制，得到抑制后的图像；对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
本申请实施例中，由于可见光细节层图像存在较大噪声，因此，在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
在一些可选的实施方式中，图像融合模块7还用于：对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
在一些可选的实施方式中，可见光图像传感器1包括带有红外截止滤光片的CMOS传感器或CCD传感器，红外光图像传感器4包括无红外截止滤光片的CMOS传感器或CCD传感器，CMOS传感器或CCD传感器能够捕捉光信号并将之转化为电信号，并量化为数字信号图片，以传输给后续模块进行处理。
在一些可选的实施方式中，可见光成像模块2包括白平衡校正模块、解马赛克模块、伽马压缩曲线模块和色域空间转换模块，能够将可见光图像传感器1输出的可见光图像转成适合人眼观看的YUV格式图像，其中，Y通道表征图像的亮度，Y通道图像即为可见光亮度图像，UV通道表征图像的颜色，UV通道图像即为可见光颜色图像。
在一些可选的实施方式中，可见光分解模块3包括第一滤波模块和第一减法模块。
其中，第一滤波模块，用于对可见光亮度图像进行滤波得到可见光基底层图像；第一减法模块，用于将可见光亮度图像的亮度值减去红外基底层图像的亮度值，得到可见光细节层图像；
红外光分解模块6包括第二滤波模块和第二减法模块。
其中，第二滤波模块，用于对红外亮度图像进行滤波得到红外基底层图像；第二减法模块，用于将红外亮度图像的亮度值减去红外基底层图像的亮度值，得到红外细节层图像。
本申请实施例中，第一滤波模块和第二滤波模块通常为低通滤波或者双边滤波，可以得到基底层图像，用亮度图像减去基底层图像得到细节层图像，基底层图像主要表征了图像的亮度，细节层图像表征了图像的纹理，边缘，噪声等信息。
在一些可选的实施方式中，存储单元8一般由静态随机存取存储器(StaticRandom-Access Memory，SRAM)，DDR内存或者HDD硬盘驱动器构成。
请参照图2，图2为本申请实施例提供的一种红外图像与可见光图像融合的方法步骤流程图，包括：
步骤100、获取可见光图像，并将可见光图像分解为可见光亮度图像和可见光颜色图像；对可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
步骤200、获取红外图像，并根据红外图像生成红外亮度图像；对红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
步骤300、将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像；将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像；
步骤400、将融合基底层图像和融合细节层图像进行融合，得到综合亮度图像；
步骤500、将综合亮度图像和颜色图像作为红外图像与可见光图像的融合结果。
本申请实施例中，将可见光亮度图像分解为可见光基底层图像和可见光细节层图像，将红外亮度图像分解为红外基底层图像和红外细节层图像，对基底层图像和细节层图像分别进行融合，以使融合基底层图像和融合细节层图像融合后的综合亮度图像能够兼顾红外亮度图像在极暗场景下噪声小和可见光亮度图像符合人眼对外界的观感的特点。
在一些可选的实施方式中，将可见光基底层图像和红外基底层图像进行融合，得到融合基底层图像，包括：对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差值绝对值，计算融合基底层图像中该像素点的亮度值。
本申请实施例中，对可见光基底层图像和红外基底层图像进行融合时，对图像中每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度差，动态调整基底层的融合比例，以在改善图像信噪比的同时，能够避免出现图像亮度不自然的问题。
在一些可选的实施方式中，对每一像素点，根据可见光基底层图像与红外基底层图像中该像素点的亮度值的差分绝对值，计算融合基底层图像中该像素点的亮度值，包括：当该像素点的亮度值的差值绝对值小于第一阈值时，融合基底层图像中该像素点的亮度值等于红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值的加权之和；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，融合基底层图像中该像素点的亮度值等于可见光基底层图像中该像素点的亮度值。
本申请实施例中，如图3所示，当该像素点的亮度值的差值绝对值小于第一阈值时，红外基底层图像中该像素点的亮度值与人眼的主观感受差距较小，因此直接将红外基底层图像中的亮度值作为融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，需要对可见光基底层图像中该像素点的亮度值与红外基底层图像中该像素点的亮度值均设置相应的权重，以加权求和的方式计算融合基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，即为红外亮度图像中该像素点的亮度值与人眼的主观感受差距过大，会引起不自然感，因此，不考虑红外亮度图像中该像素点的亮度值，直接将可见光基底层图像中该像素点的亮度值作为融合基底层图像中该像素点的亮度值。
其中，可见光基底层图像中该像素点的亮度值的权重(Ratio，Ratio的范围为0.0～1.0)与该像素点的亮度值的差值绝对值(ABS_DIFF)呈正相关，红外基底层图像中该像素点的亮度值的权重(即为，1-Ratio)与该像素点的亮度值的差值绝对值(ABS_DIFF)呈反相关。
本申请实施例中，该像素点的亮度值的差值绝对值越大，则代表红外亮度图像中该像素点的亮度值与人眼的主观感受差距越大，因此，可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，相应的，红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。
在一些可选的实施方式中，将可见光细节层图像和红外细节层图像进行融合，得到融合细节层图像，包括：对可见光细节层图像进行噪声抑制，得到抑制后的图像；对每一像素点，融合细节层图像中像素点的亮度值为抑制后的图像和红外细节层图像中该像素点的亮度值的最大值。
本申请实施例中，由于可见光细节层图像存在较大噪声，因此，在将可见光细节层图像和红外细节层图像进行融合时，首先对可见光细节层图像进行噪声抑制，得到抑制后的图像，在对每一像素点，将抑制后的图像和红外细节层图像中该像素点的亮度值的最大值作为融合细节层图像中像素点的亮度值。
在一些可选的实施方式中，对可见光细节层图像进行噪声抑制，得到抑制后的图像，包括：对每一像素点，抑制后的图像中像素点的亮度值为：当可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为可见光细节层图像中该像素点的亮度值。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种红外图像与可见光图像融合的方法，其特征在于，包括：
获取可见光图像，并将所述可见光图像分解为可见光亮度图像和可见光颜色图像；对所述可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
获取红外图像，并根据所述红外图像生成红外亮度图像；对所述红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
将所述可见光基底层图像和所述红外基底层图像进行融合，得到融合基底层图像；将所述可见光细节层图像和所述红外细节层图像进行融合，得到融合细节层图像；
将所述融合基底层图像和所述融合细节层图像进行融合，得到综合亮度图像；
将所述综合亮度图像和所述颜色图像作为所述红外图像与可见光图像的融合结果；
所述将所述可见光基底层图像和所述红外基底层图像进行融合，得到融合基底层图像，包括：对每一像素点，根据所述可见光基底层图像与所述红外基底层图像中该像素点的亮度值的差值绝对值，计算所述融合基底层图像中该像素点的亮度值；
其中，所述对每一像素点，根据所述可见光基底层图像与所述红外基底层图像中该像素点的亮度值的差值绝对值，计算所述融合基底层图像中该像素点的亮度值，包括：当该像素点的亮度值的差值绝对值小于第一阈值时，所述融合基底层图像中该像素点的亮度值等于所述红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，所述融合基底层图像中该像素点的亮度值等于所述可见光基底层图像中该像素点的亮度值与所述红外基底层图像中该像素点的亮度值的加权之和；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，所述融合基底层图像中该像素点的亮度值等于所述可见光基底层图像中该像素点的亮度值。
2.如权利要求1所述的方法，其特征在于，其中，所述可见光基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈正相关，所述红外基底层图像中该像素点的亮度值的权重与该像素点的亮度值的差值绝对值呈反相关。
3.如权利要求1所述的方法，其特征在于，所述将所述可见光细节层图像和所述红外细节层图像进行融合，得到融合细节层图像，包括：
对所述可见光细节层图像进行噪声抑制，得到抑制后的图像；
对每一像素点，所述融合细节层图像中像素点的亮度值为抑制后的图像和所述红外细节层图像中该像素点的亮度值的最大值。
4.如权利要求3所述的方法，其特征在于，所述对所述可见光细节层图像进行噪声抑制，得到抑制后的图像，包括：
对每一像素点，抑制后的图像中像素点的亮度值为：当所述可见光细节层图像中该像素点的亮度值小于第三阈值时，抑制后的图像中该像素点的亮度值为0；当所述可见光细节层图像中该像素点的亮度值大于或等于第三阈值时，抑制后的图像中该像素点的亮度值为所述可见光细节层图像中该像素点的亮度值。
5.一种红外图像与可见光图像融合的系统，其特征在于，包括：
可见光图像传感器，用于获取可见光图像；
可见光成像模块，用于将所述可见光图像转换为可见光亮度图像和颜色图像；
可见光分解模块，用于对所述可见光亮度图像进行分解，得到可见光基底层图像和可见光细节层图像；
红外光图像传感器，用于获取红外图像；
红外光成像模块，用于将所述红外图像转换为红外亮度图像；
红外光分解模块，用于对所述红外亮度图像进行分解，得到红外基底层图像和红外细节层图像；
图像融合模块，用于将所述可见光基底层图像和所述红外基底层图像进行融合，得到融合基底层图像；将所述可见光细节层图像和所述红外细节层图像进行融合，得到融合细节层图像；将所述融合基底层图像和所述融合细节层图像进行融合，得到综合亮度图像；所述图像融合模块用于：对每一像素点，根据所述可见光基底层图像与所述红外基底层图像中该像素点的亮度值的差值绝对值，计算所述融合基底层图像中该像素点的亮度值；其中，所述对每一像素点，根据所述可见光基底层图像与所述红外基底层图像中该像素点的亮度值的差值绝对值，计算所述融合基底层图像中该像素点的亮度值，包括：当该像素点的亮度值的差值绝对值小于第一阈值时，所述融合基底层图像中该像素点的亮度值等于所述红外基底层图像中该像素点的亮度值；当该像素点的亮度值的差值绝对值大于或等于第一阈值且小于第二阈值时，所述融合基底层图像中该像素点的亮度值等于所述可见光基底层图像中该像素点的亮度值与所述红外基底层图像中该像素点的亮度值的加权之和；当该像素点的亮度值的差值绝对值大于或等于第二阈值时，所述融合基底层图像中该像素点的亮度值等于所述可见光基底层图像中该像素点的亮度值；以及
存储单元，用于将所述综合亮度图像和所述颜色图像作为融合结果存储。
6.如权利要求5所述的系统，其特征在于，所述可见光图像传感器包括带有红外截止滤光片的CMOS传感器或CCD传感器，所述红外光图像传感器包括无红外截止滤光片的CMOS传感器或CCD传感器。
7.如权利要求5所述的系统，其特征在于，所述可见光成像模块包括白平衡校正模块、解马赛克模块、伽马压缩曲线模块和色域空间转换模块。
8.如权利要求5所述的系统，其特征在于，所述可见光分解模块包括：
第一滤波模块，用于对所述可见光亮度图像进行滤波得到所述可见光基底层图像；
第一减法模块，用于将所述可见光亮度图像的亮度值减去所述红外基底层图像的亮度值，得到所述可见光细节层图像；
所述红外光分解模块包括：
第二滤波模块，用于对所述红外亮度图像进行滤波得到所述红外基底层图像；
第二减法模块，用于将所述红外亮度图像的亮度值减去所述红外基底层图像的亮度值，得到所述红外细节层图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210155872.XA CN114549382B (zh) | 2022-02-21 | 2022-02-21 | 一种红外图像与可见光图像融合的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210155872.XA CN114549382B (zh) | 2022-02-21 | 2022-02-21 | 一种红外图像与可见光图像融合的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114549382A CN114549382A (zh) | 2022-05-27 |
| CN114549382B true CN114549382B (zh) | 2023-08-11 |
Family
ID=81674994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210155872.XA Active CN114549382B (zh) | 2022-02-21 | 2022-02-21 | 一种红外图像与可见光图像融合的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549382B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239610B (zh) * | 2022-07-28 | 2024-01-26 | 爱芯元智半导体(上海)有限公司 | 图像融合方法、装置、系统及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977946A (zh) * | 2017-12-20 | 2018-05-01 | 百度在线网络技术（北京）有限公司 | 用于处理图像的方法和装置 |
| CN110415202A (zh) * | 2019-07-31 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
| CN112602316A (zh) * | 2018-09-14 | 2021-04-02 | 浙江宇视科技有限公司 | 双光图像自动曝光方法、装置、双光图像相机及机器存储介质 |
| CN112767289A (zh) * | 2019-10-21 | 2021-05-07 | 浙江宇视科技有限公司 | 图像融合方法、装置、介质及电子设备 |
| WO2021184027A1 (en) * | 2020-11-12 | 2021-09-16 | Innopeak Technology, Inc. | Tuning color image fusion towards original input color with adjustable details |
| CN113538303A (zh) * | 2020-04-20 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 图像融合方法 |
-
2022
- 2022-02-21 CN CN202210155872.XA patent/CN114549382B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977946A (zh) * | 2017-12-20 | 2018-05-01 | 百度在线网络技术（北京）有限公司 | 用于处理图像的方法和装置 |
| CN112602316A (zh) * | 2018-09-14 | 2021-04-02 | 浙江宇视科技有限公司 | 双光图像自动曝光方法、装置、双光图像相机及机器存储介质 |
| CN110415202A (zh) * | 2019-07-31 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、电子设备及存储介质 |
| CN112767289A (zh) * | 2019-10-21 | 2021-05-07 | 浙江宇视科技有限公司 | 图像融合方法、装置、介质及电子设备 |
| CN113538303A (zh) * | 2020-04-20 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 图像融合方法 |
| WO2021184027A1 (en) * | 2020-11-12 | 2021-09-16 | Innopeak Technology, Inc. | Tuning color image fusion towards original input color with adjustable details |
Non-Patent Citations (1)
| Title |
|---|
| 红外图像与可见光图像融合算法研究;蔡铠利;石振刚;;沈阳理工大学学报;35(03);第17-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114549382A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7940311B2 (en) | Multi-exposure pattern for enhancing dynamic range of images | |
| US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
| Phillips et al. | Camera image quality benchmarking | |
| EP1801751B1 (en) | Film grain generation and addition | |
| US8559744B2 (en) | Method for processing a digital object and related system | |
| JP4208909B2 (ja) | 画像処理装置と撮影装置 | |
| EP3672221B1 (en) | Imaging device and imaging method | |
| CN108833804A (zh) | 成像方法、装置和电子设备 | |
| JP2009253579A (ja) | 撮像装置、画像処理装置及び画像処理方法並びに画像処理プログラム | |
| CN109194855A (zh) | 成像方法、装置和电子设备 | |
| CN112291479B (zh) | 图像处理模组、图像处理方法、摄像头组件及移动终端 | |
| CN105432068A (zh) | 摄像装置、摄像方法及图像处理装置 | |
| CN110012227B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108833803A (zh) | 成像方法、装置和电子设备 | |
| WO2020057248A1 (zh) | 一种图像降噪的方法及装置、设备、存储介质 | |
| KR20090057461A (ko) | 카메라에 대한 핸드 지터 감소 시스템 | |
| JP2021114696A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN114549382B (zh) | 一种红外图像与可见光图像融合的方法及系统 | |
| JP4941219B2 (ja) | ノイズ抑圧装置、ノイズ抑圧方法、ノイズ抑圧プログラムおよび撮像装置 | |
| GB2399252A (en) | Edge enhancement and colour reduction processing of an image | |
| JP2007129524A (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
| KR101408343B1 (ko) | 광역 역광 보정 장치 | |
| CN109447925B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN115239610B (zh) | 图像融合方法、装置、系统及存储介质 | |
| CN113556475B (zh) | 一种高动态范围图像的生成方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |