CN111612725B - 一种基于可见光图像对比度增强的图像融合方法 - Google Patents
一种基于可见光图像对比度增强的图像融合方法 Download PDFInfo
- Publication number
- CN111612725B CN111612725B CN202010357534.5A CN202010357534A CN111612725B CN 111612725 B CN111612725 B CN 111612725B CN 202010357534 A CN202010357534 A CN 202010357534A CN 111612725 B CN111612725 B CN 111612725B
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- visible light
- block
- light image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 75
- 239000000126 substance Substances 0.000 claims description 14
- 238000007906 compression Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 230000006835 compression Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种图像融合方法，具体涉及一种基于可见光图像对比度增强的图像融合方法。本发明的目的是解决现有图像融合方法存在细节易丢失、图像过度增强的技术问题，提供一种基于可见光图像对比度增强的图像融合方法。该方法包括1)可见光图像对比度增强，1.1)获取可见光图像的灰度直方图；1.2)扩展灰度直方图；1.3)压缩扩展后的灰度直方图；1.4)对可见光图像中所有像素点的灰度值进行灰度值映射，得到对比度增强后的可见光图像；2)对比度增强后的可见光图像与红外图像融合，2.1)获取与可见光图像相应的红外图像，将红外图像和对比度增强后的可见光图像分块；2.2)子块融合；2.3)融合子块拼接；2.4)对拼接后的图像中所有融合边界进行插值处理。
Description
技术领域
本发明涉及一种图像融合方法，具体涉及一种基于可见光图像对比度增强的图像融合方法。
背景技术
通常机载平台配有红外热像仪与可见光相机，进行侦察拍摄任务时，可见光摄像机和红外热像仪均能获取图像。红外热像仪依据温度成像，其探测距离远，能够穿透烟雾获取目标图像，同时不受夜晚照度不佳等因素影响，但其图像的对比度较差，分辨率低，无法保存目标纹理和更多的细节。可见光摄像机成像分辨率较高，图像的纹理边缘等细节方面的信息较清晰，但成像质量易受到光照、天气等自然条件的影响。鉴于可见光图像和红外图像的各自特点，仅仅依靠单一类型的图像，难以满足实际需求。因此将可见光摄像机和红外热像仪获取的图像进行融合，从而获取他们各自重要的特征信息已成为图像处理领域研究的热点。
为了获取更为充足的信息量，当前图像融合算法中，基本不考虑可见光的图像质量，直接对图像进行融合，当处于夜晚，或者照度不佳的情况下，可见光图像质量往往会比较差，导致最终融合的图像缺少很多细节特征，因此对可见光图像进行增强已成为了图像融合中的一个重要环节，现有的基于灰度直方图的图像增强算法有直方图均衡化(HE)、自适应直方图均衡化(AHE)、限制对比度自适应直方图均衡化(CLAHE)以及平台直方图均衡化(BBHE)。这些方法对于背景和前景太亮或太暗的图像非常有用，并且计算量不大，但它们对处理的数据不加选择，可能导致某些细节丢失及图像过度增强。
发明内容
本发明的目的是解决现有图像融合方法存在细节易丢失、图像过度增强的技术问题，提供一种基于可见光图像对比度增强的图像融合方法。
为解决上述技术问题，本发明提供的技术解决方案如下：
一种基于可见光图像对比度增强的图像融合方法，其特殊之处在于，包括以下步骤：
1)可见光图像对比度增强
1.1)获取可见光图像的灰度直方图
获取可见光图像，统计其所有像素点在0-255灰度级范围内出现的频数，利用统计结果，绘制灰度直方图；
1.2)扩展灰度直方图
1.2.1)利用平均梯度计算公式，计算可见光图像的平均梯度IGD；
1.2.2)设定三个梯度阈值，分别为0.5*IGD、IGD和1.5*IGD，根据三个梯度阈值划分四个梯度范围；
1.2.3)利用所述四个梯度范围，将灰度直方图的灰度级范围扩展至0-1023；
1.3)通过相邻灰度级的合并与删除，将扩展后的灰度直方图压缩至0-255灰度级范围内；
1.4)利用压缩后的灰度直方图，对可见光图像中所有像素点的灰度值进行灰度值映射，得到对比度增强后的可见光图像；
2)对比度增强后的可见光图像与红外图像融合
2.1)获取与可见光图像相应的红外图像，将红外图像和对比度增强后的可见光图像对应地划分为多个子块，定义清晰度函数；
2.2)利用清晰度函数，计算每一对红外图像子块与对比度增强后的可见光图像子块清晰度占比，将对比度增强后的可见光图像子块和红外图像子块分别作为融合时的主图像进行计算，结合所述清晰度占比，获取所有融合子块；
2.3)将步骤2.2)得到的所有融合子块按照步骤2.1)分割时的位置关系进行拼接。
进一步地，为了更好地实现压缩，步骤1.3)中，压缩过程具体包括以下步骤：
1.3.1)遍历扩展后的灰度直方图中所有灰度级，找到频数最低的灰度级，将频数最低灰度级的频数添加到下一灰度级频数中，然后将该最低灰度级删除，使得整个扩展后的灰度直方图中灰度级范围减小1；
1.3.2)重复与步骤1.3.1)相同的操作，直至扩展后的灰度直方图的灰度级减少至255，得到压缩后的灰度直方图。
进一步地，步骤2.2)中，子块融合过程具体包括以下步骤：
2.2.1)取一对对应的红外图像子块与对比度增强后的可见光图像子块，计算二者的清晰度，利用以下公式，计算二者融合时的清晰度占比
a＝CV/(CR+CV)
b＝1-a；
其中，
CV为对比度增强后的可见光图像子块清晰度；
CR为红外图像子块清晰度；
a为对比度增强后的可见光图像子块融合权重；
b为红外图像子块融合权重；
2.2.2)利用引导滤波公式，将所有红外图像子块和对比度增强后的可见光图像子块均分为基层图像和细节层图像；
2.2.3)将对比度增强后的可见光图像子块和红外图像子块分别作为融合时的主图像进行计算；
以对比度增强后的可见光图像子块作为主图像时，通过以下融合函数进行融合，得到以对比度增强后的可见光图像子块作为主图像时所得融合子块矩阵
WDR＝(1./(1+exp(GTR-GR))).*(1./(1+exp(GV-GR))).*(1+5*max((IBR-HTR),0))；
WDV＝(1./(1+exp(GTV-GV))).*(1./(1+exp(GR-GV)))；
FV＝(WBR.*IBR+IBV)./(1+WBR)+(WDR.*IDR+WDV.*IDV)；
其中，
WBR为红外图像子块基层图像融合权重矩阵；
WDR为红外图像子块细节层图像融合权重矩阵；
WDV为对比度增强后的可见光图像子块细节层图像融合权重矩阵；
GTR为红外图像子块梯度阈值；
GTV为对比度增强后的可见光图像子块梯度阈值；
GR为红外图像子块梯度矩阵；
GV为对比度增强后的可见光图像子块梯度矩阵；
IBR为红外子块基层图像矩阵；
IBV为对比度增强后的可见光图像子块基层图像矩阵；
IDR为红外子块细节层图像矩阵；
IDV为对比度增强后的可见光图像子块细节层图像矩阵；
HTR为红外图像子块灰度阈值；
FV为以对比度增强后的可见光图像子块作为主图像时所得融合子块矩阵；
(WBR.*IBR+IBV)./(1+WBR)代表基层图像矩阵乘以权重矩阵后归一化的结果矩阵；
./和.*分别代表矩阵的点除和点乘；
以红外图像子块作为主图像时，通过以下融合函数进行融合，得到以红外子块作为主图像时所得融合子块矩阵
WDR＝(1./(1+exp(GTR-GR))).*(1./(1+exp(GV-GR)))；
WDV＝(1./(1+5*max((GTV-GV),0))).*(1./(1+exp(GR-GV)))；
FR＝(IBR+WBV.*IBV)./(WBV+1)+(WDR.*IDR+WDV.*IDV)；
其中，
WBV为对比度增强后的可见光图像子块基层图像融合权重矩阵；
FR为以红外子块作为主图像时所得融合子块矩阵；
(IBR+WBV.*IBV)./(WBV+1)代表基层图像矩阵乘以权重矩阵后归一化的结果矩阵；
2.2.4)重复与步骤2.2.3)相同的操作，遍历所有红外图像子块与对应的对比度增强后的可见光图像子块，然后通过以下公式，获取所有融合子块
F＝a*FV+b*FR
其中，F为融合子块的图像矩阵。
进一步地，步骤1.2.2)中，所述四个梯度范围为
小于0.5*IGD；
大于等于0.5*IGD且小于IGD；
大于等于IGD且小于等于1.5*IGD；
大于1.5*IGD。
进一步地，步骤2.1)中，所述清晰度函数为
C＝IAG*IEN
其中，
C为子块图像清晰度；
IAG为子块图像的平均灰度；
IEN为子块图像的熵；
i为像素值；
Ii(u,v)为像素值为i、坐标为(u,v)的像素点；
所述子块图像指红外图像子块或对比度增强后的可见光图像子块。
进一步地，步骤2.2.2)中，引导滤波公式为
qi＝ak*Ii+bk
其中，
Ii为输入的图像矩阵；
qi为输处的图像矩阵；
ak和bk均为滤波系数，可由E(ak,bk)计算得到；
wk为滤波窗口矩阵，为3*3。
进一步地，为了减小由于每个融合子块清晰度不同带来的影响，还包括步骤2.4)
采用双线性插值法，对拼接后的图像中所有融合边界进行插值处理。
进一步地，为了尽量多地保留红外图像与对比度增强后的可见光图像的纹理和细节，步骤2.1)中，所述分为多个子块为分为3*3个子块。
本发明相比现有技术具有的有益效果如下：
1、本发明对灰度直方图进行非线性拉伸实现扩展，然后将扩展后的灰度直方图进行压缩，使对比度较差可见光图像的对比度得到很好的增强，之后再将对比度增强后的可见光图像与相同场景的红外图像进行融合。融合时，为了尽可能多地保留融合图像的纹理和细节，对增强后的可见光图像与红外图像进行对应地分块，并对每一个子块区域进行融合，采用双线性插值法，对所有子块拼接后图像的边界进行插值处理，最终实现了整个红外图像与对比度增强后的可见光图像的融合，提升了图像成像质量，同时增加了图像可观测的信息。
2、在进行可见光图像增强时，由于图像梯度往往能反映图像的细节，能够将灰度直方图中灰度值较低部分进行很好的拉伸，方便后续灰度直方图的压缩工作，故利用设置梯度阈值方式，将灰度直方图先从0-255扩展至0-1023灰度级范围，再压缩至0-255灰度级范围，能够使灰度直方图尽可能在0-255灰度级范围内都有分布，不同于现有技术中对处理的数据不加选择，本发明的方法复杂度低，易实现，不会造成细节丢失和图像过度增强，能够减少对比度增强后的可见光图像出现伪影等现象。
3、在进行子块融合时，通过判断红外图像子块与对比度增强后的可见光图像子块清晰度的相对大小，选择清晰度较大者作为子块融合时的主图像，相比于现有技术，充分考虑了可见光图像的质量，避免了因可见光质量差导致的部分细节特征缺失。
附图说明
图1为本发明基于可见光图像对比度增强的图像融合方法流程图；
图2为本发明可见光图像的灰度直方图；
图3为本发明扩展后的可见光图像的灰度直方图；
图4为本发明压缩后的可见光图像的灰度直方图。
具体实施方式
下面结合附图对本发明作进一步地说明。
一种基于可见光图像对比度增强的图像融合方法，如图1所示，包括以下步骤：
1)可见光图像对比度增强
1.1)获取可见光图像的灰度直方图
获取可见光图像，统计其所有像素点在0-255灰度级范围内出现的频数，利用统计结果，绘制如图2所示的灰度直方图，灰度直方图横坐标为灰度级，纵坐标为频数；
灰度直方图是图像特征的一种重要统计方式，它可以通过统计图的方式形象地表示出数字图像中每一个灰度级与其出现的频数(即次数)或频率(频率为将次数归一化所得)之间的关系，灰度直方图的表达式为：
其中，
nk为像素点在第k个灰度级出现的频数；
N为可见光图像像素点总个数；
rk为第k个灰度级；
I(rk)为像素点在第k个灰度级出现的频率；
1.2)扩展灰度直方图
1.2.1)利用以下公式，计算可见光图像的平均梯度IGD；
其中，
IGD为可见光图像的平均梯度；
N为可见光图像像素点总个数；
Ix(u,v)为坐标为(u,v)的像素点在水平方向的梯度；
Iy(u,v)为坐标为(u,v)的像素点在垂直方向的梯度；
1.2.2)设定三个梯度阈值，分别为0.5*IGD、IGD和1.5*IGD，根据三个梯度阈值划分四个梯度范围
小于0.5*IGD；
大于等于0.5*IGD且小于IGD；
大于等于IGD且小于等于1.5*IGD；
大于1.5*IGD；
1.2.3)将灰度直方图中每一个灰度级中的所有像素点，利用所述四个梯度范围分区，将灰度直方图中每一个灰度级扩展为四个灰度级，从而将灰度直方图从0-255灰度级范围扩展至0-1023灰度级范围，如图3所示；
由于图像梯度往往能反映图像的细节，能够将灰度直方图中灰度值较低部分进行很好的拉伸，方便后续灰度直方图的压缩工作；
1.3)压缩扩展后的灰度直方图
1.3.1)遍历扩展后的灰度直方图中所有灰度级，找到频数最低的灰度级，将频数最低灰度级的频数添加到下一灰度级频数中，然后将该最低灰度级删除，使得整个扩展后的灰度直方图中灰度级范围减小1；
1.3.2)重复与步骤1.3.1)相同的操作，直至扩展后的灰度直方图的灰度级减少至255，得到压缩后的灰度直方图，如图4所示；
1.4)利用压缩后的灰度直方图，对可见光图像中所有像素点的灰度值进行灰度值映射，得到对比度增强后的可见光图像；
通过以上灰度直方图扩展和压缩算法，能够使灰度直方图尽可能在0-255灰度级范围内都有分布，该算法的优势是复杂度低，易实现，同时能够减少对比度增强后的可见光图像出现伪影等现象；
2)对比度增强后的可见光图像与红外图像融合
为了尽量多地保留红外图像与对比度增强后的可见光图像的纹理和细节，需要将红外图像与对比度增强后的可见光图像进行对应的分块并对每一个子块区域进行融合；
2.1)获取与可见光图像相应的红外图像，将红外图像和对比度增强后的可见光图像对应地划分为3×3个子块，定义清晰度函数C，清晰度函数C用于计算图像清晰度：
C＝IAG*IEN
其中，
IAG为子块图像的平均灰度；
IEN为子块图像的熵；
i为像素值；
Ii(u,v)为像素值为i、坐标为(u,v)的像素点；
所述子块图像指红外图像子块或对比度增强后的可见光图像子块；
IAG是衡量图像模糊程度的重要指标，它的大小反映了图像中微小细节变化的反差特征，该值越大则图像越清晰，表明该图像有更多细节需要保留；
IEN反映了图像的亮度分布情况，若图像亮度分布越广，则熵值越大，图像质量越好；若亮度分布越集中，则熵值越小，图像质量越差；
2.2)子块融合
2.2.1)取一对对应的红外图像子块与对比度增强后的可见光图像子块，计算二者的清晰度，利用以下公式，计算二者融合时的清晰度占比；
a＝CV/(CR+CV)
b＝1-a；
其中，
CV为对比度增强后的可见光图像子块清晰度，CV值越大，对比度增强后的可见光图像子块清晰度越好；
CR为红外图像子块清晰度，CR值越大，红外图像子块清晰度越好；
a为对比度增强后的可见光图像子块融合权重；
b为红外图像子块融合权重；
2.2.2)利用以下引导滤波公式，将所有红外图像子块和对比度增强后的可见光图像子块均分为基层图像和细节层图像；
qi＝ak*Ii+bk
其中，
Ii为输入的图像矩阵；
qi为输处的图像矩阵；
ak和bk均为滤波系数，可由E(ak,bk)计算得到；
wk为滤波窗口矩阵，为3*3；
2.2.3)将对比度增强后的可见光图像子块和红外图像子块分别作为融合时的主图像进行计算；
以对比度增强后的可见光图像子块作为主图像时，通过以下融合函数进行融合，得到以对比度增强后的可见光图像子块作为主图像时所得融合子块矩阵
WDR＝(1./(1+exp(GTR-GR))).*(1./(1+exp(GV-GR))).*(1+5*max((IBR-HTR),0))；
WDV＝(1./(1+exp(GTV-GV))).*(1./(1+exp(GR-GV)))；
FV＝(WBR.*IBR+IBV)./(1+WBR)+(WDR.*IDR+WDV.*IDV)；
其中，
WBR为红外图像子块基层图像融合权重矩阵；
WDR为红外图像子块细节层图像融合权重矩阵；
WDV为对比度增强后的可见光图像子块细节层图像融合权重矩阵；
GTR为红外图像子块梯度阈值；
GTV为对比度增强后的可见光图像子块梯度阈值；
GR为红外图像子块梯度矩阵；
GV为对比度增强后的可见光图像子块梯度矩阵；
IBR为红外子块基层图像矩阵；
IBV为对比度增强后的可见光图像子块基层图像矩阵；
IDR为红外子块细节层图像矩阵；
IDV为对比度增强后的可见光图像子块细节层图像矩阵；
HTR为红外图像子块灰度阈值；
FV为以对比度增强后的可见光图像子块作为主图像时所得融合子块矩阵；
(WBR.*IBR+IBV)./(1+WBR)代表基层图像矩阵乘以权重矩阵后归一化的结果矩阵；
./和.*分别代表矩阵的点除和点乘；
以红外图像子块作为主图像时，通过以下融合函数进行融合，得到以红外子块作为主图像时所得融合子块矩阵
WDR＝(1./(1+exp(GTR-GR))).*(1./(1+exp(GV-GR)))；
WDV＝(1./(1+5*max((GTV-GV),0))).*(1./(1+exp(GR-GV)))；
FR＝(IBR+WBV.*IBV)./(WBV+1)+(WDR.*IDR+WDV.*IDV)；
其中，
WBV为对比度增强后的可见光图像子块基层图像融合权重矩阵；
FR为以红外子块作为主图像时所得融合子块矩阵；
(IBR+WBV.*IBV)./(WBV+1)代表基层图像矩阵乘以权重矩阵后归一化的结果矩阵；
2.2.4)重复与步骤2.2.3)相同的操作，遍历所有红外图像子块与对应的对比度增强后的可见光图像子块，然后通过以下公式，获取所有融合子块；
F＝a*FV+b*FR
其中，F为融合子块的图像矩阵；
2.3)融合子块拼接
将步骤2.2.4)得到的所有融合子块按照步骤2.1)分割时的位置关系进行拼接；
2.4)由于分块后，每个区域的清晰度不同，导致融合后每个子块边界区域处图像会有不同，采用双线性插值法，对拼接后的图像中所有融合边界进行插值处理。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制，对于本领域的普通专业技术人员来说，可以对前述各实施例所记载的具体技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明所保护技术方案的范围。
Claims (8)
1.一种基于可见光图像对比度增强的图像融合方法，其特征在于，包括以下步骤：
1)可见光图像对比度增强
1.1)获取可见光图像的灰度直方图
获取可见光图像，统计其所有像素点在0-255灰度级范围内出现的频数，利用统计结果，绘制灰度直方图；
1.2)扩展灰度直方图
1.2.1)利用平均梯度计算公式，计算可见光图像的平均梯度IGD；
1.2.2)设定三个梯度阈值，分别为0.5*IGD、IGD和1.5*IGD，根据三个梯度阈值划分四个梯度范围；
1.2.3)利用所述四个梯度范围，将灰度直方图的灰度级范围扩展至0-1023；
1.3)通过相邻灰度级的合并与删除，将扩展后的灰度直方图压缩至0-255灰度级范围内；
1.4)利用压缩后的灰度直方图，对可见光图像中所有像素点的灰度值进行灰度值映射，得到对比度增强后的可见光图像；
2)对比度增强后的可见光图像与红外图像融合
2.1)获取与可见光图像相应的红外图像，将红外图像和对比度增强后的可见光图像对应地划分为多个子块，定义清晰度函数；
2.2)利用清晰度函数，计算每一对红外图像子块与对比度增强后的可见光图像子块融合时的清晰度占比，将对比度增强后的可见光图像子块和红外图像子块分别作为融合时的主图像进行计算，结合所述清晰度占比，获取所有融合子块；
2.3)将步骤2.2)得到的所有融合子块按照步骤2.1)分割时的位置关系进行拼接。
2.根据权利要求1所述的基于可见光图像对比度增强的图像融合方法，其特征在于：步骤1.3)中，压缩过程具体包括以下步骤：
1.3.1)遍历扩展后的灰度直方图中所有灰度级，找到频数最低的灰度级，将频数最低灰度级的频数添加到下一灰度级频数中，然后将该最低灰度级删除，使得整个扩展后的灰度直方图中灰度级范围减小1；
1.3.2)重复与步骤1.3.1)相同的操作，直至扩展后的灰度直方图的灰度级减少至255，得到压缩后的灰度直方图。
3.根据权利要求2所述的基于可见光图像对比度增强的图像融合方法，其特征在于：步骤2.2)中，子块融合过程具体包括以下步骤：
2.2.1)取一对对应的红外图像子块与对比度增强后的可见光图像子块，计算二者的清晰度，利用以下公式，计算二者融合时的清晰度占比
a＝CV/(CR+CV)
b＝1-a；
其中，
CV为对比度增强后的可见光图像子块清晰度；
CR为红外图像子块清晰度；
a为对比度增强后的可见光图像子块融合权重；
b为红外图像子块融合权重；
2.2.2)利用引导滤波公式，将所有红外图像子块和对比度增强后的可见光图像子块均分为基层图像和细节层图像；
2.2.3)将对比度增强后的可见光图像子块和红外图像子块分别作为融合时的主图像进行计算；
以对比度增强后的可见光图像子块作为主图像时，通过以下融合函数进行融合，得到以对比度增强后的可见光图像子块作为主图像时所得融合子块矩阵
WDR＝(1./(1+exp(GTR-GR))).*(1./(1+exp(GV-GR))).*(1+5*max((IBR-HTR),0))；
WDV＝(1./(1+exp(GTV-GV))).*(1./(1+exp(GR-GV)))；
FV＝(WBR.*IBR+IBV)./(1+WBR)+(WDR.*IDR+WDV.*IDV)；
其中，
WBR为红外图像子块基层图像融合权重矩阵；
WDR为红外图像子块细节层图像融合权重矩阵；
WDV为对比度增强后的可见光图像子块细节层图像融合权重矩阵；
GTR为红外图像子块梯度阈值；
GTV为对比度增强后的可见光图像子块梯度阈值；
GR为红外图像子块梯度矩阵；
GV为对比度增强后的可见光图像子块梯度矩阵；
IBR为红外子块基层图像矩阵；
IBV为对比度增强后的可见光图像子块基层图像矩阵；
IDR为红外子块细节层图像矩阵；
IDV为对比度增强后的可见光图像子块细节层图像矩阵；
HTR为红外图像子块灰度阈值；
FV为以对比度增强后的可见光图像子块作为主图像时所得融合子块矩阵；
(WBR.*IBR+IBV)./(1+WBR)代表基层图像矩阵乘以权重矩阵后归一化的结果矩阵；
./和.*分别代表矩阵的点除和点乘；
以红外图像子块作为主图像时，通过以下融合函数进行融合，得到以红外子块作为主图像时所得融合子块矩阵
WDR＝(1./(1+exp(GTR-GR))).*(1./(1+exp(GV-GR)))；
WDV＝(1./(1+5*max((GTV-GV),0))).*(1./(1+exp(GR-GV)))；
FR＝(IBR+WBV.*IBV)./(WBV+1)+(WDR.*IDR+WDV.*IDV)；
其中，
WBV为对比度增强后的可见光图像子块基层图像融合权重矩阵；
FR为以红外子块作为主图像时所得融合子块矩阵；
(IBR+WBV.*IBV)./(WBV+1)代表基层图像矩阵乘以权重矩阵后归一化的结果矩阵；
2.2.4)重复与步骤2.2.3)相同的操作，遍历所有红外图像子块与对应的对比度增强后的可见光图像子块，然后通过以下公式，获取所有融合子块
F＝a*FV+b*FR
其中，F为融合子块的图像矩阵。
4.根据权利要求1至3任一所述的基于可见光图像对比度增强的图像融合方法，其特征在于：步骤1.2.2)中，所述四个梯度范围为
小于0.5*IGD；
大于等于0.5*IGD且小于IGD；
大于等于IGD且小于等于1.5*IGD；
大于1.5*IGD。
5.根据权利要求4所述的基于可见光图像对比度增强的图像融合方法，其特征在于：步骤2.1)中，所述清晰度函数为
C＝IAG*IEN
其中，
C为子块图像清晰度；
IAG为子块图像的平均灰度；
IEN为子块图像的熵；
i为像素值；
Ii(u,v)为像素值为i、坐标为(u,v)的像素点；
所述子块图像指红外图像子块或对比度增强后的可见光图像子块。
6.根据权利要求5所述的基于可见光图像对比度增强的图像融合方法，其特征在于：步骤2.2.2)中，引导滤波公式为
qi＝ak*Ii+bk
其中，
Ii为输入的图像矩阵；
qi为输处的图像矩阵；
ak和bk均为滤波系数，可由E(ak,bk)计算得到；
wk为滤波窗口矩阵，为3*3。
7.根据权利要求1所述的基于可见光图像对比度增强的图像融合方法，其特征在于：还包括步骤2.4)
采用双线性插值法，对拼接后的图像中所有融合边界进行插值处理。
8.根据权利要求1所述的基于可见光图像对比度增强的图像融合方法，其特征在于：步骤2.1)中，所述分为多个子块为分为3*3个子块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010357534.5A CN111612725B (zh) | 2020-04-29 | 2020-04-29 | 一种基于可见光图像对比度增强的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010357534.5A CN111612725B (zh) | 2020-04-29 | 2020-04-29 | 一种基于可见光图像对比度增强的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612725A CN111612725A (zh) | 2020-09-01 |
| CN111612725B true CN111612725B (zh) | 2023-04-11 |
Family
ID=72198057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010357534.5A Active CN111612725B (zh) | 2020-04-29 | 2020-04-29 | 一种基于可见光图像对比度增强的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612725B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288644A (zh) * | 2020-09-30 | 2021-01-29 | 西北工业大学 | 一种基于图像分层的实时高效红外图像细节增强方法 |
| CN112991200B (zh) * | 2021-02-08 | 2024-02-02 | 中国科学院西安光学精密机械研究所 | 一种红外图像自适应增强的方法与装置 |
| CN113436129B (zh) * | 2021-08-24 | 2021-11-16 | 南京微纳科技研究院有限公司 | 图像融合系统、方法、装置、设备及存储介质 |
| CN114140481A (zh) * | 2021-11-03 | 2022-03-04 | 中国安全生产科学研究院 | 一种基于红外图像的边缘检测方法、装置 |
| CN115908518B (zh) * | 2023-01-09 | 2023-05-09 | 四川赛狄信息技术股份公司 | 一种多传感图像融合方法及系统 |
| CN117036209B (zh) * | 2023-10-07 | 2024-01-26 | 深圳英美达医疗技术有限公司 | 图像对比度增强方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020595A1 (zh) * | 2015-08-05 | 2017-02-09 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| CN107680054A (zh) * | 2017-09-26 | 2018-02-09 | 长春理工大学 | 雾霾环境下多源图像融合方法 |
| CN109242888A (zh) * | 2018-09-03 | 2019-01-18 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
| CN109345491A (zh) * | 2018-09-26 | 2019-02-15 | 中国科学院西安光学精密机械研究所 | 一种融合梯度和灰度信息的遥感图像增强方法 |
-
2020
- 2020-04-29 CN CN202010357534.5A patent/CN111612725B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020595A1 (zh) * | 2015-08-05 | 2017-02-09 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| CN107680054A (zh) * | 2017-09-26 | 2018-02-09 | 长春理工大学 | 雾霾环境下多源图像融合方法 |
| CN109242888A (zh) * | 2018-09-03 | 2019-01-18 | 中国科学院光电技术研究所 | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 |
| CN109345491A (zh) * | 2018-09-26 | 2019-02-15 | 中国科学院西安光学精密机械研究所 | 一种融合梯度和灰度信息的遥感图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种边缘优化的红外与可见光图像模块化融合方法;徐领章等;《云南师范大学学报(自然科学版)》;20160115(第01期);全文 * |
| 基于异源图像引导的红外图像增强算法;臧维明等;《中国电子科学研究院学报》;20170820(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612725A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612725B (zh) | 一种基于可见光图像对比度增强的图像融合方法 | |
| KR101012270B1 (ko) | 낮은 동적 범위로부터 높은 동적 범위로 이미지를 변환하는방법 및 시스템 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| KR20090111136A (ko) | 최적 영상 선택 방법 및 장치 | |
| CN107682594A (zh) | 图像处理装置、摄像装置、图像处理方法和存储介质 | |
| CN111028165B (zh) | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 | |
| US10609303B2 (en) | Method and apparatus for rapid improvement of smog/low-light-level image using mapping table | |
| CN107862672B (zh) | 图像去雾的方法及装置 | |
| CN112785534A (zh) | 一种动态场景下去鬼影多曝光图像融合方法 | |
| CN115063331B (zh) | 基于多尺度块lbp算子无鬼影多曝光图像融合方法 | |
| CN110175967B (zh) | 图像去雾处理方法、系统、计算机设备和存储介质 | |
| CN117274113B (zh) | 基于图像增强的碎硅片清洗效果视觉检测方法 | |
| CN109345479B (zh) | 一种视频监控数据的实时预处理方法及存储介质 | |
| Khan et al. | Recent advancement in haze removal approaches | |
| CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
| CN110111280A (zh) | 一种多尺度梯度域引导滤波的低照度图像增强算法 | |
| CN114004850A (zh) | 一种天空分割方法、图像去雾方法、电子设备和存储介质 | |
| CN110580690B (zh) | 一种识别峰值变换非线性曲线的图像增强方法 | |
| Xie et al. | Image defogging method combining light field depth estimation and dark channel | |
| Abbaspour et al. | A new fast method for foggy image enhancement | |
| CN116433525A (zh) | 一种基于边缘检测函数变分模型的水下图像去雾方法 | |
| JP3731741B2 (ja) | カラー動画像処理方法および処理装置 | |
| CN114677393A (zh) | 深度图像处理方法、装置、摄像设备、会议系统及介质 | |
| RU2383924C2 (ru) | Способ адаптивного повышения резкости цифровых фотографий в процессе печати | |
| CN113822816A (zh) | 气雾散射模型优化的单张遥感图像去霾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |