CN109636766B - 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 - Google Patents
基于边缘信息增强的偏振差分与光强图像多尺度融合方法 Download PDFInfo
- Publication number
- CN109636766B CN109636766B CN201811433672.6A CN201811433672A CN109636766B CN 109636766 B CN109636766 B CN 109636766B CN 201811433672 A CN201811433672 A CN 201811433672A CN 109636766 B CN109636766 B CN 109636766B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- images
- light intensity
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 136
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 152
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 122
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000003708 edge detection Methods 0.000 claims abstract description 16
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 49
- 230000000694 effects Effects 0.000 description 11
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical group [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 10
- 238000013441 quality evaluation Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 9
- 102100033133 D-dopachrome decarboxylase Human genes 0.000 description 8
- 101000927579 Homo sapiens D-dopachrome decarboxylase Proteins 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 229910052742 iron Inorganic materials 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005388 cross polarization Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于边缘信息增强的偏振差分与光强图像多尺度融合方法，包括分别采用最小互信息偏振差分成像法和偏振信息解析得到偏振差分图像和光强图像；其次，对光强图像采用三维块匹配滤波算法去噪、导向滤波算法增强；对偏振差分图像进行仿射变换和三维块匹配滤波算法去噪；采用双树复小波变换将光强图像和偏振差分图像分解成高频系数和低频系数，高频系数中在不同分解层上不同方向的高频系数图像采用基于边缘检测的融合规则，低频系数中不同方向的低频系数图像采用基于区域方差和方差匹配度的融合规则；通过双数复小波逆变换得到融合图像。
Description
技术领域
本发明涉及一种图像处理技术，特别是一种基于边缘信息增强的偏振差分与光强图像多尺度融合方法。
背景技术
复杂背景下的目标探测是军事领域和民用领域的重要研究课题，图像融合可以利用图像间的冗余信息和互补信息，突出图像中的有用信息，使得对同一场景的图像描述更加准确、全面。因此，图像融合技术是复杂背景下后续目标检测、识别及跟踪的基础。
目前，图像融合技术一般分为两类，基于空间域的图像融合和基于变换域的图像融合。前者针对像素灰度值进行，如加权平均、主成分分析等；后者先对图像做相应的变换，在变换域内对系数进行相应的处理，再反变换得到融合图像，如金字塔变换融合法、小波变换融合法等。
(1)加权平均法是对原图像的像素值直接取相同的权值，然后进行加权平均得到融合图像的像素值。它具有简单易实现、运算速度快的优点，并能提高融合图像的信噪比，但是这种方法削弱了图像中的细节信息，降低了图像的对比度，在一定程度上使图像中的边缘变得模糊，应用范围有限，处理差异悬殊的图像效果不好，在多数应用场合难以取得满意的融合效果。
(2)主成分分析法是将待融合图像视为随机变量，求解它们的协方差矩阵，并解出特征值和特征向量，最大特征值所对应的特征向量即为第一主成分，最后依据得到的第一主成分确定各个待融合图像的加权系数。实际应用中，当某一传感器输出图像对比度较低时，这种权值分配方法效果会比较好。但一般情况下，主成分分析法对图像中的死点、噪声等干扰信息非常敏感。
(3)金字塔变换融合法是在各个分解层上对图像中感兴趣的部分进行相应处理。基于金字塔变换融合方法的优点是可以在不同空间分辨率上，有针对性地突出个图像重要特征和细节信息，相对于简单图像融合方法，融合效果有明显的改善。其缺点是图像的金字塔分解均是图像的冗余分解，即分解后各层间数据有冗余；同时在图像融合中高频信息损失较大，在金字塔重建时可能出现模糊、不稳定现象；图像的拉普拉斯、比率低通、形态学金字塔分解均无方向性。
(4)基于小波变换的图像融合方法是先对原图像分别进行小波变换，建立图像的小波金字塔分解；然后对各分解层采用不同的融合规则进行融合处理，得到融合后的小波金字塔；最后对融合后的小波金字塔进行小波变换，重构得到融合图像。它保留金字塔分解优点的同时，还具有许多独特的优良特性，如方向性、空间性、频域性。然而小波变换仍存在一定的局限性，由于在处理时存在下采样过程，小波变换不具备平移不变性。此外，小波变换的方向选择性较差，只能提供水平、垂直和对角方向的细节信息，不利于图像方向性信息的捕获。双树复小波变换的提出有效解决了上述问题，它在继承了小波变换的优良特性的基础上，还具备了平移不变性和良好的方向选择性，能够实现对信号更好的稀疏表示。
发明内容
本发明的目的在于提供一种基于边缘信息增强的偏振差分与光强图像多尺度融合方法，包括以下步骤：
步骤1，利用偏振成像系统分别采集三个不同偏振角度的光强图像I1、I2、I3；
步骤2，对三个不同偏振角度的光强图像进行灰度化处理；
步骤3，对于灰度化处理的三幅不同偏振角度的光强图像，通过偏振信息解析获得待融合的光强图像I0，以及通过基于最小互信息的偏振差分成像法得到偏振差分图像；
步骤4，对步骤3获得的光强图像I0，先采用BM3D算法去噪，再采用引导滤波增强；对步骤3的偏振差分图像先进行仿射变换，再采用BM3D算法去噪；
步骤5，对经过步骤4处理的光强图像和偏振差分图像分别采用双树复小波变换进行分解，得到光强图像和偏振差分图像的高频系数和低频系数；
步骤6，对步骤5得到的两幅待融合图像高频系数中在不同分解层上不同方向的高频系数图像采用基于边缘检测的图像融合规则进行融合，得到融合后的高频系数；对步骤5得到的两幅待融合图像的低频系数中不同方向的低频系数图像采用基于区域方差和方差匹配度的融合规则，得到融合后的低频系数；
步骤7，对步骤6中融合后的高频系数和低频系数采用双树复小波逆变换重构，重构图像即为融合图像。
本发明与现有技术相比，具有以下优点(1)采用基于最小互信息的偏振差分成像法获取偏振差分图像，更好地利用目标与背景偏振特性差异增强目标信息，克服传统偏振特征图像在偏振信息解析上的不足对融合图像产生的影响。(2)采用的双树复小波变换(DT-CWT)具有近似的平移不变性和方向选择性。每一个尺度上可分解为2个低频子带和6个高频子带，反映灰度图像在不同分辨率下沿多方向的变化情况，更好地描述图像的方向特征。(3)对光强图像采取引导滤波增强，针对浑浊介质中光强图像对比度较低的问题，采用导向滤波进行图像增强，既能很好地保留光强图像的边缘信息，又能增强图像的对比度。(4)高频融合规则中采用基于边缘检测的融合规则，考虑相邻像素之间的相关性，提取图像的边缘点，以图像的边缘为参考，围绕边缘建立融合策略，使融合后的图像细节更真实更丰富，图像的偏振特性体现更为显著。
下面结合说明书附图对本发明作进一步详细描述。
附图说明
图1为本发明一种基于边缘信息增强的偏振差分与光强图像多尺度融合算法的流程图。
图2为采用不同偏振差分成像方法获得的偏振差分图像示意图，其中(a)为传统偏振差分成像方法的偏振差分图像示意图，(b)为计算合成偏振差分图像法的偏振差分图像示意图，(c)为增强偏振差分成像法的偏振差分图像示意图示意图，(d)基于最小互信息的自适应偏振成像法的偏振差分图像示意图。
图3为第一组实验不同偏振角度的光强图像，其中(a)为0°偏振角的光强图像；(b)为45°偏振角的光强图像示意图；(c)为90°偏振角的光强图像示意图。
图4为第一组实验光强图像与偏振差分图像原图，其中(a)为光强图像示意图；(b)为偏振差分图像示意图。
图5为图4光强图像和偏振差分图像经去噪、增强后的效果图，其中(a)为去噪后的光强图像示意图，(b)为去噪后的偏振差分图像示意图，(c)为引导滤波处理后的光强图像示意图。
图6为第二组实验不同偏振角度的光强图像，其中(a)为0°偏振角的光强图像示意图，(b)为45°偏振角的光强图像示意图，(c)为90°偏振角的光强图像示意图。
图7为第二组实验光强图像与偏振差分图像原图，其中(a)为光强图像示意图；(b)为偏振差分图像示意图。
图8为图7光强图像和偏振差分图像经去噪、增强后的效果图，其中(a)为去噪后的光强图像示意图，(b)为去噪后的偏振差分图像示意图，(c)为引导滤波处理后的光强图像示意图。
图9为对第一组实验图像采用不同融合策略得到的融合图像，其中(a)为融合策略F1的结果示意图，(b)融合策略F2的结果示意图，(c)融合策略F3的结果示意图，(d)融合策略F4的结果示意图，(e)融合策略F5的结果示意图，(f)融合策略F6的结果示意图。
图10为对第二组实验图像采用不同融合策略得到的融合图像，其中(a)为融合策略F1的结果示意图，(b)为融合策略F2的结果示意图，(c)为融合策略F3的结果示意图；(d)为融合策略F4的结果示意图，(e)为融合策略F5的结果示意图，(f)为融合策略F6的结果示意图。
图11为本发明融合结果与待融合图像对比图，其中(a1)为实验一光强图像示意图，(b1)为实验一偏振差分图像，(c1)为本发明的实验一融合结果示意图，(a2)为实验二光强图像示意图，(b2)为实验二偏振差分图像示意图，(c2)为本发明的实验二融合结果示意图。
图12为对第一组实验图像采用不同融合算法的结果对比图，其中(a)为LP融合算法结果示意图，(b)为WT融合算法结果示意图，(c)为PCNN融合算法结果示意图，(d)为RFLICM融合算法结果示意图，(e)为DDCT融合算法结果示意图，(f)为JPCD融合算法结果示意图，(g)为本发明融合算法结果示意图。
图13为对第二组实验图像采用不同融合算法的结果对比图，其中(a)为LP融合算法结果示意图，(b)为WT融合算法结果示意图，(c)为PCNN融合算法结果示意图，(d)为RFLICM融合算法结果示意图，(e)为DDCT融合算法结果示意图，(f)为JPCD融合算法结果示意图，(g)为本发明融合算法结果示意图。
具体实施方式
结合图1，一种基于边缘信息增强的偏振差分与光强图像多尺度融合算法，包括以下步骤：
步骤1，利用偏振成像系统分别采集三个不同偏振角度的光强图像I0°、I45°、I90°。
步骤2，如果步骤1采集到的是RGB图像，对其进行灰度化。
步骤3，对步骤2得到的三幅不同偏振角度的光强图像，通过计算公式Io＝I0°+I90°得到待融合的光强图像Io，通过基于最小互信息的偏振差分成像法得到偏振差分图像。
其中基于最小互信息得到偏振差分图像的步骤如下：
步骤3.1，根据偏振信息解析原理推导出出射光强表达式。对于偏振态为Si＝[IiQi Ui Vi]T的入射光波，当经过透光轴与参考坐标夹角为β的理想线偏振片后，出射光波的偏振态So＝[Io Qo Uo Vo]T为：
则
步骤3.2，将步骤2中的三幅不同偏振角度的光强图像I0°、I45°、I90°代入上式，联立求出常量量Ii、Qi、Ui；
步骤3.3，将常量量Ii、Qi、Ui代入(2)式中，解析出偏振片透光轴与所选参考坐标系成任意夹角β时的出射光强图像Io(β)；
步骤3.4，以归一化互信息为评价指标，找到最大不相关的两幅出射光强图像Io1和Io2；
步骤3.5，按照式IPD(x,y)＝|Io1-Io2|进行差分分解，得到待融合的偏振差分图像；
步骤4，对步骤3的光强图像先采用BM3D算法去噪，系数sigma＝3，再采用引导滤波增强，以自身图像为导向图，窗口半径大小设为2，正则化系数设为0.4^2，输出的导向滤波图与导向图之间的线性系数分别为5和1；对对步骤3的偏振差分图像先进行仿射变换，再采用BM3D算法去噪，系数sigma＝20；
步骤5，对步骤4的光强图像和偏振差分图像分别采用双树复小波变换进行分解，分解层数设置为6，得到光强图像和偏振差分图像的高频系数和低频系数；
步骤6，对步骤5得到的两幅待融合图像的高频系数采用基于边缘检测的图像融合规则进行融合，得到融合后的高频系数；对步骤5得到的两幅待融合图像的低频系数采用基于区域方差和方差匹配度的融合规则，得到融合后的低频系数；
其中基于边缘检测的高频系数融合规则具体步骤为：
1)对双树复小波变换分解的每一层6个方向的高频系数分别采用Canny边缘检测算子进行边缘检测，得到边缘检测图像EHA、EHB；
2)然后以边缘检测图像为依据，选择不同的融合规则。若边缘检测图像EHA、EHB中至少有一图像的像素点(i,j)为1，则分别计算高频系数图像在(i,j)点3*3邻域内的方差VHA、VHB，取区域方差较大值作为高频融合系数图像在(i,j)点的像素值H(i,j)；若边缘检测图像EHA、EHB中的像素点(i,j)均不为1，则取高频系数图像HA、HB在点(i,j)处的较大值作为高频融合系数图像在(i,j)点的像素值H(i,j)；
其中基于区域方差和方差匹配度的低频系数融合规则具体步骤为：
1)计算两个低频系数图像LA,LB以点p为中心的区域方差G(LA,p)、G(LB,p)和方差匹配度M(p)
其中，w(q)表示权值，离p点越近，权值越大。C(X,p)表示低频系数图像中点p的值，
表示低频系数图像中以p点为中心Q区域的平均值，q为Q区域中的某一点；
2)比较方差匹配度M(p)与阈值T的大小：若匹配度小于阈值，则取区域方差较大值对应点的低频系数作为低频融合系数C(F,p)；若匹配度大于阈值，则采用加权平均的方法得到对应点的低频融合系数C(F,p)；
当M(p)<T时，采用选项融合规则：
当M(p)≥T时，采用平均融合规则：
其中，
Wmax＝1-Wmin，C(X,p)表示低频系数矩阵p点的值。
步骤7，对步骤6中融合后的高频系数和低频系数采用双树复小波逆变换重构，重构图像即为融合图像。
实施例
首先利用偏振成像系统采集三个不同偏振角度的光强图像，将图像输入到计算机中；为了检测本发明提出的一种基于边缘信息增强的偏振差分与光强图像多尺度融合算法效果，现通过MATLAB R2014a构建算法仿真模型将本发明中基于最小互信息偏振差分成像法与传统偏振差分成像法、计算合成偏振差分图像方法及增强偏振差分成像方法对比。分别选取目标为“铁盒”，水下浑浊介质中的三幅不同偏振角度的光强图像；雾天户外场景的三个不同偏振角度的光强图像。
如图1所示，针对偏振差分成像系统采集到的三个不同偏振角度的光强图像，分别采用传统偏振差分成像法(M1)、计算合成偏振差分图像方法(M2)、增强偏振差分成像方法(M3)及本发明中的基于最小互信息偏振差分成像法(M4)得到偏振差分图像。
从图2可看出，传统偏振差分成像法算法得到的偏振差分图像噪声点过多；计算合成偏振差分图像方法和增强偏振差分成像方法得到的偏振差分图像对比度较高，但基于最小互信息偏振差分成像法得到的偏振差分图像中水底地面纹理以及铁盒上盖边缘轮廓更加清晰完整，包含的信息较多；增强偏振差分成像方法法得到的偏振差分图像的整体灰度较低，很难分辨图中的目标。
为了更客观地评价4种偏振差分成像法的偏振差分图像质量，分别对偏振差分图像的平均灰度、标准差、信息熵、平均梯度、空间分辨率进行质量评估。
表1不同偏振差分成像方法获得的偏振差分图像质量评价
| M1 | M2 | M3 | M4 | |
| 平均灰度 | 159.6008 | 99.8649 | 31.7948 | 63.4581 |
| 标准差 | 48.8336 | 27.9425 | 10.7950 | 42.2499 |
| 信息熵 | 7.5760 | 6.8081 | 5.3561 | 7.2597 |
| 平均梯度 | 17.4942 | 10.3815 | 1.0615 | 14.9215 |
| 空间分辨率 | 56.5222 | 33.7541 | 3.7891 | 49.1565 |
由表1中图像质量评价指标结果可知，M1，M4偏振差分成像法得到的偏振差分图像的质量指标值相对较高，但是M1算法得到的偏振差分图像中噪声点过多，且视觉效果较差。考虑可能是由于手动旋转偏振片获取正交偏振图像时，存在一定误差，导致采集到的两幅偏振图像并非严格意义上的正交图像，使得两幅偏振图像差分所得的偏振差分图像效果较差。从主观视觉和客观评价指标综合考虑，本发明中基于最小互信息偏振差分成像方法获取的偏振差分图像质量较好。
对待融合的两幅图像分析可知，浑浊介质中的光强图像对比度较低，偏振差分图像包含的噪声点较多，直接将光强图像和偏振差分图像融合，效果较差。为了改善图像融合的质量，对两幅待融合的图像进行图像去噪和增强处理。
对比图4(a)与图5(c)的光强图像可以发现，经图像预处理后，浑浊介质图像中的目标“铁盒”的上盖边缘轮廓更加清晰，且背景中凹凸不平的地面纹理也清晰地呈现出来。图4(b)偏振差分图像经BM3D算法去噪处理后，图中噪声点几乎被去除，如图5(b)所示，图像的边缘线条显得更加自然、平滑，视觉效果更好。
对比图6(a)与图8(c)的光强图像可以发现，经图像预处理后，雾天场景中的建筑物、电线杆和板凳等物体的边缘轮廓与背景的对比度显著提高，楼房的窗户等细节信息更加突出。图7(b)偏振差分图像经BM3D算法去噪处理后，图中的小噪声点被去除，同时建筑物边缘轮廓等高频信息仍得以保留，如图8(b)所示。
为了验证本发明图像融合算法的有效性及更有说服力，我们对本发明融合算法进行了验证并通过引入多组图像融合策略在相同的前提下与对本发明融合进行进行对比。
表2基于双树复小波变换融合算法的不同融合策略
从图9可以看出，融合规则F1～F3得到的融合图像整体灰度较低，目标与背景的对比度不高；F4～F6融合规则得到的融合图像整体灰度较高，且目标边缘较显著，与背景对比度较高。
从图10可以看出，融合规则F1～F3得到的融合图像整体灰度较低，目标与背景的对比度不高，视觉效果较差；F4～F6融合规则得到的融合图像整体灰度较高，且建筑物、电线杆、板凳等物体的边缘轮廓更加清晰完整。
由于可显示的图像大小有限，主观视觉分辨融合结果间的细小差异较难，为了更有效地评价融合图像的质量，对不同融合规则得到的融合图像进行质量评价。
表3第一组实验不同融合策略获得的融合图像的质量评价
注：加粗字体为同一评价指标表现最优者。
从表3中可以看出，采用F6融合规则获得的融合图像的平均灰度值和标准差相对于F5融合规则得到的融合结果略微低一些，适中为宜；空间分辨率仅次于F1融合规则获得的融合图像，其它指标均高于F1～F5融合规则获得的融合图像。从算法运行时间上来看，采用F6融合规则消耗的时间远小于F2～F5融合规则消耗的时间。从主观视觉、客观评价指标以及算法运行时间上综合考虑，本发明采用的基于边缘检测的高频融合规则及基于区域方差和方差匹配度的低频融合规则得到的融合图像质量较好，且运行时间较短。
表4第二组实验不同融合策略获得的融合图像的质量评价
注：加粗字体为同一评价指标表现最优者。
从表4中的质量评价指标数值可以看出，F6融合规则获得的图像的平均梯度、标准差及信息熵与F4、F6融合规则近似，但是平均梯度、空间分辨率及图像清晰度较其它融合规则表现较为优越，说明本发明算法得到的融合图像的边缘纹理等高频信息比较丰富。
为了进一步证明本发明算法在综合同一目标或同一场景中两幅或多幅图像的有效性，将待融合的光强图像和偏振差分图像与本发明算法的结果对比。
从图11中可以看出，对于第一组实验，光强图像图11(a1)严重受到散射粒子的影响，目标“铁盒”的上盖边缘轮廓与背景的对比度较低，图像整体模糊不清。偏振差分图像图11(b1)包含目标边缘轮廓及水底地面纹理等丰富的高频信息，但目标完整度及灰度值较低。图11(c1)将光强图像的低频分量信息与偏振差分图像中的高频细节信息较好地融合在一起，图像整体灰度值得到提升，目标细节信息丰富，整体完整度较高。对于第二组实验，图11(a2)只能观察得到建筑物、板凳、双回路塔的轮廓,建筑物的窗户、电线等细节信息几乎不可分辨。图11(b2)更多地体现场景的细节信息。融合后的图像图11(c2),可以清楚地观察到建筑物的窗户、电线等细节信息，信息更加丰富。
为了从客观角度验证本文算法的有效性，将原光强图像及偏振差分图像和本发明算法结果进行质量评价。
表5本发明融合结果与待融合原图像的对比
注：加粗字体为本文算法融合结果。
从表5可以看出，与偏振差分图像相比，光强图像的平均灰度、标准差及信息熵较高，说明光强图像的灰度等级较多，信息量较为丰富；但偏振差分图像的平均梯度及空间分辨率远高于光强图像，体现了偏振差分图像的高频细节信息较为丰富。采用本发明算法得到的融合图像，将两者的优势很好地结合起来，各指标数值明显高于原光强图像及偏振差分图像，证明了本发明算法对于浑浊介质场景中目标图像增强的实用性和有效性。
为了验证本文算法对于复杂环境下抑制背景、增强目标边缘信息的有效性，分别选择水下浑浊介质及雾天条件下的图像进行处理。并与其它图像融合方法进行比较，包括拉普拉斯图像融合算法(LP)、小波变换图像融合算法(WT)及基于脉冲神经网络的图像融合算法(PCNN)、结合重构模糊局部信息C均值聚类的融合算法(RFLICM)、基于方向余弦变换的融合算法(DDCT)以及基于字典学习的联合块聚类的多模态图像融合方法(JPCD)。
图12为第一组实验采用不同融合算法得到的结果。从图像整体灰度上来看，LP算法及本发明融合算法得到的融合图像灰度值适中，其它融合算法得到的图像灰度值整体偏低，图像较暗。从图像中的噪声来分析，LP算法、WT算法及本发明融合算法得到的融合图像存在细小噪声，JPCD融合算法得到的结果中噪声最小，PCNN算法及RFLICM算法的融合图像中存在局部大面积噪声，严重影响目标图像的视觉效果。DDCT算法的融合图像中存在“块效应”，如图12(e)左下角所示，严重干扰人眼对目标的识别。从目标与背景对比度上来看，本发明融合算法得到的融合图像目标边缘及水底地面纹理清晰可见，与背景对比度较高。LP算法的融合图像目标边缘较为模糊，但“铁盒”上盖区域灰度值较高，与背景对比度较好；WT算法及DDCT算法的融合图像与此相反，目标上盖边缘较清晰，但目标整体灰度值较低，与背景对比度较差。RFLICM算法及JPCD算法的融合结果视觉效果最差，机会分辨不出目标的存在。综合分析，本发明融合算法对于水下浑浊介质图像融合的视觉效果最优。
图13为第二组实验采用不同融合算法得到的结果。从图像整体灰度上来看，LP算法、PCNN算法及本发明融合算法得到的融合图像灰度值适中，其它融合算法得到的图像灰度值整体偏低，图像较暗。从图像中的噪声来分析，JPCD算法及本发明算法得到的融合图像的噪声点最少；LP算法、WT算法及RFLICM算法的融合图像中存在较多细小噪声点；DDCT算法的融合图像中同样存在严重的“块效应”，严重干扰人眼的目标识别。从目标与背景对比度上来看，本发明算法得到的融合图像中目标与背景的对比度最高，建筑物的窗户、电线、及双回路塔的结构都清晰可见；PCNN算法得到的融合图像的细节信息与背景对比度较高，比如图13(c)中红色框选区，但是建筑物整体轮廓与背景的对比度较低；其它融合算法得到的融合图像均较为模糊，对比度很差。综合分析，本发明融合算法对于雾天浑浊介质图像融合的视觉效果最优。
为了更全面地评价不同融合算法的融合图像质量，在对融合图像进行主观视觉评价的同时，采用客观质量评价指标进行评估，包括平均灰度、标准差、信息熵、平均梯度、空间分辨率以及相关系数。
表6第一组实验不同算法融合结果质量评价
注：加粗字体为同一评价指标表现最优者。
从表6可知，从平均灰度上来看，WT、RFLICM算法得到的融合图像灰度值较低，图像整体较暗，不易于凸显目标。从标准差上来看，PCNN算法的融合图像的标准差较高，本发明算法的标准差次之，相差较小；从信息熵来分析，本发明算法的融合图像信息熵最高，体现本发明算法融合图像的信息量较为丰富；从平均梯度、空间分辨率及相关系数上分析，WT算法的指标数值最高，本发明融合算法结果次之，可能是WT算法结果中存在较多孤立噪声点，导致平均梯度和空间分辨率指标数值较高。但相比于其它融合算法，本发明算法在平均梯度、空间分辨率及相关系数上表现较为优越。从算法运行时间上来看，本发明算法的运行时间仅高于LP算法和WT算法，远低于PCNN、DDCT算法及JPCD算法的运行时间。结合主观视觉和客观评价指标分析，本发明算法对于水下浑浊介质图像融合的综合效果最优。
表7第二组实验不同算法融合结果质量评价
注：加粗字体为同一评价指标表现最优者。
从表7中数据可知，WT、RFLICM算法及JPCD算法得到的融合图像灰度值较低，图像整体较暗，不易于凸显目标。本发明算法的融合图像标准差、信息熵、平均梯度、空间分辨率均较高，体现出本发明算法融合图像较其它算法的融合图像，灰度等级较为分散、信息量丰富、目标与背景间的对比度较高。从相关系数上来看，WT算法的融合图像与源图像的相关程度较高，PCNN算法的融合图像与源图像的相关程度最低，其它融合算法的相关系数值相差不大。从算法运行时间上来看，本发明算法的运行时间仅高于LP算法和WT算法，远低于PCNN、DDCT算法及JPCD算法的运行时间。结合主观视觉和客观评价指标分析，本发明算法对于雾天浑浊介质图像融合的综合效果最优。
Claims (5)
1.一种基于边缘信息增强的偏振差分与光强图像多尺度融合方法，其特征在于，包括以下步骤：
步骤1，利用偏振成像系统分别采集三个不同偏振角度的光强图像I1、I2、I3；
步骤2，对三个不同偏振角度的光强图像进行灰度化处理；
步骤3，对于灰度化处理的三幅不同偏振角度的光强图像，通过偏振信息解析获得光强图像I0，以及通过基于最小互信息的偏振差分成像法得到偏振差分图像；
步骤4，对步骤3获得的光强图像I0，先采用BM3D算法去噪，再采用引导滤波增强；对步骤3的偏振差分图像先进行仿射变换，再采用BM3D算法去噪；
步骤5，对经过步骤4处理的光强图像和偏振差分图像分别采用双树复小波变换进行分解，得到光强图像和偏振差分图像的高频系数和低频系数；
步骤6，对步骤5得到的两幅待融合图像的高频系数中在不同分解层上不同方向的高频系数图像采用基于边缘检测的图像融合规则进行融合，得到融合后的高频系数；对步骤5得到的两幅待融合图像的低频系数中不同方向的低频系数图像采用基于区域方差和方差匹配度的融合规则，得到融合后的低频系数；
步骤7，对步骤6中融合后的高频系数和低频系数采用双树复小波逆变换重构，重构图像即为融合图像。
2.根据权利要求1所述的方法，其特征在于，步骤3中的基于最小互信息的偏振差分成像法具体步骤如下：
步骤3.1，对于偏振态为Si＝[Ii Qi Ui Vi]T的入射光波，当经过透光轴与参考坐标夹角为β的理想线偏振片后，出射光波的偏振态So＝[Io Qo Uo Vo]T为
则
步骤3.2，将步骤2中的三幅不同偏振角度的光强图I1、I2、I3代入(2)式，联立求出常量Ii、Qi、Ui；
步骤3.3，将常量Ii、Qi、Ui代入(2)式中，解析出偏振片透光轴与所选参考坐标系成任意夹角β时的出射光强图像Io(β)；
步骤3.4，以归一化互信息为评价指标，找到最大不相关的两幅出射光强图像Io1和Io2，两幅图像的归一化互信息数值最小时即两幅图像为最大不相关；
步骤3.5，按照式IPD(x,y)＝|Io1-Io2|进行差分分解，得到待融合的偏振差分图像。
3.根据权利要求1所述的方法，其特征在于，步骤4中，对BM3D算法去噪后的光强图像，采用引导滤波增强步骤如下：
以光强图像为导向图，窗口半径大小设为2，正则化系数设为0.4^2，输出的导向滤波图与导向图之间的线性系数分别为5和1。
4.根据权利要求1所述的方法，其特征在于，在步骤6中，高频系数采用基于边缘检测的图像融合规则进行融合步骤如下：
步骤6.1.1，对双树复小波变换分解的每一层6个方向的高频系数分别采用Canny边缘检测算子进行边缘检测，得到边缘检测图像EHA、EHB；
步骤6.1.2，然后以边缘检测图像为依据，选择不同的融合规则：
(1)若边缘检测图像EHA、EHB至少有一幅图像的像中的像素点(i,j)为1，则分别计算高频系数图像(i,j)点在3*3邻域内的方差VHA、VHB，取区域方差较大值作为高频融合系数图像在(i,j)点的像素值H(i,j)；
(2)若边缘检测图像EHA、EHB中的像素点(i,j)均不为1，则取高频系数图像HA、HB在点(i,j)处的较大值作为高频融合系数图像在(i,j)点的像素值H(i,j)；
5.根据权利要求1所述的方法，其特征在于，步骤6中低频系数采用基于区域方差和方差匹配度的融合规则进行同和的具体步骤为：
步骤6.2.1，计算两个低频系数图像LA、LB以点p为中心的区域方差G(LA,p)、G(LB,p)和方差匹配度M(p)；
其中，w(q)表示权值，离p点越近，权值越大；C(X,p)表示低频系数图像中点p的值，
表示低频系数图像中以p点为中心Q区域的平均值，q为Q区域中的某一点；C(LA,q)、C(LB,q)分别表示低频系数图像LA、LB中点q的值，u(LA,p)、u(LB,p)分别表示低频系数图像LA、LB中以p点为中心Q区域的平均值；
步骤6.2.2，比较方差匹配度M(p)与阈值T的大小：若匹配度小于阈值，则取区域方差较大值对应点的值作为低频融合系数C(F,p)；若匹配度大于阈值，则采用加权平均的方法得到对应点的低频融合系数C(F,p)；
当M(p)<T时，采用选项融合规则：
当M(p)≥T时，采用平均融合规则：
其中，
W max＝1-W min，C(X,p)表示低频系数图像p点的值，C(LA,p)、C(LB,p)分别表示低频系数图像LA、LB中p点的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811433672.6A CN109636766B (zh) | 2018-11-28 | 2018-11-28 | 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811433672.6A CN109636766B (zh) | 2018-11-28 | 2018-11-28 | 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109636766A CN109636766A (zh) | 2019-04-16 |
| CN109636766B true CN109636766B (zh) | 2022-08-16 |
Family
ID=66069839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811433672.6A Active CN109636766B (zh) | 2018-11-28 | 2018-11-28 | 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636766B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223264B (zh) * | 2019-04-26 | 2022-03-25 | 中北大学 | 基于直觉可能性集的图像差异特征属性融合有效度分布构造及合成方法 |
| CN110570364B (zh) * | 2019-08-05 | 2023-04-18 | 天津大学 | 基于深度神经网络的分焦平面偏振图像去噪方法 |
| CN111462011B (zh) * | 2020-04-01 | 2023-08-01 | 电子科技大学 | 一种去除红外偏振角图像噪声的方法及系统 |
| CN111724332B (zh) * | 2020-06-09 | 2023-10-31 | 四川大学 | 一种适用于密闭腔体检测的图像增强方法及系统 |
| CN112379391B (zh) * | 2020-09-30 | 2022-11-08 | 西安电子科技大学 | 一种水下偏振成像方法及其装置 |
| CN113052779A (zh) * | 2021-03-26 | 2021-06-29 | 重庆邮电大学 | 一种基于改进nsct变换的汽车抗晕光方法 |
| CN113421206B (zh) * | 2021-07-16 | 2022-11-15 | 合肥工业大学 | 一种基于红外偏振成像的图像增强方法 |
| CN114549353B (zh) * | 2022-02-22 | 2022-09-02 | 中科微影(浙江)医疗科技有限公司 | 一种用于核磁共振图像的去噪方法与系统 |
| CN116823673B (zh) * | 2023-08-24 | 2023-11-10 | 常熟理工学院 | 基于图像处理的高速电梯轿厢乘客状态视觉感知方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139367A (zh) * | 2015-07-27 | 2015-12-09 | 中国科学院光电技术研究所 | 一种基于非下采样剪切波的可见光偏振图像融合方法 |
| CN106846289B (zh) * | 2017-01-17 | 2019-08-23 | 中北大学 | 一种红外光强与偏振图像融合方法 |
-
2018
- 2018-11-28 CN CN201811433672.6A patent/CN109636766B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109636766A (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636766B (zh) | 基于边缘信息增强的偏振差分与光强图像多尺度融合方法 | |
| Rajkumar et al. | A comparative analysis on image quality assessment for real time satellite images | |
| CN108921800B (zh) | 基于形状自适应搜索窗口的非局部均值去噪方法 | |
| Yu et al. | A new edge detection approach based on image context analysis | |
| CN109509163B (zh) | 一种基于fgf的多聚焦图像融合方法及系统 | |
| Zhou et al. | Method of improved fuzzy contrast combined adaptive threshold in NSCT for medical image enhancement | |
| CN108564597B (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
| CN110675340A (zh) | 一种基于改进的非局部先验的单幅图像去雾方法及介质 | |
| CN109685730B (zh) | 一种基于自适应非局域均值的小波去噪方法 | |
| CN102663702A (zh) | 基于区域划分的自然图像去噪方法 | |
| Pan et al. | De-scattering and edge-enhancement algorithms for underwater image restoration | |
| CN113837974A (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| Chen et al. | The enhancement of catenary image with low visibility based on multi-feature fusion network in railway industry | |
| CN111242854A (zh) | 一种图像去噪方法 | |
| CN112862716A (zh) | 基于双树复数小波和模糊理论的声呐图像目标增强方法 | |
| Wang et al. | A wavelet-based image denoising using least squares support vector machine | |
| Yang et al. | Adversarial reconstruction CNN for illumination-robust frontal face image recovery and recognition | |
| Yang et al. | Infrared and visible image fusion based on QNSCT and Guided Filter | |
| Gao et al. | Image denoising based on edge detection and prethresholding Wiener filtering of multi-wavelets fusion | |
| CN116051444A (zh) | 一种有效的红外与可见光图像自适应融合方法 | |
| Sun et al. | Color image denoising based on guided filter and adaptive wavelet threshold | |
| Budhiraja et al. | Effect of pre-processing on MST based infrared and visible image fusion | |
| Hu et al. | Maritime video defogging based on spatial-temporal information fusion and an improved dark channel prior | |
| Gantenapalli et al. | Selective mean filtering for reducing impulse noise in digital color images | |
| Tun et al. | Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |