CN107909112A - 一种红外光强与偏振图像多类变元组合的融合方法 - Google Patents
一种红外光强与偏振图像多类变元组合的融合方法 Download PDFInfo
- Publication number
- CN107909112A CN107909112A CN201711202003.3A CN201711202003A CN107909112A CN 107909112 A CN107909112 A CN 107909112A CN 201711202003 A CN201711202003 A CN 201711202003A CN 107909112 A CN107909112 A CN 107909112A
- Authority
- CN
- China
- Prior art keywords
- msub
- mtd
- tuple
- image
- argument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种红外光强与偏振图像多类变元组合的融合方法，包括以下步骤：S1：对采集图像特征进行类型分类；S2：将采集的图像的融合过程分成四类变元组；S3：建立四类变元组和三类图像特征的一一映射关系；S4：将建立变元组与图像特征之间的多个独立的一一映射关系，利用决策树方法建立以图像特征为起点，以变元组内变元为子结点的多集值映射关系；S5：利用边缘、纹理、亮度特征提取方法对图像进行特征提取并计算其特征幅值，并计算两类图像特征之间的差异特征幅值的绝对值；S6：将S5所得到的差异特征顺序关系输入到S4所得到的公式(2)中，可以得到四类变元组每个变元组内变元的选择情况。
Description
技术领域
本发明属于图像融合领域，具体为一种红外光强与偏振图像多类变元组合的融合方法。
背景技术
红外光强图像描述物体的强度信息，红外偏振图像描述物体的偏振信息，两类图像分别描述了物体的不同属性，具有很强的互补性，将两类图像融合，能够更全面的表达场景信息，提高图像视觉效果。由于场景信息日益复杂、传统融合算法不能根据图像间的不同特征动态调整融合算法中的多尺度变换方法、融合规则、融合参数、逆变换准则及其组合方式，造成原始图像的主要特征融合效果不好，不能全面的表达目标信息。
近年来，为了解决融合算法不能根据不同图像特征从而进行动态调整的问题，研究人员主要开展了如下研究：(1)调整融合算法中的部分结构：研究人员尝试利用不同类型小波与简单融合规则组合的方法进行图像融合。该方法只考虑了利用不同小波进行图像分解，没有考虑到利用目前的多尺度分解方法，而且所利用的高、低频子带融合规则只采用简单的绝对值取大或取小的方法。该方法可以实现根据图像特征变化时融合算法中的小波类型进行动态调整，但是不能调整融合规则和融合参数。由于该方法考虑从融合算法内部进行改变，解决在图像特征不同时融合算法进行动态调整。但是该方法只考虑了小波类型的变化，没有考虑融合规则、融合参数对图像特征融合效果的影响，因此该方法只能针对部分图像特征得到很好的融合效果。(2)利用图像不同差异特征，动态调整融合算法：有学者尝试利用图像的差异特征驱动图像融合算法，这种方法可以针对图像的不同差异特征改变融合算法，使多算法融合模型的融合性能得到进一步提升。该方法虽然针对图像不同差异特征，动态调整融合算法，图像差异特征可以得到较好融合效果，但是该方法只考虑了融合算法进行改变，并没有考虑融合算法内部必要组成部分的改变以及进行不同的组合，导致融合效果的提升不明显。
发明内容
本发明为解决图像融合过程中，融合方法不能根据图像差异特征不同，动态调整融合算法，导致所得到融合图像融合效果差的问题，提供一种红外光强与偏振图像多类变元组合的融合方法。
本发明为解决上述问题而采取的技术方案为：
一种红外光强与偏振图像多类变元组合的融合方法，包括以下步骤：
S1：对采集的红外光强图像和红外偏振图像的图像特征进行类型分类：根据图像特征的视觉效果，可以将图像特征分为三类：边缘特征、纹理特征和亮度特征；
S2：将采集的红外光强图像和红外偏振图像的融合过程分成多尺度分解方法变元组、融合规则变元组、融合参数变元组、逆变换准则变元组四类变元组，确定每类变元组内变元；
S3：利用公式(1)分别建立步骤S2的四类变元组和步骤S1的三类图像特征的一一映射关系，当公式(1)计算所得的数值为正时，建立映射关系；所得数值为负时，不建立映射关系，其中公式(1)如下：
公式中xi为客观评价指标的数值，n为多尺度分解方法变元组组内变元或者融合规则变元组组内变元的总数，yi为计算所得比较融合数值，其中yi＞0认为其对应的变元组与所对应的图像特征融合是有效融合，数值越大融合效果越好， yi≤0证明该算法不合适该特征的融合，既为无效融合变元；
S4：将步骤S3所建立变元组与图像特征之间的多个独立的一一映射关系，利用决策树方法建立以图像特征为起点，以变元组内变元为子结点的多集值映射关系，利用矩阵将S3所建立的独立映射关系进行量化并建立如公式(2)所示的函数化关系，其中公式(2)如下：
F＝(ST×T×Z)×α1L×Z×α2H×Z (2)
F为结果矩阵、S为多尺度分解变元组矩阵、ST为矩阵S的转置矩阵、H为高频融合规则变元矩阵、L为低频融合规则变元组矩阵、T为逆变换准则变元组矩阵、Z为过渡矩阵矩阵维数与上次矩阵乘法维度有关，解决矩阵不能相乘问题，矩阵内元素全部为1，α1、α2为融合参数，其中α1+α2＝1，图像特征为3个，则四个矩阵的维度分别为3×10、3×4、3×4、3×10，具体矩阵如公式(3)所示；矩阵中每一个元素的数值由有效融合程度公式(1)计算，其数值在[0,1]区间内，其中小于0时按0处理，则建立四个变元组之间的有效组合关系由公式(2) 计算所得，通过所得到的矩阵F，通过数值大小可以显著得出哪几个组合为有效融合，从而对变元进行选择，得到具有针对性的融合方法；
S5：利用边缘、纹理、亮度特征提取方法对步骤S1中的红外光强图像和红外偏振图像进行特征提取并计算其特征幅值，并计算两类图像特征之间的差异特征幅值的绝对值，并将计算所得绝对值进行降序排序，得到原始图像差异特征的顺序；
S6：将S5所得到的差异特征顺序关系输入到S4所得到的公式(2)中，可以得到四类变元组每个变元组内变元的选择情况，其中所选择的变元组内变元可能是单一变元或者多个变元，将所得到的变元逐次放入融合模型中，具体顺序为多尺度分解方法变元、融合规则变元、融合参数变元、逆变换变元，从而得到新的融合方法，将原始红外光强图像与红外偏振图像输入新的融合方法，可以输出融合图像。
优选地，本发明所述多尺度分解方法变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10；所述的融合规则变元组的变元包括加权平均L1、邻域归一化梯度L2、局部能量匹配 L3、区域标准差L4、绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4，其中加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4属于低频子带融合规则，绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4属于高频子带融合规则；融合参数变元组内变元可以取内所有数；逆变换准则变元组的变元包括离散小波T1、双树复小波T2、顶帽分解 T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析 T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10。
本发明与现有技术相比具有以下优点：
1、本发明将多尺度图像融合过程设计成多尺度分解变元组、融合规则变元组(分为高频、低频)、融合参数变元组、逆变换变元组四部分的形式，分别建立了各变元组与图像特征之间的对应关系，使每个变元组内变元的选择都以图像特征为选择依据。根据图像特征不同，选择不同的变元，组合成不同的融合方法，解决了目前融合算法不能根据图像特征进行动态调整问题。
2、本发明通过提取原始图像特征并计算两类图像相同特征之间的量化差异值的绝对值，将差异特征绝对值利用降序排序，得出原始图像差异特征的顺序。解决了目前融合算法不考虑图像特征及图像差异特征幅值的问题。根据图像差异特征不同，更好的选择变元组内变元并进行组合。
3、本发明建立了变元组内元素选择及变元组合的函数关系式，给出了变元选择的方法解决了：变元组内变元选择与图像特征之间的关系；不同变元组间变元组合的关系。为融合方法的选择与建立给出了明确的选择依据。
附图说明
图1为本发明流程图；
图2为实施例1所用原始图像；
图3为10种多尺度分解算法对不同图像特征的比较融合度；
图4为4种低频融合规则对不同图像特征的比较融合度；
图5为4种高频融合规则对不同图像特征的比较融合度；
图6为多尺度分解变元组、融合规则变元组(高频、低频)对图像特征一一对应关系；
图7为多集值映射关系图；
图8为实验结果图。
具体实施方式
实施例1
一种红外光强与偏振图像多类变元组合的融合方法，如图1所示，以图2 (a)、2(b)为例进行，包括以下步骤：
S1：对采集的红外光强图像和红外偏振图像的图像特征进行类型分类：根据图像特征的视觉效果，可以将图像特征分为三类：边缘特征、纹理特征和亮度特征；
S2：将采集的红外光强图像和红外偏振图像的融合过程分成多尺度分解方法变元组、融合规则变元组、融合参数变元组、逆变换准则变元组四类变元组，确定每类变元组内变元，所述多尺度分解方法变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10；所述的融合规则变元组的变元包括加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4、绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4，其中加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4属于低频子带融合规则，绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4属于高频子带融合规则；融合参数变元组内变元可以取内所有数；逆变换准则变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10；
S3：利用公式(1)分别建立步骤S2的四类变元组和步骤S1的三类图像特征的一一映射关系，当公式(1)计算所得的数值为正时，建立映射关系；所得数值为负时，不建立映射关系，其中公式(1)如下：
公式中xi为客观评价指标的数值，n为多尺度分解方法变元组组内变元或者融合规则变元组组内变元的总数，yi为计算所得比较融合数值，其中yi＞0认为其对应的变元组与所对应的图像特征融合是有效融合，数值越大融合效果越好， yi≤0证明该算法不合适该特征的融合，既为无效融合变元，具体结果如图3-图5所示；
S4：将步骤S3所建立变元组与图像特征之间的多个独立的一一映射关系如图6所示，利用决策树方法建立以图像特征为起点，以变元组内变元为子结点的多集值映射关系如图7所示，利用矩阵将S3所建立的独立映射关系进行量化并建立如公式(2)所示的函数化关系，其中公式(2)如下：
F＝(ST×T×Z)×α1L×Z×α2H×Z (2)
F为结果矩阵、S为多尺度分解变元组矩阵、ST为矩阵S的转置矩阵、H为高频融合规则变元矩阵、L为低频融合规则变元组矩阵、T为逆变换准则变元组矩阵、Z为过渡矩阵矩阵维数与上次矩阵乘法维度有关，解决矩阵不能相乘问题，矩阵内元素全部为1，α1、α2为融合参数，其中α1+α2＝1，图像特征为3个，则四个矩阵的维度分别为3×10、3×4、3×4、3×10，具体矩阵如公式(3)所示；矩阵中每一个元素的数值由有效融合程度公式(1)计算，其数值在[0,1]区间内，其中小于0时按0处理，则建立四个变元组之间的有效组合关系由公式(2) 计算所得，通过所得到的矩阵F，通过数值大小可以显著得出哪几个组合为有效融合，从而对变元进行选择，得到具有针对性的融合方法，具体如下：
S41：将S3所建立各变元组与图像特征之间的多个独立关系利用决策树方法建立以图像特征为起点，以变元组内元素为子结点的多集值映射关系如图7 所示。图中，A、B、C分别代表边缘差异、纹理差异、亮度差异；T1-T10代表多尺度分解算法；L1-L4代表低频融合规则；H1-H4代表高频融合规则；[0,1] 为融合参数(本发明融合参数取值为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9)；F为最终融合图像。图中“实线”代表针对边缘差异特征较好的路径；“虚线”代表针对纹理差异特征较好的路径；“点线”代表针对亮度特征较好的路径；
S42：利用矩阵将S41所得到的多集值映射关系进行函数化表示，给定四个矩阵(多尺度分解算法、高频融合规则、低频融合规则、逆变换方法)S、H、L、 T和融合参数α1、α2(α1+α2＝1)，图像特征为3个，则四个矩阵的维度分别为 3×s、3×t、3×l、3×h(Z为过渡矩阵，矩阵维数与上次矩阵乘法维度有关，解决矩阵不能相乘问题，矩阵内元素全部为1)，具体矩阵如公式(2)所示；矩阵中每一个元素的数值由有效融合程度公式计算(公式(1))，其数值通常在[0,1]区间内(小于0时按0处理)，则建立四部分之间的有效组合关系由如下公式(3)计算所得，通过所得到的矩阵F，通过数值大小可以显著得出哪几个组合为有效融合，从而对可逆变元进行选择，得到具有针对性的融合方法。
S5：利用边缘、纹理、亮度特征提取方法对步骤S1中的红外光强图像和红外偏振图像进行特征提取并计算其特征幅值，并计算两类图像特征之间的差异特征幅值的绝对值，并将计算所得绝对值进行降序排序，得到原始图像差异特征的顺序，具体如下
利用特征提取方法对图像特征进行提取(其中边缘特征利用canny算子进行提取；纹理特征利用局部二进制算子LBP提取；亮度特征利提取原始图像的灰度直方图)，对图像特征进行特征提取后，利用客观评价计算其三类图像特征的特征量化值，所得到的结果如表(3)所示；将量化值利用公式(4)进行归一化整理(其中，D表示量化后的差异特征值，Ni表示没有量化的差异特征，max 表示上述四组结果中同一差异特征的最大值)，所得到的结果如表(4)所示，这样就可以得到图像特征的主次顺序，并将其输入到公式(2)中。
S6：将S5所得到的差异特征顺序关系输入到S4所得到的公式(2)中，可以得到四类变元组每个变元组内变元的选择情况，其中所选择的变元组内变元可能是单一变元或者多个变元，将所得到的变元逐次放入融合模型中，具体顺序为多尺度分解方法变元、融合规则变元、融合参数变元、逆变换变元，从而得到新的融合方法，将原始红外光强图像与红外偏振图像输入新的融合方法，可以输出融合图像具体如图8所示。
结果表明从图8中的a1-c1可以看出对比方法一融合的图像部分出现亮度过饱和情况，导致偏振信息融合较少；从图8的a2-c2可以看出对比方法二融合的图像整体偏暗，但是边缘、纹理信息较好，亮度信息融合不好，证明红外光强信息融合较少，对原始图像低频信息的提取不够；从图8的a3-c3可以看出对比方法三方法融合的图像造成局部模糊，边缘信息不明显；本发明方法融合的图像在亮度、纹理、边缘特征的融合上都取得了比较好的融合结果。第三组实验的标准差不是最高，但是优于其他两种方法；第四组实验中的边缘强度和平均梯度数据均是第二高，不是最高的。造成这三个指标融合效果不是最好的主要原因：(1)可能是因为在提取原始图像主要差异特征时，提取的不完整，造成使用拟态变换定理选择融合方法的时候所设定的权值大小存在了一定的区别；(2)所采用的融合方法和融合规则太少，因此利用公式(1)所计算得到的有效融合度普遍性不大，造成了这一问题的发生。但是在绝大多数情况下，所得融合图像的融合效果还是比较好的，也证明了本发明所提出的多类变元组合融合方法具有有效性。
Claims (2)
1.一种红外光强与偏振图像多类变元组合的融合方法，其特征在于包括以下步骤：
S1：对采集的红外光强图像和红外偏振图像的图像特征进行类型分类：根据图像特征的视觉效果，可以将图像特征分为三类：边缘特征、纹理特征和亮度特征；
S2：将采集的红外光强图像和红外偏振图像的融合过程分成多尺度分解方法变元组、融合规则变元组、融合参数变元组、逆变换准则变元组四类变元组，确定每类变元组内变元；
S3：利用公式(1)分别建立步骤S2的四类变元组和步骤S1的三类图像特征的一一映射关系，当公式(1)计算所得的数值为正时，建立映射关系；所得数值为负时，不建立映射关系，其中公式(1)如下：
<mrow>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<mrow>
<mn>1</mn>
<mo>&le;</mo>
<mi>i</mi>
<mo>&le;</mo>
<mi>n</mi>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
公式中xi为客观评价指标的数值，n为多尺度分解方法变元组组内变元或者融合规则变元组组内变元的总数，yi为计算所得比较融合数值，其中yi＞0认为其对应的变元组与所对应的图像特征融合是有效融合，数值越大融合效果越好，yi≤0证明该算法不合适该特征的融合，既为无效融合变元；
S4：将步骤S3所建立变元组与图像特征之间的多个独立的一一映射关系，利用决策树方法建立以图像特征为起点，以变元组内变元为子结点的多集值映射关系，利用矩阵将S3所建立的独立映射关系进行量化并建立如公式(2)所示的函数化关系，其中公式(2)如下：
F＝(ST×T×Z)×α1L×Z×α2H×Z (2)
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>S</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>5</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>6</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>7</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>8</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>9</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>10</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>b</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>4</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>5</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>6</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>7</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>8</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>9</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>b</mi>
<mn>10</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>4</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>5</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>6</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>7</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>8</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>9</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mn>10</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>L</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>d</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>d</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>e</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>e</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>e</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>e</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>H</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>h</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>h</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>h</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>h</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>i</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>i</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>i</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>i</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>j</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>j</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>j</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>j</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
F为结果矩阵、S为多尺度分解变元组矩阵、ST为矩阵S的转置矩阵、H为高频融合规则变元矩阵、L为低频融合规则变元组矩阵、T为逆变换准则变元组矩阵、Z为过渡矩阵矩阵维数与上次矩阵乘法维度有关，解决矩阵不能相乘问题，矩阵内元素全部为1，α1、α2为融合参数，其中α1+α2＝1，图像特征为3个，则四个矩阵的维度分别为3×10、3×4、3×4、3×10，具体矩阵如公式(3)所示；矩阵中每一个元素的数值由有效融合程度公式(1)计算，其数值在[0,1]区间内，其中小于0时按0处理，则建立四个变元组之间的有效组合关系由公式(2)计算所得，通过所得到的矩阵F，通过数值大小可以显著得出哪几个组合为有效融合，从而对变元进行选择，得到具有针对性的融合方法；
S5：利用边缘、纹理、亮度特征提取方法对步骤S1中的红外光强图像和红外偏振图像进行特征提取并计算其特征幅值，并计算两类图像特征之间的差异特征幅值的绝对值，并将计算所得绝对值进行降序排序，得到原始图像差异特征的顺序；
S6：将S5所得到的差异特征顺序关系输入到S4所得到的公式(2)中，可以得到四类变元组每个变元组内变元的选择情况，其中所选择的变元组内变元可能是单一变元或者多个变元，将所得到的变元逐次放入融合模型中，具体顺序为多尺度分解方法变元、融合规则变元、融合参数变元、逆变换变元，从而得到新的融合方法，将原始红外光强图像与红外偏振图像输入新的融合方法，可以输出融合图像。
2.根据权利要求1所述的一种红外光强与偏振图像多类变元组合的融合方法，其特征在于所述多尺度分解方法变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10；所述的融合规则变元组的变元包括加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4、绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4，其中加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4属于低频子带融合规则，绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4属于高频子带融合规则；融合参数变元组内变元可以取内所有数；逆变换准则变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711202003.3A CN107909112B (zh) | 2017-11-27 | 2017-11-27 | 一种红外光强与偏振图像多类变元组合的融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711202003.3A CN107909112B (zh) | 2017-11-27 | 2017-11-27 | 一种红外光强与偏振图像多类变元组合的融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107909112A true CN107909112A (zh) | 2018-04-13 |
| CN107909112B CN107909112B (zh) | 2020-08-18 |
Family
ID=61848836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711202003.3A Expired - Fee Related CN107909112B (zh) | 2017-11-27 | 2017-11-27 | 一种红外光强与偏振图像多类变元组合的融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107909112B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377468A (zh) * | 2018-10-09 | 2019-02-22 | 湖南源信光电科技股份有限公司 | 基于多特征的红外辐射和偏振图像的伪彩色融合方法 |
| CN110084771A (zh) * | 2019-03-11 | 2019-08-02 | 中北大学 | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 |
| CN110110786A (zh) * | 2019-05-06 | 2019-08-09 | 电子科技大学 | 一种基于nsct与dwt的红外与可见光图像融合方法 |
| CN111445430A (zh) * | 2020-03-31 | 2020-07-24 | 中北大学 | 基于差异特征幅值区间融合有效度分布的双模态红外图像融合算法选择方法 |
| CN116503704A (zh) * | 2023-06-27 | 2023-07-28 | 长春理工大学 | 一种强背景下目标偏振探测系统及其探测方法 |
| WO2024031643A1 (zh) * | 2022-08-10 | 2024-02-15 | 天津恒宇医疗科技有限公司 | 基于偏振多参量融合的ps-oct可视度提升方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| US20150288941A1 (en) * | 2013-10-17 | 2015-10-08 | Northrop Grumman Systems Corporation | Converting an image from a dual-band sensor to a visible color image |
| CN106897986A (zh) * | 2017-01-23 | 2017-06-27 | 浙江大学 | 一种基于多尺度分析的可见光图像与远红外图像融合方法 |
| CN107369148A (zh) * | 2017-09-20 | 2017-11-21 | 湖北工业大学 | 基于改进sml与导向滤波的多聚焦图像融合方法 |
-
2017
- 2017-11-27 CN CN201711202003.3A patent/CN107909112B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| US20150288941A1 (en) * | 2013-10-17 | 2015-10-08 | Northrop Grumman Systems Corporation | Converting an image from a dual-band sensor to a visible color image |
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| CN106897986A (zh) * | 2017-01-23 | 2017-06-27 | 浙江大学 | 一种基于多尺度分析的可见光图像与远红外图像融合方法 |
| CN107369148A (zh) * | 2017-09-20 | 2017-11-21 | 湖北工业大学 | 基于改进sml与导向滤波的多聚焦图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吕胜 等: "多尺度分解算法与融合规则优化组合的双模态红外图像融合", 《中国科技论文》 * |
| 杨风暴: "红外偏振与光强图像的拟态融合原理和模型研究", 《中北大学学报(自然科学版)》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377468A (zh) * | 2018-10-09 | 2019-02-22 | 湖南源信光电科技股份有限公司 | 基于多特征的红外辐射和偏振图像的伪彩色融合方法 |
| CN110084771A (zh) * | 2019-03-11 | 2019-08-02 | 中北大学 | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 |
| CN110084771B (zh) * | 2019-03-11 | 2022-07-05 | 中北大学 | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 |
| CN110110786A (zh) * | 2019-05-06 | 2019-08-09 | 电子科技大学 | 一种基于nsct与dwt的红外与可见光图像融合方法 |
| CN111445430A (zh) * | 2020-03-31 | 2020-07-24 | 中北大学 | 基于差异特征幅值区间融合有效度分布的双模态红外图像融合算法选择方法 |
| CN111445430B (zh) * | 2020-03-31 | 2022-03-29 | 中北大学 | 基于差异特征幅值区间融合有效度分布的双模态红外图像融合算法选择方法 |
| WO2024031643A1 (zh) * | 2022-08-10 | 2024-02-15 | 天津恒宇医疗科技有限公司 | 基于偏振多参量融合的ps-oct可视度提升方法及系统 |
| CN116503704A (zh) * | 2023-06-27 | 2023-07-28 | 长春理工大学 | 一种强背景下目标偏振探测系统及其探测方法 |
| CN116503704B (zh) * | 2023-06-27 | 2023-09-05 | 长春理工大学 | 一种强背景下目标偏振探测系统及其探测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107909112B (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909112A (zh) | 一种红外光强与偏振图像多类变元组合的融合方法 | |
| Aptoula et al. | Deep learning with attribute profiles for hyperspectral image classification | |
| Yan et al. | No-reference quality assessment of contrast-distorted images using contrast enhancement | |
| CN106169081B (zh) | 一种基于不同照度的图像分类及处理方法 | |
| CN104537393B (zh) | 一种基于多分辨率卷积神经网络的交通标志识别方法 | |
| US20150227816A1 (en) | Method and apparatus for detecting salient region of image | |
| CN111695633B (zh) | 基于rpf-cam的低照度目标检测方法 | |
| CN106845418A (zh) | 一种基于深度学习的高光谱图像分类方法 | |
| CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
| CN108491849A (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
| CN107680077A (zh) | 一种基于多阶梯度特征的无参考图像质量评价方法 | |
| CN105046272B (zh) | 一种基于简洁非监督式卷积网络的图像分类方法 | |
| CN112949738B (zh) | 基于eecnn算法的多类不平衡高光谱图像分类方法 | |
| CN113222836A (zh) | 一种高光谱与多光谱遥感信息融合方法及系统 | |
| Lotfi et al. | Combining wavelet transforms and neural networks for image classification | |
| CN106157266A (zh) | 一种果园果实图像获取方法 | |
| CN106815818A (zh) | 一种图像去噪方法 | |
| Kaur et al. | Review and analysis of various image enhancement techniques | |
| Sujee et al. | Image enhancement through pyramid histogram matching | |
| Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
| CN105426847A (zh) | 低质量自然光虹膜图像非线性增强方法 | |
| CN107730476A (zh) | 一种基于压缩感知的图像增强方法及装置 | |
| CN104240208A (zh) | 非制冷红外焦平面探测器图像细节增强方法 | |
| CN106709480A (zh) | 基于加权强度pcnn模型的分块人脸识别方法 | |
| Patil et al. | Identification of growth rate of plant based on leaf features using digital image processing techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200818 Termination date: 20211127 |