CN110956581B - 一种基于双通道生成-融合网络的图像模态变换方法 - Google Patents

一种基于双通道生成-融合网络的图像模态变换方法 Download PDF

Info

Publication number
CN110956581B
CN110956581B CN201911203850.0A CN201911203850A CN110956581B CN 110956581 B CN110956581 B CN 110956581B CN 201911203850 A CN201911203850 A CN 201911203850A CN 110956581 B CN110956581 B CN 110956581B
Authority
CN
China
Prior art keywords
image
network
dense
infrared
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911203850.0A
Other languages
English (en)
Other versions
CN110956581A (zh
Inventor
王晗
施佺
余佩伦
沈克成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN201911203850.0A priority Critical patent/CN110956581B/zh
Publication of CN110956581A publication Critical patent/CN110956581A/zh
Application granted granted Critical
Publication of CN110956581B publication Critical patent/CN110956581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双通道生成‑融合网络的图像模态变换方法，包括如下步骤：步骤1)利用双目摄像机采集红外‑可见光图像对，并通过图像配准获取视野与分辨率均相同的红外‑可见光双模态数据集；步骤2)建立“双通道生成‑融合网络”，利用红外‑可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)；步骤3)利用训练完毕的“双通道生成‑融合网络”对待测的红外图像进行模态变换。采用本发明方法，能够将基于残差单元、稠密单元网络的生成图像,有效地利用亮度阈值分割之后进行融合，实现两种网络单元结构的优势互补，显著提高生成图像与真值图像之间的相似度，降低拟合误差。

Description

一种基于双通道生成-融合网络的图像模态变换方法
技术领域：
本发明涉及基于图像模态、风格变换技术，尤其涉及一种利用双通道生成网络对红外图像进行可见光图像模态的转变，然后利用图像融合方法将两种生成图像进行优化融合减小图像重建误差的方法。
背景技术：
由于视觉传感器的不同，或者成像原理不同，相应获取的图像呈现出显著的不同，具体表现在像素值的非线性变化。如场景相同的近红外图像、远红外图像、可见光图像、手绘图像、微光图像等。有效地在各类图像之间建立非线性映射变换可以将不同种类的图像相互转换，该技术对工业、国防、刑侦的领域的应用提供着重要的技术支持。
目前，常见的图像模态、风格变换方法是基于对抗生成网络(GAN)的图像重建及其变异的方法，如GAN-UNET，GAN-RESNET等。现有的方法常常局限于设计单通道的生成图像网络结构，重建图像误差较高。
发明内容：
为了解决上述问题，本发明的主要目的在于提供一种基于双通道生成-融合网络的图像模态变换方法，其先进性表现为：一、分别利用残差单元、稠密单元设计双通道生成网络，获取两种特性不同的生成图像。二、通过亮度阈值对两种生成图像进行分割然后拼接融合，实现两种特性图像的优势互补，减少图像重建误差。
为达到上述目的，本发明的技术方案是：一种基于双通道生成-融合网络的图像模态变换方法，该方法包括：
步骤1)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；
步骤2)建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)；
步骤3)利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换；
步骤1)的具体内容为：
首先，将可见光彩色图像转换为灰度图像ICCD，并且在灰度图像ICCD和红外图像IIR中分别提取SIFT特征点；然后，以红外图像IIR中每个SIFT特征点FIR i为中心，在给定的搜索范围(searchwindow)内在可见光灰度图像ICCD中寻找SIFT候补特征点集合{FCCD 1,FCCD 2,…FIR n}；接着，计算红外图像IIR特征点FIR i与灰度图像ICCD候补特征点集合中每一个特征点FCCD j之间的相似度，最后，根据最大相似度完成FIR i和{FCCD 1,FCCD 2,…FIR n}之间的可见光-红外SIFT特征点匹配。其中，FIR i与FCCD j之间相似度的具体计算方法如下：
1.分别以SIFT特征点FIR i和FCCD j为中心，从IIR和ICCD中提取80x80的图像块PIR和PCCD。然后，分别从PIR和PCCD中提取384维的LGHD特征向量HIR i和HCCD j。
2.利用直方图交叉核(histogramintersection)度量两个LGHD特征向量HIR i和HCCD j之间的相似度，计算公式如下：
Figure BDA0002296516340000021
式中，HIR i,HCCD j分别是红外图像IIR第i个SIFT特征点对应LGHD特征向量。HCCD j是可见光灰度图像ICCD第j个SIFT特征点对应LGHD特征向量。
在红外图像IIR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对儿集合中，估计可见光图像ICCD与红外图像IIR之间的转换矩阵M。最后，根据M矩阵将灰度图像ICCD转换为与红外图像IIR在视野和分辨率均相同的图像Icolor。
利用上述方法将双目摄像机获取的可见光-红外图像配准成分辨率和视野相同的红外-可见光双模态数据集。
步骤2)的具体内容为：
本发明提出的“双通道生成-融合网络”由三个模块构成：“基于残差单元(ResBlock)的图像生成网络”、“基于稠密单元(DenseBlock)的图像生成网络”和“图像融合”，参见图2(双通道生成-融合网络结构图)、图3(参数说明)。
“基于残差单元(ResBlock)的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个残差单元、上采样层1、上采样层2、上采样层3。其中，第n个残差单元结构如下：卷积层n-1、卷积层n、元素相加层。元素相加层的输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果。“基于残差单元(ResBlock)的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IRES。
“基于稠密单元(DenseBlock)的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个稠密单元、上采样层1、上采样层2、上采样层3。其中，第n个稠密单元结构如下：卷积层n-1、向量拼接层1、卷积层n、向量拼接层2、卷积层n+1。向量拼接层1的输出为卷积层n-2与卷积层n-1的输出特征向量的连接结果。向量拼接层2的输出为卷积层n-2、卷积层n-1和卷积层n的输出特征向量的连接结果。“基于稠密单元(DenseBlock)的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IDENSE。
“图像融合”模块的输入为IRES和IDENSE。该模块的结构如下：图像分割(≥亮度阈值)、图像分割(<亮度阈值)、图像拼接。图像融合过程如下：首先，将“基于残差单元(ResBlock)的图像生成网络”的输出IRES图像，利用亮度阈值b*进行分割，保留亮度值大于等于b*的像素点，获得分割结果ISeg1。接着，将“基于稠密单元(DenseBlock)的图像生成网络”的输出IDENSE图像利用亮度阈值b*进行分割，保留亮度值小于b*的像素点，获得分割结果ISeg2。最后，将两次分割的图像进行拼接,获取最终生成图像IOut＝ISeg1+ISeg2。
利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)的过程如下：
1.利用对抗生成网络(GAN)的训练方法单独训练“基于残差单元(ResBlock)的图像生成网络”，获取其网络权值，并且保存数据。
2.利用对抗生成网络(GAN)的训练方法单独训练“基于稠密单元(DenseBlock)的图像生成网络”，获取其网络权值，并且保存数据。
3.利用各通道的生成图像与真值图像的灰度直方图的拟合结果，估计图像分割、拼接的亮度阈值：
3.1)设定亮度值阈值的搜索区间[b0,255]；设bi为亮度阈值，且bi∈
[b0,255]；
3.2)遍历训练数据获取“基于残差单元(ResBlock)的图像生成网络”的生成图像IRES(k),k＝1,…,N。N为训练样本数,IRES(k)为第k个训练样本的残差单元网络生成图像；遍历训练数据获取“基于稠密单元(DenseBlock)的图像生成网络”的生成图像IDENSE(k),k＝1,…,N。N为训练样本数，IDENSE(k)为第k个训练样本的残差单元网络生成图像；
3.3)利用亮度阈值bi，分别对IRES(k)、IDENSE(k),k＝1,…,N进行分割后拼接融合，Ifusion(bi,k)＝ISeg1(k)+ISeg2(k),k＝1,…,N。
3.4)分别计算IRES(k)、IDENSE(k)、Ifusion(bi,k)，k＝1,…,N与训练样本中可见光图像真值IGT(k)之间误差MSE(IRES(k),IGT(k))、MSE(IDENSE(k),IGT(k))、MSE(IFUSION(k),IGT(k))。
3.5)计算同时满足MSE(IFUSION(k),IGT(k))<MSE(IDENSE(k),IGT(k))和MSE(IFUSION(k),IGT(k))<MSE(IRES(k),IGT(k))条件的样本个数N*，k＝1,…,N
3.6)计算满足3.5)条件的N*个MSE误差的平均值MSE*(bi)
Figure BDA0002296516340000051
3.7)计算亮度阈值bi的优化目标函数
Figure BDA0002296516340000052
式中，μ1是MSE的最优希望值，μ2是N*的最优希望值，σ1，σ2是归一化常数。
3.8)求取最佳亮度阈值b*
b*＝argmax(J(bi)),bi＝b0,...,255 (4)
步骤3)的具体内容为：
待测红外图像IIR经过双通道生成网络分别生成IRES、IDENSE。然后，利用步骤2)训练获取的最优亮度阈值b*对IRES、IDENSE分别进行分割，获得分割图像ISEG1，ISEG2。最后将分割后的图像进行拼接融合：Iout＝ISEG1+ISEG2。
有益效果，一种基于双通道生成-融合网络的红外-可见光图像模态变化方法，具有如下有益效果：
采用本发明方法，能够亮度值对残差单元网络和稠密单元网络的生成图像进行有效地分割与融合、实现双通道特性优化互补，显著减少小传统单通道生成网络图像模态变换的MSE误差。
附图说明
图1为本发明红外-可见光图像模态变换方法的流程图；
图2为本发明提出的“双通道生成-融合网络”结构的示意图；
图3为本发明的“双通道生成-融合网络”方法与其他单通道生成网络方法的图像模态变换误差比较实例。
具体实施方式
下面结合本发明所提供的附图对本发明的技术作进一步说明：
如图1所示，一种基于双通道生成-融合网络的图像模态变换方法，包括如下步骤：
步骤101：)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；的具体内容为：
首先，将可见光彩色图像转换为灰度图像ICCD，并且在灰度图像ICCD和红外图像IIR中分别提取SIFT特征点；然后，以红外图像IIR中每个SIFT特征点FIR i为中心，在给定的搜索范围(searchwindow)内在可见光灰度图像ICCD中寻找SIFT候补特征点集合{FCCD 1,FCCD 2,…FIR n}；接着，计算红外图像IIR特征点FIR i与灰度图像ICCD候补特征点集合中每一个特征点FCCD j之间的相似度，最后，根据最大相似度完成FIR i和{FCCD 1,FCCD 2,…FIR n}之间的可见光-红外SIFT特征点匹配。其中，FIR i与FCCD j之间相似度的具体计算方法如下：
1.分别以SIFT特征点FIR i和FCCD j为中心，从IIR和ICCD中提取80x80的图像块PIR和PCCD。然后，分别从PIR和PCCD中提取384维的LGHD特征向量HIR i和HCCD j。
2.利用直方图交叉核(histogramintersection)度量两个LGHD特征向量HIR i和HCCD j之间的相似度，计算公式如下：
Figure BDA0002296516340000061
式中，HIR i,HCCD j分别是红外图像IIR第i个SIFT特征点对应LGHD特征向量。HCCD j是可见光灰度图像ICCD第j个SIFT特征点对应LGHD特征向量。
在红外图像IIR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对儿集合中，估计可见光图像ICCD与红外图像IIR之间的转换矩阵M。最后，根据M矩阵将灰度图像ICCD转换为与红外图像IIR在视野和分辨率均相同的图像Icolor。
利用上述方法将双目摄像机获取的可见光-红外图像配准成分辨率和视野相同的红外-可见光双模态数据集。
步骤102：建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)；的具体内容为：
本发明提出的“双通道生成-融合网络”由三个模块构成：“基于残差单元(ResBlock)的图像生成网络”、“基于稠密单元(DenseBlock)的图像生成网络”和“图像融合”，参见图2(双通道生成-融合网络结构图)、表1“双通道生成-融合网络”结构参数说明表。
表1“双通道生成-融合网络”结构参数说明表
Figure BDA0002296516340000071
“基于残差单元(ResBlock)的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个残差单元、上采样层1、上采样层2、上采样层3。其中，第n个残差单元结构如下：卷积层n-1、卷积层n、元素相加层。元素相加层的输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果。“基于残差单元(ResBlock)的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IRES。
“基于稠密单元(DenseBlock)的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个稠密单元、上采样层1、上采样层2、上采样层3。其中，第n个稠密单元结构如下：卷积层n-1、向量拼接层1、卷积层n、向量拼接层2、卷积层n+1。向量拼接层1的输出为卷积层n-2与卷积层n-1的输出特征向量的连接结果。向量拼接层2的输出为卷积层n-2、卷积层n-1和卷积层n的输出特征向量的连接结果。“基于稠密单元(DenseBlock)的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IDENSE。
“图像融合”模块的输入为IRES和IDENSE。该模块的结构如下：图像分割(≥亮度阈值)、图像分割(<亮度阈值)、图像拼接。图像融合过程如下：首先，将“基于残差单元(ResBlock)的图像生成网络”的输出IRES图像利用亮度阈值b*进行分割，保留亮度值大于等于b*的像素点，获得分割结果ISeg1。接着，将“基于稠密单元(DenseBlock)的图像生成网络”的输出IDENSE图像利用亮度阈值b*进行分割，保留亮度值小于b*的像素点，获得分割结果ISeg2。最后，将两次分割的图像进行拼接获取最终生成图像IOut＝ISeg1+ISeg2
利用红外-可见光双模态数据集训练，获取各通道生成神经网络参数(网络权值)、图像融合参数(亮度阈值)的过程如下：
1.利用对抗生成网络(GAN)的训练方法单独训练“基于残差单元(ResBlock)的图像生成网络”，获取其网络权值，并且保存数据。
2.利用对抗生成网络(GAN)的训练方法单独训练“基于稠密单元(DenseBlock)的图像生成网络”，获取其网络权值，并且保存数据。
3.利用各通道的生成图像与真值图像的灰度直方图的拟合结果，估计图像分割、拼接的亮度阈值：
3.1)设定亮度值阈值的搜索区间[b0,255]；设bi为亮度阈值，且bi∈[b0,255]；
3.2)遍历训练数据获取“基于残差单元(ResBlock)的图像生成网络”的生成图像IRES(k),k＝1,…,N。N为训练样本数,IRES(k)为第k个训练样本的残差单元网络生成图像；遍历训练数据获取“基于稠密单元(DenseBlock)的图像生成网络”的生成图像IDENSE(k),k＝1,…,N。N为训练样本数，IDENSE(k)为第k个训练样本的残差单元网络生成图像；
3.3)利用亮度阈值bi，分别对IRES(k)、IDENSE(k),k＝1,…,N进行分割后拼接融合Ifusion(bi,k)＝ISeg1(k)+ISeg2(k),k＝1,…,N。
3.4)分别计算IRES(k)、IDENSE(k)、Ifusion(bi,k)，k＝1,…,N与训练样本中可见光图像真值IGT(k)之间误差MSE(IRES(k),IGT(k))、MSE(IDENSE(k),IGT(k))、MSE(IFUSION(k),IGT(k))。
3.5)计算同时满足MSE(IFUSION(k),IGT(k))<MSE(IDENSE(k),IGT(k))和MSE(IFUSION(k),IGT(k))<MSE(IRES(k),IGT(k))条件的样本个数N*，k＝1,…,N
3.6)计算满足3.5)条件的N*个MSE误差的平均值MSE*(bi)
Figure BDA0002296516340000091
3.7)计算亮度阈值bi的优化目标函数
Figure BDA0002296516340000092
式中，μ1是MSE的最优希望值，μ2是N*的最优希望值，σ1，σ2是归一化常数。
3.8)求取最佳亮度阈值b*
b*＝argmax(J(bi)),bi＝b0,...,255 (4)
步骤103：利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换；的具体内容为：
待测红外图像IIR经过双通道生成网络分别生成IRES、IDENSE。然后，利用步骤2)训练获取的最优亮度阈值b*对IRES、IDENSE分别进行分割，获得分割图像ISEG1，ISEG2。最后将分割后的图像进行拼接融合：Iout＝ISEG1+ISEG2。
下面结合具体示例对本发明的技术方案作进一步详细说明。
实例1
如图3上、中、下分别给出了“单通道残差单元生成网络”、“单通道稠密单元生成网络”、“双通道生成-融合网络”测试图像与真值图像之间的灰度直方图拟合程度和拟合误差MSE的对比结果。
经过对比可以清楚的看出：“单通道残差单元生成网络”输出的灰度直方图曲线在高亮度部分拟合的较好；“单通稠密单元生成网络”输出的灰度直方图曲线在低亮度部分拟合的较好；本发明提出的“双通道生成-融合网络”有效地结合了两种单通道生成网络的输出的优点，其输出的灰度直方图拟合程度最好，相应的拟合误差MSE数值最低(6.45<6.48<6.85)。
本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。

Claims (2)

1.一种基于双通道生成-融合网络的图像模态变换方法，其特征在于，包括如下步骤：
步骤1)利用双目摄像机采集红外-可见光图像对，并通过图像配准获取视野与分辨率均相同的红外-可见光双模态数据集；
步骤2)建立“双通道生成-融合网络”，利用红外-可见光双模态数据集训练，获取各通道生成神经网络权值、亮度阈值；
步骤3)利用训练完毕的“双通道生成-融合网络”对待测的红外图像进行模态变换；
所述步骤1)中：
首先，将可见光彩色图像转换为灰度图像ICCD，并且在灰度图像ICCD和红外图像IIR中分别提取SIFT特征点；然后，以红外图像IIR中每个SIFT特征点FIR i为中心，在给定的搜索范围内在可见光灰度图像ICCD中寻找SIFT候补特征点集合{FCCD 1,FCCD 2,…FIR n}；接着，计算红外图像IIR特征点FIR i与灰度图像ICCD候补特征点集合中每一个特征点FCCD j之间的相似度，最后，根据最大相似度完成FIR i和{FCCD 1,FCCD 2,…FIR n}之间的可见光-红外SIFT特征点匹配；
在红外图像IIR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对集合中，估计可见光图像ICCD与红外图像IIR之间的转换矩阵M；最后，根据M矩阵将灰度图像ICCD转换为与红外图像IIR在视野和分辨率均相同的图像Icolor；
所述步骤2)为：
“双通道生成-融合网络”由三个模块构成：“基于残差单元的图像生成网络”、“基于稠密单元的图像生成网络”和“图像融合”模块；
“基于残差单元的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个残差单元、上采样层1、上采样层2、上采样层3；其中，第n个残差单元结构如下：卷积层n-1、卷积层n、元素相加层；元素相加层的输出为卷积层n-1与卷积层n的输出特征图按照元素相加的结果；“基于残差单元的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IRES；
“基于稠密单元的图像生成网络”的输入为红外图像IIR，网络结构如下：下采样层1、下采样层2、下采样层3、9个稠密单元、上采样层1、上采样层2、上采样层3；其中，第n个稠密单元结构如下：卷积层n-1、向量拼接层1、卷积层n、向量拼接层2、卷积层n+1；向量拼接层1的输出为卷积层n-2与卷积层n-1的输出特征向量的连接结果；向量拼接层2的输出为卷积层n-2、卷积层n-1和卷积层n的输出特征向量的连接结果；“基于稠密单元的图像生成网络”输出为与输入IIR分辨率相同的可见光生成图像IDENSE；
“图像融合”模块的输入为IRES和IDENSE，该模块的结构如下：“图像分割≥亮度阈值”、“图像分割<亮度阈值”和“图像拼接”模块；图像融合过程如下：首先，将“基于残差单元的图像生成网络”的输出IRES图像,利用亮度阈值b*进行分割,保留亮度值大于等于b*的像素点，获得分割结果ISeg1；接着，将“基于稠密单元的图像生成网络”的输出IDENSE图像,利用亮度阈值b*进行分割，保留亮度值小于b*的像素点，获得分割结果ISeg2；最后，将两次分割的图像进行拼接,获取最终生成图像IOut＝ISeg1+ISeg2；
如上述建立“双通道生成-融合网络”后，利用红外-可见光双模态数据集训练，获取各通道生成神经网络权值、亮度阈值；
所述步骤3)中：
待测红外图像IIR经过双通道生成网络分别生成IRES、IDENSE；然后，利用步骤2)训练获取的最优亮度阈值b*对IRES、IDENSE分别进行分割，获得分割图像ISEG1，ISEG2；最后将分割后的图像进行拼接融合：Iout＝ISEG1+ISEG2。
2.根据权利要求1所述的基于双通道生成-融合网络的图像模态变换方法，其特征在于：所述的利用红外-可见光双模态数据集训练，获取各通道生成神经网络权值、亮度阈值；具体如下：
1)利用对抗生成网络的训练方法单独训练“基于残差单元的图像生成网络”，获取其网络权值，并且保存数据；
2)利用对抗生成网络的训练方法单独训练“基于稠密单元的图像生成网络”，获取其网络权值，并且保存数据；
3)利用各通道的生成图像与真值图像的灰度直方图的拟合结果，估计图像分割、拼接的亮度阈值：
3.1)设定亮度阈值的搜索区间[b0,255]；设bi为亮度阈值，且bi∈[b0,255]；
3.2)遍历训练数据获取“基于残差单元的图像生成网络”的生成图像IRES(k),k＝1,…,N；N为训练样本数,IRES(k)为第k个训练样本的残差单元网络生成图像；遍历训练数据获取“基于稠密单元的图像生成网络”的生成图像IDENSE(k),k＝1,…,N，N为训练样本数，IDENSE(k)为第k个训练样本的稠密单元网络生成图像；
3.3)利用亮度阈值bi，分别对IRES(k)、IDENSE(k)进行分割后拼接融合，其中，k＝1,…,N，IFUSION(bi,k)＝ISeg1(k)+ISeg2(k),k＝1,…,N；
3.4)分别计算IRES(k)、IDENSE(k)、IFUSION(bi,k)，与训练样本中可见光图像真值IGT(k)之间误差MSE(IRES(k),IGT(k))、MSE(IDENSE(k),IGT(k))、MSE(IFUSION(k),IGT(k))，其中，k＝1,…,N；
3.5)计算同时满足MSE(IFUSION(k),IGT(k))<MSE(IDENSE(k),IGT(k))和MSE(IFUSION(k),IGT(k))<MSE(IRES(k),IGT(k))条件的样本个数N*，k＝1,…,N；
3.6)计算满足3.5)条件的N*个MSE误差的平均值MSE*(bi)
Figure FDA0003642453900000041
3.7)计算亮度阈值bi的优化目标函数
Figure FDA0003642453900000042
式中，μ1是MSE的最优希望值，μ2是N*的最优希望值，σ1，σ2是归一化常数；
3.8)求取最佳亮度阈值b*
b*＝argmax(J(bi)),bi＝b0,...,255。
CN201911203850.0A 2019-11-29 2019-11-29 一种基于双通道生成-融合网络的图像模态变换方法 Active CN110956581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911203850.0A CN110956581B (zh) 2019-11-29 2019-11-29 一种基于双通道生成-融合网络的图像模态变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911203850.0A CN110956581B (zh) 2019-11-29 2019-11-29 一种基于双通道生成-融合网络的图像模态变换方法

Publications (2)

Publication Number Publication Date
CN110956581A CN110956581A (zh) 2020-04-03
CN110956581B true CN110956581B (zh) 2022-08-02

Family

ID=69979074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911203850.0A Active CN110956581B (zh) 2019-11-29 2019-11-29 一种基于双通道生成-融合网络的图像模态变换方法

Country Status (1)

Country Link
CN (1) CN110956581B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861870B (zh) * 2020-07-16 2022-03-15 南通大学 一种面向图像翻译的端到端的并行生成器网络构建方法
CN112016478B (zh) * 2020-08-31 2024-04-16 中国电子科技集团公司第三研究所 一种基于多光谱图像融合的复杂场景识别方法及系统
CN112188093B (zh) * 2020-09-24 2022-09-02 北京灵汐科技有限公司 双模态信号融合系统和方法
TWI802015B (zh) * 2020-09-24 2023-05-11 大陸商北京靈汐科技有限公司 雙模態訊號處理系統和方法
CN112200757A (zh) * 2020-09-29 2021-01-08 北京灵汐科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN113111886B (zh) * 2021-04-19 2023-03-24 太原科技大学 一种基于双层残差网络的交通场景图像语义分割方法
CN116958556B (zh) * 2023-08-01 2024-03-19 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614996A (zh) * 2018-11-28 2019-04-12 桂林电子科技大学 基于生成对抗网络的弱可见光与红外图像融合的识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain;Tianzhu Xiang等;《Infrared Physics & Technology》;20150114;第69卷;第53-61页 *
FusionGAN A generative adversarial network for infrared and visible image fusion;Jiayi Ma等;《Information Fusion》;20190831;第48卷;第11-26页 *
Image Fusion using An Improved Dual-channel PCNN and Block-based Random Image Sampling;Yanzhao Shi;《doi:10.21311/001.39.6.49》;20161231;第39卷(第6期);第421-430页 *
基于双通道循环生成对抗网络的无人车夜视红外视频彩色化;李佳豪等;《激光与光电子学进展》;20180427;第55卷(第09期);第1-7页 *
结合视觉显著性与Dual-PCNN的红外与可见光图像融合;侯瑞超等;《计算机科学》;20180615;第45卷;第162-166页 *

Also Published As

Publication number Publication date
CN110956581A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956581B (zh) 一种基于双通道生成-融合网络的图像模态变换方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN105261013B (zh) 一种扫描图像质量综合评价方法及评价系统
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN107958465A (zh) 一种基于深度卷积神经网络的单幅图像去雾方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN116757988B (zh) 基于语义丰富和分割任务的红外与可见光图像融合方法
CN115035003A (zh) 交互补偿注意力的红外与可见光图像对抗融合方法
CN111882485B (zh) 分级特征反馈融合的深度图像超分辨率重建方法
Jin et al. Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment.
CN109978897B (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN115880663A (zh) 一种低照度环境交通标志检测与识别方法
CN111445388A (zh) 一种图像超分辨重建模型训练方法、船只跟踪方法及装置
WO2020001046A1 (zh) 一种基于自适应层次化运动建模的视频预测方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN117392065A (zh) 一种云边协同太阳能板覆灰状况自主评估方法
CN110415816B (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
CN110689510B (zh) 一种引入字典信息基于稀疏表示的图像融合方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN111861949A (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN116433528A (zh) 一种目标区域检出的图像细节增强显示方法及系统
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN110264423A (zh) 一种基于全卷积网络的图像视觉效果增强的方法
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN109672874A (zh) 一种时空一致的立体视频颜色校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant