CN114862736A - 超大视场红外微光图像自然感彩色融合方法、设备及介质 - Google Patents
超大视场红外微光图像自然感彩色融合方法、设备及介质 Download PDFInfo
- Publication number
- CN114862736A CN114862736A CN202210607749.7A CN202210607749A CN114862736A CN 114862736 A CN114862736 A CN 114862736A CN 202210607749 A CN202210607749 A CN 202210607749A CN 114862736 A CN114862736 A CN 114862736A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- fusion
- low
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 239000003086 colorant Substances 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 101
- 238000012546 transfer Methods 0.000 claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000007500 overflow downdraw method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 17
- 238000004040 coloring Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 240000003173 Drymaria cordata Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供了一种超大视场红外微光图像自然感彩色融合方法、设备及介质，该方法包括对超大视场的微光图像和彩色参考图像进行超像素分割，分别构建超像素级别特征集，并基于各图像之间及图像本身的超像素特征相似度建立超像素初始匹配集；对微光图像进行自适应色彩传递，并将其与超大视场红外图像进行初始彩色融合，获取初始彩色融合图像；提取红外独立信息彩色化图像；将其自然感色彩传递，并将红外独立信息彩色化图像添加到初始彩色融合图像中，获得超大视场红外微光自然感彩色融合图像。本发明以微光图像自然感彩色化为主，红外图像主要用于拓宽图像波段范围、提高图像场景感知水平以及扩充融合图像自然感色彩空间。
Description
技术领域
本实施例件涉及图像色彩融合技术领域，尤其涉及一种超大视场红外微光图像自然感彩色融合方法、设备及系统。
背景技术
图像的自然感彩色化融合增加了图像的波段信息和色彩信息，显著提高了人员对于场景的理解能力，增加了对重点目标的感知能力。通过采用“非相似”成像机制，超大视场成像技术扩大了探测空域，超大视场成像技术中，红外和微光夜视成像技术可有效拓宽人眼视觉光谱范围、提高视觉感知能力，而红外和微光夜视技术各有优势和不足，故红外微光融合技术得到了广泛研究，并被应用于机器视觉、安防监控、态势感知等领域；
目前，自然感彩色化方法主要可分为三大类：人工辅助上色、基于样本参考上色和基于深度学习上色。
其中，人工辅助上色主要借助人力，将自然彩色标注到灰度图像相应的景物上，这种方法依赖人的操作，并且彩色化效果与操作者的经验相关。基于样本参考的上色方法主要包括图像内容匹配和色彩传递两个过程，其中，图像内容匹配主要依靠图像纹理、亮度等特征来完成，色彩传递根据匹配结果来赋予灰度图像彩色空间。基于深度学习的上色方法通过训练大量的彩色图像，构造灰度信息和色彩信息之间的关系，灰度图像输入到训练良好的网络中，即可完成彩色化。这种方法自动化水平高，色彩信息丰富，但对于网络设计的依赖程度高，而且对于某些特定的对象，色彩传递效果欠佳。
相较常规小视场图像，超大视场图像将更大的物方场景压缩成像于探测器像面，从而实现了大空域感知和探测。但是，超大视场引入了丰富的场景内容，这就要求图像内容的匹配方法具有更准确和稳定的图像表达能力；同时，图像压缩成像导致了场景内容的形变，基于轮廓、形状等特征的匹配方法将难以适用。
有鉴于此，继续提供一种综合比较三类彩色传递方法，提出更适合于超大视场灰度图像的彩色化的图像自然感彩色融合方法。
发明内容
本说明书一个或多个实施例提供了一种超大视场红外微光图像自然感彩色融合方法，包括以下步骤：
以微光图像为目标图像，彩色参考图像为色彩源图像，对超大视场的微光图像和彩色参考图像进行超像素分割，分别构建超像素级别特征集，并基于各图像之间及图像本身的超像素特征相似度建立超像素初始匹配集；
基于建立的超像素初始匹配集，对微光图像进行自适应色彩传递，并将其与超大视场红外图像进行初始彩色融合，获取初始彩色融合图像；对初始彩色融合图像和微光初始彩色化图像做差分，获取红外独立信息图像；
将红外独立信息图像作为目标图像进行自适应色彩传递，并经过自适应色彩传递后获得的彩色化图像添加到初始彩色融合图像中，获得超大视场红外微光自然感彩色融合图像。
本说明书一个或多个实施例提供了一种计算机电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述超大视场红外微光图像自然感彩色融合方法。
本说明书一个或多个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述超大视场红外微光图像自然感彩色融合方法。
本发明提供的基于超像素特征的超大视场红外微光自然感彩色融合方法，以微光图像自然感彩色化为主，红外图像主要用于拓宽图像波段范围、提高图像场景感知水平以及扩充融合图像自然感色彩空间；本方法选择先色彩传递、再融合的方式，这是为了解决由于红外图像虽然具有穿透能力强、不受天气等因素干扰的优势，但是并不符合人眼的视觉习惯，即红外和可见光图像的特征差别明显，易导致误匹配发生的问题。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的超大视场红外微光图像自然感彩色融合方法的流程示意图；
图2为本说明书一个或多个实施例提供的超大视场红外微光图像自然感彩色融合方法的流程框架示意图；
图3为本说明书一个或多个实施例提供的超大视场红外微光图像自然感彩色融合方法中超像素特征约束匹配结果图；
图4为本说明书一个或多个实施例提供的超大视场红外微光图像自然感彩色融合方法中超像素特征和色彩聚类联合约束匹配结果图；
图5为本说明书一个或多个实施例提供的超大视场红外微光图像自然感彩色融合方法中超大视场可见光图像色彩传递结果图；
图6为本说明书一个或多个实施例提供的超大视场红外微光图像自然感彩色融合方法中红外独立信息彩色化图像和初始彩色化图像融合流程图；
图7为本说明书一个或多个实施例提供的超大视场红外微光图像自然感彩色融合方法的融合效果图，其中，图(a)原始红外图像；(b)红外权重图；(c)初始彩色融合图像；(d)红外独立信息图像；(e)红外独立信息上色结果；(f)最终彩色融合结果；
图8为本说明书实验案例分别采用Welsh、Reinhard、Gupta和本发明方法实现的第一组实验图像色彩传递及其彩色融合结果对比图；
图9为本说明书实验案例分别采用Welsh、Reinhard、Gupta和本发明方法实现的第二组实验图像色彩传递及其彩色融合结果对比图；
图10为本说明书实验案例分别采用Welsh、Reinhard、Gupta和本发明方法实现的第三组实验图像色彩传递及其彩色融合结果对比图；
图11为本说明书实验案例分别采用Welsh、Reinhard、Gupta和本发明方法实现的第四组实验图像色彩传递及其彩色融合结果对比图；
图12为本说明书实验案例分别采用NSCT-PCNN、Zhang’s method和本发明方法实现的第一组融合实验结果对比图；
图13为本说明书实验案例分别采用NSCT-PCNN、Zhang’s method和本发明方法实现的第二组融合实验结果对比图；
图14为本说明书实验案例分别采用NSCT-PCNN、Zhang’s method和本发明方法实现的第三组融合实验结果对比图；
图15为本说明书实验案例分别采用NSCT-PCNN、Zhang’s method和本发明方法实现的第四组融合实验结果对比图；
图16为分别基于图12-图15实现的超大视场红外微光图像采用先灰度融合后色彩传递的融合结果对比图；
图17为本说明书一个或多个实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本实施例件的保护范围。
下面结合具体实施方式和说明书附图对本发明做出详细的说明。
方法实施例
根据本发明实施例，提供了一种超大视场红外微光图像自然感彩色融合方法，如图1-2所示，为本实施例提供的超大视场红外微光图像自然感彩色融合流程示意图及流程框架图，根据本发明实施例的超大视场红外微光图像自然感彩色融合方法，包括步骤：
步骤101、以微光图像为目标图像，彩色参考图像为色彩源图像，对超大视场的微光图像和彩色参考图像进行超像素分割，分别构建超像素级别特征集，并基于各图像之间及图像本身的超像素特征相似度建立超像素初始匹配集；
步骤102、基于建立的超像素初始匹配集，对微光图像进行自适应色彩传递，并将其与超大视场红外图像进行初始彩色融合，获取初始彩色融合图像；对初始彩色融合图像和微光初始彩色化图像做差分，获取红外独立信息图像；
步骤103、将红外独立信息图像作为目标图像进行自适应色彩传递，并经过自适应色彩传递后获得的彩色化图像添加到初始彩色融合图像中，获得超大视场红外微光自然感彩色融合图像。
本实施例提供的基于超像素特征的超大视场红外微光自然感彩色融合方法，以微光图像自然感彩色化为主，红外图像主要用于拓宽图像波段范围、提高图像场景感知水平以及扩充融合图像自然感色彩空间；本实施例，选择先色彩传递、再融合的方式，这是为了解决由于红外图像虽然具有穿透能力强、不受天气等因素干扰的优势，但是并不符合人眼的视觉习惯，即红外和可见光图像的特征差别明显，易导致误匹配发生的问题。
本实施例，为了提取独立于微光波段的红外图像信息，基于步骤101通过对初始彩色融合图像和微光初始彩色化图像做差分，获取红外独立信息。
本实施例相较常规小视场图像，超大视场的“非相似”成像机制导致了图像结构内容的畸变，且越靠近图像边缘，畸变程度越大。因此，常用的基于图像点、线、区域等特征的匹配方式，将难以直接适用于超大视场图像内容的匹配，因此本实施例为进一步优化超像素匹配集，保证图像匹配的准确性和色彩传递的连续性，采用基于灰度空间超像素特征的图像内容匹配方式；
优选的，本实施例将彩色图像变换到lαβ色彩空间，其中，l表示图像的亮度空间，αβ表示图像的色彩空间，采用SLIC方法，分别对超大视场微光图像和超大视场彩色参考图像的l空间实施超像素分割，并基于两者图像之间及超大视场微光图像自身的超像素特征相似度来建立超像素初始匹配集。
为增加超像素匹配的鲁棒性，本实施例按照低、中、高三个层次来提取超大视场微光图像和超大视场彩色参考图像的l空间超像素特征，其中，
低层次特征选取图像亮度分布概率、均值和方差；中层次特征选取dense SIFT，LBP，LGP特征；高层次特征选取显著度特征。
①低层次特征。
统计每个超像素中的像素灰度值，将其在[0,255]范围内分成8个bins，统计每个bin所占的比例，记为
计算所有像素点灰度均值和方差，分别记为
低层次超像素特征表示为
②中层次特征。
为更有效地辨识纹理等特征，计算整幅图像的dense SIFT特征(128维)、LBP特征(59维)和LGP特征(7维)，并进行归一化处理。在超像素中，计算这些特征的均值，分别记为
中层次超像素特征表示为
③高层次特征。
人眼视觉系统(Human Visual System,HVS)总是会关注到变化显著的区域，若同一物体在两幅图像中均呈显著性，人眼能够轻易地完成识别和匹配。根据这一特性，采用基于显著度的高层次特征来实现仿生匹配。本实施例采用显著度探测方法，对其进行归一化运算处理，维度为1，记为fh。
本实施例，采用超像素低、中、高层次特征的欧式距离作为相似度，欧式距离越小，超像素特征越相似。对于微光图像中的每个超像素，遍历彩色参考图像l空间中所有超像素并计算二者特征的相似度，若存在超像素满足特征相似度要求，则将这些超像素视为当前微光图像超像素的初始匹配集。同时，计算微光图像中所有超像素之间的特征相似度，将满足相似度要求的超像素归为一类，并将其对应的彩色图像的超像素匹配集进行合并。
本实施例优选的，对不同层次的特征赋予不同的权重，可获得更好地匹配结果，本实施例对低、中、高层次的特征分配权重分别设置为0.2、0.5和0.3。如图3所示，图3(a)和3(b)分别为超大视场彩色图像和可见光灰度图像，通过测试并选取特征相似度最高的超像素作为匹配对象，两幅图像的超像素匹配结果如图3(c)和3(d)所示。
本实施例在基于样本的色彩传递方法中，根据超像素匹配结果，超大视场微光图像中的超像素可直接从彩色参考图像中特征相似度最高的超像素来获取色彩。但是，基于超像素特征的匹配结果容易受灰度和纹理变化的影响，如在图像的结构边缘等区域，且在超大视场图像中，图像的非均匀性也容易成为超像素匹配的一项干扰因素，因此，为提高超像素匹配的准确性和一致性，本实施例提出通过对彩色参考图像的色彩空间αβ进行聚类分析，建立彩色图像中超像素的色彩分类模型，指导和优化超像素初始匹配集，具体如下：
根据彩色参考图像的色彩空间约束关系，提出一种基于改进的Fuzzy ART(FuzzyAdaptive Resonance Theory，模糊自适应共振理论)网络，用于彩色参考图像的超像素色彩聚类；
以彩色参考图像的色彩空间αβ为研究对象，提出一种基于改进的Fuzzy ART神经网络的彩色参考图像色彩聚类方法。
本实施例为优化Fuzzy ART结构，提高训练精度、降低复杂度，从两个方面改进：一方面，调换竞争层和匹配层，并将二者调整为正相关关系；另外一方面，网络学习速率根据输入色彩相似度自适应调整，即输入色彩相似度越高、学习速率越快。
具体而言，神经网络的输入矩阵表示为[αβ1-α1-β]，匹配层表示为：
式中，I是输入色彩特征，wj是已经存在的色彩特征类型，M是色彩类型的数量。
竞争层表示为：
式中，α＝10-6是防止计算溢出，wJ是当前匹配成功的色彩类型，n为匹配成功色彩类型的数量；
学习速率自适应地调整为：
式中，β0是初始学习速率，
为更新的色彩类型权重。
本实施例，基于改进Fuzzy ART神经网络的训练输出为超像素色彩的分类结果，图3超大视场彩色参考图像的色彩聚类结果如图4(a)所示。采用神经网络训练的另外一个优点是如果需要增加彩色参考图像，直接将其输入到网络进行训练中即可得到结果，但传统聚类方法需要对所有超像素色彩进行二次运算，无疑增加了复杂度。
根据超大视场彩色参考图像的超像素色彩聚类结果和采用SLIC方法聚类结果，同一幅图像中，具有相似色彩的图像内容，大概率具有相似的超像素特征。因此，可利用聚类分割的结果来约束同一类型超像素之间的匹配关系，即在超大视场微光图像超像素的匹配集中，超像素的色彩应属于同一类，若存在与其他超像素色彩差异明显的超像素，则从匹配集中予以剔除。这样，通过灰度空间超像素特征和色彩空间聚类的联合约束，弥补了超像素特征在某些区域表达能力不足的劣势，提高了超像素的匹配正确率。
根据上述超像素匹配集优化结果，选取匹配集中具有色彩代表性的超像素为匹配对象，超大视场微光图像的超像素匹配结果如图4(b)所示，与图3(b)对比可知，优化后的超像素类别更为连续。
本实施例中，对于步骤102与步骤103中，采用KNN算法实现自适应色彩传递方法，具体如下：
本实施例KNN算法通过计算测试数据和K个相邻样本的相似度或者距离，选取概率最高的类别作为当前数据的对应种类，算法具体如下式：
式中，sim表示测试样本x和相邻样本ai的相似度，如果ai属于训练样本c，则I(ai，c)为1，否则为0。
由于超大视场中包含了更大的场景空域，色彩种类相对较多，简单的直接色彩传递容易导致色彩过渡不自然、不连续。为有效、合理地表征超大视场中丰富的场景信息，提高色彩传递的自然感，本实施例提出了一种自适应的色彩传递方式，且对于超大视场微光图像中的超像素分析以下两种情况：
(1)若其匹配集不为空，且其彩色图像超像素匹配集不为空，则根据欧式距离越小，相似度越高的准则，赋予超像素在色彩传递中更大的权重，计算式如下：
式中，N表示匹配集中彩色参考图像的超像素数量，Ci为第i个超像素的αβ色彩空间，Euci为其与灰度图像当前超像素的特征欧式距离，C为灰度图像当前超像素获得的αβ色彩空间。
上述超像素特征匹配集是彩色参考图像的灰度特征和微光图像进行比对的结果，而彩色参考图像自身带了色彩，相应地就有了彩色图像超像素匹配集。
选用更大的权重因为最终是要把微光图像中的每个超像素上色，而微光图像中每个超像素经过匹配，可能会对应彩色参考图像中的多个超像素，对于超像素特征相似度高的，我赋予的权重大一些，但是不选相似度最高的，因为容易失真。
(2)若匹配集为空，则根据KNN色彩传递原理，为提高色彩传递的连续性，本实施例通过KNN算法优化为综合当前超像素的邻域来获取色彩，与公式(7)类似，通过计算当前超像素和已成功色彩传递的k个超像素邻域的欧式距离，自适应求取色彩并进行传递，计算公式具体如下：
式中，k为灰度图像中成功色彩传递的邻域超像素数量，Cj为第j个已成功色彩传递的邻域超像素的色彩空间，Eucj′为其与当前超像素的特征欧式距离，C'为根据邻域超像素求取的当前超像素的色彩空间。
超大视场可见光图像的自然感色彩传递结果如图5所示，可看出，初始彩色化图像较好地反映了图像中场景的颜色，如雪地内和雪地边缘的树木、屋顶以及建筑。
本实施例，步骤S103中，将红外独立信息的彩色化图像添加到初始彩色融合图像中进行自然感彩色融合的操作，具体如下。
红外图像有助于提高微光彩色化图像的亮度和增加红外波段信息。在得到微光初始彩色融合图像后，将其转换到lαβ色彩空间，并将l空间的图像与红外图像进行融合。为此，本实施例提出一种基于鲁棒主成分分析法(Robust Principal Component Analysis，RPCA)和引导滤波的灰度图像融合规则，对超大视场红外图像和超大视场微光初始彩色化图像进行融合，流程如图6所示，包括以下步骤：
步骤1101、采用RPCA方法分别将红外独立信息的彩色化图像、初始彩色融合图像的l空间的图像分解为低秩图像和稀疏图像部分；
步骤1102、对两低秩图像采用加权平均进行融合获得低秩融合图像；
对两稀疏图像采用拉普拉斯滤波构造融合获得稀疏融合图像；
步骤1103、采用逆RPCA方法(为RPCA的逆变换，重构)融合步骤1102获取的低秩融合图像和稀疏融合图像重构灰度融合图像，并将其与初始彩色融合图像的α、β色彩空间一同变获得超大视场红外微光自然感彩色融合图像。
本实施例以优选的，步骤1102中，对两稀疏图像进行融合时，对红外图像采用拉普拉斯滤波构造融合红外权重图像，接着采用各项异性扩散滤波来保持图像显著区域，利用红外原始图像为引导图像，对权重图像进行优化。
本实施例，超大视场图像融合的红外权重图和初始彩色融合图像如图7(b)和7(c)所示。
此外，如图7(c)所示，在初始彩色融合图像中，一部分来自红外图像的内容并未赋予色彩，本实施例定义为红外独立信息。通过对灰度融合图像和初始彩色化图像l空间做差分，即可得到红外独立信息图像。将其作为目标图像进行自然感色彩传递，可得到红外独立信息图像的彩色化结果。最后，将其色彩空间传递到初始彩色融合图像中，未上色的独立红外信息便具备了自然感色彩。需要说明的是，本实施例并未采用红外和微光先灰度融合，再进行色彩传递的方式，原因是融合后的图像特征和可见光图像特征不再相似，难以完成超像素的匹配。
下面通过具体试验案例说明上述方法的有效性及融合效果。
为验证本实施例所提方法效果，选取前文超大视场可见光红外示例图像和三组超大视场红外微光图像进行自然感彩色化融合实验，其中，四组图像中地面景物所占比例分别约为50％，70％，85％和30％。同时，为验证本实施例方法的优越性，分别采用单独改变色彩传递方法、单独改变融合方法和先灰度融合再色彩传递的方法进行对比实验。硬件方面，超大视场红外微光镜头的对角线视场角分别约为138°和135°，探测器分别采用高德中波红外探测和“锐芯”低照度灵敏探测器，本实施例所使用的实验图片都已经过良好配准，可直接用于图像融合。
以本实施例方法为基础，在单独改变色彩传递方法对比实验中，分别采用Welsh、Reinhard和Gupta的色彩传递方法。超大视场可见光/微光的色彩传递结果及彩色融合图像如图8-图11所示，其中，各图中，图(a1)-(a3)分别为原始微光图像，原始红外图像及彩色参考图像；图(b1)-(b4)分别为采用Welsh、Reinhard、Gupta和本实施例方法微光色彩传递结果；图(c1)-(c4)分别为一一对应图(b1)-(b4)的彩色融合结果；
第一组图像的实验结果如图8所示，采用Welsh方法和Reinhard方法的色彩传递结果中，树木和房屋的色彩明显不足，难以反映其真实的自然色彩；Gupta和本实施例方法的色彩传递结果基本能够反映真实场景的颜色，相较而言，Gupta方法对图像中央的树木色彩传递效果更佳，但图像中操场的白雪和图像底部的树木颜色欠佳。彩色融合图像中，四幅图像中远处建筑色彩明显，验证了本实施例获取红外独立信息及其单独上色方法的正确性；综合对比，本实施例方法颜色空间过渡更为平滑，与真实场景的色彩空间一致性更好，视觉观察效果更佳。
第二组图像的实验结果如图9所示，与图8结果类似，Welsh和Reinhard方法的结果中，只有红外独立信息的色彩较为明显，其余场景的色彩传递效果欠佳。Gupta方法的彩色融合图像中，墙面和树木的色彩产生了误传递；本实施例方法的彩色融合图像中，部分树木也产生了色彩误匹配，原因可能是超像素特征的区分度不高。第三组图像的实验结果如图10所示，Welsh和Reinhard方法的图像被整体上色，但场景中颜色的过渡不够明显，部分区域的色彩不够理想。除图像右下角路灯的光存在误匹配，Gupta方法和本实施例方法取得了相似的效果。第四组图像的实验结果如图11所示，受图像中大量天空背景的影响，Welsh方法的整体融合色彩偏蓝色，部分树木出现了误传递，Reinhard方法取得了一定的效果，颜色过渡相对自然；Gupta和本实施例方法的效果基本相同，都能够基本反映真实场景的色彩，且边界更为清晰。
为进一步验证上述实施例方法的效果，在本实施例方法的基础上，只单独改变色彩传递图像和红外图像的融合方法并进行对比实验。对比方法选取NSCT-PCNN和zhang’smethod的方法(Fuyu Huang等人于2019年6月17日在SPIE期刊上提出的Multimodel fusionmethod via sparserepresentation at pixel-level and feature-level)，首先将彩色图像变换到了lαβ色彩空间，然后对红外图像和彩色l空间进行灰度融合，最后将αβ色彩空间添加到灰度融合图像中，并变换为RGB图像。实验结果如图12-图15所示，其中，各图中，图(a)(b)(c)分别为通过NSCT-PCNN、zhang’s method及本实施例方法的融合方法效果图。
与对比方法相比，本实施例融合方法最大程度上保留了超大视场可见光/微光的细节信息和色彩信息，并且将红外信息自然地融合到可见光/微光信息中。同时，本实施例方法的视觉观察效果更好，更加符合人眼的色彩经验。为客观地验证本实施例方法的融合效果，采用QG，QP和QE指标进行融合评价，如表1所示：采用本实施例方法的指标在三种方法中基本是最高的，且较其他两种对比方法指标提高了至少19.5％以上。
表1彩色融合指标评价结果
为定量分析四种方法在彩色化融合图像中的色彩效果，组织30名具有图像相关基础知识的军校学员作为受试者来进行色彩评价。主要涉及色彩自然度、细节、与色彩参考图像的相似性三个方面，分数设置为1-5分，分值越高，代表对应的效果越好。超大视场红外微光彩色化融合图像的色彩评价结果分别如表2所示。从表中可看出：采用本实施例方法的大多数指标得分最高，指标的平均值较对比方法分别提高了至少7.3％以上，表明了本实施例所提图像彩色化融合方法的准确性和鲁棒性。
表2超大视场红外微光彩色化融合图像色彩评价
为验证本实施例方法中红外独立信息单独上色的有效性，采用先灰度融合、再对灰度融合图像色彩传递的方法进行对比实验。对比方法得到的彩色图像如图16所示，可看出，对比方法也可取得一定的自然感彩色化效果，但是，每幅图像中都存在误匹配导致的色彩不自然、过渡不连续，原因主要有两方面：第一，超大视场中场景内容丰富，而且很多内容相似，超像素特征和色彩聚类联合约束也无法进行有效区分；第二，超大视场红外和微光图像先融合，一定程度上改变了原始图像的纹理等特征，降低了其与彩色参考图像的相似度。因此，本实施例提出的红外独立信息单独上色的方法，既保证了可见光的色彩自然感，又有效拓宽了图像的频谱范围。
本发明提出一种超大视场红外微光图像自然感彩色融合的方法，该方法通过超像素特征和色彩聚类联合约束，构造了超像素匹配关系，完成了自适应色彩传递。同时，有效融合了红外图像和微光色彩传递图像，保留了双波段显著信息，提高了融合图像自然感彩色化水平。
超大视场红外微光图像的自然感彩色融合实验结果表明：与对比方法相比，本方法具有色彩一致性好、双波段细节清晰、人眼观察舒适度高等优势。
如图17所示，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中超大视场红外微光图像自然感彩色融合方法，或者计算机程序被处理器执行时实现上述实施例中超大视场红外微光图像自然感彩色融合方法，所述计算机程序被所述处理器执行时实现如下方法步骤：
步骤101、以微光图像为目标图像，彩色参考图像为色彩源图像，对超大视场的微光图像和彩色参考图像进行超像素分割，分别构建超像素级别特征集，并基于各图像之间及图像本身的超像素特征相似度建立超像素初始匹配集；
步骤102、基于建立的超像素初始匹配集，对微光图像进行自适应色彩传递，并将其与超大视场红外图像进行初始彩色融合，获取初始彩色融合图像；对初始彩色融合图像和微光初始彩色化图像做差分，获取红外独立信息图像；
步骤103、将红外独立信息图像作为目标图像进行自适应色彩传递，并经过自适应色彩传递后获得的彩色化图像添加到初始彩色融合图像中，获得超大视场红外微光自然感彩色融合图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.超大视场红外微光图像自然感彩色融合方法，其特征在于，包括以下步骤：
以微光图像为目标图像，彩色参考图像为色彩源图像，对超大视场的微光图像和彩色参考图像进行超像素分割，分别构建超像素级别特征集，并基于各图像之间及图像本身的超像素特征相似度建立超像素初始匹配集；
基于建立的超像素初始匹配集，对微光图像进行自适应色彩传递，并将其与超大视场红外图像进行初始彩色融合，获取初始彩色融合图像；对初始彩色融合图像和微光初始彩色化图像做差分，获取红外独立信息图像；
将红外独立信息图像作为目标图像进行自适应色彩传递，并经过自适应色彩传递后获得的彩色化图像添加到初始彩色融合图像中，获得超大视场红外微光自然感彩色融合图像。
2.如权利要求1所述的超大视场红外微光图像自然感彩色融合方法，其特征在于，所述对超大视场的微光图像和彩色参考图像进行超像素分割包括：
将彩色图像变换到lαβ色彩空间，采用SLIC方法分别对超大视场微光图像和超大视场彩色参考图像的l空间实施超像素分割。
3.如权利要求2所述的超大视场红外微光图像自然感彩色融合方法，其特征在于，基于改进的Fuzzy ART神经网络对彩色参考图像的色彩空间αβ进行聚类，其中，改进的FuzzyART神经网络的改进包括：
调换竞争层和匹配层；
网络学习速率根据输入色彩相似度自适应调整，即输入色彩相似度越高学习速率越快。
4.如权利要求2所述的超大视场红外微光图像自然感彩色融合方法，其特征在于，按照低、中、高三个层次来提取超大视场微光图像和超大视场彩色参考图像的l空间超像素特征。
5.如权利要求1所述的超大视场红外微光图像自然感彩色融合方法，其特征在于，通过采用KNN算法实现红外独立信息彩色化图像作为目标图像进行自适应色彩传递。
6.如权利要求5所述的超大视场红外微光图像自然感彩色融合方法，其特征在于，所述自适应的色彩传递包括以下两种情况：
(1)若其匹配集不为空，且其彩色图像超像素匹配集不为空，则根据欧式距离越小，相似度越高的准则，赋予超像素在色彩传递中更大的权重并进行传递；
(2)若匹配集为空，通过KNN算法优化为综合当前超像素的邻域来获取色彩，通过计算当前超像素和已成功色彩传递的多个超像素邻域的欧式距离，自适应求取色彩并进行传递。
7.如权利要求2所述的超大视场红外微光图像自然感彩色融合方法，其特征在于，基于RPCA法和引导滤波的灰度图像融合规则实现将红外独立信息的彩色化图像添加到初始彩色融合图像进行融合。
8.如权利要求7所述的超大视场红外微光图像自然感彩色融合方法，其特征在于，所述基于RPCA法和引导滤波的灰度图像融合规则实现将红外独立信息彩色化图像添加到初始彩色融合图像进行融合包括步骤：
采用RPCA方法分别将红外独立信息的彩色化图像、初始彩色融合图像的l空间的图像分解为低秩图像和稀疏图像部分；
对两个低秩图像采用加权平均进行融合获得低秩融合图像；对两个稀疏图像采用拉普拉斯滤波构造融合获得稀疏融合图像；
采用逆RPCA方法融合低秩融合图像和稀疏融合图像重构灰度融合图像，并将其与初始彩色融合图像的α、β色彩空间一同变获得超大视场红外微光自然感彩色融合图像。
9.计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述超大视场红外微光图像自然感彩色融合方法。
10.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述超大视场红外微光图像自然感彩色融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210607749.7A CN114862736A (zh) | 2022-05-31 | 2022-05-31 | 超大视场红外微光图像自然感彩色融合方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210607749.7A CN114862736A (zh) | 2022-05-31 | 2022-05-31 | 超大视场红外微光图像自然感彩色融合方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114862736A true CN114862736A (zh) | 2022-08-05 |
Family
ID=82640538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210607749.7A Pending CN114862736A (zh) | 2022-05-31 | 2022-05-31 | 超大视场红外微光图像自然感彩色融合方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862736A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091403A (zh) * | 2022-11-30 | 2023-05-09 | 中国石油大学(华东) | 一种彩色夜视融合图像质量主客观评价方法 |
-
2022
- 2022-05-31 CN CN202210607749.7A patent/CN114862736A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091403A (zh) * | 2022-11-30 | 2023-05-09 | 中国石油大学(华东) | 一种彩色夜视融合图像质量主客观评价方法 |
| CN116091403B (zh) * | 2022-11-30 | 2024-04-26 | 中国石油大学(华东) | 一种彩色夜视融合图像质量主客观评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| CN111738064B (zh) | 一种雾霾图像的雾浓度识别方法 | |
| US9330336B2 (en) | Systems, methods, and media for on-line boosting of a classifier | |
| CN106686280A (zh) | 影像修补系统及其方法 | |
| CN111104943A (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
| CN113902657A (zh) | 图像拼接方法、装置和电子设备 | |
| CN111008647B (zh) | 一种样本提取及基于空洞卷积与残差链接的图像分类方法 | |
| CN109087245A (zh) | 基于相邻关系模型的无人机遥感图像拼接系统 | |
| CN116614705B (zh) | 基于多模态视频特征分析的采煤工作面相机调控系统 | |
| CN112862871A (zh) | 图像融合方法及装置 | |
| CN106570503A (zh) | 识别车身颜色的方法和系统 | |
| CN114387195A (zh) | 一种基于非全局预增强的红外图像与可见光图像融合方法 | |
| CN116665092A (zh) | 基于ia-yolov7的污水悬浮物识别方法及系统 | |
| CN116385326A (zh) | 一种基于多目标分割的多光谱图像融合方法、装置及设备 | |
| CN114862736A (zh) | 超大视场红外微光图像自然感彩色融合方法、设备及介质 | |
| CN109002771A (zh) | 一种基于递归神经网络的遥感图像分类方法 | |
| Zhang et al. | Salient target detection based on the combination of super-pixel and statistical saliency feature analysis for remote sensing images | |
| CN114639002A (zh) | 一种基于多模式特征的红外与可见光图像融合方法 | |
| CN112330562B (zh) | 一种异构遥感图像变换方法及系统 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN116309050A (zh) | 图像超分辨率方法、程序产品、存储介质及电子设备 | |
| CN116189160A (zh) | 一种基于局部对比度机制的红外弱小目标检测方法 | |
| CN115909401A (zh) | 融合深度学习的牛脸识别方法、装置、电子设备和介质 | |
| CN112070041B (zh) | 一种基于cnn深度学习模型的活体人脸检测方法和装置 | |
| CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |