CN106815826A - 基于场景识别的夜视图像彩色融合方法 - Google Patents
基于场景识别的夜视图像彩色融合方法 Download PDFInfo
- Publication number
- CN106815826A CN106815826A CN201611222714.2A CN201611222714A CN106815826A CN 106815826 A CN106815826 A CN 106815826A CN 201611222714 A CN201611222714 A CN 201611222714A CN 106815826 A CN106815826 A CN 106815826A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- scene
- reference picture
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 230000004297 night vision Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000010354 integration Effects 0.000 claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 238000012546 transfer Methods 0.000 claims abstract description 13
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006641 stabilisation Effects 0.000 abstract description 3
- 238000011105 stabilization Methods 0.000 abstract description 3
- 238000007635 classification algorithm Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010068052 Mosaicism Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000003765 sex chromosome Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于场景识别的夜视图像彩色融合方法，结合已有的场景图像库，利用场景分类算法将输入的红外、微光灰度图像首先进行场景分类，并获得类别标签，然后利用彩色融合评价方法在对应类别的图像库中匹配最佳的参考图像，最后利用颜色传递的方法获得具有自然感的彩色融合图像。与颜色查找表方法相比，本发明只需极少的先验信息，同时能获得稳定的具有自然感的彩色融合图像，因而在缺乏先验信息的陌生环境中，具有更好的彩色融合效果。
Description
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种应用于缺乏先验信息情况下浓雾天、雨天等极端恶劣天气下夜视图像的基于场景识别的彩色融合方法。
背景技术
红外与微光相机是两种典型的夜视图像传感器。微光图像具有丰富的细节特征，但容易受到诸如天气之类的外部环境因素干扰。红外相机成像原理是将热能转换成图像显示，具有更好的热对比度，并且几乎不受天气和光照等因素干扰，但是对于场景的细节特征保留较差。为充分利用这两种图像的成像特点，很多学者研究了将红外与微光图像融合的方法，并广泛应用于夜视图像领域。在图像融合的早期研究中，许多学者提出了将红外与微光图像进行灰度融合的算法，然而，仅仅利用灰色信息并不能准确、有效地支持场景识别和目标检测。众所周知，人类的眼睛只能区分约100个灰色等级，但是却可以区分几千种颜色。基于人眼的这一特性，研究人员开始研究彩色融合技术。其中较为成熟的是荷兰人文因素研究所Toet等人提出的伪彩色融合方法，该方法可以将可见光和红外图像融合为伪彩色图像。该算法可以增强图像的细节信息，并保留不同传感器的独有信息。此外，麻省理工学院林肯实验室的Waxman等人提出了一种基于生物视觉模型的融合方法，使得融合后的结果更符合人类视觉感知特性。
大多数伪彩色融合图像的色彩与自然光图像存在较大差异，不具有真实感，而观察者只能通过区分融合图像的颜色对比度将图像分割从而识别图像中的不同目。这样的识别效果往往比使用单波段图像时更差。后来学者继续研究其他不同的彩色融合方法以获得具有自然感的融合图像，其中Toet等人提出了一种基于颜色传递的彩色融合算法。该算法通过利用参考图像的颜色统计信息，以获得具有自然感的彩色融合结果，该方法给彩色融合领域带来了革命性的进展。然而利用彩色传递的融合方法不能解决颜色恒常性问题，因为随着场景的切换，仍然会出现不自然的融合结果。因而在2012年，Toet又提出了一种简单的颜色重映射方法，即颜色查找表方法，该方法可以将多光谱夜视图像融合为直观、稳定的具有自然感的彩色图像。该方法理论上可以将融合的传感器数量拓展到更高维度，并且具有较好的实时性。然而，颜色查找表方法所需的参考图像为同一场景的白天自自然光彩色图像，这意味着它需要更多的先验信息，从而限制了它在夜间的使用功能。因此设计一种能够在各种复杂环境且仅需极少先验信息情况下的红外与微光图像彩色融合方法仍是一项极具挑战性和急需解决的课题。
发明内容
本发明针对现有技术或不支持彩色图像，或无法根据实际环境需求对彩色融合效果进行更改等缺陷，提出一种基于场景识别的夜视图像彩色融合方法，结合已有的场景图像库，利用场景分类算法将输入的红外、微光灰度图像首先进行场景分类，并获得类别标签，然后利用彩色融合评价方法在对应类别的图像库中匹配最佳的参考图像，最后利用颜色传递的方法获得具有自然感的彩色融合图像。与颜色查找表方法相比，本发明只需极少的先验信息，同时能获得稳定的具有自然感的彩色融合图像，因而在缺乏先验信息的陌生环境中，具有更好的彩色融合效果。
本发明是通过以下技术方案实现的：
本发明涉及一种基于场景识别的夜视图像彩色融合方法，通过联合提取待处理场景图像中的GIST特征，然后利用SVM分类器进行场景类别分类，并通过包含色彩度、梯度相似性和互信息的融合质量评价方法在对应类别的场景图像中匹配最佳的参考图像，最后将待处理场景图像转移到lαβ颜色空间，并与匹配到的参考图像进行色彩传递，最终得到具有自然感的红外与微光图像彩色融合结果。
所述的待处理场景图像，优选为红外与微光图像。
所述的GIST特征包含了场景的一些抽象属性，包括但不限于：自然性(判断是自然场景还是人工场景)、开放度(描述的是场景的开放程度，例如海岸、高速公路场景画面通常延伸到很远，具有高开放度，城市、室内等封闭场景具有低开放度)、粗糙度(描述的是场景中不规则图形的数量)。
所述的联合提取，对待处理场景图像预先进行K-L变换，得到各通道相互独立的四维颜色向量；然后通过NSCT分解，将目标网格划分为二级网格；最后根据划分后的网格对采用Gabor滤波器通过尺度和旋转变换扩展而成的多尺度多方向Gabor滤波器组对图像滤波，以获取GIST特征。
所述的划分是指：计算红外-微光4x4网格局部能量比，能量比最大值所在网格为目标网格，将目标网格划分为二级网格。
所述的图像滤波是指：首先将大小为rxc的图片的R、G、B三通道取均值，转为灰度图像f(x0,y0)，其次将灰度图划分为nb×nb个子网格，然后利用m尺度n方向的Gabor滤波器组与每个子网格卷积并级联，即F(x,y,θ,ω0)＝f(x,y)*G(x0,y0,θ,ω0)后提取得到每个子网格的特征。
所述的多尺度多方向Gabor滤波器组，具体为：Gmn(x0,y0,θ,ω0)＝a-mGmn(x0',y0',θ,ω0)，其中：a-m为尺度因子，θ为旋转角度，m为尺度数，n为方向数，x'＝a-m(xcosθ+ysinθ)，y'＝a-m(-xsinθ+ycosθ)，θ＝nπ/(n+1)，x，y为空间域像素点的位置，ω0为滤波器的中心频率，θ为Gabor小波的方向，σ为高斯函数沿两个坐标轴的标准方差，exp(jω0x0)为交流部分，为直流补偿。
所述的多尺度多方向Gabor滤波器组，优选使用4尺度8方向的Gabor滤波器组。
所述的融合质量评价方法是指：利用图像的色彩度、梯度相似性和互信息等信息，将对应类别图像库中的图像作为参考图像，与待处理图像进行彩色融合并计算彩色融合评价指标值，指标值最大时为选取的最佳参考图像。
所述的互信息其中：F和A分别表示融合图像和源图像，hF，A为F和A的归一化联合灰度直方图，hF和hA为归一化的边缘梯度直方图，L是灰度级数。
所述的融合质量，即其中：α，β和γ为调节系数，Q为互信息质量评价部分，C为颜色相似度，G为梯度相似性。
本发明中优选参考图像T与最终融合图像F的互信息比重应大于A、B与F之间的互信息比重。根据彩色融合评价方法在对应类别的场景库中匹配最佳的参考图像，然后利用彩色传递的方法将参考图像的整体彩色感传递给融合图像，最终获得红外与微光图像的彩色融合图像。
所述的互信息质量评价部分Q(A,B,F)＝λM(A,F)+(1-λ)M(B,F)，其中：A和B分别表示红外与微光图像，F是彩色融合后的图像，λ是空间频率系数。
所述的色彩度，即Hasler颜色矩阵其中：μ和σ分别表示颜色成分空间rg＝R-B和yb＝0.5(R+G)-B的均值和方差，将C归一化以后即可得到融合图像与参考图像之间的颜色相似度
所述的转移，具体是指：将待处理场景图像的灰度值分别作为RGB空间中的R、G通道值，B通道值可设置为0，从而获得了伪彩色融合图像，并作为输入图像，使用映射矩阵将输入图像从RGB颜色空间转换到lαβ颜色空间，并作为更新后的输入图像；
所述的映射矩阵包括：
和
所述的色彩传递是指：计算lαβ颜色空间下的图像与参考图像各通道的均值和方差，利用修正公式对输入图像的统计量进行修正使得输入图像具有和参考图像相似的色彩感。
所述的修正公式是指：其中：l、α、β为lαβ颜色空间的三个通道值，μ、σ分别表示某一通道的均值与方差，下表s表示的为源图像，下表t表示的是参考图像，l'、α'、β'表示的是将源图像修正以后三通道的值。例如表示的是参考图像在β通道的均值。
所述的场景类别分类，通过SVM分类器以一对多方式拓展成多类判决，即通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间)，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。
所述的SVM分类器的正则项和核参数通过交叉验证来调整，输入的训练集可以采用公开的场景图像数据库，在MATLAB中使用libsvm工具的步骤为：
1)按照LIBSVM软件包所要求的格式准备场景图像数据集；
2)对场景数据进行简单的缩放操作；
3)考虑选用RBF核函数；
4)采用交叉验证选择最佳参数C与g；
5)采用最佳参数C与g对整个场景图像训练集进行训练获取支持向量机模型；
6)利用获取的模型进行场景测试与预测。
本发明涉及一种实现上述方法的系统，包括：特征联合提取模块、图像分类模块、融合质量评价模块以及色彩传递模块，其中：特征联合提取模块从来自异构传感器的源图像中提取出红外与微光图像联合特征后输出传输特征信息到图像分类模块，图像分类模块根据场景类别后根据场景类别图像库中对应的类别中匹配出参考图像，融合质量评价模块根据参考图像进行 伪彩色处理，得到红外微光伪彩色融合图像，再通过融合质量评价寻找最优参考图像并输出至彩色传递模块，色彩传递模块根据红外微光伪彩色融合图像以及最优参考图像，利用色彩传递的方法完成最终的彩色融合过程。
技术效果
与现有技术相比，本发明充分利用红外与微光图像的互补信息，通过计算红外与微光图像局部能量比从而确定目标网格，通过将目标网格划分二级网格达到增加目标区域权重的效果，同时能有效克服网格包含不同场景元素的问题。计算红外与自然光图像局部能量比时使用非下采样Contourlet变换(NSCT)变换，因此可通过计算4x4中每个网格平均局部能量比，选取最大值所在网格作为目标网格，将目标网格划分为4x4个二级子网格，从而达到增加目标属性在特征向量中权重系数的目的。
附图说明
图1为本发明构建的基于场景识别的夜视图像彩色融合方法理论框架示意图；
图2为本发明涉及的场景类别图像在lαβ色彩空间中各通道分布情况示意图；
图中：a～f分别为：场景图像库在l通道的均值分布情况，场景图像库在α通道的均值分布情况，场景图像库在β通道的均值分布情况，场景图像库在l通道的方差分布情况，场景图像库在α通道的方差分布情况，场景图像库在β通道的方差分布情况；
图3为本发明涉及的红外与微光图像全局GIST特征提取方法示意图；
图4为本发明涉及的红外与微光图像全局GIST特征提取结果示意图；
图中：a、b为同一场景的微光图像和红外图像，c为将图像划分为4×4稀疏子网格后对每个网格使用4尺度8方向的Gabor滤波器组进行滤波的结果，d为目标网格划分为4×4二级网格；
图5为本发明红外与微光图像彩色融合最佳参考图像匹配结果示意图；
图6为本发明红外与微光图像彩色融合试验结果；
图中：a、b分别为：a为红外图像，b为同一场景的微光图像，c为在lαβ色彩空间中的最佳参考图像，d为相应的彩色融合结果；
图7为本发明效果示意图。
具体实施方式
如图1所示，本实施例包括以下步骤：
1)利用matlab编程分析场景图像库转换到lαβ色彩空间后各通道分布情况如图2所示，利用该图像场景库训练SVM分类模型；
2)输入场景的红外与微光夜视图像，利用如图3所示方法提取该场景的GIST特征，特 征提取结果为图4，并输出至SVM分类模型中，进行场景类别的识别；
3)根据步骤2)中得到的分类结果，利用本文构建的彩色融合评价方法，在对应类别的场景图像库中匹配最佳参考图像，具有最大QCG值的即为匹配到的最佳参考图像，匹配结果如图5所示；
4)利用步骤3)中匹配到的最佳参考图像，利用基于彩色传递的图像融合方法，将输入的红外与微光夜视图像融合为具有自然感的彩色图像，融合结果为图6。
如图2所示，为使用的场景图像库在lαβ色彩空间内各通道的分布情况，可以发现，基本符合正态分布，本发明通过提前计算参考图像的统计参数，可以降低彩色融合时的计算量。通过matlab编程将场景图像库中的一半图像作为训练样本，另一半作为测试样本，进行SVM分类模型的训练，通过调整SVM内核参数，得到效果最佳的SVM场景分类模型。
如图4所示，为gabor滤波提取GIST特征结果，不难发现由于网格比较稀疏，会出现同一网格内包含不同场景元素的情况，考虑到特征提取过程是对同一网格内所有像素点在相同尺度相同方向的滤波结果求均值，因此划分稀疏网格的方法会给场景识别带来很大的误差。因此本发明使用稠密网格的方法，然而简单地增加网格数量随之而来的问题是，特征维度会大大增加，例如将图像划分为16×16的网格，则一幅灰度图像的特征维度将达到16×16×4×8＝8192维，而将自然光图像与红外图像结合时特征维度将达到8192×2＝16384维，其中包含很多冗余信息，给数据处理也带来很大困难。因此本发明利用红外与自然光图像的互补信息，通过计算红外与自然光图像局部能量比从而确定目标网格，通过将目标网格划分二级网格达到增加目标区域权重的效果，同时能有效克服网格包含不同场景元素的问题。利用局部能量比公式计算各网格红外/自然光局部能量比，找到局部能量比最大的网格，认定为目标网格，进而将目标网格划分为4×4二级网格，如(d)红色区域所示。从(c)中可以看出，第二行的网格中既包含了天空元素也包含了建筑元素，而(d)中通过局部能量比选出的目标网格则仅仅包含了建筑这一元素，从而能够更好的识别场景类别。
如图5所示，为在不同场景类别中寻找最佳参考图像的过程：使用所有类别的场景图像作为参考图像，将红外与微光夜视图像进行基于色彩传递的彩色融合均可得到相应的彩色融合结果，输出至本发明构建的彩色融合评价方法中，即可得到对应的评价指标QCG，拥有最大QCG 值的即被判断为最佳参考图像，对于同一场景而言，一旦最佳参考图像匹配到后，后续不必再重复类似工作，即对于一个陌生的夜视环境，例如河道、野外等场景，在缺少先验信息的情况下，本发明能够自适应的匹配到最佳的参考图像，从而进行基于色彩传递的红外与微光图像彩色融合。
如图6所示，为彩色融合试验结果：该场景识别得出的结果是属于“城市”类别，从“城市”类别图像库中通过计算QCG值得到的两个颜色空间的最佳参考图像为图(c)，相应的彩色融合结果为(d)。
结合红外与微光夜视图像特点分析可知，红外图像中人体等典型目标对比度非常明显，但其他细节大量丢失。对应的微光图像中看不出有目标物人的存在，但是保留了较多的背景信息，(d)是使用本发明得到的彩色融合结果，从融合结果中可以看出，树木、房屋和汽车的的分辨率都有提高，同时由于融合结果拥有自然感的色彩，对于观察者区分不同的目标物有了很大的帮助，与颜色查找表方法相比，本发明能够自适应的匹配到最佳的参考图像，而不需要采集同一场景白天的自然光图像，因此能够应用的场景和范围更广。
本发明技术效果进一步包括：
1)场景识别技术的改进，本发明首次使用提取红外与微光图像联合GIST特征的方式，实现了场景识别正确率的提升，与常用的场景识别特征实验结果对比为(使用的是国外学者提供的MS图像数据库)：
如图7所示，为MS图像库下不同方法分类正确率对比
2)彩色融合质量提升：
本发明使用4个指标对彩色融合效果进行评估，分别是互信息(MI)、相关系数(CC)、光谱扭曲度(IDM)以及边缘信息保留度(Qabf)，与TNO法以及颜色查找表法两次实验效果对比结果如下表：
3)应用范围更广：在应用方面进行分析，与颜色查找表方法相比，本发明能够自适应匹配彩色融合所需的最佳参考图像，无需提前获取该场景的白天自然光图像，因而当观测环境处于非完备信息状态下时(复杂背景或缺乏观测环境先验信息)，同样能有很好的彩色融合效果，且能够适应不同场景因此具有更好的实用性。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (14)
1.一种基于场景识别的夜视图像彩色融合方法，其特征在于，通过联合提取待处理场景图像中的GIST特征，然后利用SVM分类器进行场景类别分类，并通过包含色彩度、梯度相似性和互信息的融合质量评价方法在对应类别的场景图像中匹配最佳的参考图像，最后将待处理场景图像转移到lαβ颜色空间，并与匹配到的参考图像进行色彩传递，最终得到具有自然感的红外与微光图像彩色融合结果。
2.根据权利要求1所述的方法，其特征是，所述的联合提取，对待处理场景图像预先进行K-L变换，得到各通道相互独立的四维颜色向量；然后通过NSCT分解，将目标网格划分为二级网格；最后根据划分后的网格对采用Gabor滤波器通过尺度和旋转变换扩展而成的多尺度多方向Gabor滤波器组对图像滤波，以获取GIST特征。
3.根据权利要求2所述的方法，其特征是，所述的划分是指：计算红外-微光4x4网格局部能量比，能量比最大值所在网格为目标网格，将目标网格划分为二级网格。
4.根据权利要求2所述的方法，其特征是，所述的图像滤波是指：首先将大小为rxc的图片的R、G、B三通道取均值，转为灰度图像f(x0,y0)，其次将灰度图划分为nb×nb个子网格，然后利用m尺度n方向的Gabor滤波器组与每个子网格卷积并级联，即F(x,y,θ,ω0)＝f(x,y)*G(x0,y0,θ,ω0)后提取得到每个子网格的特征。
5.根据权利要求2所述的方法，其特征是，所述的多尺度多方向Gabor滤波器组，具体为：Gmn(x0,y0,θ,ω0)＝a-mGmn(x0',y0',θ,ω0)，其中：a-m为尺度因子，θ为旋转角度，m为尺度数，n为方向数，x'＝a-m(xcosθ+ysinθ)，y'＝a-m(-xsinθ+ycosθ)，θ＝nπ/(n+1)，x，y为空间域像素点的位置，ω0为滤波器的中心频率，θ为Gabor小波的方向，σ为高斯函数沿两个坐标轴的标准方差，exp(jω0x0)为交流部分，为直流补偿。
6.根据权利要求1所述的方法，其特征是，所述的融合质量评价方法是指：利用图像的色彩度、梯度相似性和互信息，将对应类别图像库中的图像作为参考图像，与待处理图像进行彩色融合并计算彩色融合评价指标值，指标值最大时为选取的最佳参考图像。
7.根据权利要求1或6所述的方法，其特征是，所述的互信息 其中：F和A分别表示融合图像和源图像，hF，A为F和A的归一化联合灰度直方图，hF和hA为归一化的边缘梯度直方图，L是灰度级数。
8.根据权利要求1或6所述的方法，其特征是，所述的融合质量，即其中：α，β和γ为调节系数，C为颜色相似度，G为梯度相似性；Q为互信息质量评价部分Q(A,B,F)＝λM(A,F)+(1-λ)M(B,F)，其中：A和B分别表示红外与微光图像，F是彩色融合后的图像，λ是空间频率系数。
9.根据权利要求1或6所述的方法，其特征是，所述的色彩度，即Hasler颜色矩阵其中：μ和σ分别表示颜色成分空间rg＝R-B和yb＝0.5(R+G)-B的均值和方差，将C归一化以后即可得到融合图像与参考图像之间的颜色相似度
10.根据权利要求1所述的方法，其特征是，所述的转移，具体是指：将待处理场景图像的灰度值分别作为RGB空间中的R、G通道值，B通道值可设置为0，从而获得了伪彩色融合图像，并作为输入图像，使用映射矩阵将输入图像从RGB颜色空间转换到lαβ颜色空间，并作为更新后的输入图像。
11.根据权利要求10所述的方法，其特征是，所述的映射矩阵包括：
和
12.根据权利要求1所述的方法，其特征是，所述的色彩传递是指：计算lαβ颜色空间下的图像与参考图像各通道的均值和方差，利用修正公式对输入图像的统计量进行修正使得输入图像具有和参考图像相似的色彩感；
所述的修正公式是指：其中：l、α、β为lαβ颜色空间的三个通道值，μ、σ分别表示某一通道的均值与方差，下表s表示的为源图像，下表t表示的是参考图像，l'、α'、β'表示的是将源图像修正以后三通道的值。例如表示的是参考图像在β通道的均值。
13.根据权利要求1所述的方法，其特征是，所述的场景类别分类，通过SVM分类器以一对多方式拓展成多类判决，即通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。
14.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：特征联合提取模块、图像分类模块、融合质量评价模块以及色彩传递模块，其中：特征联合提取模块从来自异构传感器的源图像中提取出红外与微光图像联合特征后输出传输特征信息到图像分类模块，图像分类模块根据场景类别后根据场景类别图像库中对应的类别中匹配出参考图像，融合质量评价模块根据参考图像进行伪彩色处理，得到红外微光伪彩色融合图像，再通过融合质量评价寻找最优参考图像并输出至彩色传递模块，色彩传递模块根据红外微光伪彩色融合图像以及最优参考图像，利用色彩传递的方法完成最终的彩色融合过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611222714.2A CN106815826A (zh) | 2016-12-27 | 2016-12-27 | 基于场景识别的夜视图像彩色融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611222714.2A CN106815826A (zh) | 2016-12-27 | 2016-12-27 | 基于场景识别的夜视图像彩色融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106815826A true CN106815826A (zh) | 2017-06-09 |
Family
ID=59110167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611222714.2A Pending CN106815826A (zh) | 2016-12-27 | 2016-12-27 | 基于场景识别的夜视图像彩色融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106815826A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909561A (zh) * | 2017-11-15 | 2018-04-13 | 浙江大学宁波理工学院 | 一种基于权值优化的最优传输图像颜色迁移方法 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN109410144A (zh) * | 2018-10-31 | 2019-03-01 | 聚时科技(上海)有限公司 | 一种基于深度学习的端到端图像去雾处理方法 |
| CN109688293A (zh) * | 2019-01-28 | 2019-04-26 | 努比亚技术有限公司 | 一种拍摄方法、终端及计算机可读存储介质 |
| CN111553953A (zh) * | 2020-04-23 | 2020-08-18 | 国科天成（北京）科技有限公司 | 夜视仪伪彩标定系统和方法 |
| CN112200207A (zh) * | 2019-07-08 | 2021-01-08 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN112907485A (zh) * | 2021-03-18 | 2021-06-04 | 国家海洋信息中心 | 一种基于lαβ空间色彩映射的遥感影像批量调色方法 |
| CN112991246A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 一种可见光与红外视频图像融合方法及装置 |
| CN113077405A (zh) * | 2021-03-27 | 2021-07-06 | 荆门汇易佳信息科技有限公司 | 二分割分块的颜色传递及其质量评价体系 |
| CN114143419A (zh) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | 双传感器摄像系统及其深度图计算方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
| CN102547063A (zh) * | 2012-02-08 | 2012-07-04 | 南京航空航天大学 | 基于颜色对比度增强的自然感彩色融合方法 |
| CN104361571A (zh) * | 2014-11-21 | 2015-02-18 | 南京理工大学 | 基于边缘信息和支持度变换的红外与微光图像融合方法 |
| CN105447838A (zh) * | 2014-08-27 | 2016-03-30 | 北京计算机技术及应用研究所 | 一种红外与微光/可见光融合成像的方法及系统 |
| CN105590305A (zh) * | 2016-03-04 | 2016-05-18 | 温健阳 | 基于红外与微光图像融合技术的彩色夜视系统 |
-
2016
- 2016-12-27 CN CN201611222714.2A patent/CN106815826A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298769A (zh) * | 2011-06-11 | 2011-12-28 | 浙江理工大学 | 基于色彩传递的夜视弱光图像与红外图像的彩色融合方法 |
| CN102547063A (zh) * | 2012-02-08 | 2012-07-04 | 南京航空航天大学 | 基于颜色对比度增强的自然感彩色融合方法 |
| CN105447838A (zh) * | 2014-08-27 | 2016-03-30 | 北京计算机技术及应用研究所 | 一种红外与微光/可见光融合成像的方法及系统 |
| CN104361571A (zh) * | 2014-11-21 | 2015-02-18 | 南京理工大学 | 基于边缘信息和支持度变换的红外与微光图像融合方法 |
| CN105590305A (zh) * | 2016-03-04 | 2016-05-18 | 温健阳 | 基于红外与微光图像融合技术的彩色夜视系统 |
Non-Patent Citations (5)
| Title |
|---|
| ZHE QU等: "A Novel Night Vision Image Color Fusion Method Based on Scene Recognition", 《IEEE》 * |
| 倪林: "基于分类K-L变换的多波段遥感图像近无损压缩方法", 《遥感学报》 * |
| 孔锐 等: "Gabor滤波器参数设置", 《控制与决策》 * |
| 杨昭 等: "局部Gist 特征匹配核的场景分类", 《中国图像图形学报》 * |
| 郭明 等: "基于局部能量的NSCT域红外与可见光图像融合算法", 《红外与激光工程》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909561B (zh) * | 2017-11-15 | 2021-07-27 | 浙江大学宁波理工学院 | 一种基于权值优化的最优传输图像颜色迁移方法 |
| CN107909561A (zh) * | 2017-11-15 | 2018-04-13 | 浙江大学宁波理工学院 | 一种基于权值优化的最优传输图像颜色迁移方法 |
| CN108154494A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN108154494B (zh) * | 2017-12-25 | 2019-05-14 | 北京航空航天大学 | 一种基于微光和红外传感器的图像融合系统 |
| CN109410144A (zh) * | 2018-10-31 | 2019-03-01 | 聚时科技(上海)有限公司 | 一种基于深度学习的端到端图像去雾处理方法 |
| CN109688293A (zh) * | 2019-01-28 | 2019-04-26 | 努比亚技术有限公司 | 一种拍摄方法、终端及计算机可读存储介质 |
| CN112200207B (zh) * | 2019-07-08 | 2024-02-20 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN112200207A (zh) * | 2019-07-08 | 2021-01-08 | 浙江宇视科技有限公司 | 光源颜色的确定方法、装置、存储介质及电子设备 |
| CN111553953B (zh) * | 2020-04-23 | 2020-12-11 | 国科天成（北京）科技有限公司 | 夜视仪伪彩标定系统和方法 |
| CN111553953A (zh) * | 2020-04-23 | 2020-08-18 | 国科天成（北京）科技有限公司 | 夜视仪伪彩标定系统和方法 |
| CN114143419A (zh) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | 双传感器摄像系统及其深度图计算方法 |
| CN114143419B (zh) * | 2020-09-04 | 2023-12-26 | 聚晶半导体股份有限公司 | 双传感器摄像系统及其深度图计算方法 |
| CN112991246A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 一种可见光与红外视频图像融合方法及装置 |
| CN112907485A (zh) * | 2021-03-18 | 2021-06-04 | 国家海洋信息中心 | 一种基于lαβ空间色彩映射的遥感影像批量调色方法 |
| CN113077405A (zh) * | 2021-03-27 | 2021-07-06 | 荆门汇易佳信息科技有限公司 | 二分割分块的颜色传递及其质量评价体系 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106815826A (zh) | 基于场景识别的夜视图像彩色融合方法 | |
| CN109614996B (zh) | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 | |
| CN104318569B (zh) | 基于深度变分模型的空间显著性区域提取方法 | |
| CN109559310B (zh) | 基于显著性检测的输变电巡检图像质量评价方法及系统 | |
| CN112288663A (zh) | 一种红外与可见光图像融合方法及系统 | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| CN109410171B (zh) | 一种用于雨天图像的目标显著性检测方法 | |
| CN108710910A (zh) | 一种基于卷积神经网络的目标识别方法及系统 | |
| CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
| CN106952246A (zh) | 基于视觉注意特性的可见光红外图像增强彩色融合方法 | |
| CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| CN109493309A (zh) | 一种保持显著性信息的红外与可见光图像变分融合方法 | |
| CN111462128A (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
| CN106650663B (zh) | 建筑物真伪变化的判定方法及含此方法的伪变化去除方法 | |
| CN109949353A (zh) | 一种低照度图像自然感彩色化方法 | |
| CN109711379A (zh) | 一种复杂环境交通信号灯候选区域提取及识别方法 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN112365467A (zh) | 一种基于单幅图像深度估计的雾天图像能见度估计方法 | |
| CN109035307A (zh) | 基于自然光双目视觉的设定区域目标追踪方法及系统 | |
| CN114387195A (zh) | 一种基于非全局预增强的红外图像与可见光图像融合方法 | |
| Kekre et al. | Image fusion using Kekre's hybrid wavelet transform | |
| CN113506275B (zh) | 一种基于全景城市图像处理方法 | |
| CN107705274B (zh) | 一种基于数学形态学多尺度的微光与红外图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170609 |