CN106952246A - 基于视觉注意特性的可见光红外图像增强彩色融合方法 - Google Patents
基于视觉注意特性的可见光红外图像增强彩色融合方法 Download PDFInfo
- Publication number
- CN106952246A CN106952246A CN201710150543.5A CN201710150543A CN106952246A CN 106952246 A CN106952246 A CN 106952246A CN 201710150543 A CN201710150543 A CN 201710150543A CN 106952246 A CN106952246 A CN 106952246A
- Authority
- CN
- China
- Prior art keywords
- infrared image
- image
- fusion
- color
- access control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 54
- 230000002708 enhancing effect Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000004040 coloring Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000004064 recycling Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 241000271532 Crotalus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 206010022000 influenza Diseases 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于视觉注意特性的可见光与红外图像增强彩色融合方法，对于给定的红外图像，先进行滤波去噪和归一化处理，再利用幂次变换方法调整红外图像的动态范围进行增强，然后采用阈值分割出目标区域。对于给定的可见光图像，提取其亮度分量并对目标区域进行亮度增强，选择一种突显颜色对增强后的亮度图像进行着色处理。之后以增强后的红外图像为参考，对原始可见光图像和着色后的图像进行像素级的加权融合得到输出图像。如此方案，在红外和可见光图像融合处理中对红外热目标进行了恰当的突显处理，有效增强了区域内部细节，大大提高了人眼对目标的目视检测和搜索效率。
Description
技术领域
本申请涉及红外与可见光图像的融合技术领域，具体地说，涉及一种基于视觉注意特性的可见光红外图像增强彩色融合方法。
背景技术
图像融合是以图像为研究对象的信息融合技术，它把对同一目标或场景，用不同传感器获得的不同图像、或用同种传感器不同成像方式获得的图像、或同一传感器在不同时相获取的图像进行数据层(像素级)、或特征级、或决策级的融合，使融合图像具有不同特征或不同视点的多个传感器获得的多源图像之中的优点。图像融合技术具有一般图像处理的特点，因而可在图像数据层上展开大量的算法研究。
进行图像融合的源图像多种多样，有同类图像也有异类图像，包括可见光、微光、红外、紫外、雷达SAR、多光谱、高光谱、CT和MRI等图像。红外与可见光成像传感器广泛的应用于侦察、监视等任务中。红外热像仪主要探测场景中目标发射或反射的热辐射信息,可以不受照明条件的影响,在光照较差时仍具有较优的目标探测性能。另一方面,可见光传感器反映了场景的光谱反射特性,包含了场景的边缘与纹理等丰富的细节信息,但受场景照明环境的影响较大。对红外与可见光传感器的图像进行融合处理,既可以拥有可见光图像丰富的细节和灰度，又能反映出场景中目标的温度信息，有助于观察者发现异常目标，在军事侦察、流感防控、危险品检测等领域具有良好的应用前景。
图像融合往往根据源图像和应用场合的不同而采用有针对性的融合算法，通常并不存在一种或一类可以解决所有图像融合问题的方法。对已经开发出来的各式各样、功能各异的图像融合算法，按照其理论基础，可分为空域融合方法、谱域融合方法和尺度空间融合方法；按融合结果的色彩，分为灰度融合和彩色融合；按分辨力的级别，又分为单分辨力融合和多分辨力融合。
目前效果较好的可见光与红外融合方法有Waxman提出的基于响尾蛇双模式细胞的拮抗融合算法以及Toet提出的色差增强算法等。这些算法追求融合后的图像色彩自然、可视性好，但往往对目标区域表现得不够明显，不利于人眼识别。
发明内容
有鉴于此，本申请所要解决的技术问题是提供了一种基于视觉注意特性的可见光红外图像增强彩色融合方法，在红外和可见光图像融合的过程中对热红外目标进行恰当的突显处理，以提高目标的视觉检测效率。由于图像融合前后目标的形状不宜发生改变，因此主要突显目标的亮度和颜色。如此方案，可使人眼在融合有目标灰度细节和温度信息的图像中，快速注意到清晰的异常目标。
为了解决上述技术问题，本申请有如下技术方案：
一种基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，包括：
对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像；
对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像；
对所述经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域；
提取给定的可见光图像的亮度分量，得到提取的亮度图像；
在所述提取的亮度图像中，对所述目标区域进行增强处理得到增强后的亮度图像，对所述非目标区域维持原貌；
选择一种突显颜色对所述增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像；
以所述经幂次变换后的红外图像为参考，对原始可见光图像和所述着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像。
优选地，其中：
对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像，进一步为：
对给定的红外图像Ir，利用高斯滤波器进行滤波去噪，并将其灰度值归一化至[0,1]，得到归一化处理后的红外图像。
优选地，其中：
对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，进一步为：
根据Ir′＝(Norm(Filter(Ir)))γ对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，其中，Ir′代表经幂次变换后的红外图像，Filter(.)表示去噪滤波器，Norm(.)表示归一化操作，幂次变换的伽马值满足γ＞1。
优选地，其中：
对所述经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域，进一步为：
根据对所述经幂次变换后的红外图像Ir′进行阈值分割，其中，T代表分割阈值，Im代表目标区域掩膜，分割阈值T的大小根据整体图像灰度信息，利用最大类间方差法确定。
优选地，其中：
提取给定的可见光图像的亮度分量，进一步为：
对于给定的可见光图像Is，若原图像是灰度图像，则其亮度分量就是图像本身，即Vs＝Is；若原图像是包含Rs、Gs、Bs三个通道的彩色图像，则采用通用的亮度分量计算公式Vs＝0.39Rs+0.59Gs+0.11Bs计算亮度分量。
优选地，其中：
在所述提取的亮度图像中，对所述目标区域进行增强处理得到增强后的亮度图像，对所述非目标区域维持原貌，进一步为：
对于目标区域，利用公式：
Vs′＝Enhance(log(VsIm+1))+Vs(1-Im)
对提取的亮度图像进行对数变换，再利用对比度增强函数对目标区域进行增强处理，得到增强后的亮度图像，对于非目标区域保持原貌，其中，Enhance(.)为对比度增强函数。
优选地，其中：
所述对比度增强函数包括线性拉伸对比度增强函数或直方图均衡化对比度增强函数。
优选地，其中：
选择一种突显颜色对所述增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像，进一步为：
用突显颜色Ch对增强后的亮度图像Vs′进行着色，得到具有某种单一色调的彩色图像Ic，其像素点(i,j)处的第k个颜色通道的值由下式获得：
Ic(i，j，k)＝Ch(k)Vs′(i，j)，
(0≤i＜M，0≤j＜N，k＝{0，1，2})
其中，M、N分别表示图像的高和宽。
优选地，其中：
所述突显颜色为红色、绿色、蓝色或黄色。
优选地，其中：
以所述经幂次变换后的红外图像为参考，对原始可见光图像和所述着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像，进一步为：
依据红外图像上的像素灰度值逐个处理原始可见光图像的像素点，将经幂次变换后的红外图像的像素灰度值作为权重，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像：
Id(k)＝(1-Ir′)Is(k)+Ir′Ic(k)，
(k＝{0，1，2})
其中，Ir′为经幂次变换后的红外图像，Is为原始可见光图像，Ic为着色后具有单一色调的彩色图像。
与现有技术相比，本申请所述的方法，达到了如下效果：
第一，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法所得融合图像能真实地反映出可见光下场景丰富的灰度细节信息，以及目标与背景间的红外温差信息。
第二，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，能在较好保留非目标区域原貌的同时，根据目标与背景的温差变化对目标区域进行不同程度的突显，提高了目标的视觉检测效率，有利于人眼快速感知目标信息。
第三，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，在突显红外目标的同时，对灰度图像对应的目标区域进行了增强处理，得到的目标区域细节清晰可辨。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法的流程图；
图2为本发明对归一化后的红外图像进行幂次变换的曲线图；
图3为本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法的应用实施例的流程图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
实施例1
参见图1所示为本申请一种基于视觉注意特性的可见光红外图像增强彩色融合方法的流程图，从图1可看出，该基于视觉注意特性的可见光红外图像增强彩色融合方法包括：
步骤101、对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像；
步骤102、对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像；
步骤103、对经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域；
步骤104、提取给定的可见光图像的亮度分量，得到提取的亮度图像；
步骤105、在提取的亮度图像中，对目标区域进行增强处理得到增强后的亮度图像，对非目标区域维持原貌；
步骤106、选择一种突显颜色对增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像；
步骤107、以经幂次变换后的红外图像为参考，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像。
上述步骤101-步骤103是对红外图像的处理，步骤104-步骤105是对可见光图像的处理，这两组步骤的顺序可调换，例如先执行步骤104-105对可见光图像进行处理，再执行步骤101-103对红外图像进行处理。
心理学研究表明，由于视觉神经元细胞数量有限，人眼在观察整个场景时，为了降低场景分析的复杂度会选择一部分区域进行更高级的视觉处理，而局部特征较强的区域比较容易引起观察者的视觉注意。本申请利用人类视觉的这种选择性感知能力，在图像中对感兴趣的目标进行突显处理，能够有效地减少目标搜索的时间。可使观察者快速地将注意力集中到某一目标的视觉突显方法包括改变其形状、亮度、颜色等。
本申请所提供的基于视觉注意特性的可见光红外图像增强彩色融合方法中，在红外和可见光图像融合的过程中对热红外目标进行恰当的突显处理，有利于提高目标的视觉检测效率。由于图像融合前后目标的形状不宜发生改变，因此主要突显目标的亮度和颜色。如此方案，可使人眼在融合有目标灰度细节和温度信息的图像中，快速注意到清晰的异常目标。
上述步骤101中，对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像，进一步为：
对给定的红外图像Ir，利用高斯滤波器进行滤波去噪，并将其灰度值归一化至[0,1]，得到归一化处理后的红外图像。
上述步骤102中，对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，进一步为：
根据Ir′＝(Norm(Filter(Ir)))γ对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，其中，Ir′代表经幂次变换后的红外图像，Filter(.)表示去噪滤波器，Norm(.)表示归一化操作，幂次变换的伽马值满足γ＞1。本申请对红外图像进行幂次变换的曲线参见图2，图中γ＝sγ，幂次变换的伽马值需满足γ＞1，这样使幂次变换后的热红外图像中灰度值较小的背景像素被抑制，灰度值较大的目标区域对比度得到增强。
上述步骤103中，对经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域，进一步为：
根据对经幂次变换后的红外图像Ir′进行阈值分割，其中，T代表分割阈值，Im代表目标区域掩膜。此处的分割阈值T的大小可根据整体图像灰度信息，利用Ostu提出的最大类间方差法确定。
上述步骤104中，提取给定的可见光图像的亮度分量，进一步为：
对于给定的可见光图像Is，若原图像是灰度图像，则其亮度分量就是图像本身，即Vs＝Is；若原图像是包含Rs、Gs、Bs三个通道的彩色图像，则采用通用的亮度分量计算公式Vs＝0.39Rs+0.59Gs+0.11Bs计算亮度分量。通过此种方式可获得提取的亮度图像。
上述步骤105中，在提取的亮度图像中，对目标区域进行增强处理得到增强后的亮度图像，对非目标区域维持原貌，进一步为：
对于目标区域，利用公式：
Vs′＝Enhance(log(VsIm+1))+Vs(1-Im)
对提取的亮度图像进行对数变换，再利用对比度增强函数对目标区域进行增强处理，得到增强后的亮度图像，对于非目标区域保持原貌，其中，Enhance(.)为对比度增强函数。
上述过程中对提取的亮度图像进行对数变换的目的是适应人类视觉系统对光强的主观感受特征，研究表明，主观亮度与进入人眼的对数成近似线性关系。本申请对提取的亮度图像进行对数变换，再利用对比增强函数对目标区域进行增强处理，能够提高图像的细节对比度。
上述过程中所采用的对比度增强函数可采用线性拉伸对比度增强函数或直方图均衡化对比度增强函数等。
上述步骤106中，选择一种突显颜色对增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像，进一步为：
用突显颜色Ch对增强后的亮度图像Vs′进行着色，得到具有单一色调的彩色图像Ic，其像素点(i,j)处的第k个颜色通道的值由下式获得：
Ic(i，j，k)＝Ch(k)Vs′(i，j)，
(0≤i＜M，0≤j＜N，k＝{0，1，2})
其中，M、N分别表示图像的高和宽。
上述过程中，选择一种突显颜色对增强后的亮度图像进行着色处理，用突显颜色进行处理的区域比较容易引起观察者的视觉注意，根据人类视觉的选择性感知能力，在图像中对感兴趣的目标进行突显处理，能够有效地减少目标的搜索时间，并能够让观察者快速地将注意力集中到该突显颜色区域。
本申请对突显颜色的选择应充分考虑到环境背景，通常可选取红色、绿色、蓝色、黄色四种颜色。大多数实际情况下，图像的背景是天空、植被、大地等自然景观，且以灰白或者蓝绿色为主色调，因此本案优选红色作为突显颜色，此外红色常常代表着高温、危险等含义，会对人类心理产生警示的作用。当然，除了上述情况外，本申请中的突显颜色还可根据图像的实际背景进行灵活调整，而不仅限于之前提到的红、绿、蓝、黄四种颜色。
上述步骤107中，以经幂次变换后的红外图像为参考，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像，进一步为：
依据红外图像上的像素灰度值逐个处理原始可见光图像的像素点，将经幂次变换后的红外图像的像素灰度值(此处的像素灰度值已归一化至[0,1]且经过幂次变换)作为权重，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像：
Id(k)＝(1-Ir′)Is(k)+Ir′Ic(k)，
(k＝{0，1，2})
其中，Ir′为经幂次变换后的红外图像，Is为原始可见光图像，Ic为着色后具有单一色调的彩色图像。考虑到RGB颜色空间的非均匀性问题，对原始可见光图像和具有单一色调的彩色图像进行像素级加权融合的过程应该在相对较均匀的颜色空间下进行。
实施例2
以下提供本申请基于视觉注意特性的可见光红外图像增强彩色融合方法的应用实施例，参见图3。从图3可看出，该实施例所提供的基于视觉注意特性的可见光红外图像增强彩色融合方法包括：
步骤201、输入红外图像；
步骤202、对所输入的红外图像进行滤波去噪和灰度值归一化处理；
具体地，可利用高斯滤波器对红外图像进行滤波去噪，并将其灰度值归一化至[0,1]。
步骤203、对归一化处理后的红外图像进行幂次变换；
具体为，根据Ir′＝(Norm(Filter(Ir)))γ对归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，其中，Ir′代表经幂次变换后的红外图像，Filter(.)表示去噪滤波器，Norm(.)表示归一化操作，幂次变换的伽马值满足γ＞1。
步骤204、对经幂次变换后的红外图像进行阈值分割，得到目标区域；
具体地，热红外图像目标区域可通过对Ir′进行阈值分割得到。设T为分割阈值，则目标区域掩膜为：
步骤205、输入可见光图像。
步骤206、提取可见光图像的亮度分量，若原始的可见光图像为灰度图像，则其亮度分量就是可见光图像本身；若原始图像是包含Rs、Gs、Bs三个通道的彩色图像，则采用通用的亮度分量计算公式Vs＝0.39Rs+0.59Gs+0.11Bs计算亮度分量，以获得提取的亮度图像。
步骤207、在提取的亮度图像中，对目标区域进行增强处理。
具体为，在目标区域，利用公式：
Vs′＝Enhance(log(VsIm+1))+Vs(1-Im)
先对提取的亮度图像进行对数变换，再利用对比度增强函数对目标区域进行增强处理。
步骤208、选择一种突显颜色对增强后的亮度图像进行着色处理，得到具有单一色调的彩色图像。
该步骤中，突显颜色可根据图像的背景色调来进行选择，通常选择与背景色调反差较大的颜色作为突显颜色。
步骤209、以所述经幂次变换后的红外图像作为参考图像，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像。
通过上述步骤201-步骤209即实现了基于视觉注意特性的可见光红外图像增强彩色融合方法。
通过以上各实施例可知，本申请存在的有益效果是：
第一，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法所得融合图像能真实地反映出可见光下场景丰富的灰度细节信息，以及目标与背景间的红外温差信息。
第二，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，能在较好保留非目标区域原貌的同时，根据目标与背景的温差变化对目标区域进行不同程度的突显，提高了目标的视觉检测效率，有利于人眼快速感知目标信息。
第三，本发明所述基于视觉注意特性的可见光红外图像增强彩色融合方法，在突显红外目标的同时，对灰度图像对应的目标区域进行了增强处理，得到的目标区域细节清晰可辨。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。
Claims (10)
1.一种基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，包括：
对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像；
对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像；
对所述经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域；
提取给定的可见光图像的亮度分量，得到提取的亮度图像；
在所述提取的亮度图像中，对所述目标区域进行增强处理得到增强后的亮度图像，对所述非目标区域维持原貌；
选择一种突显颜色对所述增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像；
以所述经幂次变换后的红外图像为参考，对原始可见光图像和所述着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像。
2.根据权利要求1所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，对给定的红外图像进行滤波去噪，并对滤波去噪后的红外图像进行灰度值归一化处理，得到归一化处理后的红外图像，进一步为：
对给定的红外图像Ir，利用高斯滤波器进行滤波去噪，并将其灰度值归一化至[0,1]，得到归一化处理后的红外图像。
3.根据权利要求1所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，进一步为：
根据Ir′＝(Norm(Filter(Ir)))γ对所述归一化处理后的红外图像进行幂次变换，得到经幂次变换后的红外图像，其中，Ir′代表经幂次变换后的红外图像，Filter(.)表示去噪滤波器，Norm(.)表示归一化操作，幂次变换的伽马值满足γ＞1。
4.根据权利要求1所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，对所述经幂次变换后的红外图像进行阈值分割，得到目标区域和非目标区域，进一步为：
根据对所述经幂次变换后的红外图像Ir′进行阈值分割，其中，T代表分割阈值，Im代表目标区域掩膜，分割阈值T的大小根据整体图像灰度信息，利用最大类间方差法确定。
5.根据权利要求1所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，提取给定的可见光图像的亮度分量，进一步为：
对于给定的可见光图像Is，若原图像是灰度图像，则其亮度分量就是图像本身，即Vs＝Is；若原图像是包含Rs、Gs、Bs三个通道的彩色图像，则采用通用的亮度分量计算公式Vs＝0.39Rs+0.59Gs+0.11Bs计算亮度分量。
6.根据权利要求1所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，在所述提取的亮度图像中，对所述目标区域进行增强处理得到增强后的亮度图像，对所述非目标区域维持原貌，进一步为：
对于目标区域，利用公式：
V′s＝Enhance(log(VsIm+1))+Vs(1-Im)
对提取的亮度图像进行对数变换，再利用对比度增强函数对目标区域进行增强处理，得到增强后的亮度图像，对于非目标区域保持原貌，其中，Enhance(.)为对比度增强函数。
7.根据权利要求6所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，所述对比度增强函数包括线性拉伸对比度增强函数或直方图均衡化对比度增强函数。
8.根据权利要求1所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，选择一种突显颜色对所述增强后的亮度图像进行着色处理，得到具有某种单一色调的彩色图像，进一步为：
用突显颜色Ch对增强后的亮度图像Vs′进行着色，得到具有某种单一色调的彩色图像Ic，其像素点(i,j)处的第k个颜色通道的值由下式获得：
Ic(ij，k)＝Ch(k)Vs'(ij)
(O≤i＜M，O≤j＜N，k＝{0，1，2})
其中，M、N分别表示图像的高和宽。
9.根据权利要求8所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，所述突显颜色为红色、绿色、蓝色或黄色。
10.根据权利要求1所述基于视觉注意特性的可见光红外图像增强彩色融合方法，其特征在于，以所述经幂次变换后的红外图像为参考，对原始可见光图像和所述着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像，进一步为：
依据红外图像上的像素灰度值逐个处理原始可见光图像的像素点，将经幂次变换后的红外图像的像素灰度值作为权重，对原始可见光图像和着色后具有单一色调的彩色图像进行像素级的加权融合，得到融合图像：
Id(k)＝1-Ir')Is(k)+Ir'Ic(k)，
(k＝{0，1，2})
其中，Ir′为经幂次变换后的红外图像，Is为原始可见光图像，Ic为着色后具有单一色调的彩色图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710150543.5A CN106952246A (zh) | 2017-03-14 | 2017-03-14 | 基于视觉注意特性的可见光红外图像增强彩色融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710150543.5A CN106952246A (zh) | 2017-03-14 | 2017-03-14 | 基于视觉注意特性的可见光红外图像增强彩色融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106952246A true CN106952246A (zh) | 2017-07-14 |
Family
ID=59468348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710150543.5A Pending CN106952246A (zh) | 2017-03-14 | 2017-03-14 | 基于视觉注意特性的可见光红外图像增强彩色融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106952246A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705268A (zh) * | 2017-10-20 | 2018-02-16 | 天津工业大学 | 一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法 |
| CN107705263A (zh) * | 2017-10-10 | 2018-02-16 | 福州图森仪器有限公司 | 一种基于rgb‑ir传感器的自适应透雾方法和终端 |
| CN108074220A (zh) * | 2017-12-11 | 2018-05-25 | 上海顺久电子科技有限公司 | 一种图像的处理方法、装置及电视机 |
| CN109060309A (zh) * | 2018-06-28 | 2018-12-21 | 广东工业大学 | 一种色差最优分辨配色仪及其测试方法 |
| CN109859138A (zh) * | 2019-02-14 | 2019-06-07 | 哈尔滨理工大学 | 一种基于人眼视觉特性的红外图像增强方法 |
| CN110047055A (zh) * | 2019-03-18 | 2019-07-23 | 电子科技大学 | 一种红外图像细节增强及去噪方法 |
| CN110135247A (zh) * | 2019-04-03 | 2019-08-16 | 深兰科技（上海）有限公司 | 一种路面分割中的数据增强方法、装置、设备及介质 |
| CN110223344A (zh) * | 2019-06-03 | 2019-09-10 | 哈尔滨工程大学 | 一种基于形态学和视觉注意机制的红外小目标检测方法 |
| CN110223262A (zh) * | 2018-12-28 | 2019-09-10 | 中国船舶重工集团公司第七一七研究所 | 一种基于像素级的快速图像融合方法 |
| CN111062905A (zh) * | 2019-12-17 | 2020-04-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
| CN112067699A (zh) * | 2020-09-14 | 2020-12-11 | 南昌航空大学 | 一种用于抑制界面回波干扰的水浸超声成像检测方法 |
| CN112241668A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备 |
| CN112270688A (zh) * | 2020-11-04 | 2021-01-26 | 中国科学院上海微系统与信息技术研究所 | 一种前景提取方法、装置、设备及存储介质 |
| CN112381728A (zh) * | 2020-11-04 | 2021-02-19 | 天水师范学院 | 一种高光谱成像信号处理系统及方法 |
| CN112991246A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 一种可见光与红外视频图像融合方法及装置 |
| CN113222877A (zh) * | 2021-06-03 | 2021-08-06 | 北京理工大学 | 红外和可见光图像融合方法及其在机载光电视频中的应用 |
| CN113379658A (zh) * | 2021-06-01 | 2021-09-10 | 大连海事大学 | 一种无人机观测目标特征双光融合方法及系统 |
| CN113409232A (zh) * | 2021-06-16 | 2021-09-17 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
| CN114331928A (zh) * | 2022-03-14 | 2022-04-12 | 合肥金星智控科技股份有限公司 | 一种高温红外图像可视化增强方法、装置及设备 |
| CN114596205A (zh) * | 2022-03-09 | 2022-06-07 | 浙江工商大学 | 融合可见光和热成像图像的低照度图像增强方法 |
| CN114882235A (zh) * | 2022-05-12 | 2022-08-09 | 北京中星时代科技有限公司 | 基于图像数据特征的红外图像目标自动识别系统及方法 |
| CN117036209A (zh) * | 2023-10-07 | 2023-11-10 | 深圳英美达医疗技术有限公司 | 图像对比度增强方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860655A (zh) * | 2010-07-02 | 2010-10-13 | 上海交通大学 | 基于双边滤波器的黑白图像彩色化方法 |
| CN102609919A (zh) * | 2012-02-16 | 2012-07-25 | 清华大学 | 一种基于区域的压缩感知图像融合方法 |
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
| CN104036478A (zh) * | 2014-06-12 | 2014-09-10 | 杭州电子科技大学 | 一种利用稀疏表征法权重分析的双波段图像融合方法 |
| CN105488793A (zh) * | 2015-11-26 | 2016-04-13 | 西安诺瓦电子科技有限公司 | 图像显示方法以及图像处理方法 |
-
2017
- 2017-03-14 CN CN201710150543.5A patent/CN106952246A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860655A (zh) * | 2010-07-02 | 2010-10-13 | 上海交通大学 | 基于双边滤波器的黑白图像彩色化方法 |
| CN102609919A (zh) * | 2012-02-16 | 2012-07-25 | 清华大学 | 一种基于区域的压缩感知图像融合方法 |
| CN103024281A (zh) * | 2013-01-11 | 2013-04-03 | 重庆大学 | 红外与可见光视频融合系统 |
| CN104036478A (zh) * | 2014-06-12 | 2014-09-10 | 杭州电子科技大学 | 一种利用稀疏表征法权重分析的双波段图像融合方法 |
| CN105488793A (zh) * | 2015-11-26 | 2016-04-13 | 西安诺瓦电子科技有限公司 | 图像显示方法以及图像处理方法 |
Non-Patent Citations (4)
| Title |
|---|
| YADONG HUANG 等: "Infrared and visible image fusion with the target marked based on multi-resolution visual attention mechanisms", 《PROCEEDINGS OF SPIE》 * |
| 田思: "微光与红外图像实时融合关键技术研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 陆欢: "像素级多源图像配准及融合研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 韩亦勇: "红外与可见光图像融合技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705263A (zh) * | 2017-10-10 | 2018-02-16 | 福州图森仪器有限公司 | 一种基于rgb‑ir传感器的自适应透雾方法和终端 |
| CN107705268A (zh) * | 2017-10-20 | 2018-02-16 | 天津工业大学 | 一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法 |
| CN108074220A (zh) * | 2017-12-11 | 2018-05-25 | 上海顺久电子科技有限公司 | 一种图像的处理方法、装置及电视机 |
| CN108074220B (zh) * | 2017-12-11 | 2020-07-14 | 上海顺久电子科技有限公司 | 一种图像的处理方法、装置及电视机 |
| CN109060309A (zh) * | 2018-06-28 | 2018-12-21 | 广东工业大学 | 一种色差最优分辨配色仪及其测试方法 |
| CN109060309B (zh) * | 2018-06-28 | 2024-04-02 | 广东工业大学 | 一种色差最优分辨配色仪及其测试方法 |
| CN110223262A (zh) * | 2018-12-28 | 2019-09-10 | 中国船舶重工集团公司第七一七研究所 | 一种基于像素级的快速图像融合方法 |
| CN109859138A (zh) * | 2019-02-14 | 2019-06-07 | 哈尔滨理工大学 | 一种基于人眼视觉特性的红外图像增强方法 |
| CN110047055B (zh) * | 2019-03-18 | 2021-06-22 | 电子科技大学 | 一种红外图像细节增强及去噪方法 |
| CN110047055A (zh) * | 2019-03-18 | 2019-07-23 | 电子科技大学 | 一种红外图像细节增强及去噪方法 |
| CN110135247A (zh) * | 2019-04-03 | 2019-08-16 | 深兰科技（上海）有限公司 | 一种路面分割中的数据增强方法、装置、设备及介质 |
| CN110135247B (zh) * | 2019-04-03 | 2021-09-24 | 深兰科技（上海）有限公司 | 一种路面分割中的数据增强方法、装置、设备及介质 |
| CN110223344A (zh) * | 2019-06-03 | 2019-09-10 | 哈尔滨工程大学 | 一种基于形态学和视觉注意机制的红外小目标检测方法 |
| CN110223344B (zh) * | 2019-06-03 | 2023-09-29 | 哈尔滨工程大学 | 一种基于形态学和视觉注意机制的红外小目标检测方法 |
| CN112241668A (zh) * | 2019-07-18 | 2021-01-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备 |
| CN111062905A (zh) * | 2019-12-17 | 2020-04-24 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
| CN111062905B (zh) * | 2019-12-17 | 2022-01-04 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
| CN112067699A (zh) * | 2020-09-14 | 2020-12-11 | 南昌航空大学 | 一种用于抑制界面回波干扰的水浸超声成像检测方法 |
| CN112067699B (zh) * | 2020-09-14 | 2023-05-16 | 南昌航空大学 | 一种用于抑制界面回波干扰的水浸超声成像检测方法 |
| CN112270688A (zh) * | 2020-11-04 | 2021-01-26 | 中国科学院上海微系统与信息技术研究所 | 一种前景提取方法、装置、设备及存储介质 |
| CN112270688B (zh) * | 2020-11-04 | 2024-05-28 | 中国科学院上海微系统与信息技术研究所 | 一种前景提取方法、装置、设备及存储介质 |
| CN112381728A (zh) * | 2020-11-04 | 2021-02-19 | 天水师范学院 | 一种高光谱成像信号处理系统及方法 |
| CN112991246A (zh) * | 2021-02-05 | 2021-06-18 | 中国科学院信息工程研究所 | 一种可见光与红外视频图像融合方法及装置 |
| CN113379658A (zh) * | 2021-06-01 | 2021-09-10 | 大连海事大学 | 一种无人机观测目标特征双光融合方法及系统 |
| CN113379658B (zh) * | 2021-06-01 | 2024-03-15 | 大连海事大学 | 一种无人机观测目标特征双光融合方法及系统 |
| CN113222877A (zh) * | 2021-06-03 | 2021-08-06 | 北京理工大学 | 红外和可见光图像融合方法及其在机载光电视频中的应用 |
| CN113409232A (zh) * | 2021-06-16 | 2021-09-17 | 吉林大学 | 基于响尾蛇视觉成像的仿生假彩色图像融合模型及方法 |
| CN114596205A (zh) * | 2022-03-09 | 2022-06-07 | 浙江工商大学 | 融合可见光和热成像图像的低照度图像增强方法 |
| CN114596205B (zh) * | 2022-03-09 | 2024-04-26 | 浙江工商大学 | 融合可见光和热成像图像的低照度图像增强方法 |
| CN114331928A (zh) * | 2022-03-14 | 2022-04-12 | 合肥金星智控科技股份有限公司 | 一种高温红外图像可视化增强方法、装置及设备 |
| CN114882235A (zh) * | 2022-05-12 | 2022-08-09 | 北京中星时代科技有限公司 | 基于图像数据特征的红外图像目标自动识别系统及方法 |
| CN117036209A (zh) * | 2023-10-07 | 2023-11-10 | 深圳英美达医疗技术有限公司 | 图像对比度增强方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106952246A (zh) | 基于视觉注意特性的可见光红外图像增强彩色融合方法 | |
| Toet et al. | Progress in color night vision | |
| Zheng et al. | Qualitative and quantitative comparisons of multispectral night vision colorization techniques | |
| Lin | An approach to adaptive infrared image enhancement for long-range surveillance | |
| Isa | Pixel distribution shifting color correction for digital color images | |
| Yu et al. | A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space | |
| Gritzman et al. | Comparison of colour transforms used in lip segmentation algorithms | |
| Li et al. | An adaptive enhancement method for low illumination color images | |
| CN101383912B (zh) | 电视摄像色彩智能化自动调节方法 | |
| Mahmood et al. | A treatise to vision enhancement and color fusion techniques in night vision devices | |
| Gao et al. | Improving color constancy by selecting suitable set of training images | |
| Hussain et al. | Color constancy for uniform and non-uniform illuminant using image texture | |
| Tsai et al. | Decision tree-based contrast enhancement for various color images | |
| Qian et al. | Fast color contrast enhancement method for color night vision | |
| Mohammed et al. | Image segmentation for skin detection | |
| Zheng | An overview of night vision colorization techniques using multispectral images: From color fusion to color mapping | |
| Qian et al. | Effective contrast enhancement method for color night vision | |
| Zheng et al. | Qualitative evaluations and comparisons of six night-vision colorization methods | |
| Agrawal et al. | Multispectral image fusion for enhancing situation awareness: A review | |
| Shamoi et al. | Perceptual color space: Motivations, methodology, applications | |
| Zheng | A channel-based color fusion technique using multispectral images for night vision enhancement | |
| Zini et al. | Shallow camera pipeline for night photography rendering | |
| Trongtirakul et al. | New retinex model-based infrared image enhancement | |
| Sobue et al. | Enhancing infrared color reproducibility through multispectral image processing using RGB and three infrared channels | |
| Zheng | An exploration of color fusion with multispectral images for night vision enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170714 |