CN109118466A - 一种红外图像与可见光图像融合的处理方法 - Google Patents
一种红外图像与可见光图像融合的处理方法 Download PDFInfo
- Publication number
- CN109118466A CN109118466A CN201810997122.0A CN201810997122A CN109118466A CN 109118466 A CN109118466 A CN 109118466A CN 201810997122 A CN201810997122 A CN 201810997122A CN 109118466 A CN109118466 A CN 109118466A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared image
- fusion
- infrared
- spectrogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 title claims abstract description 27
- 238000002156 mixing Methods 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 32
- 238000007499 fusion processing Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 31
- 238000001914 filtration Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 238000005530 etching Methods 0.000 claims description 6
- 230000000873 masking effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 11
- 238000002844 melting Methods 0.000 description 5
- 230000008018 melting Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 235000002918 Fraxinus excelsior Nutrition 0.000 description 1
- 239000002956 ash Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000013039 cover film Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种红外图像与可见光图像融合的处理方法，包括以下内容：判断选择融合算法：先进行红外图像去噪及傅里叶变换处理，得到红外图像频谱图；再根据红外图像频谱图，判断选择图像融合算法，选择执行图像特征融合或图像加权融合；基于图像特征融合或图像加权融合，进行红外图像和可见光图像融合处理。本发明通过判断选择融合算法，具有一定的自动判别能力；同时，可根据不同的红外图像的傅里叶变换频谱图中亮点的比例将融合权值分段，以期达到一个较好的图像融合效果。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种红外图像与可见光图像融合的处理方法。
背景技术
红外成像技术利用红外辐射感知周围的客观环境，其图像具有环境适应性好，隐蔽性好，伪装目标辨识度高的特点。得益于其成像原理，红外图像具有温度表征特性，经过一定的染色变换，就能感受到目标的温度分布信息。但是受限于红外探测器的制作工艺难度和材料纯度影响，红外图像普遍存在分辨率低，噪声大，图像对比度低，灰度范围窄的现象，由此造成背景与被监测目标之间对比度模糊，被监测目标细节难以辨认，图像特征信息不明确，使得对图像中目标和场景的识别和分析存在一定的难度。
相比于红外图像，可见光图像的对比度和分辨率都比较高，有光谱信息丰富、动态范围大、细节信息多、视觉性好等优点。但是可见光图像抗干扰能力差，在微光、雾天、目标有伪装等情况下，可见光图像的效果则会明显变得不尽人意，难以获取目标和场景的信息，甚至使得无法对目标和场景进行分析和识别。
红外图像与可见光图像两者有各自的性能特点与功能优势。由于单一图像传感器所获取的图像数据可能会存在一定的局限性，所包含的信息是不完整、不精确的。由此产生了将不同传感器在同一状态下或者同一传感器在不同状态下获取的图像进行综合使用的图像处理技术，提高图像的质量和信息量，从而对目标能够进行更加全面、准确的分析和认识。
根据对图像信息处理层次的不同，图像融合分为三个级别：像素级融合，特征级融合和决策级融合。像素级融合是低层次的融合，它直接作用于图像像素。所得融合图像对源图像信息保留程度最好，图像质量高。该层次的融合结果与特征级和决策级效果相比，融合图像有更加丰富、精确和可靠的细节信息，更利于图像后续处理和分析。但该级别融合过程处理的信息量较大，实时性和容错能力较差。特征级融合属于中间层次的融合，是在对源图像特征提取的基础上，对各源图像特征的融合，融合后得到一幅包含新的复合特征的图像。融合过程中对源图像细节信息丢失较多，处理数据量较小，因而融合处理速度快，便于数据压缩和传输。决策级融合是高层次的融合方法，是在特征提取和特征分类基础上对决策的符号或模型的融合，决策级融合主要是基于认知模型的方法，因而专用性较强，使用不多。
加权融合是图像像素级融合的代表性算法，它的处理方法直观，包含的信息量丰富。加权融合中权重的取值直接决定了融合效果的好坏，但是权重大小是一个难以确定的参数，它没有一个标准的计算方法，很多情况下是一个经验参数。
特征融合是图像特征级融合的算法，它一般是提取可见光中的边缘细节特征与红外图像进行融合，弥补红外图像的缺陷。可见光图像提取的特征质量好坏直接决定了最后的融合效果。两个融合算法都是图像融合处理中常用的算法，在进行具体操作时选择一个最适合的算法，最后才能获得令人满意的融合效果。
发明内容
本发明的目的在于提供一种红外图像与可见光图像融合的处理方法，具有一定的自动判别能力，判断选择融合算法。
为了实现上述目的，本发明提供了以下技术方案：
本发明提供一种红外图像与可见光图像融合的处理方法，包括以下内容：
判断选择融合算法：先进行红外图像去噪及傅里叶变换处理，得到红外图像频谱图；再根据红外图像频谱图，判断选择图像融合算法，选择执行图像特征融合或图像加权融合；
基于图像特征融合或图像加权融合，进行红外图像和可见光图像融合处理：
进行图像特征融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图及可见光图像预处理图特征；然后，基于图像特征融合算法，将红外图像伪色彩处理图和可见光图像预处理图特征进行融合，得到融合图像；
进行图像加权融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图、图像融合权值及可见光图像预处理图；然后，基于图像加权融合算法，将红外图像伪色彩处理图和可见光图像预处理图进行融合，得到融合图像。
该处理方法中，红外图像去噪的内容如下：先对红外图像进行双边滤波处理，除去红外图像中的噪声。
该处理方法中，红外图像傅里叶变换的内容如下：对去噪后的红外图像进行快速傅里叶变换，得到红外图像频谱图。
该处理方法中，判断选择图像融合算法的内容如下：根据红外图像频谱图，计算该频谱图中的灰度值大于总灰度级一半以上数值的亮点的数量的占比；若该占比是阈值x0以上，则执行图像特征融合算法；否则执行图像加权融合算法。
该处理方法中，对红外图像进行伪彩色变换，得到红外图像伪色彩处理图。
该处理方法中，对可见光图像进行预处理，得到可见光图像预处理图。对可见光图像进行预处理的内容如下：先进行高斯滤波处理，再进行非锐化掩膜处理。
该处理方法中，对可见光图像预处理图进行特征提取，先采用3阶大小的sobel算子对可见光图像预处理图进行边缘提取，再将提取到的边缘图像进行腐蚀操作，使边缘加粗，去除孤立域，以作为融合特征。
该处理方法中，根据红外图像频谱图中灰度值大于总灰度级一半以上数值的亮点的数量的占比进行非线性分段映射，计算得到图像融合权值。
与现有技术相比，本发明具有以下优点：
本发明的一种红外图像与可见光图像融合的处理方法，通过判断选择融合算法，具有一定的自动判别能力；同时，可根据不同的红外图像的傅里叶变换频谱图中亮点的比例将融合权值分段，以期达到一个较好的图像融合效果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程框图；
图2为本发明的图1的具体流程框图。
具体实施方式
以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
如图1及图2所示，本实施例提供一种红外图像与可见光图像融合的处理方法，包括以下内容：
步骤S11、判断选择融合算法：先进行红外图像去噪及傅里叶变换处理，得到红外图像频谱图；再根据红外图像频谱图，判断选择图像融合算法，选择执行图像特征融合或图像加权融合；
步骤S12、基于图像特征融合或图像加权融合，进行红外图像和可见光图像融合处理，内容如下：
进行图像特征融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图及可见光图像预处理图特征；然后，基于图像特征融合算法，将红外图像伪色彩处理图和可见光图像预处理图特征进行融合，得到融合图像；
进行图像加权融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图、图像融合权值及可见光图像预处理图；然后，基于图像加权融合算法，将红外图像伪色彩处理图和可见光图像预处理图进行融合，得到融合图像。
其中，步骤S12的具体流程如下：
在进行图像特征融合时，可采用以下流程：先对可见光图像进行处理，得到可见光图像预处理图特征；然后，对红外图像进行处理，得到红外图像伪色彩处理图；最后，基于图像特征融合算法，将红外图像伪色彩处理图和可见光图像预处理图特征进行融合，得到融合图像。
在进行图像加权融合时，可采用以下流程：先对可见光图像进行处理，得到可见光图像预处理图；然后，对红外图像进行处理，得到红外图像伪色彩处理图及图像融合权值；最后，基于图像加权融合算法，将红外图像伪色彩处理图和可见光图像预处理图进行融合，得到融合图像。
下述将对各步骤的具体内容进行说明。
步骤S11中，红外图像去噪的内容如下：先对红外图像进行双边滤波处理，除去红外图像中的噪声。
步骤S11中，红外图像傅里叶变换的内容如下：对去噪后的红外图像进行快速傅里叶变换，得到红外图像频谱图。
步骤S11中，判断选择图像融合算法的内容如下：根据红外图像频谱图，计算该频谱图中的灰度值大于总灰度级一半以上数值的亮点的数量的占比；若该占比是阈值x0以上，则执行图像特征融合算法；否则执行图像加权融合算法。
步骤S12中，对红外图像进行伪彩色变换，得到红外图像伪色彩处理图。
步骤S12中，对可见光图像进行预处理，得到可见光图像预处理图。对可见光图像进行预处理的内容如下：先进行高斯滤波处理，再进行非锐化掩膜处理。
步骤S12中，对可见光图像预处理图进行特征提取，先采用3阶大小的sobel算子对可见光图像预处理图进行边缘提取，再将提取到的边缘图像进行腐蚀操作，使边缘加粗，去除孤立域。
步骤S12中，根据红外图像频谱图中灰度值大于总灰度级一半以上数值的亮点的数量的占比进行非线性分段映射，计算得到图像融合权值。
实施例2
如图1及图2所示，本实施例提供一种红外图像与可见光图像融合的处理方法，包括以下内容：
步骤S21、判断选择融合算法：先进行红外图像去噪及傅里叶变换处理，得到红外图像频谱图；再根据红外图像频谱图，判断选择图像融合算法，选择执行图像特征融合或图像加权融合；
步骤S22、基于图像特征融合或图像加权融合，进行红外图像和可见光图像融合处理，内容如下：
进行图像特征融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图及可见光图像预处理图特征；然后，基于图像特征融合算法，将红外图像伪色彩处理图和可见光图像预处理图特征进行融合，得到融合图像；
进行图像加权融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图、图像融合权值及可见光图像预处理图；然后，基于图像加权融合算法，将红外图像伪色彩处理图和可见光图像预处理图进行融合，得到融合图像。
其中，步骤S22的具体流程如下：
在进行图像特征融合时，可采用以下流程：先对红外图像进行处理，得到红外图像伪色彩处理图；然后，对可见光图像进行处理，得到可见光图像预处理图特征；最后，基于图像特征融合算法，将红外图像伪色彩处理图和可见光图像预处理图特征进行融合，得到融合图像。
在进行图像加权融合时，可采用以下流程：先对红外图像进行处理，得到红外图像伪色彩处理图及图像融合权值；然后，对可见光图像进行处理，得到可见光图像预处理图；最后，基于图像加权融合算法，将红外图像伪色彩处理图和可见光图像预处理图进行融合，得到融合图像。
下述将对各步骤的具体内容进行说明。
步骤S21中，红外图像去噪的内容如下：先对红外图像进行双边滤波处理，除去红外图像中的噪声。
步骤S21中，红外图像傅里叶变换的内容如下：对去噪后的红外图像进行快速傅里叶变换，得到红外图像频谱图。
步骤S21中，判断选择图像融合算法的内容如下：根据红外图像频谱图，计算该频谱图中的灰度值大于总灰度级一半以上数值的亮点的数量的占比；若该占比是阈值x0以上，则执行图像特征融合算法；否则执行图像加权融合算法。
步骤S22中，对红外图像进行伪彩色变换，得到红外图像伪色彩处理图。
步骤S22中，对可见光图像进行预处理，得到可见光图像预处理图。对可见光图像进行预处理的内容如下：先进行高斯滤波处理，再进行非锐化掩膜处理。
步骤S22中，对可见光图像预处理图进行特征提取，先采用3阶大小的sobel算子对可见光图像预处理图进行边缘提取，再将提取到的边缘图像进行腐蚀操作，使边缘加粗，去除孤立域。
步骤S22中，根据红外图像频谱图中灰度值大于总灰度级一半以上数值的亮点的数量的占比进行非线性分段映射，计算得到图像融合权值。
实施例3
如图1及图2所示，本实施例提供一种红外图像与可见光图像融合的处理方法，包括以下内容：
步骤S31、对可见光图像进行处理，得到可见光图像预处理图及可见光图像预处理图特征，并存储；
步骤S32、判断选择融合算法：先进行红外图像去噪及傅里叶变换处理，得到红外图像频谱图；再根据红外图像频谱图，判断选择图像融合算法，选择执行图像特征融合或图像加权融合；
步骤S33、基于图像特征融合或图像加权融合，进行红外图像和可见光图像融合处理，内容如下：
进行图像特征融合的内容如下：先对红外图像进行处理，得到红外图像伪色彩处理图；然后，基于图像特征融合算法，将红外图像伪色彩处理图和可见光图像预处理图特征进行融合，得到融合图像；
进行图像加权融合的内容如下：先对红外图像进行处理，得到红外图像伪色彩处理图及图像融合权值；然后，基于图像加权融合算法，将红外图像伪色彩处理图和可见光图像预处理图进行融合，得到融合图像。
下述将对各步骤的具体内容进行说明。
步骤S31中，对可见光图像进行预处理，得到可见光图像预处理图。对可见光图像进行预处理的内容如下：先进行高斯滤波处理，再进行非锐化掩膜处理。
步骤S31中，对可见光图像预处理图进行特征提取，先采用3阶大小的sobel算子对可见光图像预处理图进行边缘提取，再将提取到的边缘图像进行腐蚀操作，使边缘加粗，去除孤立域。
步骤S32中，红外图像去噪的内容如下：先对红外图像进行双边滤波处理，除去红外图像中的噪声。
步骤S32中，红外图像傅里叶变换的内容如下：对去噪后的红外图像进行快速傅里叶变换，得到红外图像频谱图。
步骤S32中，判断选择图像融合算法的内容如下：根据红外图像频谱图，计算该频谱图中的灰度值大于总灰度级一半以上数值的亮点的数量的占比；若该占比是阈值x0以上，则执行图像特征融合算法；否则执行图像加权融合算法。
步骤S33中，对红外图像进行伪彩色变换，得到红外图像伪色彩处理图。
步骤S33中，根据红外图像频谱图中灰度值大于总灰度级一半以上数值的亮点的数量的占比进行非线性分段映射，计算得到图像融合权值。
下述将对实施例1-3进行具体说明。
如图1所示，是用于红外图像与可见光图像融合的处理方法流程框图，整体流程包括红外图像去噪，可见光图像预处理，红外图像傅里叶变换，条件阈值判断，红外图像伪彩色变换，可见光图像特征提取，图像加权融合以及图像特征融合。
如图2所示，是图1的具体流程框图，该处理方法可先对红外图像进行双边滤波处理，在保留图像边缘的同时尽可能的除去图像中的噪声；接下来，对图像进行快速傅里叶变换(FFT)，得到红外图像的频谱图；然后，统计频谱图中灰度值大于总灰度级一半以上数值的亮点数量，准备进行条件阈值的判断；接着，不论选择哪种图像融合算法，都要进行红外图像的伪彩色变换；最后，进入不同的融合算法中进行处理。
另一边，可见光图像预处理的具体方法为：先进行高斯滤波处理，再进行非锐化掩膜(USM)处理，之后根据融合算法选择的结果进行不同的操作。
若选择了特征融合算法，需要对图像使用3阶大小的sobel算子提取整体的边缘信息，然后对边缘图像进行腐蚀操作，加粗边缘并且去除一些孤立域；若选择了加权融合算法，需要根据红外图像的傅里叶变换频谱图中亮点的数量占整幅图总点数的比例进行非线性分段映射计算融合的权值。
具体地，双边滤波处理去除原始红外图像的噪声，改善图像的边缘细节；可见光图像的高斯滤波和非锐化掩膜处理也起到去除噪声同时增强图像中的边缘部分的作用；红外图像的伪彩色变换处理属于图像增强的一部分，它利用人眼对颜色敏感的特性，将不同灰度值的点映射为不同的颜色，赋予图像内容温度表征，使红外图像的观感更加贴近实际，细节更容易观察。
在对融合算法进行选择判断的条件阈值x0为：在红外图像的傅里叶变换频谱图中，亮点的数量是否占整幅频谱图总点数的37％以上。该阈值为37％是基于大量实验统计所得到。
条件阈值判断的结果在很大程度上代表了这张红外图像的图片内容质量好坏。若满足条件，表明这张红外图片的内容变化剧烈，含有较多的纹理、边缘等细节信息，在融合后本身所包含的信息量较多；所以，选用特征融合算法，只提取可见光的关键信息部分作为补充。若不满足条件，表明这张红外图片内容缓和，其中没有太多的边缘细节信息(边缘细节不明显)，含有较多的感官上一片模糊的区域；这时就应该选用加权融合算法，将可见光图像的边缘细节尽可能多的带入到融合图像中，改善红外图像细节信息丢失的缺陷。
基于上述方法的实现，本实施例基于大量实际经验，提供一种在加权融合时融合权重的映射计算关系。融合时的权重是红外图像的傅里叶变换频谱图中亮点的数量占整幅图总点数的比例的非线性分段映射。随着上述比例的增加，融合时红外图像的权重阶跃地增加。此映射计算方法的基本思想是将原本连续的权值计算离散化，为保证在图像内容较差时权值不会过低，图像内容稍好时不会过高。具体映射关系如下：
红外图像的融合权重值R：
红外图像的融合权重值Q：
其中，公式中x是在红外图像的傅里叶变换频谱图中，亮点的数量占整幅频谱图总点数的比例。由此可见，在融合过程中，整体图像内容质量较差的红外图像所占的权值最高不超过0.5，而最差的情形权值也不低于0.4。
如上述该处理方法通过判断选择融合算法，具有一定的自动判别能力；同时，可根据不同的红外图像的傅里叶变换频谱图中亮点的比例将融合权值分段，以期达到一个较好的图像融合效果；能够快速对原始红外图像与可见光图像进行融合，包含丰富的信息量，获得较好的视觉观感，不仅具有一般融合处理的优点，还具有以下特点：
1、对原始红外图像进行了保边去噪，并且利用傅里叶变换频谱图统计分析结果判断此图像的内容质量。
2、对于不同内容质量的图像，采取不同的融合方法，以期达到较好的融合效果。
3、采用非线性分段映射的融合权值，权值的变化是不连续的，对于内容质量较差的红外图片融合有较好的效果
应当理解，本发明上述实施例及实例，是出于说明和解释目的，并非因此限制本发明的范围。本发明的范围由权利要求项定义，而不是由上述实施例及实例定义。
Claims (10)
1.一种红外图像与可见光图像融合的处理方法，其特征在于，包括以下内容：
判断选择融合算法：先进行红外图像去噪及傅里叶变换处理，得到红外图像频谱图；再根据红外图像频谱图，判断选择图像融合算法，选择执行图像特征融合或图像加权融合；
基于图像特征融合或图像加权融合，进行红外图像和可见光图像融合处理，内容如下：
进行图像特征融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图及可见光图像预处理图特征；然后，基于图像特征融合算法，将红外图像伪色彩处理图和可见光图像预处理图特征进行融合，得到融合图像；
进行图像加权融合的内容如下：先分别对红外图像及可见光图像进行处理，得到红外图像伪色彩处理图、图像融合权值及可见光图像预处理图；然后，基于图像加权融合算法，将红外图像伪色彩处理图和可见光图像预处理图进行融合，得到融合图像。
2.根据权利要求1所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，红外图像去噪的内容如下：先对红外图像进行双边滤波处理，除去红外图像中的噪声。
3.根据权利要求1所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，红外图像傅里叶变换处理的内容如下：对去噪后的红外图像进行快速傅里叶变换，得到红外图像频谱图。
4.根据权利要求1所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，判断选择图像融合算法的内容如下：根据红外图像频谱图，计算该频谱图中的灰度值大于总灰度级一半以上数值的亮点的数量的占比；若该占比是在阈值x0以上，则执行图像特征融合算法；否则执行图像加权融合算法。
5.根据权利要求5所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，该频谱图中的亮点的数量的占比的阈值x0为37％。
6.根据权利要求1所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，对红外图像进行伪彩色变换，得到红外图像伪色彩处理图。
7.根据权利要求1所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，对可见光图像进行预处理，先进行高斯滤波处理，再进行非锐化掩膜处理，得到可见光图像预处理图。
8.根据权利要求1所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，对可见光图像预处理图进行特征提取，先采用3阶大小的sobel算子对可见光图像预处理图进行边缘提取，再将提取到的边缘图像进行腐蚀操作，使边缘加粗，去除孤立域。
9.根据权利要求1所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，根据红外图像频谱图中灰度值大于总灰度级一半以上数值的亮点的数量的占比进行非线性分段映射，计算得到图像融合权值。
10.根据权利要求9所述一种红外图像与可见光图像融合的处理方法，其特征在于，该处理方法中，图像融合权重中的红外图像的融合权重映射关系如下：
红外图像的融合权重值R：
其中，x为红外图像频谱图中灰度值大于总灰度级一半以上数值的亮点的数量的占比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810997122.0A CN109118466B (zh) | 2018-08-29 | 2018-08-29 | 一种红外图像与可见光图像融合的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810997122.0A CN109118466B (zh) | 2018-08-29 | 2018-08-29 | 一种红外图像与可见光图像融合的处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109118466A true CN109118466A (zh) | 2019-01-01 |
| CN109118466B CN109118466B (zh) | 2021-08-03 |
Family
ID=64861282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810997122.0A Active CN109118466B (zh) | 2018-08-29 | 2018-08-29 | 一种红外图像与可见光图像融合的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109118466B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503620A (zh) * | 2019-07-31 | 2019-11-26 | 茂莱（南京）仪器有限公司 | 一种基于傅立叶频谱提取的图像融合方法 |
| CN110544205A (zh) * | 2019-08-06 | 2019-12-06 | 西安电子科技大学 | 基于可见光与红外交叉输入的图像超分辨率重建方法 |
| CN110796628A (zh) * | 2019-10-17 | 2020-02-14 | 浙江大华技术股份有限公司 | 图像融合方法、装置、拍摄装置及存储介质 |
| CN112102217A (zh) * | 2020-09-21 | 2020-12-18 | 四川轻化工大学 | 一种可见光图像与红外图像快速融合方法及系统 |
| CN112966786A (zh) * | 2021-04-15 | 2021-06-15 | 宁波九寰适创科技有限公司 | 一种用于卷积神经网络训练数据的自动化标记方法 |
| CN114529490A (zh) * | 2022-04-24 | 2022-05-24 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
| US11393075B2 (en) * | 2020-06-02 | 2022-07-19 | Suprema Id Inc. | Method for generating an image that light noise is removed and a device for generating an image using the method thereof |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090279790A1 (en) * | 2008-05-09 | 2009-11-12 | Burge Mark J | Multispectral iris fusion for enhancement and interoperability |
| CN101894364A (zh) * | 2010-05-31 | 2010-11-24 | 重庆大学 | 基于光学非下采样轮廓波变换的图像融合方法和装置 |
| CN102567979A (zh) * | 2012-01-20 | 2012-07-11 | 南京航空航天大学 | 车载红外夜视系统及其多源图像融合方法 |
| CN103793896A (zh) * | 2014-01-13 | 2014-05-14 | 哈尔滨工程大学 | 一种红外图像与可见光图像的实时融合方法 |
| CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
| CN107169944A (zh) * | 2017-04-21 | 2017-09-15 | 北京理工大学 | 一种基于多尺度对比度的红外与可见光图像融合方法 |
| CN107991591A (zh) * | 2017-12-04 | 2018-05-04 | 云南电网有限责任公司普洱供电局 | 一种基于Kaiser窗FFT单峰插值修正的图像融合方法 |
-
2018
- 2018-08-29 CN CN201810997122.0A patent/CN109118466B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090279790A1 (en) * | 2008-05-09 | 2009-11-12 | Burge Mark J | Multispectral iris fusion for enhancement and interoperability |
| CN101894364A (zh) * | 2010-05-31 | 2010-11-24 | 重庆大学 | 基于光学非下采样轮廓波变换的图像融合方法和装置 |
| CN102567979A (zh) * | 2012-01-20 | 2012-07-11 | 南京航空航天大学 | 车载红外夜视系统及其多源图像融合方法 |
| CN103793896A (zh) * | 2014-01-13 | 2014-05-14 | 哈尔滨工程大学 | 一种红外图像与可见光图像的实时融合方法 |
| CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
| CN107169944A (zh) * | 2017-04-21 | 2017-09-15 | 北京理工大学 | 一种基于多尺度对比度的红外与可见光图像融合方法 |
| CN107991591A (zh) * | 2017-12-04 | 2018-05-04 | 云南电网有限责任公司普洱供电局 | 一种基于Kaiser窗FFT单峰插值修正的图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 许占伟等: "基于NCT的特征级图像融合", 《计算机工程》 * |
| 陈磊等: "特征级与像素级相混合的SAR与可见光图像融合", 《光电工程》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503620A (zh) * | 2019-07-31 | 2019-11-26 | 茂莱（南京）仪器有限公司 | 一种基于傅立叶频谱提取的图像融合方法 |
| CN110503620B (zh) * | 2019-07-31 | 2023-01-06 | 茂莱（南京）仪器有限公司 | 一种基于傅立叶频谱提取的图像融合方法 |
| CN110544205A (zh) * | 2019-08-06 | 2019-12-06 | 西安电子科技大学 | 基于可见光与红外交叉输入的图像超分辨率重建方法 |
| CN110544205B (zh) * | 2019-08-06 | 2021-05-07 | 西安电子科技大学 | 基于可见光与红外交叉输入的图像超分辨率重建方法 |
| CN110796628A (zh) * | 2019-10-17 | 2020-02-14 | 浙江大华技术股份有限公司 | 图像融合方法、装置、拍摄装置及存储介质 |
| CN110796628B (zh) * | 2019-10-17 | 2022-06-07 | 浙江大华技术股份有限公司 | 图像融合方法、装置、拍摄装置及存储介质 |
| US11393075B2 (en) * | 2020-06-02 | 2022-07-19 | Suprema Id Inc. | Method for generating an image that light noise is removed and a device for generating an image using the method thereof |
| CN112102217A (zh) * | 2020-09-21 | 2020-12-18 | 四川轻化工大学 | 一种可见光图像与红外图像快速融合方法及系统 |
| CN112102217B (zh) * | 2020-09-21 | 2023-05-02 | 四川轻化工大学 | 一种可见光图像与红外图像快速融合方法及系统 |
| CN112966786A (zh) * | 2021-04-15 | 2021-06-15 | 宁波九寰适创科技有限公司 | 一种用于卷积神经网络训练数据的自动化标记方法 |
| CN114529490A (zh) * | 2022-04-24 | 2022-05-24 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
| WO2023207408A1 (zh) * | 2022-04-24 | 2023-11-02 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备以及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109118466B (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118466A (zh) | 一种红外图像与可见光图像融合的处理方法 | |
| US10088600B2 (en) | Weather recognition method and device based on image information detection | |
| EP3206185B1 (en) | Image processing method, image processing device and display device | |
| Cheng et al. | Efficient histogram modification using bilateral Bezier curve for the contrast enhancement | |
| Li et al. | A multi-scale fusion scheme based on haze-relevant features for single image dehazing | |
| EP2685419A1 (en) | Image processing device, image processing method, and control program | |
| CN105787929B (zh) | 基于斑点检测的皮肤疹点提取方法 | |
| CN111127476B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN111062293B (zh) | 一种基于深度学习的无人机森林火焰识别方法 | |
| CN106971153B (zh) | 一种人脸图像光照补偿方法 | |
| El Khoury et al. | Color and sharpness assessment of single image dehazing | |
| CN109961042B (zh) | 结合深度卷积神经网络和视觉变化图的烟雾检测方法 | |
| CN106887002B (zh) | 一种红外图像序列显著性检测方法 | |
| WO2014186213A2 (en) | Providing visual effects for images | |
| Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
| Kansal et al. | Fusion-based image de-fogging using dual tree complex wavelet transform | |
| Muniraj et al. | Underwater image enhancement by modified color correction and adaptive Look-Up-Table with edge-preserving filter | |
| Sandeep | Remote sensing image dehazing using guided filter | |
| Soumya et al. | Day color transfer based night video enhancement for surveillance system | |
| Yusuf et al. | Human face detection using skin color segmentation and watershed algorithm | |
| US9092862B2 (en) | Image processing apparatus, image adjusting apparatus, image processing method and computer readable medium | |
| US11113537B2 (en) | Image detection using multiple detection processes | |
| Qian et al. | Effective contrast enhancement method for color night vision | |
| CN110223253A (zh) | 一种基于图像增强的去雾方法 | |
| Wang et al. | Range-restricted pixel difference global histogram equalization for infrared image contrast enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |