CN111768350A - 一种红外图像增强方法及系统 - Google Patents
一种红外图像增强方法及系统 Download PDFInfo
- Publication number
- CN111768350A CN111768350A CN202010524345.2A CN202010524345A CN111768350A CN 111768350 A CN111768350 A CN 111768350A CN 202010524345 A CN202010524345 A CN 202010524345A CN 111768350 A CN111768350 A CN 111768350A
- Authority
- CN
- China
- Prior art keywords
- frequency sub
- band diagram
- infrared image
- frequency
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000010586 diagram Methods 0.000 claims abstract description 199
- 230000009466 transformation Effects 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 230000003321 amplification Effects 0.000 claims abstract description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 39
- 238000000354 decomposition reaction Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000010008 shearing Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供的红外图像增强方法及系统，基于剪切波变换将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；对低频子带图进行图像灰度变换，获取校正后的低频子带图；提取高频子带图的结构特征，分析结构特征的属性，赋予每个结构特征相应的增益权重；根据增益权重对高频子带图进行自适应放大；将校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。本发明实施例通过将红外图像剪切波变换分解成低频子带图和高频子带图，对低频子带图进行处理以提升红外图像对比度；通过对高频子带图赋予结构特征权重，放大红外图像不同属性的结构特征及抑制背景噪声，有效提高了红外图像的质量。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种红外图像增强方法及系统。
背景技术
红外热成像仪能帮助人类视觉系统感受除可见光以外的电磁波——红外辐射。作为一种常用传感器，红外热成像仪能够探测场景内目标表面和背景之间的热辐射差，从而输出红外图像。得益于被动成像机制和全天候工作模式，红外热成像仪具有不易受外部光照影响较小和隐蔽性强的优势。因此，红外热成像仪被广泛应用于学术科研、军事侦察、火灾监测、故障诊断、医学分析和遥感等。由于红外热成像原理、外部环境对红外辐射传输的衰减和传感器内部热运动等因素，一般红外图像存在图像质量较低的问题，具体表现为：分辨率低、边缘模糊、细节缺失、对比度低和信噪比受背景噪声干扰等。为降低红外图像缺陷对红外成像技术应用和发展的影响，亟需对获取的红外图像进行增强。
为增强红外图像，目前研究者们提出了许多增强算法。从算法处理图像空间的角度，可以将增强算法大致概括成两类：基于空间域以及基于变换域的红外图像增强算法。
基于空间域的图像增强算法虽然通俗易懂且便于操作，但空间域内特征描述图像噪声、细节和强边缘等差异能力有限，难以充分提取原始图像的结构特征。因此，基于空间域的图像增强算法难以避免噪声放大和强边缘过度增强等问题。在空间域内典型算法有：直方图均衡算法及改进算法、图像灰度拉伸和经典非锐化掩模算法等。
为提升图像对比度，直方图均衡算法从统计学观点均匀图像灰度级的概率分布。这种该处理方法虽然能显著扩大灰度动态范围，但会带来严重缺点，包括：(1)处理后图像的平均亮度与原始图像无关；(2)红外图像细节的丢失问题更加严重。为此，有很多研究者提出很多基于直方图均衡的改进算法：方程式改良型、概率密度函数重塑类型和空间处理类型等算法。上述改进算法虽然能在一定程度上解决红外图像细节被掩盖的现象，但是仍然无法避免过度增强图像细节和放大噪声的问题。
图像灰度拉伸的关键是合理设计图像灰度的映射函数按照设定的映射函数，包括根据输入原始图像像素点灰度值，输出对应像素点灰度值，以得到增强图像。由于图像灰度拉伸算法只考虑图像灰度信息，没有充分考虑图像区域特征，导致增强后图像细节丢失和噪声放大的现象。
图像区域的边缘或细节通常属于图像的高频成分。因此，在原始图像基础上适当放大图像高频成分可以达到增强图像目的。经典非锐化掩模算法是指采用原始图像减去低频滤波器估计的低频成分，进而获取高频成分。这类算法核心是准确估计低频成分和合理放大高频成分权重。例如，基于最小化惩罚函数和人眼视觉特性选择自适应的高频增益系数。
近些年来，还有不少学者研究如何提升描述二维或高维图像特征的能力。小波变换、脊波变换、轮廓波变换和剪切波变换等一系列多尺度几何分析方法提供了很好的研究基础。运用多尺度几何分析方法能便捷获取图像不同频率不同尺度成分；剪切波变换在描述高维图像信号的局部性、带通性、方向性和稀疏性方面具有最优表现。经过缩放、剪切和平移等仿射变换的剪切波基函数最优地逼近包含奇异曲线的图像高维信号，并能容易离散化剪切波变换，便于计算机运算。
为提升红外搜索跟踪系统探测复杂背景杂波中弱小目标的能力，例如现有技术中分别提出了一种在剪切波域内基于贝叶斯统计机理以抑制背景杂波的方法；为准确获取红外背景图像，利用红外图像高低频子带系数的不同特性，分别在低频和高频子带系数上进行最大后验估计和设定阈值保留；采用中值滤波滤除低频子带系数的目标成分和利用均方误差调整高频子带系数权重以抑制噪声等红外图像增强方法。
但是，现有基于剪切波变换的红外图像预处理方法，常用思路一般包括：首先，对原始红外图像进行剪切波变换得到低频子带图和不同频率和方向的高频子带图；其次，根据算法目的分别处理各子带图；最后，经过逆变换得到预测的背景图像或者增强后图像。虽然这些算法都针对不同频率成分特性采用不同预处理技术，但本质上属于子带系数的全局处理，不能有效的提取子带图的结构特征和分析不同子带图的关联性。
发明内容
本发明实施例提供一种红外图像增强方法及系统，用于克服或部分解决现有技术在红外图像增强中存在的增强效果不明显、红外图像细节不突出等缺陷。
第一方面，本发明实施例提供一种红外图像增强方法，主要包括：基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；对所述低频子带图进行图像灰度变换，获取校正后的低频子带图；提取每幅所述高频子带图的结构特征，分析所述结构特征的属性，赋予每个所述结构特征相应的增益权重；根据所述增益权重对所述高频子带图进行自适应放大；将所述校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
作为可选地，上述剪切波变换的方法具体为：“Meyer”窗函数的离散非下采样剪切波变换。
作为可选地，对上述低频子带图进行图像灰度变换，获取校正后的低频子带，主要包括对低频子带图进行分段伽马变换，获取校正后的低频子带；分段伽马变换的数学表达式为：
其中，u表示图像灰度值，γ1和γ2分别为暗区像素点灰度阈值n1时的伽马值和亮区像素点灰度阈值n2时的伽马值，g'(u)为分段伽马变换函数。
作为可选地，上述提取每幅高频子带图的结构特征，包括获取高频子带图在同一尺度空间内不同方向高频子带系数的最大值，并利用最大值表征高频子带图的结构特征；结构特征的数学表达式为：
其中，Ψj，l(x)表示第l层第j方向的剪切波基函数；||I,Ψj，l(x,y)||表示高频子带图I的像素点(x，y)在第l层和第j方向的剪切波高频子带系数；fl(x，y)表示高频子带图I在第l尺度高频子带系数的结构特征。
作为可选地，上述分析结构特征的属性，包括计算不同尺度间剪切波子带图的相关性，并根据相关性分析结构特征的属性；结构特征的属性的数学表达式为：
其中，L为剪切波分解层数；Fl(x，y)表示高频子带图I的像素点(x，y)在第l层剪切波高频子带图中结构特征的属性；
为内积运算符号。
作为可选地，上述赋予每个结构特征相应的增益权重，包括根据结构特征的属性，构建非线性的高频子带系数增益函数；高频子带系数增益函数的数学表达式为：
其中，函数S(t)＝1/(1+exp(-t))，t为中间参数；T1和T2分别为区分噪声和强边缘的阈值；E(Fl(x,y))为高频子带系数增益函数。
作为可选地，上述根据增益权重对高频子带图进行自适应放大，包括将与每幅高频子带图相对应的高频子带系数增益权重和剪切波高频子带系数相乘，以乘积的结果作为高频子带图的增益后的高频子带系数；根据增益后的高频子带系数，对高频子带图进行自适应放大；增益后的高频子带系数的数学表达式为：
||I,Ψj，l(x,y)||'＝E(Fl(x,y))·||I,Ψj，l(x,y)||
其中，||I,Ψj，l(x,y)||'为增益后的高频子带系数函数。
第二方面，本发明实施例提供一种红外图像增强系统，主要包括：图像分解模块、低频子带图处理模块、高频子带图处理模块和图像合成模块，其中：
图像分解模块用于基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；低频子带图处理模块用于对低频子带图进行图像灰度变换，获取校正后的低频子带图；高频子带图处理模块用于提取每幅高频子带图的结构特征，分析结构特征的属性，赋予每个结构特征相应的增益权重；根据增益权重对高频子带图进行自适应放大；图像合成模块用于将校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如第一方面任一所述的红外图像增强方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面任一所述的红外图像增强方法的步骤。
本发明实施例提供的红外图像增强方法及系统，通过将红外图像剪切波变换分解成低频子带图和高频子带图，通过低频子带图处理提升红外图像对比度；通过对高频子带图赋予结构特征权重，放大红外图像不同属性的结构特征及抑制背景噪声，有效提高了红外图像的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种红外图像增强方法流程示意图；
图2为本发明实施例提供的另一种红外图像增强方法流程示意图；
图3为不同伽马值对应的灰度拉伸效果对比示意图；
图4为本发明实施例提供的通过结构特征分析图像特征属性的示意图；
图5为本发明实施例提供的分别在三个不同尺度上描述不同图像特征属性的示意图；
图6为利用本发明实施例提供的红外图像增强方法与现有的增强红外图像的方法，在不同场景下的结果比对示意图；
图7为本发明实施例提供的一种红外图像增强系统结构示意图；
图8为本发明实施例提供的一种电子设备的实体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术在进行红外图像增强处理，尤其是在基于剪切波变换的红外图像预处理方法中，均采用对子带系数的全局处理，而未能有效的提取出子带图的结构特征和分析不同子带图的关联性，从而导致红外图像增强效果不明显，本发明实施例提供一种红外图像增强方法，如图1所示，包括但不限于以下步骤：
步骤S1，基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；
步骤S2，对低频子带图进行图像灰度变换，获取校正后的低频子带图；
步骤S3，提取每幅高频子带图的结构特征，分析结构特征的属性，赋予每个结构特征相应的增益权重；根据增益权重对高频子带图进行自适应放大；
步骤S4，将校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
具体地，剪切波是一种多尺度几何分析工具，通过对红外图像的基本母函数的缩放、剪切和平移等仿射变换来构造，体现了函数的几何和数学特性。红外图像经过剪切波变换后，会出现相对的低频部分和高频部分。其中，低频子带图包含了初始红外图像的大部分能量，是元图像在不同尺度下的逼近信号，而高频子带图则主要体现初始红外图像的边缘和纹理信息，本发明实施例不对如何对初始红外图像进行剪切波变换作具体地限定。
如图2所示，在获取到利用剪切波变换获取的与初始红外图像相对应的一幅低频子带图和K幅高频子带图像之后，可以分别对低频子带图和每幅高频子带图进行图像处理。
其中，由于低频子带图包含了初始红外图像的大部分信息，在本发明实施例中可以对其进行亮度校正，通过提高初始红外图像中暗区像素点的灰度值、降低初始红外图像中亮区像素点的灰度值，能有效校正图像的亮度分布，提升红外图像对比度。
进一步地，针对高频子带图，通过计算不同尺度之间高频子带图的相关性，以获取这些高频子带图的结构特征，并基于结构特征设置各方向各尺度高频子带图的增益权重，得到经过自适应放大的高频子带图；
最后，将经过亮度校正处理后的低频子带图与所有经过自适应放大处理后的高频子带图作剪切波逆变换，例如NSST逆变换，获取到与初始红外图像向对应的增强红外图像。
本发明实施例提供的红外图像增强方法，通过将红外图像剪切波变换分解成低频子带图和高频子带图，对低频子带图进行处理以提升红外图像对比度；通过对高频子带图赋予结构特征权重，放大红外图像不同属性的结构特征及抑制背景噪声，有效提高了红外图像的质量。
基于上述实施例的内容，作为一种可选实施例，步骤S1中所采用的基于剪切波变换方法可以采用“Meyer”窗函数的离散非下采样剪切波(Shearlet)变换。
作为可选地，上述剪切波变换的步骤可以包括：非下采样剪切波变换采用伪极象格坐标与笛卡尔坐标相互转换，通过二维卷积运算实现逆FFT操作，整个变换避免了下采样过程；非下采样的剪切波变换的基础是合成小波理论，通过结合仿射系统理论和多尺度几何变换，对图片进行多尺度几何分析，变换步骤包括多尺度变换和多方向变换；多尺度变换采用非下采样拉普拉斯金字塔算法，进行m次分解后得到1幅低频子带图和K个高频子带图；多方向变换采用经Meyer小波构造窗函数改进的剪切滤波器，对高频图像进行方向滤波，滤波结果为NSST高频方向系数。
具体地，上述的非下采样剪切波变换具体可以包括：
阶段1，多尺度分解：运用非下采样金字塔分解对初始红外图像矩阵进行多尺度分解，分解结果为多个高通子带图像和一个低通子带图像，即多个高频系数矩阵和一个低频系数矩阵；若分解层数为n，则高频系数矩阵数为n个，低频系数矩阵为1个，由于分解过程采用了非下采样，这n+1个系数矩阵与初始红外图像矩阵大小相同；高频系数矩阵代表图像的细节内容，低频系数代表图像灰度聚集分布规律。
阶段2，多方向分解：使用剪切波滤波器实现多方向分解，首先将高频系数矩阵由伪极向坐标向笛卡尔坐标映射，然后通过Meyer小波窗函数构造的剪切波滤波器对子带图像进行卷积运算，运算结果为各尺度下的方向子带图像。
在本发明实施例提供的红外图像增强方法中，由于采用的“Meyer”窗函数的离散非下采样剪切波变换具有多方向性、多尺度性、带通性、平移不变性和稀疏性，因此，本发明实施例采用非下采样剪切波变换分解的子带系数能有效的抓取图像特征，从而避免了伪吉布斯现象，丰富展示了图像在不同尺度和方向上的信息。
基于上述实施例的内容，作为可选实施例，上述对低频子带图进行图像灰度变换，获取校正后的低频子带，包括对低频子带图进行分段伽马变换，获取校正后的低频子带。其中，分段伽马变换的数学表达式为：
其中，u表示图像灰度值，γ1和γ2分别为暗区像素点灰度阈值n1时的伽马值和亮区像素点灰度阈值n2时的伽马值，g'(u)为分段伽马变换函数。
伽马变换是图像灰度变换常用方式，可有效提升图像整体对比度。伽马校正的基本形式
g(u)＝uγ
其中，u表示图像灰度值，γ为伽马值。γ控制图像拉伸程度，不同γ产生不同的拉伸效果。图3为不同γ值下，输入与输出灰度值的曲线关系图，如图3所示，当γ小于1时，能明显提高原始图像暗区像素点灰度值；当γ等于1时，意味着输出灰度值复现输入灰度值；当γ大于1时，能明显降低原始图像亮区像素点灰度值。
基于上述原理，为兼顾提高暗区像素点灰度值、保持亮度适中像素点灰度值和降低亮区像素点灰度值，在本发明实施例中，利用分段伽马变换对经过步骤S1处理后获取的低频子带图YL采用分段伽马变换处理，得到亮度校正后的低频子带图Y'L。
作为可选地，分段伽马变换的数学表达式可以具体为：
即本发明实施例针对红外图像的特点，结合灰度变换的校正效果，确定γ1和γ2分别为0.5和2，n1和n2分别为0.2和0.8，能够有效的提高红外图像的整体对比度。
由于低频子带图主要体现了原始图像的能量分布，因此在本发明实施例中采用分段伽马变换处理分解后的低频子带图，能有效校正图像的亮度分布，提升红外图像对比度。
基于上述实施例的内容，作为一种可选实施例，上述提取每幅高频子带图的结构特征，包括获取高频子带图在同一尺度空间内不同方向高频子带系数的最大值，并利用最大值表征高频子带图的结构特征。结构特征的数学表达式为：
其中，Ψj，l(x)表示第l层第j方向的剪切波基函数；||I,Ψj，l(x,y)||表示高频子带图I的像素点(x，y)在第l层和第j方向的剪切波高频子带系数；fl(x，y)表示高频子带图I在第l尺度高频子带系数的结构特征。
本发明实施例通过获取步骤S1中生成的K幅高频子带图像的结构特征之后，设置基于结构特征的增益权重，以得到经过自适应放大的高频子带图。
其具体步骤如下：
首先，分析剪切波高频子带系数的物理意义。Ψj,l(x)表示第l层第j方向的剪切波基函数；相应的，||I,Ψj,l(x,y)||表示输入图像I像素点(x,y)在第l层和第j方向的剪切波高频子带系数，也表征了输入图像与该尺度和方向剪切波基函数的相似性。同时，高频子带系数值的大小表示了输入图像在该尺度和方向上特征的显著性。在同一尺度空间内，边缘和细节等结构特征至少在某一方向上具有明显的子带系数，但噪声与各方向剪切波基函数相似性较小，不具有方向性。因此，可通过计算同一尺度空间内不同方向高频子带系数的最大值刻画图像的结构特征，数学表达式为：
其中，fl(x,y)表示输入图像I在第l尺度高频子带系数的结构特征。如图4所示，图4(a)为相机拍摄的图像；图4(b)为利用本发明实施例提供的方法所提取的高频子带图在多尺度高频子带系数的结构特征图；图(c)为将多尺度高频子带系数的结构特征图进行合并后，获取的高频子带属性图。由图4可以明显的获知：本发明实施例提出的结构特征能准确刻画图像特征属性，且抗噪声性能较强。
基于上述实施例的内容，作为一种可选实施例，步骤S3中所述的分析结构特征的属性，包括计算不同尺度间剪切波子带图的相关性，并根据相关性分析结构特征的属性。其中，结构特征的属性的数学表达式为：
其中，L为剪切波分解层数；Fl(x，y)表示高频子带图I的像素点(x，y)在第l层剪切波高频子带图中结构特征的属性；
为内积运算符号。
图5为在三个不同尺度上分别描述不同图像特征的属性所获取的示意图，如图5所示，可以获知在多尺度空间里，不同图像结构特征存在明显区别。比如，细小的细节能展示在频率最高的子带图中，但会在较低频率的高频子带图中消失。相反的，图像中强边缘等结构特征在每层高频子带图都会留下明显特征。因此，可以通过计算不同尺度间剪切波子带图的相关性，分析高频子带图中结构特征的属性。
其中，Fl(x,y)表示输入图像I像素点(x,y)在第l层剪切波高频子带图中结构特征的属性，其值越大，表明该结构特征越明显，灰度值变化则越陡峭。
运算的具体操作为：分别在第l层和第l+1层结构特征图fl(x,y)、fl+1(x,y)中选取以像素点(x,y)为中心的7×7图像块，再对两个图像块拉伸的向量进行内积运算。
基于上述实施例的内容，作为一种可选实施例，步骤S3所述的赋予每个结构特征相应的增益权重，包括根据结构特征的属性，构建非线性的高频子带系数增益函数。其中，高频子带系数增益函数的数学表达式可以为：
其中，函数S(t)＝1/(1+exp(-t))，t为中间参数；T1和T2分别为区分噪声和强边缘的阈值；E(Fl(x,y))为高频子带系数增益函数。
在增强图像高频子带系数过程，为避免放大噪声和过度增强图像强边缘，根据图像结构特征属性设置非线性的高频子带系数增益函数。T1和T2为区分噪声和强边缘的阈值，作为可选的可以分别取值为0.2和0.8。
进一步地，根据增益权重对高频子带图进行自适应放大，包括将与每幅所述高频子带图相对应的高频子带系数增益权重和剪切波高频子带系数相乘，以乘积的结果作为高频子带图的增益后的高频子带系数；根据增益后的高频子带系数，对高频子带图进行自适应放大。其中，增益后的高频子带系数的数学表达式为：
||I,Ψj，l(x,y)||'＝E(Fl(x,y))·||I,Ψj，l(x,y)||
其中，||I,Ψj，l(x,y)||'为增益后的高频子带系数函数。
本发明实施例提供的红外图像增强方法，通过计算不同尺度高频子带图间的相似性，能准确提取红外图像的结构特征及属性。因此，本发明实施例中使用基于结构特征的增益权重而不是传统的软硬阈值处理方式，可以针对性地放大红外图像不同属性的结构特征，同时能更有效的抑制背景噪声。
为了进一步说明本发明实施例所提供的红外图像增强效果，通过仿真实验作出说明：
1、仿真条件：本次仿真实验选择了两幅红外图像(即两个不同的场景)，如图6所示，图6中上面的4幅图像是对场景一所示的初始红外图像采用包括对比度受限自适应直方图均衡算法(CLAHE)、基于剪切波变换的图像增强算法、本发明实施例提供的基于剪切波变换+结构特征的红外图像增强方法(简称：本方法)分别进行图像增强处理后获取的示意图；图6中下面的4幅图像则是与上面一一对应的对场景2进行图像增强处理后获取的示意图。
场景一的目标为行人、背景为草地和树木，初始红外图像中箭头指向的目标边缘模糊且方框标记的背景层次感不强；场景二为红外安防监控的场景，原始图像具有对比度低、目标与背景差异小和空间相关性强的特点。
2、实验内容：CLAHE和基于剪切波变换的图像增强算法与本方法进行对比实验。为提高算法对比性，结合相关参考文献和实验效果，经验性地设置基于剪切波变换和本方法的分解层数均为5，从低频子带系数到最精细的高频子带系数的增益矢量为[1,1.1,1.2,1.5,2.5]T。
3、仿真结果对比：经过对两种场景的仿真图像增强的结果综合比较，如图6所示，可以明显的获知到：CLAHE算法能明显提升图像局部对比度，但图像平坦区域的噪声和纹理特征也会被过度增强，易被误认为目标；基于剪切波变换的增强算法未能提升图像对比度；本方法降低图像的空间相关性，未过度增强目标强边缘和背景区域，且显著提升了图像局部对比度，将目标从背景区域突显出来，充分证明了：本发明实施例提供的红外图像增强方法，通过计算不同尺度高频子带图间的相似性，能准确提取红外图像的结构特征及属性。因此，使用基于结构特征的增益权重而不是传统的软硬阈值处理方式，可以针对性地放大红外图像不同属性的结构特征同时很好抑制背景噪声。
本发明实施例提供一种红外图像增强系统，如图7所示，包括但不限于：图像分解模块1、低频子带图处理模块2、高频子带图处理模块3和图像合成模块4。其中，图像分解模块1用于基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；低频子带图处理模块2用于对低频子带图进行图像灰度变换，获取校正后的低频子带图；高频子带图处理模块3用于提取每幅高频子带图的结构特征，分析结构特征的属性，赋予每个结构特征相应的增益权重；根据增益权重对高频子带图进行自适应放大；图像合成模块4用于将校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
具体地，本发明实施例提供的红外图像增强系统，在需要对初始红外图像进行图像增强处理时，首先，将该初始红外图像输入至红外图像增强系统中，图像分解模块1利用预存储的剪切波变换工具对其进行多尺度几何分析，输出相对的低频部分和高频部分，即获取到至少一幅低频子带图和多幅不同尺度和方向的高频子带图。
进一步地，分别利用低频子带图处理模块2对其中的低频子带图进行图像灰度变换，获取校正后的低频子带图；利用高频子带图处理模块3对其中的高频子带图进行结构特征的分析，并进一步分析结构特征的属性，以赋予每个结构特征相应的增益权重。最后，根据增益权重对高频子带图进行自适应放大；
其中，进行灰度变换的方法可以是：基于“Meyer”窗函数的离散非下采样Shearlet变换，该Shearlet变换具有平移不变性和良好的方向性，能更有效获取图像的几何特征。
最后，利用图像合成模块4将校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
本发明实施例提供的红外图像增强系统，通过将红外图像剪切波变换分解成低频子带图和高频子带图，对低频子带图进行处理以提升红外图像对比度；通过对高频子带图赋予结构特征权重，放大红外图像不同属性的结构特征及抑制背景噪声，有效提高了红外图像的质量。
需要说明的是，本发明实施例提供的红外图像增强系统，在具体运行时，可用于执行上述任一实施例中所述的红外图像增强方法，在此不作一一赘述。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；对所述低频子带图进行图像灰度变换，获取校正后的低频子带图；提取每幅所述高频子带图的结构特征，分析所述结构特征的属性，赋予每个所述结构特征相应的增益权重；根据所述增益权重对所述高频子带图进行自适应放大；将所述校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的红外图像增强方法，例如包括：基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；对所述低频子带图进行图像灰度变换，获取校正后的低频子带图；提取每幅所述高频子带图的结构特征，分析所述结构特征的属性，赋予每个所述结构特征相应的增益权重；根据所述增益权重对所述高频子带图进行自适应放大；将所述校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种红外图像增强方法，其特征在于，包括：
基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；
对所述低频子带图进行图像灰度变换，获取校正后的低频子带图；
提取每幅所述高频子带图的结构特征，分析所述结构特征的属性，赋予每个所述结构特征相应的增益权重；根据所述增益权重对所述高频子带图进行自适应放大；
将所述校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
2.根据权利要求1所述的红外图像增强方法，其特征在于，所述剪切波变换的方法具体为“Meyer”窗函数的离散非下采样剪切波变换。
3.根据权利要求1所述的红外图像增强方法，其特征在于，所述对所述低频子带图进行图像灰度变换，获取校正后的低频子带，包括对所述低频子带图进行分段伽马变换，获取所述校正后的低频子带；
所述分段伽马变换的数学表达式为：
其中，u表示图像灰度值，γ1和γ2分别为暗区像素点灰度阈值n1时的伽马值和亮区像素点灰度阈值n2时的伽马值，g'(u)为分段伽马变换函数。
4.根据权利要求1所述的红外图像增强方法，其特征在于，所述提取每幅所述高频子带图的结构特征，包括获取所述高频子带图在同一尺度空间内不同方向高频子带系数的最大值，并利用所述最大值表征所述高频子带图的结构特征；
所述结构特征的数学表达式为：
其中，Ψj，l(x)表示第l层第j方向的剪切波基函数；||I,Ψj，l(x,y)||表示高频子带图I的像素点(x，y)在第l层和第j方向的剪切波高频子带系数；fl(x，y)表示高频子带图I在第l尺度高频子带系数的结构特征。
5.根据权利要求4所述的红外图像增强方法，其特征在于，所述分析所述结构特征的属性，包括计算不同尺度间剪切波子带图的相关性，并根据所述相关性分析所述结构特征的属性；
所述结构特征的属性的数学表达式为：
其中，L为剪切波分解层数；Fl(x，y)表示高频子带图I的像素点(x，y)在第l层剪切波高频子带图中结构特征的属性；
为内积运算符号。
6.根据权利要求5所述的红外图像增强方法，其特征在于，所述赋予每个所述结构特征相应的增益权重，包括根据所述结构特征的属性，构建非线性的高频子带系数增益函数；
所述高频子带系数增益函数的数学表达式为：
其中，函数S(t)＝1/(1+exp(-t))，t为中间参数；T1和T2分别为区分噪声和强边缘的阈值；E(Fl(x,y))为高频子带系数增益函数。
7.根据权利要求6所述的红外图像增强方法，其特征在于，所述根据所述增益权重对所述高频子带图进行自适应放大，包括将与每幅所述高频子带图相对应的高频子带系数增益权重和剪切波高频子带系数相乘，以乘积的结果作为所述高频子带图的增益后的高频子带系数；根据所述增益后的高频子带系数，对所述高频子带图进行自适应放大；
所述增益后的高频子带系数的数学表达式为：
||I,Ψj，l(x,y)||'＝E(Fl(x,y))·||I,Ψj，l(x,y)||
其中，||I,Ψj，l(x,y)||'为增益后的高频子带系数函数。
8.一种红外图像增强系统，其特征在于，包括：图像分解模块、低频子带图处理模块、高频子带图处理模块和图像合成模块；
所述图像分解模块用于基于剪切波变换，将初始红外图像分解成至少一幅低频子带图和多幅不同尺度和方向的高频子带图；
所述低频子带图处理模块用于对所述低频子带图进行图像灰度变换，获取校正后的低频子带图；
所述高频子带图处理模块用于提取每幅所述高频子带图的结构特征，分析所述结构特征的属性，赋予每个所述结构特征相应的增益权重；根据所述增益权重对所述高频子带图进行自适应放大；
所述图像合成模块用于将所述校正后的低频子带图与自适应放大后的高频子带图进行剪切波逆变换处理，获取增强红外图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述红外图像增强方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述红外图像增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524345.2A CN111768350B (zh) | 2020-06-10 | 2020-06-10 | 一种红外图像增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524345.2A CN111768350B (zh) | 2020-06-10 | 2020-06-10 | 一种红外图像增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111768350A true CN111768350A (zh) | 2020-10-13 |
| CN111768350B CN111768350B (zh) | 2022-12-20 |
Family
ID=72720414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010524345.2A Active CN111768350B (zh) | 2020-06-10 | 2020-06-10 | 一种红外图像增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768350B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598595A (zh) * | 2020-12-25 | 2021-04-02 | 北京环境特性研究所 | 一种基于gamma校正的高动态数字图像显示增强方法及系统 |
| CN113256532A (zh) * | 2021-06-13 | 2021-08-13 | 石家庄职业技术学院 | 一种低对比度字符图像增强方法 |
| CN114820359A (zh) * | 2022-04-18 | 2022-07-29 | 广东第二师范学院 | 基于人眼视觉区域划分的红外图像全局色调映射方法 |
| CN116580290A (zh) * | 2023-07-11 | 2023-08-11 | 成都庆龙航空科技有限公司 | 无人机的识别方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610165A (zh) * | 2017-09-12 | 2018-01-19 | 江南大学 | 基于多特征的3‑d剪切波域多模态医学序列图像融合方法 |
| CN109035166A (zh) * | 2018-07-16 | 2018-12-18 | 国网四川省电力公司巴中供电公司 | 基于非下采样剪切波变换的电气设备红外图像增强方法 |
| CN111192204A (zh) * | 2019-11-22 | 2020-05-22 | 晏子俊 | 一种图像增强方法、系统和计算机可读存储介质 |
-
2020
- 2020-06-10 CN CN202010524345.2A patent/CN111768350B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610165A (zh) * | 2017-09-12 | 2018-01-19 | 江南大学 | 基于多特征的3‑d剪切波域多模态医学序列图像融合方法 |
| CN109035166A (zh) * | 2018-07-16 | 2018-12-18 | 国网四川省电力公司巴中供电公司 | 基于非下采样剪切波变换的电气设备红外图像增强方法 |
| CN111192204A (zh) * | 2019-11-22 | 2020-05-22 | 晏子俊 | 一种图像增强方法、系统和计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| WEIWEI KONG 等: "Technique for infrared and visible image fusion based on non-subsampled shearlet transform and spiking cortical model", 《INFRARED PHYSICS & TECHNOLOGY》 * |
| 占必超等: "基于平稳小波变换和Retinex的红外图像增强方法", 《光学学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598595A (zh) * | 2020-12-25 | 2021-04-02 | 北京环境特性研究所 | 一种基于gamma校正的高动态数字图像显示增强方法及系统 |
| CN113256532A (zh) * | 2021-06-13 | 2021-08-13 | 石家庄职业技术学院 | 一种低对比度字符图像增强方法 |
| CN114820359A (zh) * | 2022-04-18 | 2022-07-29 | 广东第二师范学院 | 基于人眼视觉区域划分的红外图像全局色调映射方法 |
| CN116580290A (zh) * | 2023-07-11 | 2023-08-11 | 成都庆龙航空科技有限公司 | 无人机的识别方法、装置及存储介质 |
| CN116580290B (zh) * | 2023-07-11 | 2023-10-20 | 成都庆龙航空科技有限公司 | 无人机的识别方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111768350B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768350B (zh) | 一种红外图像增强方法及系统 | |
| Agrawal et al. | A novel joint histogram equalization based image contrast enhancement | |
| CN111080538B (zh) | 一种红外融合边缘增强方法 | |
| Ben Abdallah et al. | Adaptive noise-reducing anisotropic diffusion filter | |
| CN109934815A (zh) | 一种结合atv约束的张量恢复红外弱小目标检测方法 | |
| CN112767251A (zh) | 基于多尺度细节特征融合神经网络的图像超分辨率方法 | |
| CN103295204B (zh) | 一种基于非下采样轮廓波变换的图像自适应增强方法 | |
| Wang et al. | Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex | |
| CN111815550B (zh) | 一种基于灰度共生矩阵的红外与可见光图像融合方法 | |
| Sun et al. | SAR image speckle reduction based on nonconvex hybrid total variation model | |
| Karalı et al. | Adaptive image enhancement based on clustering of wavelet coefficients for infrared sea surveillance systems | |
| Li et al. | Research on wavelet-based contourlet transform algorithm for adaptive optics image denoising | |
| Li et al. | Image enhancement algorithm based on depth difference and illumination adjustment | |
| Lei et al. | An investigation of retinex algorithms for image enhancement | |
| CN111461999B (zh) | 一种基于超像素相似性测量的sar图像相干斑抑制方法 | |
| Wang et al. | An edge-preserving adaptive image denoising | |
| Xiao et al. | Underwater image classification based on image enhancement and information quality evaluation | |
| Yu et al. | Underwater image enhancement method based on the generative adversarial network | |
| Zhou et al. | Underwater image enhancement method based on dynamic heterogeneous feature fusion neural network | |
| Hanumantharaju et al. | A new framework for retinex-based colour image enhancement using particle swarm optimisation | |
| Chen et al. | Ultrasound image denoising with multi-shape patches aggregation based non-local means | |
| CN114463274A (zh) | 一种图像质量评价方法、装置以及计算机可读存储介质 | |
| Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
| KUMARI et al. | Adaptive window-based fractal dimension estimation for weight maps in contrast improved multi-sensor fusion | |
| Wang et al. | A Two-Step Algorithm for Denoising Peach Tree Leaf Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |