CN105427255A - 一种基于grhp的无人机红外图像细节增强方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种基于GRHP的无人机红外图像细节增强方法。所述方法将原始图像依次进行去噪、滤波、相减、增强及合成，并对合成后的图像进行自适应阈值直方图投影，获得输出图像；本发明的有益效果为：1）本发明运行效率高，可实现在无人机低硬件配置下,对红外视频的实时处理；2）本算法通过引入高斯约束滤波，有效抑制了人工效应，保证了算法对红外图像的细节增强效果。3）本算法通过引入自适应细节增强系数，解决了算法在视频处理中的暂态连续性和对场景的适应性。4）本算法引入自适应阈值直方图投影，进一步抑制了图像噪声的同时，有效提高了图像对比度，提高了算法细节增强能力。

Description

一种基于GRHP的无人机红外图像细节增强方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于GRHP的无人机红外图像细节增强方法。

背景技术

近年来红外成像技术越来越广泛的应用于公安、消防、军事、医学、电力工业等领域，然而受探测器性能限制，红外图像往往对比度低，细节信息不明显，视觉效果较差，在无人机侦察应用中表现的尤为明显。为提高图像解译度，解决图像目标和场景细节模糊问题，红外图像细节增强技术(DigitalDetailEnhancement，DDE)受到了人们广泛关注。通过增强目标与背景之间细微结构(如边缘、轮廓、纹理等)的对比度来提高对细小目标的探测和识别能力。

在国外，FLIR公司(全球红外热成像领域领导者)已在红外DDE方面取得技术突破(该技术已申请专利)并在热成像系统中得到应用，效果显著，展现出广泛的应用前景。

在国内，常见的红外图像细节增强算法大致可归纳为三类：空域增强、频域增强和基于统计直方图的增强，如高频增强、基于小波的图像增强、局部直方图均衡化等。然而，在实时性、适应性和处理效果等方面，这些方法在往往只能克服某一方面的缺陷，自适应能力差，综合性能受到限制，无法直接在无人机侦察视频处理系统中获得较好的推广和应用。

在无人机视频处理系统中应用红外图像细节增强技术面临以下问题：

如何在有限的硬件资源下实现无人机红外侦察图像实时处理；

如何在抑制噪声的同时提取微弱的图像细节；

如何增强图像细节的同时避免图像处理中的人工效应；

如何保证视频处理后暂态连续性；

如何保证算法的场景适应性。

发明内容

为了有效解决上述问题，本发明提供一种基于GRHP的无人机红外图像细节增强方法。

技术方案具体如下：一种基于GRHP的无人机红外图像细节增强方法，所述方法将原始图像依次进行去噪、滤波、相减、增强及合成，并对合成后的图像进行自适应阈值直方图投影，获得输出图像。

进一步地，所述方法包括以下步骤：

A)检测并抑制原始图像中的散粒噪声，获得去噪图像；

B)对去噪图像进行高斯约束滤波，得到基图；

C)将去噪图像与基图相减得到细节图；

D)根据基图与细节图自适应计算增强系数，并增强细节图；

E)图像合成：将基图与增强后的细节图相加，并压缩至【0，255】灰度空间，获得合成图像；

F)对合成图像进行自适应阈值直方图投影，得到输出图像。

进一步地，所述步骤A)中应用3＊3领域检测图像极值点及领域8像素均值替换的方法对原始图像散粒去噪。

进一步地，所述步骤B)中采用如下方法进行高斯约束滤波：

$f_{base}(i,j)=\frac{{\mathrm{\Σ}}_{m=-\frac{w-1}{2}}^{m=+\frac{w-1}{2}}{\mathrm{\Σ}}_{n=-\frac{w-1}{2}}^{n=+\frac{w-1}{2}}s(i-m,j-n)\·f_{in}(i-m,j-n)}{{\mathrm{\Σ}}_{m=-\frac{w-1}{2}}^{m=+\frac{w-1}{2}}{\mathrm{\Σ}}_{n=-\frac{w-1}{2}}^{n=+\frac{w-1}{2}}s(i-m,j-n)}$

其中，f_in(i，j)为去噪后的输入图像，f_base(i，j)为基图，s(i，j)为高斯约束低通滤波器，定义为：

s(i-m，j-m)＝g(m，n)·r(i-m，j-n)

g(m，n)是高斯低通滤波器，r(i-m，j-n)是根据以原图像点(i，j)为中心的w×w窗口内像素的亮度分布生成的约束系数，分别定义为：

$g(m,n)=\frac{1}{2\mathrm{\π}\mathrm{\σ}}{e}^{-\frac{m^2+n^2}{{\mathrm{\σ}}^2}}$

$r(i-m,j-n)=\frac{T}{{\[f(i-m,j-n)-f(i,j)\]}^2+T}$

其中， $m=-\frac{w-1}{2},...,m=+\frac{w-1}{2};n=-\frac{w-1}{2},...,n=+\frac{w-1}{2};$ σ为高斯函数方差，w为窗口奇数尺寸，T为常数；

其中，max()、min()为最大值最小值求取函数。

进一步地，所述T取值为：

T＝2*[max(f_in)-min(f_in)]。

进一步地，基于高斯约束滤波器的红外细节增强算法表示为：

f_out(i，j)＝f_base(i，j)+α·f_detail(i，j)

其中，f_in(i，j)为输入图像，f_out(i，j)为输出图像，f_base(i，j)为基图，f_detail(i，j)为细节图像，α为细节增强系数，细节图像由输入图像f_in(i，j)与基图f_base(i，j)相减得到，即为：

f_detail(i，j)＝f_in(i，j)-f_base(i，j)。

进一步地，所述α为：

$\mathrm{\α}=2\frac{max\left(f_{base}\right)-min\left(f_{base}\right)}{\max \left(f_{\det ail}\right)-min\left(f_{\det ail}\right)};$

max()、min()为最大值最小值求取函数。

进一步地，所述步骤E)具体为：

$threshold=\frac{imgCols\×imgRows}{256}*\mathrm{\τ}$

其中，imgCols为图像列数，imgRows为图像行数，τ为固定系数，具体为τ＝0.3。

进一步地，所述步骤F)具体包括：

1)图像直方图统计；

2)根据图像自适应计算阈值；

3)基于阈值计算结果，过滤直方图统计结果；

4)基于过滤后的直方图，对原始图像进行直方图投影运算；

5)输出直方图投影结果。

本发明还提供一种基于GRHP的红外图像细节增强系统，包括以下模块：噪声滤除模块、高斯约束滤波模块、自适应细节增强模块和自适应阈值直方图投影模块。

所述噪声滤除模块，针对红外图像散粒噪声严重的固有特性以及细节增强算法对散粒噪声增强明显的固有特点，本模块主要用于滤除散粒噪声。通过检测并替换极值点(即散粒噪声)的方法，在不引起图像细节损失的同时，有效滤除了图像中的散粒噪声，并保证了算法的实时性。

所述高斯约束滤波模块，通过高约束滤波提取红外图像细节图和基准图，有效避免了普通滤波(如均值滤波、高斯滤波等)带来的人工效应，保证了算法对红外图像的细节增强效果。

所述自适应细节增强算法，通过自适应计算图像细节增强系数，有效保证了算法在视频处理中的暂态连续性和场景的适应性，避免了过度增强和增强不足现象的发生。

所述自适应阈值直方图投影模块，通过改进直方图投影中剔除统计直方图数量为零的像素点的办法，基于图像尺寸，自适应计算像素剔除阈值，剔除直方图统计中个数较少的像素，在进一步抑制了图像噪声的同时，有效提高了图像对比度。

本发明的有益效果为：1)本发明运行效率高，可实现在无人机低硬件配置下，对红外视频的实时处理；

2)本算法通过引入高斯约束滤波，有效抑制了人工效应，保证了算法对红外图像的细节增强效果。

3)本算法通过引入自适应细节增强系数，解决了算法在视频处理中的暂态连续性和对场景的适应性。

4)本算法引入自适应阈值直方图投影，进一步抑制了图像噪声的同时，有效提高了图像对比度，提高了算法细节增强能力。

附图说明

图1为GRHP细节增强算法整体流程图；

图2为自适应阈值直方图投影算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

要解决整个场景中的细节增强问题，需要打破常规的线性拉伸及直方图均衡的思路，允许图像处理前后像素灰度值出现反转，即在原始图像中像素亮度值：I_A＞I_B，在细节增强后图像中根据需要可能出现：I_A＜I_B，为此不仅要考虑整幅图像中的灰度分布，还要考虑像素所处的空间区域与邻域细节特性。另外，散粒噪声是红外图像中一种常见的高频信息，在图像细节增强过程中必然伴随噪声放大，为此，本文引入噪声抑制策略。算法流程如图1所示。

算法可归纳为以下步骤：

1)检测并抑制原始图像中的散粒噪声；

2)对去噪后图像进行高斯约束滤波，得到基图；

3)将去噪图像与基图相减得到细节图；

4)根据基图与细节图自适应计算增强系数，并增强细节图像；

5)图像合成：基图与增强后的细节图相加，并压缩至【0，255】灰度空间。

6)对合成图像进行自适应阈值直方图投影，得到输出图像。

其中，图像散粒去噪采用3＊3领域检测图像极值点，并用领域8像素均值替换的方法，避免了因图像滤波带来的图像模糊，算法简单、有效。

下面结合流程图对算法实时过程中涉及的关键技术进行详细说明。

1、高斯约束滤波

设f_in为输入图像，则基于高斯约束滤波器的红外细节增强算法可表示为：

f_out＝f_base+α·f_detail(1)

其中，f_out为输出图像，f_base为基图，f_detail为细节图像，α为细节增强系数，细节图像由输入图像f_in与基图f_base相减得到，即

f_detail＝f_in-f_base(2)

从上式可知，算法关键是构建低通滤波器获取f_base和自适应计算增强系数α。为获取f_base(i，j)，可对输入图像f_in(i，j)按式(3)进行滤波，

$f_{base}(i,j)=\frac{{\mathrm{\Σ}}_{m=-\frac{w-1}{2}}^{m=+\frac{w-1}{2}}{\mathrm{\Σ}}_{n=-\frac{w-1}{2}}^{n=+\frac{w-1}{2}}s(i-m,j-n)\·f_{in}(i-m,j-n)}{{\mathrm{\Σ}}_{m=-\frac{w-1}{2}}^{m=+\frac{w-1}{2}}{\mathrm{\Σ}}_{n=-\frac{w-1}{2}}^{n=+\frac{w-1}{2}}s(i-m,j-n)}---\left(3\right)$

其中，s(i，j)为高斯约束低通滤波器，定义为：

s(i-m，j-m)＝g(m，n)·r(i-m，j-n)(4)

g(m，n)是相较于高斯约束低通滤波器常规的高斯低通滤波器，r(i-m，j-n)是根据以原图像点(i，j)为中心的w×w窗口内像素的亮度分布生成的约束系数，分别定义为：

$g(m,n)=\frac{1}{2\mathrm{\π}\mathrm{\σ}}{e}^{-\frac{m^2+n^2}{{\mathrm{\σ}}^2}}---\left(5\right)$

$r(i-m,j-n)=\frac{T}{{\[f(i-m,j-n)-f(i,j)\]}^2+T}---\left(6\right)$

其中， $m=-\frac{w-1}{2},...,m=+\frac{w-1}{2};n=-\frac{w-1}{2},...,n=+\frac{w-1}{2};$ σ为高斯函数方差，w为窗口尺寸(奇数)，T为常数。实验表明，σ＝6.0，w＝5，T取下式计算值时可取的较好效果：

T＝2*[max(f_in)-min(f_in)](7)

其中，max()、min()为最大值最小值求取函数。

获取基图f_base后，细节图像f_detail可直接由(2)式求得。

2、自适应细节图像增强

为叙述方便，现将式(1)(2)合并如下：

f_out(i，j)＝f_base+α·(f_in-f_base)(8)

从上式可知，为增强图像细节，α应取大于1的实数。特别的，当α＝0时，f_out＝f_base；当α＝1时，f_out＝f_in。当图像细节较弱时，为取得理想效果，α应取较大值；当图像细节较强时，α应取相对较小值。为使算法能自适应调节细节增强系数，本发明将基准图亮度跨度：max(f_base)-min(f_base)与细节图亮度跨度：max(f_detail)-min(f_detail)为基础，设计了如下自适应α计算公式：

$\mathrm{\α}=2\frac{max\left(f_{base}\right)-min\left(f_{base}\right)}{\max \left(f_{\det ail}\right)-min\left(f_{\det ail}\right)}---\left(9\right)$

其中，max()、min()为最大值最小值求取函数。从上式可以看出，α与细节图亮度跨度负相关，当细节图亮度跨度变小时，即细节较弱时，α自动变大，从而实现自适应细节增强。

3、自适应阈值直方图均衡

经以上各步骤增强后的红外图像，通产仍然存在直方图概率密度函数(ProbabilityDensityFunction，PDF)为零的灰度级，影响红外图像的对比度。为此，在剔除图像冗余灰度级的基础上，对图像进行自适应阈值直方图投影(HistogramProjection，HP)运算，使处理图像后直方图的PDF等间距地占据整个灰度级范围，则不仅可充分利用图像灰度级，而且可通过拉伸处理提高图像对比度，进而提升场景细节的分辨能力。

传统的直方图投影保留任何直方图统计不为零的像素灰度值，使得任何统计个数大于零的像素灰度值均得以保留，限制的直方图投影算法的对比度提升能力，同时保留了高频噪声。

在前面几个步骤的基础上，为进一步提高图像对比度，同时抑制高频噪声，本发明基于图像面积大小设计了如下自适应阈值计算办法，剔除直方图统计像素个数小于平均像素个数τ倍的灰度值。

$threshold=\frac{imgCols\×imgRows}{256}*\mathrm{\τ}---\left(10\right)$

其中，imgCols图像列数，imgRows为图像行数，τ为固定系数，试验结果表明，当τ＝0.3时，即滤除直方图统计像素个数小于平均像素个数30％的灰度值，可取的较理想效果。避免了强阈值带来了算法低适应性问题。算法流程如附图2所示，具体步骤如下：

1)统计图像各灰度值数量，获取图像直方图；

2)计算图像直方图过滤阈值，根据图像面积计算该值，使该值可随图像变化自动调整；

3)基于阈值计算结果，过滤直方图统计结果，滤除直方图统计个数小于阈值的灰度项，在直方图中赋值该灰度项为0；

4)基于过滤后的直方图，对原始图像进行直方图投影运算，使有效灰度值均匀分布于整个灰度范围。

5)输出直方图投影结果。

Claims (8)

1.一种基于GRHP的无人机红外图像细节增强方法，其特征在于，所述方法将原始图像依次进行去噪、滤波、相减、增强及合成，并对合成后的图像进行自适应阈值直方图投影，获得输出图像。

2.根据权利要求1所述的一种基于GRHP的无人机红外图像细节增强方法，其特征在于，所述方法包括以下步骤：

A)检测并抑制原始图像中的散粒噪声，获得去噪图像；

B)对去噪图像进行高斯约束滤波，得到基图；

C)将去噪图像与基图相减得到细节图；

D)根据基图与细节图自适应计算增强系数，并增强细节图；

E)图像合成：将基图与增强后的细节图相加，并压缩至【0,255】灰度空间，获得合成图像；

F)对合成图像进行自适应阈值直方图投影，得到输出图像。

3.根据权利要求2所述的一种基于GRHP的无人机红外图像细节增强方法，其特征在于，所述步骤A)中应用3*3领域检测图像极值点及领域8像素均值替换的方法对原始图像散粒去噪。

4.根据权利要求2所述的一种基于GRHP的无人机红外图像细节增强方法，其特征在于，所述步骤B)中采用如下公式进行高斯约束滤波：

$f_{base}\left(i,j\right)=\frac{{\Σ}_{m=-\frac{w-1}{2}}^{m=+\frac{w-1}{2}}{\Σ}_{n=-\frac{w-1}{2}}^{n=+\frac{w-1}{2}}s\left(i-m,j-n\right)\·f_{in}\left(i-m,j-n\right)}{{\Σ}_{m=-\frac{w-1}{2}}^{m=+\frac{w-1}{2}}{\Σ}_{n=-\frac{w-1}{2}}^{n=+\frac{w-1}{2}}s\left(i-m,j-n\right)}$

其中，f_in(i,j)为去噪后的输入图像，f_base(i,j)为基图，s(i,j)为高斯约束低通滤波器，定义为：

s(i-m,j-m)＝g(m,n)·r(i-m,j-n)

g(m,n)是常规高斯低通滤波器，r(i-m,j-n)是根据以原图像点(i,j)为中心的w×w窗口内像素的亮度分布生成的约束系数，分别定义为：

$g(m,n)=\frac{1}{2\mathrm{\π}\mathrm{\σ}}{e}^{-\frac{m^2+n^2}{{\mathrm{\σ}}^2}}$

$r(i-m,j-n)=\frac{T}{{\[f(i-m,j-n)-f(i,j)\]}^2+T}$

其中， $m=-\frac{w-1}{2},...,m=+\frac{w-1}{2};n=-\frac{w-1}{2},...,n=+\frac{w-1}{2};$ σ为高斯函数方差，w为窗口奇数尺寸，T为常数；

其中，max()、min()为最大值最小值求取函数。

5.根据权利要求4所述的一种基于GRHP的无人机红外图像细节增强方法，其特征在于，所述T取值为：

T＝2*[max(f_in)-min(f_in)]。

6.根据权利要求4所述的一种基于GRHP的无人机红外图像细节增强方法，其特征在于，基于高斯约束滤波器的红外细节增强算法表示为：

f_out(i,j)＝f_base(i,j)+α·f_detail(i,j)

其中，f_in(i,j)为输入图像，f_out(i,j)为输出图像，f_base(i,j)为基图，f_detail(i,j)为细节图像，α为细节增强系数，细节图像由输入图像f_in(i,j)与基图f_base(i,j)相减得到，即为：

f_detail(i,j)＝f_in(i,j)-f_base(i,j)。

7.根据权利要求6所述的一种基于GRHP的无人机红外图像细节增强方法，其特征在于，所述细节增强系数α为：

$\mathrm{\α}=2\frac{max\left(f_{base}\right)-min\left(f_{base}\right)}{\max \left(f_{\det ail}\right)-min\left(f_{\det ail}\right)};$

max()、min()为最大值最小值求取函数。

8.根据权利要求4所述的一种基于GRHP的无人机红外图像细节增强方法，其特征在于，所述自适应阈值的计算采用如下公式：

$threshold=\frac{imgCols\×imgRows}{256}*\mathrm{\τ}$

其中,imgCols为图像列数，imgRows为图像行数，τ为固定系数，具体为τ＝0.3。