CN105654438A

CN105654438A - 基于局部直方图均衡的灰度图像拟合增强方法

Info

Publication number: CN105654438A
Application number: CN201511003247.XA
Authority: CN
Inventors: 黄自力
Original assignee: South West Institute of Technical Physics
Current assignee: South West Institute of Technical Physics
Priority date: 2015-12-27
Filing date: 2015-12-27
Publication date: 2016-06-08

Abstract

本发明提出了一种基于局部直方图均衡的灰度图像拟合增强方法，利用本发明，在增强灰度图像对比度和细节信息的同时，消除了块效应和过增强现象。本发明的实现方案是首先对动态范围过宽的灰度图像进行分段线性变换，获得适合的动态范围内的灰度图像，再将图像灰度分布区间分隔成两段乃至多段，调整图像灰度分布各区间的分割点和变换直线的斜率，对任意灰度区间进行扩展或压缩；变换结果采用子块部分重叠直方图均衡化处理，将邻域内的子块变换函数通过加权求和计算得到当前子块的变换函数，使用此变换函数对当前子块进行直方图均衡化处理；最后对直方图均衡后的灰度图进行非线性拟合处理，对子块部分重叠直方图均衡化处理后的灰度图像进行直方图分布修正。

Description

基于局部直方图均衡的灰度图像拟合增强方法

技术领域

本发明涉及一种可应用于各种灰度图像，包括动态范围较高、灰度级位数等于或大于14位的红外图像处理方法。具体涉及一种改进型的直方图增强方法，以实现对分辨率低、对比度低、信噪比低和视觉效果模糊的灰度图像进行视觉效果提升的技术方案。

背景技术

图像获取指的是将物体成像的过程，将模拟图像转换成数字图像的技术，其获取的图像图像质量由于外界场景的气象因素与探测器成像原理的限制，存在对比度低、分辨率低、信噪比低和视觉效果等不足。现有技术针对雾天降质图像对比度低,细节模糊的特点,提出了基于分子块重叠直方图均衡算法OSHE的雾天图像清晰化方法。POSHE是一种常用的图像增强方法。POSHE算法的雾天图像清晰化方法是在输入图像上定义矩形子块,利用该子块图像的直方图信息对子块所有的像素进行均衡化,将子块以一定的步长移动,直至遍历输入图像的所有像素。该方法虽然在对雾天降质图像处理时,可以达到局部细节清晰化和全局对比度增强的效果，但POSHE算法对红外图像进行增强处理时存在过增强等问题。由于该算法存在过增强和块效应问题，不利于目标的识别和跟踪。POSHE方法是在部分重叠子块中作均衡处理，各个子块的灰度分布不同，在子块边缘会产生明显的灰度不连续现象，即方块效应，简称块效应。如果图像中存在大面积的背景区域，小子块POSHE处理会将这些背景区域分成小的子块进均衡，这自然没考虑到该区域的整体灰度分布。

图像增强的首要目标是处理图像，使其比原始图像更适合于特定应用，比如目标识别、跟踪等。基于直方图均衡(HE)的图像增强方法以其简单快速的特点倍受青睐，全局直方图均衡(GHE)根据图像直方图计算灰度变换函数，对整幅图像像素作单一映射，没有考虑图像局部信息，造成部分高频信息丢失。GHE由于过度拉伸图像对比度产生过增强现象，即累加直方图曲线过于陡峭。基于局部直方图均衡(LHE)算法根据图像局部特性计算灰度变换函数，克服GHE难以适应局部度分布的缺陷，对比度增强效果较好，它的最初原型是Tom等人于1982年提出的自适应直方图均衡算法(AHE)，过高的时间复杂度限制AHE算法的应用范围；Kim等人于2001年提出的子块部分重叠直方图均衡POSHE算法，具有良好对比度增强效果，较AHE算法计算量明显减少，但是该算法存在明显块效应和局部过增强问题。采用POSHE算法对图像增强处理后，块效应程度、增强效果与子块大小和步长有着密切的关系。然而，针对不同场景图像，要达到同样的增强效果和较弱的块效应，子块大小和步长的取法往往不一样。在块大小一致的情况下，步长越大，块效应越突出；在步一致的情况下，块越小，块效应越突出。大子块、大步长处理只存在轻微的块效应，小子快、小步长则会带来严重的块效应。较小的步长可以有效平滑块效应，但如果步长太小，会大大增加算法时间复杂度，然而块效应抑制效果不再明显提高。

直方图增强技术是最常用的图像增强方式之一。经典直方图均衡化的工作原理是通过对输入图像直方图统计和累积，映射输入图像的灰度值，使输出图像在灰度区间内均匀分布，但该方法存在明显的不足，如会过度增强背景和噪声，降低目标对比度，细节易丢失。自适应直方图均衡化对利用滑动窗口局部区域进行直方图均衡化处理，避免了图像其它区域的影响，但是该方法会产生块效应。对比度受限的自适应直方图均衡通过局部处理的方法，限制局部平坦区域的对比度增强，再通过双线性插值的方法消除边界效应，但该方法时间复杂度过高。子块部分重叠直方图均衡通过子块移动策略来使部分子块重叠并对每个子块进行HE处理，再通过加权求和的方法来消除噪声和增大对比度，该方法在不降低局部细节的条件下，虽然大大减少了计算量，但是该方法存在明显的块效应和过增强问题。传统的灰度图像直方图均衡化算法，均衡处理不能很好的凸显细节，而固定阈值β偏大，又会出现过增强现象，场景中的事物表现的不自然。小子块处理旨在锐化降质图像中模糊的边缘，β应当较大，如果过度限制子块的单个灰度级像素的数目，局部对比度无法充分拉伸，不能充分锐化图像。

对比度限制在每层POSHE处理前，先对其各子块的直方图截取然后均匀分配到各灰度级上，通过限制其直方图高度降低累加直方图曲线的斜率，即降低对比度增强幅度，从而限制噪声放大及局部过增强现象。视频仿真结果对比图图的增强效果，增强前图像近处画面模糊不清，图像远处画面缺乏层次，丢失很多细节。

发明内容

本发明的目的是针对传统的灰度图像直方图均衡化算法和灰度图像增强技术的不足之处，提供一种能够充分抑制块效应、消除过增强现象，基于局部直方图均衡拟合的灰度图像增强方法，以解决用POSHE算法对红外图像进行增强处理时存在的过增强等问题。

本发明的技术解决方案可通过以下步骤实现：一种基于局部直方图均衡的灰度图像拟合增强方法，其特征在于包括如下步骤：采用基于FPGA架构或DSP架构或FPGA+DSP架构的实时处理平台，首先对动态范围过宽的灰度图像(如图像数据宽度≥14位的红外图像)，进行分段线性变换获得适合的动态范围内的灰度图像，再将图像灰度分布区间分隔成两段乃至多段，然后对灰度图像进行分段线性变换；在每层POSHE处理前，先对其各子块的直方图截取然后均匀分配到各灰度级上，并调整图像灰度分布各区间的分割点和变换直线的斜率，对任意灰度区间进行扩展或压缩；变换结果采用子块部分重叠直方图均衡化处理，将邻域内的子块变换函数通过加权求和计算得到当前子块的变换函数，使用此变换函数对当前子块进行直方图均衡化处理；最后对直方图均衡后的灰度图进行非线性拟合处理，然后对子块部分重叠直方图均衡化处理后的灰度图像进行直方图分布修正，重新分配图像像素值，实现图像灰度值在多段直方图区间的非线性拉伸，使动态范围内的直方图分布变得更“均匀”的同时，在各个灰度分布区间具有更优的对比度。

本发明具有如下有益效果：

能够充分抑制块效应。本发明利用对灰度图像进行分段线性变换，将图像灰度分布区间分隔成两段乃至多段，分别对其进行线性变换，通过增加灰度区间分割的段数，以及调整各区间的分割点和变换直线的斜率，可以对任意灰度区间进行扩展或压缩，从而使得直方图灰度分布均匀，图像不会过亮或过暗；由于摒弃了对子块大小和步长的过度依赖，在子块大小和步长一定的情况下，能取得较好的增强效果，充分抑制块效应、消除过增强现象。既能保证一定的动态范围压缩，又能保留细节信息和颜色保真，从而获得较为令人满意的增强效果。本发明通过MATLAB仿真对其基于局部直方图均衡的灰度图像拟合增强方法进行了试验验证。结果表明,该方法不仅可以有效缓解过增强问题,消除经POSHE算法处理后产生的块效应现象,而且还可以抑制制冷型红外探测器的"冷反射"图像。

本发明在每层POSHE处理前，先对其各子块的直方图截取然后均匀分配到各灰度级上，通过限制其直方图高度降低累加直方图曲线的斜率，即降低对比度增强幅度，从而限制噪声放大及局部过增强现象。变换结果经子块部分重叠直方图均衡化处理，将邻域内的子块变换函数通过加权求和计算得到当前子块的变换函数，使用此变换函数对当前子块进行直方图均衡化处理，对最后对直方图均衡后的灰度图进行非线性拟合处理，对子块部分重叠直方图均衡化处理后的灰度图像进行直方图分布修正，解决其产生的块效应和过增强问题。不会使得某些灰度级占有过多的像素，在增强灰度图像对比度和细节信息的同时，能够消除块效应和过增强现象。在增强红外图像对比度的同时,能够有效保留红外图像的整体信息,并且具有较好的视觉效果。增强后图像远处细节得到凸显，整体画面非常清晰，具有真实自然的视觉效果。

本发明针对雾天不同退化程度的低照度图像，将对比度限制引入POSHE方法中，结合多层融合处理消除了POSHE方法中存在的块效应和过增强现象，能够有效增强其对比度和局部信息，在亮度、对比度和细节方面都能取得较好的视觉效果，具有自适应好、易于并行实现以及鲁棒性强的优点，因此具有一定的通用性，在视频监控、目标识别和图像制导等实时图像处理领域有较高的工程实用价值。

附图说明

图1是本发明基于局部直方图均衡拟合灰度图像的增强流程图。

图2是本发明三线段分段线性变换灰度范围示意图。

图3是对动态范围大于或等于14位的红外图像进行分段线性变换的示意图。

具体实施方式

本发明的技术解决方案的具体步骤结合附图说明如下：

参阅图1、图2。根据本发明，采用基于FPGA架构或DSP架构或FPGA+DSP架构的实时处理平台，首先对灰度图像进行分段线性变换，将图像灰度分布区间分隔成两段乃至多段，分别对其进行线性变换，通过增加灰度区间分割的段数，以及调整各区间的分割点和变换直线的斜率，可以对任意灰度区间进行扩展或压缩，对图3所示动态范围大于或等于14位的红外图像进行分段线性变换后可得到动态范围为8位的灰度图像。所增强的灰度图像为动态范围为等于或大于14位的红外图像。其具体方法如下：

在对灰度图像进行分段线性变换中，首先，对灰度图像进行全局搜索，找到最大灰度值max和最小灰度值min，一般的16位红外图像并没有完全占满[0,2¹⁵]的灰度级范围，因此可将红外图像的灰度范围确定为[min，max]。其次，采用三段式分段线性变换，在图2所示[min，max]内选取适当的阈值f_t2和f_t2(f_t1<f_t2)。在[0，255]范围内选取两个阈值g_t1和g_t2，按照如下灰度线性变换公式进行灰度线性变换

其中：原始图像的动态范围为[min,max]，某一点像素的灰度值为f，[min，max]内选取适当的阈值f_t2和f_t2(f_t1<f_t2)。

变换后图像的动态范围为[0,255]，在[0，255]范围内选取两个阈值g_t1和g_t2(g_t1<g_t2)，g为灰度值f经过变换后得到的灰度值。

对变换结果进行子块部分重叠直方图均衡化处理，通过将邻域内的子块直方图变换函数通过加权求和计算得到当前子块的直方图变换函数，使用此变换函数对当前子块进行直方图均衡化处理。当采用POSHE算法时，其具体方法如下：

子块部分重叠直方图均衡化处理技术采用POSHE算法或基于POSHE算法的改进算法。将灰度图像分为四个子块，步长为子块的一半，整个目标区域e被分成了9块，分别用a、b、c、d、e、f、g、h、i来标记，移动四次的子块用1、2、3、4来标记。分别对四个子块进行均衡化处理，以此类推，最后对子块重叠的区域进行加权处理。目标区域e是四个子块的重叠部分，分别进行了四次直方图均衡化运算，其它区域的直方图都会对目标区域e的运算有不同的权值贡献。

设各个子块的直方图变换函数分别为T1(rk)、T2(rk)、T3(rk)、T4(rk)，则目标区域e某点的POSHE算法变换输出公式为

s_{k}^{e} = \frac{1}{4} [T_{1} (r_{k}^{e}) + T_{2} (r_{k}^{e}) + T_{3} (r_{k}^{e}) + T_{4} (r_{k}^{e})]

其中，是目标区域e内灰度值为k的像素经过POSHE处理后的灰度值；是目标区域e内的灰度值为k的像素。

最后对直方图均衡后的灰度图进行非线性拟合处理，对子块部分重叠直方图均衡化处理后的灰度图像进行直方图分布修正，以解决其产生的块效应和过增强问题。拟合处理技术采用多尺度Retinex算法或基于Retinex算法的改进算法。当采用多尺度Retinex算法时，其具体方法如下：

多尺度Retinex算法是对单尺度Retinex算法的概括，具有单尺度retinex算法低、中、高三个尺度的特点，该算法可用多尺度Retinex算法公式

R_{i} (x, y) = Σ_{j = 1}^{k} w_{j} (\log I_{i} (x, y) - \log (F_{j} (x, y) * I_{i} (x, y)))

进行描述，其中，i＝1,2…N，k是尺度因子σ的总个数，N是图像颜色通道的个数，N＝1，表示灰度图像，N＝3表示彩色图像，w_j是和F_j相关的权值，满足Σw_j＝1，R_i(x,y)是第i个颜色通道的输出结果，I_i(x,y)是第i个颜色通道的输入，*是卷积运算，F(x,y)是高斯函数，通常，多尺度Retinex取低、中、高三个尺度，即k＝3,w1＝w2＝w3＝1/3。其高斯函数公式其中，σ是尺度因子，它的大小决定了卷积核的作用范围。σ较小时，高斯模板较小，则高斯函数相对陡峭，多尺度Retinex的动态压缩能力就越强；σ较大时，高斯模板较大，则高斯函数相对平缓，多尺度Retinex颜色保真能力就越好。

Claims

1.一种基于局部直方图均衡的灰度图像拟合增强方法，其特征在于包括如下步骤：采用基于FPGA架构或DSP架构或FPGA+DSP架构的实时处理平台，首先对动态范围过宽,图像数据宽度≥14位的红外图像的灰度图像，进行分段线性变换获得适合的动态范围内的灰度图像，再将图像灰度分布区间分隔成两段乃至多段，然后对灰度图像进行分段线性变换；在每层POSHE处理前，先对其各子块的直方图截取然后均匀分配到各灰度级上，并调整图像灰度分布各区间的分割点和变换直线的斜率，对任意灰度区间进行扩展或压缩；变换结果采用子块部分重叠直方图均衡化处理，将邻域内的子块变换函数通过加权求和计算得到当前子块的直方图变换函数，用此直方图变换函数对当前子块进行直方图均衡化处理；最后采用多尺度Retinex算法或基于Retinex算法的改进算法，对直方图均衡后的灰度图进行非线性拟合处理，然后对子块部分重叠直方图均衡化处理后的灰度图像进行直方图分布修正，重新分配图像像素值，实现图像灰度值在多段直方图区间的非线性拉伸，使动态范围内的直方图分布变得更均匀。

2.根据权利要求1所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，子块部分重叠直方图均衡化处理技术采用POSHE算法或基于POSHE算法。

3.根据权利要求1所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，在对灰度图像进行分段线性变换中，首先，对灰度图像进行全局搜索，找到最大灰度值max和最小灰度值min，将红外图像的灰度范围确定为[min，max]。

4.根据权利要求1所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，图像灰度直方图采用三段式分段线性变换，在[min，max]内选取适当的阈值f_t2和f_t2，其中，f_t1<f_t2。

5.根据权利要求1所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，在[0，255]范围内选取两个阈值g_t1和g_t2，按照如下灰度线性变换公式进行灰度线性变换，

式中：[min,max]为原始图像的动态范围，f为原始图像某一点的像素灰度值_。

6.根据权利要求5所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，变换后图像的动态范围为[0,255]，在[0，255]范围内选取两个阈值g_t1和g_t2，g为灰度值f经过变换后得到的灰度值，g_t1<g_t2。

7.根据权利要求1所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，子块部分重叠直方图均衡化处理技术采用基于POSHE算法，将灰度图像分为四个子块，步长为子块的一半，整个图像灰度分布区域被分成了9块，分别用a、b、c、d、e、f、g、h、i来标记，移动四次的子块用1、2、3、4来标记，目标区域e是四个子块的重叠部分，分别进行了四次直方图均衡化运算，然后分别对四个子块进行均衡化处理，以此类推，最后对子块重叠的区域进行加权处理。

8.根据权利要求1所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，设各个子块的直方图变换函数分别为T1(r_k)、T2(r_k)、T3(r_k)、T4(r_k)，则目标区域e某点的POSHE算法变换输出公式为

9.根据权利要求1所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，当采用多尺度Retinex算法时，该算法的描述公式为多尺度Retinex算法公式

其中，i＝1,2…N，k是尺度因子σ的总个数，w_j是和F_j相关的权值，满足Σw_j＝1，R_i(x,y)是第i个颜色通道的输出结果，I_i(x,y)是第i个颜色通道的输入，*是卷积运算，F_j(x,y)是高斯函数，k＝3,w1＝w2＝w3＝1/3。

10.根据权利要求9所述的基于局部直方图均衡的灰度图像拟合增强方法，其特征在于，高斯函数公式为

其中，σ是尺度因子，它的大小决定了卷积核的作用范围。σ较小时，高斯模板较小，则高斯函数相对陡峭，多尺度Retinex的动态压缩能力就越强；σ较大时，高斯模板较大，则高斯函数相对平缓，多尺度Retinex颜色保真能力就越好。