CN105787883A - 一种宽动态图像装置及算法 - Google Patents

Abstract

本发明公开了一种宽动态图像处理装置及算法，首先采用频率域平滑滤波器对图像进行平滑滤波处理，得到图像数据的低频部分；再将原始图像数据与图像数据的低频部分作差后得到图像数据的高频部分；分别对图像数据的低频部分进行直方图均衡处理，改善图像的对比度，对图像数据的高频部分进行细节增强，最后将处理后的高、低频部分合成调整输出，完成CCD摄像机的宽动态显示。本发明的优点在于利用分频的方法对图像的高低频进行处理，改善图像对比度，能够使图像适应强光以及微弱光线照明显示，能够在保留并增强细节的同时，实现图像的宽动态显示。

Description

一种宽动态图像装置及算法

技术领域

本发明属于可见光的图像处理领域，特别是一种宽动态图像装置及算法。

背景技术

随着各个行业安防需求的提升，各种监控设备不断推陈出新，其中视频监控技术逐渐成为安保系统中最重要的一环，越来越多的市场、行业、个人依赖于视频监控来保证资料和财产安全，如：商场、交通、金融、政府机关事业单位窗口，及军队、公安、监狱、航空航天等要害部门。

监控摄像机是视频监控系统的核心部件，通常用户希望监控摄像机不仅白天图像效果要好，晚上也要求看得比较清楚。然而，普通摄像机受CCD感光特性的限制，当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响到图像质量。由于成像系统的动态范围远小于真实场景的动态范围，监控摄像机无法对亮区和暗区同时清晰成像。“动态范围”指摄像机在同一场景中对最亮区域及较暗区域存在局限性，宽动态技术在摄像机系统中的运用，使黑暗区域变得明亮，而明亮区域变得柔和，改变视觉效果，提供出有用的可识别图像。

目前，监控摄像机的宽动态技术主要有两种实现方式：CCD+DSP技术和CMOS+DPS技术。

CCD+DSP技术在安防监控中，一般多采用单帧图像两次或五次取样的方法，单帧图像两次取样是基于中速感光器件及高速DSP的两次取样曝光图像分割技术，主要过程为：先利用CCD对较暗的景物进行曝光后将图像缓存；然后利用高速DSP对图像数据进行分析，若存在暗区曝光正常，亮区曝光过度，则对其进行亮度评估；其次根据评估结果，采用高速快门曝光，并将第二帧图像缓存；最后利用高速DSP及其中的图像处理方法，将两帧图像中亮度适当的部分切割下来，在一帧新的图像中合成。CCD+DSP技术能够利用曝光时间和图像合成得到成像质量较好的图像，但在运动剧烈的场景中，图像质量会发生退化。

CMOS+DPS数字像素式扩展范围是在图像传感器的每个像素点上都包含一个10位A/D转换器，即在传感器捕捉到光信号时，直接将其放大并转换为数字信号，从而将阵列上的信号退化和串扰降到最小，并允许采用更好的降噪方法。CMOS+DPS技术采用每个像素单独曝光和ARM7控制技术，相较于CCD+DPS的两次曝光有更高的动态范围，可达120dB，但灵敏度有显著的下降，且价格要高很多。

发明内容

本发明的目的在于提供一种宽动态图像处理装置及算法，解决了因强光源照射的高亮度区域和阴影、逆光的低亮度区域同时存在时导致的图像细节难以辨识等问题，避免了为提升曝光速率而更换摄像机前段设备带来的资源消耗问题，节约了成本。

实现本发明目的的技术解决方案为：一种宽动态图像处理装置，包括

频率域平滑滤波模块，对输入的原始图像数据作平滑滤波处理，得到图像数据的低频部分；

延时模块，对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块输出同步；

作差模块，将原始图像数据与平滑滤波后的图像数据作差，得到图像数据的高频部分；

自适应增益处理模块，对图像数据的高频部分的进行自适应细节增强；

直方图均衡模块，对平滑滤波后的图像数据的作直方图均衡；

图像合成模块，将作直方图均衡后的图像数据和自适应后的图像数据进行合成调整；

延时模块、作差模块和自适应增益处理模块依次连接，频率域平滑滤波模块和直方图均衡模块连接，频率域平滑滤波模块和作差模块连接，自适应增益处理模块与直方图均衡模块分别与图像合成模块连接。

原始图像数据分别输入延时模块和频率域平滑滤波模块，频率域平滑滤波模块对输入的原始图像数据作平滑滤波处理得到图像数据的低频部分，将图像数据的低频部分分别输送到作差模块和直方图均衡模块，同时延时模块对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块同步输出至作差模块，作差模块将平滑滤波处理后的图像数据与从延时模块中输出的原始图像数据进行作差运算，得到图像数据的高频部分，并将其输入自适应增益处理模块，自适应增益处理模块对图像数据的高频部分的进行自适应细节增强，将增强后的图像数据输入图像合成模块；直方图均衡模块对平滑滤波后的图像数据的作直方图均衡，将均衡后的图像数据输入图像合成模块，图像合成模块将均衡后的图像数据和自适应细节增强后的图像数据进行合成调整后输出。

一种宽动态图像处理算法，算法步骤如下：

步骤1)通过CCD摄像机采集图像数据，即为原始图像数据，图像数据大小为M×N，M为图像数据的行数，N为图像数据的列数。

步骤2)将上述原始图像数据同时通过频率域平滑滤波模块和延时模块，频率域平滑滤波模块对输入的原始图像数据作平滑滤波处理，得到图像数据的低频部分，将图像数据的低频部分分别输送到作差模块和直方图均衡模块，延时模块对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块同步输出至作差模块。

步骤3)作差模块将图像数据的低频部分与从延时模块中输出的原始图像数据进行作差运算，得到图像数据的高频部分，并将其送入自适应增益处理模块。

步骤4)直方图均衡模块对图像数据的低频部分进行直方图均衡处理，改善其对比度，自适应增益处理模块对图像数据的高频部分进行自适应增益调整，增强细节，直方图均衡模块和自适应增益处理模块同时将处理后的图像数据输入图像合成模块。

步骤5)图像合成模块将上述处理图像数据的低频部分和高频部分进行合成，并调整到显示范围输出。

上述步骤2)中，对原始图像数据运用频率域平滑滤波模块进行平滑滤波，具体步骤为：

2-1)对原始图像数据进行傅里叶变换；

2-2)对傅里叶变换后的图像数据进行平滑滤波；

2-3)对平滑滤波后的图像再进行傅里叶逆变换，并将逆变换后的图像数据输送到作差模块。

上述步骤3)中，作差模块的作差运算的算法为：原始数据图像减去图像数据的低频部分得到图像数据的高频部分。

上述步骤4)中，对图像数据的低频部分进行均衡处理，即直方图投影，直方图输出I_out(i,j)为：

$I_{\mathrm{out}}(i,j)=\frac{B\left(I(i,j)\right)}{n_{\mathrm{valid}}}\×L$

上述(i,j)表示一帧图像中像素点的坐标，B(I(i,j))表示输入图像的累积直方图，n_valid表示一帧图像的有效灰度级，L表示需要投影到的灰度范围。

上述步骤4)中，对图像数据的高频部分进行细节增强，为避免噪声被过度放大，采用自适应增益，增益系数G(i,j)公式为：

G(i,j)＝G_min+(1-V(i,j))×(G_max-G_min)

上述G_max为高增益系数，通常取1.5-2.5；G_min为低增益系数，通常取1；V(i,j)为噪声可见度函数，公式为：

$V(i,j)=\frac{1}{m(i,j).\mathrm{\ω}+1}$

上述m(i,j)是噪声掩膜函数，用于衡量空间细节，ω是可调参数，调整范围为0.5-1.5。

上述步骤5)中，对图像数据的高频部分和低频部分进行合成，合成后的输出图像outimage(i,j)公式为：

outimage(i,j)＝Lp(i,j)+Hp(i,j)

其中lp(i,j)为图像数据经直方图均衡后的低频部分，Hp(i,j)为图像数据经增强后的高频部分。

上述步骤5)中，调整输出方法如下：将合成后的输出图像调整到10bits，作为输出图像数据，若合成后的图像数据超出10bits，则输出图像数据设为1023；反之，则输出数据取合成后的数据的低10bits。

本发明与现有技术相比，其显著优点：(1)采用分频处理的手段，分别对低频部分和高频部分进行处理，改善了图像对比度，在增强细节的同时不过分增强噪声，提高了图像质量；(2)利用硬件算法实现宽动态显示，不用为提升快门速度而更换前端设备，在不增加设备成本的基础上，大幅提升了高清网络摄像机的动态范围；(3)直方图投影及细节增强等图像处理技术相结合，在增强细节的同时对图像数据进行了有效压缩，解决了因成像系统的动态范围远小于真实场景的动态范围而无法对亮区和暗区同时清晰成像的矛盾。

附图说明

图1是本发明宽动态图像处理装置的结构图。

图2是本发明宽动态图像处理算法的流程图。

图3是本发明具体实施方式对比图，其中图(a)为原始图像，图(b)为处理后的图像。

具体实施方式

下面结合附图对本发明作进一步详细描述。

宽动态图像包括高亮度区域和阴影、逆光的低亮度区域。CCD摄像机在应用中，当场景中同时存在强光源(日光、灯具或反光等)和阴影、逆光时，摄像机输出的图像会因明亮区域因曝光过度成为白色，黑暗区域因曝光不足成为黑色，严重影响图像质量而无法清晰成像。因此采用频域处理方法，分别对图像的低频和高频部分进行处理，增强细节的同时，改善图像对比度，提升图像质量。先利用频率域平滑滤波器对图像进行平滑处理，得到图像数据的低频部分。

结合图1，本发明是一种宽动态图像处理装置，包括频率域平滑滤波模块，对输入的原始图像数据作平滑滤波处理，得到图像数据的低频部分。

延时模块，对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块输出同步。

作差模块，将原始图像数据与平滑滤波后的图像数据作差，得到图像数据的高频部分。

自适应增益处理模块，对图像数据的高频部分的进行自适应细节增强。

直方图均衡模块，对平滑滤波后的图像数据的作直方图均衡。

图像合成模块，将作直方图均衡后的图像数据和自适应后的图像数据进行合成调整。

延时模块、作差模块和自适应增益处理模块依次连接，频率域平滑滤波模块和直方图均衡模块连接，频率域平滑滤波模块和作差模块连接，自适应增益处理模块与直方图均衡模块分别与图像合成模块连接。

原始图像数据分别输入延时模块和频率域平滑滤波模块，频率域平滑滤波模块对输入的原始图像数据作平滑滤波处理得到图像数据的低频部分，将图像数据的低频部分分别输送到作差模块和直方图均衡模块，同时延时模块对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块同步输出至作差模块，作差模块将平滑滤波处理后的图像数据与从延时模块中输出的原始图像数据进行作差运算，得到图像数据的高频部分，并将其输入自适应增益处理模块，自适应增益处理模块对图像数据的高频部分的进行自适应细节增强，将增强后的图像数据输入图像合成模块；直方图均衡模块对平滑滤波后的图像数据的作直方图均衡，将均衡后的图像数据输入图像合成模块，图像合成模块将均衡后的图像数据和自适应细节增强后的图像数据进行合成调整后输出。

结合图2，一种宽动态图像处理算法，方法步骤如下：

步骤1)通过CCD摄像机采集图像数据，即为原始图像数据，图像数据大小为M×N，M为图像数据的行数，N为图像数据的列数。

步骤2)将上述原始图像数据同时通过频率域平滑滤波模块和延时模块，频率域平滑滤波模块对输入的原始图像数据作平滑滤波处理，得到图像数据的低频部分，将图像数据的低频部分分别输送到作差模块和直方图均衡模块，延时模块对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块同步输出至作差模块；平滑滤波具体步骤为：

2-1)对原始图像数据进行傅里叶变换；

2-2)对傅里叶变换后的图像数据进行平滑滤波；

2-3)对平滑滤波后的图像再进行傅里叶逆变换，并将逆变换后的图像数据输送到作差模块。

步骤3)作差模块将图像数据的低频部分与从延时模块中输出的原始图像数据进行作差运算，得到图像数据的高频部分，并将其送入自适应增益处理模块，作差算法为，原始数据图像减去图像数据的低频部分得到图像数据的高频部分。

步骤4)直方图均衡模块对图像数据的低频部分进行直方图均衡处理，改善其对比度，自适应增益处理模块对图像数据的高频部分进行自适应增益调整，增强细节，直方图均衡模块和自适应增益处理模块同时将处理后的图像数据输入图像合成模块。

对图像数据的低频部分进行均衡处理，即直方图投影，直方图输出I_out(i,j)为：

$I_{\mathrm{out}}(i,j)=\frac{B\left(I(i,j)\right)}{n_{\mathrm{valid}}}\×L$

上述(i,j)表示一帧图像中像素点的坐标，B(I(i,j))表示输入图像的累积直方图，n_valid表示一帧图像的有效灰度级，L表示需要投影到的灰度范围。

对图像数据的高频部分进行细节增强，为避免噪声被过度放大，采用自适应增益，增益系数G(i,j)公式为：

G(i,j)＝G_min+(1-V(i,j))×(G_max-G_min)

上述G_max为高增益系数，通常取1.5-2.5；G_min为低增益系数，通常取1；V(i,j)为噪声可见度函数，公式为：

$V(i,j)=\frac{1}{m(i,j).\mathrm{\ω}+1}$

上述m(i,j)是噪声掩膜函数，用于衡量空间细节，ω是可调参数，调整范围为0.5-1.5。

步骤5)图像合成模块将上述处理图像数据的低频部分和高频部分进行合成，并调整到显示范围输出。

对图像数据的高频部分和低频部分进行合成，合成后的输出图像outimage(i,j)公式为：

outimage(i,j)＝Lp(i,j)+Hp(i,j)

其中lp(i,j)为图像数据经直方图均衡后的低频部分，Hp(i,j)为图像数据经增强后的高频部分。

调整输出方法如下：将合成后的输出图像调整到10bits，作为输出图像数据，若合成后的图像数据超出10bits，则输出图像数据设为1023；反之，则输出数据取合成后的数据的低10bits。

实施例1

采用1920×1080像素的CCD摄像机对可见光视频进行采集，帧频为25帧每秒，采集到的图像未经任何算法处理，频率域平滑滤波模块采用巴特沃斯滤波器，结合图3，其中图(a)为CCD摄像机采集到的原始视频中截取的一帧图像，图(b)为经过本发明提出的图像处理算法后的效果图。图(a)中包括室内灯管的高亮区域和人脸的阴影、背光区域，图像细节难以辨识，而经本发明提出的宽动态图像处理算法处理后，高亮区域得到抑制，使得灯管得以看清，阴影、背光区域得到增强，使得图像对比度得到改善，图像中的细节得以辨识，图像质量明显提升。

Claims (8)

1.一种宽动态图像处理装置，其特征在于：包括

频率域平滑滤波模块，对输入的原始图像数据作平滑滤波处理，得到图像数据的低频部分；

延时模块，对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块输出同步；

作差模块，将原始图像数据与平滑滤波后的图像数据作差，得到图像数据的高频部分；

自适应增益处理模块，对图像数据的高频部分的进行自适应细节增强；

直方图均衡模块，对平滑滤波后的图像数据的作直方图均衡；

图像合成模块，将作直方图均衡后的图像数据和自适应后的图像数据进行合成调整；

延时模块、作差模块和自适应增益处理模块依次连接，频率域平滑滤波模块和直方图均衡模块连接，频率域平滑滤波模块和作差模块连接，自适应增益处理模块与直方图均衡模块分别与图像合成模块连接；

原始图像数据分别输入延时模块和频率域平滑滤波模块，频率域平滑滤波模块对输入的原始图像数据作平滑滤波处理得到图像数据的低频部分，将图像数据的低频部分分别输送到作差模块和直方图均衡模块，同时延时模块对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块同步输出至作差模块，作差模块将平滑滤波处理后的图像数据与从延时模块中输出的原始图像数据进行作差运算，得到图像数据的高频部分，并将其输入自适应增益处理模块，自适应增益处理模块对图像数据的高频部分的进行自适应细节增强，将增强后的图像数据输入图像合成模块；直方图均衡模块对平滑滤波后的图像数据的作直方图均衡，将均衡后的图像数据输入图像合成模块，图像合成模块将均衡后的图像数据和自适应细节增强后的图像数据进行合成调整后输出。

2.一种宽动态图像处理算法，其特征在于，算法步骤如下：

步骤1)通过CCD摄像机采集图像数据，即为原始图像数据，图像数据大小为M×N，M为图像数据的行数，N为图像数据的列数；

步骤2)将上述原始图像数据同时通过频率域平滑滤波模块和延时模块，频率域平滑滤波模块对输入的原始图像数据作平滑滤波处理，得到图像数据的低频部分，将图像数据的低频部分分别输送到作差模块和直方图均衡模块，延时模块对输入的原始图像数据作延时处理，保证与频率域平滑滤波模块同步输出至作差模块；

步骤3)作差模块将图像数据的低频部分与从延时模块中输出的原始图像数据进行作差运算，得到图像数据的高频部分，并将其送入自适应增益处理模块；

步骤4)直方图均衡模块对图像数据的低频部分进行直方图均衡处理，改善其对比度，自适应增益处理模块对图像数据的高频部分进行自适应增益调整，增强细节，直方图均衡模块和自适应增益处理模块同时将处理后的图像数据输入图像合成模块；

步骤5)图像合成模块将上述处理图像数据的低频部分和高频部分进行合成，并调整到显示范围输出。

3.根据权利要求2所述的宽动态图像处理算法，其特征在于：上述步骤2)中，对原始图像数据运用频率域平滑滤波模块进行平滑滤波，具体步骤为：

2-1)对原始图像数据进行傅里叶变换；

2-2)对傅里叶变换后的图像数据进行平滑滤波；

2-3)对平滑滤波后的图像再进行傅里叶逆变换，并将逆变换后的图像数据输送到作差模块。

4.根据权利要求2的宽动态图像处理算法，其特征在于：上述步骤3)中，作差模块的作差运算的算法为：原始数据图像减去图像数据的低频部分得到图像数据的高频部分。

5.根据权利要求2的宽动态图像处理算法，其特征在于：上述步骤4)中，对图像数据的低频部分进行均衡处理，即直方图投影，直方图输出I_out(i,j)为：

$I_{\mathrm{out}}(i,j)=\frac{B\left(I(i,j)\right)}{n_{\mathrm{valid}}}\×L$

上述(i,j)表示一帧图像中像素点的坐标，B(I(i,j))表示输入图像的累积直方图，n_valid表示一帧图像的有效灰度级，L表示需要投影到的灰度范围。

6.根据权利要求2的宽动态图像处理算法，其特征在于：上述步骤4)中，对图像数据的高频部分进行细节增强，为避免噪声被过度放大，采用自适应增益，增益系数G(i,j)公式为：

G(i,j)＝G_min+(1-V(i,j))×(G_max-G_min)

上述G_max为高增益系数，通常取1.5-2.5；G_min为低增益系数，通常取1；V(i,j)为噪声可见度函数，公式为：

$V(i,j)=\frac{1}{m(i,j).\mathrm{\ω}+1}$

上述m(i,j)是噪声掩膜函数，用于衡量空间细节，ω是可调参数，调整范围为0.5-1.5。

7.根据权利要求2所述的宽动态图像处理算法，其特征在于：上述步骤5)中，对图像数据的高频部分和低频部分进行合成，合成后的输出图像outimage(i,j)公式为：

outimage(i,j)＝Lp(i,j)+Hp(i,j)

其中lp(i,j)为图像数据经直方图均衡后的低频部分，Hp(i,j)为图像数据经增强后的高频部分。

8.根据权利要求2所述的宽动态图像处理算法，其特征在于：上述步骤5)中，调整输出方法如下：将合成后的输出图像调整到10bits，作为输出图像数据，若合成后的图像数据超出10bits，则输出图像数据设为1023；反之，则输出数据取合成后的数据的低10bits。