CN1688163A - 基于感知清晰度的图像处理方法和装置 - Google Patents

Abstract

本发明涉及一种基于感知清晰度的图像处理方法和装置，本发明方法对所需处理图像计算基于感知清晰度的图像清晰度估计阈值；将基于清晰度的清晰度估计阈值参数对整幅图像进行自适应增强。本发明装置包括计算装置和增强装置。本发明与现有技术相比具有如下优点：充分利用人眼的感知清晰度机理，能消除人眼不敏感的边缘信息，能有效去除数据冗余，提高数据的紧致性，最终提高图像表达质量，使图像压缩效率更佳。

Description

基于感知清晰度的图像处理方法和装置

                   技术领域

本发明涉及一种视频图像的处理方法，特别是涉及一种基于感知清晰度的图像处理方法和装置。

                   背景技术

随着数字信号技术和计算机网络的发展，图像的应用领域越来越广，在数字电视、万维网(WWW)、实时多媒体监控、低比特率下的移动多媒体通信、于内容存储和检索多媒系统、Internet/Intranet上的视频流与可视游戏、基于面部表情模拟的虚拟会议、DVD上的交互多媒体应用、基于计算机网络的可视化合作实验室场景应用等领域，需要处理大量的图像数据、视频数据，但是当前资源有限和大量的图像数据和视频数据之间存在着矛盾，因此有必要对图像进行压缩。从图像压缩角度而言，其目的是以最小的数据量重现原始信息，因此不管采取变换、扫描，还是量化，算法的本质特征是能使图像变换之后变换系数统计分布的方差较小，非零系数更集中，能形成更多的零系数块，最终传输的数据量达到最少。根据图像压缩研究结果表明，在预处理原始图像后再进行视频数据压缩是可以提高数据压缩比的，但提高比率与具体的图像内容有很大关系。对于压缩算法的质量，其评价是根据压缩前图像和恢复后图像来计算的，但是压缩前图像有原始视频图像和预处理后视频图像两种，因此所造成的压缩率是完全不同的，预处理图像的压缩率是明显的。因此对原始视频图像的预处理的关键性的技术问题在于：以何种处理算法来改善预处理后视频图像的视觉效果，而不是保真数据本身；以及，如何控制原始视频图像和预处理后视频图像之间的失真，使得视觉不可察觉。图1是现有运动图像在压缩之前的处理流程示意图。其方法是：外界图像经由图像采集设备101采集得到完整的原始视频图像S1，视频图像S1再进入图像滤波器102，经过处理后得到预处理后视频图像S2，对预处理后视频图像S2可以进行图像压缩算法103进行数据的压缩。最后得到压缩视频码流S3。

在图像预处理中，常用的方法如图像增强，它是指对图像的某些特征，如边缘、轮廓、对比度等进行强化或尖锐化，以便于进一步分析与处理。增强并不增加图像数据中的相关信息，但它会增加所选特征的动态范围，从而使这些特征检测或识别更容易。图像增强的主要方法可分为四类：基于点运算的方法(如灰度级变换、动态范围调整、直方图均衡化等)、基于空间运算的方法(如噪声平滑、图像锐化、反对比度映射和统计比例尺度变换等)、基于变换域运算的方法(如通带滤波，包括低通、带通和高通滤波)、彩色增强方法。

虽然，在相同的压缩算法前提下，压缩效率的提高依赖于对采集设备采集得到的图像的预处理过程。在图像采集设备采集到视频图像后，由于各种干扰的存在，会存在许多噪声，如颗粒噪声，这类噪声可以使用边缘保持空间滤波的方法很容易去除，如使用中值滤波、各种一阶微分算子都能达到要求；另外，一般情况下，都会使用增强的方法对图像进行预处理，但我们已经提到这类操作并不增加图像信息，不能有助于图像本身的紧致性，还不能很好改善当前充分地有效地利用有限带宽的问题。

                       发明内容

本发明的目的是提供一种在保证图像视觉效果的前提下，提高视频数据的紧致性，从而真正达到高数据压缩比的图像处理的基于感知清晰度的图像处理方法和装置，以克服上述现有技术存在的问题。

为了实现上述目的，本发明所采用的技术方案是：

一种基于感知(人们肉眼所看到图像的视觉效果)清晰度的图像处理方法，该方法对输入采集的图像进行处理，为输出的图像压缩作准备，其特点是：所述输入采集的图像处理方法按以下步骤进行：

第一步骤：对所需处理图像计算基于感知清晰度的图像清晰度估计阈值；

第二步骤：将基于清晰度的清晰度估计阈值参数对整幅图像进行自适应增强。

上述第一步骤包括：计算像素位置的清晰度，以及像素位置清晰度估计阈值的自适应选择；和所述第二步骤包括：利用基于清晰度的清晰度估计阈值对整幅图像进行边缘检测，得到图像的有效边缘，对图像边缘进行自适应滤波器处理，亦即根据感知清晰度敏感阈值参数，对图像有效边缘进行自适应滤波处理，将有效边缘区域增强，非边缘区域抑制，提高图像有效信息量；最后得到经处理待压缩的视频图像。

所述计算像素位置清晰度，基于像素位置的灰度梯度值与像素位置边缘方向的能量，并利用这两者之间的预定关系，计算像素的清晰度值。

所述像素位置的灰度梯度计算为：基于本像素位置与周围像素位置的差值的最大值或绝对值，来计算像素位置的灰度梯度值。

所述的像素的边缘方向能量计算为：在像素位置邻域范围内求得能量平均；以像素位置邻域范围能量平均最大作为像素位置的边缘方向，并以该方向的能量平均作为该点边缘方向的能量。

所述图像清晰度阈值估计，基于像素位置的清晰度值的集合，按照预定的计算公式，通过像素位置的梯度最大值和边缘方向的灰度平均能量的乘积自适应地得到清晰度阈值门限。

所述图像有效边缘检测，基于像素位置的清晰度阈值门限，对图像进行分类，大于清晰度阈值门限的点为边缘，小于清晰度阈值门限的点则是非图像边缘，最终得到图像的有效边缘。

本发明还提供一种基于感知清晰度的图像处理装置，它包括图像采集装置、图像处理装置和图像压缩装置，其中图像采集装置的输出端与图像处理装置输入端连接，图像处理装置的输出通过图像压缩装置输出压缩图像，其特点是：图像处理装置包括

计算装置：对输入图像进行计算基于感知清晰度的图像清晰度估计阈值；

增强装置：将基于清晰度的清晰度估计阈值参数对整幅图像进行自适应增强。

上述计算装置包括

像素位置计算装置：计算像素位置的清晰度；

估计阈值装置：对像素位置清晰度估计阈值的自适应选择。

上述增强装置包括

检测装置：利用基于清晰度的清晰度估计阈值对整幅图像进行边缘检测，得到图像的有效边缘；

滤波装置：根据感知清晰度敏感阈值参数，对图像有效边缘进行自适应滤波处理；

输出装置：将图像有效边缘区域增强，非边缘区域抑制，提高图像有效信息量，最后得到经处理待压缩的视频图像输出。

本发明与传统方法不同的是，本发明图像处理方法先根据图像的退化模型进行感知清晰度自适应检测和图像复原预处理，提升图像视觉效果或视觉清晰度，然后在恢复图像清晰度保持条件下，加大压缩算法的数据压缩比。由于预处理的本质是通过抑制清晰度不敏感的图像数据，使得图像变换系数的视觉敏感的低频系数分量更集中；视觉不敏感高频系数更加接近于零；视觉敏感高频系数变得更加大也就是清晰度更大。从而使得图像变换非零系数的统计分布更加集中，而且零系数更多。由上述方法可见，恰当的预处理方法是可以改善图像质量的。

本发明与现有技术相比具有如下优点：充分利用人眼的感知清晰度机理，能消除人眼不敏感的边缘信息，能有效去除数据冗余，提高数据的紧致性，最终提高图像表达质量，使图像压缩效率更佳。

                      附图说明

图1为现有的图像压缩算法流程示意图。

图2为本发明图像预处理和压缩流程示意图。

图3为本发明的实施例的图像处理方法的组成示意图。

图4为本发明的实施例的图像处理方法的流程图。

图5为本发明图像处理装置的原理框图。

                   具体实施方式

下面结合附图和实施例对本发明作进一步地描述，但下述实施例不应理解为对本发明的限制。

参考图2，图像处理流程包括，图像采集设备将采集得到的视频数据输入到图像预处理的视频数据缓冲区；图像预处理1201对视频数据缓冲区的数据进行初步的处理，即视频数据进行模糊处理1301和噪声去除1302，然后将数据输入到基于感知清晰度的图像降噪处理1202的视频数据缓冲区；基于感知清晰度的图像降噪处理1202对缓冲区的数据进行清晰度处理，具体的流程参考图3；图像压缩算法1203对降噪处理过后的视频数据采用指定的压缩编码算法进行编码，最后到图像传输网络进行压缩码流的传输。

参考图3，其中图像预处理部分(1301、1302)，由于视频图像都存在一定的运动，采集视频图像势必造成一定的运动模糊，采用维纳滤波等相关方法进行去模糊处理，然后去除图像采集设备所造成的噪声。

参考图3，经过预处理后的视频数据，进入清晰度处理部分，首先输入到清晰度估计1303进行清晰度估计，它主要是涉及像素位置的梯度最大值和边缘方向的灰度平均能量，两者做如下运算：

            清晰度＝梯度最大值*边缘方向的灰度平均值

需要注意的是，边缘方向是这样确定的，每个像素的8邻域可以有4个方向，水平、垂直、左斜45度、右斜45度。对这四个方向的灰度平均值，求其最大作为其边缘方向的灰度平均值。

在得到像素的清晰度以后，对整幅图像进行清晰度阈值的估计，得到阈值TH。

阈值TH输入到边缘检测1304，对整幅图像进行边缘检测操作，超过阈值的，表示该点像素位置是个边缘，小于则表示不是边缘，如下式：

$E(x,y)=\left\{\begin{array}{cc}1,& f(x,y)>\mathrm{TH}\\ 0,& f(x,y)<\mathrm{TH}\end{array}\right.$

将清晰度估计1303得到的阈值和边缘检测1304得到的边缘信息一起输入到自适应滤波1305，自适应滤波1305是按照预定公式对整幅视频图像进行滤波处理。最后，输入到图像压缩算法1306进行视频压缩处理。

参考图4是整个算法实现的具体流程图，其流程如下：将预处理后的视频数据进行像素位置梯度计算1401及像素方向平均能量1402计算；由这两个参数得到像素清晰度1403；判断是否完成整幅图像的像素扫描，如果完成则进行阈值估计1404，否则再回到像素位置梯度计算；利用阈值对整幅图像进行边缘检测；对整幅图像进行边缘清晰度增强；最后提高整幅图像的对比度。

由上述过程可知，本发明是根据人眼对边缘信息比较敏感的特点，不但提高图像的清晰度和图像质量，而且能提高压缩比，有效地使用媒体记录载体。

本发明在实际运用时，其工作流程如下：

(一)调用图像采集模块获取原始图像数据；

(二)调用图像预处理模块，将逐个进行以下的图像预处理：

1)去运动模糊：根据图像的运动方向，在相应的方向上进行模糊处理；

2)去除噪声：利用中值滤波算法去除噪声；

(三)调用感知清晰度的图像处理，

1)清晰度估计：确定图像的清晰度阈值，最后确定边缘增益控制参数；

2)自适应滤波：根据第1)步得到的清晰度阈值，对相应的边缘区域进行自适应处理，敏感边缘增强，不敏感区域抑制；

(四)对第三步处理后的图像，调用图像编码算法，得到图像编码流；

(五)如需要传输图像或告警信息，将第五步得到图像码流向监控中心传输；

(六)返回至第二步循环处理。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1、一种基于感知清晰度的图像处理方法，该方法对输入采集的图像进行处理，为输出的图像压缩做准备，其特征在于：所述输入采集的图像处理按以下步骤进行：

第一步骤：对所需处理图像进行计算基于感知清晰度机制的图像清晰度估计阈值；

第二步骤：将基于清晰度机制的清晰度估计阈值参数对整幅图像进行自适应增强。

2、如权利要求1所述的基于感知清晰度的图像处理方法，其特征在于：

所述第一步骤包括：计算像素位置的清晰度，以及像素位置清晰度估计阈值的自适应选择；

所述第二步骤包括：利用基于清晰度机制的清晰度估计阈值对整幅图像进行边缘检测，得到图像的有效边缘，根据感知清晰度敏感阈值参数，对图像有效边缘进行自适应滤波处理，将有效边缘区域增强，非边缘区域抑制。

3、如权利要求2所述的基于感知清晰度的图像处理方法，其特征在于：计算像素位置清晰度是基于像素位置的灰度梯度值与像素位置边缘方向的能量，并利用这两者之间的关系，计算像素的清晰度值。

4、如权利要求3所述的基于感知清晰度的图像处理方法，其特征在于：像素位置的灰度梯度计算为是基于本像素位置与周围像素位置的差值的最大值或绝对值，来计算像素位置的灰度梯度值。

5、如权利要求3所述的基于感知清晰度的图像处理方法，其特征在于：像素的边缘方向能量计算是像素位置邻域范围求得能量平均，以像素位置邻域范围能量平均最大作为像素位置的边缘方向，并以该方向的能量平均作为该点边缘方向的能量。

6、如权利要求2所述的基于感知清晰度的图像处理方法，其特征在于：所述图像清晰度阈值估计是基于像素位置的清晰度值的集合，按照预定的计算公式，自适应地得到清晰度阈值门限。

7、如权利要求2所述的基于感知清晰度的图像处理方法，其特征在于：所述图像有效边缘检测是基于像素位置的清晰度阈值门限，对图像进行分类，得到图像的有效边缘。

8、一种基于感知清晰度的图像处理装置，它包括图像采集装置、图像处理装置和图像压缩装置，其中图像采集装置的输出端与图像处理装置输入端连接，图像处理装置的输出通过图像压缩装置输出压缩图像，其特征在于：图像处理装置包括

计算装置：对输入图像进行计算基于感知清晰度的图像清晰度估计阈值；

增强装置：将基于清晰度的清晰度估计阈值参数对整幅图像进行自适应增强。

9、如权利要求8所述的基于感知清晰度的图像处理装置，其特征在于：计算装置包括

像素位置计算装置：计算像素位置的清晰度；

估计阈值装置：对像素位置清晰度估计阈值的自适应选择。

10、如权利要求8所述的基于感知清晰度的图像处理装置，其特征在于：增强装置包括

检测装置：利用基于清晰度的清晰度估计阈值对整幅图像进行边缘检测，得到图像的有效边缘；

滤波装置：根据感知清晰度敏感阈值参数，对图像有效边缘进行自适应滤波处理；

输出装置：将图像有效边缘区域增强，非边缘区域抑制，提高图像有效信息量，最后得到经处理待压缩的视频图像输出。

Images