CN102663682A - 基于感兴趣区域的自适应图像增强方法 - Google Patents

Abstract

本发明提出了一种基于感兴趣区域的自适应图像增强方法，包括：读取当前帧图像，并判断帧图像的宏块是否是感兴趣区域，若宏块是感兴趣区域，则利用ASAD算法对感兴趣区域每一个像素点进行计算，以得到感兴趣区域内所有像素点的ASAD值，并通过ASAD值得到ASAD灰度图，对ASAD灰度图进行增强处理，以得到自适应阈值，将自适应阈值和ASAD值进行比较，以得到ASAD掩模图，根据ASAD掩模图对感兴趣区域中的对应标记点进行高斯高通滤波，以得到自适应增强的感兴趣区域，对感兴趣区域和非感兴趣区域的边界进行降质处理。本发明使高频细节在不同帧图像中都得到适当的增强，从而可获得最佳的增强效果。

Description

基于感兴趣区域的自适应图像增强方法

技术领域

本发明涉及多媒体信号处理领域，具体涉及一种基于感兴趣区域的自适应图像增强方法。

背景技术

现有的视频编码技术(如H.264/AVC)虽然可以达到较高的压缩比，获得相对较好的压缩效率，但是当其运用于手机视频通信、桌面即时视频等低码率要求的应用场景中时，往往会由于码率要求过低造成图像/视频主观质量下降，特别是在人眼比较敏感的脸部区域会出现模糊，方块等效应，严重影响视频质量。

为了改善和提升低码率或带宽受限应用中图像/视频主观质量，视频质量增强预处理是一种通用且有效的技术手段。这种方法常常是将图像增强和人眼视觉特性结合起来，首先通过检测视频中的感兴趣区域(Region of Interest，简称ROI，在视频中通常将人脸定为感兴趣区域)，将视频中感兴趣区域设为感兴趣区域，非感兴趣区域设为非感兴趣区域，对感兴趣区域和非感兴趣区域分别采用不同的增强方案，对感兴趣区域采用突出高频和细节的图像增强方法，对非感兴趣区域则采用轻微的模糊处理，采用高斯低通滤波方法来平滑改区域的高频信息，从而达到提升视频主观质量的目的。

虽然上述方法对单幅图像处理效果较好，但当其应用于视频主观质量增强中，会存在如下问题：视频是由连续变化的不同帧图像组成的，每帧图像中感兴趣区域需要增强的强度都不同，当上述方法连续处理不同帧图像时，会出现某些帧边缘增强过度和某些帧边缘增强过弱，从而不能自适应的调整对不同图像的增强强度。

发明内容

本发明的目的在于提供一种基于感兴趣区域的自适应图像增强方法，其使高频细节在不同帧图像中都得到适当的增强，并可以针对不同应用场景、不同的视频内容，依据图像内容自适应调整增强阈值，从而获得最佳的增强效果。

本发明是通过以下技术方案实现的：

一种基于感兴趣区域的自适应图像增强方法，包括以下步骤：

(1)读取当前帧图像，并判断帧图像的宏块是否是感兴趣区域，若宏块是感兴趣区域，则转入步骤(2)，若宏块是非感兴趣区域，则转入步骤(6)；

(2)利用ASAD算法对感兴趣区域每一个像素点进行计算，以得到感兴趣区域内所有像素点的ASAD值，并通过ASAD值得到ASAD灰度图；

(3)对ASAD掩膜图进行自适应增强处理，以得到自适应阈值Th；

(4)将自适应阈值Th和ASAD值进行比较，以得到ASAD掩模图，具体包括：

(4-1)判断ASAD图中第一个像素点的ASAD值是否大于或等于像素点的自适应阈值Th，如果ASAD值大于或等于自适应阈值Th，则转入步骤(4-2)，否则转入步骤(4-3)；

(4-2)将ASAD图中像素点的ASAD值赋值为1，帧图像的感兴趣区域中对应的像素点是边界点，且边界点作为标记点，然后转入步骤(4-4)；

(4-3)将ASAD图中像素点的ASAD值赋值为0；

(4-4)对于ASAD图中的所有像素点，重复上述步骤(4-1)至(4-3)，直到所有像素点都处理完毕为止；

(4-5)通过标记点得到ROI区域的ASAD掩模图；

(5)根据掩模图对感兴趣区域中的对应标记点进行高斯高通滤波，以得到自适应增强的感兴趣区域，然后转入步骤(7)；

(6)对非感兴趣区域进行高斯低通滤波；

(7)对感兴趣区域和非感兴趣区域的边界进行降质处理；

(8)进入到下一帧图像，并重复执行上述步骤(1)至(7)，直到所有帧图像都处理完毕为止。

与传统的图像增强或结合人眼视觉特性增强的方法相比，本发明具有以下的优点和技术效果：

1、本发明充分考虑了视频自身连续特性以及自适应的调整增强策略；

2、本发明利用人眼视觉的特性，对每一帧图像的感兴趣区域进行有针对性的增强，并适应视频通信中人眼的观察，有效消除了传统图像增强使部分区域失真的现象，因此本发明利用每一帧图像感兴趣区域中高频点的数目大小严格控制滤波点的多少。

附图说明

图1是本发明基于感兴趣区域的自适应图像增强方法的流程图。

图2(a)和(d)是采用传统的H.264编码方法得到的图像。

图2(b)和(e)是采用传统的图像增强方法结合H.264编码方法得到的图像。

图2(c)和(f)是采用本发明的方法结合H.264编码方法得到的图像。

具体实施方式

以下首先对本发明的技术术语进行解释和说明：

宏块：英文为Macroblock，是视频编码技术中的一个基本概念。在视频编码中，一个编码图像通常划分成若干宏块组成，亮度宏块为16x16大小的像素块。

掩膜图：英文为Masked Picture，对一帧图像做处理时，以此掩模图的标记为准，对帧图像中对应点做处理。

下面结合附图对本发明的技术方案作进一步的描述。

如图1所示，本发明基于感兴趣区域的自适应图像增强方法包括以下步骤：

(1)读取当前帧图像，并判断帧图像的宏块是否是感兴趣区域(Region Of Interest，简称ROI)，若宏块是感兴趣区域，则转入步骤(2)，若宏块是非感兴趣区域，则转入步骤(6)；由于本发明主要针对桌面视频、视频通话等应用场景，实时性要求很高，故感兴趣区域检测采用肤色特性对宏块进行初步的判断和标记，然后利用数字形态学和滤波的方法对标记宏块进一步处理，以提高检测的精确度，实验表明，该方法不仅复杂度很低而且检测到的感兴趣区域的准确度很高；

(2)利用绝对差的平均和(Average Sum of Absolute Difference，简称ASAD)算法对感兴趣区域每一个像素点进行计算，以得到该感兴趣区域内所有像素点的ASAD值，并通过ASAD值得到ASAD灰度图；具体而言，ASAD算法如下：

$\mathrm{ASAD}=\frac{{\mathrm{\Σ}}_{m=0,n=0}^{m=M,n=N}[I(x,y)-I(x+m,y+n)]}{\mathrm{MN}-1}$

其中I(x，y)是感兴趣区域中坐标为(x，y)的像素点的亮度值，m、n是计数变量，M、N是大小为M*N的模板。

由计算得到的感兴趣区域的ASAD值可得到ASAD的灰度图。整个区域的灰度特点是平坦区域的ASAD值较小，高频边界区域的ASAD值都较大，而介于边界和平坦区域的纹理区则介于两者之间，因此利用这一特性，可以实现高频信息的主动选择，以及自适应的图像增强；

(3)对ASAD灰度图进行自适应增强处理，以得到自适应阈值Th；由于视频是由连续变化的不同场景的图像组成的，因此单一的图像增强算法无法满足视频编码中的要求。本步骤具体为：首先累积出ASAD灰度图中ASAD值大于3的像素点的数量，即计算出纹理区和边界区的像素点总数，用该数量乘以0.5的系数后所得到的数值作为自适应阈值Th的评价标准，根据累积分布函数，统计ASAD值的累积分布区间，当ASAD灰度图中像素值大于某一数值的ASAD值的累积分布和评价标准相比较，前者大于后者时，则该数值即为所求的自适应阈值Th。

根据纹理区和边界区的总数多少是由感兴趣区域的复杂程度决定的，因此该阈值可以根据不同帧图像的复杂程度来决定图像增强的强度，而乘以0.5的系数是经过尝试不同系数试验后得到的、人眼对感兴趣区域增强的最舒适强度；

(4)将自适应阈值Th和ASAD值进行比较，得到ASAD掩模图；

(4-1)判断ASAD图中第一个像素点的ASAD值是否大于或等于该像素点的自适应阈值Th，如果ASAD值大于或等于自适应阈值Th，则转入步骤(4-2)，否则转入步骤(4-3)；

(4-2)将ASAD图中该像素点的ASAD值赋值为1，并转入步骤(4-4)；当ASAD值为1时，表明帧图像感兴趣区域中对应的该像素点是边界点，该边界点作为标记点；

(4-3)将ASAD图中该像素点的ASAD值赋值为0，表明帧图像感兴趣区域中对应的该像素点是非边界点；

(4-4)对于ASAD图中的所有像素点，重复上述步骤(4-1)至(4-3)，直到所有像素点都处理完毕为止；

(4-5)通过标记点得到ROI区域的ASAD掩模图；

(5)根据得到的标记图，对感兴趣区域中对应标记点进行高斯高通滤波，得到自适应增强的感兴趣区域，然后转入步骤(8)；具体而言，主要是对感兴趣区域中的边界进行增强，提升其主观质量，高斯高通模板只作用于被标记的帧图像中的像素点。高斯高通滤波模板为：

$M=\begin{array}{ccc}0& -1& 0\\ -1& 5& -1\\ 0& -1& 0\end{array}$

(6)对非感兴趣区域进行高斯低通滤波；具体而言，非感兴趣区域是人眼不感兴趣区域，对该区域进行一定的平滑处理，利用高斯低通滤波减弱高频信息，有利于视频传输，而且不会使主观质量发生明显失真。高斯低通滤波模板为：

$M=\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}$

(7)对感兴趣区域和非感兴趣区域的边界进行降质处理；具体而言，在感兴趣区域和非感兴趣区域都处理完后，感兴趣区域和非感兴趣区域不同的滤波方案，使感兴趣区域和非感兴趣区域边界存在明显差异。利用处理前的图像分别与感兴趣区域和非感兴趣区域的相关性，取各部分在离边界的距离作为权重进行降质处理，从而使边界区域得到很好的过度。

边界降质算法如下所示：

$Z_k=\frac{W_{\mathrm{nR}}{I}_{\mathrm{nR}}(x,y)+W_{\mathrm{in}}I(x,y)+W_R{I}_R(x,y)}{W_{\mathrm{nR}}+W_{\mathrm{in}}+W_R}$

其中Z_k是坐标为(x，y)的像素点降质后的像素值，W_nR+W_in+W_R＝1，0≤(W_nR，W_in，W_R)≤1，W_nR是非感兴趣区域权值，I_nR(x，y)是非感兴趣区域中坐标为(x，y)的像素点的像素值，W_in是输入图像的权值，I(x，y)是原始图像中坐标为(x，y)的像素点的像素值，W_R是感兴趣区域的权值，I_R(x，y)是感兴趣区域中坐标为(x，y)的像素点的像素值。这样，是边界区域得到了很好的过度。

(8)进入到下一帧图像，并重复执行上述步骤(1)至(7)，直到所有帧图像都处理完毕为止。

如图2所示，将本发明的方法和传统的图像增强方法进行比较，做了一系列的对比试验，具体测试条件如下：试验选取摄像头采集的序列boy_little和meilijian_large序列，均为300帧，固定码率为150kbps，帧率为25f/s。

在图2的实验结果中，(a)、(b)、(c)分别为boy_little序列基于H.264的不采用图像增强编码的结果、在H.264编码框架上传统的图像增强的结果和在H.264编码框架上基于感兴趣区域的自适应视频增强的结果。图2中的(d)、(e)、(f)分别为meilijian_large序列采用上述三种编码方案的结果。从以上两组结果可以得出如下结论：传统的图像增强方法的主观质量在H.264的基础上都有较大的提升，特别是人脸感兴趣区域较为清晰。本发明在上述方案的基础上增加了自适应增强方案，从而有效的避免了图(b)和图(e)中轮廓出现过增强的现象。相对于其他图像增强方法，本发明着重提升感兴趣区域的主观质量，并采用自适应方法使该方案适应了视频场景不断变化的要求，且适用于低码率的情况。

Claims (1)

1.一种基于感兴趣区域的自适应图像增强方法，其特征在于，包括以下步骤：

(1)读取当前帧图像，并判断所述帧图像的宏块是否是感兴趣区域，若所述宏块是感兴趣区域，则转入步骤(2)，若所述宏块是非感兴趣区域，则转入步骤(6)；

(2)利用ASAD算法对所述感兴趣区域每一个像素点进行计算，以得到所述感兴趣区域内所有像素点的ASAD值，并通过所述ASAD值得到ASAD灰度图；

(3)对所述ASAD掩膜图进行自适应增强处理，以得到自适应阈值Th；

(4)将所述自适应阈值Th和所述ASAD值进行比较，以得到ASAD掩模图，具体包括：

(4-1)判断所述ASAD图中第一个像素点的ASAD值是否大于或等于所述像素点的自适应阈值Th，如果所述ASAD值大于或等于所述自适应阈值Th，则转入步骤(4-2)，否则转入步骤(4-3)；

(4-2)将所述ASAD图中所述像素点的ASAD值赋值为1，

所述帧图像的感兴趣区域中对应的所述像素点是边界点，且所述边界点作为标记点，然后转入步骤(4-4)；

(4-3)将所述ASAD图中所述像素点的ASAD值赋值为0；

(4-4)对于所述ASAD图中的所有像素点，重复上述步骤

(4-1)至(4-3)，直到所有像素点都处理完毕为止；

(4-5)通过所述标记点得到ROI区域的ASAD掩模图；

(5)根据所述掩模图对所述感兴趣区域中的对应标记点进行高斯高通滤波，以得到自适应增强的感兴趣区域，然后转入步骤(7)；

(6)对所述非感兴趣区域进行高斯低通滤波；

(7)对所述感兴趣区域和所述非感兴趣区域的边界进行降质处理；

(8)进入到下一帧图像，并重复执行上述步骤(1)至(7)，直到所有帧图像都处理完毕为止。

Images