CN1992777B

CN1992777B - 提高图像质量的方法及相关图像处理器

Info

Publication number: CN1992777B
Application number: CN2005101341945A
Authority: CN
Inventors: 简弘伦
Original assignee: Princeton Technology Corp
Current assignee: Princeton Technology Corp
Priority date: 2005-12-27
Filing date: 2005-12-27
Publication date: 2010-10-13
Anticipated expiration: 2025-12-27
Also published as: CN1992777A

Abstract

为了提升经高压缩比后的图像质量，对已解码的图像先执行去区块操作，再对已去区块的图像数据执行边缘增强操作，以先去区块再做边缘增强两种方式来提升图像质量。

Description

提高图像质量的方法及相关图像处理器

技术领域

本发明提供一种提高图像质量的方法，尤指一种先执行去区块再执行边缘增强的图像处理方法。

背景技术

目前通行的几种图像编码标准是以区块为单位对图像画面进行编码，并且每一区块的数据通常需经由量子化运算的处理以增进编码过程的数据压缩率，因此该图像画面于解码后的区块边界通常具有不连续现象，此谓区块效应(blocking effect)。

为了使这种肇因于图像编码而产生的不连续现象能够趋缓以改进图像画面的质量，最先进的视频编码标准-H.264以计算边界强度(boundarystrength)来评估各区块之间的不连续程度。接着，利用量子化参数(quantization parameter)的临界值(threshold)来判断不连续的边缘是区块效应还是真实的图像边界。最后，根据边界强度提供不同强度的滤波器以处理不同强度的边缘，相关数据请参阅H.264视频编码标准的文件。虽然经过H.264的去区块处理后可得到质量不错的图像，然而，H.264去区块效应的运算量大且较为复杂，成为H.264视频编码标准的瓶颈。

发明内容

本发明揭露一种提高图像质量的方法，其包含对像素执行去区块操作，以及于该像素执行去区块操作后，对该像素执行边缘增强操作。

本发明还揭露一种提高图像质量的图像处理器，包含：去区块装置，用来对像素执行去区块操作；以及边缘增强装置，耦接于该去区块装置，用来于该像素执行该去区块操作后，对该像素执行边缘增强操作。

附图说明

图1为本发明使用的8*8区块的示意图。

图2为本发明图像处理器的示意图。

图3为本发明去区块操作的流程图。

图4为本发明边缘增强装置与列暂存器运作的示意图。

图5为图4中边缘增强装置所需要的像素数据的示意图。

图6为图4中边缘检测模块的运算方法。

图7为图4中边缘对照模块所使用的预定曲线。

图8与图9为本发明去区块装置、边缘增强装置与列暂存器运作的示意图。

[主要元件标号说明]

10图像处理器 12去区块装置

14边缘增强装置 16列暂存器

17列暂存器 121比较装置

122补偿装置 141边缘检测模块

142边缘对照模块 143增强模块

144增益判断模块

具体实施方式

图像编码标准是以区块为单位对图像画面进行编码，本发明的实施例以8*8的区块大小作为说明。请参阅图1；图1为一个8*8区块的示意图。将区块中各像素以坐标[j][i]的方式表示之，并将区块的边界划分为八个区块边界A～H。区块边界A范围：i为0，j为1～6；区块边界B范围：i为7，j为1～6；区块边界C范围：i为1～6，j为7；区块边界D范围：i为1～6，j为0；区块边界E范围：i为0，j为0；区块边界F范围：i为0，j为7；区块边界G范围：i为7，j为7；区块边界H范围：i为7，j为0。于后有详细说明。

请参阅图2；图2为本发明图像处理器(image processor)10的示意图。图像处理器10包含去区块装置(de-blocking device)12与边缘增强装置(edge enhancer)14，以分别执行去区块操作与边缘增强操作。去区块装置12包含比较装置(comparison device)121与补偿装置(compensationdevice)122，边缘增强装置14包含边缘检测模块(edge-detectingmodule)141、边缘对照模块(edge-comparing module)142、增强模块(enhancement module)143与增益判断模块(gain module)144，于后有详细说明。

请参阅图3；图3为本发明执行去区块操作的流程图，步骤如下：

步骤300：接收图像。

步骤310：判断像素与其相邻像素间的差异是否符合预设的判断式？若符合，则进入步骤320；反之，进入步骤312。

由比较装置121先比较像素及与其相邻像素的像素值的差异，预设的判断式如下：

(delta1＜thrsh1)&(delta2＜thrsh2)&(delta3＜thrsh3)；

本实施例中的thrsh1、thrsh2与thrsh3的数值皆为100。

假若去区块操作的补偿方式为对垂直方向做补偿，则比对该像素于水平方向上的相邻像素，于本实施例中，表达式为以下三式：

delta1＝(float)fabs((double)(SY[j][i-1])-SY[j][i]))；

delta2＝(float)fabs((double)(SY[j][i])-SY[j][i+1]))；

delta3＝(float)fabs((double)(SY[j][i-1])-SY[j][i+1]))。

假若去区块操作的补偿方式为对水平方向做补偿，则比对该像素于垂直方向上的相邻像素，于一实施例中，表达式为以下三式：

delta1＝(float)fabs((double)(SY[j-1][i])-SY[j][i]))；

delta2＝(float)fabs((double)(SY[j][i])-SY[j+1][i]))；

delta3＝(float)fabs((double)(SY[j-1][i])-SY[j+1][i]))。

假若三个delta值皆小于相对的默认值，则表示该像素于其它相邻像素间，可能存在着区块效应，接着进入步骤320。反之，则表示该像素与其它相邻像素之间存在着真实的图像差异，因此不对该像素做任何补偿的操作，进入步骤312。

步骤312：将结果RSY设定为该像素的像素值，如RSY[j][i]＝SY[j][i]，其中RSY代表去区块后的像素值，SY代表原始的像素值。接着，进入步骤340。

步骤320：判断该像素是否属于图1中某一区块边界A～H内，若为其中一区块边界内，则进入步骤330。若该像素不属于任何一个区块边界，则进入步骤312。

补偿装置122先判断该像素是否属于某一区块边界内(区块边界A～H)的像素，若该像素属于区块边界A～H其中一个区块边界内，进入步骤330，反之，进入步骤312，将结果RSY设定为该像素的像素值，如RSY[j][i]＝SY[j][i]。

步骤330；根据对应于该区块边界的条件对该像素执行去区块操作。

步骤340：将经去区块后的该像素的像素值输出至边缘增强装置14。

步骤330中，补偿装置122根据该像素所属的区块边界的条件做补偿，于本实施例中，各区块边界的补偿方式如下：

区块边界A：

RSY[j][i]＝0.1667*(SY[j][i-1]+2*SY[j][i]+2*SY[j][i+1]+SY[j][i+2])；

区块边界B：

RSY[j][i]＝0.1667*(SY[j][i-1]+2*SY[j][i]+2*SY[j][i+1]+SY[j][i+2])；

RSY[j][i-1]＝0.2*(2*SY[j][i-1]+SY[j][i]+SY[j][i+1]+SY[j][i+2])；

区块边界C：

RSY[j][i]＝0.2*(SY[j-2][i]+2*SY[j-1][i]+2*SY[j][i])；

RSY[j-1][i]＝0.25*(SY[j-2][i]+2*SY[j-1][i]+SY[j][i])；

区块边界D：

RSY[j][i]＝0.2*(SY[j-2][i]+2*SY[j-1][i]+2*SY[j][i])；

区块边界E：

RSY[j][i]＝0.2*(2*SY[j][i]+SY[j][i-1]+SY[j-1][i-1]+SY[j-1][i])；

区块边界F：

RSY[j][i]＝0.2*(2*SY[j][i]+SY[j][i-1]+SY[j+1][i-1]+SY[j+1][i])；

区块边界G：

RSY[j][i]＝0.2*(2*SY[j][i]+SY[j][i+1]+SY[j+1][i]+SY[j+1][i+1])；

区块边界H：

RSY[j][i]＝0.2*(2*SY[j][i]+SY[j][i+1]+SY[j-1][i]+SY[j-1][i+1])。

接着说明边缘增强装置14如何执行边缘增强操作。请参阅图4与图5；图4为本发明边缘增强装置14与列暂存器16、17运作的示意图；图5为边缘增强装置14所需要的像素数据的示意图。假设去区块装置12已对像素y5执行完去区块操作，得到像素y5’，并将像素y5’输入至边缘增强装置14执行边缘增强操作，此时边缘增强装置14需要取得相邻于原像素y5的像素，如图5中y1～y4与y6～y9八个相邻的像素。

于图4中，边缘检测模块141接收新像素数据y7～y9、接收经去区块装置12处理后的像素数据y5’以及自列暂存器16、17取得像素y1～y4与y6。请参阅图6；图6为图4中边缘检测模块141的运算方法，以判断像素y5’的边缘强度值，其结果如下：

y5”＝1/8*[4*y5’-(y1+y3+y7+y9)]；

将以上所运算出的y5”带入图4中的边缘对照模块142中以将边缘强度值y5”转换成边缘值y_edge，请参阅图7；图7为图4中边缘对照模块142所使用的预定曲线，依据预定曲线以求得相对应于边缘强度值y5”的边缘值y_edge。

本实施例中曲线的死区(dead zone)范围为y5”介于-10与10之间，藉此避免一些微小的噪声被放大，因此边缘值y_edge为0，也就是不执行边缘增强操作。当y5”大于60或小于-60时，代表像素y5’与相邻像素间的边缘差异较大，为了避免原本已经极大的边缘差异过度放大，因此当y5”于此两个区间内时，设定边缘值y_edge的上下限为50与-50；而y5”介于-10与-60之间以及10与60之间的边缘值y_edge为线性关系，其斜率为1。图7的曲线可为其它曲线，并无限定于以上所述的数据。

另外，图4中的增益判断模块144判断原像素y5是否位于图1中某一区块边界A～H，若位于其中一区块边界内，则将最后的增益值R_gain设定为gain*0.5；反之，将最后的增益值R_gain设定为gain。这是由于去区块装置12可能已经对区块边界A～H的像素先执行了去区块操作，为了避免将已去区块的像素再度强化，因此将位于区块边界A～H的像素的增益值gain乘上一个小于1的倍数，以使区块边界A～H内的像素的增强小于其它区域的像素，此实施例中乘上0.5倍，而gain的设定值为0.4。

最后，由图4中的增强模块143根据所求得的y_edge与R_gain以及从去区块装置12取得的像素y5’，对像素y5’做边缘增强操作，而所得到的增强结果为y_enh，即完成边缘增强操作。

请参阅图8与图9；图8与图9为去区块装置12、边缘增强装置14与列暂存器16、17运作的示意图。本发明所使用的列暂存器数目为两列，假设列暂存器16已存有y1、y2、y3...等像素数据，而列暂存器17已存有y4、y5、y6...等像素数据，新进来的y7、y8、y9...等像素数据会输入至去区块装置12与边缘增强装置14，此时去区块装置12会存取列暂存器16、17内的像素数据以依序对新进来的像素数据y7、y8、y9...等作去区块操作，再依序将去区块后的结果y7’、y8’、y9’...等输入至边缘增强装置14。而边缘增强装置14此时会先存取列暂存器16、17内的像素数据以及根据新进来的像素数据y7、y8、y9...等对去区块装置12输入的y4’、y5’、y6’...等作边缘增强操作，再将边缘增强的结果y4”、y5”、y6”...等依序输出。此外，当去区块装置12与边缘增强装置14对列暂存器16存取所需要的数据后，原本存于列暂存器16的y1、y2、y3...等像素数据会被新进来的像素数据y7、y8、y9...等像素数据覆盖过去，以继续处理下一列新进来的z7、z8、z9...等像素数据，如图9所示。因此本发明只需要两列的列暂存器16、17，就可执行图像去区块操作及边缘增强操作。

本发明图像处理方法结合了去区块操作以及边缘增强操作两种方式，以提升经高压缩比后的图像质量。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种提高图像质量的方法，其包含：

对像素执行去区块操作；以及

于该像素执行该去区块操作后，对该像素执行边缘增强操作，其中对该像素执行边缘增强操作包括：

运算该像素的边缘强度值，其中该像素的边缘强度根据公式

y5”＝1/8*[4*y5’-(y1+y3+y7+y9)]

进行计算，其中，y5”表示该像素的边缘强度，y5’表示对像素y5执行去区块处理后的去区块像素，而y1、y3、y7、y9表示具有作为中心像素的y5的像素矩阵的角落像素；

将该像素的边缘强度值转换成该像素的边缘值；

判断该像素是否属于区块边界内的像素以及根据该像素所属的该区块边界的条件设定该像素边缘增强的增益值；

根据该像素的像素值、该像素边缘增强的增益值与该像素的边缘值对该像素执行该边缘增强操作，其中，该边缘增强处理根据公式：

Y_enh＝y5’+y_edge*R_gain

来执行，其中Y_enh表示增强处理的结果，y_edge表示该像素的边缘值，以及R_gain表示该像素的边缘增强增益。

2.根据权利要求1所述的方法，其中对该像素执行该去区块操作包含比较该像素及与其相邻像素的像素值差异是否小于第一像素差值，以及比较与该像素相邻的两像素的像素值差异是否小于第二像素差值。

3.根据权利要求1所述的方法，其中对该像素执行该边缘增强操作包含判断该像素是否属于区块边界内的像素，以及检测该像素与邻近像素的差异，并依据该像素与邻近像素的差异及该像素是否属于该区块边界内的像素对该像素执行该边缘增强操作。

4.根据权利要求1所述的方法，其中对该像素执行该边缘增强操作包含检测该像素与邻近像素的差异，其中对该像素执行边缘增强是依据该像素与邻近像素的差异对该像素执行该边缘增强操作。

5.一种提高图像质量的图像处理器，包含：

去区块装置，用来对像素执行去区块操作；以及

边缘增强装置，耦接于该去区块装置，用来于该像素执行该去区块操作后，对该像素执行边缘增强操作，

其中，该边缘增强装置包含：

边缘检测模块，用来运算该像素的边缘强度值，其中该像素的边缘强度根据公式

y5”＝1/8*[4*y5’-(y1+y3+y7+y9)]

边缘对照模块，耦接于该边缘检测模块，用来将该像素的边缘强度值转换成该像素的边缘值；

增益判断模块，用以判断该像素是否属于区块边界内的像素以及根据该像素所属的该区块边界的条件设定该像素边缘增强的增益值；以及

增强模块，耦接于该边缘对照模块及该增益判断模块，用以根据该像素的像素值、该像素边缘增强的增益值与该像素的边缘值对该像素执行该边缘增强操作，其中，该边缘增强处理根据公式：

Y_enh＝y5’+y_edge*R_gain

6.根据权利要求5所述的图像处理器，其中该去区块装置包含比较装置，用来比较该像素及与其相邻像素的像素值差异是否小于第一像素差值，以及比较与该像素相邻的两像素的像素值差异是否小于第二像素差值。

7.根据权利要求6所述的图像处理器，其中该去区块装置包含补偿装置，耦接于该比较装置，用来判断该像素是否属于区块边界内的像素以及根据该像素所属的该区块边界的条件对该像素执行该去区块操作。

8.根据权利要求5所述的图像处理器，其中该边缘增强装置用来依据该像素与邻近像素的差异及该像素是否属于区块边界内的像素对该像素执行该边缘增强操作。

9.根据权利要求5所述的图像处理器，其中该边缘增强装置用来依据该像素与邻近像素的差异对该像素执行该边缘增强操作。