CN1833448A - 区块假象检测 - Google Patents

Abstract

本发明披露了一种用于检测视频信号中的区块假象的区块假象检测装置(100)。所述区块假象检测装置(100)包括：计算装置(102)，用于根据视频信号来计算梯度信号；建立装置(104)，用于建立与梯度信号的各个局部最大值对应的样本列表；直方图确定装置(106)，用于确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本间第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本间第二距离对应；和分析装置(108)，用于分析样本间距离的直方图并用于根据所述直方图来产生区块假象指示符。

Description

区块假象检测

技术领域

本发明涉及一种用于检测视频信号中的区块假象的区块假象检测装置。

本发明还涉及一种图像处理装置，其包括：

-接收装置，用于接收与一序列输入图像对应的视频信号；

-所述区块假象检测装置；和

-用于根据所述输入图像序列来计算输出图像序列的图像处理单元，所述图像处理单元由区块假象检测装置控制。

本发明还涉及一种检测视频信号中的区块假象的方法。

本发明还涉及一种由计算机装置加载的计算机程序产品，其包括用于检测视频信号中的区块假象的指令，所述计算机装置包括处理装置和存储器。

背景技术

由基于区块的数字编码方案(例如MPEG2或H.264)引起的在视频帧中出现所谓的成块假象或区块假象在视频处理领域已经变成日益严重的问题。尤其是在高清晰显示装置上，这些假象可能会极大的降低感知的图像质量。更严重的是图像增强单元不但增强原始资料的边缘，而且还会放大这些区块边缘假象，这甚至会进一步恶化图像质量。

区块假象在由用户装置例如电视接收之前被引入到传送链中。区块假象的出现是由单独处理单个像素块的不完美且有损压缩方案而引起的。这些数字编码假象在卫星传送之前可例如出现在有损压缩中，在卫星传送之后就可由模拟装置来进一步广播视频信号。在这种典型的情况中，关于块位置和大小的信息或来自数字压缩的任何其它参数在模拟视频信号中并不是直接可获得的。为了估计区块假象的存在情况和可见性，需要一种从视频信号提取该信息的装置和方法：以定位假象并测量它们的可见性。

区块假象指示符表示这种类型的信息。可应用区块假象指示符来控制进一步的图像处理。例如在具有相对很多的区块假象的视频信号的情况中，控制(或关闭)锐化单元。可应用可选择地处理例如平滑来减少这些区块假象。

开头段落中所述种类的方法的一个实施例可从WO 01/20912获知。该已知方法包括用梯度滤波器对输入信号进行滤波以提供滤波信号的步骤和计算区块层级量度(level metric)即区块假象指示符的步骤，所述块层级量度用于对滤波信号进行处理，以识别和计数作为它们在栅格中位置的函数的成块假象。该已知方法对于预定块栅格大小(gridsize)的有界集合工作良好。不幸的是，由于在从发射到接收的链中的某处空间缩放了由视频信号所表示的图像数据，所以所接收的视频信号中的区块假象的实际空间大小常常不同于所述预定块栅格大小的有界集合的大小。

发明内容

本发明的目的是提供一种开头段落中所述种类的区块假象检测装置，其是相对健壮的。

本发明的这一目的是由这样的区块假象检测装置实现的，即其包括：

-计算装置，用于根据视频信号来计算梯度信号；

-建立装置，用于建立与梯度信号的各个局部最大值对应的样本列表；

-直方图确定装置，用于确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本之间的第二距离对应；和

-分析装置，用于分析样本间距离的直方图并用于根据所述直方图来产生区块假象指示符。

本发明的一个重要方面是样本间距离的直方图是根据与滑动窗口内的梯度信号的各个局部最大值对应的样本组的样本之间的所有距离而产生的。这意味着移动孔径内的样本之间的所有距离位于样本列表的一部分上。因此，不仅考虑了相邻样本之间的距离，而且考虑了空间邻位上的所有样本之间的相互距离。除此以外，在建立直方图时，就不用应用先前的距离，即不用考虑预定数量的像素距离。那意味着不但例如8像素的样本之间的距离都被计数在内，而且由整数像素表达的孔径范围内的样本之间的所有距离也被计数在内。借助于对包括所有距离信息的直方图进行适当分析，来提供区块假象指示符。所述分析包括从直方图选择与特定样本间距离对应的主要框体(dominant bin)，并且可选择地将那个框体的值与相邻框体的值结合。

在根据本发明的区块假象检测装置的一个实施例中，所述区块假象指示符与区块假象的空间大小对应，所述区块假象指示符与特定样本间距离相关。区块假象的空间大小可很容易地通过直接应用所选择的框体，即样本间距离而确定。优选地，用相邻框体的值并根据那个框体的值来计算区块假象指示符。这允许以子像素精度来计算区块假象的空间大小。由于视频数据的空间缩放，区块大小可例如是102/3像素。

在根据本发明的区块假象检测装置的一个实施例中，所述区块假象指示符与区块假象的可视性量度对应，所述区块假象指示符与特定样本间距离的出现频率相关。已经证实，特定样本间距离的出现频率或相对出现频率是区块假象的可视性的良好指示符。可选择地，为了计算与区块假象可视性的量度对应的区块假象指示符，还考虑了所选择框体的两个相邻框体的值。

在根据本发明的区块假象检测装置的一个实施例中，所述样本间距离的直方图是加权的直方图。这意味着不仅计数距离，而且每个距离对直方图的影响是基于各自的权值。例如，第一距离的加权是基于第一个样本的局部最大值进行的。可选择地，第一距离的加权还基于第二个样本的局部最大值进行。优选地，所述第一距离的加权是基于包括与第一个样本对应的子部分的一部分梯度信号而进行的。换句话说，对于加权还考虑了局部最大值附近的梯度信号的值。应用加权直方图的优点是噪音健壮性能被进一步增强。

在根据本发明的区块假象检测装置的一个实施例中，所述梯度信号是根据第一中间信号而计算的，所述第一中间信号是通过对视频信号的多个视频线的各个像素值求和而计算的。这种求和是一种低通滤波。该实施例的优点是耐噪音性能被进一步增强。

在根据本发明的区块假象检测装置的一个实施例中，所述梯度信号是通过对第一中间信号进行高通滤波计算的，所述中间信号是基于视频信号的随后像素值之间的绝对差而计算的。该高通滤波能够允许应用健壮的阈值以便创建有关局部最大值的列表。这意味着具有低于预定阈值的非相关局部最大值被忽略了。

本发明的另一个目的是提供一种开头段落中所述种类的图像处理装置，其包括相对健壮的区块假象检测装置。

本发明的该目的是由这样的区块假象检测装置而实现的，其包括：

-计算装置，用于根据视频信号来计算梯度信号；

-建立装置，用于建立与梯度信号的各个局部最大值对应的样本列表；

-直方图确定装置，用于确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本之间的第二距离对应；和

-分析装置，用于分析样本间距离的直方图并用于根据所述直方图来产生区块假象指示符。

所述图像处理装置可包括另外的部件，例如用于显示输出图像的显示装置。所述图像处理单元可支持一个或多个下述类型的图像处理：

-视频压缩，即编码或解码，例如根据MPEG标准。

-去交错：交错是用于交替传送单数或偶数的图像线的一般视频广播过程。去交错试图恢复完整的垂直分辨率，即对于每个图像来说使单数和偶数线同时可用。

-图像速率转换：根据一系列原始输入图像来计算一个较大系列的输出图像。输出图像被暂时安置在两个原始输入图像之间；和

-时间噪音降低。这也可涉及空间处理，从而导致空间-时间噪音降低。

所述图像处理装置可以是例如电视、机顶盒、VCR(盒式录像机)播放器、卫星调谐器、DVD(数字万用盘)播放器或记录器。

本发明的另一个目的是提供一种开头段落中所述种类的方法，其是相对健壮的。

本发明的这一目的是由这样的方法实现的，即其包括：

-根据视频信号来计算梯度信号；

-建立与梯度信号的各个局部最大值对应的样本列表；

-确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本之间的第二距离对应；和

-分析样本间距离的直方图并根据所述直方图来产生区块假象指示符。

本发明的再一个目的是提供一种开头段落中所述种类的计算机程序产品，其是相对健壮的。

本发明的这一目的是由这样的计算机程序产品实现的，其在加载之后向所述处理装置提供执行下述操作的能力：

-根据视频信号来计算梯度信号；

-建立与梯度信号的各个局部最大值对应的样本列表；

-确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本之间的第二距离对应；和

-分析样本间距离的直方图并根据所述直方图来产生区块假象指示符。

对所述区块假象检测装置的修改及其变形可与所述的图像处理装置、方法和计算机程序产品的修改及其变形一致。

附图说明

根据本发明的图像处理装置、方法和计算机程序产品的这些和其它方面通过之后参照附图所述的实现过程和实施方式将变得显而易见并将参照这样的实施例对其进行阐释，其中：

图1示意地示出区块假象检测装置的一个实施例；

图2示出一输入图像；

图3是基于图2的图像的梯度信号 的一个例子；

图4示出基于图3的梯度信号

的降趋梯度信号

图5示出如图4所示的降趋梯度信号

的一部分；

图6示出加权的峰值间距离的直方图 ；

图7示出g(d)的例子；

图8示意地示出根据本发明的图像处理装置400的一个实施例。

相同的参考符号在附图中通篇表示相同的部分。

具体实施方式

图1示意地示出根据本发明的区块假象检测装置100的一个实施例。区块假象检测装置100在输入连接器110处提供有视频信号，并且被安排用于在其输出连接器112处提供表示检测的区块假象的控制信号。所述控制信号与检测的区块假象相关。所述区块假象检测装置100包括：

-计算单元102，用于根据视频信号来计算梯度信号

-最大值检测单元104，用于建立与梯度信号的各个局部最大值402-408对应的样本列表；

-直方图确定单元106，用于确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应；和

-分析单元108，用于分析样本间距离的直方图并用于根据所述直方图来产生区块假象指示符。

优选地，直方图确定单元106被安排用于创建如结合图5所述的加权直方图。该措施可被看作是一个单独的发明。优选地，确定一个滑动窗口中的所有样本间距离。将结合图2-7来说明区块假象检测装置100的工作过程。

计算单元102、最大检测单元104、直方图确定单元106和分析单元108可使用一个处理器来实现。通常，这些功能是在软件程序产品的控制下执行的。在执行过程中，通常将软件程序产品加载到存储器(例如RAM)中，并在那里执行所述软件程序产品。可从后台存储器(例如ROM，硬盘，或磁存储器和/或光存储器)加载程序，或者可通过类似互联网的网络加载程序。可选择地，特定用途集成电路提供所披露的功能性。

图2示出一输入图像，尤其是从国家地理频道获得的亮度场。注意，由于高压缩比而导致规则块出现。在该例子中，区块假象以10 2/3像素周期出现。图像格式是标准清晰度(SD)：每720像素288线。下面将说明如何计算区块假象指示符。该过程是基于检测垂直边缘进行的。那么一个类似的方案也支持水平边缘。

定义具有元素I_ij的M×N图像

其中i和j是整数的栅格位置。第一步是计算梯度信号。该步骤包括计算绝对水平梯度向量

其元素由等式1规定：

D_IJ＝|I_i+1，j-I_ij|                        (1)

接着，计数所有相关转变，或者换句话说，计数位于边缘上的任何像素。因此，沿y方向对绝对梯度超过第一预定阈值θ的事件进行计数。θ的典型值等于2，其中

的值在0-255的范围内。这产生一个具有元素S_j的向量

$S_j=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}T(D_{\mathrm{ij}}-\mathrm{\θ})---\left(2\right)$

其中，j＝1，2，…，N，而T(x)是如等式3中所规定的阶跃函数：

$T\left(x\right)=\left\{\begin{array}{cc}1& x>0\\ 0& x\≤0\end{array}\right.---\left(3\right)$

基于图2的图像的

的一个例子在图3中示出。

在图像

包含显著的MPEG区块假象的情况下，期望

是以规则间隔包含峰值，即局部最大值的信号。下一步是检测这些峰值的重复周期。发现等式2提供了一个多峰值信号，该信号仅与绝对梯度

的行和相比对于原始图像边缘的影响，即非MPEG区块假象更加健壮。这可从较大的梯度仅被简单的计数为相对小的梯度的观念来理解。这降低了相对较大梯度对平均S的相对影响。不期望典型的MPEG区块假象创建非常大的梯度，但却期望能大到清晰可见。因此目标更多的是找出在垂直图像列中多久发现一个边缘，而不是找出平均边缘尺寸。在后一情况下，原始资料中的较大边缘可导致

的显著峰值，而不是较中等的MPEG区块边缘。

的任何有效峰值将被看作是可疑区块边缘，即区块假象的结果。为了找出可疑区块边缘，需要检测

的峰值。在确定哪个峰值超过第二预定阈值α并可将其看作是一个相关峰值之前，从

减去

的低频趋向。这是有效的高通滤波，并通过从每个值S_j减去其直接2n+1范围的邻居j-n，j-n+1，...，j+n的平均值实现。n的典型值＝4。降趋边缘计数s_j在等式4中规定：

$s_j=S_j-\frac{1}{2n+1}\underset{k=-n}{\overset{+n}{\mathrm{\Σ}}}{S}_{j+k}---\left(4\right)$

图4示出基于图3的边缘计数信号 的降趋边缘计数 虚线400与第二预定阈值α对应。点402-408指示高于第二预定阈值α的检测峰值。降趋

有效归结为将每个s_j相对其直接邻居标准化，或换句话说，将在j处发现的边缘数量与在j的下一处发现的边缘数量进行比较。人们会考虑到在具有详细结构的详细区域中平均将会检测到许多边缘是有道理的。因此，如果一个边缘不但在绝对范畴内高而且在相对范畴内也较高，那么考虑这个边缘。

下一步是检测相关峰值，即局部最大值。设想 有N_edge个部分超过第二预定阈值α。那意味着与梯度信号的各个局部最大值对应的样本列表包括N_edge个样本。第k个峰值504开始和结束的位置被定义为使得：

如果m_k≤j≤n_k那么s_j≥α，k＝1，2，...，N_edge    (5)第k个峰值504的位置p_k是索引j，对此

的局部最大值出现

$m_k\≤p_k\≤n_k,s_{p_k}\≥s_{p_k\±1}---\left(6\right)$

为如图4中所示的降趋边缘计数 的一部分在图5中示出了这种峰值检测。m_k 502在高于借助虚线400表示的第二预定阈值α的第一像素处，而n_k 506在高于第二预定阈值α的最后像素处。那么将第k个峰值的体积V_k定义为：

$V_k=\underset{j=m_k}{\overset{n_k}{\mathrm{\Σ}}}(s_j-\mathrm{\α})---\left(7\right)$

优选地，该体积V_k被用作峰值间直方图的加权，即样本间距离直方图的加权。

为了确定降趋边缘计数 是否包括重复峰值，即相关的样本间距离，能够通过计算有限的周围区域，即窗口或孔径内的峰值之间的距离直方图来开始所述分析。对该近邻N_hist的限制是通过考虑了缩放因数的最大期望区块大小来确定的。典型值N_hist＝38个像素。峰值间距离直方图

可借助下列C代码段来计算：

for(k=1;k<Nedge;k++){

i=1;

while(((d=p[k+i]-p[k])<Nhist)&&(k+i<=Nedge)){

      H[d]+=1:/*对直方图加1*/

      i+=1;

}

}

在上面的计算中，

并没有明确地考虑任何边缘可视性：它仅仅对峰值间距离进行计数。因此它对重复出现的边缘进行计数，而与区块边缘的范围无关。优选地，计算加权的峰值间距离直方图。图6示出加权的峰值间距离直方图

注意，基本周期，即区块假象栅格大小为非整数，10 2/3。这可从下列事实导出：直方图体积并不集中在单个框体上，而是集中在框体对上，例如框d＝10和d＝11，以及框d＝21和d＝22。为了在直方图

中将边缘可视性考虑为加权值，等式7中定义的边缘的体量度V_k被用作加权值。在当前的方法中，使用两个样本的体积来对两个样本值间的距离进行加权。加权的峰值间距离直方图 可借助下列C代码片段来计算：

for(k=1;k<Nedge;k++){

      i=1;

      while(((d=p[k+i]-p[k])<Nhist)&&(k+i<=Nedge)){

            H[d]+=(V[k]+V[k+i])/2;/*对直方图加上作为权值的体积*/

            i+=1;

        }

}

其中V[k]与等式7中定义的V_k对应。

接着，为了确定重复峰值，在每个可能的基本周期d的整数倍k处对加权的峰值间距离直方图

进行取样，因此在k·d处：

$g\left(d\right)=\frac{1}{N_d}\underset{k=1}{\overset{N_d}{\mathrm{\&Sigma;}}}{H}_{\mathrm{round}(k\&CenterDot;d)},$ 其中N_d＝int(N_hist/d)    (8)

如果基础的基本周期是d，那么所述直方图将在整数倍k·d处达到峰值。因此，g(d)对于实际的、基础的基本周期d将达到其最大值。那么g(d)的清楚的、第一最大值的位置就被看作是基础的基本周期的指示符。发现找出g(d)中的第一峰值比检测第一显著直方图框体H_d更能导致对基础的基本周期d更加稳定的评估。其原因是，在实际情况中，直方图在1×d处并不总是那样显著。例如，设想基本周期实际上是d＝8，那么在一些情况中H₈不是那样得显著，而H₁₆和H₂₄明显是如此显著。如果在g(d)中搜索第一峰值而不是H_d，那么这样一种情况并不一定会带来问题。对于g(d)的例子参见图7。在该图7中，以0.2的间隔对峰值间距离d进行取样。

本发明的一个方面是区块假象检测装置被安排用于产生指示成块假象的可视性的控制信号，而不会进一步需要早先在处理链中使用的关于编码参数的信息。在电视机和视频记录装置(例如DVD+RW和硬盘记录器)中进行的处理可适应检测到有效数量的成块边缘的这些情况。第一区块假象指示符与区块假象可视性量度对应。第一区块假象指示符与特定样本间距离的出现频率相关，并且优选地等于许多值的平均，包括特定样本间距离的相对出现频率。

本发明的另一个方面在于，区块假象检测装置被安排用于产生指示成块栅格的一个或多个尺寸的控制信号，而不需要在模拟视频信号中没有明确出现的信息。假定所应用的编码方案使用具有八个像素的宽度和高度的块，该信息因为指示是否应用了缩放操作，所以该信息也可通过所述处理来使用。与区块假象的空间大小对应的第二区块假象指示符d与特定样本间距离相关。然而，第二区块假象指示符d不一定等于具有整数值的特定样本间距离。

图8示意地示出根据本发明的图像处理装置400的一个实施例，其包括：

-接收装置802，用于接收与输入图像序列对应的视频信号；

-如结合图1所述的区块假象检测装置100，用于检测视频信号中的区块假象；

-图像处理单元804，用于根据所述输入图像序列来计算输出图像序列，所述图像处理单元受区块假象检测装置控制；和

-显示装置806，用于显示图像处理单元804的输出图像。

所述信号可以是通过天线或电缆接收的广播信号，但也可以是来自例如VCR(盒式磁带录像机)或数字万用盘(DVD)的存储装置的信号。在输入连接器810处提供该信号。图像处理装置800可以例如是电视。可选择地，图像处理装置800不包括任选的显示装置，而是将输出图像提供给包括显示装置806的装置。那么图像处理装置800可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选择地，图像处理装置800包括存储装置，例如硬盘或用于在可拆除介质(例如光盘)上进行存储的装置。图像处理装置800还可以是被电影工作室或广播公司应用的系统。

应该注意上述的实施例仅仅是示意说明而非限制本发明，在不脱离后附权利要求范围的情况下，本领域技术人员将能够设计出可选择地实施例。在权利要求中，置于括号间的任何参考标记都不应构成为限制权利要求。单词“包括”并不排除出现权利要求中未列举的元件或步骤。在一个元件前面的单词“一”或“一个”并不排除出现多个这种元件。本发明可借助包括若干个不同元件的硬件和借助适当编程的计算机来实现。在列举了若干个装置的单元权利要求中，若干个这些装置可由一个和相同项的硬件来体现。

Claims (12)

1.一种用于检测视频信号中的区块假象的区块假象检测装置(100)，包括：

-计算装置(102)，用于根据视频信号来计算梯度信号；

-建立装置(104)，用于建立与梯度信号的各个局部最大值对应的样本列表；

-直方图确定装置(106)，用于确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本之间的第二距离对应；和

-分析装置(108)，用于分析样本间距离的直方图并用于根据所述直方图来产生区块假象指示符。

2.如权利要求1所述的区块假象检测装置(100)，其中所述区块假象指示符与区块假象的空间大小对应，所述区块假象指示符与特定样本间距离相关。

3.如权利要求1所述的区块假象检测装置(100)，其中所述区块假象指示符与区块假象的可视性量度对应，所述区块假象指示符与特定样本间距离的出现频率相关。

4.如权利要求1所述的区块假象检测装置(100)，其中所述样本间距离的直方图是加权的直方图。

5.如权利要求4所述的区块假象检测装置(100)，其中所述第一距离的加权是基于第一个样本的局部最大值而进行的。

6.如权利要求5所述的区块假象检测装置(100)，其中所述第一距离的加权是基于包括与第一个样本对应的子部分的一部分梯度信号而进行的。

7.如权利要求1所述的区块假象检测装置(100)，其中所述梯度信号是根据第一中间信号而计算的，所述第一中间信号是通过对视频信号的多个视频线的各个像素值求和而计算的。

8.如权利要求1所述的区块假象检测装置(100)，所述梯度信号是通过对第一中间信号进行高通滤波而计算的，所述高通滤波是基于对视频信号的随后像素值之间的绝对差进行计算。

9.一种图像处理装置(800)，包括：

-接收装置(802)，用于接收与输入图像序列对应的视频信号；

-如权利要求1所述的区块假象检测装置(100)，用于检测视频信号中的区块假象；

-图像处理单元(804)，用于根据所述输入图像序列来计算输出图像序列，所述图像处理单元受区块假象检测装置(100)控制。

10.如权利要求9所述的图像处理装置(800)，其特征在于还包括显示装置(806)，用于显示输出图像。

11.一种检测视频信号中的区块假象的方法，所述方法包括：

-根据视频信号来计算梯度信号；

-建立与梯度信号的各个局部最大值对应的样本列表；

-确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本之间的第二距离对应；和

-分析样本间距离的直方图并根据所述直方图来产生区块假象指示符。

12.一种由计算机装置加载的计算机程序产品，包括用于检测视频信号中的块加像的指令，所述计算机装置包括处理装置和存储器，所述计算机程序产品在被加载之后向所述处理装置提供执行下述操作的能力：

-根据视频信号来计算梯度信号；

-建立与梯度信号的各个局部最大值对应的样本列表；

-确定样本间距离的直方图，第一个样本间距离与第一个样本和继第一个样本之后的第二个样本之间的第一距离对应，并且第二个样本间距离与第一个样本和继第二个样本之后的第三个样本之间的第二距离对应；和

-分析样本间距离的直方图并用于根据所述直方图来产生区块假象指示符。

Images