CN101459812A - 生成代表视频画面中的边缘方位的距离的方法、对应设备 - Google Patents

Abstract

本发明涉及用于生成代表视频画面的当前点处的边缘方位的距离的方法和设备。所生成的距离具体用于对视频画面进行去交织或者格式转换。其可以在视频编码器或者解码器中实现。根据本发明，利用被应用到距离p乘q的窗口的条件中值过滤器对所计算的代表边缘方位的距离进行过滤。该过滤器仅考虑这样的点的距离：对于所述点，视频分量的局部梯度模数大于阈值。

Description

生成代表视频画面中的边缘方位的距离的方法、对应设备

技术领域

本发明涉及一种用于生成代表视频画面的当前点处的边缘方位的距离的方法和设备。所生成的距离具体用于对视频画面进行去交织(deinterlace)或者格式转换。其可以在视频编码器或者解码器中实现。

背景技术

目前存在两种与标准HDTV(高清晰度TV)相关联的格式。这两种格式是720p格式和1080i格式。720p格式产生包括720行和1280列的逐行(progressive)画面，1080i格式产生包括1080行和1920列的隔行(interlaced)画面。这些格式中的每一种都具有其特有的优点。720p格式呈现出更好的时间分辨率，并且再现快速运动对象而不产生模糊效果，而1080i格式呈现出更好的空间分辨率。节目广播者已经选择了使用这些格式中的一种或另一种，但是不将二者一起使用。因此，对于在显示之前处理广播节目的格式以将其变换为用来显示所述节目的显示设备支持的格式存在着现实的需要。

本领域已知的是，通过首先执行输入画面中的局部边缘方位(edgeorientation)的检测、然后基于所检测的方位执行内插，来改变视频画面的格式或者对其进行去交织。已知的检测视频画面中的边缘方位的方法的结果噪声较大，或者要求大量计算(例如，测试大量的可能边缘方位)。

发明内容

本发明的目的是改进该方法。

本发明涉及一种方法，用于生成代表视频画面的当前点处的边缘方位的距离，该方法包括对于当前点以及形成以当前点为中心的k个点的集合的、环绕所述当前点的画面的多个点计算代表该点处的边缘方位的距离的步骤，k为大于1的自然数，该方法值得注意的是其另外包括根据预定标准、对于在k个点的集合的各点的所计算的距离中的距离的集合，对当前点的所计算的距离进行条件中值过滤的步骤。

根据具体实施例，由一点处的视频画面的视频分量的局部梯度计算代表视频画面的所述点处的边缘方位的距离。

根据本发明，根据预定标准的距离为与点的集合中的点相关联的距离，在这些点处的该点的集合的视频分量的局部梯度大于阈值。该阈值可以是固定的或者可变的。有利地，该阈值是可变的，并且对于当前点该阈值取决于当前点的视频分量的局部梯度模数。根据具体实施例，该阈值等于当前点的视频分量的局部梯度模数的百分比。该百分比例如等于50％。

本发明还涉及一种设备，用于生成代表视频画面的当前点处的边缘方位的距离，该设备包括：

-计算电路，计算当前点处的以及形成以所述当前点为中心的k个点的集合的、环绕所述当前点的所述画面的多个点处的代表所述点处的边缘方位的距离，k为大于1的自然数。

-条件中值过滤器，根据预定标准、对于在k个点的集合的各点的所计算的距离中的距离的集合，对所述当前点的所计算的距离进行过滤。

根据本发明，根据预定标准的距离为其在所述点处的视频分量的局部梯度大于阈值的点的距离。

本发明还涉及在视频画面去交织方法中使用生成与边缘方位相关的距离的方法，其中将代表视频画面的当前点处所计算的边缘方位的距离用于计算经过去交织的画面的像素的值。

本发明还涉及将生成与边缘方位有关的距离的方法用于将输入视频画面格式转换为输出视频画面的方法，其中将代表视频画面当前点处所计算的边缘方位的距离用于计算输出画面的像素的值。

附图说明

当阅读了作为非限制性示例提供并且参照了附图的以下描述时，将更好地理解本发明，其中：

-图1示出了根据本发明的方法的第一实施例中的步骤，

-图2示出了在去交织的情况下输入画面的点P的位置，其中计算代表边缘方位的距离，

-图3A至图3C分别示出了原始画面、利用根据本发明的条件中值过滤为该画面计算的边缘方位距离、以及在不进行条件中值过滤的情况下为该画面计算的边缘方位距离，

-图4示出了在去交织的情况下像素P_out的内插，

-图5示出了能够实现图1的方法的设备，

-图6示出了根据本发明的方法的第二实施例中的步骤，以及

-图7示出了能够实现图6的方法的设备。

具体实施方式

图1示出了根据本发明的方法的第一实施例中的步骤。该方法旨在生成代表视频画面的当前点处的边缘方位的距离。该方法包括计算步骤110，对于当前点以及形成以当前点为中心的k个点的集合的、环绕当前点的所述画面的多个点，计算代表该点处的边缘方位的距离，k为大于1的自然数。该集合例如是以当前点为中心的p乘q个点的矩形窗口，p和q为大于1的自然数。在去交织的情况下，其中计算距离的画面的当前点的位置对应于经过去交织的画面的像素的位置。在格式转换的情况下，其中计算距离的画面的当前点的位置对应于经过转换的画面的像素的位置。

以下提供在去交织的情况下计算输入画面的点处的边缘方位的代表距离d的示例。在输入画面的点P处计算该距离d，如图2所示。图2示出了散布在输入画面的两个连续行y_n和y_n+1上的输入画面的8个像素。这些像素属于输入画面的编号为x_m-1、x_m、x_m+1和x_m+2的像素的列。在图上利用黑圆点来表示输入画面的像素。在该示例中，去交织在于生成插入在行y_n和y_n+1之间的中间距离处的像素y’＝y_n+1/2的行。该额外的行的像素由黑方块表示。在属于行y’和列x_m的点P处计算距离。点P位于由坐标(x_m-1，y_n)、(x_m+1，y_n)，(x_m+1，y_n+1)和(x_m-1，y_n+1)定界的区域内。在输入画面中，通过坐标(x_m，y’)来标识像素P。下文中提供对于坐标(x_m，y’)的像素P的距离d的计算。为此目的，在该点P处计算亮度分量的被记为I_x(x₁，y’)的水平梯度以及被记为I_y(x₁，y’)的垂直梯度。

$I_x(x_m,y\′)=\frac{\∂I}{\∂x}(x_m,y\′)=I(x_m-1,y_n)+I(x_m-1,y_n+1)-I(x_m+1,y_n)-I(x_m+1,y_n+1)$

$I_y(x_m,y\′)=\frac{\∂I}{\∂y}(x_m,y\′)=I(x_m-1,y_n)+I(x_m+1,y_n+1)-I(x_m-1,y_n+1)-I(x_m+1,y_n+1)$

其中，I(x，y)指定坐标(x，y)处的像素的亮度分量。

然后，到点P的距离d被取为等于：

$d=\frac{I_x(x_m,y\′)}{I_y(x_m,y\′)}$

图2示出了对于像素P计算的距离d。线段S将坐标(x’+d，y_n)处的点与坐标(x’-d，y_n+1)处的点连接。

再次参照图1，本发明的方法接下来包括对于步骤110中计算的距离d进行条件中值过滤的步骤120。将条件中值过滤理解为意味着其中对于过滤被考虑的值根据预定标准的中值过滤。例如在距离值p乘q的窗口上执行中值过滤，p和q为大于1的自然数。为了过滤器高效，整数p和q优选地大于3。例如p＝5、q＝5。然后，在此情况下在25个值上执行过滤。该过滤聚集在要被过滤的距离d上。根据本发明，仅采用符合预定标准的值用于该过滤。被考虑用于过滤的窗口的值是这样的值：对于所述值，相关联的点具有大于阈值S的对于它们的视频分量

来说是局部的梯度模数，其中， $\left|\right|\▿I\left|\right|=\sqrt{\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{I_{\mathrm{jx}}}^2+\underset{j=1}{\overset{q}{\mathrm{\Σ}}}{I_{\mathrm{jy}}}^2}.$ I_j(x，y)指定画面中空间坐标(x，y)处的像素的色彩分量j的值，q指定视频分量的数目。在以色彩空间[Y，Cb，Cr]表示的像素值的情况下，q等于3，I₁指定分量Y的值，I₂指定分量Cb的值，I₃指定分量Cr的值。

阈值S例如是所考虑的点的视频分量的局部梯度模数的百分比。该阈值例如等于50％。该阈值可以通过实验定义。

通过以下的两个表格例示该过滤：第一个表格示出以当前点(在中心处)为中心的5×5点的窗口的点的视频分量

的局部梯度模数，第二个表格示出对于这些点所计算的距离：

 

65	60	38	15	20
					42	120	90	33	15
33	80	100	42	21
					25	40	80	100	27
10	45	60	70	117

表格1

 

10	5	4	3	12
					4	10	6	3	19
4	5	6	4	2
					3	6	7	10	2
3	8	6	7	10

表格2

如果阈值S固定在当前点的局部梯度模数的50％，则第一个表格中符合该标准的梯度值以浅色显示。同样地，与符合该标准的点相关联的距离值在第二个表格中以浅色显示。本发明的条件中值过滤则在于以升序或降序对保留的距离值进行分类，并且选择此排序列表的中间值(也称为中值)作为过滤器的输出值。

该条件过滤使得能够从中间值过滤器中移除指示不存在边缘的距离值，这些值为输入画面的均质(homogenous)区域所特有，并且将过滤集中于指示边缘的距离值，以保持中间值过滤器的噪声降低效果。

作为变型，阈值S固定，或者不取决于当前点的局部梯度。

提供图3A到图3C作为示例以例示条件中值过滤的结果(本发明的方法的步骤120)。图3A是示出城市中心摩天大楼的输入画面。该画面包括大量边缘。图3B示出代表该画面中的边缘方位的距离。图3C示出在应用根据本发明的条件中值过滤之后、代表该画面中的边缘方位的距离。在图3B和图3C中，中间灰度等级(在8比特上对灰度级进行编码的情况下是128)指示为零的距离d(＝无特别待遇的边缘方位)，高于128的灰度级指示正的距离d(＝存在从画面左到右朝向顶部的倾斜的边缘)，低于128的灰度级指示负的距离d(＝存在从画面左到右朝向底部的倾斜的边缘)。

如可从这些附图中看到的，本发明的条件中值过滤使得能够丢弃许多假的距离。根据本发明的条件中值过滤使得将两个均质区域分开的物体的锐利的(fine)边缘上的结果能够被显著改进。

将这些经过过滤的距离用于像素的内插，以便进行格式转换或者去交织。在下文中，将该方法用于在输出画面(在格式转换或者去交织后)中的坐标(x_out，y_out)处以及在开始画面中的坐标(x’，y’)处内插像素P_out。输出画面的像素P_out因而对应于开始画面中的像素P。v是开始画面的行数与输出画面的行数的比率，r是开始画面的列数与输出画面的列数的比率。

图4图示其中与像素P类似、像素P_out位于列x_m上以及开始画面的像素的行y_n与y_n+1之间的情况。P_out例如是经过去交织的画面的像素。确定最接近与行y_out的输入画面的像素行y_n和y_n+1。

y′＝v.y_out

y_n＝E(y′)

其中E(x)指定变量x的整数部分。

定义代表像素P_out的行y’和开始画面的行y_n之间的距离的垂直相位

被包含在0和1之间。在去交织的情况下，

因此，

，

，对于坐标(x’，y’)处的像素P计算d。

然后，使用对应于双线性内插的以下公式来计算输出画面中坐标(x_out，y_out)处的像素P_out的值：

        

其中，-I_in(x，y)指定开始画面中坐标(x，y)处的像素的值，I_out(x，y)指定输出画面中坐标(x，y)处的像素的值。

-sgn(x)是x的符号函数

-参数α和β定义如下：

α＝|E(x_yn)-x_yn|

β＝|E(x_yn+1)-x_yn+1|

在像素的每个视频分量上执行计算。将为亮度视频分量计算的距离d用于计算来自输出画面的像素的所有视频分量。

可以考虑用于计算输出画面的像素的视频分量的其它公式。在上面的示例中，所述内插是双线性的。可以设想使用线性内插或者通过选择最近邻居进行的内插或者线性或双线性内插的组合。这些内插是本专业领域的人公知的。也可以设想使用更大数目的行或列。最后，可以根据距离模数d改变内插公式。

图5图示能够执行本发明的方法的设备500。Y_in、Cb_in以及Cr_in指定在所述设备的输入处施加的画面的视频分量。在色彩空间[Y，Cb，Cr]中表示这些分量。当然，可以使用其它色彩空间。设备500包括：

-代表输入画面的边缘方位的距离的计算电路510，此电路实现本发明的方法的步骤110，该电路提供距离图(chart)，以及

-条件中值过滤器520，根据由块510提供的距离图实现本发明的方法的步骤120，该过滤器提供经过过滤的距离图。

在格式转换或者去交织的情况下，这些经过过滤的距离接着由内插块处理。

图6图示本发明的第二实施例。此第二实施例包括步骤601、610、620。步骤610和620与图1所示的第一实施例的步骤110和120相同。此第二实施例包括对输入画面进行过滤的具有参考标号601的附加步骤。该过滤的目的是改进输入画面的边缘方位的距离的计算。所使用的过滤器基于高斯(Gaussien)内核。该过滤器被应用于输入画面的信号亮度的分量Y，或者被应用于输入画面的信号的所有视频分量。在下文中，I_jf指定过滤后的分量I_j。于是，过滤后的分量为：

其中，- $G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π\σ}}\exp (-\frac{(x^2+y^2)}{2\mathrm{\σ}})$

-σ²是高斯内核的方差。

所使用的过滤器例如是以下5×5系数过滤器：

$\frac{1}{100}\×\left[\begin{array}{ccccc}1& 2& 4& 2& 1\end{array}\right]\⊗\left[\begin{array}{c}1\\ 2\\ 4\\ 2\\ 1\end{array}\right]=\frac{1}{100}\×\left[\begin{array}{ccccc}1& 2& 4& 2& 1\\ 2& 4& 8& 4& 2\\ 4& 8& 16& 8& 4\\ 2& 4& 8& 4& 2\\ 1& 2& 4& 2& 1\end{array}\right]$

图7图示能够实现本发明的方法的此第二实施例的设备700。Y_in、Cb_in和Cr_in指定施加在该设备的输入处的画面的视频分量。在色彩空间[Y，Cb，Cr]中表示这些分量。设备700包括：

-第一过滤器701，用于实现第一过滤步骤601，该过滤被施加到输入画面的信号的一个或全部视频分量，

-代表输入画面的边缘方位的距离的计算电路710，该电路实现本发明的方法的第二实施例的步骤610，该电路提供距离图，以及

-条件中值过滤器720，根据由块720提供的距离图实现本发明的方法的步骤620，该过滤器提供经过过滤的距离图。

在格式转换或者去交织的情况下，这些经过过滤的距离接着由内插块处理。

在先前定义的本发明的方法中，原样使用在步骤110或610处计算的距离来确定第二集合的像素。作为变型，如果所计算的距离超过预定最大值，则该距离截断在该最大值上。对于SD(标准清晰度)画面，该最大值例如等于4个像素。实际上，超过此最大值之后，距离d的值不能为低，从而将误差引入内插。根据另一变型，如果所计算的距离超过该最大值，则将该距离调整为零值。尽管在某些边缘的内插中较不精确，但是该第二变型使得能够进一步减小错误的风险。

当然，本发明不限于前述实施例。用于生成输出画面的、提出对于边缘方位的距离进行条件中值过滤的格式转换或者去交织的任何方法或设备均落入本发明的范围中。

Claims (11)

1.一种用于生成代表视频画面的当前点处的边缘方位的距离的方法，包括：

-计算步骤，在所述当前点处以及在形成以所述当前点为中心的k个点的集合的、环绕所述当前点的所述画面的多个点处，计算代表所述点处的边缘方位的距离，k为大于1的自然数，

该方法的特征在于其还包括：

-条件中值过滤步骤，用于根据预定标准、对于在k个点的集合的各点的所计算的距离中的距离的集合，对当前点的所计算的距离进行过滤。

2.根据权利要求1所述的方法，其中由一点处的视频画面的视频分量的局部梯度计算代表视频画面的所述点处的边缘方位的距离。

3.根据权利要求2所述的方法，其中根据所述预定标准的距离为这样的点的距离：在所述点处的视频分量的局部梯度的模数大于阈值。

4.根据权利要求3所述的方法，其中所述阈值是固定的。

5.根据权利要求3所述的方法，其中，对于所述当前点，所述阈值取决于视频画面的所述当前点处的视频分量的局部梯度模数。

6.根据权利要求5所述的方法，其中，对于所述当前点，所述阈值等于视频画面的所述当前点处的视频分量的局部梯度模数的百分比。

7.根据权利要求6所述的方法，其中该百分比等于50％。

8.一种用于生成代表视频画面的当前点处的边缘方位的距离的设备，包括：

-计算电路，在所述当前点处以及在形成以所述当前点为中心的k个点的集合的、环绕所述当前点的所述画面的多个点处，计算代表所述点处的边缘方位的距离，k为大于1的自然数，

该设备的特征在于其还包括：

-条件中值过滤器，用于根据预定标准、对于在k个点的集合的各点的所计算的距离中的距离的集合，对所述当前点的所计算的距离进行过滤。

9.根据权利要求8所述的设备，其中根据所述预定标准的距离为这样的点的距离：在所述点处的视频分量的局部梯度模数大于阈值。

10.在视频画面的去交织处理中使用根据权利要求1至7中任一项的方法，其中将在视频画面的当前点处计算的代表边缘方位的距离用于计算经过去交织的画面的像素值。

11.在输入视频画面到输出视频画面的格式转换处理中使用根据权利要求1至7中任一项的方法，其中将在视频画面的当前点处计算的代表边缘方位的距离用于计算输出画面的像素值。

Images