CN101032170B

CN101032170B - 视频图像序列的编码之前的预处理设备和方法

Info

Publication number: CN101032170B
Application number: CN2005800194699A
Authority: CN
Inventors: 让-伊夫·巴博诺; 雅基·迪厄默加尔; 奥利维耶·勒默尔
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2004-07-01
Filing date: 2005-06-22
Publication date: 2010-07-21
Anticipated expiration: 2025-06-22
Also published as: JP2008504762A; US8537904B2; US20080152021A1; KR101160718B1; FR2872664A1; JP4774051B2; WO2006003102A1; EP1766994A1; CN101032170A; KR20070049117A

Abstract

本发明涉及在视频图像序列(Ei)的编码之前的一种预处理方法和设备。根据本发明，所述设备包括：将多个形态学处理步骤应用于视频图像序列(Ei)的装置(3、5、7、9)；混合器(4、6、8、10)，用于在每一个形态学处理步骤之后，向形态学处理的结果应用加权。

Description

视频图像序列的编码之前的预处理设备和方法

技术领域

本发明涉及在视频图像序列的编码之前的一种预处理设备和方法。

背景技术

因为编码的图像的时间或空间熵减小，图像编码设备变得更加有效。

因此，图像编码设备经常与图像预处理设备相关联，在所述图像预处理设备中处理图像以允许更好地编码。

已经知道，用于减小视频序列的熵的预处理设备使用线性或非线性滤波器，所述滤波器减小、甚至消除了主要导致帧内模式中的图像编码成本的高频分量。这里存在很多可用滤波器，包括一维或二维低通滤波器、Nagao滤波器、平均值滤波器、以及中值滤波器。

这些方法的主要缺点是：

由于交织视频的每一个帧仅具有一半图像的垂直分辨率的事实，减小太明显的空间清晰度，尤其是在垂直轴；

对象的模糊效应；

恶化的轮廓。

发明内容

本发明旨在解决至少一个上述缺点。

为此，本发明提出了一种在编码视频图像序列的交织图像的辉度分量之前的预处理方法，其特征在于包括以下连续步骤：将交织图像解交织为图像E；测量图像E的图像内的相关性；根据相关性来计算加权系数K，其中0≤K≤1；应用腐蚀到图像E的第一步骤，第一步骤产生第一处理图像；取决于加权系数K将图像E与第一处理图像加权混合的第二步骤，第二步骤产生第一混合图像；应用膨胀到第一混合图像的第三步骤，第三步骤产生第二处理图像；以及取决于加权系数K将第一混合图像与第二处理图像加权混合的第四步骤，第四步骤产生第二混合图像；应用膨胀到第二混合图像的第五步骤，第五步骤产生第三处理图像；取决于加权系数K将第二混合图像与第三处理图像加权混合的第六步骤，第六步骤产生第三混合图像；应用腐蚀到第三混合图像的第七步骤，第七步骤产生第四处理图像；取决于加权系数K将第三混合图像与第四处理图像加权混合的第八步骤，第八步骤产生第四混合图像；以及交织第四混合图像。

本发明还提供了一种在编码视频图像序列的交织图像的辉度分量之前进行预处理的设备，其特征在于所述设备包括：将交织图像解交织为图像E的装置；用于测量图像E的图像内的相关性的装置，并且用于根据图像内的相关性来计算加权系数K，其中0≤K≤1；应用腐蚀到图像的第一装置，用于应用腐蚀的第一装置产生第一处理图像；用于取决于加权系数K将图像E与第一处理图像加权混合的第一混合器，第一混合器产生第一混合图像；应用膨胀到第一混合图像的第一装置，用于应用膨胀的第一装置产生第二处理图像；用于取决于加权系数K将第一混合图像与第二处理图像加权混合的第二混合器，第二混合器产生第二混合图像；应用膨胀到第二混合图像的第二装置，用于应用膨胀的第二装置产生第三处理图像；用于取决于加权系数K将第二混合图像与第三处理图像加权混合的第三混合器，第三混合器产生第三混合图像；应用腐蚀到第三混合图像的第二装置，用于应用腐蚀的第二装置产生第四处理图像；以及用于取决于加权系数K将第三混合图像与第四处理图像加权混合的第四混合器，第四混合器产生第四混合图像；以及用于交织第四混合图像的装置。

附图说明

参考但是不局限于附图，将借助于实施例和有利实施方式的示例更好地理解和说明本发明，其中：

图1代表根据本发明的设备的优选实施例；

图2代表考虑定义当前图像的复杂性的当前点P的邻近区域。

具体实施方式

所表现的模块是功能单元，所述模块可以或不可以与物理可区分的单元相对应。例如，可以以单独的组件、或一个和相同的软件的形式功能性对这些模块或模块中的一些进行分组。相反地，如有必要，确定的模块可以包括分离的物理实体。

预编码设备的输入处的视频信号Ei是交织型视频信号。

为了改善预编码设备的性能，通过解交织器1来解交织视频信号。解交织器1基于视频信号Ei的三个连续的场，使用本领域普通技术人员公知的解交织方法，使视频信号Ei的每一个场的线的数目加倍。然后获得逐行格式，其中每一个场变成帧并且包含图像的完整垂直清晰度，使得可以在垂直轴中执行所述处理。

在解交织器1的输出处获得信号E。

然后执行图像的复杂性分析。实际上，将空间熵减小主要应用于具有较高空间熵的图像。

因此，所述设备包括测量每一个图像的相关性的上游装置2。

图2示出了考虑到用于计算模块2中的当前图像的复杂性的邻近区域的示例。

针对图像的每一个像素，使用当前点的辉度及其四个邻居的辉度来计算像素结果“Rp”：

Rp＝[abs(P-P(-1，0))+abs(P-P(0，-1))+abs(P-P(0，+1))+abs(P-P(+1，0))]/4

然后，将累加一个帧的这些像素结果。

C_{intra} = \frac{Σ_{0}^{nbpixels} Rp}{nblignes \times nbcol}

将该相关性测量用于确定整个图像的像素及其相邻像素之间的平均偏差。从而获得关于图像中清晰度的感兴趣信息。

在其他实施例中，可以修改这些等式以便获得图像复杂性的更加完整的清晰度。还可以在考虑计算图像的复杂性时扩大当前像素的邻近区域。

根据该测量，在[0，1]的范围内计算系数K，作为输入图像的复杂性的函数。

下表示出了系数K的值，作为C_intra的函数，以下仅作为演示。

对于8个像素编码C_intra的值，并且因此C_intra的值在0至255之间。

相关性类型	C<sub>intra</sub>值	系数K的值
相关性类型	C<sub>intra</sub>值	系数K的值	非常强	C<sub>intra</sub>＝[0..2]	1/8＝Kmin
强	C<sub>intra</sub>＝[2..4]	2/8	非常强	C<sub>intra</sub>＝[0..2]	1/8＝Kmin
强	C<sub>intra</sub>＝[2..4]	2/8	平均	C<sub>intra</sub>＝[5..8]	3/8
弱	C<sub>intra</sub>＝[9..16]	4/8	平均	C<sub>intra</sub>＝[5..8]	3/8
弱	C<sub>intra</sub>＝[9..16]	4/8	非常弱	C<sub>intra</sub>＝[17..30]	5/8
可忽略的	C<sub>intra</sub>＝[30..255]	6/8＝Kmax	非常弱	C<sub>intra</sub>＝[17..30]	5/8

当相关性非常强时(清晰度非常小)，仍然执行图像的预处理，但是以通过系数K的值演示的较小比例进行。

相反地，弱相关性是强熵的指示。随机噪声的示例(弱相关性，甚至是零相关性)是较好的示例(高熵)

在优选实施例中，针对每一个混合器，系数K可以是相同的，或针对所有的混合器不同。

将在图1的设备中执行的处理仅应用于视频的辉度分量。

实际中，色度分量的处理可能激发颜色的不当伪象，但首先，辉度分量具有图像的大部分复杂性。

然后，模块2的输出处的信号E_in(与信号E相同)在模块2中进行腐蚀(erosion)。腐蚀过程包括：在作为输入接收的结构化(structuring)元素的像素中，保持具有最小辉度值的像素。结构化元素包括围绕当前像素的3×3窗口，三行乘三列，或者9个像素。然而可以采用其它窗口尺寸，只需窗口的尺寸与腐蚀的严重程度成比例。

因此，模块3针对输入的视频信号Ein的每一个像素计算其新的辉度值。

因此，模块3的输出处的视频信号T0代表已腐蚀的信号E_in，或因此针对每一个像素，与对应于作为一部分的结构化元素的最小值的T0相关地改变其辉度值。

然后，将信号T0发送到混合器4。混合器4还接收由模块2发送的系数K，作为输入。

混合器4根据以下公式产生作为输出的信号S0：

S0＝K×T0+(1-K)×Ein

将信号S0输入到膨胀模块5。

膨胀运算包括：用3×3＝9像素的尺寸，在以当前像素为中心的结构化元素的元素中，保留具有最大辉度值的像素。

膨胀模块产生新的视频信号T1作为输出，将所述视频信号传输到混合器6的输入。混合器6还接收加权系数K作为输入。

然后，混合器6针对每一个像素，通过以下公式，根据对作为输入接收的辉度值进行加权，产生信号S1：

S1＝K×T1+(1-K)×S0

然后，将信号S1输入到第二膨胀模块7。

然后，膨胀模块7对信号S1执行膨胀操作。膨胀操作包括：用3×3＝9的像素尺寸，在以当前像素为中心的结构化元素的元素中保留具有最大辉度值的像素。

然后，膨胀模块7产生视频信号T2，作为输出，将所述视频信号T2输入到混合器8的输入，所述混合器8针对接收的每一个像素，对接收的信号的辉度分量进行加权。混合器8还接收加权系数K作为输入。

混合器8根据以下公式产生信号S2作为输出：

S2＝K×T2+(1-K)×S1

然后，将信号S2输入到第二腐蚀模块9。

模块9向信号S2应用腐蚀，所述腐蚀运算包括：如之前所示，用之前定义的结构化元素的像素中的最小像素来代替当前像素。腐蚀模块9产生信号T3作为输出，将所述信号T3输入到第一混合器10。混合器10还接收加权系数K作为输入。

混合器根据以下等式产生信号S3作为输出：

S3＝K×T3+(1-K)×S2

然后，将信号S3发送到交织器11的输入，所述交织器用于交织信号S3以便获得预处理设备的视频输出Si，然后将所述视频输出Si发送到编码设备。

然后，输入的视频信号Si受益于减小的空间熵，并且其随后的编码变得更加容易。随后可以考虑任意的编码类型。

当然，本发明不限于上述实施例，本领域的普通技术人员应当容易地理解，可以考虑修改预处理设备的形态学操作的数目，与可以修改相关的混合器数目相同。

将之后是膨胀的腐蚀称作开运算。

将之后是腐蚀的膨胀称作闭运算。

Claims

1.一种在编码视频图像序列的交织图像(E_i)的辉度分量之前的预处理方法，其特征在于包括以下连续步骤：

将所述交织图像(E_i)解交织为图像E的步骤；

用于测量所述图像E的图像内的相关性的步骤；

用于根据所述相关性来计算加权系数K的步骤，其中0≤K≤1；

应用腐蚀到所述图像E的第一步骤，所述第一步骤产生第一处理图像(T0)；

用于取决于所述加权系数K将所述图像E与所述第一处理图像(T0)加权混合的第二步骤，所述第二步骤产生第一混合图像(S0)；

应用膨胀到所述第一混合图像(S0)的第三步骤，所述第三步骤产生第二处理图像(T1)；以及

用于取决于所述加权系数K将所述第一混合图像(S0)与所述第二处理图像(T1)加权混合的第四步骤，所述第四步骤产生第二混合图像(S1)；

应用膨胀到所述第二混合图像(S1)的第五步骤，所述第五步骤产生第三处理图像(T2)；

用于取决于所述加权系数K将所述第二混合图像(S1)与所述第三处理图像(T2)加权混合的第六步骤，所述第六步骤产生第三混合图像(S2)；

应用腐蚀到所述第三混合图像(S2)的第七步骤，所述第七步骤产生第四处理图像(T3)；

用于取决于所述加权系数K将所述第三混合图像(S2)与所述第四处理图像(T3)加权混合的第八步骤，所述第八步骤产生第四混合图像(S3)；以及

用于交织所述第四混合图像(S3)的步骤。

2.如权利要求1所述的方法，其特征在于：所述加权系数K与所述图像内的相关性成反比。

3.一种在编码视频图像序列的交织图像(E_i)的辉度分量之前进行预处理的设备，其特征在于所述设备包括：

将所述交织图像(E_i)解交织为图像E的装置；

用于测量所述图像E的图像内的相关性的装置(2)，并且用于根据所述图像内的相关性来计算加权系数K，其中0≤K≤1；

应用腐蚀到所述图像E的第一装置(3)，所述用于应用腐蚀的第一装置(3)产生第一处理图像(T0)；

用于取决于所述加权系数K将所述图像E与所述第一处理图像(T0)加权混合的第一混合器(4)，所述第一混合器(4)产生第一混合图像(S0)；

应用膨胀到所述第一混合图像(S0)的第一装置(5)，所述用于应用膨胀的第一装置(5)产生第二处理图像(T1)；

用于取决于所述加权系数K将所述第一混合图像(S0)与所述第二处理图像(T1)加权混合的第二混合器(6)，所述第二混合器(6)产生第二混合图像(S1)；

应用膨胀到所述第二混合图像(S1)的第二装置(7)，所述用于应用膨胀的第二装置(7)产生第三处理图像(T2)；

用于取决于所述加权系数K将所述第二混合图像(S1)与所述第三处理图像(T2)加权混合的第三混合器(8)，所述第三混合器(8)产生第三混合图像(S2)；

应用腐蚀到所述第三混合图像(S2)的第二装置(9)，所述用于应用腐蚀的第二装置(9)产生第四处理图像(T3)；以及

用于取决于所述加权系数K将所述第三混合图像(S2)与所述第四处理图像(T3)加权混合的第四混合器(10)，所述第四混合器产生第四混合图像(S3)；以及

用于交织所述第四混合图像(S3)的装置。