CN1159923C - 图像信号自适应编码的方法和装置 - Google Patents

Abstract

图像信号自适应编码装置中，充填电路根据预定充填方法利用轮廓信号由目标像素所导出的像素值取代背景像素的每一像素值生成充填纹理信号。而后，亮度数据提取电路从充填纹理数据中提取亮度数据来提供修正的纹理信号。此后帧/场相关性评价信道基于轮廓信号和修正的纹理信号评价一帧修正信号的帧相关性及顶部场和底部场的场相关性，若前者比后者高，逐帧编码图像信号生成帧编码模式信号；否则逐场编码图像信号生成场编码模式信号。

Description

图像信号自适应编码的方法和装置

技术领域

本发明涉及图像信号编码的方法和装置，尤其涉及基于图像信号帧和场相关性的自适应图像编码的方法和装置。

背景技术

在数字电视系统中，如可视电话、远程会议或高清晰度电视系统，大量数字数据需用于定义每一视频帧信号，由于视频帧信号中的每一视频行信号包括一系列被称作像素值的数字数据。但由于常规的传输信道的频带宽是有限的，为从其上传输大量的数字数据，有必要通过利用数字压缩技术压缩和减少流通数字量，尤其在低速率视频信号编码器如视频电话和远程会议系统中。

这种面向对象的编码方案的一个实例是所谓的MPEG(运动图像专家组)阶段4(MPEG-4)，被设计以提供一个音频—视频编码标准，以便允许基于内容的交互、提高的编码效率、和/或在如低速率通信、多媒体交互(例如游戏、交互电视等)和区域监视等应用的普遍的可用性。

根据MPEG-4，输入视频图像被分成多个视频目标平面(VOP)，其对应用户可访问和操纵的位流的实体。VOP可被称作一目标并由边缘矩形(其宽度和高度为包围每一目标的16像素(一个宏块大小)的最小倍数，以便解码器可逐VOP地处理输入视频图像。

MPEG-4中所描述的VOP包括形状信息(即轮廓信号〕和颜色信息(即包含亮度数据和色度数据的纹理数据)，其中，形状信息由例如，二进制掩膜表示。在二进制掩膜中，指定的二进制数值，例如0被用于表示背景像素，即，处于VOP中目标外部的像素，另一二进制数值如225，被用于指明一目标的像素，即，处于目标内部的像素。

在编码被施加于图像信号之前，例如，一数字视频帧信号或含有一基于块到块目标的VOP，期望对图像信号的纹理信号进行充填，以便阻止由于图像信号的背景中或目标外部区域的高频像素数据所导致的编码效率下降。因此，图像信号的纹理信号的每一背景像素值通常由利用常规充填方法的目标像素值所得到的像素值填充。

例如，在常规的均值充填方法中，图像信号(例如VOP)背景中的每一像素值由其中的所有像素值的均值充填。且在常规重复充填方法中，VOP背景中的每一像素值由VOP边缘像素导出的像素值充填(见MPEG-4视频校验版本7.0，国际标准化组织，运动和相关性视频信息编码，ISO/IEC JTC/SC29/WG11 MPEG97/N1642，Bristol，1997年4月，pp.40-41)。在将填充应用于纹理信号之后，充填的纹理信号利用带有或不带有运动估计(ME)和运动补偿(MC)技术的转换编码技术编码。

同时，考虑到扫描类型，图像信号的视频序列可分作两类；连续扫描序列和隔行扫描序列。在连续扫描视频序列中，序列中的帧顺序地被捕捉，并自帧的顶部到帧的底部一行一行地顺序处理。隔行扫描视频帧包括两个场：由偶数行组成的偶数场或顶部场、由奇数行组成的奇数场或底部场。这两种场的捕捉和处理首先在顶部场进行，顺序由场的顶部到底部，而后对底部场进行相同处理。

先前的关于图像信号编码的研究结果可分成三类：帧编码过程、场编码过程和既利用帧编码过程又利用场编码过程的自适应编码过程。

在帧编码过程中，视频序列基本上在帧到帧基础上编码，其中顶部场和底部场以隔行方式结合(帧被处理成仿佛是连续的)。在帧编码过程中，每一帧通常分区成像素数据块(其此后可利用变换编码方法，如离散余弦变换(DCT)编码方法(描述见，例如，Chen and Pratt，“Scene Adaptive Coder”， IEEE Transaction on Communications，C om-32，No.3，pp.225-232(March 1984)，被以块到块为基础进行处理)。

在场编码过程，视频序列首先被分成两个序列，即，顶部场和底部场，此后，每一顶部场和底部场以类似帧编码过程的方式经同一编码过程处理。

众所周知，在本技术领域帧编码过程在图像信号内部的静态区通过利用其中的高空间相关性进行编码是高效的；且在区域内的每一场中，可找到较好相关性的情况下，场编码过程对相应于图像信号内部的运动目标进行编码比帧编码过程更高效。

在自适应编码过程中，若图像信号帧的相关性比帧的顶部场和底部场的高，图像信号以帧到帧为基被进行编码；否则，图像信号以场到场为基被进行编码。

近年来，在自适应编码过程由于图像信号的编码的高效性和灵活性而引起了广泛的注意。例如，颁发给Lucas等的美国专利No.5,347,308揭示出用于对图像信号自适应编码的典型常规自适应编码方法和装置。参考图1，示出了Lucas等人的美国专利No.5,347,308所揭示的用于对图像信号自适应编码的装置框图。在Lucas等人的装置中，图像信号的输入帧1首先通过块分区过程被分割成多个像素块。

此后，一个块，即每一块进行场间差检测过程3(其检查块内两场的像素数据的差值)。此处，应该注意场间差检测过程3可被视为对每一块的帧场的相关性计算(或评价)过程。

场间差检测过程3的一个实例是计算行对间的第一均方误差(MSE)，每一行对包括一块内的偶数行和相邻的奇数行，例如，图1所示的块4；并比较所计算的相邻奇行对与同一块内相邻偶数行对间的第一和第二MSE；此后，若第一MSE与第二MSE的比值大于预定的阈值，该块将由帧编码过程6进行编码。

来自场编码过程5和帧编码过程6的每一块的编码数据被分别作为信道信息发送。由场间差检测过程所获得的每一块的结果数据7被作为每一块的副信息或额外信息进行编码。

但是，Lucas等人的装置带来了相当大的计算量和附加传输数据，由于场间差检测过程3在图像信号内的整个块上进行；且图像信号内的整个块的副信息以块到块为基被编码和传输。

而且，众所周知，在图像信号中目标的轮廓对于图像信号编码中目标的运动很重要。但是，传统的自适应编码装置和/或方法如Lucas等人的，或其它先前技术中的，在含有一目标的图像信号(例如一VOP)的帧和场相关性计算(或评价)过程中，不能利用包含于图像信号中的轮廓信号。即，传统的装置和/或方法不能使图像信号的帧和场相关性计算(或评价)过程简化而有效从而减少图像信号额外信息量。因此，传统的装置和/或方法在增强编码效率上有局限性。

发明内容

因此，本发明的主要目的是提供基于通过利用图像信号的轮廓信号计算的帧和场相关性对图像信号编码的装置和方法，使帧和场相关性评价过程简单，且减少图像信号的额外信息，由此增强其编码效率。

根据本发明一个方面，提供一种用于自适应编码图像信号的设备，该图像信号包括含有目标内的目标像素和背景内的背景像素的轮廓信号和纹理信号，其中，轮廓信号区别目标像素和背景像素，且每一背景像素和目标像素由亮度数据和色度数据表示，该设备包括：

用于通过根据预定的充填方法，利用轮廓信号由目标像素所导出的像素值取代背景像素的每—像素值由此生成充填纹理信号的装置；

用于从充填纹理信号中提取亮度数据，由此提供一修正的纹理信号的装置，其中，该修正纹理信号中每一像素只含有该亮度数据；和

帧和场相关性评价装置，基于轮廓信号和修正的纹理信号，用于根据预定规则作帧和场相关性评价以评价一帧修正信号的帧相关性及顶部场和底部场的场相关性，若帧相关性比场相关性高，则决定以帧到帧为基础编码图像信号，生成帧编码模式信号；而若帧相关性不比场相关性高，则决定以场到场为基础编码图像信号，生成场编码模式信号，其中，帧相关性和场相关性根据预定规则计算，

其中上述帧和场相关性评价装置包括：

用于检测多个大小相同的M×N像素的轮廓块的装置，M和N分别为预定的正整数，通过利用轮廓信号和修正纹理信号，由此提供轮廓块，其中，每一轮廓块是含有一个或多个背景像素和一个或多个目标像素的块，且每一轮廓块的帧通过将含有偶数行的顶部场块与含有奇数行的底部场块结合而形成；

用于为上述每一轮廓块计算帧块相关性值(称作BRCV)和场块相关性值(称作BDCV)的装置，由此生成所述的每轮廓块的BRCV和BDCV，其中，BRCV是根据所述的每一轮廓块帧的预定规则所计算的相关性值；BDCV是根据所述的每一轮廓块顶部场和底部场预定规则所计算的相关性值；

用于基于BRCV和BDCV判定编码模式的装置，由此生成或者帧编码模式信号命令以基于帧到帧对图像信号编码，或者场编码模式信号命令以基于场到场对图像信号编码。

优选地，其中的帧块相关性值是上述轮廓块的帧块差，场块相关性值是上述轮廓块的场块差，帧块差是绝对第一差之和，每一第一差是包括上述每一轮廓块偶数行和相邻奇数行的行对间的误差；场块差是绝对第二差与绝对第三差之和，每一第二差和每一第三差分别是上述每一轮廓块相邻偶数行对间及相邻奇数行对间的误差。

优选地，其中上述编码模式判定装置首先计数第一轮廓块的第一数和第二轮廓块的第二数，每一第一轮廓块为含有等于或小于对应场块差的对应帧块差的轮廓块，每一第二轮廓块为含有大于对应场块差的对应帧块差的轮廓块；由此若第一数等于或大于第二数，该模式判定装置生成帧编码模式信号；并且若第一数小于第二数，则生成场编码模式信号。

优选地，按照本发明的设备还包括：分割装置，响应帧编码模式信号，用于分割充填纹理信号，由此提供多个大小相同的K×L像素的帧块，K和L分别是预定的正整数，响应场编码模式信号，将充填纹理信号分割成多个顶部场和底部场，而后将顶部场分割为多个大小相同的K×L像素顶部场块，将底部场分割为多个大小相同的K×L像素底部场块，由此提供K×L像素的顶部场和K×L像素的底部场块。

优选地，上述分割装置包括：选择装置，响应帧编码模式信号，用于选择帧到帧编码路径以提供充填纹理信号作为一帧，响应场编码模式信号，用于选择场到场编码路径以将充填纹理信号分割为顶部场和底部场，由此提供顶部场和底部场；用于帧块分割的装置，以将帧分割为多个大小相等的K×L像素的帧块，并由此提供K×L像素的帧块，其中，每一K×L像素的帧块通过将仅含有偶数行的K×(L/2)像素的顶部场与仅含有奇数行的K×(L/2)像素的底部场结合而形成；和用于场分割的装置，以将顶部场分割为多个大小相同的K×L像素顶部场块，将底部场分割为多个大小相同的K×L像素底部场块，由此提供多个相同大小的K×L像素的顶部场和底部场块，其中，每一K×L像素的顶部场和每一K×L像素的底部场分别仅含有偶数行和奇数行。

根据本发明的另一方面，提供一用于在一装置中自适应编码图像信号的方法，该图像信号包括含有目标内的目标像素和背景内的背景像素的轮廓信号和纹理信号，其中，轮廓信号区别目标像素和背景像素，且每一背景像素和目标像素由亮度数据和色度数据表示，该方法包括下列步骤：

(a)进行充填操作，以通过根据预定的充填方法，利用轮廓信号由目标像素所导出的像素值取代背景像素的每一像素值由此生成充填纹理信号；(b)从充填纹理信号中提取亮度数据，由此提供一修正的纹理信号，其中，该修正纹理信号中每一像素仅包含有该亮度数据；和(c)帧和场相关性评价，基于轮廓信号和修正的纹理信号，以根据预定规则评价一帧修正信号的帧相关性及顶部场和底部场的场相关性，若帧相关性比场相关性高，则决定以帧到帧为基础编码图像信号，由此生成帧编码模式信号；而若帧相关性不比场相关性高，则决定以场到场为基础编码图像信号，由此生成场编码模式信号，其中，帧相关性和场相关性根据预定规则计算，其中上述步骤(c)包括以下各步：(c1)检测多个大小相同的M×N像素的轮廓块，M和N分别为预定的正整数，通过利用轮廓信号和修正纹理信号，由此提供轮廓块，其中，每一轮廓块是含有一个或多个背景像素和一个或多个目标像素的块，且每一轮廓块的帧通过将含有偶数行的顶部场块与含有奇数行的底部场块结合而形成；(c2)为每一上述轮廓块计算帧块相关性值(称作BRCV)和场块相关性值(称作BDCV)，由此生成上述轮廓块的BRCV和BDCV，其中，BRCV是根据每一轮廓块帧的预定规则所计算的相关性值；BDCV是根据每一轮廓块顶部场和底部场预定规则所计算的相关性值；(c3)基于BRCV和BDCV判定图像信号的编码模式，由此生成或者帧编码模式信号命令以基于帧到帧对图像信号编码，或者场编码模式信号命令以基于场到场对图像信号编码。

附图说明

本发明的上述和其它目标和特征将由下述所选择实施例及其附图得以揭示，其中：

图1示出了自适应编码图像信号的常规装置的框图；

图2示出根据发明优选实施例的自适应编码图像信号装置的框图；

图3描述了包括轮廓块的修正的纹理信号；

图4示出通过将顶部场块和底部场块相结合而形成的实例轮廓块；

图5示出了根据本发明优选实施例的图2所示分块电路的详细框图。

具体实施方式

参考图2，示出了用于根据本发明的优选实施例的自适应编码图像信号装置200的框图。该图像信号包括目标内含有目标像素、背景中含有背景像素的纹理信号。图象信号还包括区别纹理信号中的目标像素和背景像素的轮廓信号。纹理信号中的每一目标像素和背景像素由亮度数据和色度数据表示。图像数据一般为视频物面(VOP)。图像数据也可能为包括一目标的数字图像帧。

轮廓信号包括含有第一二进制值和第二二进制值的掩膜数据，其中，第一二进制值，例如255，用于指明目标像素，第二二进制值，例如0，用于指明背景像素。因此，可通过利用包含于轮廓信号中的掩膜数据区分纹理信号中的目标和背景。

编码装置200包括一充填电路210、亮度数据提取电路220、帧和场相关性评价信道230、分块电路240、纹理信号编码信道250和多路器(MUX)260。帧和场相关性评价信道230包括轮廓块检测电路231、相关性计算电路232和编码模式判定电路233。纹理信号编码信道250包括帧编码电路251、场编码电路252和数据格式化电路253。

首先，图像信号的轮廓信号经线L20被输入到轮廓块检测电路231，到充填电路210，输入到MUX260。图像信号的纹理信号经线L20供给到充填电路210。充填电路210对纹理信号进行充填操作。

具体地，充填电路210根据预定的充填方法，如常规均值充填方法或常规重复充填方法，利用经线L10所输入的轮廓信号由目标像素值所导出的像素值取代背景像素的每一像素值由此在线L30上生成充填纹理信号。该充填纹理信号经线L30被传输到亮度数据提取电路220和分块电路240。

亮度数据提取电路220从充填纹理信号中提取亮度数据，由此通过线L40向轮廓块检测电路231提供修正的纹理信号，其中，每一修正的纹理信号含有亮度数据。

帧和场相关性评价信道230，基于轮廓信号和修正的纹理信号，评价修正信号帧的帧相关性及其顶部场和底部场的场相关性，由此若帧相关性比场相关性高，则决定以帧到帧为基编码图像信号，生成帧编码模式信号；而若帧相关性不比场相关性高，则决定以场到场为基编码图像信号，生成场编码模式信号，其中，帧相关性和场相关性根据预定规则计算。据预定规则的实例在下文描述。

具体地，帧和场相关性评价信道230的轮廓块检测电路231首先检测多个大小相同的M×N像素的轮廓块，M和N分别为预定的正整数，通过利用经由线L10输入到该处的轮廓信号和经由线L40输入到该处的修正纹理信号，由此将轮廓块提供给相关性计算电路232。此处应当注意，每一轮廓块是含有一个或多个背景像素和一个或多个目标像素的块，且每一轮廓块的帧通过将含有偶数行的顶部场块与含有奇数行的底部场块结合而形成。

图3描述了包括轮廓块310的修正纹理信号300，其中，修正纹理信号300的阴影区和非阴影区分别表示其目标和背景。图4示出了通过将16×8像素顶部块与16×8像素底部块相结合而形成的16×16像素实例的轮廓块400。轮廓块400包括如图4所示编号为0到15的水平行。轮廓块400中的非阴影区域和阴影区域，顶部场块410和底部场块420，分别代表偶数行和奇数行。

相关性计算电路232为从轮廓块检测电路231输入到此处的轮廓块计算帧块相关性值(此后称作BRCV)和场块相关性值(此后称作BDCV)，由此在线L45上分别生成轮廓块的BRCV和BDCV，其中，BRCV是根据轮廓块帧的预定规则所计算的相关性值；BDCV是根据轮廓块顶部场和底部场预定规则所计算的相关性值。

根据本发明优选实施例，BRCV是轮廓块的帧块差(称作BRD)，BDCV(称作BDD)是轮廓块的场块差。在上述，BRD是绝对第一差之和，每一第一差是包括轮廓块偶数行和相邻奇数行的行对间的误差；BDD是绝对第二差与绝对第三差之和，每一第二差和每一第三差分别是轮廓块相邻偶数行对间及相邻奇数行对间的误差。

根据本发明的另一优选实施例，BRCV是轮廓块的帧块平方误差(称作BRS)，BDCV是轮廓块的场块平方误差(称作BDS)。BRS是第一平方误差之和，每一第一平方误差是包括轮廓块偶数行和相邻奇数行的行对间的平方误差；BDS是第二平方误差与绝对第三平方误差之和，每一第二平方误差和每一第三平方误差分别是轮廓块相邻偶数行对间及相邻奇数行对间的平方误差。

参考图4，相关性计算电路232所进行的相关性计算过程将在下文详细描述。在此情况下，为了简单假定轮廓块的大小为16×16像素，即，M和N分别为16。

根据本发明的优选实施例，16×16像素的轮廓块的BRD和BDD分别利用下述等式1和2进行计算：

$\mathrm{BRD}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\left(\right|P_{2i,j}-P_{2i+1,j}|+|P_{2i+1,j}-P_{2i+2,j}\left|\right)$ (公式1)

$\mathrm{BDD}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\left(\right|P_{2i,j}-P_{2i+2,j}|+|P_{2i+1,j}-P_{2i+2,j}\left|\right)$ (公式2)

其中，P_h，v代表轮廓块内处于第h条水平线与第v条垂直线交叉点的像素的亮度，每一h和v范围从0到15。

根据本发明的优选实施例，16×16像素的轮廓块的BRS和BDS分别利用下述等式3和4进行计算：

$\mathrm{BRS}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}({(P_{2i,j}-P_{2i+1,j})}^2+{(P_{2i+1,j}-P_{2i+2,j})}^2)$ (公式3)

$\mathrm{BDS}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}({(P_{2i,j}-P_{2i+2,j})}^2+{(P_{2i+1,j}-P_{2i+2,j})}^2)$ (公式4)

其中，P_h，v代表轮廓块内处于第h条水平线与第v条垂直线交叉点的像素的亮度，每一h和v范围从0到15。在上述公式1-4中，水平线h以上升顺序自轮廓块中的顶部到底部计数，垂直线v以上升顺序自轮廓块中的左到右计数。

编码模式判定电路233，基于轮廓块的BRCV(如BRD)和BDCV(BDD)，进行编码模式判定，以生成或者一命令以帧到帧为基础对图像信号进行编码的帧编码模式信号，或者一命令以场到场为基础对图像信号进行编码的场编码模式信号。

具体地，根据本发明的优选实施例，编码模式判定电路233首先对第一轮廓块的第一数进行计数，对第二轮廓块的第二数进行计数，其中，每一第一轮廓块为含有等于或小于对应BDD的对应BRD的轮廓块，每一第二轮廓块为含有大于对应BDD的对应BRD的轮廓块。此后，若第一数等于或大于第二数，则模式判定电路233在线L50上生成帧编码模式信号；若第一数小于第二数，则在线L50上生成场编码模式信号。

根据本发明另一优选实施例，编码模式判定电路233将所有轮廓块的对应BRD取和，由此生成第一和，与此同时，将所有轮廓块的对应BDD取和，由此生成第二和。此后，编码模式判定电路233将第一和与第二和对比，若第一和与第二和的比值等于或小于预定的阈值，如0.8，则在线L50上生成帧编码模式信号；若第一和与第二和的比值大于预定的阈值，则在线L50上生成场编码模式信号。结果，帧编码模式信号或场编码模式信号之一个经线L50供给分块电路240和数据格式化电路253。

分块电路240响应来自编码模式判定电路233的帧编码模式信号，对由充填电路210经线L30输入的充填纹理信号进行分割，由此经线L60向帧编码电路251提供多个相同大小的K×L像素的帧块，K和L分别是预定的正整数。同时，分块电路240响应来自编码模式判定电路233的场编码模式信号，将充填纹理信号分割成多个顶部场和底部场，而后将顶部场分割为多个大小相同的K×L像素顶部场块，将底部场分割为多个大小相同的K×L像素底部场块，由此经线L70向场编码电路252提供多个相同大小的K×L像素的顶部场和底部场块。

在上述，每一经线L60供给帧编码电路251的K×L像素的帧块通过将仅含有偶数行的K×(L/2)像素的顶部场与仅含有奇数行的K×(L/2)像素的底部场结合而形成；通过线L70供给场编码电路252的每一K×L像素的顶部场和每一K×L像素的顶部场分别仅含有偶数行和奇数行。

图5示出了根据本发明优选实施例的图2所示分块电路240的详细框图。参考图5，分块电路240所进行的分块过程将在下面详细描述。分块电路240包括编码路径选择电路241、帧块分割电路245和场块分割电路247。

编码路径选择电路241响应来自编码模式判定电路233的帧编码模式信号，选择帧到帧编码路径，以将经线L30由充填电路210输入到此处的充填纹理信号以一帧经线L41供给帧块分割电路245。编码路径选择电路241响应来自编码模式判定电路233的场编码模式信号，选择场到场编码路径以将由充填电路210输入的充填纹理信号分割成顶部场和底部场，此后将顶部场和底部场经线L43提供给场块分割电路247。

帧块分割电路245将输入到该处的帧分割成多个大小相等的K×L像素的帧块，由此将帧块经线L60提供给帧编码电路251。

场块分割电路247将来自编码路径选择电路241的顶部场分割成多个大小相等的K×L像素的顶部场块，由此将K×L像素的顶部场块经线L70提供给场编码电路252。同时，场块分割电路247将经线L43输入的底部场分割成多个大小相等的K×L像素的底部场块，由此将K×L像素的底部场块经线L70提供给场编码电路252。

如果帧编码模式信号经线L50输入到该处，纹理信号编码信道250对经线L60输入到该处的帧块以帧到帧为基础编码，由此经线L95向MUX260提供编码的纹理信号。纹理信号编码信道250，若场编码模式信号经线L50输入到该处，对经线L70输入到该处的顶部场块和底部场块以场到场为基础编码，由此经线L95向MUX260提供编码的纹理信号。

详细地，纹理信号编码信道250中的帧编码电路251通过利用包括离散余弦变换(DCT)编码方法和带有或不带有运动估计(ME)和运动补偿(MC)的量化方法的常规帧编码方法对帧块编码，由此经线L80将编码的帧块提供给数据格式化电路253。

场编码电路252通过利用包括DCT编码方法和带有或不带有ME和MC的量化方法的常规场编码方法对顶部场块和底部场块编码，由此经线L80将编码的顶部场块和底部场块分别提供给数据格式化电路253。上述DCT编码方法以块到块为基础进行，块的大小一般为8×8像素。即K和L典型值分别为8。

数据格式化电路253将帧编码模式信号与编码帧块结合(若帧编码模式信号经线L50输入到该处)，由此经线L95向MUX260提供一编码的纹理信号。同时，数据格式化电路253将场编码的模式信号与编码的顶部场块和编码底部场块结合(若场编码模式信号经线L50被输入到该处)，由此经线L95向MUX260提供一编码的纹理信号。此处应当注意，帧编码模式信号和场编码模式信号分别是对应编码的纹理信号的额外信息。

MUX260将由线L10输入到该处的轮廓信号和由线L95输入到该处的编码的纹理信号复合，以将编码的图像信号提供给用于传输的发射机(未示出)。

根据常规装置和/或方法，在对图像信号编码时，图像信号的额外信息被附加到通过以块到块为基础对图像信号所分割的所有块上，由此增加了额外信息量。而根据本发明，对图像信号编码时，图像信号的额外信息被只附加到或者纹理信号或者顶部场和底部场，由此减少了额外信息量。

根据本发明，基于利用图像信号的轮廓信号计算的帧和场相关性，提供一用于对图像信号自适应编码的装置和方法，以使图像信号的帧和场相关性计算(或评价)过程简单，并且减少图像信号的额外信息，由此增强编码效率。

基于通过利用图像信号的轮廓信号计算的帧和场相关性，提供对图像信号编码的装置和方法，以使帧和场相关性评价过程简单。且减少图像信号的额外信息，由此增强其编码效率。

本发明虽然就特定实施例进行描述，显然在本领域内的技术人员可在不偏离本发明下述权利要求所规定的精神和范围的情况下作各种改动。

Claims (18)

1.一种用于自适应编码图像信号的设备，该图像信号包括含有目标内的目标像素和背景内的背景像素的轮廓信号和纹理信号，其中，轮廓信号区别目标像素和背景像素，且每一背景像素和目标像素由亮度数据和色度数据表示，该设备包括：

用于通过根据预定的充填方法，利用轮廓信号由目标像素所导出的像素值取代背景像素的每一像素值由此生成充填纹理信号的装置；

用于从充填纹理信号中提取亮度数据，由此提供一修正的纹理信号的装置，其中，该修正纹理信号中每一像素只含有该亮度数据；和

帧和场相关性评价装置，基于轮廓信号和修正的纹理信号，用于根据预定规则作帧和场相关性评价以评价一帧修正信号的帧相关性及顶部场和底部场的场相关性，若帧相关性比场相关性高，则决定以帧到帧为基础编码图像信号，生成帧编码模式信号；而若帧相关性不比场相关性高，则决定以场到场为基础编码图像信号，生成场编码模式信号，其中，帧相关性和场相关性根据预定规则计算，

其中上述帧和场相关性评价装置包括：

用于检测多个大小相同的M×N像素的轮廓块的装置，M和N分别为预定的正整数，通过利用轮廓信号和修正纹理信号，由此提供轮廓块，其中，每一轮廓块是含有一个或多个背景像素和一个或多个目标像素的块，且每一轮廓块的帧通过将含有偶数行的顶部场块与含有奇数行的底部场块结合而形成；

用于为上述每一轮廓块计算帧块相关性值和场块相关性值的装置，由此生成所述的每轮廓块的帧块相关性值和场块相关性值，其中，帧块相关性值是根据所述的每一轮廓块帧的预定规则所计算的相关性值；场块相关性值是根据所述的每一轮廓块顶部场和底部场预定规则所计算的相关性值；

用于基于帧块相关性值和场块相关性值判定编码模式的装置，由此生成或者帧编码模式信号命令以基于帧到帧对图像信号编码，或者场编码模式信号命令以基于场到场对图像信号编码。

2.根据权利要求1的设备，其中，帧块相关性值是上述轮廓块的帧块差，场块相关性值是上述轮廓块的场块差，帧块差是绝对第一差之和，每一第一差是包括上述每一轮廓块偶数行和相邻奇数行的行对间的误差；场块差是绝对第二差与绝对第三差之和，每一第二差和每一第三差分别是上述每一轮廓块相邻偶数行对间及相邻奇数行对间的误差。

3.根据权利要求2的设备，其中，上述编码模式判定装置首先计数第一轮廓块的第一数和第二轮廓块的第二数，每一第一轮廓块为含有等于或小于对应场块差的对应帧块差的轮廓块，每一第二轮廓块为含有大于对应场块差的对应帧块差的轮廓块；由此若第一数等于或大于第二数，该模式判定装置生成帧编码模式信号；并且若第一数小于第二数，则生成场编码模式信号。

4.根据权利要求3的设备，还包括：

分割装置，响应帧编码模式信号，用于分割充填纹理信号，由此提供多个大小相同的K×L像素的帧块，K和L分别是预定的正整数，响应场编码模式信号，将充填纹理信号分割成多个顶部场和底部场，而后将顶部场分割为多个大小相同的K×L像素顶部场块，将底部场分割为多个大小相同的K×L像素底部场块，由此提供K×L像素的顶部场和K×L像素的底部场块。

5.根据权利要求4的设备，其中，上述分割装置包括：

选择装置，响应帧编码模式信号，用于选择帧到帧编码路径以提供充填纹理信号作为一帧，响应场编码模式信号，用于选择场到场编码路径以将充填纹理信号分割为顶部场和底部场，由此提供顶部场和底部场；

用于帧块分割的装置，以将帧分割为多个大小相等的K×L像素的帧块，并由此提供K×L像素的帧块，其中，每一K×L像素的帧块通过将仅含有偶数行的K×(L/2)像素的顶部场与仅含有奇数行的K×(L/2)像素的底部场结合而形成；和

用于场分割的装置，以将顶部场分割为多个大小相同的K×L像素顶部场块，将底部场分割为多个大小相同的K×L像素底部场块，由此提供多个相同大小的K×L像素的顶部场和底部场块，其中，每一K×L像素的顶部场和每一K×L像素的底部场分别仅含有偶数行和奇数行。

6.根据权利要求5的设备，其中，M和N分别为16。

7.根据权利要求6的设备，其中，帧块差和场块差分别由下述等式1和2计算：

$\mathrm{BRD}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\left(\right|P_{2i,j}-P_{2i+1,j}|+|P_{2i+1,j}-P_{2i+2,j}\left|\right)$ (公式1)

$\mathrm{BDD}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\left(\right|P_{2i,j}-P_{2i+2,j}|+|P_{2i+1,j}-P_{2i+2,j}\left|\right)$ (公式2)

其中，P_h，v代表轮廓块内处于第h条水平线与第v条垂直线交叉点的像素的亮度，每一h和v范围从0到15。

8.根据权利要求1的设备，其中，帧块相关性值是每一轮廓块的帧块平方误差，场块相关性值是上述每一轮廓块的场块平方误差，帧块平方误差是第一平方误差之和，每一第一平方误差是包括上述轮廓块偶数行和相邻奇数行的行对间的平方误差；场块平方误差是第二平方误差与第三平方误差之和，每一第二平方误差和每一第三平方误差分别是每一上述轮廓块相邻偶数行对间及相邻奇数行对间的平方误差。

9.根据权利要求8的设备，编码模式判定装置将所有轮廓块的对应帧块平方误差取和，由此生成第一和，与此同时，将所有轮廓块的对应场块平方误差取和，由此生成第二和；此后，将第一和与第二和对比，若第一和与第二和的比值等于或小于预定的阈值，则生成帧编码模式信号；若第一和与第二和的比值大于预定的阈值，则生成场编码模式信号。

10.一用于在一装置中自适应编码图像信号的方法，该图像信号包括含有目标内的目标像素和背景内的背景像素的轮廓信号和纹理信号，其中，轮廓信号区别目标像素和背景像素，且每一背景像素和目标像素由亮度数据和色度数据表示，该方法包括下列步骤：

(a)进行充填操作，以通过根据预定的充填方法，利用轮廓信号由目标像素所导出的像素值取代背景像素的每一像素值由此生成充填纹理信号；

(b)从充填纹理信号中提取亮度数据，由此提供一修正的纹理信号，其中，该修正纹理信号中每一像素仅包含有该亮度数据；和

(c)帧和场相关性评价，基于轮廓信号和修正的纹理信号，以根据预定规则评价一帧修正信号的帧相关性及顶部场和底部场的场相关性，若帧相关性比场相关性高，则决定以帧到帧为基础编码图像信号，由此生成帧编码模式信号；而若帧相关性不比场相关性高，则决定以场到场为基础编码图像信号，由此生成场编码模式信号，其中，帧相关性和场相关性根据预定规则计算，

其中上述步骤(c)包括以下各步：

(c1)检测多个大小相同的M×N像素的轮廓块，M和N分别为预定的正整数，通过利用轮廓信号和修正纹理信号，由此提供轮廓块，其中，每一轮廓块是含有一个或多个背景像素和一个或多个目标像素的块，且每一轮廓块的帧通过将含有偶数行的顶部场块与含有奇数行的底部场块结合而形成；

(c2)为每一上述轮廓块计算帧块相关性值和场块相关性值，由此生成上述轮廓块的帧块相关性值和场块相关性值，其中，帧块相关性值是根据每一轮廓块帧的预定规则所计算的相关性值；场块相关性值是根据每一轮廓块顶部场和底部场预定规则所计算的相关性值；

(c3)基于帧块相关性值和场块相关性值判定图像信号的编码模式，由此生成或者帧编码模式信号命令以基于帧到帧对图像信号编码，或者场编码模式信号命令以基于场到场对图像信号编码。

11.根据权利要求11的方法，其中，帧块相关性值是上述每一轮廓块的帧块差，场块相关性值是上述轮廓块的场块差(称作场块差)，帧块差是绝对第一差之和，每一第一差是包括上述每一轮廓块偶数行和相邻奇数行的行对间的误差；场块差是绝对第二差与绝对第三差之和，每一第二差和每一第三差分别是上述每一轮廓块相邻偶数行对间及相邻奇数行对间的误差。

12.根据权利要求11的方法，其中，在上述步骤(c3)中，第一轮廓块的第一数和第二轮廓块的第二数被计数，每一第一轮廓块为含有等于或小于对应场块差的对应帧块差的轮廓块，每一第二轮廓块为含有大于对应场块差的对应帧块差的轮廓块；由此若第一数等于或大于第二数，该模式判定装置生成帧编码模式信号；并且若第一数小于第二数，则生成场编码模式信号。

13.根据权利要求12的方法，还包括步骤：

(d)响应帧编码模式信号，分割充填纹理信号，由此提供多个大小相同的K×L像素的帧块，K和L分别是预定的正整数，响应场编码模式信号，将充填纹理信号分割成多个顶部场和底部场，而后将顶部场分割为多个大小相同的K×L像素顶部场块，将底部场分割为多个大小相同的K×L像素底部场块，由此提供K×L像素的顶部场和K×L像素的底部场块。

14.根据权利要求13的方法，其中，上述步骤(d)包括下列各步：

(d1)响应帧编码模式信号，选择帧到帧编码路径以提供充填纹理信号作为一帧；响应场编码模式信号，选择场到场编码路径以将充填纹理信号分割为顶部场和底部场，由此提供顶部场和底部场；

(d2)帧块分割以将帧分割为多个大小相等的K×L像素的帧块，并由此提供K×L像素的帧块，其中，每一K×L像素的帧块通过将仅含有偶数行的K×(L/2)像素的顶部场与仅含有奇数行的K×(L/2)像素的底部场结合而形成；和

(d3)场块分割以将顶部场分割为多个大小相同的K×L像素顶部场块，将底部场分割为多个大小相同的K×L像素底部场块，由此提供多个相同大小的K×L像素的顶部场和底部场块，其中，每一K×L像素的顶部场和每一K×L像素的顶部场分别仅含有偶数行和奇数行。

15.根据权利要求14的方法，其中，M和N分别为16。

16.根据权利要求15的方法，其中，帧块差和场块差分别由下述等式1和2计算：

$\mathrm{BRD}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\left(\right|P_{2i,j}-P_{2i+1,j}|+|P_{2i+1,j}-P_{2i+2,j}\left|\right)$ (公式1)

$\mathrm{BDD}=\underset{i=0}{\overset{6}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}\left(\right|P_{2i,j}-P_{2i+2,j}|+|P_{2i+1,j}-P_{2i+2,j}\left|\right)$ (公式2)

其中，P_h，v代表轮廓块内处于第h条水平线与第v条垂直线交叉点的像素的亮度，每一h和v范围从0到15。

17.根据权利要求11的方法，其中，帧块相关性值是每一轮廓块的帧块平方误差，场块相关性值是上述每一轮廓块的场块平方误差(称作场块平方误差)，帧块平方误差是第一平方误差之和，每一第一平方误差是包括上述轮廓块偶数行和相邻奇数行的行对间的平方误差；场块平方误差是第二平方误差与第三平方误差之和，每一第二平方误差和每一第三平方误差分别是上述轮廓块相邻偶数行对间及相邻奇数行对间的平方误差。

18.根据权利要求17的方法，其中，在上述步骤(c3)中，所有轮廓块的对应帧块平方误差被取和，由此生成第一和，与此同时，所有轮廓块的对应场块平方误差被取和，由此生成第二和；此后，将第一和与第二和对比，若第一和与第二和的比值等于或小于预定的阈值，则生成帧编码模式信号；若第一和与第二和的比值大于预定的阈值，则生成场编码模式信号。

Images