CN1145908C - 处理具有图象点的数字化图象的方法和装置 - Google Patents

Abstract

将图象的图象点分组成图象数据块。将图象分块成至少第一个图象对象和第二个图象对象，其中至少将图象数据块分配给第一个图象对象边缘的一部分。将关于图象对象的信息分配给至少一个图象数据块。

Description

处理具有图象点的数字化图象的方法和装置

本发明涉及到处理具有图象点的数字化图象的方法和装置。

在[1]中已知一种这样的装置和一种这样的方法。

在[1]中已知的装置或者在[1]中已知的方法中有用于处理数字化图象的图象点，将各个编码信息分配给这些图象点。

以下将编码信息理解为分配给各个图象点的亮度信息(亮度值)和/或色度信息(色度)。

图象点在图象数据块中是分组的，其中一般来说每个图象数据块有8*8或者16*16图象点。

此外将图象数据块分组为宏数据块，其中每个宏数据块有包括亮度信息形式编码信息(亮度图象数据块)的四个图象数据块，以及包括色度信息(色度图象数据块)的两个图象数据块。

在[1]中已知的按照H.263/V.2标准构成的图象编码方法中，为了数字化图象的编码考虑使用所谓的差异图象编码。

正巧当使用这样的差异图象编码时当拍摄一个情景的摄像机移动时，或者被拍摄的情景变化时，出现的问题是被拍摄的背景是不稳定的。

当将这种方法使用在移动无线通信机的帧内进行图象编码时，例如使用在视频手机的帧内，这个问题具有特殊的意义。

关于视频手机可理解为一种视频装置，在其上集成了摄像机用于拍摄一系列图象和在装置上集成了电话机，其中电话机是无线电话机。

在普通的差异图象编码时当背景变化很大情况下有必要将提供使用的通信数据率比较大的部分用于变化很大的背景编码，则对于在图象前景看到的感兴趣的和相对于背景变化很小的对象只将提供使用的数据率比较小的部分保留和与之相应地各个被编码图象的质量很坏。

然而常常希望位于前景的对象有一个好的质量，而对于背景在图象编码时用比较小的分辨率是可以认可的。

在[1]中叙述了在最佳编码模式(切片结构模式)时将数字化图象分成矩形，所谓的切片，将各个单独的编码参数分配给每个矩形。

通过编码的参数另外给出了通过该量化在每一个矩形中含有的对象应该被编码。

在[1]中已知的处理方法的缺点是，必须将整个图象分成非常多的矩形。这导致在数字化图象编码帧上明显的不可改变性。在[1]中已知的处理方法中另外的缺点在于对于所有切片只能使用统一的位置分辨率。

在[2]中已知被称为MPEG-4-图象编码方法的以对象为基础的图象编码方法。在这种方法中将数字化图象内的不同对象相互单独地进行编码。使用乘法器将从单个图象对象编码产生的视频数据流组合在一起。按照MPEG-4-标准方法有的特殊缺点是，由于单个视频数据流非常复杂的编码形式当准备编码的图象对象很多时对于实时编码和对于从视频数据流得出的被编码的数量自动生成情景描述，用这个描述将单个图象对象在数字化图象内组合进行描述，需要非常大的计算费用。为此要求的计算功率特别是在通信机上，例如视频手机，目前是不能提供的。

在[3]中已知将图象分块成为图象对象，这被称为运动对象分块。

在[4]中已知通过使用数据块边缘滤波器降低以数据块为基础的帧内出现的数据块形式影响。

在[5]中已知处理具有图象点的数字化图象的一种方法，在其中将图象点分组成图象数据块，在其中将图象分块成至少第一个图象对象和第二个图象对象，其中至少将一个图象数据块分配给至少第一个图象对象边缘的一部分和在其中至少将关于图象对象的信息进行分配。

[5]没有公开将这种方法使用在移动通信机上。然而此特征在[6]中已知，其中叙述了在移动电话之间传输图象的方法。

因此本发明的任务在于给出一种方法和一种装置用于处理具有图象点的数字化图象，这个或者这些涉及到图象编码有高的灵活性以及要求相对于已知方法降低计算功率。

问题是通过具有按照独立权利要求的特征解决的。

处理具有图象点的数字化图象的方法有以下步骤：

d)将图象点分组为图象数据块，

e)将图象分块成至少第一个图象对象和第二个图象对象，其中至

少将图象数据块分配给第一个图象对象边缘的部分，和

f)将关于图象对象的信息分配给至少一个图象数据块。

处理具有图象点的数字化图象的装置包括一个处理器，这个是这样构成的，

a)将图象点分组为图象数据块，

b)将图象分块成至少第一个图象对象和第二个图象对象，其中

至少将图象数据块分配给第一个图象对象边缘的部分，和

c)将关于图象对象的信息分配给至少一个图象数据块。

通过本发明达到图象对象编码的简单形式，用这个将提供使用的数据率的柔性分布有可能用于不同图象对象的编码。

本发明有利的扩展结构由从属权利要求中得出。

有利的是将多个图象数据块分组为宏数据块，至少将一个宏数据块分配给边缘的部分。

在扩展结构中考虑了，至少将宏数据块的亮度数据块分配给至少第一个图象对象边缘的部分。

此外有利的是至少将一个图象数据块分配给第一个图象对象的这个边缘。

此外在扩展结构中考虑了，将关于图象对象的各个信息分配给所有宏数据块，其中包括第一个图象对象的边缘。

在扩展结构中将第一个图象对象使用宏数据块地址选择地址，将宏数据块地址各自分配给一个宏数据块。

在扩展结构中考虑了，第二个宏数据块使用宏数据块地址选择地址，将宏数据块地址各自分配给一个宏数据块。

如果有利地将具有不同质量的图象对象进行编码，其中有利的是将质量参数，说明图象对象是用什么样的质量编码的，分配给包括在相应图象对象中至少一个宏数据块。

本方法和本装置可以使用在数字化图象编码或者数字化图象解码上。

本装置和本方法适合于使用在移动无线机上，例如视频手机上。

将本发明实施例表示在附图中和在下面详细叙述。

附图表示

附图1图象简图，将图象按照实施例进行处理；

附图2两个计算机、一个摄像机和一个图象屏幕的装置，用其对图象数据进行编码，传输以及解码和显示；

附图3用于将数字化图象以数据块为基础进行编码的装置简图；

附图4过程图，其中表示数字化图象编码，传输和解码。

在 附图2上表示了包括两个计算机202、208和一个摄像机201的装置，在其上介绍了图象编码，图象数据传输和图象解码。

将摄像机201经过导线219与第一个计算机202相连。摄像机将拍摄的图象204传输给第一个计算机202。第一个计算机202具有第一个处理器203，这经过总线218与图象存储器205相连。用第一个计算机202的第一个处理器203进行图象编码方法。将用这种形式编码的图象数据206从第一个计算机202经过一个通信连接207，有益的是一个导线或者一个无线路段，传输给第二个计算机208。第二个计算机208包括第二个处理器209，这个经过一个总线210与图象存储器211相连。用第二个处理器209进行图象解码方法。

不仅第一个计算机202而且第二个计算机208各自具有一个图象屏幕212或者213，在其上将图象数据204视觉化，其中在第一个计算机202图象屏幕上的视觉化一般只进行检查的目的。为了不仅操作第一个计算机202而且操作第二个计算机208各自安排了输入单元，有益的键盘214或者215，以及计算机鼠标器216或者217。

从摄像机201经过导线219传输到第一个计算机202的图象数据204是时域数据，而从第一个计算机202经过通信连接207传输到第二个计算机208的数据206是频域数据。

在图象屏幕213上显示被解码的图象数据。

附图3表示了按照H.263-标准(见[1])进行以数据块为基础的图象编码方法的情况。

将准备编码的具有时间连续数字化图象的视频数据流输入给图象编码单元301。将数字化图象分成为宏数据块302，其中每个宏数据块包括16×16图象点。宏数据块302包括4个图象数据块303、304、305和306，其中每个图象数据块包括8×8个图象点，将亮度值(亮度值)分配给这些图象点。此外每个宏数据块302包括具有分配给图象点色度(色差值)的两个色度数据块307、308。

将图象数据块分配给变换编码单元309。当差异图象编码时将时间上走在前面的图象准备编码的图象数据块数值从现实准备编码的图象数据块中减去，只将差异图象信息310输入给变换编码单元309(离散的余弦变换，DCT)。此外经过连接334将现实的宏数据块302通报给运动评估单元329。在变换编码单元309中对于准备编码的图象数据块或者差异图象数据块形成频谱系数311和输入给量化单元312。

将被量化的频谱系数313不仅输入给扫描单元314而且在反向路径上输入给逆变量化单元315。按照一种扫描方法，例如按照“锯齿”扫描方法在被扫描的频谱系数332上在为此安排的熵编码单元316上进行熵编码。将被熵编码的频谱系数作为被编码的图象数据317经过一个通道，有益的是经过导线或者无线路段传输到解码器。

在逆变量化单元315上将被量化的频谱系数313进行逆变量化。将这样得到的频谱系数318输入给逆变的变换编码单元319(逆变的离散余弦变换，IDCT)。将被改造的编码值(也是差异编码值)320用差异编码模式输入给加法器321。此外加法器321得到一个图象数据块的编码值，编码值是由时间上走在前面的图象在已经进行了运动补偿之后得到的。用加法器321构成被改造的图象数据块322和存储在图象存储器323中。

将被改造图象数据块322的色度值324从图象存储器323中输入给运动补偿单元325。对于亮度值326在为此安排的插补单元327中进行插补。借助于插补将包括在各个数据块中亮度值的数目有益地变成四倍。将所有亮度值328不仅输入给运动补偿单元325而且输入给运动评估单元329。此外运动评估单元329经过连接334得到各个准备编码的宏数据块(16×16图象点)的图象数据块。在运动评估单元329中考虑到被插补的亮度值情况下进行运动评估(“在半象素基础上的运动评估”)。

运功评估的结果是运动矢量330，通过运动矢量表达了被选定的宏数据块在时间上走在前面的图象到准备编码的宏数据块302的位置移动。

将不仅亮度信息而且色度信息涉及到通过运动评估单元329求出的宏数据块移动了运动矢量330和从宏数据块302的色度值中减去(见数据路径331)。

因此产生具有两个运动矢量成分的运动矢量330，沿着第一个方向x和第二个方向y的第一个运动矢量成分BVx和第二个运动矢量成分BVy：

$\mathrm{BV}=\left[\begin{array}{c}B{V}_x\\ B{V}_y\end{array}\right].$

将运动矢量330分配给图象数据块。

因此从 附图3上的图象编码单元提供给所有图象数据块或者宏数据块一个运动矢量330。

附图1表示从摄像机拍摄的有图象点的图象100，其中将图象点分组成为图象数据块101。将各自8×8个图象点组成为一个图象数据块101。

将亮度信息分配给图象点。将四个亮度图象数据块101组成一个宏数据块102。

附图1表示了描述一个人的第一个图象对象104，描述桌子表面的第二个图象对象105以及描述图象背景的第三个对象103。

第一个图象对象104和第二个图象对象105共同构成图象前景。

在第一个步骤(步骤401，见附图4)中将图象分块成为多个图象对象。按照在[3]中叙述的方法将图象进行分块，这种方法被称为运动对象分块。分块是这样进行的，第一个图象对象104或者第二个图象对象105的边缘106，107各自与宏数据块的数据块边界或者至少与在一个宏数据块中的亮度图象数据块的数据块边界一致。

在第二个步骤(步骤402)中各自将编码参数语句分配给每个图象对象103、104、105。

用编码参数说明各个图象对象编码使用的位置分辨率，运动矢量，编码形式(内部编码或者交叉编码)，量化，等。

此外对于每个图象对象103、104、105在另外的步骤(步骤403)中选定一个质量参数和分配给各个图象对象103、104、105作为编码参数。用质量参数说明，应该将图象对象各自编码成什么样的质量。

在这个例子情况下质量参数是通过准备选择的量化的参数给定的。

将编码参数存储在分配给各个图象对象103、104、105的图象对象-标题区中，进行编码和与余下的准备编码的图象信息，图象数据块或者差异图象信息共同传输。

按照上述和 附图3表示的方法在其他的步骤(步骤404)中将每个图象对象103、104、105按照编码参数编码成各自的，在质量参数上预先规定的质量。

此外将前景图象也就是说第一个图象对象104或者还有第二个图象对象105用比较好的图象质量编码，也就是说提供给第一个图象对象104和第二个图象对象105的编码比提供给背景图象即第三个图象对象103的编码多的数据率。

应该注意的是，不要求单个图象对象是分离的，然而第一个图象对象104、第二个图象对象105以及第三个图象对象105的所有图象点的统一数量包括了图象100的所有图象点。

对于图象100进行编码各自对于整个图象安排了图象-标题区，在其中规定了不同的编码参数，这些对于整个图象的编码是相等的。

这样在图象-标题区规定了分块参数，用分块参数叙述用什么样的方法将图象100分块为图象对象103、104、105。

在图象-标题区安排了两个比特字用于分块参数编码。将四种不同的分块形式进行区别：

-第一种分块形式(编码00)：

被叙述的方法不使用于图象100编码。

-第二种分块形式(编码01)：

所有图象对象包括背景图象对象是分离的和准确地填满图象100预先规定的图象格式。

-第三种分块形式(编码10)：

允许图象对象重叠和也允许位于普通的图象帧的外边。但是图象帧位于预先规定的相对于普通的图象帧比较大的帧上，这个帧不允许被超出。

-第四种分块形式(编码11)：

除了背景图象对象以外所有图象对象是分离的。第四种分块形式是用于背景信息的有效编码，因为已经可以将被编码的背景存储在存储器，背景存储器中。由运动的图象对象重新覆盖的图象背景不必要重新编码。背景允许在图象100预先规定的图象帧上伸出来，因此当拍摄图象100的摄像机201运动时可以追溯到已经编码的信息。重新确定预先规定的帧，这个帧大于图象100的普通的图象帧。这个预先规定的帧不允许被超出。

将被编码的图象信息在另外步骤(步骤405)中作为被编码的图象从第一个计算机202传输到第二个计算机208。

在另外的步骤(步骤406)中被编码的图象被第二个计算机208接收。

在最后的步骤(步骤407)中将被接收的编码图象信息解码和将数字化的图象使用共同传输的编码参数和使用质量参数进行改造。

可能出现不同形式的图象对象，其中将各自一种形式的图象对象通过在各个图象对象的标题区进行编码。

图象对象的第一种形式是具有宽度为w和高度为h的矩形图象对象。由于图象边界(图象对象的边缘)与各个宏数据块的边一致矩形对象的地址选择是由矩形图象对象左上边的宏数据块的绝对宏数据块地址进行的。

宏数据块地址是分配给各个宏数据块的地址，用其在图象编码帧上明确地标志每个宏数据块。

将矩形图象对象的宽度w用变化的长度编码进行编码。

宏数据块的地址选择是这样进行的，在图象100上用行的方式从左至右将代表宏数据块地址的各自一个数值从宏数据块至宏数据块进行增值。为了对各自一个图象对象进行编码安排了图象对象-启动-编码，用其说明，其他的数据是与图象对象的编码有关的。因此各自在图象对象最后的宏数据块进行编码之后或者跟随着一个新的图象对象-启动-编码或者一个新的图象-启动-编码，用其说明用新图象的其他数据进行编码。

如果矩形图象对象的边界与宏数据块网格不一致，但是与亮度图象数据块的数据块边界一致时，则将各个亮度图象数据块与宏数据块边界的相对位置通过附加比特在图象对象-标题区进行编码。

具有非矩形结构的图象对象是这样分块的，使各个图象对象的边缘与宏数据块的图象边界或者至少与亮度图象数据块的数据块边界一致。

在这种情况下图象对象的第一个宏数据块的地址选择是由绝对的宏数据块地址按照上述地址选择简图进行的。

后面的，属于各个图象对象的宏数据块的地址选择是使用运行-长度-编码进行的，按照H.261-标准的方法是已知的。

在图象对象最后的宏数据块编码之后同样进行或者新的图象对象-启动-编码或者新的图象-启动-编码。

图象对象的第三种形式是背景图象对象；在前面情况下第三个图象对象103表示背景图象对象。用背景图象对象描述背景，其中在背景中表示的信息相对于在前景图象中描述的信息对于观察者来说意义比较小。

与在[1]中已知的切片结构模式相反背景图象对象在矩形的图象对象，矩形对象时，也不必须是矩形的。

为了背景图象对象的编码用一个图象对象-启动-编码开始。背景图象对象的宏数据块的地址选择依赖于被选定的，上述分块形式。

在第二种分块形式(编码01)中所有背景宏数据块的位置，也就是说包括在背景图象对象中的所有宏数据块的位置，在最后的图象对象编码之后明确地确定和它们可以先后用上述方法按照宏数据块的地址选择选择地址。不属于图象背景的宏数据块不需要用运行-长度-编码超越。

在第二种分块形式以及第三种分块形式(编码10和编码11)中地址选择如同具有非矩形结构的图象对象一样进行。

此外表示了上述实施例的一些变型。

变化的长度编码的变型可以将固定长度编码使用在矩形图象对象宽度为w的编码上。

与图象100前面的图象的矩形图象对象的大小和位置有差异的编码也可以使用在本发明的帧上。

运行-长度-编码的变型在非矩形结构图象对象的宏数据块编码时如在[2]中叙述的是所谓的形状编码。与前面图象的图象对象位置有差异的编码可以使用在宏数据块的编码中。

此外在上述方法的帧上可以考虑只使用矩形的图象对象。这导致了编码的简化。因为在这种情况下当超越属于矩形图象对象的宏数据块时，只要求将宏数据块地址增量w宏数据块。用这种方法达到减少在编码帧上所要求的计算操作。

将对于图象100观察者特别感兴趣的那些图象对象用比图象对象，特别是对于图象100观察者兴趣比较小的背景图象对象，高的质量进行编码。

由于使用以数据块为基础的图象编码方法在用比较小的质量进行编码的图象区域出现放大的所谓的数据块方式效应，也就是说可以看见的数据块边缘。

在变型的实施形式中通过使用数据块边缘滤波器将这个减小。这样的数据块边缘滤波器在[4]中是已知的。数据块边缘滤波不仅可以使用在解码的帧上而且也可以使用在编码器的反馈回路上，如附图3表示的作为所谓的“在回路上的滤波器”。

数据块滤波有益地只使用在粗的量化，也就是说用比较低质量编码的图象对象上。

对于在图象序列内激烈运动的情况但是也可能在用提高质量编码的图象对象时出现，由于受到限制的数据率必须在短时间使用相对粗的量化。在这种情况下将数据块边缘滤波暂时使用在激烈运动的时间范围，通过被求出的图象对象的运动矢量最佳地求出激烈的运动。

为了数据块边缘滤波使用的滤波器参数按照[4]中的方法是可以与各个准备编码的图象进行动态匹配的。

此外对于被编码图象的传输安排了传输故障保护，例如CRC-编码(循环兀余检查)或者所谓的穿孔编码。其中有益地将那些用提高质量编码的图象对象用故障保护机构针对传输故障进行保护，将哪些“有力的”作为故障保护机构使用在已经用低质量编码的图象对象上。

“有力的”概念是这样理解的，用各个故障保护方法的传输故障提高的数目是已知的或者说是可以修正的。

在变型中质量参数也可以通过准备选择的位置分辨率的参数给定。对于这种情况前景对象也就是说第一个图象对象104或者还有第二个图象对象105用改善的图象质量，也就是说用比背景图象对象，第三个图象对象103，高的位置分辨率进行编码。

在本文件中参考了以下公开文献：

[1]ITU-T建议草案H.263，低比特率传输的视频编码，1997年，9月

[2]ISO/IEC JTC1/SC29/WG11，MPEG-4系统，工作草案ISO/IEC14496-1的4.0，A.Eleftheriadis，C.Herpel，L.Ward(ed.)，1997年4月16日

[3]K.-P.Karmann等，在匹配的参考图象基础上运动对象的分块，EUSIPCO-90会议文集951-954页，巴塞罗那，1990年9月

[4]DE 196 54 983 B

[5]WO 98 15915 A(哥伦比亚大学)1998年4月16日

[6]US-A-5 771 102(Pelz Rodolfo Mann等)1998年6月23日

Claims (15)

1.处理具有图象点的数字化图象(100)的方法，

a)其中将图象点分组为图象数据块，

b)其中将图象分块为至少第一个图象对象(104)和第二个图象对象(105)，其中至少将一个图象数据块分配给所述第一个图象对象边缘的一部分，

c)其中将关于图象对象的信息分配给所述至少一个图象数据块，

d)其中图象对象是用不同质量进行编码的，

e)其中将一个规定图象对象用什么样的质量编码的质量参数分配给至少一个包括在相应图象对象中的宏数据块(102)，

其特征在于，

f)其中所述质量是由位置分辨率确定的。

2.按照权利要求1所述的方法，

a)其中将各自多个图象数据块分组成一个宏数据块，和

b)其中将宏数据块至少分配给所述边缘的一部分。

3.按照权利要求2所述的方法，

其中将所述宏数据块的至少一个亮度数据块至少分配给所述第一个图象对象边缘的一部分。

4.按照权利要求1至3之一所述的方法，

其中将至少一个图象数据块分配给所述第一个图象对象的整个边缘。

5.按照权利要求2至4之一所述的方法，

其中将关于图象对象的各个信息分配给所有其中包括所述边缘的宏数据块。

6.按照权利要求2至5之一所述的方法，

其中使用分配给宏数据块的各个宏数据块地址来为所述第一个图象对象选择址。

7.按照权利要求2至6之一所述的方法，

其中使用分配给宏数据块的各个宏数据块地址来为所述第二个图象对象选择址。

8.按照权利要求1至7之一所述的方法，使用在数字化图象的编码上。

9.按照权利要求1至7之一所述的方法，使用在数字化图象的解码上。

10.按照权利要求1至7之一所述的方法，使用在移动通信机上。

11.处理具有图象点的数字化图象(100)的装置，

具有一个处理器，该处理器是这样构成的：

a)将图象点分组为图象数据块(101)，

b)将图象分块为至少第一个图象对象(104)和第二个图象对象(105)，将至少一个图象数据块分配给所述第一个图象对象边缘的至少一部分，和

c)将关于所述第一个图象对象的信息分配给至少一个图象数据块，

图象对象是用不同质量进行编码的，

将规定图象对象用什么样的质量编码的质量参数分配给至少一个包括在相应图象对象中的宏数据块，

其特征在于，

所述质量是由位置分辨率确定的。

12.按照权利要求11所述的装置，

其中所述处理器是这样构成的：

a)将各自多个图象数据块分组成一个宏数据块，和

b)将一个宏数据块至少分配给所述边缘的一部分。

13.按照权利要求11或12所述的装置，

使用在数字化图象的编码上。

14.按照权利要求11或12所述的装置，使用在数字化图象的解码上。

15.按照权利要求11至14之一所述的装置，使用在移动通信机上。

Images