CN1130847A - 用于编码包含在视频信号中的区域的轮廓的装置 - Google Patents

Abstract

用于编码包含在视频信号中的区的轮廓的装置，包括第一与第二分段单元，用于将前一与当前帧分段成若干区以生成前一与当前轮廓；预测参数计算单元，用于根据前一与当前轮廓以及前一与当前帧生成预测参数；轮廓预测单元，用于根据预测参数变换前一轮廓而构成一个预测的当前轮廓；误差检测单元，用于检测偏离当前轮廓的预测的当前轮廓部分上的偏离点，以生成偏离点及对偏离点的对应位移；轮廓编码器，用于连同预测参数一起编码偏离点及位移。

Description

用于编码包含在视频信号中的 区域的轮廓的装置

本发明涉及用于编码视频信号的装置；更具体地，涉及能够高效地编码包含在视频信号中的区域的轮廓，从而减少要发送的数据量的装置。

在诸如可视电话、电视会议及高清晰度电视等数字视频系统中，由于视频帧信号中的一个视频行信号包括一序列称作象素值的数字数据，而需要大量数字数据来定义各视频帧信号。然而，由于传统的传输信道的可利用的频带宽度是有限的，为了通过它来发送可观的数字数据量，不可避免地要通过利用各种数据压缩技术来压缩或减少数据量，尤其是在诸如可视电话与电视会议等低比特率视频信号编码解码系统的情况中。

编码低比特率编码系统的视频信号的方法之一为采用基于区分段方法的所谓基于区的编码技术。

在基于区的编码技术中，识别具有类似特征的图象中的各种区，并顺序地合并相似的邻接区，直到剩下的邻接区成为充分地不同为止，借此生成有限数目的图象的有区别的分段区。此后，利用特征抽取法抽取或定义分段区的一个轮廓，其中该轮廓提供用于跟踪分段区的边界的边界或轮廓信息，边界信息中包含沿图象中的区的边界的象素的位置数据。然后可用各种编码技术来编码所抽取的轮廓。同时编码表示包含在各分段区中的象素的一个平均灰度级的实质信息。

一种表示轮廓信息的经典编码法为链式编码。然而，链式编码法虽然不丢失轮廓信息，却需要可观数量的位来表示它。

从而，已提出过若干种编码轮廓信息的改进方法，诸如多边形逼近及B样条函数逼近。多边形逼近的缺点之一为轮廓的表示粗糙。反之，B样条函数能够更精确地表示轮廓；然而它需要高阶多项式来降低逼近误差，从而增加了视频编码器的总体计算复杂性。

为改善与上述逼近法中的粗糙轮廓表示与计算复杂性相关的问题而引入的技术之一为采用离散正弦变换(DST)的一种逼近法。

在采用基于多边形逼近与DST的轮廓逼近技术的装置中，确定若干个顶点，并通过采用以线段来符合轮廓的多边形逼近来逼近一个目标的轮廓。并且，为了获得各线段的一组逼近误差，为各线段选择N个样本点及顺序地计算位于各线段上的该N个样本点中各个上的逼近误差。这N个样本点是在各线段上匀间隔的，并且各逼近误差表示N个样本点的每个与轮廓之间的距离。此后，通过在各组逼近误差上执地一维DST运算而生成多组DST系数。

虽然通过利用上述基于DST的轮廓逼近有可能改善粗糙表示与计算复杂性并减少传输数据量，但仍然希望进一步减少传输数据量，以便成功地实现具有诸如64kb/s传输信道带宽的低比特率编码解码系统。

因此，本发明的主要目的为提供一种用于编码视频信号中的区的轮廓的改进的装置，它能进一步减少传输数据量。

按照本发明，提供了一种用于编码包含在一个视频信号中的区的轮廓的装置，该视频信号具有包含一个当前帧与一个前一帧在内的多个帧，该装置包括：一个第一分段单元，用于将前一帧分段成若干区以生成一个前一轮廓；一个第二分段单元，用于将当前帧分段成若干区以生成一个当前轮廓；一个预测参数计算单元，用于根据前一与当前轮廓，以及前一与当前帧，生成预测参数；一个轮廓预测单元，用于根据预测参数通过变换前一轮廓而构成一个预测的当前轮廓；一个误差检测单元，用于检测位于预测的当前轮廓上偏离当前轮廓的部分上的偏离点，以借此生成偏离点及到偏离点的对应位移，其中各该位移表示各偏离点与当前轮廓之间水平方向上的一个最小距离；以及一个轮廓编码器，用于连同预测参数编码偏离点与位移。

从下面结合附图给出的较佳实施例的描述中，本发明的上述及其它目的与特征将是显而易见的，附图中：

图1表示按照本发明的一个较佳实施例的视频信号编码装置的方框图；

图2表示图1中所示的预测参数计算单元的详细方框图；

图3示出图1中所示的误差检测单元的详细方框图；

图4描述通过利用网格与轮廓选择顶点的技术；

图5展示说明轮廓重构过程的示范图；以及

图6A与6B提供示范图，各表示连接两个重定位的偏离点的一个线段与其对应的当前轮廓之间的误差。

参见图1，其中示出了用于编码包含在一个视频信号中的区的轮廓的创造性装置的方框图。通过线路L1将一个输入视频信号作为一个当前帧信号馈入到一个第二分段单元16及一个预测参数计算单元18；并作为一个前一帧信号存储在一个帧存储器12中，该帧存储器12通过线路L2连接在一个第一分段单元14及预测参数计算单元18上。

第一分段单元14将从帧存储器12检索到的前一帧分段成若干区并生成一个前一轮廓到线路L3上，其中该前一轮廓提供用于跟踪前一帧的分段区的边界的前一边界信息，前一边界信息中包含沿前一帧中的区的边界的象素的位置数据。将来自第一分段单元14的线路L3上的表示分段区的轮廓的轮廓数据提供给预测参数计算单元18及轮廓预测单元20。

第二分段单元16执行与第一分段单元14相同的功能，从而生成一个当前轮廓到预测参数计算单元18及误差检测单元22。亦即，第二分段单元16将作为当前帧信号提供给它的输入视频信号分段成若干个区，并生成一个当前轮廓到线路L4上，其中该当前轮廓提供用于跟踪当前帧的分段区的边界的当前边界信息，当前边界信息中包含沿当前帧中的区的边界的象素的位置数据。将来自第二分段单元16的线路L4上的表示分段区的轮廓的轮廓数据提供给预测参数计算单元18及误差检测单元22。

本发明的预测参数计算单元18在前一轮廓上确定预定数目的顶点以生成表示前一轮廓的顶点的位置的顶点信息；并通过利用顶点信息及来自当前轮廓的当前边界信息，根据当前与前一帧之间的相似性计算检测预测的顶点，以提供表示预测的顶点的位置的预测顶点信息。此后，根据顶点信息及预测的顶点信息执行已知的仿射变换算法，借此生成仿射变换系数作为预测参数。通过线路L5将预测参数耦合到轮廓预测单元20及轮廓编码器24，下面参照图2与4描述预测参数计算单元18的细节。轮廓预测单元20根据预测参数用前一轮廓的仿射变换构成一个预测的当前轮廓。通过线路L6将来自轮廓预测单元20的预测的当前轮廓耦合到误差检测单元22。

按照本发明，误差检测单元22通过使用网格从预测的当前轮廓上的点中选择若干个点作为特征点，并从这些特征点中确定位于偏离当前轮廓的预测当前轮廓部分上的偏离点；并为各该偏离点计算一个位移，借此生成偏离点、偏离点的位移及网格下标，其中各该位移表示各该偏离点与当前轮廓之间在水平方向上的一个最小距离。然后通过线路L7将偏离点、偏离点的位移及网格下标发送给轮廓编码器24供进一步处理。下面参照图3与5描述误差检测单元22的更多细节。

在轮廓编码器24处，用诸如JPEG(联合照相专家组)二进制算术码等将偏离点及偏离点的位移与预测参数及网格下标编码在一起。将包含编码的偏离点、位移、预测参数及网格下标的编码数字信号送至一个发射机(未示出)供其传输。

参见图2，其中示出了图1中所示的预测参数计算单元18的详细方框图，用于说明生成预测参数的过程。预测参数计算单元18包括一个顶点选择单元101、一个块构成单元103、一个候选块生成单元105、一个顶点预测单元107及一个变换系数确定器109。

如图所示，将来自第一分段单元14的线L3上的前一轮廓输入到顶点选择单元101。顶点选择单元101从前一轮廓上的点中确定预定数目的点作为顶点以生成表示前一轮廓的顶点位置的顶点信息。在本发明的一个较佳实施例中，顶点是通过采用诸如矩形网格的各种网格类型的已知网格技术以及图4中所示的边沿检测技术确定的。在这一方案中，选择网格与轮廓的交点。将来自顶点选择单元101的选定的顶点的顶点信息输入到块构成单元103及变换系数确定器109。在块构成单元103处，经由线路L2从帧存储器12中检索出以各顶点为中心的前一帧中的8×8个象素的顶点块，并将其提供给顶点预测单元107。

在此期间，将线路L1上的输入视频信号作为当前帧信号馈送到候选块生成单元105中，并同时将线路L4上的当前轮廓馈送到候选块生成单元105中。候选块生成单元105定义一个通常大于当前帧的顶点块的搜索块，并从中生成多个大小相等的候选块到顶点预测单元107。在本发明的较佳实施例中，将搜索区中所定义的候选块选择成使它们的中心象素构成当前轮廓的一部分，借此将预测的顶点放置在当前轮廓上。

在顶点预测单元107，在顶点块与包含在来自候选块生成单元105的搜索区中的多个候选块中每一个之间的相似性计算之后，确定来自块构成单元103的顶点块中每一个的运动矢量，其中各该运动矢量表示前一帧中的一个顶点块与当前帧中与之最相似的一个侯选块之间的空间位移。将为顶点块确定的运动矢量指定为包含在该顶点块中的顶点的运动矢量。此后，根据顶点的运动矢量估计预测的顶点，并生成表示当前轮廓的预测顶点的位置的预测顶点信息到变换系数确定器109。在变换系数确定器109处，用名为“用运动模型的一种分层结构分段与估计一个运动目标的运动的方法”的共同拥有与共同未决美国专利申请08/502,228号中所公开的一种优化运动参数确定技术，根据来自顶点选择单元101的顶点信息及来自顶点预测单元107的预测顶点信息，确定仿射变换系数。然后通过线路L5将所确定的仿射变换系数作为预测参数提供给轮廓预测单元20及轮廓编码器24。

图3给出了图1中所示的误差检测单元22的详细方框图。误差检测单元22中设置有一个特征点选择单元202、一个位移检测单元204、一个轮廓重构单元206、一个相似性测定单元208、一个网格发生单元210及一个开关单元212。

网格发生单元210的作用为响应相似性测定单元208所顺序地提供的各网格生成信号，将对应于在其中选择的多个网格之一的网格信息提供给特征点选择单元202，其中各网格包含若干条网格线，网格的网格线密度是各不相同的。网格发生单元210响应一个网格生成信号所选择的一个网格具有比对应于下一个网格生成信号的网格低的网格线密度。将来自第二分段单元16的线路L4上的当前轮廓馈送给相似性测定单元208。相似性测定单元208在收到当前轮廓时，将一个第一网格生成信号生成到网格发生单元210。网格发生单元210响应第一网格生成信号，从多种网格中选择具有最低的网格线密度的一种网格，以向特征点选择单元202提供其网格信息。

同时，将来自轮廓预测单元20的线路L6上的预测当前轮廓输入到特征点选择单元202、位移检测204及轮廓重构单元206。特征点选择单元202利用由来自网格发生单元210的网格信息表示的网格确定若干个预测的当前轮廓上的特征点，其中这些特征点表示网格与预测的当前轮廓的交点。将选自特征点选择单元202的特征点馈送给位移检测单元204。还将来自第二分段单元16的线路L4上的当前轮廓馈送给位移检测单元204。在位移检测单元204上，从位于偏离当前轮廓的预测当前轮廓部分上的特征点中确定偏离点，并计算各该偏离点的位移。从位移检测单元204将偏离点及其位移提供给轮廓重构单元206及开关单元212。轮廓重构单元206根据各该偏离点的位移将预测当前轮廓上的偏离点重定位到当前轮廓上，并通过连接当前轮廓上的重定位偏离点而生成一个重构的当前轮廓。从轮廓重构单元206将重构的当前轮廓提供给相似性测定单元208，它还接收来自第二分段单元16的线路L4上的当前轮廓。

图5展示说明轮廓重构过程的示范图。如图所示，根据各该偏离点的位移将预测的当前轮廓C’上的偏离点A至D重定位到当前轮廓C上。此后，将当前轮廓C上的重定位的偏离点A’至D’连接在一起，借此生成重构的当前轮廓。

参见图3，相似性测定单元208为连接两个相邻的重定位的偏离点的各线段提供N个样本点；并为各线段上的各N个样本点计算误差而为各线段生成一组误差，其中该N个样本点是在各线段上等间隔的，并且各误差表示N个样本点中每一个与当前轮廓之间的距离。图6A与6B展示表示线段与对应的轮廓段之间的误差的示范图。具体地，图6A描绘线段A’B’与其对应的轮廓段之间的误差，而图6B则示出线段B’C’与其对应的轮廓段之间的误差。各该误差d1至d4或d1’到d4’表示从线段A’B’上的各样本点S1至S4或线段B’C’上的S1’至S4’到对应的轮廓段的距离。如从图6A与6B中所见，重定位的偏离点的误差全都为“零”。因为所有的重定位偏离点都位于当前轮廓上。

按照本发明，相似性计算单元208为了提供一个相似性指标而求出各组误差之和。如果相似性指标大于或等于一个预定的阈值，相似性测定单元208便生成下一个(诸如第二)网格生成信号到网格发生单元210；否则，它便生成一个完成信号到网格发生单元210及形状单元212。开关单元212响应来自相似性测定单元208的完成信号，将偏离点与位移转发给轮廓编码器24。

网格发生单元210响应下一个网格生成信号，选择次较低网格线密度的网格并提供其网格信息到特征点选择单元202；而相对于新选定的网格重复上述误差检测过程。反之，如果接收到完成信号，网格发生单元210便对轮廓编码器24生成一个指示产生小于预定的阈值的相似性指标的网格的网格下标。

因此，如上所示，本发明通过连同包含偏离点与偏离点的位移的偏离信息一起发送预测参数，而得以显著地减少用于表示包含在一个视频信号中的区的轮廓的传输数据量。

虽然已相对于特定实施例描述了本发明，对于熟悉本技术的人员而言，显然可以作出各种改变与修正而不脱离以下权利要求书中所定义的发明精神与范围。

Claims (4)

1、一种用于编码包含在一个视频信号中的区的轮廓的装置，该视频信号具有包含一个当前帧及一个前一帧在内的多个帧，所述装置包括：

第一分段装置，用于将前一帧分段成若干个区，以生成一个前一轮廓；

第二分段装置，用于将当前帧分段成若干个区，以生成一个当前轮廓；

用于根据前一与当前轮廓及前一与当前帧，生成预测参数的装置；

用于通过根据预测参数变换前一轮廓而构成一个预测的当前轮廓的装置；

用于检测位于偏离当前轮廓的预测的当前轮廓部分上的偏离点，以借此生成偏离点及对应于偏离点的位移的装置，其中各该位移表示各该偏离点与当前轮廓之间水平方向上的一个最小距离；以及

用于连同预测参数一起编码偏离点与位移的装置。

2、按照权利要求1的装置，其中所述预测参数生成装置包括：

用于在前一轮廓上确定预定数目的顶点以生成表示顶点在前一轮廓上的位置的顶点信息的装置；

根据顶点信息生成来自前一帧的顶点块的装置，各该顶点块以一个顶点为中心；

用于定义当前帧的一个搜索区并从搜索区中生成大小相等的多个候选块的装置，各该候选块选择为其中象素为构成当前轮廓的一部分的一个象索；

用于通过执行一个顶点块与多个候选块中的各个之间的一种块匹配算法而检测出预测的顶点，以生成表示预测的顶点的位置的预测顶点信息的装置；以及

用于根据顶点信息及预测的顶点信息生成预测参数的装置。

3、按照权利要求2的装置，其中所述偏离点检测装置包括：

特征点选择装置，用于利用一个网格从预测的当前轮廓上的点中选择若干个点作为特征点，其中这些特征点表示网格与预测的当前轮廓之间的交点；以及

用于从偏离当前轮廓的预测的当前轮廓部分上的特征点中确定偏离点，并为这些偏离点计算位移，以借此生成偏离点及对应的位移的装置。

4、按照权利要求3的装置，还包括：

轮廓重构装置，用于根据位移重定位偏离点，并从预测的当前轮廓中生成一个重构的当前轮廓；

用于为连接重构的当前轮廓上的两个相邻的重定位偏离点的各线段提供N个样本点，及为各线段上的N个样本点中的各个计算一个误差以生成所述各线段的一组误差的装置，其中该N个样本点是在所述各线段上等间隔的，并且各误差表示各该N个样本点与当前轮廓之间的一个距离；

用于求出该组误差之和以提供一个相似性指标的装置；

控制装置，用于顺序地向特征点选择装置提供一个或多个网格，直到根据所述一个或多个网格中的一个所得出的相似性指标成为小于一个预定的阈值为止，并生成一个指定与小于预定的阈值的相似性指标相关的网格的一个网格下标；以及用于编码网格下标的装置。

Images