CN1926879A - 视频信号编码器、视频信号处理器、视频信号分发系统及其操作方法 - Google Patents

Abstract

一种视频编码器(100)包括接收未压缩视频信号的接收器(101)。编码元件(103)按照诸如MPEG－2编码算法的压缩算法产生压缩视频信号。此外，特征点处理器(105)响应于该未压缩信号来产生特征点数据，并且输出处理器(107)产生包括该压缩视频信号和该特征点数据的输出视频信号。该输出信号由视频信号处理器(200)的接收器(201)接收。提取处理器(203)提取该特征点数据并且将其馈送给视频处理器单元(207)，该视频处理器单元响应于该特征点数据对该压缩视频信号进行处理。当使用压缩信号进行检测时，使用未压缩(原始)视频信号单独且独立地产生诸如特征点移动数据或轨道的特征点数据，从而消除或减小了与特征点位置和轨迹有关的压缩伪像、错误和误差的影响。

Description

视频信号编码器、视频信号处理器、 视频信号分发系统及其操作方法

本发明涉及一种视频信号编码器、视频信号处理器、视频信号分发系统及其操作方法，并且尤其但非专门涉及视频信号中的特征点跟踪。

近年来，对于数字存储的使用和对诸如视频信号这样的内容信号的分发已经变得越来越盛行了。因此，已经开发出了大量针对不同内容信号的不同编码技术。例如，已经设计出了大量视频编码标准来帮助数字视频在很多专业应用和消费者应用中得到采用，以及确保来自不同制造商的设备实现兼容。

大多数有影响的标准按惯例都是由国际电信联盟(ITU-T)或者ISO/IEC(国际标准化组织/国际电工委员会)的MPEG(运动图像专家组)委员会开发的。ITU-T标准(称为推荐标准)典型地针对实时通信(例如视频会议)，而大多数MPEG标准对于存储(例如对于数字通用盘(DVD))和广播(例如对于数字视频广播(DVB))是最佳的。

当前，得到最广泛采用的其中一种视频编码和压缩技术被称为MPEG-2(运动图像专家组)标准。MPEG-2是基于块的压缩方案，其中将帧分为多个块，每个块包括八个垂直和八个水平像素。为了压缩亮度数据，通过使用离散余弦变换(DCT)并且随后再进行量化来单独地压缩各个块，所述量化将大量变换后的数据值减小为零，从而提供了有效的编码。为了压缩色度数据，通常通过首先进行下采样并且随后再使用DCT和量化进行压缩来减少色度数据量。仅仅基于帧内压缩的帧被称为内部帧(I帧)。此外，使用运动估计来利用时间冗余度。对应于各图像片段的不同的运动矢量被发送给解码器并且由解码器用来重构图像。

可以预见到，未来的视频应用将会包含复杂的信号处理功能并且将会提供先进的特征和功能。例如，目前正在研究图像对象检测和跟踪。使用对象跟踪的视频应用的一个例子是这样一种应用：在视频信号中检测足球对象和运动员对象，并且使用它们来例如产生不同的虚拟摄影机视角或游戏统计信息。

目前受到广泛关注的应用的另一个例子是基于二维(2D)视频的三维(3D)处理。例如，常规的视频和电视系统分发的是本质上具有2D性质的视频信号。不过，在很多应用中可能希望进一步提供3D信息。

特别地，三维视频或电视(3DTV)正成为增强可视内容呈现的用户体验的手段，3DTV很有可能和彩色电视的推广一样意义重大。从2D到3D的转换处理将(深度)结构加入到2D视频中，并且也可以用于视频压缩。不过，从2D视频到包括3D信息的视频的转换是重大的图像处理难题。因此，在这个领域中已经进行了相当多的研究，并且已经提出了多种算法和途径来从2D图像中提取3D信息。

已经针对对象跟踪和3D处理提出了基于已编码视频信号的参数的算法。不过，这些参数对于所描述的对象轨迹的精确度来说并不是最佳的，而是对视觉质量来说是最佳的。例如，目前的视频压缩算法的实现方式典型地使用与固定的正方形图像区域(块)相关的运动矢量来对图像运动矢量进行估计与存储。不过，基于块的运动矢量并不是非常适合于精确跟踪，因为每个块的运动没有精确到足以形成贯穿典型为50帧的长轨道。

此外，基于从已编码视频信号重新产生的帧的对象跟踪和3D处理往往具有降低的精度，这是因为编码/压缩会引入伪像、误差和错误。

另外，已知的用于处理已编码视频信号的算法往往具有较高的复杂度并且需要较高的计算资源。

因此，经过改良的视频编码器、视频解码器和视频分发系统将是很有益处的，尤其是便于和/或改善针对诸如对象检测、跟踪和/或3D处理之类应用的视频信号处理的系统。

因此，本发明优选地寻求单独地或以任何组合形式减轻、缓解或消除上面提到的缺点当中的一个或多个。

按照本发明的第一个方面，给出了一种视频信号编码器，包括：用于接收未压缩视频信号的装置；用于响应于该未压缩信号产生特征点数据的装置；用于按照压缩算法对该未压缩视频信号进行压缩以便产生压缩视频信号的装置；以及用于产生包括该压缩视频信号和特征点数据的输出视频信号的装置。

本发明给出了一种视频信号编码器，该视频信号编码器提供适合于便利和/或改善处理的输出视频信号。该输出视频信号包括与未压缩视频信号相关的特征点数据。该特征点数据可以具有得到提高的精度，因为编码或压缩伪像、错误和误差的影响能够得到减小或消除。本发明还可以给出可以以较低的复杂度加以处理的输出信号，因为可以减少或消除用于产生特征点信息的处理。

因此，除了压缩视频信号之外，可以给出根据未压缩视频信号产生的附加的特征点数据，从而给出适合于后续处理的、附加的和/或得到改善的信息。具体来说，可以包含有精确的特征点信息，该特征点信息能够实现得到改善的和/或得到便利的3D处理(包括从2D图像构建3D信息)以及/或者对象检测和/或跟踪。

单独或独立地产生特征点数据使得该产生过程和最终得到的数据无关于与压缩算法相关联的任何约束、要求或缺陷。该压缩算法可以是编码算法的一部分或者可以包括编码算法。未压缩信号可以具有任何适当的形式，并且可以是已经按照允许进一步压缩或重新编码及压缩的给定编码标准进行了压缩的信号。这样，所述视频信号编码器可以例如是视频转码器的一部分。

所述附加信息可能会造成输出视频信号的数据速率增加。不过，在大多数应用中，这种数据速率的增加可能是不明显的和/或可接受的。而且，由于特征点数据可以具体包括仅与简单的特征点相关而不是与图像片段或对象相关的信息，因此可以按照在典型情况下远低于压缩视频信号的数据速率的数据速率高效地传送特征点数据。

按照本发明的一个特征，所述特征点数据包括特征点移动数据。

该特征点移动数据可以例如是特征点轨迹数据和/或与一个或多个所标识出来的特征点相关联的相对移动数据。这样可以给出尤其适用于对象跟踪和3D重构处理的信息。

按照本发明的另一个特征，所述特征点数据包括与对应于一个或多个特征点的运动模型相关的参数数据。

这样可以提供低数据速率的特征点移动信息，该信息适用于例如进行复杂运动的对象的对象跟踪。

按照本发明的另一个特征，所述特征点数据包括关于特征点的分组的组信息，所述特征点与未压缩信号的至少一个帧相关。

这样可以减小与特征点数据相关联的数据速率，并且可以便于对输出视频信号的处理，尤其是对特征点数据的处理。例如，如果各组与图像对象相对应，则可以大大便于对象跟踪处理。

按照本发明的另一个特征，所述特征点数据包括与未压缩信号的至少一个帧相关联的一组特征点的公共(或共享)移动数据。对于很多包括对象跟踪和3D重构的应用和处理来说，该信息尤其有用。

按照本发明的另一个特征，所述特征点数据不包括特征点绝对位置数据。这样可以减小传送特征点数据所需的数据速率。举例来说，不是提供每个数据点在每个帧中的绝对位置值，而是可以提供表示特征点从一帧到下一帧的移动的相对位置值。由于相对移动值在典型情况下相对较小，因此能够实现更加高效的数据值编码/压缩。

按照本发明的另一个特征，所述用于产生特征点数据的装置适于在未压缩视频信号的第一帧中检测至少一个特征点，并且适于在未压缩视频信号的第二帧中跟踪该至少一个特征点。这样给出了适用于例如对象跟踪和3D重构应用的复杂度较低的产生特征点数据的方式。

按照本发明的另一个特征，所述用于产生特征点数据的装置适于对特征点进行分组，并且适于为每组特征点产生共享特征点数据。这样给出了一种产生可以被高效率地传送并且/或者可以便于对输出视频信号的处理的特征点数据的实用且有效的方式。

按照本发明的另一个特征，所述视频信号编码器此外还包括用于按照解压缩算法对压缩视频信号进行解压缩以产生解压缩信号的解码装置，并且其中所述用于产生特征点数据的装置此外还适于响应于该解压缩信号产生特征点数据。

该解压缩算法基本上可以等同于解码器中的用来对压缩视频信号进行解压缩的解压缩算法。例如，如果压缩视频信号是按照MPEG-2编码标准编码的，则该解压缩算法可以是适当的MPEG-2算法。该视频编码器可以例如产生解压缩信号并且按照特定算法在该信号中检测特征点，此外还知道该特定算法将在给定的解码器中使用。然后可以使用关于将在该解码器中对哪些特征点进行标识的信息来在编码器处选择相同的特征点，并且将这些特征点包含在特征点数据中。这样可以减小特征点数据的数据速率，并且因此可以总体上减小输出视频信号的数据速率。

按照本发明的另一个特征，所述用于产生特征点数据的装置适于产生与未压缩视频信号的帧的子集相关的特征点数据的操作。这样可以大大减小传送特征点数据所需的数据速率。所述帧的子集可以是按照适当的选择标准进行选择的。例如，可以使用每第N个帧。从视频编码器接收信号的视频信号处理器可以通过在输出视频信号的特征点数据之间进行内插来产生与其它帧有关的适当的特征点数据。

按照本发明的第二个方面，提供了一种视频信号处理器，包括：用于接收包括压缩视频信号和与该压缩视频信号的未压缩形式相关联的特征点数据的视频信号的装置；用于提取该特征点数据的装置；以及用于响应于该特征点数据对该压缩视频信号进行处理的装置。

所述用于处理压缩视频信号的装置适于直接处理压缩视频信号，或者可以包括向可以对其应用算法的第二信号的转换。例如，可以在对信号应用给定算法或处理之前对压缩视频信号进行解码。因此，对压缩视频信号的处理可以是多步骤处理，包括产生所导出的信号随后再响应于特征点数据对所导出的信号进行处理。

本发明给出了一种可以利用与未压缩信号相关联的特征点数据以便于和/或改善对相应压缩信号的处理的视频信号处理器。该特征点数据可以具有增加的精度，因为编码或压缩伪像、错误和误差的影响可以得到减小或消除。该压缩视频信号可以以较低的复杂度加以处理，因为用来产生特征点信息的处理可以得到简化或消除。

应当意识到，按照需要可以很容易地将视频编码器的优点和/或特征移植到、对应到并且可以应用于视频信号处理器。

按照本发明的一个特征，所述用于处理的装置适于响应于特征点数据在压缩视频信号的帧中执行图像对象跟踪。因此，本发明可以使图像对象跟踪得到易化和/或改善。

按照本发明的一个特征，所述用于处理的装置适于响应于特征点数据执行对压缩视频信号的三维(3D)信息处理。该3D信息处理具体可以是从2D信息导出3D信息的3D重构处理。因此，本发明可以使3D信息处理得到易化和/或改善。

按照本发明的第三个方面，给出了一种视频信号分发系统，包括视频编码器和视频信号处理器。该视频编码器包括：用于接收未压缩视频信号的装置、用于响应于该未压缩信号产生特征点数据的装置、用于按照压缩算法对该未压缩视频信号进行压缩以产生压缩视频信号的装置以及用于产生包括该压缩视频信号和该特征点数据的输出视频信号的装置。该视频信号处理器包括：用于接收包括压缩视频信号和与该压缩视频信号的未压缩形式相关联的特征点数据的视频信号的装置、用于提取该特征点数据的装置以及用于响应于该特征点数据对该压缩视频信号进行处理的装置。

按照本发明的第四个方面，给出了一种对视频信号进行编码的方法，该方法包括以下步骤：接收未压缩视频信号；响应于该未压缩信号产生特征点数据；按照压缩算法对该未压缩视频信号进行压缩以产生压缩视频信号；以及产生包括该压缩视频信号和该特征点数据的输出视频信号。

按照本发明的第五个方面，给出了一种对视频信号进行解码的方法，该方法包括以下步骤：接收包括压缩视频信号和与该压缩视频信号的未压缩形式相关联的特征点数据的视频信号；提取该特征点数据；以及响应于该特征点数据对该压缩视频信号进行处理。

按照本发明的第六个方面，给出了一种分发视频信号的方法，该方法包括以下步骤：在视频编码器处执行下列步骤：接收未压缩视频信号、响应于该未压缩信号产生特征点数据、按照压缩算法对该未压缩视频信号进行压缩以产生压缩视频信号以及产生包括该压缩视频信号和该特征点数据的输出视频信号；在视频信号处理器处执行下列步骤：接收包括压缩视频信号和与该压缩视频信号的未压缩形式相关联的特征点数据的视频信号、提取该特征点数据以及响应于该特征点数据对该压缩视频信号进行处理。

从下文中介绍的(多个)实施例中，可以明显看出本发明的这些和其它的方面、特征和优点，并且将会参照下文中的(多个)实施例来解释说明本发明的这些和其它方面、特征和优点。

下面将参照附图仅以举例的方式描述本发明的实施例，其中：

附图1是按照本发明的一个实施例的视频信号编码器的框图的图解说明；以及

附图2是按照本发明的一个实施例的视频信号处理器的框图的图解说明。

下面的说明将重点放在适用于视频信号编码器和视频信号处理器的本发明的实施例上，尤其是适用于MPEG-2视频信号的编码和处理的实施例。不过，应当意识到，本发明并不局限于这种应用。

附图1示出按照本发明的一个实施例的视频信号编码器100的框图。视频信号编码器100包括接收器101，该接收器101从内部或外部源(未示出)接收未压缩视频信号。

接收器101与编码元件103相耦合，未压缩信号被从接收器101馈送到该编码元件103。编码元件103对该未压缩信号进行编码，以便产生编码的和压缩的信号。这样，对该未压缩视频信号的编码是按照给定编码协议进行的，该编码协议包括对视频信号数据的压缩。

在该特定实施例中，编码元件103是按照MPEG-2标准对未压缩信号进行编码的。

视频信号编码器100此外还包括特征点处理器105，该特征点处理器105与接收器101相耦合，并且适于对未压缩信号进行处理以产生特征点数据。具体来说，特征点处理器105可以在压缩信号的帧中检测到多个特征点，并且确定这些特征点的位置。该特征点处理器105随后可以进行特征对应关系估计处理，以便将不同帧中的相应特征点关联起来，从而产生对应于这些特征点的轨迹或轨道信息。

编码元件103和特征点处理器105此外还与输出处理器107相耦合，该输出处理器107通过产生包括压缩视频信号数据和特征点数据二者的输出数据流来产生输出信号。具体来说，输出处理器107可以将特征点处理器105插入到来自编码元件103的压缩的MPEG-2数据的补充(或辅助或用户)数据段中。

这样，该视频信号编码器100产生了包括压缩编码视频信号以及被独立且无关地产生的特征点数据的输出信号。特征点数据是根据未压缩信号产生的，并且因此不受由编码元件103引入的编码伪像、错误和误差的影响。这样给出了其精度比由视频信号处理器或编码器根据压缩视频信号产生的特征点信息更高的特征点数据。与在输出视频信号中包括特征点数据相关联的数据速率增加在典型情况下是不明显的或者至少是可接受的。因此，产生了可以改善和/或便于视频信号处理器中的处理的输出视频信号。具体来说，所述特征点数据可以提高使用所述特征点的算法或应用的精度。

附图2示出按照本发明的一个实施例的视频信号处理器200的框图。在这个例子中，视频信号处理器200特别包括视频解码器，该视频解码器产生随后被处理的解压缩信号。然而，应当意识到，本发明并不局限于这种应用，视频信号处理器200可以例如对压缩视频信号进行处理，而不用首先对压缩视频信号进行解码。

视频信号处理器200包括接收元件201，该接收元件201接收来自附图1的视频信号编码器100的输出视频信号。该视频信号处理器200此外还包括与接收元件201相耦合的提取处理器203。该提取处理器203将特征点数据与压缩视频信号数据分离开。特别地，提取处理器203可以通过将特征点数据从MPEG-2数据流的辅助数据段中提取出来而对进入的数据进行多路分解。

在所示实施例中，视频信号处理器200此外还包括视频解码元件205，该视频解码元件205与提取处理器203相耦合并且接收被提取出特征点数据之后的压缩视频信号数据。视频信号处理器200对压缩视频信号进行解码并且产生解码视频信号。

视频信号处理器200此外还包括视频处理器单元207，该视频处理器单元207与提取处理器203和视频解码元件205相耦合。视频处理器单元207接收来自提取处理器203的特征点数据和来自视频解码元件205的解码视频信号。然后，视频处理器单元207可以响应于该特征点数据对该解码视频信号进行处理。这个处理可以例如包括依据该特征点数据来修改该解码视频信号的特性或数据，或者可以包括响应于该特征点数据来确定与该解码视频信号相关的参数或统计信息。具体来说，视频处理器单元207的处理可以包括对解码视频信号的图像对象的对象跟踪，或者可以包括响应于解码视频信号和特征点数据二者导出对应于解码视频信号的3D信息。

在下文中将会介绍适用于在一个或多个视频处理器上包括对象跟踪功能的分发系统的实施例的更多细节。下面将分别参照附图1和2的视频信号编码器100和视频信号处理器200来介绍该实施例。

在该特定实施例中，特征点处理器105一开始在未压缩视频信号的帧中检测出多个特征点。这些特征点对应于按照适当的特征点检测算法检测到的图像中的点。在典型情况下，所述特征点将会是具有给定特性的点，所述给定特性表明它们有可能对应于例如图像对象的拐角或者图像对象之间的交点或连接点。

应当意识到，在不偏离本发明的情况下可以使用任何适当的用来检测特征点的算法。

在该特定实施例中，特征点处理器105首先进行特征响应计算，特别地，特征点处理器105确定哈里斯(Harris)响应。在C.Harris和M.Stephens的“A combined corner and edge detector(组合的拐角和边缘监测器)”(Proceedings of the fourth Alvey Vision Conference，1988年8月31日-9月2日)中可以找到哈里斯拐角检测算法的更多细节。应当意识到，在不偏离本发明的情况下可以使用任何适当的特征检测器。

一旦确定了哈里斯响应，就使用该结果来按照任何适当的算法确定特征点。例如，可以通过仅仅选择在固定半径(例如20个像素)的圆形窗口中达到哈里斯响应的最大值的那些点来确定特征点。这样给出了以下好处：这些点均匀分布在图像平面上。此外，优选地仅仅选择其哈里斯响应大于给定最小值的点。

在多个帧中检测出了特征点之后，特征点处理器105进行特征点对应关系估计。这一算法试图确定不同帧中的所检测到的特征点之间的对应关系，并且例如试图确定不同帧中的哪些对象拐角特征点对应于相同的对象拐角。这样，对于第一个帧中的每个特征点，该算法根据适当的匹配标准在第二个图像中搜索最佳对应特征点。这一搜索是在固定半径(例如20个像素)的圆形窗口中完成的，以避免虚假匹配。匹配标准的一个例子是使用两个图像的图像像素值之间的绝对差的和。该求和例如是在以该特征点为中心的局部正方形区域上进行的。可以使用时间滤波或预测来改善用于标识对应特征点的搜索窗口的位置。

在该特定实施例中，特征点处理器105随后继续为不同帧中的对应特征点产生特征点移动数据。具体来说，特征点轨道数据是通过表示每个特征点轨道的初始空间位置、随后表示其它帧中的对应特征点的相对空间位置而产生的。

在该特定实施例中，将特征点数据产生为包括每个特征点的空间位置(x和y)、标识符(ID)和轨道开始指示符变量(SOT)。该SOT变量用于表明给定特征点所对应的数据是新轨道(或轨迹)中的第一个数据还是具有该特定ID的前一轨道的延续。这使得相同ID能够被无混淆地重新用来标识新的轨道。

不是对特征点的空间位置(x，y)进行编码，而是优选地对从前一帧的对应特征点算起的位移矢量(Δx，Δy)进行编码。除了对其给出绝对空间位置的初始特征点之外，可以对轨道中的所有特征点进行这一编码。通过对相对位置坐标(Δx，Δy)进行编码而不是对绝对位置坐标(x，y)进行编码，可以实现增加的压缩，因为相对位置坐标一般来说具有较小的数值，因此可以用较少的比特来表示。轨道开始指示符为视频信号处理器200提供了表明所给出的数据是相对还是绝对位置坐标的信息。

这样，在该实施例中，视频信号编码器100产生包括特征点移动数据并且特别是特征点轨道数据的特征点数据。这样就为视频信号处理器200提供了不同特征点在多个帧上的移动的精确信息。通过将特征点群集(clustering)成具有类似运动的群集，依据移动对象进行的视频分析可以得到实现或易化。

在某些实施例中，可以由特征点处理器105对特征点进行分组。具体来说，可以按照把具有对应移动参数的特征点分成一组的方式对特征点进行分组，并且可以针对特征点组而不是针对每个单独的特征点来给出公共的或共享的移动数据。这样可以大大降低传送特征点数据所需的数据速率。

因此，特征点数据优选地可以包括表明哪些特征点与哪个特征点组相对应的组信息以及对应于每个特征点组的一组公共移动数据。例如，不是包括对应于每个单独特征点的绝对或相对空间位置数据，而是为给定特征点组中的所有特征点提供单个坐标组。

应当意识到，可以应用用来对特征点进行分组的任何适当的标准或算法。例如，多个特征点可以对应于同一刚性运动对象，例如，可以在运动着的汽车的图像对象上检测特征点。这些特征点往往具有类似的运动特性。这些特征点可以例如通过基于图形的群集算法来检测。举例来说，可以使用图像中的所有特征点来产生邻居图形，在该图形中，每个特征点与其最近的k个邻居相连。这样，对于每个点，该图形与其k个空间上最接近的点相连。如果各点之间的运动差异大于给定的阈值，则剪切掉该图形中的边缘。结果是一组子图形，其中每个子图形对应于一个特征点组。

在某些实施例中，特征点数据可以包括与对应于特征点或者优选地是特征点组的运动模型相关的参数数据。

在典型情况下，可以由具有少量参数的单个模型精确地描述一组特征点轨道。因此，可以将模型拟合于组中的特征的运动。

然后可以将由该拟合确定的参数包括在特征点数据中。这样，对于每个特征点组，可以对模型参数进行编码并且将其发送给视频信号处理器200。优选地，视频信号处理器200知道使用的是什么模型(或者可以将该信息包括在特征点数据中)，并且简单地应用所接收到的参数来产生该组中的特征的移动数据。最终得到的特征点数据的数据速率将取决于特征点组的数量和用于代表所述模型参数的比特数量。该编码过程可以是有损的或无损的。在典型情况下，可以实现与压缩视频信号的数据速率相比相对较低的数据速率。此外，视频信号处理器200中的对象跟踪处理的复杂度和计算资源可以得到明显降低，因为仅仅需要简单的模型评估。

在某些实施例中，对于视频信号的所有帧检测特征点和产生移动数据。不过，在其它实施例中，仅仅对帧的子集进行处理，并且仅仅为该子集产生特征点数据。这样，特征点数据可以仅仅包括每个特征点的帧子集的信息。在一个简单的实施例中，仅仅为每隔一帧(或者每第N个帧)产生特征点数据。这可以明显降低与特征点数据相关的数据速率，并且还可以明显降低视频信号编码器的复杂度和计算资源消耗量。

在该实施例中，所述视频信号处理器仅仅接收与帧的子集相关的特征点数据。不过，可以响应于所接收到的特征点数据导出与其它帧相关的特征点信息。例如，可以通过在过去和将来的帧中的对应位置之间进行内插来导出给定帧的特征点位置。

在某些实施例中，为之导出特征点数据的帧子集可以响应于未压缩视频信号和/或压缩视频信号的特性。例如，可以仅仅对MPEG-2编码压缩信号的I帧产生特征点数据。

在某些实施例中，视频信号处理器200可以包括响应于特征点数据对压缩视频信号执行3D信息处理的功能。例如，可以使用来自运动算法的结构和本领域已知的摄影机参数的知识对静止场景提取3D信息。

在某些实施例中，所述视频信号编码器还可以包括能够按照解压缩算法对压缩视频信号进行解压缩的解码元件。具体来说，该解码元件可以模拟在视频信号处理器中将进行的解码，并且因此可以使用与视频信号处理器中使用的解压缩算法相同或类似的解压缩(或解码)算法。这样，该解码元件可以产生等同于或者非常类似于将由视频信号处理器产生的视频信号的视频信号。

在这样的实施例中，所述特征点处理器优选地响应于由该解码元件产生的视频信号来产生特征点数据。例如，该视频信号编码器可以在解码信号中检测直接与可以由视频信号处理器独立检测到的特征点相对应的特征点。可以确定在未压缩信号中检测到的对应特征点，并且可以将这些特征点的移动数据与解码信号的特征点关联起来。因此，特征点数据可以仅仅包括不带特征点的具体说明的移动数据。

这样，在某些实施例中，可以在视频信号编码器中重复视频信号处理器的某种解码器功能，从而允许使用在两端独立产生的信息来降低输出视频信号的数据速率。这样，实现了复杂度和计算资源与输出视频信号的数据速率之间的灵活折衷。

本发明可以以任何适当的形式实现，包括硬件、软件、固件或者它们的任何组合。不过，优选地将本发明实现为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。本发明的实施例的元件和组件可以是以任何适当方式在物理上、功能上和逻辑上实现的。实际上，所述功能可以在单个单元、多个单元中实现，或者可以实现为其它功能性单元的一部分。这样，本发明可以在单个单元中实现，或者可以在物理上和功能上分布在不同单元和处理器之间。

虽然本发明是结合优选实施例加以介绍的，但是这里并非意欲将本发明局限于本文所提出的具体形式。相反，本发明的范围仅仅由所附权利要求书限定。在权利要求书中，术语“包括”不排除其他元件或步骤的存在。此外，虽然是单独列出的，但是多个装置、元件或方法步骤可以由例如单个单元或处理器来实现。此外，虽然各个特征可以被包括在不同的权利要求中，但是也有可能将这些特征有益地组合起来，并且被包括在不同的权利要求中并不意味着这些特征的组合是不可行的和/或没有益处的。此外，单数并不排除多个的情况。因此，“一个”、“第一”、“第二”等并不排除多个。

Claims (19)

1.一种视频信号编码器，包括：

-用于接收未压缩视频信号的装置(101)；

-用于响应于该未压缩信号产生特征点数据的装置(105)；

-用于按照压缩算法对该未压缩视频信号进行压缩以产生压缩视频信号的装置(103)；以及

-用于产生包括该压缩视频信号和该特征点数据的输出视频信号的装置(107)。

2.按照权利要求1所述的视频信号编码器，其中所述特征点数据包括特征点移动数据。

3.按照权利要求1所述的视频信号编码器，其中所述特征点数据包括与对应于一个或多个特征点的运动模型相关的参数数据。

4.按照权利要求1所述的视频信号编码器，其中所述特征点数据包括与特征点的分组有关的组信息，所述特征点与所述未压缩信号的至少一帧相关联。

5.按照权利要求1所述的视频信号编码器，其中所述特征点数据包括与所述未压缩信号的至少一帧相关联的特征点组的公共移动数据。

6.按照权利要求1所述的视频信号编码器，其中所述特征点数据不包括特征点绝对位置数据。

7.按照权利要求1所述的视频信号编码器，其中所述用于产生特征点数据的装置(105)适于在所述未压缩视频信号的第一帧中检测至少一个特征点，并且适于在所述未压缩视频信号的至少第二帧中跟踪该至少一个特征点。

8.按照权利要求1所述的视频信号编码器，其中所述用于产生特征点数据的装置(105)适于对特征点进行分组，并且适于为每个特征点组产生公共特征点数据。

9.按照权利要求1所述的视频信号编码器，还包括用于按照解压缩算法对所述压缩视频信号进行解压缩以产生解压缩信号的装置，并且其中所述用于产生特征点数据的装置还适于响应于该解压缩信号来产生特征点数据。

10.按照权利要求1所述的视频信号编码器，其中所述用于产生特征点数据的装置(105)适于产生仅仅与所述未压缩视频信号的帧的子集相关的特征点数据。

11.一种视频信号处理器，包括：

-用于接收包括压缩视频信号和与该压缩视频信号的未压缩形式相关联的特征点数据的视频信号的装置(201)；

-用于提取该特征点数据的装置(203)；以及

-用于响应于该特征点数据对该压缩视频信号进行处理的装置(207)。

12.按照权利要求11所述的视频信号处理器，其中所述用于处理的装置(207)适于响应于该特征点数据在所述压缩视频信号的各帧中执行图像对象跟踪。

13.按照权利要求11所述的视频信号处理器，其中所述用于处理的装置(207)适于响应于该特征点数据对所述压缩视频信号执行三维信息处理。

14.一种视频信号分发系统，包括：

-视频编码器(100)，包括：

-用于接收未压缩视频信号的装置(101)；

-用于响应于该未压缩信号产生特征点数据的装置(105)；

-用于按照压缩算法对该未压缩视频信号进行压缩以产生压缩视频信号的装置(103)；和

-用于产生包括该压缩视频信号和该特征点数据的输出视频信号的装置(107)；以及

-视频信号处理器(200)，包括：

-用于接收该输出视频信号的装置(201)；

-用于提取该特征点数据的装置(203)；和

-用于响应于该特征点数据对该压缩视频信号进行处理的装置(207)。

15.一种对视频信号进行编码的方法，该方法包括以下步骤：

-接收未压缩视频信号；

-响应于该未压缩信号产生特征点数据；

-按照压缩算法对该未压缩视频信号进行压缩以产生压缩视频信号；以及

-产生包括该压缩视频信号和该特征点数据的输出视频信号。

16.一种对视频信号进行解码的方法，该方法包括以下步骤：

-接收包括压缩视频信号和与该压缩视频信号的未压缩形式相关联的特征点数据的视频信号；

-提取该特征点数据；以及

-响应于该特征点数据对该压缩视频信号进行处理。

17.一种分发视频信号的方法，该方法包括以下步骤：

-在视频编码器(100)处执行下列步骤：

-接收未压缩视频信号；

-响应于该未压缩信号产生特征点数据；

-按照压缩算法对该未压缩视频信号进行压缩以产生压缩视频信号；和

-产生包括该压缩视频信号和该特征点数据的输出视频信号；以及

-在视频信号处理器(200)处执行下列步骤：

-接收该输出视频信号；

-提取该特征点数据；和

-响应于该特征点数据对该压缩视频信号进行处理。

18.一种能够实施按照权利要求15到17中的任何一项所述的方法的计算机程序。

19.一种包括权利要求18所述的计算机程序的记录载体。