CN102831911A - 用于压缩域视频编辑的方法，设备，系统和软件产品 - Google Patents

Abstract

一种用于对包括输入视频帧的媒体文件进行编辑的方法和设备。该编辑设备包括帧分析器以便确定输入视频帧是否具有适于压缩域编辑或空间域编辑的帧特性。对适于压缩域编辑的那些帧，帧分析器向压缩域处理器提供帧数据以便使视频帧数据可在压缩域中被修改。对仅适于空间域编辑的那些帧，帧分析器将帧数据提供给解码器并接着提供给空间域处理器以便进行帧数据修改。在不同的域修改的数据被合并并且由文件格式编辑器转换为文件格式。此外，文件格式解析器用于将音频数据与视频数据分开使得如果期望的话也可对音频数据进行修改。

Description

用于压缩域视频编辑的方法,设备,系统和软件产品

本申请是于2005年3月3日提交的、题为“用于压缩域视频编辑的方法和设备”的中国专利申请200580007487.5的分案申请。

发明领域

本发明一般地涉及视频编码，并且更特别地，涉及视频编辑。

背景技术

数字摄像机持续地在大众中流行。许多最新的移动电话自己备有摄像机以为用户提供拍摄视频剪辑并且通过无线网络发送它们的能力。

就文件大小而言，数字视频序列是非常大的。即使短的视频序列也是由数十个图像构成。因此视频总是以被压缩的形式保存和/或传输。存在几项视频编码技术可用于该目的。MPEG-4和H.263是最为广泛使用的适于无线蜂窝环境的标准压缩格式。

为了使用户在他们的终端上生成有质量的视频，必须向例如配备有摄像机的移动电话、发信机和PDA的电子设备提供视频编辑的能力。视频编辑是将可用的视频序列修改成新的视频序列的过程。视频编辑工具使得用户可向他们的视频剪辑上应用一组效果以使生成他们视频的功能上和美感上更好的显示。为了在视频序列上应用视频编辑效果，存在有几种商业产品。然而，这些软件产品主要针对PC平台。

由于目前在PC平台中处理能力、存储量和存储器的限制已经不是问题，因此在此类视频编辑产品中使用的技术大部分在空间域中主要以其原始格式对视频序列进行操作。换句话说，被压缩的视频首先被解码，接着编辑效果被引入到空间域中，并且最终视频被再次编码。这就是已知的空间域视频编辑操作。

上述的方案无法应用到例如在处理能力、存储空间、可用存储器和电池功率方面具有低的资源的移动电话的设备上。对视频序列进行解码并对其再次编码是费力的操作，这将花费长的时间并且消耗大量的电池功率。

在现有技术中，视频效果是在空间域中执行的。更具体地，视频剪辑首先被解压缩并接着执行视频特定效果。最后，得到的图像序列被再次编码。图1示出常规视频编辑的一般过程。该方法的主要缺点在于其巨大的计算强度，尤其在编码部分。这样的系统是不适于移动平台的。因为空间域操作中的需求，所以很少在移动设备上使用视频编辑系统，并且可用的编辑特征也是有限的。

因此提供没有现有技术处理的缺点的视频编辑的方法是有优势并且是所期望的。

发明内容

本发明提供用于压缩域视频编辑的方法和设备，其中解析器用于将媒体文件中的音频数据和视频数据分开以便音频数据和视频数据可被分别编辑。特别地，帧分析器用于基于输入视频帧的帧特性来确定视频数据是适于压缩域编辑还是适于空间域处理。

因此，本发明的第一个方面提供一种对比特流中的一个或多个输入视频帧进行编辑的方法从而提供一个或多个已编辑的视频帧，已编辑的视频帧包括由一个或多个编辑参数指定的至少一个编辑效果。该方法包括：

识别比特流中至少一个输入视频帧的帧特性；以及

基于所述至少一个帧的帧特性和指定的编辑参数在压缩域中对比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流。

根据本发明，输入视频帧包括视频数据并且其中所述修改包括在压缩域处理器中对视频数据进行修改以便提供已编辑的帧数据。

根据本发明，视频数据以可变长码(VLC)进行编码。所述方法进一步包括：

在所述修改之前将经VLC编码的视频数据转换成二进制形式。该方法有可能进一步包括：

在所述转换前对经VLC编码的视频数据进行反向量化，以及

在所述转换前以反余弦变换操作对经VLC编码的视频数据进行处理。

根据本发明，所述方法进一步包括：

识别比特流中至少一个另外的视频帧的帧特性；

基于所述至少一个另外的视频帧的帧特性和指定的编辑参数来对不同于压缩域的另外的域中的比特流进行修改以便提供另外的经修改的比特流；以及

将另外的修改的比特流的至少一部分与修改的比特流的至少一部分进行合并。

另外的域是空间域或文件格式域。

根据本发明，所述方法进一步包括：

将编辑的帧数据转换为编辑的媒体文件以便在媒体播放器中使用；以及

提供表示编辑的帧数据的编辑属性的格式信息以便将编辑的帧数据转换为与媒体播放器兼容的编辑的媒体文件。

根据本发明，当比特流还包含可与输入的视频帧中的视频数据分离的音频数据时，所述方法进一步包括：

在所述转换前将音频数据与编辑的帧数据进行合并；

如果期望的话，在所述合并前对音频数据进行修改；以及

提供定时信息以便在所述合并中维持音频数据和编辑的帧数据之间的同步。

根据本发明，基于由用户选择的一个或多个编辑选项对编辑参数进行指定。

本发明的第二个方面提供一种媒体编辑设备，该设备用于对比特流中的一个或多个输入视频帧进行编辑以便提供一个或多个已编辑的视频帧，该已编辑的视频帧包括由一个或多个编辑参数所指定的至少一个编辑效果。所述编辑设备包括：

帧分析器模块，用于响应于表示视频帧数据的信号，识别比特流中的至少一个输入视频帧的帧特性；以及

压缩域处理模块，用于响应于表示帧特性的信号，基于所述至少一个帧的帧特性和指定的编辑参数对视频帧数据进行修改以便提供表示所述已编辑的视频帧的修改的视频数据。

根据本发明，所述帧分析器进一步包括识别比特流中至少一个另外的视频帧的帧特性。所述编辑设备进一步包括：

空间域处理模块，响应于表示另外的视频帧的帧特性的信号，基于另外的视频帧的帧特性和指定的编辑参数修改另外的视频帧中的视频帧以便提供另外的修改的视频数据；以及

用于将另外的修改的视频数据的至少一部分与修改的视频数据的至少一部分进行合并的模块。

根据本发明，所述编辑设备进一步包括：

格式编辑器模块，用于响应于表示修改的视频数据的信号，将修改的视频数据转换为已编辑的媒体文件以便在媒体播放器中使用，以及帧分析器模块进一步识别表示修改的视频数据的编辑属性的格式信息以便将修改的视频数据转换为与媒体播放器兼容的已编辑的媒体文件。

格式编辑器模块可以是文件格式编辑器或媒体格式编辑器。

根据本发明，当比特流还包括音频数据时，所述编辑设备进一步包括：

格式解析器模块，该模块用于将输入的视频帧中的音频与视频帧数据进行分离；

音频处理模块，该模块用于在需要的时候修改音频数据以便提供修改的音频数据；

合并模块，该模块用于将修改的视频数据与修改的音频数据进行合并以便提供表示合并的数据的合并的信号；以及

文件或媒体格式编辑器，用于响应于合并的信号，将合并的数据转换为编辑的媒体文件以便在媒体播放器中使用。

本发明的第三个方面提供一种能够编辑媒体文件从而在一个或多个编辑的视频帧中提供一个或多个编辑效果的通信设备，该编辑媒体文件包括一个或多个输入视频帧。所述通信设备包括：

视频编辑应用模块，用于允许用户指定编辑效果；以及

视频编辑系统，包括：

压缩域处理模块，用于响应于表示输入视频帧的信号，基于指定的编辑效果来对一个或多个视频帧中的视频帧数据进行修改以便提供表示已编辑的视频帧的修改的视频数据；以及

帧分析器模块，用于响应于表示视频帧数据的信号，识别至少一个输入视频帧的帧特性，以便也基于帧特性来允许压缩域处理模块修改视频帧数据。

根据本发明，帧分析器进一步识别比特流中至少一个另外的视频帧的帧特性，所述编辑系统进一步包括：

空间域处理模块，用于响应于表示另外的视频帧的帧特性的信号，基于另外的视频帧的帧特性和指定的编辑参数对另外的视频帧中的视频帧数据进行修改以便提供另外的修改的视频数据；

模块，用于将至少一部分的另外的已修改视频数据与至少一部分的修改的视频数据进行合并；以及

格式编辑器模块，用于响应于表示修改的视频数据的信号，将修改的视频数据转换为编辑的媒体文件以便在媒体播放器中使用。

根据本发明，通信设备进一步包括：

显示屏，用于基于修改的视频数据显示视频图像。

通信设备可以是移动终端、发信机设备、PDA等。

本发明的第四个方面提供一种用于视频编辑系统中的软件产品，该软件产品用于比特流中的一个或多个视频帧进行编辑以便提供一个或多个已编辑的视频帧，该已编辑的视频帧包括由一个或多个编辑参数指定的至少一个编辑效果。所述软件产品包括：

用于识别比特流中至少一个输入视频帧的帧特性的代码；以及

用于基于所述至少一个帧的帧特性和指定的编辑参数在压缩域中对一个或多个输入视频帧中的视频数据进行修改从而提供表示所述编辑的视频帧的修改的视频数据的代码。

根据本发明，当输入视频帧包括以可变长码(VLC)编码的视频数据时，所述软件产品进一步包括：

用于在对一个或多个输入视频帧中的视频数据进行修改前将VLC编码的视频数据转换为二进制形式的代码。

根据本发明，识别代码还包括识别至少一个另外的输入视频帧的帧特性，并且所述软件产品进一步包括：

用于基于所述另外的输入的视频帧和指定的编辑参数对在不同于压缩域的另外的域中的一个或多个另外的输入视频帧中的视频数据进行修改以便提供修改的另外的视频数据的代码。该另外的域可以是空间域或文件格式域。

根据本发明，该软件产品进一步包括：

用于将修改的另外的视频数据与修改的视频数据进行合并以便提供编辑的视频帧的代码；以及

用于将修改的视频数据转换为编辑的媒体文件以便在媒体播放器中使用的代码。

本发明的第五个方面提供一种媒体编码系统，包括：

媒体编码器，其用于对媒体数据进行编码以便在具有帧数据的多个帧中提供已编码的媒体数据；

媒体编辑设备，其用于响应于已编码的媒体数据，提供包括一个或多个已编辑的帧的编辑的数据，所述已编辑的帧具有由一个或多个编辑参数所指定的至少一个编辑效果，以及

媒体解码器，其用于响应于已编辑的数据，提供解码的媒体数据，其中所述编辑设备包括：

帧分析器模块，用于响应于表示已编码的数据的信号，识别编码的数据中的至少一个帧的帧特性；以及

压缩域处理模块，用于响应于表示帧特性的信号，基于所述至少一个帧的帧特性和指定的编辑参数来识别已编码的帧数据以便提供表示所述编辑的媒体帧的修改的媒体数据。

根据本发明，该媒体编码器具有连通性机制并且该编辑设备具有另外的连通性机制以便允许编辑设备以无线方式向媒体解码器提供已编辑的数据。

根据本发明，该媒体编码器和该编辑系统集成于扩展的编码系统中。

根据本发明，该媒体解码器具有连通性机制并且该扩展的编码系统具有另外的连通性机制以便允许扩展的编码系统以无线方式向媒体解码器提供已编辑的数据。

根据本发明，该媒体解码器和该编辑系统集成于扩展的解码系统中。

根据本发明，该媒体编码器具有连通性机制并且该扩展的解码系统具有另外的连通性机制以便允许媒体编码器以无线方式向扩展的解码系统提供已编辑的数据。

根据本发明，连通性机制和另外的连通性机制的每一种包括蓝牙连通性模块、红外线模块或无线LAN设备。

在阅读了结合图2到图10的描述后，本发明将变得显而易见。

附图说明

图1是说明现有技术的视频编辑的过程的方框图；

图2是说明根据本发明的压缩域视频编辑的原理的示意图；

图3是说明用于移动设备的典型视频编辑系统的方框图；

图4是说明根据本发明的视频编辑处理器系统的方框图；

图5是说明根据本发明的视频处理器的方框图；

图6是说明空间域视频处理器的方框图；

图7是说明音频处理器的方框图；

图8是说明待编辑的典型视频序列的示意图；

图9是说明根据本发明的能够执行压缩域视频编辑的便携式设备的示意图；

图10是说明根据本发明的包括视频处理器的媒体编码系统的方框图。

具体实施方式

根据本发明，所述视频编辑过程是基于压缩域操作的。这样就减小了解码和编码模块的使用。如图2中所示，编辑是在压缩域处理器中执行的。图3说明了为例如移动电话的通信设备所设计的典型编辑系统。根据本发明，该编辑系统可包括视频编辑方法和设备。如图3所示，视频编辑系统10包括视频编辑应用模块12(图形用户界面)，该界面与用户互动以便交换视频编辑选项。基于由用户定义或选择的编辑选项，应用利用视频编辑器引擎14计算并且向视频编辑处理模块18输出视频编辑参数。视频编辑处理器模块18利用压缩域编辑的原理来执行实际的视频编辑操作。如果视频编辑操作在软件中实施，则视频编辑处理器模块18可以是动态链接库(d11)。另外，视频编辑器引擎14和视频编辑处理器18可以合并成单个的模块。

图4中示出了视频编辑处理器模块18的高层方框图。如图所示，编辑处理器模块18接受媒体文件100，该文件通常是其中嵌入有音频的视频文件。编辑处理模块18执行压缩域中期望的视频和音频编辑操作，并且输出已编辑的媒体文件180。视频编辑处理器模块18由四个主单元构成：文件格式解析器20、视频处理器30、音频处理器60和文件格式编辑器80。

A.文件格式解析器：

例如视频和音频的媒体文件几乎都采用某个标准编码格式，例如用于视频的H.263、MPEG-4以及用于音频的AMR-NB、CELP。此外，压缩的媒体数据通常被封装到例如MP4或3GP的文件格式中。该文件格式包括有关媒体内容的信息，媒体内容可被有效地用于访问、获取和处理部分媒体数据。文件格式解析器的目的是读取单个的视频帧和音频帧，以及它们的例如视频帧的大小、其时间戳和该帧是否为帧内(infra frame)的相应属性。文件格式解析器20连同它们的帧属性从媒体文件100读取单个的媒体帧并将该信息馈入到媒体处理器。如图4所示，视频帧数据和帧属性120被馈入到视频处理器30而音频帧数据和帧属性122被馈入到音频处理器60。

B.视频处理器

视频处理器30连同要被施加到媒体剪辑的编辑参数(统一由参考标号120表示)一起接受视频帧数据和它的相应属性。编辑参数由视频编辑引擎14传送到视频编辑处理器模块18以便指示在媒体剪辑上执行的编辑操作。视频处理器30接收这些编辑参数并且在压缩域中的视频帧上执行编辑操作。视频处理器的输出是带有帧属性的已编辑的视频帧，而帧属性被更新成反映编辑的视频帧中的变化。图5中示出视频处理器30的细节。如图所示，所述视频处理器30包括下面的模块：

B.1.帧分析器

帧分析器32的主要功能是查找帧的属性并且确定施加在该帧上的处理的类型。取决于帧的属性和编辑参数，视频剪辑的不同帧可经历不同类型的处理。帧分析器做出关于施加在特定帧上的处理类型的重要的决定。图8中示出了典型的视频比特流。取决于比特流的帧属性和指定的编辑参数，可以以不同的方式作用于比特流的不同部分。如图8所示，比特流的某些部分没有包括在输出的电影中并且将被丢弃。某些部分只是在被解码后就丢弃。其它的将被再次编码以便从P帧转换为I帧。一些将在压缩域中编辑并被添加到输出的电影中，而还有其它一些将原封不动地简单地复制到电影。帧分析器的工作是执行所有这些重要的决定。

B.2.压缩域处理器

在压缩域处理器34中执行压缩域中帧的核心处理。改变压缩视频数据以便应用期望的编辑效果。该模块可在压缩的数据上执行各种不同类型的操作。这些常见类型操作中的一个是黑白效果的应用，其中通过从压缩视频数据去除色度数据，彩色帧就变成了黑白帧。可由该模块执行的其它效果是特殊效果(例如色彩滤波、棕褐化(sepia)等)和过渡效果(例如淡入和淡出等)。注意所述模块不仅限于这些效果，而是可以用于执行所有可能类型的压缩域编辑。

视频数据通常是由VLC(可变长码)编码的。因此，为了在压缩域中执行编辑，数据首先进行VLC解码从而数据可以以常规的二进制形式表示。接着根据期望的效果对二进制数据进行编辑，并且接着被编辑的二进制数据被再次VLC编码从而将其恢复成符合的压缩形式。另外，一些编辑效果不仅只需要VLC编码。例如，首先对数据进行反量化和/或IDCT(反离散余弦变换)并且接着被编辑。被编辑的数据被再次量化和/或经过DCT操作成为符合的压缩形式。

B.3.解码器

尽管本发明涉及压缩域处理，但还需要对帧进行解码。如图5所示，视频处理器30包括解码器36，该解码器操作性地连接到帧分析器32并有可能通过编码器38连接到压缩域处理器34。以图8中所示的视频比特流作为示例，如果输入视频中的起始截切点(cutpoint)落入P帧，则该帧不能简单的作为P帧被包括到输出电影中。视频序列的第一个帧总是以I帧开始。因此，这就需要将该P帧转换为I帧。

为了将P帧转换为I帧，该帧首先必须被解码。此外，因为它是P帧，所以解码必须一直退后到起始截切点之前的第一个I帧。因此，解码器36需要相关的解码器以对从在先的I帧到第一个包括的帧的这些帧进行解码。该帧接着被发送到编码器38以便再次编码。

B.4.空间域处理器

根据本发明可以将空间域50并入到压缩域编辑系统中。空间域处理器50主要用于其中对具体的帧无法进行压缩域处理的情况。这可以是特殊或过渡的一些效果，这些效果无法直接应用到压缩的二进制数据。在这种情况中，对帧进行解码并且效果被应用在空间域中。接着该编辑的帧被发送到编码器以便再次编码。

如图6中所示，空间域处理器50可被分解成两个不同的模块。空间效果处理器52用于在帧上应用特殊效果(例如老电影效果等)。过渡效果处理器54用于在帧上应用过渡效果(例如分割过渡效果等)。

B.5.编码器

如果帧将从P帧转化为I帧，或如果在空间域中对帧应用某个效果，则该帧由解码器解码并且可选效果在空间域内应用。如图5所示，编辑的原始视频帧接着被发送到编码器38，其中该帧被压缩回所需类型的帧(P帧或I帧)。

B.6.预编辑器

如图5所示，预编辑器40的主要功能是更新编辑的帧的属性以便它准备好由文件格式编辑器80(图4)来构成。

当帧在压缩域内被编辑时，帧的大小将改变。此外，帧的持续时间和时间戳可能改变。例如，如果慢动作被应用到视频序列上，则帧的持续时间以及它的时间戳将改变。同样地，如果帧属于不是在输出的电影中的第一个视频剪辑的视频剪辑时，尽管帧的单个持续时间不会改变，但帧的时间戳将被转化以便调整第一个视频剪辑的时间。

如果帧从P帧转换为I帧，则帧的类型从帧间(inter)变成帧内。另外，无论何时对帧进行解码和再编码，都可能造成帧的编码的大小的变化。所编辑的帧的属性中的所有这些变化必须被正确地更新和反映。编辑器利用这些帧的属性来以相关的文件格式构成输出电影。如果没有正确地更新帧属性，则将不能构成电影。

C.音频处理器

通常视频剪辑内部嵌入有音频。如图4和7所示的音频处理器60用于根据编辑参数处理输入的视频剪辑内的音频数据从而在输出的电影中生成期望的音频效果。

如图7所示，编辑系统中可以存在许多不同类型的音频操作。这些操作中最常见的例如有：保留原始音频、更换新的音频和静音音频。在从文件格式解析器20接收到包括由编辑参数所指定的期望的音频效果的音频帧数据和音频帧信息121后，信息处理器62查找出指定了何种类型的音频操作并且将音频帧数据中的不同数据发送到不同的音频处理模块以便处理。

C.1.保留原始音频

音频处理器中进行音频数据处理的最常见的情况是在已编辑的视频剪辑中保留原始的音频。在这种情况下，由帧提取器模块64从视频剪辑162a提取所需的视频帧并将其包括在输出的已编辑剪辑164。当包括原始音频时，保持正确的音频/视频同步是至关重要的。可从任意的点对视频剪辑进行截取。视频和音频的截切点必须要恰好匹配以便避免已编辑视频剪辑内的任意音频偏移。在这方面，有关视频的定时信息132a被应用到音频处理器以便同步。利用压缩域音频处理器65可以在压缩域中处理音频帧164。例如，如果处理器65包括各种子模块和软件程序，则可实现例如音频衰减、音频滤波、音频混合、特殊音效和类似的各种压缩域操作。

C.2.更换新的音频

音频处理器还有可能包括来自另一个源的音频并且利用新的音频采样来更换视频剪辑中的原始音频。另外，可以在输出的电影是任何点和为输出电影的任意持续时间插入该新的音频采样。如果新的音频采样具有比要插入的持续时间更短的持续时间，则音频处理器能够重复该音频以便其在总的音频插入持续时间上反复地播放。为了音频数据更换的目的，帧提取器68(可以是相同的提取器64)操作性地连接到音频源67以便获得新的音频采样167并且在正确的时刻将新的音频采样作为新的音频帧168输出。利用压缩域音频处理器69，可在压缩域中处理音频帧168。例如，如果处理器69包括各种子模块和软件程序，则可实现例如音频衰减、音频滤波、音频混合、特殊音效和类似的各种压缩域操作。

C.3.静音音频

音频处理器还能够对输出电影的任意持续时间的原始音频进行静音，使得已编辑的电影在静音的持续时间不具有任何音频。存在许多在电影中进行静音的方式。音频处理器有可能简单的在音频要被静音时在具体的持续时间上不提供任何的音频帧。可选地，无声帧发生器66可用于将“无声”帧插入到音频帧数据中，这样当播放时，音频帧就在输出的电影中出现无声的或静音的效果。

从例如帧提取器64、68和帧发生器66的各种音频处理模块的输出在音频帧合并模块70中合并以便提供已处理的音频帧170。音频帧合并模块70的输出170被进一步进行压缩域音频处理，通过该处理，由压缩域音频处理器71对插入的音频帧进行压缩域内的编辑从而改变它们的内容。除了音频处理器65和67以外可以使用或由音频处理器71代替音频处理器65和67。

应该注意到音频处理仅不限于这三种操作。音频处理器中可包括任意种不同的音频处理能力，例如混音、对多音频通道的支持等。上述的描述仅仅是出于示例性的目的。

音频帧通常在持续时间上比它们对应的视频帧要短。因此，对于每个音频帧通常在输出的电影中包括多于一个的音频帧。因此，在音频处理器中需要加法器按照正确的时间顺序来收集对应于特定视频帧的所有音频帧。处理过的音频帧接着被发送到编辑器以便在输出的电影中将它们构成。

D.文件格式编辑器

如图4中所示，一旦对媒体帧(视频、音频等)进行了编辑和处理，就将它们发送到文件格式编辑器80。编辑器80连同它们的例如帧大小、帧时间戳、帧类型(例如P帧或I帧)等的相应帧属性一起接收已编辑视频130和音频帧160。接着利用该帧信息将媒体帧数据构成和封装到正确的文件格式中并带有正确的视频和音频定时信息。得到的就是可在任意兼容的媒体播放器中播放的相关文件格式的已编辑媒体文件180。

如上所述的本发明提供了这样的优势，即视频编辑操作可在例如移动电话、发信机、配备有摄像机或能够从外部源接收视频数据的个人数字助理(PDA)的小的便携式设备上实施。图9是便携式设备的示意图，根据本发明该设备可用于压缩域视频编辑。如图9所示，便携式设备1包括例如可用于显示视频图像的显示器5。如图3中所示，设备1还包括视频编辑系统10，该系统包括视频编辑应用12、视频编辑引擎12和视频编辑处理器18。视频编辑处理器18从媒体文件源210接收输入的媒体文件100并将输出的媒体文件180传送到媒体文件接收机220。媒体文件源210可以是便携式设备1的一部分的摄像机。然而，媒体文件源210可以是操作性地连接到摄像机的视频接收机。视频接收机可以是便携式设备的一部分。另外，媒体文件源210可以是便携式设备一部分的比特流接收机以便接收表示输入媒体文件的比特流。已编辑的媒体文件180可在便携式设备1的显示器5上显示。然而，已编辑的媒体文件180可被传送到例如存储介质、视频传送器的媒体文件接收机。存储介质和视频传送器也可以是便携式设备的一部分。此外，媒体文件接收机220还可以是外部的显示设备。应该注意到便携式设备1还包括软件程序7以便执行结合图4、5和7所述的许多压缩域编辑步骤。例如，软件程序7可用于文件格式解析、文件格式构成、帧分析和压缩域帧处理。

应该注意到如图10中所示，本发明的压缩域视频编辑处理器18可包括在视频编码系统中。如图10中所示，编码系统300包括视频编码器310、视频解码器330和视频编辑系统2。编辑系统2可包括在例如图9中的便携式设备1的独立的电子设备中。然而，编辑系统2还可包括分布式编码系统中。例如，编辑系统2可以与视频解码器330一起在扩展解码器360中实施以便为在显示设备332上的显示提供解码的视频数据190。可选地，编辑系统2可以与视频编码器310一起在扩展编码器350中实施以便向独立的视频解码器330提供已编辑的视频数据。已编辑的视频数据也可被传送到传送器320以便传送或被传送到存储设备340以便存储。

组件2、310、320、330、332、340、350、360的一部分或全部可在操作性地连接到连通性控制器356(或356’，356”)以便它们能够作为远端可操作设备以许多种不同的方式中的一种方式操作，这些方式例如是蓝牙、红外线或无线LAN。例如，扩展的编码器350可通过无线连接与视频解码器330进行通信。同样地，编辑系统2能够独立地与视频编码器310进行通信以便从它接收数据并利用视频解码器330向其提供数据。

因此，尽管结合本发明的一个或多个实施方式对本发明进行了描述，但本领域的技术人员将理解对本发明可做出形式和细节上的上述和各种的其它变化、省略和变形，而不脱离本发明的范围。

Claims (41)

1.一种对比特流中的一个或多个输入视频帧进行编辑以便提供一个或多个已编辑的视频帧从而达到视频效果的方法，所述已编辑的视频帧包括由一个或多个编辑参数指定的至少一个编辑效果，所述方法的特征在于：

识别所述比特流中至少一个输入视频帧的帧特性；以及

基于所述至少一个帧的帧特性和所述视频效果以及所述指定的编辑参数确定所述视频数据是适于压缩域编辑还是适于空间域处理；

当确定所述视频数据适于压缩域编辑，则在压缩域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流；

当确定所述视频数据适于空间域处理，则在空间域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流；

将在压缩域中修改的比特流中的至少一部分和在空间域中修改的比特流的至少一部分进行合并。

2.根据权利要求1所述的方法，进一步包括：

当确定所述视频数据是适于压缩域编辑还是适于空间域处理时，如果所述视频效果包括特殊效果和过渡效果中的至少一个时，对所述比特流的部分进行解码用于所述空间域中的修改。

3.根据权利要求2所述的方法，其特征在于所述视频数据以可变长码(VLC)进行编码，所述方法的特征进一步在于：

在所述修改之前将经VLC编码的视频数据转换成二进制形式。

4.根据权利要求3所述的方法，其特征进一步在于：

在所述转换前对经VLC编码的视频数据进行反向量化。

5.根据权利要求3所述的方法，其特征进一步在于：

在所述转换前以反余弦变换操作对经VLC编码的视频数据进行处理。

6.根据权利要求1所述的方法，其特征进一步在于：

将所述编辑的帧数据转换为编辑的媒体文件以便在媒体播放器中使用。

7.根据权利要求6所述的方法，其特征进一步在于：

提供表示所述编辑的帧数据的编辑属性的格式信息以便将所述编辑的帧数据转换为与所述媒体播放器兼容的所述编辑的媒体文件。

8.根据权利要求6所述的方法，其中所述比特流还包含可与所述输入的视频帧中的视频数据分离的音频数据，所述方法的特征进一步在于：

在所述转换前将所述音频数据与所述编辑的帧数据进行合并；

9.根据权利要求8所述的方法，其特征进一步在于：

在所述合并前对所述音频数据进行修改。

10.根据权利要求8所述的方法，其特征进一步在于：

提供定时信息以便在所述合并中维持所述音频数据和所述编辑的帧数据之间的同步。

11.根据权利要求1所述的方法，其特征在于基于由用户选择的一个或多个编辑选项对所述编辑参数进行指定。

12.一种媒体编辑设备，该设备用于对比特流中的一个或多个输入视频帧进行编辑以便提供一个或多个已编辑的视频帧从而达到视频效果，所述已编辑的视频帧包括由一个或多个编辑参数所指定的至少一个编辑效果，所述编辑设备的特征在于：

帧分析器模块，其用于响应于表示视频帧数据的信号，识别所述比特流中的至少一个输入视频帧的帧特性，并基于所述至少一个帧的帧特性和所述视频效果以及所述指定的编辑参数确定所述视频数据是适于压缩域编辑还是适于空间域处理；

压缩域处理模块，用于当确定所述视频数据适于压缩域编辑时，在压缩域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流；

空间域处理模块，用于当确定所述视频数据适于空间域处理时，则在空间域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流。

13.根据权利要求12所述的编辑设备，其中空间域处理模块包括：

特殊效果处理器，用于当所述视频效果是特殊效果时修改空间域中的视频帧数据；以及

过渡效果处理器，用于当所述视频效果是过渡效果时修改空间域中的视频帧数据。

14.根据权利要求12所述的编辑设备，其特征进一步在于：

格式编辑器模块，其用于响应于表示所述修改的视频数据的信号，将所述修改的视频数据转换为已编辑的媒体文件以便在媒体播放器中使用。

15.根据权利要求14所述的编辑设备，其特征在于所述格式编辑器模块包括文件格式编辑器。

16.根据权利要求14所述的编辑设备，其特征在于所述格式编辑器模块包括媒体格式编辑器。

17.根据权利要求14所述的编辑设备，其特征在于所述帧分析器模块进一步识别表示所述修改的视频数据的编辑属性的格式信息以便将所述修改的视频数据转换为与所述媒体播放器兼容的所述已编辑的媒体文件。

18.根据权利要求12所述的编辑设备，其特征在于所述比特流还包括音频数据，所述设备的特征进一步在于：

格式解析器模块，该模块用于将输入的视频帧中的所述音频与所述视频帧数据进行分离；以及

音频处理模块，该模块用于在需要的时候修改所述音频数据以便提供修改的音频数据。

19.根据权利要求18所述的编辑设备，其特征进一步在于：

合并模块，用于将所述修改的视频数据与所述修改的音频数据进行合并以便提供表示所述合并的数据的合并的信号。

20.根据权利要求19所述的编辑设备，其特征进一步在于：

格式编辑器，其用于响应于所述合并的信号，将所述合并的数据转换为编辑的媒体文件以便在媒体播放器中使用。

21.一种媒体编码系统，其特征在于：

媒体编码器，用于对媒体数据进行编码以便在具有帧数据的多个帧中提供已编码的媒体数据；

媒体编辑设备，用于响应于已编码的媒体数据，提供包括一个或多个已编辑的帧的编辑的数据，所述已编辑的帧具有由一个或多个编辑参数所指定的至少一个编辑效果，以及

媒体解码器，用于响应于所述已编辑的数据，提供解码的媒体数据，其中所述编辑设备包括：

帧分析器模块，其用于响应于表示视频帧数据的信号，识别所述比特流中的至少一个输入视频帧的帧特性，并基于所述至少一个帧的帧特性和所述视频效果以及所述指定的编辑参数确定所述视频数据是适于压缩域编辑还是适于空间域处理；

压缩域处理模块，用于当确定所述视频数据适于压缩域编辑时，在压缩域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流；

空间域处理模块，用于当确定所述视频数据适于空间域处理时，则在空间域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流，其中所述空间域处理模块包括：

特殊效果处理器，用于当所述视频效果是特殊效果时修改空间域中的视频帧数据；以及

过渡效果处理器，用于当所述视频效果是过渡效果时修改空间域中的视频帧数据。

22.根据权利要求21所述的媒体编码系统，其特征在于所述媒体编码器具有连通性机制并且所述编辑设备具有另外的连通性机制以便允许所述编辑设备与所述媒体解码器进行通信从而以无线方式从所述媒体解码器接收已编码的媒体数据。

23.根据权利要求21所述的媒体编码系统，其特征在于所述媒体解码器具有连通性机制并且所述编辑设备具有另外的连通性机制以便允许所述编辑设备以无线方式向所述媒体解码器提供已编辑的数据。

24.根据权利要求21所述的媒体编码系统，其特征在于所述媒体编码器和所述媒体编辑设备集成于扩展的编码系统中。

25.根据权利要求24所述的媒体编码系统，其特征在于所述媒体解码器具有连通性机制并且所述扩展的编码系统具有另外的连通性机制以便允许所述扩展的编码系统以无线方式向所述媒体解码器提供已编辑的数据。

26.根据权利要求21所述的媒体编码系统，其特征在于所述媒体解码器和所述媒体编辑设备集成于扩展的解码系统中。

27.根据权利要求26所述的媒体编码系统，其特征在于所述媒体编码器具有连通性机制并且所述扩展的解码系统具有另外的连通性机制以便允许所述媒体编码器以无线方式向所述扩展的解码系统提供已编辑的数据。

28.根据权利要求25或27所述的媒体编码系统，其特征在于所述连通性机制和另外的连通性机制的每一种包括蓝牙连通性模块。

29.根据权利要求25或27所述的媒体编码系统，其特征在于所述连通性机制和另外的连通性机制的每一种包括红外线连通性模块。

30.一种能够编辑媒体文件从而在一个或多个编辑的视频帧中提供一个或多个编辑效果的通信设备，所述编辑媒体文件包括一个或多个输入视频帧，所述通信设备的特征在于：

视频编辑应用模块，用于允许用户指定所述编辑效果；以及

视频编辑系统，包括：

压缩域处理模块，用于当所述视频数据适于压缩域编辑时，在压缩域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流；

空间域处理模块，用于当所述视频数据适于空间域处理时，则在空间域中对所述比特流进行修改从而提供表示所述已编辑的视频帧的已修改的比特流，其中所述空间域处理模块包括：

特殊效果处理器，用于当所述视频效果是特殊效果时修改空间域中的视频帧数据；以及

过渡效果处理器，用于当所述视频效果是过渡效果时修改空间域中的视频帧数据。

31.根据权利要求30所述的通信设备，其中所述视频编辑系统的特征进一步在于：

帧分析器模块，用于响应于表示视频帧数据的信号，识别所述比特流中的至少一个输入视频帧的帧特性，并基于所述至少一个帧的帧特性和所述视频效果以及所述指定的编辑参数确定所述视频数据是适于压缩域编辑还是适于空间域处理。

32.根据权利要求30所述的通信设备，其特征在于所述视频编辑系统进一步包括：

格式编辑器模块，其用于响应于表示修改的视频数据的信号，将所述修改的视频数据转换为编辑的媒体文件以便在媒体播放器中使用。

33.根据权利要求30所述的通信设备，其特征进一步在于：

显示屏，用于基于修改的视频数据显示视频图像。

34.根据权利要求30所述的通信设备，包括移动终端。

35.一种对比特流中的一个或多个输入视频帧进行编辑以便提供一个或多个已编辑的视频帧从而达到视频效果的设备，所述已编辑的视频帧包括由一个或多个编辑参数指定的至少一个编辑效果，所述设备包括：

用于识别比特流中一个或者多个输入视频帧的帧特性的装置；以及

用于将所述一个或多个输入视频帧中的视频数据修改进编辑的视频帧从而达到视频效果的装置，其中所述修改基于所述至少一个帧的帧特性和所述视频效果在所述压缩域或者所述空间域中进行从而提供表示所述编辑的视频帧的修改的视频数据。

36.根据权利要求35所述的设备，其特征在于所述输入视频帧包括以可变长码(VLC)编码的视频数据，所述设备进一步包括：

用于在对一个或多个输入视频帧中的视频数据进行修改前将所述VLC编码的视频数据转换为二进制形式的装置。

37.根据权利要求35所述的设备，其中当所述视频效果包括特殊效果和过渡效果中的至少一个时在所述空间域中进行所述修改。

38.根据权利要求37所述的设备，进一步包括对比特流的部分进行解码用于所述空间域中的修改。

39.根据权利要求35所述的设备，进一步包括用于对修改的视频数据进行文件格式编辑的装置。

40.根据权利要求35所述的设备，其中比特流还包括音频数据，所述设备还包括用于修改音频数据从而提供修改的音频数据的装置。

41.根据权利要求40所述的设备，进一步包括用于将修改的视频数据和修改的音频数据进行合并的装置。

Images