CN101212635B - 录像图像处理方法和系统 - Google Patents

Abstract

本发明提供了一种录像图像处理方法和系统，用于获取一个具有至少一个图像元素的第一代录像，通过分析这个第一代录像来取得这个至少一个图像元素的追踪信息，获取一个第二代录像，以及通过利用取得的追踪信息来将一个图像元素组合到第二代录像上从而生成第三代录像，并显示第三代录像。

Description

录像图像处理方法和系统

本申请要求2006年12月28日递交的在先美国专利申请No.11/647,010和2007年8月22日递交的在先美国专利申请No.11/894,301的优先权。

技术领域

本发明涉及信息传媒领域，尤其是涉及一种录像图像处理方法和系统。

背景技术

信息可以通过多种不同的形式表达，比如说图像，文章，说明，数字，广告，等等。这些以不同形式表达的信息可以刊登在不同的媒体介质上，比如说纸张或者电子显示设备。在目前，通用的信息显示方法往往导致被显示的信息的相对位置比较局限，比如印在一张报纸上的文章或者登在一个特定的互联网页上的照片。有一些信息显示方法允许被显示的信息的相对位置能够做些移动，尤其是在电子媒体上，比如说一些互联网页上的移动的图形标志，或者一些跟着鼠标箭头移动的图形广告。但是，这些显示信息的方法都无法以互动的方式展现一段录像之中各个不同的图像元素之间的相互联系。

在目前，提供录像信息的机构通常将高质量的原始录像压缩来生成压缩过的录像。这些压缩过的录像通过一个通讯网络传输给一组终端用户使得这组终端用户能够用一些设备来接收和显示这些录像。这个通讯网络可以是传统的传播网络(无线连接的网络或者通过电缆连接的网络)，任何数字网络(国际互连网，移动网络，或家庭局域网)，正在逐渐流行的对等网络(“peer to peer networks”)，或者任何以上各种网络的结合。终端用户用来显示这些录像的设备的屏幕可以是不同的设计和大小，比如用户家里的大屏幕电视，或者手持电话或其它移动电视或多媒体设备上的液晶显示器。终端用户往往是一些普通用户，对于录像图像处理没有太多的技巧和专业知识。

目前用在传媒领域的录像图像处理方法和系统通常是追求一个普遍适用性的原则，也就是不论终端用户的设备是什么，为所有的终端用户生成同一套录像，并且几乎不允许终端用户对录像图像的处理和显示做任何改变。比如说，当在家里看电视的时候，不管终端用户有什么样的电视，他所收到的用来在电视上播放的录像图像总是一样的。在录像图像的显示方法上，终端用户只有一些很有限的选择，比如说是不是显示字幕，或者是不是在一个大的图像里显示一个小的图像，也就是所谓的画中画。除了这些有限的选择之外，终端用户对于所收到的录像图像的显示并没有太多实质性的控制。这种追求普遍适用性的方法往往需要满足一个技术标准相对比较低的系统要求，以便减少对于录像传播网络的带宽要求和减少接收显示设备的系统复杂程度。尽管这种追求普遍适用性的方法对于服务提供方来说比较方便，但是它却不能够对所有的终端用户都提供满意的收视经验，因为在终端用户所使用的不同的接收显示设备之间存在着巨大的不同。

目前的录像图像处理方法还面临着另外一个挑战，也就是当处理一个包含着小的图像元素的录像图像，并且将这个处理过的录像图像传播到一个小的屏幕上显示的时候，这个小的图像元素往往就变得很不清晰，有的时候甚至于会完全消失。这种情况在向手机电视上传送球类比赛，比如垒球或者网球比赛的时候就会出现。一个正常垒球的直径通常小于三英寸，一个正常的垒球场各个垒之间的距离通常有九十英尺。如果用一个像素来显示垒球，那么就需要至少360个像素来显示两个相邻的垒。对于任何分辨率小于一定限度的录像文件，录像中代表垒球的图像元素就会在图像压缩，图像文本格式转换(“transcoding”)，或者视频转码(“transcaling”)的过程中消失。并且，即使使用了高清晰度的图像格式和高清晰度的录像显示设备来用更多的像素来显示垒球，在一个小的屏幕上垒球图像可能仍然小于一个英寸的百分之零点五，很难在正常距离上被正常人的肉眼所识别。

综上所述，市场上显然需要一个改进的录像图像处理方法和系统来解决这些问题，并且可以互动性地显示图像信息来突出录像图像中不同的图像元素之间的关系。

发明内容

本发明的目的包括(但是不限于)解决上述现有技术中的不足，增强对录像中的小图像元素的处理，提供一种互动的录像处理方法以反映用户输入，提供一种可以互动性地显示图像信息来突出录像图像中不同的图像元素之间的关系的改进的录像图像处理方法和系统。

本发明是通过下述技术方案予以实现的：

一种录像图像处理方法包括以下步骤：

获取一个具有至少一个图像元素的第一代录像；

通过分析这个第一代录像来取得这个至少一个图像元素的追踪信息；

获取一个第二代录像；

以及通过利用取得的追踪信息来将一个图像元素组合到第二代录像上。

所述的录像图像处理方法还包括以下步骤：

通过利用取得的追踪信息来将代表一个信息元素的图形组合到第二代录像的至少一帧图像上。

本发明的另一个技术方案是：

一种录像图像处理方法包括以下步骤：

获取一个具有至少一个图像元素的第一代录像；

通过分析这个第一代录像来取得这个至少一个图像元素的追踪信息；

获取一个第二代录像；

以及将取得的追踪信息和第二代录像传输给一个通讯网络。

所述的录像图像处理方法还包括以下步骤：

如果第二代录像是一个H.264录像，那么就将取得的追踪信息记录在第二代录像的辅助图像成份或者主体图像成份的前景层上，如果第二代录像是一个MPEG4录像，那么就将取得的追踪信息记录在第二代录像的至少一帧图像上或者至少一帧图像所携带的辅助参数上。

本发明的第3个技术方案是：

一种录像图像处理方法包括以下步骤：

从一个通讯网络上接收一个录像；

接收一个图像元素的追踪信息；

通过利用接收的追踪信息来将一个图像元素组合到接收到的录像上从而生成下一代录像；以及显示下一代录像。

所述的录像图像处理方法还包括以下步骤：

接收用户输入信息；以及通过利用接收到的用户输入信息来对追踪信息进行调整。

通过利用接收到的的追踪信息来将代表一个信息元素的图形组合到接收到的录像的至少一帧图像上。

本发明的第4个技术方案是：

一种录像图像处理方法包括以下步骤：

从一个通讯网络上接收一个录像；

接收一个图像元素的追踪信息；

提取一个预设的图形；

通过利用接收到的追踪信息来将这个预设的图形组合到接收到的录像上的至少一帧图像上从而生成下一代录像；以及显示下一代录像。

所述的录像图像处理方法还并包括以下步骤：

接收用户输入信息；以及通过利用接收到的用户输入信息来对追踪信息或者预设的图形进行调整。

本发明的第5个技术方案是：

一种录像图像处理方法包括以下步骤：

从一个通讯网络上接收一个具有第一系列图像帧的录像；

接收一个图像元素的追踪信息；

根据接收到的一个图像元素的追踪信息生成第二系列图像帧；

将第一系列图像帧的至少一部分同第二系列图像帧的至少一部分混合排列起来；以及

显示混合排列后图像帧系列。

本发明一种录像图像处理系统，包括：

第一个接收单元，用于接收录像文件和图像元素的追踪信息；

第二个接收单元，用于接收用户输入信息；

一个录像图像处理单元，用于使用接收到的用户输入信息或者接收到的图像元素的追踪信息来将至少一个图形组合到接收到的录像文件上；以及一个显示单元，用于显示录像。

本发明的有益效果包括(但是不限于)：当处理一个包含着小的图像元素的录像图像，并且将这个处理过的录像图像传播到一个小的屏幕上显示的时候，这个小的图像元素也会很清晰，避免了现有技术中往往会完全消失的弊端，达到在正常距离被正常人的肉眼所能识别的目的，提供一种互动的录像处理方法以反映用户输入，且可以互动性地显示图像信息来突出录像图像中不同的图像元素之间的关系。

附图说明

图1是第一代录像中的一帧图像的示意图；

图2是图1中的一帧图像在经过一般的压缩处理后的图像示意图，一些重要的图像信息已经损失了；

图3是图1中的一帧图像在使用本发明所包含的改进的录像图像处理方法处理后的图像示意图，重要的图像信息得到了保存；

图4是实现本发明的一种方法的示意性流程图；

图5是实现本发明的另一种方法的示意性流程图；

图6是实现本发明的一种系统的示意图；

图7是一帧图像在加入一个代表信息元素的文字图形后的示意图。

具体实施方式

这一部分将结合附图进一步介绍本发明的技术内容以及实现本发明的各种可能的实现方法和系统。

对于一个录像图像播放服务提供商来说，在一个具有多种不同技术的传播网络上向多种不同的显示设备同时提供高质量的录像图像是一个严峻的挑战。客观地来说，服务提供商希望能够通过采用新的录像图像处理标准来有效地降低对传送带宽的要求并且同时保证实现一定的质量要求，比如MPEG4和H.264。可是同样的录像图像处理、压缩方法却会因所传输的图像性质的不同而产生完全不同的效果。

图1是第一代录像中的一帧图像的示意图。在图1中，一个关键的图像元素垒球1被清晰地显示出来。图2显示图1中的一帧图像在经过一般的压缩处理后，一些重要的图像信息，在这里就是关键图像元素垒球1，已经从图像里消失了。如果是跟据这样的图像显示，观看者就不会知道球员正要击打垒球1，因为他看不到垒球1。与之相反，观看者还会以为球员正在等待垒球1的到来。图3是显示图1中的同一帧图像在使用本发明所包含的改进的录像图像处理方法处理后重要的图像信息，比如说垒球1，得到了保存被清晰地显示出来。因为观看者现在能够看到垒球1，因此也就能够看清楚球员将要击球的动作了。这一个似乎不大的区别，可以完全改变观看者的观看经验。

根据本发明的一种实现方法，一个相对比较高质量的录像图像文件，在它被为了向外播放而经过处理之前，在录像中的特定关键图像元素仍然可以被看见或被找到的时候，我们把这个录像图像文件叫做第一代录像。在第一代录像被处理过之后，生成的录像图像文件叫做第二代录像。在第二代录像被处理过之后，生成的录像图像文件叫做第三代录像。在第三代录像被处理过之后，生成的录像图像文件叫做第四代录像。以此类推。

第一代录像通常还保留很多图像细节，包括那些对于录像主题十分重要的图像细节。但是，第一代录像通常是个很大的文件，很难在一般通讯系统的有限的带宽上传送。将第一代录像处理成第二代录像来减少录像文件的大小和分辨率往往需要对第一代录像进行压缩，对图像文本格式进行转换，或者视频转码。这一处理过程就会造成一些关键信息元素变得模糊或者完全消失。

根据本发明的一种实现方法，首先要找到关键图像元素的相关信息。一段录像是由多帧单独的图像组成的。录像中代表一个实际物体的一个图像元素，比如说代表垒球的垒球图像元素，是由存在在一个录像的多帧图像之上的一组或多组单独的图形来表现的。这些代表同一个图像元素的一组或多组单独的图形通过在一个录像的多帧图像之间的逐渐移动和变化来表现这个图像元素在这个录像之中的移动和变化。关键图像元素的相关信息是指代表关键图像元素的一组或多组单独的图形在一个录像的多帧图像上的信息。这些相关信息可能包括关键图像元素在录像文件各帧图像中的水平和竖直位置，代表关键图像元素的图形的大小，边界，颜色，亮度，等等。这些信息可以通过使用现有的录像图形搜寻/追踪算法对一段录像中的各帧图像逐一进行分析处理来取得。

现在有很多可以分析一段录像并从这段录像中找到一个特定的图像元素的相关信息的录像图形搜寻/追踪算法。比如发表在2005年11月13至16日在韩国举行的第6次太平洋圈多媒体会议文集第864至875页上的文章“在足球录像播放中的球搜寻和追踪算法”(“A Scheme for Ball Detection and Tracking in Broadcast Soccer Video”)所介绍的方法，以及发表在2004年10月25至2 8日在韩国汉城举行的CDMA国际会议文集上的文章“预处理球类比赛录像以便在移动网络上传播”(“Preprocessing of Ball Game Video Sequencesfor Robust Transmission Over Mobile Network”)所介绍的方法。第一篇文章，“在足球录像播放中的球搜寻和追踪算法”，描述了一个在一段球赛录像中寻找到代表球的图像元素，并且在录像的多帧图像之间追踪这一图像元素的方法。这种方法使用录像的多帧图像来获得这一图像元素的追踪信息。当在录像中寻找图像元素的时候，这种介绍的方法使用特定的颜色，形状和大小指标来在录像的各帧单独的图像之中寻找可能代表球的图形，并且对相邻两帧录像图像中的可能代表球的图形的各个信息进行比较。基于这些信息，这一文章介绍了一种算法来计算球图像元素在录像各帧图像之间的位置和移动变化轨迹。球图像元素在录像各帧图像上的位置信息在追踪球图像元素的轨迹的过程中不断地进行更新，以便决定何时需要对球进行重新搜寻。比如说如果代表球图像元素的图形在录像中一系列相邻的各帧图像上都存在，只是位置有所改变，那么在这一系列图像上只需要在第一帧图像上搜寻球图形，在以后的各帧图像上就可以利用前几帧图像上的位置信息找到代表球的图形的位置。如果代表球图像元素的图形在录像中一系列相邻的各帧图像上并不都存在，有时候出了录像图像有时候又重新进入录像图像，那么在球图形出了录像图像之后的各帧图像上就需要对球图形进行重新搜寻。第二篇文章“预处理球类比赛录像以便在移动网络上传播”描述了另一个可以用来寻找和追踪球图像元素的方法。这种方法使用特定图像元素的轨迹的惯性信息和位置预测，利用一些特殊的算法来完成对一段录像中的某一特定图像元素的搜寻和追踪。这些不同的图像元素搜寻和追踪方法，以及其它现有的图像元素搜寻和追踪方法，可以被用来实现本发明的搜寻和追踪步骤，来取得关键图像元素在某一段录像的各帧图像上的各种相关信息。

如上所述，一段录像文件是由许多帧单独的图像组成的。第一代录像中会有许多帧单独的图像。同一个关键图像元素，比如说代表一场垒球比赛中的垒球的垒球图像元素，会以图形的形式出现在录像文件中的许多帧单独的图像之中。在每一帧有代表关键图像元素的图形的录像图像中，都可以用以上所介绍的方法找到关键图像元素的有关信息，比如位置，大小，边界，颜色，亮度，等等。而这些关键图像元素的有关信息会在各帧图像之间改变，主要是因为关键图像元素所代表的物体在时间和空间上的移动。通过现有的搜寻和追踪图像元素的方法可以找到关键图像元素在一个录像文件中各帧单独图像上的有关信息。我们把在一段录像中代表一个图像元素的一系列或多个系列的单独图形在这段录像中的相应的单独帧图像上的有关信息(比如位置，大小，边界，颜色，亮度，等等)的综合叫做图像元素的追踪信息。一旦有了一个图像元素的追踪信息，就可以利用此追踪信息将一个图像元素重组到一段录像上。

根据本发明的一种实现方法，一旦用以上所介绍的图像元素搜寻和追踪方法找到第一代录像中的关键图像元素的追踪信息，第一代录像就通过压缩方法被处理生成第二代录像，从而减小录像文件的大小以便于在网络上传播。可用的文件压缩格式包括H.264，MPEG 4，和VC-1等标准文件格式。在某些情况下，一个辅助摄像机可以和主摄像机同时使用来在主摄像机摄制高清晰度的第一代录像的时候，同时摄制一个低清晰度录像。如果这个低清晰度录像同第一代录像具有同样的内容，只是文件大小比较小一些，那末这个低清晰度录像也可以被用作第二代录像的替代录像。

一旦获得第二代录像，根据本发明的一种实现方法，可以利用从第一代录像中找到的关键图像元素的追踪信息将关键图像元素重组到第二代录像上从而生成第三代录像。为达到这个结果，可能要对关键图像元素的追踪信息做些调整。这些调整可以是基于第一代录像和第二代录像之间的相对比较关系而进行的。比如说，关键图像元素在第一代录像各帧图像中的水平和竖直位置可能需要进行调整才可以将关键图像元素重组在第二代录像所对应的各帧图像的正确位置上。这种调整可以是基于对第一代录像和第二代录像所对应的各帧图像的水平和竖直长度的比较。调整的算法可以通过对代表水平和竖直位置的数值加一个变量来实现，这个变量可以取决于第二代录像的压缩比例。例如，如果第二代录像的各帧图像的水平和竖直长度都只有第一代录像的一半，那么代表关键图像元素在第一代录像各帧图像中的水平和竖直位置的数值就需要通过乘一个反应压缩比例的变量来对应性地减半。关键图像元素的别的有关信息比如大小，边界，颜色和亮度等也可以通过引进别的变量来改变。有些变量可以反映第一代录像和第二代录像之间的相对比较关系，有些变量也可以由第二代录像的制做者来主观地选择。在关键图像元素的追踪信息被适当地调整之后，调整后的关键图像元素的追踪信息就可以被用来将关键图像元素重组在第二代录像上从而生成第三代录像。使用调整后的关键图像元素的追踪信息来将关键图像元素重组在第二代录像上有多种不同的实现方法。将一个图像元素重组或组合在一个录像上是指将代表一个图像元素的一系列或若干个系列的图形加入一个录像的一些帧图像上，使得录像在被播放时这个图像元素能被显现出来。关键图像元素可以根据关键图像元素的追踪信息被直接画在第二代录像的一些帧图像上。关键图像元素也可以根据关键图像元素的追踪信息画在一系列单独的图像上，然后再使用α混合处理(“alpha blending”)的方法将这一系列单独的图像与第二代录像所对应的各帧图像结合起来。α混合处理是一种常用的图像处理方法，主要是指将多个层次的图像重叠在一起生成一帧图像，不同层次的图像可以有不同程度的透明度，从而达到不同的重叠效果。如果关键图像元素的追踪信息只包含有关键图像元素在各个帧图像上的位置信息，关键图像元素的追踪信息可以通过任何标准的复用(“multiplexing”)方法复用(“multiplex”)到第二代录像上以便于传播。在有多个关键图像元素的时候也可以使用同样的处理方法。在同时处理多个关键图像元素的时候，可以通过它们不同的特性比如形状，大小，颜色，亮度，等等，或者它们不同的移动轨迹来对它们进行区分。这些处理方法可以和一些流行的国际图像标准比如H.264，MPEG4，VC-1等相匹配。

例如在使用H.264图像标准的时候，本发明可以通过以下所介绍的步骤来利用调整后的关键图像元素的追踪信息将关键图像元素重组到第二代录像上。

在使用H.264标准的时候，第二代录像可以被制作成一个H.264录像。一个H.264录像可以有一个辅助图像成份和一个主体图像成份。辅助图像成份是录像文件的一个辅助性元素，对辅助图像成份的支持是有选择性的。主体图像成份可以有一个背景层和一个前景层。

辅助图像成份，或者主体图像成份的前景层都可以用来在传播时携带关键图像元素的追踪信息。这种携带可以有多种方式，方式之一就是把关键图像元素的追踪信息以某种方式加入第二代录像的辅助图像成份，或者主体图像成份的前景层。方式之二就是利用调整后的关键图像元素的追踪信息将关键图像元素直接画在第二代录像的辅助图像成份，或者主体图像成份的前景层上。

为解释的目的，我们使用一场垒球比赛的录像来作本发明各个实现步骤的示范说明。在这一录像文件中，关键图像元素就是比赛中的垒球。首先，我们取一个高质量的垒球比赛的录像，这一初始录像就成为第一代录像。录像中代表垒球的图像元素就是关键图像元素。通过以上介绍过的图像元素寻找和追踪方法我们可以取得关键图像元素在第一代录像中的追踪信息，比如关键图像元素在每一帧图像上的空间位置和各个帧图像之间的位置变化的信息。第一代录像于是被按照H.264标准进行处理和压缩从而生成第二代录像。在H.264标准下，第二代录像具有主体图像成份。这一主体图像成份即可以是一个单独系列的录像图像，也可以是两个相关系列的录像图像包含有一个前景层图像系列和一个背景层图像系列。制作方还可以选择另外生成一个相应的辅助图像成份。

接下来，关键图像元素(垒球)的追踪信息，比如关键图像元素在每一帧图像上的空间位置和各个帧图像之间的位置变化，就被记录在录像主体图像成份的前景层图像系列上，或者辅助图像成份的各帧图像上，或者既在录像主体图像成份的前景层图像系列上也在辅助图像成份的各帧图像上。实现这种记录的一种方法就是直接利用关键图像元素比如垒球的追踪信息将垒球图形画在录像主体图像成份的前景层图像系列上或者辅助图像成份的各帧图像上。

在某种情况下，关键图像元素比如垒球的追踪信息只包含垒球中心点在录像各帧图像上的位置。在这种情况下，我们只需要将代表垒球中心点的一个像素通过追踪信息将它记录在录像主体图像成份的前景层图像系列上，或者辅助图像成份的各帧图像上。

在另一种可能的情况下，关键图像元素比如垒球的追踪信息除了中心点外还包含垒球图形的边界在录像各帧图像上的位置。在这种情况下，一个相对大一些的区域就需要过追踪信息标志在录像主体图像成份的前景层图像系列上，或者辅助图像成份的各帧图像上来记录垒球的追踪信息。这一标志过程也可以就是利用垒球的追踪信息将垒球图形直接画在第二代录像的辅助图像成份，或者主体图像成份的前景层图像系列上。如以上所讨论过的，这里所用到的关键图像元素的追踪信息也可能是根据第一代和第二代录像之间的不同而调整后的关键图像元素的追踪信息。

在关键图像元素的追踪信息被记录在第二代录像主体图像成份的前景层图像系列上，或者辅助图像成份的各帧图像上之后，第二代录像就被播放到终端用户那里。如果第二代录像还含有辅助图像成份，那末辅助图像成份也被播放到终端用户那里。这时关键图像元素的追踪信息，或调整后的关键图像元素的追踪信息，就已经被记录在录像主体图像成份的前景层图像系列上，或者辅助图像成份的各帧图像上。因为这一生成和传输过程是与H.264标准相匹配的，任何与H.264标准相匹配的设备都可以接收和显示这样生成的录像。因为在H.264标准下对辅助图像成份的支持是可选择性，当第二代录像制作方选择在录像中使用辅助图像成份并用这一部分来记录关键图像元素的追踪信息的情况下，制作方可以在适当时候给用户端设备送出一个信号提醒用户端设备来处理录像的辅助图像成份。

一旦用户端设备接收到记录有关键图像元素的追踪信息的第二代录像的主体图像成份(以及辅助图像成份如果第二代录像也含有这一图像部分)，用户端设备就可以首先从第二代录像中提取出关键图像元素的追踪信息，然后就利用提取出的关键图像元素(在这里也就是垒球图像元素)的追踪信息将垒球图形画在第二代录像相应的各帧图像上，从而达到将关键图像元素重组到第二代录像上的目的。如果第二代录像记录垒球图像元素的追踪信息的方法是将垒球图形画在录像主体图像成份的前景层图像系列上或者辅助图像成份的各帧图像上，那么用户端设备提取关键图像元素(也就是垒球图像元素)的追踪信息时可以使用以上所介绍的图像元素搜寻和追踪方法对记录有关键图像元素的追踪信息的第二代录像主体图像成份的前景层图像系列，或者辅助图像成份的各帧图像进行处理分析，从而找到第二代录像所携带的关键图像元素的追踪信息或调整后的关键图像元素的追踪信息。

如果第二代录像记录垒球图像元素的追踪信息的方法是利用调整后的关键图像元素的追踪信息将垒球图形直接画在录像主体图像成份的前景层图像系列上，或者辅助图像成份的各帧图像上，那么用户端设备也可以不用再一次从第二代录像中重新提取调整后的关键图像元素的追踪信息，而是直接用α混合处理的方法，将画有垒球图形的录像主体图像成份的前景层图像系列，或者录像辅助图像成份的各帧图像，同录像主体图像成份的背景层图像系列相结合，从而达到将关键图像元素(垒球)重组到第二代录像上的目的。H.264技术标准2005年3月版的第7.4.2章详细地介绍了如何使用α混合处理来通过对两幅图像的结合生成一个综合的图像。将关键图像元素重组到第二代录像上之后所生成的新的录像就成为第三代录像。

在与MPEG4标准相匹配的时候，可以使用与上类似的方法。MPEG4也支持α混合处理。MPEG4与H.265之间的一个区别在于MPEG4录像没有主体图像成份和辅助图像成份。与之相应的，MPEG4录像的各帧图像都可以带有一个辅助参数(“grayscale shapeinformation”或称“灰度形状信息”)来记录前景和背景信息的相应透明程度。在一个MPEG4录像之中，可以使用两个不同系列的图像来分别替代一个H.264录像中的主体图像成份的前景层图像系列和背景层图像系列，或者分别替代一个H.264录像中的辅助图像成份和主体图像成份的背景层图像系列。采用类似于以上所介绍的方法，关键图像元素的追踪信息就可以记录在一个MPEG4录像之中用来替代一个H.264录像的主体图像成份的前景层图像系列，或者辅助图像成份，的各帧图像上。记录方法也同以上所述的记录方法相类似。如果记录关键图像元素的追踪信息的方法是通过使用关键图像元素的追踪信息把代表关键图像元素的图形直接画在MPEG4录像之中用来替代一个H.264录像的主体图像成份的前景层图像系列，或者辅助图像成份，的各帧图像上，那么就可以使用α混合处理的方法将这些帧图像与MPEG4录像之中用来替代一个H.264录像的主体图像成份的背景层图像系列的各帧图像相结合，从而达到将关键图像元素重组到第二代录像上的目的。最后生成的录像就成为第三代录像。

根据本发明的另一种实现方法，因为MPEG4录像的各帧图像可以携带有记录前景和背景信息的相应透明程度的辅助参数，第二代录像的每一帧图像可以用一个MPEG4录像文件的一帧图像来代表。关键图像元素的追踪信息可以记录在MPEG4录像的各帧图像所携带的辅助参数中。ISO/IEC 14496-2国际标准第二版第7.5.5章详细地介绍了这个辅助参数以及如何使用这个辅助参数来携带信息。存储在这个辅助参数之中的关键图像元素的追踪信息随后就可以被提取出来，并用来将关键图像元素重组到MPEG4录像的各帧图像主体上，从而生成第三代录像。

以上所描述的方法谨代表本发明的一些可能实现方法。实现本发明并不一定要与国际标准相匹配，而且在相匹配的同时也可以做一些变化。比如说，当关键图像元素的追踪信息只含有关键图像元素中心点的位置信息的时候，录像服务的提供方可以在播放第二代录像的时候同时送出一个预设的图像元素，或者在用户终端设备上预存一个图像元素。用户终端设备可以使用这个图像元素、第二代录像、以及第二代录像携带的关键图像元素的追踪信息来生成第三代录像。具体方法就是将这个图像元素加在第二代录像各帧图像中关键图像元素中心点的位置。而且，用户终端设备还可以利用用户输入的信息来改变这个图像元素的特性，比如它的大小，颜色，亮度，等等。如果关键图像元素的追踪信息还含有关键图像元素的大小，边界，颜色，亮度等参数，用户终端设备也还可以利用用户输入的信息来改变这些参数，并使用根据用户输入的信息改变后的关键图像元素来生成第三代录像。

以上所介绍的方法也可以在有多个关键图像元素的情况下使用，因为在一个MPEG4录像文件的各帧图像上，或者一个H.264录像文件的主体图像成份的前景层图像系列或辅助图像成份上可以携带多个关键图像元素。这些多个关键图像元素可以通过它们不同的特性，比如大小，边界，颜色，位置，等等来区分。

图4是实现本发明的一种方法的示意性流程图。首先取得含有一个或多个关键图像元素的第一代录像。于是在下一步(步骤12)通过使用常用的图像元素寻找和追踪方法分析第一代录像以取得关键图像元素的追踪信息。在取得关键图像元素的追踪信息之前或者之后，通过处理第一代录像，通常是压缩处理以便减小文件大小，来生成第二代录像。压缩处理可以使用现有的国际录像图像处理标准，比如H.264，MPEG 4，或VC-1。在下一步(步骤14)，录像服务提供方可以对取得的关键图像元素的追踪信息进行调整。这种调整可以基于第二代录像相对于第一代录像的压缩比例，关键图像元素的各种特性，或者录像服务提供方选择的其他参数。接下来(步骤15)就可以利用调整后的关键图像元素的追踪信息来将关键图像元素重画到第二代录像上从而生成第三代录像。生成的第三代录像就通过一个广播网络播放出去。根据本发明的一种实现方法，调整后的关键图像元素的追踪信息与第三代录像一起通过一个广播网络播放出去。关键图像元素的追踪信息或者调整后的关键图像元素的追踪信息可以被记录在第二代录像或者第三代录像的若干帧图像上。这种记录的一种实现方式就是同过一种能够反映出关键图像元素的追踪信息的方法来在第二代录像或者第三代录像的若干帧图像上画上一系列的图像元素。根据本发明的另一种实现方法，可以生成并送出一个标示信号来标示调整后的关键图像元素的追踪信息和第一代录像，第二代录像或者第三代录像之间的关系。这一标示信号可以是任何形式的数码信号。在下一步(步骤17)，终端用户设备通过广播网络接收第三代录像。如果调整后的关键图像元素的追踪信息也被送出，那么终端用户设备也可以接收调整后的关键图像元素的追踪信息。如果有用户输入的话，终端用户设备还可以从用户那里接收至少一个用户输入信息。根据本发明的不同实现方法，终端用户设备可以直接显示第三代录像，也可以利用接收到的用户输入信息、调整后的关键图像元素的追踪信息、以及第三代录像来生成一个新的录像，第四代录像，并显示生成的第四代录像。

终端用户设备可以通过任何常用的硬件或软件设备来接收用户输入信息，比如说键盘或者遥控接收装置。用户输入信息可以用来作为一个或多个参量来进一步调整调整后的关键图像元素的追踪信息，比如说调整关键图像元素的大小，颜色，位置，亮度等等。用户输入信息也可以用来提取、调整或改变一个预先设定的图像元素。这个预先设定的图像元素可以用来替代录像中的关键图像元素，通过利用关键图像元素的追踪信息，画在关键图像元素的位置上。比如，如果关键图像元素的追踪信息只含有关键图像元素的中心点在录像各帧图像上的位置信息，那么任何一个预设的图像元素都可以被记录在这个中心点在录像各帧图像上的位置上。预设的图像元素可以由录像服务提供方发送给终端用户设备，也可以预存在终端用户设备上。用户输入信息可以用来提取这个预设的图像元素，也可以用来调整或改变这个预设的图像元素的特性，比如大小，颜色，亮度等等。α混合处理的方法可以用来将关键图像元素或者预设的图像元素加入到一个录像的各帧图像上。终端用户设备可以利用接收到的各种信息，比如用户输入信息和关键图像元素的追踪信息，对关键图像元素或者预设的图像元素进行调整和改变，并将改变后的关键图像元素或者预设的图像元素加入第三代录像。这样生成的录像就成为第四代录像。终端用户设备于是就将第四代录像显示给用户。

图5是实现本发明的另一种方法的示意性流程图。根据这一实现方法，首先通过使用常用的图像元素寻找和追踪方法分析第一代录像以取得关键图像元素的追踪信息(步骤22)。在取得关键图像元素的追踪信息之前或者之后，通过处理第一代录像，通常是压缩处理以便减小文件大小，来生成第二代录像。接下来，对取得的关键图像元素的追踪信息进行调整。这种调整可以基于各种参数，比如第二代录像相对于第一代录像的压缩比例，关键图像元素的各种特性，或者录像服务提供方选择的其他参数(步骤24)。下一步通过一个广播网络将第二代录像和调整后的关键图像元素的追踪信息播放给终端用户设备。关键图像元素的追踪信息或者调整后的关键图像元素的追踪信息可以被记录在第二代录像的一些帧图像上，也可以与第二代录像分开传送。如果是分开传送，那么可以生成一个标示信号来标示关键图像元素的追踪信息或者调整后的关键图像元素的追踪信息和第二代录像之间的关系。根据本发明的一种可能的实现方法，录像服务提供方将第二代录像和未经调整的关键图像元素的追踪信息播放给终端用户设备。终端用户设备可以基于第二代录像相对于第一代录像的压缩比例，关键图像元素的各种特性，用户输入信息，以及其他可能的参数来对关键图像元素的追踪信息进行调整从而生成调整后的关键图像元素的追踪信息。在获得调整后的关键图像元素的追踪信息和第二代录像后，终端用户设备就可以利用这些信息将关键图像元素重组在第二代录像的各帧图像上，从而生成第三代录像。用户输入信息可以用来作为一组参量来在这一过程中对关键图像元素作进一步调整和改变。如果关键图像元素的追踪信息是与第二代录像分开传送的，那么就可以使用以上所描述的标示信号来将关键图像元素的追踪信息同第二代录像联系到一起。这些信息就可以被用来将关键图像元素重画到第二代录像上从而生成第三代录像。如果关键图像元素的追踪信息或者调整后的关键图像元素的追踪信息是被记录在第二代录像的一些帧图像上，比如那些带有前景信息的图像帧，而且采用的记录方法是利用这一信息将关键图像元素直接画在这些帧图像上，那么这些帧图像就可以通过α混合处理的方法与第二代录像的其他帧图像，比如说那些带有背景信息的图像帧，结合起来，以达到将关键图像元素重组到录像文件的相应位置的目的。还有一种方法是通过使用常用的图像元素寻找和追踪方法在第二代录像各帧携带有关键图像元素信息的图像中提取出关键图像元素的追踪信息，并利用取出的关键图像元素的追踪信息来将关键图像元素重新画到第二代录像中正确的图像系列上。如以上所介绍过的，也可以使用任何一个预设的图像元素来替代关键图像元素。终端用户设备还可以接收用户输入信息来对关键图像元素或预设的图像元素做进一步地改变。最终生成的录像就被显示在终端用户设备上。

本发明的另一种可能的实现方法是，遵循类似以上所讨论的方法，可以用关键图像元素的追踪信息和用户输入信息将关键图像元素画在一系列独立于第二代录像的图像系列上。接下来，这一独立的图像系列和第二代录像的各帧图像可以以一定的次序在终端用户设备上快速地交替显示出来，以达到在视觉上混合的效果。独立图像系列中的各帧图像和第二代录像的各帧图像可以以某种次序交错地显示。

图6是实现本发明的一种系统的示意图。这一系统，或者设备，可以放在一个机壳里，也可以放在多个机壳里并通过有线或无线地方法彼此之间相互连接。这一系统具有多个不同的功能单元。这些功能单元即可以是硬件，也可以是软件，也可以是两者皆有。录像接收单元31的功能是从广播网络接收录像文件和关键图像元素的追踪信息。这一功能单元可以由天线或网络调制解调器(“modem”)等硬件元件组成，也可以包含负责接收和处理有线或无线电子信号的软件。录像文件可以是第二代录像、第三代录像等等。关键图像元素的追踪信息也可以是经过一次或多次调整过后的关键图像元素的追踪信息。录像接收单元31还可以包含能够识别标示信号的软件，并通过标示信号来将关键图像元素的追踪信息同其所对应的录像文件联系到一起。这一识别标示信号的功能也可以由录像图像处理单元33来完成。信息接收单元32的功能是接收用户输入信息。这一功能单元可以包含有一个键盘，比如具有机械键的键盘或者在能够感受到接触的屏幕上显示出的虚拟键盘。这一功能单元还可以包含有一个无线接收器来接收用户输入信息。录像图像处理单元33的功能是对录像图像进行处理。这一功能单元可以包含一个或一组微电子芯片以及录像文件处理软件。录像图像处理单元33从录像接收单元31收到录像文件和关键图像元素的追踪信息，从信息接收单元32收到用户输入信息。这一功能单元于是就可以将用户输入信息作为一组参量来进一步调整关键图像元素的追踪信息，比如说改变关键图像元素在各帧图像中的大小，亮度，位置，颜色等等。这一功能单元于是就用关键图像元素的追踪信息或者调整后的关键图像元素的追踪信息通过以上所介绍的方法来将关键图像元素重新组合到录像文件上，从而生成一个新的录像文件。录像图像处理单元33也可以包含有一个记忆单元。或者同一个外部记忆单元连接在一起。这一记忆单元可以存储有一个预设的图像元素。录像图像处理单元33可以提取或生成这个预设的图像元素，用它代替关键图像元素，并利用关键图像元素的追踪信息将这个预设的图像元素组合到录像文件上。这一提取过程可以通过一定的用户输入信息来触发，也可以由录像处理软件来决定。这一预设的图像元素也可以由录像服务提供方来传送给录像接收单元31，录像接收单元31再将其送给录像图像处理单元33。录像图像处理单元33还可以将用户输入信息作为一组参量来调整预设的图像元素，比如说其大小，亮度，位置，颜色等等。显示单元34可以包含有一个显示屏幕，也可以包含有一个投影器，用来显示最后接收到的或生成的录像。

根据本发明的另一种实现方法，录像服务提供方或者终端用户设备还可以取得一个信息元素。这个信息元素可以是一段录像，一个图像元素，一段文字，或者录像，图像与文字的组合。这个信息元素可以随着时间而改变，比如说当这个信息元素包含有一段图像广告的时候，广告的图像可能会随着时间而改变。又比如说当这个信息元素包含有一段文字的时候，文字的内容可能会随着时间而改变。在录像文件之中，这个信息元素，关键图像元素，以及其它图像元素是由多帧图像之中的一个或多个系列的图形来表现的。这些信息元素或者图像元素在录像中的移动和变化是由这些系列的图形在多帧图像之间的逐渐移动和变化来表现的。代表真实生活中的一个物体，比如一个垒球，的图像元素在一个录像中是由多帧图像上的一个或多个系列的单独图形来表现的。这些代表同一个图像元素的一个或多个系列的图形通过在一个录像的多帧图像之间的逐渐移动和变化来表现这个元素在这个录像之中的移动和变化。在使用常用的图像元素寻找和追踪方法，在第一代录像各帧携带有关键图像元素信息的图像中提取出关键图像元素的追踪信息，并生成第二代录像之后，代表信息元素的一组或多组图形可以被加入第二代录像。这种加入可以是把这一组或多组图形直接画在第二代录像的相应的各帧图像上。这种加入也可以是把这一组或多组图形直接画在别的图像上，或者第二代录像的辅助图像成份或者主体图像成份的前景层上，再通过使用α混合处理的方法与第二代录像的相应的各帧图像结合。当把代表信息元素的一组或多组图形加入第二代录像的时候，这些图形在第二代录像的相应的各帧图像中的位置可以是基于关键图像元素的追踪信息或者调整后的关键图像元素的追踪信息计算出来的。这样做就可以在第二代录像中，或任何类似的录像文件中，显示出信息元素同关键图像元素在录像中的位置上的相互间动态地联系，从而做到以互动的方式展现一段录像之中两个不同的元素(例如信息元素和关键图像元素)之间的相互联系。比如说，信息元素在录像中可以同关键图像元素保持一个固定的水平或垂直距离，从而随着关键图像元素在录像中一起移动。信息元素的内容可以与关键图像元素相对应，从而进一步地显示出这两个不同的图像元素之间的相互联系。使用同样的方法，多个信息元素可以被加入同一段录像中。同一段录像中也可以有不限于一个的关键图像元素。

比如说在图7中，信息元素2，在这里是一个文字框，被加入一段录像中。这段录像中已经存在有一个关键图像元素1，在这里是代表一个垒球的图像元素。使用常用的图像元素寻找和追踪方法，可以从一段录像中各帧携带有垒球信息的图像中提取出垒球图像的追踪信息，包括垒球在各帧携带有垒球信息的图像中的位置、大小、边界、明暗等信息。通过将代表信息元素2的一组或多组图形加入录像的各帧图像的方法将信息元素2加入录像文件。代表信息元素2的一组或多组图形在录像的各帧图像中的位置可以通过使用垒球图像1的追踪信息来计算出来，这样就可以做到使得信息元素2和垒球图像1在录像之中一起移动，从而动态地显示出这两个元素之间的相互关联。信息元素2可以显示垒球图像1的各种信息，比如说垒球图像1的大小，重量，颜色，速度等等。信息元素2的各种性质，比如说它的文字，颜色，亮度，等等可以随时间而改变。信息元素2也可以只显示与垒球图像1完全无关的各种信息。

通过使用以上所介绍的将关键图像元素重组到第二代录像中的方法，信息元素可以在录像播送到终端用户设备之前或者之后加入到录像文件之中。根据本发明的一种实现方法，终端用户设备可以接收用户输入信息，并且使用接收到的用户输入信息作为另一个参量，同关键图像元素的追踪信息或者调整后的关键图像元素的追踪信息一起计算出代表信息元素的一组或多组图形在第二代录像的相应的各帧图像中的位置。这样，终端用户设备就可以使用用户输入信息来改变信息元素同关键图像元素之间的相互关系，比如它们之间的距离。用户输入信息还可以被用来作为一个或一组参量来调整和改变信息元素的一些特性，比如颜色，亮度，大小，文字等等。一旦确定了代表信息元素的一个特定的图形在第二代录像的一个特定帧图像中的位置和其他特性，这一特定的图形就可以被组合在第二代录像的这一个特定帧图像中。终端用户设备可以在这里使用以上所介绍的各种重组的方法。这一方法可以被反复使用直到代表信息元素的一系列图形都被组合在第二代录像合适的各个帧图像中。代表信息元素的图形并不需要被加入第二代录像中每一帧有关键图像元素的图像上。只需要对部分图像进行改变，最后生成的录像就可以达到类似的效果。如果信息元素是由录像服务提供方播送给终端用户设备，并由终端用户设备处理和组合到第二代录像中，那么代表信息元素的各组图形可以用同携带关键图像元素的追踪信息类似的方法由第二代录像的各帧图像来携带，比如说可以将代表信息元素的各组图形分别记录在第二代录像的录像主体图像成份的前景层图像系列上，或者辅助图像成份的各帧图像上(如果第二代录像使用H.264标准)。如果第二代录像使用MPEG4标准，那么可以将代表信息元素的各组图形分别记录在第二代录像的一组附加帧图像上，或者可以记录在第二代录像各帧图像所携带的辅助参数中。

这里需要做特殊声明的是，以上所介绍的本发明的各种实现方法只是为举例说明而列出的几种可能的实现方法。这些方法可以有多种不同的调整和组合而达到同样或类似的效果。这些能够达到同样或类似的效果的多种不同的调整和组合都在本发明的范围之内。本发明中所使用的各种方法的各个步骤的次序有时可以做些改变而达到同样或类似的效果。这些能够达到同样或类似效果的具有不同步骤次序的各种方法都在本发明的范围之内。描述本发明时所使用的各种词汇是为了说明目的，并不是为了限制本发明的范围。比如说“录像”或“录像文件”，“第一代录像”，“第二代录像”，“第三代录像”，“第四代录像”以及其它类似的词汇是为了说明目的，其含义是指含有一个系列的多帧单独的图像的组合，也可以称为“视像”。这个系列的多帧单独的图像的组合并不一定需要是一个储存在特定媒体上的电子文件。一段录像是由多帧单独的图像组成的。一段录像的多帧单独的图像在同一时间可能处在本发明所描述的方法的不同的处理阶段上。比如说，一段录像的一帧图像可能处在图4的步骤18，正在被终端用户设备显示出来，而同一段录像的另一帧图像可能处在图4的步骤15，正在被终端用户设备进行图像处理。这种情况就有可能在使用本发明的方法对一段比赛实时转播的录像进行处理的时候出现。根据本发明的各种不同的实现方法，一段录像的各帧图像可以在全部完成一个处理步骤后再进入下一个处理步骤，也可以同时处在不同的处理步骤。本发明由本专利书权利要求部分进一步描述说明。

Claims (11)

1.一种录像图像处理方法，其特征是，包括以下步骤：

获取一个具有至少一个图像元素而且这个图像元素可以被找到的第一代录像；

通过分析这个第一代录像来取得这个至少一个图像元素的追踪信息；

获取一个通过处理这个第一代录像而生成的第二代录像；以及

通过利用取得的追踪信息来将一个图像元素组合到第二代录像上。

2.按照权利要求1所述的录像图像处理方法，其特征是，还包括以下步骤：

通过利用取得的追踪信息来将代表一个信息元素的图形组合到第二代录像的至少一帧图像上。

3.一种录像图像处理方法，其特征是，包括以下步骤：

获取一个具有至少一个图像元素而且这个图像元素可以被找到的第一代录像；

通过分析这个第一代录像来取得这个至少一个图像元素的追踪信息；

获取一个通过处理这个第一代录像而生成的第二代录像；以及

将取得的追踪信息和第二代录像传输给一个通讯网络。

4.按照权利要求3所述的录像图像处理方法，其特征是，还包括以下步骤：

如果第二代录像是一个H.264录像，那么就将取得的追踪信息记录在第二代录像的辅助图像成份或者主体图像成份的前景层上，如果第二代录像是一个MPEG4录像，那么就将取得的追踪信息记录在第二代录像的至少一帧图像上或者至少一帧图像所携带的辅助参数上。

5.一种录像图像处理方法，其特征是，包括以下步骤：

从一个通讯网络上接收一个搭配有一个图像元素的追踪信息的录像；

接收这个图像元素的追踪信息；

通过利用接收的追踪信息来将一个图像元素组合到接收到的录像上从而生成另一个录像；以及显示这个生成的录像。

6.按照权利要求5所述的录像图像处理方法，其特征是，还包括以下步骤：

接收用户输入信息；以及通过利用接收到的用户输入信息来对追踪信息进行调整。

7.按照权利要求5所述的录像图像处理方法，其特征是，还包括以下步骤：

通过利用接收到的追踪信息来将代表一个信息元素的图形组合到接收到的录像的至少一帧图像上。

8.一种录像图像处理方法，其特征是，包括以下步骤：

从一个通讯网络上接收一个搭配有一个图像元素的追踪信息的录像；

接收这个图像元素的追踪信息；

提取一个预设的图像元素；

通过利用接收到的追踪信息来将这个预设的图像元素组合到接收到的录像上的至少一帧图像上从而生成另一个录像；以及显示这个生成的录像。

9.按照权利要求8所述的录像图像处理方法，其特征是，还包括以下步骤：

接收用户输入信息；以及通过利用接收到的用户输入信息来对追踪信息或者预设的图像元素进行调整。

10.一种录像图像处理系统，包括：

第一个接收单元，用于接收录像文件和图像元素的追踪信息；

第二个接收单元，用于接收用户输入信息；

一个录像图像处理单元，用于使用接收到的用户输入信息或者接收到的图像元素的追踪信息来将至少一个图形组合到接收到的录像文件上；以及一个显示单元，用于显示录像。

11.一种录像图像处理方法，其特征是，包括以下步骤：

从一个通讯网络上接收一个具有第一系列图像帧的录像；

接收一个图像元素的追踪信息；

根据接收到的一个图像元素的追踪信息生成第二系列图像帧；以及

将第一系列图像帧的至少一部分同第二系列图像帧的至少一部分交替显示。

Images