CN1397139A - 用于从各种数据中合成视频景像的方法和设备 - Google Patents

Abstract

本发明涉及到同时从根据MPEG－4视频标准编码的输入视频流(102)中以及根据与MPEG－4不一致的视频数据(105)(例如MPEG－2视频数据)合成MPEG－4视频进行内容(110)的方法和设备。本发明的方法依赖于视频对象创建步骤，该步骤借助于景像属性和该与MPEG－4不一致的视频数据之间的关联，允许从该与MPEG－4不一致的视频数据中生成视频对象108。用途：视频景像合成器。

Description

用于从各种数据中 合成视频景像的方法和设备

本发明涉及到至少从根据MPEG-4标准编码的第一组视频对象中合成MPEG-4视频景像内容的方法，该方法中包含用于从该第一组输入视频对象中生成第一组译码的MPEG-4视频对象的第一译码步骤，以及用于从至少该第一组译码的MPEG-4视频对象中生成该视频景像的合成帧的呈现步骤。

例如，本发明可以被用于数字电视广播领域，并且可以作为电子节目指南(EPG)被实施在基顶盒当中。

涉及到系统的诸多方面被称作ISO/IEC 14496-1的MPEG-4标准提供了用于多媒体数据管理的功能。它专用于包含不同的自然和人工对象在内的景像合成，例如二维或三维图像、视频片段、音频轨道、文本或图形等。这一标准允许适合于多种应用的景像内容创建，在对象组合中提供灵活性，并且提供用于在包含多个对象的景像中的用户交互的装置。这一标准可以被用于包含经过通信链路互连的服务器和客户机终端在内的通信系统。在这种应用中，两台设备之间交换的MPEG-4数据在该通信链路中形成数据流，并且在客户机终端内被用于创建多媒体应用。

国际专利申请WO 00/01154中描述了上述用于合成并且展现MPEG-4视频节目的终端和方法。这种终端内包括：

-用于管理整个处理任务的终端管理器，

-用于提供译码对象的译码器，

-用于维持、更新并且组配译码对象的景像图形的合成引擎，以及

-用于提供供展示用的景像的展现引擎。

本发明的目的在于提供一种经济而最佳的视频景像合成方法，它允许同时从根据被称作ISO/IEC 14496-2的MPEG-4视频标准编码的视频数据中、以及根据其它视频标准编码的视频数据中合成MPEG-4视频景像。本发明考虑如下方面：

现有技术中的合成方法允许从根据MPEG-4标准编码的一组译码的视频对象中合成视频景像。为此，合成引擎维持并且更新当前对象的景像图形，其中包括这些对象在景像中的相对位置及其特征，并且向展现引擎提供要被显示的对象的相应列表。作为响应，展现引擎搜索存储在各个合成缓存器内的相应译码的对象数据。展现引擎呈现译码的对象，以供在显示器中展示景像。

随着例如互联网的数字网络的广泛应用，大多数能够导致产生视频景像合成的多媒体应用都会从不同的信息源中收集视频数据，以便充实它们的内容。在这种情况下，如果这种现有方法被用于视频景像合成，与MPEG-4标准不一致的被收集的数据就不可能被呈现，这就会导致视频景像内容较差，或者在应用中出现错误。由于只能从根据MPEG-4系统标准编码的视频对象中合成视频景像，而在视频景像合成中排除使用其它视频数据(例如MPEG-2视频数据)，因此这种现有方法的确是非常受限制的。

为了克服现有方法的局限性，本发明的视频景像合成方法的特征在于该方法中包含：

a)用于从与MPEG-4不一致的第二组输入视频数据中生成一组译码的视频数据的第二译码步骤。

b)用于生成第二组视频对象的视频对象创建步骤，每个被创建的视频对象由从该组译码的视频数据中提取出的译码的视频数据和一组用于定义视频景像中该译码的视频数据的特征的属性的关联来构成，在该呈现步骤中使该第二组视频对象和该第一组译码的MPEG-4视频对象联合呈现。

这样就可以呈现景像中所有的输入视频对象，以生成MPEG-4视频景像。从MPEG-4视频对象和与MPEG-4标准不一致的视频对象中创建并且呈现内容丰富的视频景像确实成为可能。

就处理而言，与MPEG-4标准不一致的视频对象的属性关联是很经济的，这也就意味着本发明可以被用于经济的产品中，例如消费性产品中。

参考随后描述的实施例，可以清楚地表现和展示出本发明的这些以及其它方面。

结合附图并且参考随后的实施例来描述本发明的各个具体方面，在附图中，以相同方式表示相同部件或子步骤：

图1中描述本发明的MPEG-4视频景像合成的不同功能方框；

图2中描述本发明的MPEG-4视频景像合成方法的硬件实施；

图3中描述了本发明的实施例。

本发明允许从根据MPEG-4标准编码的输入视频流、以及根据不同于MPEG-4标准的其它视频标准编码的输入视频流中合成视频景像。针对下述情况进行描述，其中根据不同于MPEG-4标准的其它视频标准编码的该视频流对应于根据MPEG-2视频标准编码的视频流，但是很明显，对于本领域的技术人员来说，本发明也可以与例如H.263、MPEG-1或者专用的组织格式等的其它标准一起使用。

图1中给出本发明的视频景像合成的不同功能方框。

本发明的景像合成方法中包括如下的功能步骤：

1.用于对包含根据MPEG-4视频标准编码的输入视频对象在内的输入视频流102进行译码的第一译码步骤101。这一译码步骤101产生出译码的MPEG-4视频对象103。如果输入视频流102对应于解复用的视频流或包括多个基本视频流，则在译码步骤101中，由单独的译码器对每个基本视频流进行译码；

2.用于对包含不是根据MPEG-4视频标准编码而是根据例如MPEG-2视频标准编码的输入编码视频数据在内的输入视频流105进行译码的第二译码步骤104。这一译码步骤产生出译码的MPEG-2视频数据106。如果输入视频流105对应于解复用的视频流或包含多个基本视频流，则在译码步骤104中，由单独的译码器对每个基本视频流进行译码；

3.用于从该译码的MPEG-2视频数据106中生成视频对象108的视频对象生成步骤107。这一步骤与每个译码视频数据106关联地包括定义其在最终视频景像中的特征的一组属性。每个链接到给定视频数据106的数据结构中，包括例如：

a)用于定义视频景像中该视频数据深度的“景深”域(例如第一背景(ground)或第二背景)；

b)用于定义该视频数据的几何变换的“变换”域(例如以角度为特征的旋转)；

c)用于定义视频景像中该视频数据和其它视频数据之间透明系数的“透明性”域。

这样，在每个视频对象108不仅包含视频帧、而且还涉及到一组允许在视频景像中对其进行描述的特征的意义上，其最终得到的视频对象108可以在某种程度上与MPEG-4视频对象103兼容。

4.用于组配视频对象103和108的呈现步骤109。为此，可以通过利用其各自的对象属性、或者通过利用被包含在BIFS流111(景像的二进制格式)内的对象属性(对视频对象103来说，该对象属性在视频对象创建步骤107被填入)来呈现视频对象103和108，该BIFS流111内可以包含用于描述景像内每个对象属性的景像图形描述。视频对象的组配顺序由所呈现的每个视频对象的深度来确定：首先组配构成背景的视频对象，然后最终组配构成前景的视频对象。这种呈现可以导致传递MPEG-4视频景像110。

作为实例，在允许观众浏览电视节目的电子节目指南(EPG)中，该方法被用于从MPEG-2视频流105和MPEG-4视频流102中合成视频景像，在经过译码104之后，该MPEG-2视频流105定义全屏背景MPEG-2视频，而该MPEG-4视频流在经过译码101之后，将定义对应于压缩格式的视频(例如用作为TV预浏览)的第一对象MPEG4_video_object1，以及对应于文本信息(用作为时间和信道指示)的第二对象MPEG4_video_obiect2。

通过关联一组属性Scene_video_object3与译码的MPEG-2以便定义视频景像内该MPEG-2视频的特征，使得呈现这三种视频元素成为可能，这种关联导致能够得到视频对象MPEG4_video_object3。为了定义其在视频景像内的特征，根据与景像描述相关的MPEG-4语法，两个译码的MPEG-4对象都与一组属性Scene_video_object1(和Scene_video_object2)关联。这两组Scene_video_object1和Scene_video_object2可以由预设定的参数填入，或者由包含在BIFS流111内的参数写入。在后一种可能性中，特别是在如果使用本领域技术人员熟知的BIFS更新机制的情况下，合成的景像可以实时更新，这就允许改变景像内视频对象的特征。

在每个视频对象结构中，通过指向每个视频数据中各个分量Y、U和V的三个指针，还为访问视频数据(即视频帧)而定义了结构Buffer_video。例如，视频对象1的分量Y由指针pt_video1_Y访问，而分量U和V分别由指针pt_video1_U和pt_video1_V访问。

相应的景像图形具备如下结构：

    Scene_graph{

                MPEG4_video_object1{

                                    Scene_video_object1{

                                                       depth1

                                                       transform1

                                                       transparency1

                                                       }

                                   Buffer_video1{

                                                 pt_video1_Y

                                                 pt_video1_U

                                                 pt_video1_V

                                                 }

                                    }

                MPEG4_video_object2{

                                    Scene_video_object2{

                                                       depth2

                                                       transform2

                                                       transparency2

                                                       }

                                    Buffer_video2{
                                                 pt_video2_Y
                                                 pt_video2_U

                                                 pt_video2_V

                                                 }

                                    }

                 MPEG2_video_object3{

                                    Scene_video_object3{

                                                       depth3

                                                       transform3

                                                       transparency3

                                                       }

                                    Buffer_video3{

                                                 pt_video3_Y

                                                 pt_video3_U

                                                 pt_video3_V

                                                 }

                                    }

                 }

呈现步骤109首先通过考虑结构Scene_video_object1和Scene_video_object2的特征，从而在合成缓存器内组配MPEG-4对象MPEG4_video_object1和MPEG4_video_object2。然后，与先前呈现的MPEG-4对象一起，呈现视频对象MPEG2_video_object3，为此需要考虑结构Scene_video_object3的特征。

图2中给出用于实施本发明的视频景像合成的不同步骤的硬件结构200。

这一结构围绕着数据总线201而构成，确保在不同处理硬件单元之间的数据交换。这种结构中包括用于接收被存储在大容量存储器203内的MPEG-4和MPEG-2输入视频流的输入外设202。

在执行与存储于存储器205内的MPEG-4译码算法相关的指令的信号处理器204(在图中被当作SP)内，可以对根据MPEG-4标准编码的视频流进行译码，而对根据MPEG-2标准编码的视频流的译码也是在执行与存储于存储器205内的MPEG-2译码算法(或者，如果输入视频流根据非MPEG-2的视频标准进行编码，则是其它适当的译码算法)相关的指令的信号处理器204内进行的。一旦经过译码，MPEG-4视频对象就被存储在第一数据集合缓存器206内，而MPEG-2视频数据被存储在第二数据集合缓存器211内。

可以由执行与存储于存储器205内的呈现算法相关的指令的信号处理器204来执行视频呈现步骤。由于在合成缓存器210内不仅要组配译码的MPEG-4对象，还要组配译码MPEG-2对象，因此需要执行呈现步骤。为此，为了避免多次以及昂贵的数据操作，由信号协处理器(在图中被称为SCP)209把译码的MPEG-2数据直接从缓存器211复制到该合成缓存器210内。这种重新复制确保所使用的计算负荷最小，这也就不会限制该应用中的其它任务，例如译码或呈现任务。同时，在呈现步骤中，信号处理器填入并且考虑与该MPEG-2数据关联的一组属性。这样，MPEG-2数据具备与MPEG-4类似的结构(即视频数据和属性的关联)，从而允许呈现所有输入视频对象。这样，呈现步骤不仅考虑MPEG-4对象属性和MPEG-2属性，还要考虑这样的数据，该数据关系到：

1.鼠标207和/或键盘208的动作；

2.和/或从存储在存储设备203内、或经过输入外设202接收到的BIFS流中发出的BIFS命令；

以便根据使用EPG的观众的动作来改变正在构成的视频景像中的视频对象的位置。

当在缓存器210的内容中存在可用的呈现的帧时，把它提供给输出视频外设212，以供在显示器213中显示。

在这一实施中，同时使用处理器204和协处理器209，使得当SCP在合成缓存器内重新复制用于合成视频景像的当前输出帧的译码MPEG-2视频数据期间，总能对用于合成视频景像的下一输出帧的MPEG-4输入视频对象进行译码。通过由SCP执行允许SP使用全部的CPU处理能力的非CPU消耗处理(时钟脉冲单元)，可以实现这一点。本领域的技术人员可以很好地理解这种最优化处理过程，特别是在实时视频景像合成环境(其中必须处理要求较多计算资源的、大规模的输入视频对象)中。

图3中给出本发明的实施例。这一实施例对应于电子节目指南应用(EPG)，它允许观众在显示器304中查看与电视信道节目相关的各种信息。为此，在把浏览窗308变换为信道空间306和时间空间307的过程中，观众可以借助类似鼠标/指示装置的设备305在屏幕上进行浏览，该浏览窗中播放所选时间/信道组合的相应视频预览。浏览窗308覆盖并且叠加在背景视频309的上面。

在基顶盒单元301内实施参考图1来描述的本发明的不同步骤，该单元从外部环境302中接收输入视频数据。在该实例中，该输入视频数据对应于经过通信链路由第一广播者(例如视频对象306-307-308)传递的MPEG-4视频数据，以及由第二广播者(例如视频数据309)传递的MPEG-2视频数据。根据图1中所示的本发明的不同步骤，利用图2中所示的硬件结构，对该输入视频数据进行处理，从而得到由所有输入视频对象组成的MPEG-4视频合成帧。

当然，所给出的图形设计并不限制本发明的范围，确实，也可以考虑其它的图形设计而不会脱离本发明的范围。

以上描述了同时从根据MPEG-4视频标准编码的输入视频流和与MPEG-4不一致的视频数据(即不根据MPEG-4标准编码的)例如MPEG-2标准中合成景像内容的改进方法。借助于景像属性和该与MPEG-4不一致的视频数据之间的关联，本发明的方法依赖于视频对象创建步骤，允许从该与MPEG-4不一致的视频数据中合成MPEG-4视频景像。

当然，本发明并不局限于所给出的与该非MPEG-4视频数据相关的景像属性结构，并且可以考虑定义这一结构的其它领域而不会偏离本发明的范围。

可以采用若干种方式来实施本发明，例如通过有线电子电路，或者通过存储于计算机可读介质中的一组指令，该指令可以至少代替部分的该电路，并且为了完成与该被替换电路相同的功能，该指令可以在计算机、数字信号处理器和数字信号协处理器的控制下执行。本发明还涉及到包括软件模块的计算机可读媒介，该软件模块中包括用于执行上述方法的步骤或某些步骤的计算机可执行指令。

Claims (8)

1.至少从根据MPEG-4标准编码的第一组输入视频对象中合成MPEG-4视频景像内容的方法，该方法中包含用于从该第一组输入视频对象中生成第一组译码的MPEG-4视频对象的第一译码步骤，以及用于至少从该第一组译码的MPEG-4视频对象中生成该视频景像的合成帧的呈现步骤，其特征在于该方法中还包括：

a)用于从与MPEG-4不一致的第二组输入视频数据中生成一组译码的视频数据的第二译码步骤；

b)用于生成第二组视频对象的视频对象创建步骤，每个被创建的视频对象由从该组译码的视频数据中提取出的译码的视频数据和一组用于定义视频景像中的该译码的视频数据的特征的属性的关联来构成，在该呈现步骤中联合地呈现该第二组视频对象和该第一组译码MPEG-4视频对象。

2.如权利要求1中要求的合成MPEG-4视频景像内容的方法，其特征在于该属性定义景深、几何变换以及透明性系数。

3.如权利要求1中要求的合成MPEG-4视频景像内容的方法，其特征在于该第二译码步骤专门用于对根据MPEG-2视频标准编码的输入视频数据进行译码。

4.至少从根据MPEG-4标准编码的第一组视频对象中合成MPEG-4视频景像的机顶盒产品，该机顶盒中包含用于从该第一组输入视频对象中生成第一组译码的MPEG-4视频对象的第一译码装置，以及用于至少从合成缓存器中的该第一组译码的MPEG-4视频对象中生成该视频景像的合成帧的呈现装置，特征在于该方法还包括：

a)用于从与MPEG-4不一致的第二组数据视频数据中生成一组译码的视频数据的第二译码装置；

b)用于生成第二组视频对象的视频对象创建装置，每个被创建的视频对象由从该组译码的视频数据中提取出的译码的视频数据和一组用于定义视频景像中该译码的视频数据特征的属性的关联来构成，由该呈现装置联合地呈现该第二组视频对象和该第一组译码的MPEG-4视频对象。

5.如权利要求4中要求的机顶盒产品，其特征在于：

a)译码装置对应于信号处理器执行专用程序指令，该程序指令被加载到该数字信号处理器或者存储器中；

b)视频对象创建装置对应于该信号处理器执行专用程序指令，该程序指令被加载到该数字信号处理器或者存储器中，该信号处理器专用于定义属性的数据和构成该组译码的视频数据的每个视频数据之间的关联，从而定义视频景像中的每个译码的视频数据的特征；

c)呈现装置不仅对应于该信号处理器执行专用程序指令，该程序指令被加载到该数字信号处理器或者存储器中，而且还对应于负责把该第二组视频对象重新复制到该合成缓存器内的信号协处理器所执行的硬件功能。

6.如权利要求4中要求的机顶盒产品，其特征在于其中包含为了修改MPEG-4视频景像中的该第一组译码的MPEG-4视频对象和该第二组视频对象的相对空间位置的目的而考虑用户交互的装置。

7.如权利要求4中要求的机顶盒产品，其特征在于该第二译码装置专门用于对根据MPEG-2视频标准编码的输入视频数据进行译码。

8.用于从MPEG-4视频对象和非MPEG-4视频对象中合成MPEG-4视频景像的设备的计算机程序产品，该产品包含一组指令，当这些指令被加载到该设备中时，可以使该设备去执行如权利要求1到3中所要求的方法。

Images