CN1397136A - 同时发送和再现多个编码视频流的交互式电视系统和方法 - Google Patents

同时发送和再现多个编码视频流的交互式电视系统和方法 Download PDF

Info

Publication number
CN1397136A
CN1397136A CN01804244.9A CN01804244A CN1397136A CN 1397136 A CN1397136 A CN 1397136A CN 01804244 A CN01804244 A CN 01804244A CN 1397136 A CN1397136 A CN 1397136A
Authority
CN
China
Prior art keywords
encoded video
video streams
reproducing
change
simultaneously according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01804244.9A
Other languages
English (en)
Other versions
CN1173570C (zh
Inventor
文森特·杜若
拉梅·卡卢里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OpenTV Inc
Original Assignee
OpenTV Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/494,067 external-priority patent/US6931660B1/en
Priority claimed from US09/494,184 external-priority patent/US6539545B1/en
Application filed by OpenTV Inc filed Critical OpenTV Inc
Publication of CN1397136A publication Critical patent/CN1397136A/zh
Application granted granted Critical
Publication of CN1173570C publication Critical patent/CN1173570C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17336—Handling of requests in head-ends
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

本发明公开了在交互式电视应用中同时发送和再现多个编码数字视频信号流的系统和方法。在交互式电视应用中多个编码数字视频信号流的同时发送和再现一般包括：变更从广播中心广播的多个编码视频流的至少一个，以便重新定位要显示的多个编码视频流的至少一个(362)；把包括至少一个变更编码视频流的多个变更编码视频流交织成单个复合交织视频流(364)；和输出单个复合交织视频流。该方法还可以包括从广播中心接收多个编码视频流。多个编码视频流的每一个最好利用MPEG－1和MPEG－2压缩技术编码。

Description

同时发送和再现多个编码视频流 的交互式电视系统和方法
                           交叉参考相关申请
本申请涉及与此同时提交的、名称为“用于同时发送和再现多个MPEG-编码视频流的交互式电视系统和方法(Interactive Television System andMethod for Simultaneous Transmission and Rendering of MultipleMPEG-Encoded Video Streams)”的共同待审美国专利申请第09/494,067号(代理人卷号：OPTVP009)，特此引用，以供参考。
                               发明领域
1.技术领域
本发明一般涉及诸如交互式电视之类的交互式视频传送媒体。更具体地说，本发明涉及在交互式电视应用中同时发送和再现多个MPEG-编码数字视频信号流的系统和方法。
2.背景技术
交互式电视是向许多订户提供广播的视听内容的交互式视频/视频传送媒体。交互式电视把广播的视频和音频提供给用户，并且还可提供使用户与，例如，内容交互，以便作出选择或定购所需产品等的返回路径。
在通过电视网络的电视广播中，譬如，在自行车竞赛的广播中，电视网络可以，例如，从各个竞赛角度或从各个骑车者方面生成到网络的多个视频馈送信号。网络可以从多个视频馈送信号中选择一个或几个馈送信号，在任何给定时间点向观看广播所选的视频馈送信号。显而易见，每个观众不拥有为了观看而个别选择要同时再现哪些视频馈送信号的选择权。
点到点网络使每个观众能够从一组可用视频馈送信号中选择要同时再现的视频馈送信号。在点到点网络中，譬如，在联机环境下，每个观众可以把请求发送到选择观众想要观看哪些视频馈送信号的头端服务器。接着，服务器可以在头端为每个观众重组屏幕，然后将其发送给特定观众。但是，这样的点到点网络或联机环境需要很大的带宽，以及从观众处到头端服务器的返回路径，以便观众可以把他/她的视频选择发送到头端服务器。并且，这样的点到点网络或联机环境还需要在头端服务器中为每个活动客户机重组画面的附加硬件。
使每个观众能够从一组可用视频馈送信号中选择观众要想观看的视频馈送信号的另一种系统是在观众处的接收器中解码器的个数与要同时再现的视频个体的个数一样多的系统。例如，如果要同时再现6个视频个体，那么，在观众处的接收器必须配备6个解码器。但是，这样的系统要求接收器具有大的处理能力，提高了接收器的成本。另外，可以同时再现的视频的个数受到配备在接收器中的解码器的数量的限制。
因此，人们迫切希望一种在交互式电视应用中，同时发送和再现多个编码数字视频信号流，以便每个观众可以从多个视频馈送信号中选择一组为他/她所用的一个或几个视频馈送信号的相对简单和合算的系统和方法。MPEG背景内容
为便于本发明的讨论和理解，这里介绍一下有关MPEG(运动图像专家组)压缩的背景内容。MPEG压缩是利用帧间和帧内压缩技术压缩和解压缩整个运动视频图像的一整套方法。除了别的之外，MPEG压缩利用了运动补偿和离散余弦变换(DCT)处理两者，并且可以生成大于200∶1的压缩比。理想地，这种系统和方法不需要大量的带宽或从观众处到头端服务器的返回路径。
两种占主导地位的MPEG标准被称为MPEG-1和MPEG-2。MPEG-1标准一般关心利用基于块的运动补偿预测(MCP)的场间数据缩减，基于块的运动补偿预测(MCP)通常利用时间差分脉码调制(DPCM)。MPEG-2标准与MPEG-1标准类似，但它延伸到涵盖更宽广的应用范围。正如这里所使用的，术语“MPEG”指的是MPEG-1、MPEG-2、和/或任何其它适用的MPEG-标准压缩和解压缩技术。
MPEG流包括三种类型的画面或帧，被称为内部(I)帧、预测(P)帧、和双向内插(B)帧。I或内部帧包含有关视频的整个帧的视频数据，通常每隔9到14个帧放置一个I或内部帧。内部帧提供了随机访问文件的入口点，一般只得到适度压缩。预测帧是参照过去的帧，即前内部帧或预测帧编码的。因此，P帧只包括相对于前I或P帧的改变部分。一般来说，预测帧受到相当高程度的压缩，并且用作将来预测帧的参考。因此，I和P帧两者都用作后随帧的参考。双向帧达到最大程度的压缩，为了编码，它们需要过去的和将来的参考。双向帧不用作其它帧的参考。
MPEG编码器把各个帧划分成称为宏块(macroblock)的16×16个网格状像素方块。把各个帧划分成宏块是为了进行运动估计/补偿。每个画面由数个片段(slice)组成。MPEG标准把一个片段定义为在宏块的同一行开始和结束的2个或更多个宏块(16×16个像素方块)的相连序列。一个片段从片段开始码开始，包含指示画面中片段开始的垂直和水平位置的信息。
                               发明内容
本发明公开了在交互式电视应用中同时发送和再现多个编码数字视频信号流的系统和方法。应该明白，本发明可以以许多种方式来实现，包括作为一种过程、一种设备、一种系统、一种器件、或一种像计算机可读存储介质或在光或电通信线上发送程序指令的计算机网络那样的计算机可读媒体。下面将讨论本发明的几个有创造性的实施例。
在用户方同时再现多个编码视频流的方法一般包括：变更从广播中心广播的多个编码视频流的至少一个，以便重新定位要显示的多个编码视频流的至少一个；把包括至少一个变更编码视频流的多个变更编码视频流交织成单个复合交织视频流；和输出单个复合交织视频流。该方法还可以包括接收来自广播中心，或通过电缆、卫星、MMDS(多信道多点分配系统)、或地面网络的多个编码视频流。
在一个优选实施例中，该方法还包括接收适合于同时再现的编码视频流的列表，和从用户方的用户那里可选地接收用户输入，用户输入包括从适合于同时再现的编码视频流的列表中选择出来的多个编码视频流。用户输入还可以包括有关多个编码视频流每一个的显示位置。变更可以把有关多个编码视频流每一个的显示位置用于重新定位要显示的多个编码视频流的至少一个。或者，变更可以把有关多个编码视频流每一个的默认显示位置用于重新定位要显示的多个编码视频流的至少一个。例如，有关多个编码视频流的默认显示位置可以是存储在通过如交互式解码器所应用的布局规则(譬如，HTML(超文本标记语言)布局引擎型)、和/或任何其它适用于确定默认显示位置的方法确定的、存储在交互式解码器或接收器中的静态值。布局规则可以由制造者在制作中心在空中变更并发送到接收器进行再现。
该方法还可以包括在输出之前解码单个复合交织视频流。输出可以包括输出到显示器，以便显示单个复合交织视频流作为视频显示，视频显示包括多个变更编码视频流的每一个的显示，多个变更编码视频流的每一个的显示包括至少一个变更编码视频流的每一个的重新定位显示。并且，多个编码视频流的每一个最好是利用MPEG-1或MPEG-2压缩技术编码的。
在另一个优选实施例中，该方法一般包括接收要显示的、从广播中心广播的多个编码视频流；为每个显示位置选择多个编码视频流的至多一个；把所选视频流交织成单个复合交织视频流；和输出单个复合交织视频流。尤其是，多个编码视频流的每一个是为在数个显示位置之一中的显示而构造的，其中每个显示位置覆盖显示器的一个子区域，和其中多个编码视频流包括用于显示位置的至少一个的数个编码视频流。
同时再现多个编码视频流的系统一般包括：交互式编码器，适用于变更从广播中心广播的多个编码视频流的至少一个，以便重新定位要显示的多个编码视频流的至少一个；把包括至少一个变更编码视频流的多个变更编码视频流交织成单个复合交织视频流；和输出单个复合交织视频流。
该系统还可以包括与交互式解码器通信的用户接口，适用于接收来自用户的用户输入。用户输入一般包括从适合于同时再现的编码视频流的列表中选择出来的多个编码视频流，其中，交互式解码器还适用于通过用户接口从用户接收用户输入。另外，该系统可以包括显示器，用于显示单个复合交织视频流作为视频显示，其中，视频显示包括多个变更编码视频流的每一个的视频，多个变更编码视频流的每一个的视频包括至少一个变更编码视频流的每一个的重新定位视频。
同时再现多个编码视频流的交互式解码器包括：用于变更从广播中心广播的多个编码视频流的至少一个，以便重新定位要显示的多个编码视频流的至少一个的装置；用于把包括至少一个变更编码视频流的多个变更编码视频流交织成单个复合交织视频流的装置；和用于输出单个复合交织视频流的装置。
这里所述的系统和方法的应用例子是个性化EPG(电子节目指南)拼图。借助于这种个性化EPG拼图，可以根据，例如，个性化表，显示数个最终用户喜欢的节目。最终用户可以可选地从数个显示屏或视频馈送信号中选择一个子集。
通过结合附图对本发明的实施例进行详细描述，可以更详细地展示本发明的这些和其它特征和优点。
                           附图简述
通过阅读如下结合附图的详细描述，可以更容易地理解本发明，在附图中，相同的标号表示相同的结构单元，其中：
图1是说明根据本发明一个实施例的、包括提供广播节目内容的远程网络的交互式电视系统的示意图；
图2是图1的交互式解码器的方块图；
图3是说明本发明的交互式解码器的操作的示意图；
图4A和4B是说明本发明的交互式解码器为同时发送和再现而处理数个视频流的处理过程的流程图；
图5A-5D举例说明了本发明的交互式电视系统的操作；
图6是列出MPEG-1和MPEG-2 MBAI VLC(宏块地址增量长度可变码字)和相应增量值的表格。
图7是说明本发明的MPEG-2交互式解码器为同时发送和再现而处理数个视频流的处理过程的流程图；
图8是列出MPEG-1 MBAL_stuffing码的个数、相应的位数、和相应的位数模8的表格；和
图9是说明本发明的MPEG-1交互式解码器为同时发送和再现而处理数个视频流的处理过程的流程图。
                          具体实施例描述
本发明公开了在交互式电视应用中同时发送和再现多个编码数字视频信号流的系统和方法。下面给出描述，使本领域的普通技术人员能够再现和利用本发明。具体实施例和应用的描述只是作为例子提供了，对它们进行各种各样的变更对于本领域的普通技术人员来说，是显而易见的。这里定义的一般性原理可以应用于其它实施例和应用，而不偏离本发明的精神和范围。因此，给予本发明把符合这里所公开的原理和特征的许多可替换物、变型、和等效物都包括在内的最宽范围。为了简洁起见，对于在与本发明有关的技术领域中与众所周知的技术内容有关的详细将不作详细描述，以便突出本发明的重点。交互式电视系统
在优选实施例中，本发明的系统和方法包含在交互式电视系统中。但是，应该明白，本发明的系统和方法可以包含在各种类型视频系统的任何一种中，这些视频系统包括标准电视、交互式电视、因特网、和其它类型的视频或图形传送媒体。这里所使用的术语“视频”意在包括静止图像、图形、和活动或运动视频。
图1是根据本发明一个实施例的交互式电视系统100的示意图。应该注意到，图1只是说明性的，如有需要，也可以使用其它交互式电视系统实施例。
如图所示，交互式电视系统100应用广播中心102来生成视听内容，包括非交互式视听内容和/或交互式视听内容。广播中心102包括用于提供视听内容的音频/视频源104。与通常从电视上看到的一样，视听内容可以包括电影、体育、新闻、连续剧、或其它视听广播节目。视听内容最好还包括可以用于各种目的的静止图像。视听内容最好包括数个视频流，和最好被构造成或设计成可以同时显示两个或更多个视频流。
广播中心102提供每一个都包含视听内容的数个节目信道。一个或几个节目信道可以包括视听交互(AVI)信号，AVI信号包含视听内容和相关的交互应用程序。根据本发明的优选实施例，在广播中心102上的编码器108用于编码或压缩视频和发送压缩视频流。
音频/视频源104可以包括用于把静止视频图像压缩成压缩静止视频图像的视频压缩逻辑单元。如图所示，如有需要，视听内容可选地通过远程网络120或实况馈送信号来提供。
广播中心102最好还包括用于创建和/或生成交互应用内容的应用服务器106。交互应用内容包括应用代码和被指定为由机顶盒或电视机内的处理器执行以支持交互式电视功能的数据。应用服务器106最好被构造成用于生成或提供“Open TV”交互应用程序。应用服务器还可以提供“Java”小应用程序(applet)或所需的其它交互式节目内容。应该注意到，本发明用于同时发送和再现多个编码数字视频信号流的系统和方法无需与这样的交互应用内容结合在一起来实现。
编码器/多路复用器108把交互应用内容与视听内容组合在一起，生成视听交互(AVI)信号。编码器/多路复用器108还使交互应用内容与视听内容同步，以保证把交互应用内容插在视听内容内的适当位置中。某些信道可以包括非交互式广播节目内容。换句话来说，某些视听内容可以不含相关的交互应用内容。编码器/多路复用器108最好把数个信号，包括AVI信号和可选非交互信号，多路复用在一起进行发送。
广播中心102还包括上行链路卫星110，用于发送供最终用户或随后的分配链路接收的广播信号。尽管图1显示了利用卫星发送广播信号的卫星网络例子，但是，也可以利用其它发送方法，包括通过同轴电缆的有线分配、光缆发送、微波发送和/或任何其它适用的手段。
通过，例如，卫星下行链路132从广播中心102接收广播信号。然后，把广播信号提供给数个最终用户或订户。如上所述，在各个信道上，广播信号可以包括一个或几个非交互式节目信号，和可以包括一个或几个AVI信号。
在订户方的每个最终用户130最好包括机顶盒接收器或交互式解码器140，以及电视机150。机顶盒或交互式解码器140与电视机150耦合。应该注意到，交互式解码器140的逻辑单元可以包含在电视机150中，以便电视机150和交互式解码器140包含单个集成单元，而不是分开的几个单元。另外，电视机150可以包括拥有显示屏的通用可编程计算机或任何其它适用的观看器件。
在本公开中，术语“订户电视”意在包括电视机150或诸如计算机、LCD(液晶显示器)屏幕等之类的其它观看器件，并且，可以包括用于解码压缩视频和/或执行交互程序的相关解码器逻辑单元。例如，在一个实施例中，订户电视包括与交互式解码器或机顶盒140耦合的电视机150。
在用户方可以配备诸如电视遥控器152之类的用户接口，以便于用户与电视机150和/或交互式解码器140的交互。用户可以选择希望观看的电视信道，或从各种交互式选项中进行选择。根据本发明的一个实施例，用户可以从数个同时广播的视频流和/或静止画面中选择两个或更多个视频流进行显示。用户也可以可选地选择多个视频流的每一个在电视机150上的显示位置。最终用户还可以利用本发明有选择地配置显示屏上的图形用户界面(GUI)。
尽管接收器和交互式解码器140被显示成一个单元，但是，接收器可以包括任何适当数量的交互式解码器和如下所述的、诸如重组引擎之类的任何可选附加部件。这里所述的同时发送和再现多个编码数字视频信号流的系统和方法适用于再现的视频流的个数等于或大于存在于接收器之中的解码器的个数的一般情况。另外，再现的视频流的个数通常小于或等于发送的视频流的个数，但是，也可以大于发送的视频流的个数，譬如，在某些视频流被多次显示的情况下。
所选电视信道上的信号由把输出提供给电视机150的交互式解码器140来解码。交互式解码器140最好执行诸如OpenTV之类的实时操作系统。尽管这里的描述是关于处理或解码通过广播接收的信号的系统的，但是，应该明白，可以对广播信号和/或存储在驻留在用户方的部件，即驻留存储器中，譬如，在解码器(或其它部件)的硬盘驱动器(或其它存储器)中的信号进行处理。
在正在观看的信道包括AVI信号的情况中，交互式解码器140还可以执行在所选AVI信号内传送的交互应用程序，以便启用交互式电视功能。
返回通道156可选地将交互式解码器140与事务处理服务器160相连接，事务处理服务器160监视用户的某些选择，并且由此作出响应。返回通道156最好利用标准POTS(变通老式电话系统)电话线和相关调制解调器(未示出)进行通信。如有需要，也可以使用其它返回通道选项，譬如，同轴电缆、光纤电缆、DSL(数字用户线)、ATM(异步传输模式)等等。
在优选实施例中，广播中心102广播诸如自行车比赛之类的节目，节目包括诸如摄像机拍摄的、有关每个骑手的自行车的视频馈送信号之类的各种视频馈送信号。每个视频馈送信号被独立地压缩和被独立地广播给所有卫星下行链路132。
广播中心102广播的输入流是MPEG流，但是，无需完全遵从MPEG标准。为了简洁起见，这里把这样的非遵从流也称为MPEG流。例如，输入广播流可以通过编码MPEG类型编码，但是，流的一些元素，譬如，序列首标，可以由接收器加入组合输出流中。
另外，最好使可用视频流的列表可供广播中心102的交互应用程序使用。每个用户可以从可用视频流的列表中选择所需的视频，从而使每个用户可以监视他/她感兴趣的比赛的角度，譬如，用户喜欢的比赛者的视角。
交互式解码器140接收要在用户电视机150上同时显示哪些视频馈送信号和可选地，要在用户电视机150上的什么地方显示所选视频馈送信号的每一个的用户选择作为输入。交互式解码器140忽略或舍弃未选的视频信号，预处理所选的信号，以便重新定位要显示的所选视频信号，和解密经预处理的信号。然后，交互式解码器140在用户电视机150的屏幕上显示用户所选的视频，作为由小画面拼凑起来的大复合视频。
交互式解码器140的这种处理过程，尽管交互之处在于用户选择所需的视频和它们各自的显示位置，但是，当用户的选择处理由把解码视频信号直接输出到电视机150的交互式解码器140来完成时，不需要使用返回通道156。
多个视频流的同时显示可以用在许多种不同的交互式电视应用中。例如，用户可以选择显示网页或来自商业广告节目的MPEG静止画面，而同时显示其它节目。作为另一个例子，交互式商业广告节目可以让用户选择同时观看一条生产线上的数个产品或一个产品的各种特征的细节。交互式解码器140
图2是说明机顶盒或交互式解码器140的示意图。如图所示，交互式解码器140包括用于在一个或几个信道上接收输入广播信道信号304的多路分用器302。输入广播信号最好包括含有广播节目内容，譬如，电影、体育、电视演出、新闻、广告等的数个信道。广播信号最好包括数个压缩或编码数字视频流。视听成分最好经过压缩，尤其经过MPEG-1或MPEG-2压缩。如上所述，只有与要选来显示的视频流相对应的视频(或视听)信号才被交互式解码器140处理，而非所选视频信号则被舍弃。
多路分用器302用于将输入广播信道信号304的音频/视频成分与交互成分分开。在本发明的优选实施例中，交互成分包括交互应用程序和/或遵从由OpenTV公司发布的OpenTV标准的数据。但是，其它适当类型的交互应用程序也可以包含在AVI信号中。
多路分用器302通过画面缓冲器306把音频/视频成分提供给音频/视频解码处理器304。解码处理器304用于预处理数个所选视频流，以便重新定位要显示的视频信号，交织经预处理的信号，和解码交织压缩视听信号，以便生成解压缩数据。
在一个优选实施例中，广播信道传输MPEG-2压缩数据。因此，在这个优选实施例中，解码处理器304最好包括MPEG-2预处理器、交织处理器、和解码器。解码器304最好包括一个或几个数字信号处理器(“DSP”)和一个或几个相关存储器。请注意，解码器可以包括各种类型的逻辑单元，包括一个或几个DSP、CPU、或微控制器；分立逻辑单元；和它们的组合。现在更详细地描述解码处理器304的细节。
解码处理器304提供最好提供给电视机150进行显示的音频/视频输出。当解码模块304接收到要同时显示的多个用户所选视频流时，解码器把包括较小重新定位画面的拼图的单个解压缩视频流输出到用户的电视机150。
交互式解码器140还可以包括与存储器316耦合的CPU 314。存储器316最好是只读存储器(ROM)，用于存储交互式应用操作系统。操作系统最好是来自OpenTV公司的OpenTV操作系统。
当输入广播信道信号304包括AVI信号时，多路分用器302把AVI信号的交互节目成分提供给与CPU 314耦合的交互式应用存储器312。交互式应用存储器最好是随机存取存储器(RAM)，用于存储交互应用程序，即OpenTV应用程序。把来自AVI信号的交互应用程序存储在RAM 312中，CPU 314可以从RAM 312中读取交互应用程序，和执行该应用程序。
因此，CPU 314从ROM 316中读取OpenTV操作系统，从而，操作系统控制CPU 314的操作。CPU 314还从RAM 312中读取包含在AVI信号中的交互应用程序，和在存储在ROM 316中的OpenTV操作系统的控制下，执行交互应用程序。
如上所述，在一个优选实施例中，适合于用户同时显示的视频流的列表可以包含在交互应用程序中。因此，可用视频流的列表最好作为交互应用程序的一部分，而不是视听成分的一部分包含在其中。相反，视频流作为音频/视频流的一部分包含在其中。
或者，可以以信道信令的方式发送可用视频流的列表。信道信令是广播电台以对于所有信道来说都是统一的方式发送到接收器的、各种成分的列表。这种机制用于，例如，使接收器检测次要音频信道。
RAM 312与CPU 314耦合。CPU 314又与图形屏幕显示器322耦合。与图形屏幕显示器322耦合是为了将输出与解码器304提供的音频/视频输出一道提供给电视机。图形屏幕显示器322以可以重叠在解码器304的音频/视频输出的上面的格式组织数据。因此，CPU 314执行交互应用程序，生成与解码器304的音频/视频输出一起提供的屏幕图形。例如，如果写入使一个或几个图像或选项显示或重叠在电视节目或静止图像的上面的交互应用程序，那么执行该应用程序的CPU 314把适当的输出提供给图形屏幕显示器322，和图形屏幕显示器322使各个图像或选择按钮重叠在解码器304的音频/输出输出的上面和/或与解码器304的音频/输出输出一起显示。
图形屏幕显示器322可以是4-位或8-位彩色存储器。除了显示选择按钮或适合于同时显示的视频流的列表之外，图形屏幕显示器322还可以用于各种目的。
用户可以把用户输入324提供给CPU 314。用户输入可以从各种器件提供，最好通过遥控器、电视机150上的按钮、或交互式解码器140提供。提供给CPU 314的用户输入324使用户能够与存储在RAM 312中的交互应用程序进行交互。例如，用户或观众可以选择要同时显示在电视机上的数个视频流。其它用户输入324可以包括定购产品或定购信息、把答案提供给电视游戏节目、从插入画面或馈送信号的选项中选择插入画面或插入馈送信号等选项，其中所选插入画面被显示成，例如，背景画面。此外，用户或观众可以选择要同时显示在电视机上的数个所选视频流的每一个的位置。
CPU 314包括与画面缓冲器306耦合，以便把画面输出到画面缓冲器306的输出端。CPU 314把信号发送到用户为了同时显示而选择的视频(或视听)信号和在每个所选视频流的电视机上的相应显示位置与之有关的画面缓冲器306。因此，画面缓冲器306只接收选来显示的视频流，而舍弃未选的视频信号。
为了提供用户交互性，CPU 314最好还通过调制解调器326与返回通道156耦合。调制解调器326可以用于双向通信。如图1所示，返回通道156最好与事务处理服务器160耦合。因此，如果用户选择了定购信息，或购买产品的选项，那么，事务处理服务器160接收这个定单，并且处理这个定单，以便完成任务。此外，如果用户在游戏节目中回答问题，那么，可以在返回通道156上把答案提供给事务处理服务器160。
图3是说明交互式解码器140的操作的示意图。在图3所示的例子中，同时显示4个视频流，具体地说，视频流1-4。另外，视频流1-4分别显示在电视机显示器的右下、左上、右上和左下角象限中。最好，图3所示的交互式解码器140用于MPEG-2压缩视频流。
对于选来显示的每个视频流，把视频流信号330和包含，例如，显示位置信息的相应控制信号332输入到MBAI(宏块地址增量)变更器334。视频流信号330代表较小的画面。MBAI变更器334在必要的时候，根据包含在相应控制信号332中的视频流的显示位置，变更视频流信号330的MBAI。将MBAI变更器334的输出，即MBAI变更过的视频流，输入交织器336。
交织器336把较小的变更视频流交织成较大的单个视频流。单个较大的视频流基本上是重新定位的较小画面的拼图。然后，视频解码器338，最好是MPEG-2视频解码器，解码单个视频流，并且输出到用户的电视机。然后，电视机根据用户指定的显示位置、默认的显示位置、或用户指定的和默认的显示位置的组合，显示代表重新定位的较小画面的拼图的单个解码视频流。例如，有关多个编码视频流的默认显示位置可以是通过布局规则(譬如，HTML布局引擎风格)、和/或任何其它适用于确定默认显示位置的方法确定的、存储在交互式解码器或接收器中的静态值。取决于所使用的配置，默认值可以由可以驻留在接收器或头端中的重组引擎从布局规则中计算出来。某些术语的MPEG-2定义
为了简洁起见和为了便于如下给出的讨论，根据MPEG-2标准表示和定义几个术语。例如，一个像素指的是一个基本图像单元，而一个块指的是按8×8分组的64个像素。一个宏块(MB)被定义为按2×2分组的4个块或按16×16分组的像素。一个片段指的是为了本发明的目的，从MB的同一行开始和结束的一列宏块。一个片段开始码(“SCC”)是指示一个片段开始的、由4个字节组成的字节对准无符号序列。片段开始码的值在0×00000101到0×000001AF之间。片段开始码的最后一个字节是指示当前片段所属的宏块的行的片段开始码值。例如，01的值指示片段中的像素属于第0到第15行(包括第0和第15行)，和0×AF指示片段中的像素属于第2784到第2799行(包括第2784和第2799行)。
宏块地址增量(MBAI)是长度为1到11个位的长度可变码字(VLC)。MBAI指示从同一行上一个片段的最后一个宏块开始的、以宏块为单位的增量，和指示当前片段的水平位置，即片段从显示器的左边缘开始的位置。例如，MBAI值1指示当前片段属于第0列和延伸到至少第15列(包括第0列和第15列)。MBAI VLC和/或SCC在它们是指示特定片段的显示位置的代码时，可以统称为显示位置码。图示说明交互式解码器140处理过程的流程图
图4A和4B是说明本发明的交互式解码器为同时发送和再现而处理数个视频流的处理过程350的流程图。如图4A所示，在步骤352，交互式解码器首先接收由广播中心广播的编码视频信号，以及最好在AVI信号的交互成分中的、可用视频的列表。
在步骤354，根据用户对同时显示的所需视频的选择和它们相应的指定和/或默认显示位置，交互式解码器生成控制信号。应该明白，尽管用户可以选择要同时显示的视频的每一个，但是，也可以默认显示一个或几个视频。换言之，可以显示一个或几个默认视频和一个或几个用户所选视频。在步骤S356，交互式解码器接收广播的视频信号流。
或者，交互式解码器可以像在步骤352中那样，接收在AVI的交互成分中的、可用视频的列表，在步骤354中生成控制信号，和有选择地接收用户所选的广播视频流。用户所选广播视频流的有选择接收可以由，例如，在广播中心的服务器，根据分割每个视频流而成的分组的标识或标识符来完成。
在步骤S358，交互式解码器确定接收视频流的每一个是否与所选视频之一相对应。如果是，交互式解码器就处理所选视频流，并且把经处理的输出视频信号输出到显示器，以便在步骤S360同时显示所选视频。换句话来说，在步骤S360，交互式解码器在解码之前，组合MPEG编码视频流。另一方面，对于不与用户所选的视频对应的视频流，交互式解码器舍弃或忽略未选视频流。
图4B更详细地说明了交互式解码器的处理过程或步骤360。具体地说，在步骤S362，交互式解码器预处理所选视频流的每个片段，以便在必要的时候，根据那个视频或视频流的所选或默认显示位置，重新定位每个视频流。在必要时的重新定位包括变更MBAI LVC和/或片段开始码或SCC。如上所述，SCC是指示一个片段开始的、由4个字节组成的字节对准无符号序列。片段开始码的最后一个字节是指示当前片段所属的宏块的行的片段开始码值。因此，为了重新定位或再定位该片段的水平或行位置，即该片段所属的宏块的行，可以变更SCC的值。请注意，由于SCC不是长度可变的，因此，可以简单变更SCC的值，而无需考虑字节中的位对准，即字节对准。
接着，在步骤364，交互式解码器依次交织经过预处理的所选较小视频的片段，以便生成代表较大的复合视频的单个视频流。交织处理过程类似于1997年10月16日提交的、名称为“利用MPEG-1帧把画面插入画面中的交互式电视系统和方法(INTERATIVE TELEVISION SYSTEM AND METHODFOR INSERTING PICTURES WITHIN PICTURES USING MPEG-1FRAMES)”的共同待审美国专利申请第08/951,795号所述的处理过程(特此引用，以供参考)。
或者，尽管不是优选的，但是，交互式解码器可以首先交织数个所选视频流的片段，然后进行预处理，即，插入要重新定位的交织视频流的片段的坐标。但是，由于交织视频流的分析可能是非常困难的，因此，这样的处理过程一般不是优选的。
在步骤366，交互式解码器解码代表较大复合视频的单个交织视频流。最后，在步骤368，交互式解码器把代表用户所选的视频的较大复合视频的解码单个交织视频流输出到诸如电视机之类的显示器。
并且，在步骤368，交互式解码器可选地调整单个交织复合视频流的尺寸。最好，个别序列以小于显示分辨率的空间分辨率编码，以便根据要组合的画面的个数，调整或不调整尺寸地组合和显示多个画面。具体地说，广播中心最好根据预定尺寸，例如，像典型高清晰度电视显示尺寸那样的典型显示尺寸的四分之一，广播每个视频馈送信号。因此，如果最终用户选择了四个画面进行同时显示，那么，解码器就没有必要调整尺寸。
广播中心广播的具体预定尺寸可以部分取决于在使处理要求达到最低程序的同时画面的所需分辨率的最优化。在MPEG压缩技术中，视频馈送信号被划分成宏块，和每个宏块被压缩成压缩流。交互式解码器解压缩每个压缩流，以便重构画面。然后，交互式解码器可以把画面缩放成所需尺寸。换句话来说，交互式解码器一般不能调整每个压缩片段的尺寸，但是可以调整整个画面的尺寸。因此，交互式解码器最好调整单个交织复合视频流的尺寸，以便以所需尺寸显示所得视频。
例如，当来自广播中心的每个视频馈送信号是典型电视显示尺寸的四分之一和用户选择了6个视频馈送信号同时观看时，单个交织复合视频流大得无法显示。因此，交互式解码器最好把复合视频流调整成所需尺寸，最好是不使视频失真，但是使显示器的观看部分的利用达到最大的尺寸。
接收器最好还插入填补序列，以便覆盖显示器或屏幕没有被组合视频覆盖的那些部分。例如，如果输入视频流的每一个占据输出显示的四分之一和总共选择和组合了3个序列，那么，接收器可以用诸如空序列(例如，绿色长方块)或静止I-帧之类的填补视频覆盖显示屏的剩余四分之一，填补视频可以由广播服务器发送，也可以由接收器生成。
在一个实施例中，没有一个视频流为了定位而被变更。在头端为覆盖显示器的一个子区域的每个位置发送多个可选视频流时和在接收器的最终用户，例如，通过默认值和/或根据用户概况，为每个位置选择一个选项时，就可以出现这样的情况。换句话来说，广播的多个编码视频流将为在两个或更多个显示位置之一中的显示而构造。对于显示位置的至少一个，多个编码视频流将包括多于一个的编码视频流。
例如，商业广告节目可以包括每一个在固定显示位置上的许多个子画面，和每个显示位置的内容将由最终用户和/或由接收器根据用户概况来选择。具体地说，百货公司的商业广告节目可以包括一般来说广告百货公司的左子画面和广告具体产品的右子画面。左子画面可以根据最终用户的喜欢语言来选择，而右子画面则可以根据最终用户家庭的概况，譬如，家庭中孩子的个数和年令来选择。在这样的情况说明中，头端发送的左子画面一般来说可以是百货公司的英语或西班牙语广告，和头端发送的右子画面可以是玩具或服装广告。
将会注意到，尽管在解码之前组合多个MPEG编码流的处理过程360最好在用户方执行，但是，处理过程360也可以在其它地方，譬如，在广播中心实现。实现这种处理过程的结构最好处在主要头端把压缩视频发送到辅助头端的地方和在辅助头端重组视频和把重组视频流窄带广播到单个接收器或一组接收器的地方。辅助头端的使用是可选的，并且节省了带宽。这种结构的好处在于，使接收器的硬件成本达到最低程度或降低了。例如，在已经部署了接收器和难以用必要的附加硬件或软件升级它们的情况下，这样的结构将是有益的。另外，如果在给定时间点，该功能特征只被少数接收器使用和/或只适用于少数接收器，那么，在把该功能集中在辅助头端中更合算的情况下，这样的结构将是有益的。同时再现多个视频流的例子
现在举例说明参照图4A和4B的流程图所示和所述的交互式解码器的处理过程。具体地说，图5A-5D通过说明了本发明的交互式电视系统的操作例子。图5A说明了三个独立画面，或视频402、404、和406。独立视频的每一个都包含许多个片段。例如，视频402包括片段1.1、1.2、1.3、1.4、1.5、和1.6。类似地，视频404包括片段2.1、2.2、2.3、2.4、2.5、和2.6，和视频406包括片段3.1、3.2、3.3、3.4、3.5、和3.6。
图5B说明了视频402、404、406的每一个作为视频流从广播中心到交互式解码器的发送。例如，包括片段1.1、1.2、1.3、1.4、1.5、和1.6的视频402作为视频流412发送出去。如图所示，视频流412包括连续片段1.1、1.2、1.3、1.4、1.5、和1.6。类似地，视频404作为包括片段2.1、2.2、2.3、2.4、2.5、和2.6的视频流414发送出去，和视频406作为包括连续片段3.1、3.2、3.3、3.4、3.5、和3.6的视频流416发送出去。
除了适合于用户同时显示的视频或画面的视频流之外，广播中心最好还发送适合于用户同时显示的视频流的列表。如上所述，可用视频流的列表可以包含在AVI信号的交互成分中。
在用户方，用户可以选择视频402、404、406的两个或更多个进行同时显示。在图5C和5D所示的例子中，用户选择电视机显示器的左侧显示视频402，和选择电视机显示器的右侧显示视频404。或者，这样的显示结构可以是用户不指定所有视频的显示位置的默认显示结构。因此，交互式解码器预处理与视频402、404相对应的视频流412、414，而舍弃或忽略与视频406相对应的视频流416。
根据用户的选择和可选地根据默认显示结构，交互式解码器生成控制信号。根据控制信号，交互式解码器预处理所选视频流的每个片段，以便在必要的时候，根据那个视频或视频流的所选或默认显示位置，再定位每个视频流。然后，交互式解码器交织经过预处理的所选较小视频，即视频402和404的片段。
图5C显示了交互式解码器生成的、代表较大复合视频的所得单个交织视频流420的一部分。由于与视频402相对应的视频流412的每个片段被定位在显示器的左侧或左边，因此，当在最后视频输出中没有重新定位视频流412的片段1.1、1.2、1.3、1.4、1.5、和1.6时，它们没有被变更。换句话来说，在与视频402相对应的所得单个交织视频流420中的片段未被变更，并且与对应于其它视频流的变更视频片段交织在一起。
相反，由于与视频404相对应的视频流414的每个片段需要重新定位，以便视频的左侧处在显示器的中间，因此，视频流414的片段2.1、2.2、2.3、2.4、2.5、和2.6被变更，以便视频流包含指示片段的这种目标位置的数据。在一个实施例中，变更片段2.1′-2.6′包含代表片段的新目标位置的插入坐标422。因此，片段2.1-2.6被变更了，变成片段2.1′-2.6′，其中，片段2.1′-2.6′与片段2.1-2.6的不同之处只在于它们由片段开始码值给出的垂直位置，即列位置。
请注意，尽管在这里所示和所述的例子中，交互式解码器只变更重新定位的一个视频流的每个片段的水平位置，但是，交互式解码器可能需要变更要重新定位的一个或几个视频流的水平和垂直位置两者或只是其中的垂直位置。
然后，对视频流412的未变更片段1.1-1.6和视频流414的变更片段2.1′-2.6′进行交织，形成供同时显示用的、代表包括视频412和414两者的大复合视频的单个交织视频流420。
图5D示意性地显示了将要显示在用户显示器，譬如，电视机上的复合视频424。复合视频424代表所得的单个交织视频流420。换句话来说，复合视频424可以从单个交织视频流420中得出来。优选实施例：变更MPEG-2 MBAI VLC
图6是列出MPEG-1和MPEG-2 MBAI VLC(宏块地址增量长度可变码字)和相应增量值的表格。如上所述，MBAI VLC具有1到11个位的长度，指示片段的水平位置。如图6所示，增量值1、2-3、4-5、6-7、8-9、10-15、16-21、和22-33的位数分别是1、3、4、5、7、8、10、11个位。
注意到，通过简单地把位变更成不同的值，可以容易地把片段变更成含有相同位数的MBAI VLC值。例如，可以容易地把含有与增量值2相对应的MBAI VLC值的片段变更成含有与增量值3相对应的MBAI VLC值，反之亦然。类似地，可以容易地把含有与在10-15的范围、16-21的范围、或22-33的范围中的增量值相对应的MBAI VLC值的片段变更成含有与同一范围中的增量值相对应的另一个MBAI VLC值。
另外，还可以容易地把片段变更成含有相同位数模8的MBAI VLC值。通过把MBAI VLC值变更成相同位数模8的另一个MBAI VLC值，所得的MBAI VLC将具有与原始MBAI VLC相同的字节内位位置，即，字节内位对准没有改变。换句话来说，通过让MBAI VLC在字节内保持相同的位对准，省去了在，例如，移位寄存器中旋转片段中MBAI VLC位之后的所有位的需要。避免片段中其余位的这种移动或旋转就避免了相对昂贵的处理过程。
具体地说，增量值2-3的位数模8和增量值22-33位数模8两者都等于3。因此，如果编码器编码含有与增量值2或3相对应的MBAI VLC值的片段，那么，可以容易地把片段的MBAI VLC变更成与22到33之间的增量值相对应的值，反之亦然。
作为例子，给出与增量值2相对应的MBAI VLC值011到与增量值24相对应的MBAI VLC值0000 0100 001的变更。具体地说，把拥有值0000 0100的字节加入原始MBAI VLC中，和把原始MBAI VLC的3个位(011)变更成值001，以便所得的MBAI VLC具有所需或目标值0000 0100 001。显而易见，通过从MBAI VLC中删去一个字节和把其余的3个位变更成所需值，也可以容易地实现反向变更处理。一般来说，在给定行中只有片段的第一个MBAI需要变更。
因此，从显示器左侧开始的所有片段最好由，例如，广播中心利用与增量值2或3相对应的MBAI VLC值编码，以便可以容易地变更这些片段，把它们重新定位到与22到33之间的增量值相对应的显示位置。在这样的实现方式中，如果要重新定位视频流的片段，那么，最好把MBAI值从2或3的增量值值变更成22到33之间的增量值(包括两头)。
尽管在2到3的范围中的增量值与22到33的范围中的增量值之间的变更是优选的，并且上面给出了在2到3的范围中的增量值与22到33的范围中的增量值之间的变更，但是，上述MBAI VLC的变更可以应用于得出位数模8相同的变更MBAI VLC值的任何其它变更。例如，含有与增量值16相对应的MBAI VLC值0000 0101 11的片段可以被变更成含有与增量值41相对应的MBAI VLC值0000 0001 000 0000 111的片段。与增量值41相对应的MBAI VLC值0000 0001 000 0000 111是把与增量值8相对应的0000 111位附在MB换码值0000 0001 000上获得的。原始MBAI VLC有10个位，变更MBAI VLC有18个位。因此，原始MBAI VLC和变更MBAI VLC具有相同的位数模8，即，2。
至于MBAI换码值，注意到，最大的MBAI VLC有11个位，和可以按需要重复MBAI换码值，把33加入增量中。因此，如果MBAI换码值被重复两次，后面加上000 1001，所得的增量就是78。
在视频流的所有片段中MBAI VLC值的上述变更导致视频流的所有片段被重新定位。说明MPEG-2交互式解码器140的处理过程的流程图
图7是说明本发明的MPEG-2交互式解码器为同时发送和再现而处理数个视频流的示范性处理过程的流程图。在步骤382，MPEG-2交互式解码器确定要重新定位的每个视频流的片段的目标MBAI VLC或相应增量值。在步骤384，MPEG-2交互式解码器在保持字节内MBAI VLC的位对准相同的同时，变更要再现的视频流的每个片段的MBAI VLC值。MPEG-2交互式解码器变更MBAI VLC值的例子包括：(1)在必要的时候，加入一个字节和变更原始位；(2)在必要的时候，移去一个字节和变更其余位；(3)变更原始位；(4)在必要的时候，变更原始位，和把变更位附在MB换码上。可替换实施例：变更MPEG-1 MBAI
本发明的系统和方法也可以用在MPEG-1压缩的情况中。除了MBAI码之外，MPEG-1压缩提供了附加MBAI_stuffing码。MBAI_stuffing码有11个位，是一个素数。因此，通过加入可选个数的MBAI_stuffing码，可以让MBAI码与字节内的任何位位置位对准。应该注意到，在MPEG-1编码视频流的情况中，附加要求是所有片段都在同一行上开始和结束。
图8是列出MPEG-1 MBAI_stuffing码的个数、相应的位数、和相应的位数模8的表格。如图所示，加入0、1、2、3、4、5、6、或7个MBAI_stuffing码导致0、3、6、1、4、7、2、或5个位的位对准移动。因此，通过加入0到7之间某个个数的MBAI_stuffing码，可以让MBAI码与字节内的任何位位置位对准。
图9是说明本发明的MPEG-1交互式解码器为同时发送和再现而处理数个视频流的处理过程400的流程图。在步骤402，交互式解码器确定要重新定位的每个视频流的片段的目标MBAI VLC或相应增量值。在步骤404，交互式解码器确定要加入MBAI中的MBAI_stuffing码的个数，以便在变更MBAI之后，使所得的码与字节内所需位位置位对准。在步骤S406，交互式解码器变更要重新定位的视频流的每个片段的MBAI VLC值，以便视频片段被重新定位在所需位置上。另外，交互式解码器把预定个数的MBAI_stuffing码插入片段中，以便保持字节内MBAI的位对准相同。
虽然这里已经描述和图示了本发明的优选实施例，但是，应该明白，它们只是说明性的，可以对这些实施例进行各种各样的修改，这不偏离本发明的精神和范围。因此，本发明只由所附权利要求书来限定。例如，这里所述的系统和方法的应用可以是根据，例如，个性化列表，显示数个最终用户喜欢的节目的个性化EPG(电子节目指南)拼图。最终用户可以可选地从个性化EPG拼图和/或它们各自的显示位置中选择一个显示子集。

Claims (38)

1.一种同时再现多个编码视频流的方法，包括：
变更多个编码视频流的至少一个，以便重新定位要显示的多个编码视频流的至少一个，所述多个编码视频流的至少一个是从广播中心广播的，所述变更生成至少一个变更编码视频流；
从所述至少一个变更编码视频流和多个编码视频流中进行选择；
把所述被选视频流交织成单个复合交织视频流；和
输出所述单个复合交织视频流。
2.根据权利要求1所述的同时再现多个编码视频流的方法，还包括在所述输出之前，调整所述单个复合交织视频流的尺寸。
3.根据权利要求1所述的同时再现多个编码视频流的方法，还包括从广播中心接收多个编码视频流。
4.根据权利要求1所述的同时再现多个编码视频流的方法，还包括接收适合于同时再现的编码视频流的列表。
5.根据权利要求4所述的同时再现多个编码视频流的方法，其中，所述接收适合于同时再现的编码视频流的列表是通过信道信令进行的。
6.根据权利要求4所述的同时再现多个编码视频流的方法，还包括从用户那里可选地接收用户输入，所述用户输入包括从适合于同时再现的编码视频流的所述列表中选择出来的多个编码视频流的选项。
7.根据权利要求6所述的同时再现多个编码视频流的方法，其中，所述用户输入还包括有关多个编码视频流的至少一个的每一个的显示位置。
8.根据权利要求7所述的同时再现多个编码视频流的方法，其中，所述变更把用户输入的每个显示位置用于与所述显示位置相对应的编码视频流。
9.根据权利要求1所述的同时再现多个编码视频流的方法，其中，所述变更把默认显示位置用于多个编码视频流的至少一个的每一个。
10.根据权利要求9所述的同时再现多个编码视频流的方法，其中，所述变更通过从布局规则中计算每个默认显示位置，确定每个默认显示位置。
11.根据权利要求1所述的同时再现多个编码视频流的方法，还包括在所述输出之前解码所述单个复合交织视频流。
12.根据权利要求1所述的同时再现多个编码视频流的方法，其中，所述输出包括输出到显示器，以便显示所述单个复合交织视频流作为视频显示，所述视频显示包括多个变更编码视频流的显示。
13.根据权利要求1所述的同时再现多个编码视频流的方法，其中，多个编码视频流的每一个是利用从包括MPEG-1或MPEG-2的一个组中选择出来的压缩技术编码的。
14.根据权利要求1所述的同时再现多个编码视频流的方法，其中，所述选择是根据存储的喜好进行的。
15.根据权利要求1所述的同时再现多个编码视频流的方法，其中，所述多个编码视频流的至少一个被存储在驻留存储器中。
16.一种同时再现多个编码视频流的方法，包括：
接收要显示的、从广播中心广播的多个编码视频流，每个编码视频流是为在数个显示位置之一中的显示而构造的，每个显示位置覆盖显示器的一个子区域，所述多个编码视频流包括用于所述显示位置的至少一个的数个编码视频流；
为所述数个显示位置的每一个选择所述多个编码视频流的至多一个；
把所述被选视频流交织成单个复合交织视频流；和
输出所述单个复合交织视频流。
17.一种同时再现多个编码视频流的系统，包括：
交互式编码器，适用于变更从广播中心广播的多个编码视频流的至少一个，以便重新定位要显示的多个编码视频流的至少一个，和生成包括多个编码视频流的至少一个变更编码视频流和未变更编码视频的多个变更编码视频流，
所述交互式解码器还适用于把包括至少一个变更编码视频流的多个变更编码视频流交织成单个复合交织视频流，和输出所述单个复合交织视频流。
18.根据权利要求17所述的同时再现多个编码视频流的系统，其中，所述交互式解码器还适用于从广播中心接收多个编码视频流。
19.根据权利要求17所述的同时再现多个编码视频流的系统，其中，所述交互式解码器还适用于接收适合于同时再现的编码视频流的列表。
20.根据权利要求19所述的同时再现多个编码视频流的系统，还包括与所述交互式解码器通信的用户接口，适用于从用户那里接收用户输入，所述用户输入包括从适合于同时再现的编码视频流的所述列表中选择出来的多个编码视频流的至少一个。
21.根据权利要求20所述的同时再现多个编码视频流的系统，其中，所述用户输入还包括有关多个编码视频流的至少一个的每一个的显示位置。
22.根据权利要求21所述的同时再现多个编码视频流的系统，其中，所述交互式解码器适用于把每个用户输入显示位置用于与所述显示位置相对应的编码视频流，以便变更要重新定位的相应编码视频流。
23.根据权利要求17所述的同时再现多个编码视频流的系统，其中，所述交互式解码器适用于把默认显示位置用于要重新定位的多个编码视频流的至少一个的每一个。
24.根据权利要求17所述的同时再现多个编码视频流的系统，其中，所述交互式解码器适用于在所述输出之前解码所述单个复合交织视频流。
25.根据权利要求17所述的同时再现多个编码视频流的系统，还包括与所述交互式解码器通信的显示器，其中，所述交互式解码器适用于输出到所述显示器，以便显示所述单个复合交织视频流作为视频显示，其中，所述视频显示包括多个变更编码视频流的显示。
26.根据权利要求17所述的同时再现多个编码视频流的系统，还包括显示器，用于显示所述单个复合交织视频流作为视频显示，其中，所述视频显示包括多个变更编码视频流的每一个的视频，所述多个变更编码视频流的每一个的视频包括至少一个变更编码视频流的每一个的重新定位视频。
27.根据权利要求17所述的同时再现多个编码视频流的系统，其中，多个编码视频流的每一个是利用从包括MPEG-1或MPEG-2的一个组中选择出来的压缩技术编码的。
28.根据权利要求17所述的同时再现多个编码视频流的系统，还包括广播中心，用于把多个编码视频流广播到所述交互式解码器。
29.一种同时再现多个编码视频流的交互式解码器，包括：
用于变更从广播中心广播的多个编码视频流的至少一个，以便重新定位要显示的多个编码视频流的至少一个的装置，所述变更装置生成包括多个编码视频流的至少一个变更编码视频流和未变更编码视频的多个变更编码视频流；
用于把多个变更编码视频流交织成单个复合交织视频流的装置；和
用于输出所述单个复合交织视频流的装置。
30.根据权利要求29所述的同时再现多个编码视频流的交互式解码器，其中，还包括从广播中心接收多个编码视频流的装置。
31.根据权利要求29所述的同时再现多个编码视频流的交互式解码器，还包括接收适合于同时再现的编码视频流的列表的装置。
32.根据权利要求31所述的同时再现多个编码视频流的交互式解码器，还包括从用户接口接收用户输入的装置，所述用户输入包括从适合于同时再现的编码视频流的所述列表中选择出来的多个编码视频流的选项。
33.根据权利要求32所述的同时再现多个编码视频流的交互式解码器，其中，所述用户输入包括有关多个编码视频流的至少一个的每一个的显示位置。
34.根据权利要求33所述的同时再现多个编码视频流的交互式解码器，其中，所述变更装置适用于把用户输入的每个显示位置用于调整与所述显示位置相对应的编码视频流。
35.根据权利要求29所述的同时再现多个编码视频流的交互式解码器，其中，所述变更装置适用于把默认显示位置用于多个编码视频流的至少一个的每一个。
36.根据权利要求29所述的同时再现多个编码视频流的交互式解码器，其中，还包括解码所述单个复合交织视频流的装置。
37.根据权利要求29所述的同时再现多个编码视频流的交互式解码器，其中，所述输出装置适用于输出到显示器，以便显示所述单个复合交织视频流作为视频显示。
38.根据权利要求29所述的同时再现多个编码视频流的交互式解码器，还包括用于显示所述单个复合交织视频流作为视频显示的装置
CNB018042449A 2000-01-28 2001-01-10 同时发送和再现多个编码视频流的交互式电视系统和方法 Expired - Lifetime CN1173570C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/494,067 2000-01-28
US09/494,067 US6931660B1 (en) 2000-01-28 2000-01-28 Interactive television system and method for simultaneous transmission and rendering of multiple MPEG-encoded video streams
US09/494,184 2000-01-28
US09/494,184 US6539545B1 (en) 2000-01-28 2000-01-28 Interactive television system and method for simultaneous transmission and rendering of multiple encoded video streams

Publications (2)

Publication Number Publication Date
CN1397136A true CN1397136A (zh) 2003-02-12
CN1173570C CN1173570C (zh) 2004-10-27

Family

ID=27051285

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB018042449A Expired - Lifetime CN1173570C (zh) 2000-01-28 2001-01-10 同时发送和再现多个编码视频流的交互式电视系统和方法
CN01804238.4A Expired - Fee Related CN1193611C (zh) 2000-01-28 2001-01-10 同时发送和再现多个运动图像专家组编码视频流的交互电视系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN01804238.4A Expired - Fee Related CN1193611C (zh) 2000-01-28 2001-01-10 同时发送和再现多个运动图像专家组编码视频流的交互电视系统和方法

Country Status (11)

Country Link
EP (2) EP1262068B8 (zh)
JP (2) JP4084941B2 (zh)
CN (2) CN1173570C (zh)
AU (2) AU777694B2 (zh)
BR (2) BRPI0107872B1 (zh)
CA (2) CA2397529A1 (zh)
DK (1) DK1262068T3 (zh)
ES (1) ES2555953T3 (zh)
HK (1) HK1053564A1 (zh)
PT (1) PT1262068E (zh)
WO (2) WO2001056293A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501465A (zh) * 2013-09-06 2014-01-08 上海骋娱传媒技术有限公司 一种用于视频资源访问控制的方法与设备
CN103501466A (zh) * 2013-09-06 2014-01-08 上海骋娱传媒技术有限公司 一种用于视频资源访问控制的方法与设备
CN103907356A (zh) * 2011-10-28 2014-07-02 株式会社Gnzo 字节对齐装置以及字节对齐方法
CN105451022A (zh) * 2015-11-17 2016-03-30 深圳联友科技有限公司 一种将多路视频流压缩成一路视频流的方法及系统
CN114125505A (zh) * 2016-05-26 2022-03-01 弗劳恩霍夫应用研究促进协会 针对交互式客户端的全景视频的广播流

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040210947A1 (en) 2003-04-15 2004-10-21 Shusman Chad W. Method and apparatus for interactive video on demand
US20030196206A1 (en) 2002-04-15 2003-10-16 Shusman Chad W. Method and apparatus for internet-based interactive programming
US20040032486A1 (en) 2002-08-16 2004-02-19 Shusman Chad W. Method and apparatus for interactive programming using captioning
AU2003297277B2 (en) * 2002-11-14 2007-07-19 Opentv, Inc. Positioning of images in a data stream
US20040111526A1 (en) * 2002-12-10 2004-06-10 Baldwin James Armand Compositing MPEG video streams for combined image display
US8385426B2 (en) 2002-12-16 2013-02-26 Entropic Communications, Inc. Method for a mosaic program guide
US7519274B2 (en) * 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
FR2872988B1 (fr) * 2004-07-12 2006-10-27 Canon Kk Procede et dispositif de creation d'un flux video formant une mosaique genere a partir d'une pluralite de flux video
CN100515056C (zh) * 2006-11-09 2009-07-15 华为技术有限公司 在同一画面中显示多个频道信息的方法、系统、装置及机顶盒
ES2675950T3 (es) 2007-05-30 2018-07-13 Orange Generación de un mosaico de TV personalizable
GB2457253B (en) * 2008-02-07 2010-08-11 Ericsson Telefon Ab L M Controlling media distribution
DK2596640T3 (en) * 2010-07-21 2016-12-05 ERICSSON TELEFON AB L M (publ) PICTURE encoding and decoding
US9414065B2 (en) 2010-11-01 2016-08-09 Nec Corporation Dynamic image distribution system, dynamic image distribution method and dynamic image distribution program
WO2013106390A1 (en) 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
JP5812028B2 (ja) * 2013-03-08 2015-11-11 ソニー株式会社 映像処理装置および映像処理方法
WO2014145921A1 (en) 2013-03-15 2014-09-18 Activevideo Networks, Inc. A multiple-mode system and method for providing user selectable video content
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
FR3030978A1 (fr) * 2014-12-23 2016-06-24 Orange Generation d'une mosaique de videos
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
US10264293B2 (en) 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
JP6387511B2 (ja) * 2016-06-17 2018-09-12 株式会社アクセル 画像データ処理方法
WO2018105515A1 (ja) 2016-12-09 2018-06-14 株式会社アクセル 画像データ処理方法
JP6732337B2 (ja) * 2016-12-09 2020-07-29 株式会社アクセル 画像データ処理方法
EP4017001A1 (en) * 2020-12-17 2022-06-22 Axis AB Method and digital video camera for forming a combined image frame of a combined video stream

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481297A (en) * 1994-02-25 1996-01-02 At&T Corp. Multipoint digital video communication system
ES2165417T3 (es) * 1994-04-15 2002-03-16 Koninkl Philips Electronics Nv Disposicion para la decodificacion de señales digitales de video.
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder
JPH1023348A (ja) * 1996-05-02 1998-01-23 Matsushita Electric Ind Co Ltd テレビ放送番組送信装置，受信装置
US5995146A (en) * 1997-01-24 1999-11-30 Pathway, Inc. Multiple video screen display system
JP3662129B2 (ja) * 1997-11-11 2005-06-22 松下電器産業株式会社 マルチメディア情報編集装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907356A (zh) * 2011-10-28 2014-07-02 株式会社Gnzo 字节对齐装置以及字节对齐方法
CN103501465A (zh) * 2013-09-06 2014-01-08 上海骋娱传媒技术有限公司 一种用于视频资源访问控制的方法与设备
CN103501466A (zh) * 2013-09-06 2014-01-08 上海骋娱传媒技术有限公司 一种用于视频资源访问控制的方法与设备
CN105451022A (zh) * 2015-11-17 2016-03-30 深圳联友科技有限公司 一种将多路视频流压缩成一路视频流的方法及系统
CN114125505A (zh) * 2016-05-26 2022-03-01 弗劳恩霍夫应用研究促进协会 针对交互式客户端的全景视频的广播流
US12088863B2 (en) 2016-05-26 2024-09-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Broadcast streaming of panoramic video for interactive clients

Also Published As

Publication number Publication date
EP1262068A4 (en) 2003-06-04
AU773588B2 (en) 2004-05-27
WO2001056293A1 (en) 2001-08-02
EP1262068B1 (en) 2015-09-30
CN1173570C (zh) 2004-10-27
AU777694B2 (en) 2004-10-28
PT1262068E (pt) 2015-12-28
CN1397135A (zh) 2003-02-12
CA2397645C (en) 2005-08-16
HK1053564A1 (en) 2003-10-24
BR0107875A (pt) 2002-11-05
EP1281280A1 (en) 2003-02-05
CA2397529A1 (en) 2001-08-02
JP4188599B2 (ja) 2008-11-26
WO2001056292A1 (en) 2001-08-02
CN1193611C (zh) 2005-03-16
JP2003521176A (ja) 2003-07-08
JP4084941B2 (ja) 2008-04-30
BRPI0107872B1 (pt) 2015-10-27
AU2938201A (en) 2001-08-07
ES2555953T3 (es) 2016-01-11
BRPI0107875B1 (pt) 2015-09-08
EP1262068A1 (en) 2002-12-04
DK1262068T3 (en) 2016-01-11
AU2638801A (en) 2001-08-07
EP1281280A4 (en) 2003-06-04
BR0107872A (pt) 2002-11-05
EP1262068B8 (en) 2015-11-04
JP2003521177A (ja) 2003-07-08
CA2397645A1 (en) 2001-08-02

Similar Documents

Publication Publication Date Title
CN1173570C (zh) 同时发送和再现多个编码视频流的交互式电视系统和方法
CN1156160C (zh) 在交互电视应用中滚动编码mpeg静止画面的编码系统和方法
US6539545B1 (en) Interactive television system and method for simultaneous transmission and rendering of multiple encoded video streams
US6931660B1 (en) Interactive television system and method for simultaneous transmission and rendering of multiple MPEG-encoded video streams
CN100352285C (zh) 先进电视中时域和分辨率的分层方法
US9113233B2 (en) System, apparatus, and method for preparing images for integration and combining images into an integrated image
CN1378387A (zh) 用于生成用户镶嵌图象的视频传输和处理系统
CN1535012A (zh) 用于从第一组信号切换到第二组信号的系统
CN1801885A (zh) 用于执行画中画功能的多媒体信号匹配系统和方法
CN1863307A (zh) 一种网络电视业务接收方法及系统
CN1379594A (zh) 对被编码的视频信号同时进行格式压缩和解码的方法
CN1867048A (zh) 一种视频节目中字幕的显示方法及系统
CN1893640A (zh) 数字广播系统中的信道转换
CN1165175C (zh) 多路传输设备和方法、图象输出设备和方法
KR20050088433A (ko) 텔레비전 디스플레이 유닛
CN1309255C (zh) 控制点播数据客户机访问
US8813128B2 (en) Method and system for providing a multi-decoder based channel surfing service
CN1520689A (zh) 通过交替使用带宽实现最优化广告或其他节目片断的传输的技术
CN110166824A (zh) 基于机顶盒的电视直播切换台方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20041027