CN100542247C - 对主视频信号和一个或更多个副视频信号进行编解码的方法和设备 - Google Patents

对主视频信号和一个或更多个副视频信号进行编解码的方法和设备 Download PDF

Info

Publication number
CN100542247C
CN100542247C CNB2005800405191A CN200580040519A CN100542247C CN 100542247 C CN100542247 C CN 100542247C CN B2005800405191 A CNB2005800405191 A CN B2005800405191A CN 200580040519 A CN200580040519 A CN 200580040519A CN 100542247 C CN100542247 C CN 100542247C
Authority
CN
China
Prior art keywords
video signal
main video
signal
auxiliary
auxiliary video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005800405191A
Other languages
English (en)
Other versions
CN101065962A (zh
Inventor
卡斯滕·赫佩尔
迪尔克·冈多尔夫
约布斯特·赫雷恩特
拉尔夫·奥斯特曼
乌韦·扬森
哈特穆特·彼得斯
安德烈·谢温措
马尔科·温特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101065962A publication Critical patent/CN101065962A/zh
Application granted granted Critical
Publication of CN100542247C publication Critical patent/CN100542247C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

通常，直接将辅助PIP视频信号编辑为主视频信号，然后将它们联合编码为单个编码后的视频流。然而，为了使用户完全控制编码后的视频信号的PIP呈现，每个PIP信号需要单独的编码，以及在接收机中，所显示的每个视频流需要一个视频解码器。根据本发明，实现了时间轴相关副视频信号的类PIP呈现，它仅使用一个编码后的视频流、因而使用单个视频解码器来实现。当编码时，将视频平面在逻辑上分为主视频窗口和承载了的一个或更多个PIP窗口的副面板区域。在解码后，主视频区域显示在中心、或拉伸至完全的显示器大小。并不直接显示副面板的内容，而是依据辅助信息，将该副面板的一些部分覆盖在主视频窗口上。由于不再将类PIP信号硬编码为主视频窗口，所以用户控制PIP视频信号中每一个的显示或隐藏。

Description

对主视频信号和一个或更多个副视频信号进行编解码的方法和设备
技术领域
本发明涉及用于对主视频信号和一个或更多个副视频信号进行编码、解码及呈现的方法和设备。
背景技术
通常，在显示器上对数字编码后的视频信号进行画中画(PIP)呈现需要针对每个所显示的视频流具有一个视频解码器。在电视广播应用中，由于通常不同的视频信号是无关的，所以这是不可避免的。然而，在诸如光盘之类的存储介质的环境下，在著作时间内已经知道了所有的内容。如果主视频流和辅助PIP视频流具有联合时间轴(jointtimeline)，则因而现有技术水平是将辅助PIP视频信号直接编辑为基本视频，然后将它们联合编码为单个编码的视频流。然后，呈现于屏幕的预定位置中的副视频信号可以用作‘视频菜单按钮’，以便将当前主视频切换至视频菜单按钮中预览的其它视频流之一。如例如在US-A-2004/0126085中所示，典型的应用将会是在多角度存储介质中的不同摄像机角度之间进行屏幕切换。
从3D图形设计中已知，可以在单个图像(例如，JPEG图像)中联合地传输用于场景中的各种不同对象的静态图像纹理。
发明内容
该方案的主要缺点在于，需要预先设计主视频信号和一个或更多个辅助PIP类型的视频信号组的任何组合。除非主视频的附加版本(不包括PIP视频信号)是另外地放在盘上的，否则不可以关闭类PIP视频信号，这使该主视频所需的存储容量有效地加倍。
本发明要解决的问题是，能够仅使用单个视频解码器来实现画中画视频显示，并且对相关视频信号进行相应地编码。通过权利要求1和3中公开的方法来解决该问题。在权利要求2和4中公开了利用相应方法的设备。
根据本发明：
-能够实现时间轴相关的副视频信号的类PIP呈现；
-从而给出了对于类PIP信号呈现的用户控制；
-而仅使用一个编码后的视频流获得以上能力。
尤其在高分辨率视频的情况下，可以为可选PIP视频信号牺牲一些主视频分辨率。如图1所示，将具有例如1920*1080个像素的视频平面在逻辑上分为例如1680*1080个像素的主视频窗口MNVID和承载了一个或更多个PIP窗口PIP 1至PIP 5的240*1080个像素的副面板。
在解码之后，例如如图2所示地在中心显示主视频窗口MNVID，或者将其拉伸或缩放至完全的1920*1080的显示器大小。依据所选显示器选项，解码后像素的纵宽比(缩放之前)将会是方形(在中心的显示器中)或非方形。
并不直接显示副面板的视频内容，而是依据辅助信息，将该副面板的一些部分覆盖在主视频窗口MNVID上。如图2所示，该辅助信息包含与副面板视频的逻辑内容(例如，大小为240*160个像素的1至6副视频信号)、以及在主视频之上的这些副视频信号中每个的所期望的缩放和位置有关的信息。
由于不再将类PIP信号“硬编码”为主视频窗口的事实，所以用户控制这些附加视频信号中每一个的显示和隐藏。另外，可以使用户能够控制在例如图3所示的显示器的任何位置处对PIP窗口进行定位或缩放。
这些操作中没有一个操作需要对独立的视频流进行解码和呈现，而在现有技术中需要。因此，显示、隐藏、缩放或重新定位操作既不导致时间延迟(即，视频回放的停顿)、也不会需要附加的存储空间。
在编码器侧，有利地，限制主视频信号和辅助(PIP)视频信号的位置和大小，从而使它们的边界与由编解码器编码的实体的边界一致，典型地，块或宏块的大小为16*16个像素。
此外，可以限制应用于先进大多数编解码器的时间预测，从而对于给定的块或宏块，仅使用来自相同逻辑信号的预测数据。即，仅从属于主视频区域的像素中预测属于主视频区域的宏块。这同样也适用于PIP信号中的每一个。
原理上，本发明的方法适于对主视频信号和一个或更多个副视频信号进行编码，所述方法包括以下步骤：
-把所述主视频信号设置成仅与预定图像区域的主要部分相关；
-把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关；
-对所述主视频信号和所述一个或更多个副视频信号一起编码，以提供单个编码后的视频信号；
-生成与所述一个或更多个副视频信号有关的位置和缩放信息；
-将所述单个编码后的视频信号的数据与所述编码后的位置和缩放信息的数据组合，用于提供对于存储介质可控制的组合数据流。
原理上，本发明的设备适于对主视频信号和一个或更多个副视频信号进行编码，所述设备包括：
-设置装置，适于把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及适于把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关；
-编码装置，适于对所述主视频信号和所述一个或更多个副视频信号一起编码，以提供单个编码后的视频信号；
-生成装置，适于生成与所述一个或更多个副视频信号有关的位置和缩放信息；
-组合装置，适于将所述单个编码后的视频信号的数据与所述编码后的位置和缩放信息的数据组合，用于提供针对存储介质可控制的组合数据流。
原理上，本发明的方法适于对主视频信号和一个或更多个副视频信号进行解码，并适于呈现所述主视频信号和零个或多个所述副视频信号，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，所述方法包括以下步骤：
-接收来自存储介质的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据；
-利用单个解码器，对所述主视频信号和所述一个或更多个副视频信号进行解码，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；
-从所述组合数据流中捕获与所述一个或更多个副视频信号有关的位置和缩放信息数据；
-将所述位置和缩放信息数据应用至所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
原理上，本发明的设备适于对主视频信号和一个或更多个副视频信号进行解码，并适于呈现所述主视频信号和零个或多个所述副视频信号，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，所述设备包括：
-组合装置，适于接收来自存储介质的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据，以及所述装置包括单个解码器，用于对所述主视频信号和所述一个或更多个副视频信号进行解码，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；
-捕获装置，适于从所述组合数据流中捕获与所述一个或更多个副视频信号有关的位置和缩放信息数据；
-应用装置，适于将所述位置和缩放信息数据应用至所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
在各个从属权利要求中公开了本发明有利的附加实施例。
附图说明
参照附图，对本发明的示例性实施例进行描述，其中：
图1示出了存储在介质上的主视频画面和PIP画面的逻辑数据结构；
图2示出了用于呈现重放的PIP画面的第一示例；
图3示出了用于呈现重放的PIP画面的第二示例；
图4示出了利用仿真PIP画面生成多个视频流；
图5示出了对主图像和PIP画面一起进行解码、合成和显示；
图6示出了在显示主图像时隐藏PIP画面；
图7示出了合成器的框图。
具体实施方式
在图4中，例如三个视频图像或视频图像序列源级VID1、VID2和VID3示出了三个不同的源主视频图像。这些级中的每一个分别将它的输出信号馈入相应的组合器CMB1、CMB2、CMB3，并且分别馈入相应的下转换器DWNC1、DWNC2、DWNC3，形成了相应的PIP画面。组合器可以将主视频画面与源自另一视频图像或视频图像序列源的一个或更多个PIP画面进行组合，使得PIP数据被设置为与相应主图像数据相邻(例如，以类似于在该图的顶部和底部处所示的方式)进行设置。组合器CMB1、CMB2和CMB3的输出信号经过相应的视频编码器ENC1、ENC2和ENC3，其后用于盘控制级DMST，以将这些编码后的视频数据与相关的PIP位置和缩放信息数据项目、并最终与按钮命令数据进行组合，以便控制存储介质STM。按钮命令数据可以用于相应的存储介质播放器，以跳至作为在用户激活显示PIP画面VIDn的按钮时显示的主画面的源画面VIDn，其中，在本例中n＝1至3。例如，视频编码器使用MPEG-1、MPEG-2、MPEG-4、MPEG-4/AVC或VC-1编码。
在图5中，示出了用于对主图像和PIP画面一起解码、合成和显示的框图。使用拾取和信道解码器(未示出)，从存储介质STM中读取包括编码后的主画面数据和PIP画面数据的数据。如在图4和5的项部所示的设置，单个视频解码器DEC对包括主画面数据和PIP画面数据的编码后的画面数据进行解码。视频解码器DEC使用相应类型的解码，即MPEG-1、MPEG-2、MPEG-4、MPEG-4/AVC或VC-1解码。在位置和缩放解码器DECPSC中对相关的PIP位置和缩放信息数据项目进行解码。该解码器、以及按钮命令数据解码器(未示出)最终将相应信息项目提供给合成器CPSTR。合成器CPSTR包括存储解码后的帧的缓冲器，将这些信息项目应用至解码后的视频数据，并输出以用户所期望的方式设置的主画面和PIP画面数据MPDPIPD。可以通过帧缓冲器内的快速块移动操作，或者在多个视频层可用的显示过程的情况下，通过将PIP视频数据移动至另一层进行显示，可以执行用于覆盖类PIP视频信号的处理。
图5的上半部分示出了重放处理，其中，V1是主画面，V2和V3是两个PIP画面，而图5的下半部分示出了在用户按下了V2PIP按钮之后用于重放处理的相同级DEC、DECPSC和CPSTR，其中，V2是主画面，V1和V3是两个PIP画面。
从所述存储介质中取出位置和缩放信息，或者由用户生成、控制或修改位置和缩放信息。
在图6中，示出了用于对主图像进行解码、合成和显示或不具有PIP画面的框图，即，在显示主图像时，可以隐藏PIP画面。使用拾取和信道解码器(未示出)，从存储介质STM中读取包括编码后的主画面数据和PIP画面数据的数据。如在图6的顶部所示的设置，单个视频解码器DEC对包括主画面数据和PIP画面数据的编码后的画面数据进行解码。视频解码器DEC使用相应类型的解码，即MPEG-1、MPEG-2、MPEG-4、MPEG-4/AVC或VC-1解码。在位置和缩放解码器DECPSC中对相关的PIP位置和缩放信息数据项目进行解码。该解码器、以及按钮命令数据解码器(未示出)最终将相应信息项目提供给合成器CPSTR。合成器CPSTR包括存储解码后的帧的缓冲器，将这些信息项目应用至解码后的视频数据，并输出以用户所期望的方式设置的主画面和PIP画面数据MPDPIPD。可以通过帧缓冲器内的快速块移动操作，或者在多个视频层可用的显示过程的情况下，通过将PIP视频数据移动至另一层进行显示，可以执行用于覆盖类PIP视频信号的处理。合成器对与一个或更多个PIP画面的显示状态相关的附加显示PIP输入信号进行接收和评估。该信号的‘真’状态SPIPTR使一个或更多个PIP画面显示在图6的上半部分。
图6的下半部分示出了在用户按下了‘隐藏PIP’按钮之后用于重放处理的相同级DEC、DECPSC和CPSTR，合成器接收其状态为‘假’的显示PIP输入信号SPIPF，其中V1仍然是主画面，而V2和V3PIP画面不再包含于要显示的视频数据中。
对于副视频信号中的每一个，使用SPIPTR和SPIPF数据来控制它是否与主视频信号一起呈现。
在显示过程中，PIP视频信号的编码后的像素纵宽比取决于视频缩放器(如果有的话)的位置。如果在对显示缓冲器进行缩放之前覆盖了PIP视频信号，则主视频和PIP视频均需要具有适合的非方形像素。如果PIP视频呈现于并不进行缩放的单独视频层、或者如果不对主显示缓冲器进行缩放，则PIP视频必须具有方形像素纵宽比。这假设显示设备具有方形像素，如在即将到来的1920*1080个像素的显示标准中的情况下一样。
在图7合成器CPSTR的更加详细的框图中，将来自图5和6中DEC的解码后的视频输出信号存储在帧缓冲器FRBUF中。包括主视频信号的帧缓冲器输出仅经过第一缩放器SCLR1，在其中对图像进行水平和/或垂直拉伸，以使该信号占据整个显示格式，例如，16:9或4:3格式。将解码后的PIP画面数据从帧缓冲器FRBUF传输至PIP缓冲器PIPBUF，该PIP缓冲器PIPBUF的输出经过第二缩放器SCLR2，在该第二缩放器SCLR2中，以与在第一缩放器SCLR1中执行的缩放相匹配的程度来对PIP画面或多个PIP画面进行水平或垂直拉伸。可选地，由用户来控制缩放器SCLR1和/或SCLR2，以便定制PIP画面的缩放。叠加器SIMPR将缩放后的PIP画面数据与缩放后的主画面数据进行组合，并相应地输出组合后的画面数据MPDPIPD。第二缩放器SCLR2和叠加器SIMPR接收来自图5和6的位置和缩放解码器DECPSC的解码后的PIP位置和缩放信息数据项目。如结合图6所描述的，叠加器SIMPR还可以对显示或隐藏PIP输入信号SPIPTR或SPIPF进行接收和评估。
有利地，本发明在不需要第二视频解码器或使存储空间加倍的情况下便于显示可选画中画视频。仅存在主视频水平分辨率的较小降低。本发明可以用于光记录或硬盘系统(例如，DVD，HD-DVD，BD)，以及除了单个视频流的简单解码和显示之外，在显示之前，播放器或接收机中仅需要一些附加的视频数据传输。

Claims (18)

1、一种对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行编码的方法，所述方法包括以下步骤：
-把所述主视频信号(MNVID)设置(CMB1、CMB2、CMB3)成仅与预定图像区域的主要部分相关；
-把所述一个或更多个副视频信号(PIP1、PIP2、PIP3)设置(CMB1、CMB2、CMB3)成与所述预定图像区域的剩余部分相关，其中，所述剩余部分表示所述预定图像区域中的副面板；
-对所述主视频信号和所述一个或更多个副视频信号一起编码(ENC1、ENC2、ENC3)，以提供单个编码后的视频信号，从而在所述编码中使用时间预测，其中，所述主视频信号和所述一个或更多个副视频信号每个均表示不同的逻辑信号，以及限制所述时间预测，从而对于给定的像素块或像素宏块，仅使用来自相同逻辑信号的预测数据；
-生成与所述一个或更多个副视频信号有关的位置和缩放信息(PSCI)；
-将所述单个编码后的视频信号的数据与所述位置和缩放信息的数据组合(DMST)，用于提供针对存储介质(STM)可控制的组合数据流。
2、一种对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行解码、并呈现所述主视频信号和零个或多个所述副视频信号的方法，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，其中，所述剩余部分表示所述预定图像区域中的副面板，以及对所述主视频信号和所述一个或更多个副视频信号一起编码(ENC1、ENC2、ENC3)，以提供单个编码后的视频信号，从而在所述编码中使用时间预测，所述主视频信号和所述一个或更多个副视频信号每个均表示不同的逻辑信号，并且限制所述时间预测，从而对于给定的像素块或像素宏块，仅使用来自相同逻辑信号的预测数据，所述解码方法包括以下步骤：
-接收来自存储介质(STM)的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据；
-利用单个解码器，对所述主视频信号和所述一个或更多个副视频信号进行解码(DEC)，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；
-从所述组合数据流中捕获(DECPSC)与所述一个或更多个副视频信号有关的位置和缩放信息数据；
-将所述位置和缩放信息数据应用至(CSPTR)所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
3、如权利要求2所述的方法，其中，通过对图像进行水平和/或垂直拉伸，以使该图像占据整个显示格式，来对所述主视频信号进行缩放(SCLR1)以用于所述呈现，或者由用户控制(SCLR1，SCLR2)所述主视频信号和PIP图像的水平和/或垂直缩放。
4、如权利要求3所述的方法，其中，对所述一个或更多个副视频信号进行缩放(SCLR2)以用于所述呈现，由所述位置和缩放信息数据来控制所述缩放。
5、如权利要求2或3所述的方法，其中，对于所述一个或更多个副视频信号中的每一个，控制(SPIPTR、SPIPF)它是否与所述主视频信号一起呈现。
6、如权利要求2或3所述的方法，其中，将呈现辅助信号用作用户按钮，该用户按钮用于从所述存储介质中进行捕获、对与所述呈现辅助信号相对应的不同的主信号(V2)进行解码和呈现，并用于呈现所述不同的主信号而不是当前的主信号(V1)。
7、如权利要求2或3所述的方法，其中，从所述存储介质中取出所述位置和缩放信息数据，或者由用户生成、控制或修改所述位置和缩放信息数据。
8、如权利要求1或2所述的方法，其中，所述存储介质是DVD、HD-DVD或BD盘。
9、如权利要求1或2所述的方法，其中，所述编码或解码分别是MPEG-1、MPEG-2、MPEG4、MPEG-4/AVC或VC-1编码或解码。
10、一种用于对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行编码的设备，所述设备包括：
-设置装置(CMB1、CMB2、CMB3)，适于把所述主视频信号(MNVID)设置成仅与预定图像区域的主要部分相关，以及适于把所述一个或更多个副视频信号(PIP1、PIP2、PIP3)设置成与所述预定图像区域的剩余部分相关，其中，所述剩余部分表示所述预定图像区域中的副面板；
-编码装置(ENC1、ENC2、ENC3)，适于对所述主视频信号和所述一个或更多个副视频信号一起编码，以提供单个编码后的视频信号，从而在所述编码中使用时间预测，其中，所述主视频信号和所述一个或更多个副视频信号每个均表示不同的逻辑信号，以及限制所述时间预测，从而对于给定的像素块或像素宏块，仅使用来自相同逻辑信号的预测数据；
-生成装置(PSCI)，适于生成与所述一个或更多个副视频信号有关的位置和缩放信息；
-组合装置(DMST)，适于将所述单个编码后的视频信号的数据与所述位置和缩放信息的数据组合，用于提供针对存储介质(STM)可控制的组合数据流。
11、一种用于对主视频信号(MNVID)和一个或更多个副视频信号(PIP1、PIP2、PIP3)进行解码、并用于呈现所述主视频信号和零个或多个所述副视频信号的设备，其中，最初把所述主视频信号设置成仅与预定图像区域的主要部分相关，以及把所述一个或更多个副视频信号设置成与所述预定图像区域的剩余部分相关，其中，所述剩余部分表示所述预定图像区域中的副面板，以及对所述主视频信号和所述一个或更多个副视频信号一起编码(ENC1、ENC2、ENC3)，以提供单个编码后的视频信号，从而在所述编码中使用时间预测，所述主视频信号和所述一个或更多个副视频信号每个均表示不同的逻辑信号，并且限制所述时间预测，从而对于给定的像素块或像素宏块，仅使用来自相同逻辑信号的预测数据，所述解码设备包括：
-接收装置(DEC)，适于接收来自存储介质(STM)的组合数据流，所述组合数据流包括用于所述主视频信号和所述一个或更多个副视频信号的数据；并且所述接收装置包括单个解码器，用于对所述主视频信号和所述一个或更多个副视频信号进行解码，以提供解码后的主视频信号和一个或更多个解码后的副视频信号；
-捕获装置(DECPSC)，适于从所述组合数据流中捕获与所述一个或更多个副视频信号有关的位置和缩放信息数据；
-应用装置(CPSTR)，适于将所述位置和缩放信息数据应用至所述解码后的主视频信号和零个或多个所述解码后的副视频信号。
12、如权利要求11所述的设备，其中，通过对图像进行水平和/或垂直拉伸，以使该图像占据整个显示格式，来对所述主视频信号进行缩放(SCLR1)以用于所述呈现，或者由用户控制(SCLR1，SCLR2)所述主视频信号和PIP图像的水平和/或垂直缩放。
13、如权利要求12所述的设备，其中，对所述一个或更多个副视频信号进行缩放(SCLR2)以用于所述呈现，由所述位置和缩放信息数据来控制所述缩放。
14、如权利要求11或12所述的设备，其中，对于所述一个或更多个副视频信号中的每一个，控制(SPIPTR、SPIPF)它是否与所述主视频信号一起呈现。
15、如权利要求11或12所述的设备，其中，将呈现辅助信号用作用户按钮，该用户按钮用于从所述存储介质中进行捕获、对与所述呈现辅助信号相对应的不同的主信号(V2)进行解码和呈现，并用于呈现所述不同的主信号而不是当前的主信号(V1)。
16、如权利要求11或12所述的设备，其中，从所述存储介质中取出所述位置和缩放信息数据，或者由用户生成、控制或修改所述位置和缩放信息数据。
17、如权利要求10或11所述的设备，其中，所述存储介质是DVD、HD-DVD或BD盘。
18、如权利要求10或11所述的设备，其中，所述编码或解码分别是MPEG-1、MPEG-2、MPEG4、MPEG-4/AVC或VC-1编码或解码。
CNB2005800405191A 2004-12-02 2005-11-14 对主视频信号和一个或更多个副视频信号进行编解码的方法和设备 Expired - Fee Related CN100542247C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04090477.3 2004-12-02
EP04090477A EP1667448A1 (en) 2004-12-02 2004-12-02 Method and apparatus for encoding and for decoding a main video signal and one or more auxiliary video signals

Publications (2)

Publication Number Publication Date
CN101065962A CN101065962A (zh) 2007-10-31
CN100542247C true CN100542247C (zh) 2009-09-16

Family

ID=34928846

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800405191A Expired - Fee Related CN100542247C (zh) 2004-12-02 2005-11-14 对主视频信号和一个或更多个副视频信号进行编解码的方法和设备

Country Status (6)

Country Link
US (1) US20080043140A1 (zh)
EP (2) EP1667448A1 (zh)
JP (1) JP2008522519A (zh)
KR (1) KR20070089146A (zh)
CN (1) CN100542247C (zh)
WO (1) WO2006058838A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060075449A1 (en) * 2004-09-24 2006-04-06 Cisco Technology, Inc. Distributed architecture for digital program insertion in video streams delivered over packet networks
EP1703513A1 (en) * 2005-03-15 2006-09-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal
US7680047B2 (en) * 2005-11-22 2010-03-16 Cisco Technology, Inc. Maximum transmission unit tuning mechanism for a real-time transport protocol stream
JP4625781B2 (ja) * 2006-03-22 2011-02-02 株式会社東芝 再生装置
US8326927B2 (en) * 2006-05-23 2012-12-04 Cisco Technology, Inc. Method and apparatus for inviting non-rich media endpoints to join a conference sidebar session
US8358763B2 (en) * 2006-08-21 2013-01-22 Cisco Technology, Inc. Camping on a conference or telephony port
US8121277B2 (en) * 2006-12-12 2012-02-21 Cisco Technology, Inc. Catch-up playback in a conferencing system
EP4210330A1 (en) 2007-04-12 2023-07-12 Dolby International AB Tiling in video decoding and encoding
JP2009027552A (ja) * 2007-07-20 2009-02-05 Funai Electric Co Ltd 光ディスク再生装置
US8457214B2 (en) * 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
US8472779B2 (en) * 2008-06-17 2013-06-25 Microsoft Corporation Concurrently displaying multiple trick streams for video
WO2010085361A2 (en) 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
JP5722349B2 (ja) 2010-01-29 2015-05-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ブロックに基づくインターリーブ
CN101860711B (zh) * 2010-06-13 2012-01-11 深圳市茁壮网络股份有限公司 一种数字电视上显示小视频的方法及装置
EP2424251A3 (en) * 2010-08-23 2012-12-26 Lg Electronics Inc. Method for providing 3d video data in a 3dtv
US9131023B2 (en) 2012-08-09 2015-09-08 Allan VOSS Systems and methods for enhancing multimedia experience
US10204433B2 (en) 2014-10-01 2019-02-12 Sony Corporation Selective enablement of sign language display
US10097785B2 (en) * 2014-10-01 2018-10-09 Sony Corporation Selective sign language location
CN104765696A (zh) * 2015-04-07 2015-07-08 天脉聚源（北京）教育科技有限公司 一种数据处理方法及装置
CN106341622B (zh) * 2015-07-06 2020-01-24 阿里巴巴集团控股有限公司 一种多路视频流的编码方法及装置
US10567703B2 (en) 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation
CN107948710B (zh) * 2017-12-11 2019-09-20 深圳市东微智能科技股份有限公司 媒体源组合显示方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040067A (en) * 1988-07-06 1991-08-13 Pioneer Electronic Corporation Method and device for processing multiple video signals

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01208752A (ja) * 1988-02-15 1989-08-22 Sanyo Electric Co Ltd 予約装置付の複数チャンネル同時録画装置
JPH04267689A (ja) * 1991-02-21 1992-09-24 Canon Inc 画像処理方法
JPH11346370A (ja) * 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
JP2001333348A (ja) * 2000-05-24 2001-11-30 Minolta Co Ltd 送信装置、受信装置、放送システムおよび放送方法
JP2003009052A (ja) * 2001-06-21 2003-01-10 Nippon Computer:Kk 同時録画再生方法及び同時録画再生装置
KR100539929B1 (ko) * 2001-12-15 2005-12-28 삼성전자주식회사 디지털 주파수 변조기
JP2003198979A (ja) * 2001-12-28 2003-07-11 Sharp Corp 動画像視聴装置
GB2392037B (en) * 2002-08-14 2004-10-06 Tcv Ltd Multiple mode television processor
JP2004104477A (ja) * 2002-09-10 2004-04-02 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US7516203B2 (en) * 2002-10-11 2009-04-07 Sony Corporation Network control verification system, control communication terminal, server apparatus, and network control verification method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040067A (en) * 1988-07-06 1991-08-13 Pioneer Electronic Corporation Method and device for processing multiple video signals

Also Published As

Publication number Publication date
WO2006058838A1 (en) 2006-06-08
EP1817906A1 (en) 2007-08-15
US20080043140A1 (en) 2008-02-21
JP2008522519A (ja) 2008-06-26
EP1667448A1 (en) 2006-06-07
KR20070089146A (ko) 2007-08-30
CN101065962A (zh) 2007-10-31

Similar Documents

Publication Publication Date Title
CN100542247C (zh) 对主视频信号和一个或更多个副视频信号进行编解码的方法和设备
TW406512B (en) Temporal and spatial scaleable coding for video object planes
CN105359512B (zh) 用于交互性的运动约束贴片集合sei消息的扩展
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
US9124858B2 (en) Content processing apparatus for processing high resolution content and content processing method thereof
US7893999B2 (en) Simultaneous video and sub-frame metadata capture system
US7836193B2 (en) Method and apparatus for providing graphical overlays in a multimedia system
CN1141838C (zh) 用于提供屏幕显示数据的方法和装置
US20070268406A1 (en) Video processing system that generates sub-frame metadata
US20050041736A1 (en) Stereoscopic television signal processing method, transmission system and viewer enhancements
WO2011039928A1 (ja) 映像信号処理装置及び映像信号処理方法
JPH09512148A (ja) ディジタルビデオ信号送信及び受信装置
CN104584562A (zh) 发送设备、发送方法、接收设备和接收方法
US20100329640A1 (en) Recording/Reproducing Apparatus
US9723308B2 (en) Image processing apparatus and image processing method
JP5508024B2 (ja) ビデオ信号を符号化するための方法及びシステム、符号化されたビデオ信号、並びに、ビデオ信号を復号するための方法及びシステム
WO2009093557A1 (ja) マルチ画面表示装置
KR20120127605A (ko) 디지털 비디오 스트림 내부의 정보 및/또는 애플리케이션 데이터를 전달하기 위한 방법, 및 이러한 비디오 스트림을 생성하고 재생하기 위한 관련 디바이스들
EP1014713A1 (en) Method and apparatus for providing OSD data for OSD display in a video signal having an encoded format
US20230164370A1 (en) Signal processing device and image display device comprising same
US20180199043A1 (en) Image decoding apparatus, image transmission apparatus, image processing system, image decoding method, and image transmission method using range information
JP2003061101A (ja) 画像復号化方法及び装置
US20020051495A1 (en) Video decoding method, video decoding apparatus, and video decoding program storage medium
KR100686137B1 (ko) 디지털 방송 수신기 및 캡처된 이미지 편집 및 저장 방법
JP2001218206A (ja) 画像符号化装置及び方法、媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090916

Termination date: 20121114