CN101816179A - 用于编码视频数据信号的方法与系统、编码的视频数据信号、用于解码视频数据信号的方法与系统 - Google Patents

用于编码视频数据信号的方法与系统、编码的视频数据信号、用于解码视频数据信号的方法与系统 Download PDF

Info

Publication number
CN101816179A
CN101816179A CN200880108524A CN200880108524A CN101816179A CN 101816179 A CN101816179 A CN 101816179A CN 200880108524 A CN200880108524 A CN 200880108524A CN 200880108524 A CN200880108524 A CN 200880108524A CN 101816179 A CN101816179 A CN 101816179A
Authority
CN
China
Prior art keywords
video data
bit stream
data signal
signal
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880108524A
Other languages
English (en)
Inventor
W·H·A·布鲁尔斯
A·P·H·鲍格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority to CN201510347919.2A priority Critical patent/CN104935956B/zh
Publication of CN101816179A publication Critical patent/CN101816179A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1881—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with schedule organisation, e.g. priority, sequence management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0212—Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave
    • H04W52/0216—Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave using a pre-established activity schedule, e.g. traffic indication frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes
    • H04W56/0015—Synchronization between nodes one node acting as a reference for the others
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

视频数据信号被编码，使得经过编码的视频数据信号至少包括基本视频数据信号以及至少包括辅助视频数据信号。基本视频数据信号和辅助视频数据信号被联合压缩。基本视频数据信号以自包含方式进行压缩，且辅助视频数据信号使用来自基本视频数据信号的数据进行压缩。经过联合压缩的视频数据信号被拆分(BSS)成单独比特流：包含用于基本视频数据信号的数据的至少基本比特流，和包含用于辅助视频数据信号的数据的至少辅助比特流，此后基本比特流和辅助比特流被复用成复用信号，并且基本信号和辅助信号被提供有单独代码(0x1B，0x20)。

Description

用于编码视频数据信号的方法与系统、编码的视频数据信号、用于解码视频数据信号的方法与系统
技术领域
本发明涉及视频编码和解码的领域。本发明提出了用于编码视频数据信号的方法和系统。本发明还涉及编码的视频数据信号。此外，本发明还涉及用于解码视频数据信号的方法和系统。
背景技术
近来，人们对提供增加的视频可能性、例如在3D图像显示器上提供3D图像产生了很大兴趣。相信3D成像将是成像领域中继彩色成像之后的下一次重大革新。我们现在正处于将自动立体显示器引入消费者市场的时候。
从根本上讲，三维印象可以使用立体象对(stereo pair)、即对准于观看者双眼的两个略微不同的图像来创建。
无论使用何种类型的显示器，都必须将3D图像信息提供给显示设备。这通常以视频数据信号的形式进行，该视频数据信号包含数字数据，其时常包含用于左视图和右视图的数据或者在生成多个视图时包含用于多个视图的数据。
增加视频可能性的另一个示例是提供能够提供高频率视频，例如具有的频率是标准帧显示频率两倍的视频的视频数据信号。
再一个示例是提供具有增强分辨率的视频数据信号。
由于数字成像固有的庞大数据量，数字图像信号的处理和/或传输产生了巨大的问题。在很多环境中，可用的处理能力和/或传输容量不足以处理和/或传输高质量视频数据信号。更特别地，每一个数字图像帧是由像素阵列形成的静止图像。这个问题对于所有的视频而言都存在，但是对于3D视频成像，这个问题增大，并且在将产生双倍频率的视频数据信号或在将产生具有增强分辨率的视频数据信号时，同样的问题增大出现。
原始数字信息量通常很大，需要强大的处理能力和/或高的传输速率，而这种强大的处理能力和/或高的传输速率并不是始终可以得到的。已建议了各种压缩方法来减少待传输的数据量，这样的方法包括例如MPEG-2、MPEG-4以及H.263。
已知的压缩方法在一开始是为标准的2D图像而设立的。
举个例子，如果在采集端产生3D信息，则必须发送该信息，且为了在比特率方面具有低的额外开销，需要对3D信息进行压缩。优选地，3D信息的压缩(或编码)是以这样一种方式来执行的，其中能够仅以相对小的调整、使用现有的压缩标准来实施3D信息的压缩。当从视频数据信号包含关于双倍频率信号或增强分辨率的信息的意义上讲增强视频数据信号时，上述情况也适用。
此外，改进的视频信号优选是向后兼容的，也就是说，常规的标准视频设备应该优选地能够显示来自改进视频信号的“好的”视频图像。例如，3D立体信号优选是向后兼容2D的，也就是说，传统的2D设备应该优选能够显示来自3D信号的“好的”2D图像。即使标准的50Hz视频设备自身无法显示100Hz信号，高频100Hz视频数据信号也应该能在该标准的50Hz视频设备上进行显示。同样，具有增强分辨率的视频数据信号(HDTV，高清TV)应该能在标准TV设备上进行显示。
简单地将立体图像压缩成两个独立图像将导致比特率大幅增长。与单(视图)系统(一个单一视图)相比，如果想要保证相同质量，那么单独编码立体象对中的左(L)、右(R)视图实际上将导致比特率加倍。因此，虽然这样的方法确保了2D设备可以显示图像，但其需要将比特率加倍。
在使用其中产生两个以上视图的多视图系统时，数据量增加得甚至更多。
在通过包含关于更高频率视频数据信号的信息来增强视频数据信号时，上述情况适用。将频率加倍将使数据加倍。增加分辨率将产生相同的问题。
就编码效率而言，一种更好的方法是联合压缩两个立体(左和右)或更多视图，或联合压缩高频和低频视频数据信号，或者联合压缩低分辨率和高分辨率视频数据信号。对于左、右帧而言，与单视图情形相比，在联合压缩两个视图时，这种解决方案通常导致使用多出50％的带宽(相比之下，在单独视图编码的情况下，使用多出约100％的带宽)。这可以使用常规的2D视频压缩编码器、通过交错(interleave)来自每个立体视图的左、右帧以形成“伪(fake)”2D序列来实现。在回收器(retriever)端，去交错2D帧，并且恢复和显示每一个视图。例如，在进入视频编码器之前，两个视图(L和R)可以被交错成帧画面。
但是，虽然与压缩单独视图相比将标准技术运用于立体视频可以被更高效(1.5×增益)地进行联合压缩并且所得到的比特流可以在合适的3D设备上进行显示，但是发明人意识到，结果是一个单个比特流，该一个单个比特流在普通2D系统上无法以好的效果来显示。当单个交错比特流到达常规2D接收机(具有2D解码器和2D屏幕)时，所显示的视频序列将看起来很难看，这显示出看得见的缺陷，因为该视频序列是通过立体视图交错而得到的。因此，这种方法并不是向后兼容的。相同的情况对于多视图信号或联合压缩的其它改进的视频数据信号也是成立的。
因而，本发明的目的是提供一种用于在传输端对增强的图像数据进行编码的方法，该方法在将编码数据内的数据量保持在限度以内的同时确实提供了后向兼容性。优选地，编码效率是高的。此外，该方法优选地与现有编码标准相兼容的。
本发明的另一个目的是提供用于编码视频数据信号的改进编码器以及视频数据信号。
发明内容
为此，根据本发明的用于编码视频数据信号的方法是这样一种方法，其中视频数据信号被编码，经编码的视频数据信号包括至少基本视频数据信号和至少辅助视频数据信号，其中基本视频数据信号和辅助视频数据信号被联合压缩，基本视频数据信号以自包含(self-contained)方式被压缩，且辅助视频数据信号使用来自基本视频数据信号的数据进行压缩，经联合压缩的视频数据信号被拆分成单独比特流，这些比特流包括至少包含用于基本视频数据信号的数据的基本比特流和至少包含用于辅助视频数据信号的数据的辅助比特流，此后基本比特流和辅助比特流被复用成复用信号(multiplexedsignal)，并且基本信号和辅助信号被提供有单独代码。
本发明的方法结合了现有方法的优点，同时避免了其各自的缺点。本发明的方法包括联合压缩两个或更多个视频数据信号，然后将单个压缩的比特流拆分成两个或更多个(基本和辅助)单独比特流：可以由常规的视频解码器确定的且是自包含的“基本”比特流；以及依赖于基本比特流的一个或多个“辅助”集合帧(所谓的辅助视频表示流)。单独比特流被复用，其中基本比特流和辅助比特流是被提供有单独代码并被传输的单独比特流。初看时，仅仅为了在压缩之后再次拆分信号并为信号提供单独代码而首先联合压缩信号，这可能似乎是多余的和白费力气的。在所有的已知技术中，在复用器中将单个代码给予经过压缩的视频数据信号。初看时，本发明似乎在视频数据信号的编码中增添了不必要的复杂度。
然而，发明人认识到，拆分且单独封装复用信号中的基本和辅助比特流(即，在复用器中给予基本和辅助比特流以单独代码)的结果为：一方面，常规视频系统中的标准解复用器将通过基本比特流的代码来识别基本比特流并且将其发送至解码器，以使得标准视频解码器只接收基本流，而辅助流则不经过解复用器，且标准视频解码器因此能够将其准确处理为例如标准2D视频数据信号和/或标准50Hz视频数据信号的标准视频数据信号或者具有基本分辨率的信号；而另一方面，诸如3D系统或100Hz显示系统的专用系统或者高分辨率视频解码器可以在将原始的增强比特流发送到例如立体解码器或100Hz解码器或HTV解码器之前彻底地反转编码处理并且重新创建原始的增强比特流。
很多声称向后兼容的系统和方法本身需要针对常规视频系统进行某种类型的适配，以便正确地分析输入比特流，而如果没有这种适配，那么将难以或者无法正确解码。发明人认识到，问题的根源在于：常规解码器接收了并非为其配备的增强视频数据信号。即使针对解码器进行适配，但由于解码器接收增强信号(并由此接收到比平常更多的比特)，并且有可能因为无法处理增加的比特率而无法应对增强的信号，因此问题还是会出现。针对标准解码器的任何适配还必须是专门用于针对视频数据信号的特定增强(3D，100Hz，高分辨率)，这种适配对其它增强来说未必发挥作用，或者当接收到非增强视频数据信号时甚至会使操作劣化。
在本发明中，基本和辅助比特流是单独比特流，其中基本比特流是自包含比特流。这允许为基本比特流提供与标准视频数据信号相对应的代码，而为一个或多个辅助比特流提供不被标准解复用器识别为标准视频数据信号的代码。在接收端，标准的解复用器将基本比特流识别成标准视频数据信号，并且将其传递到视频解码器。标准解复用设备将拒绝辅助比特流，不将其识别成标准视频数据信号。视频解码器自身将只接收“标准视频数据信号”。由此，由视频解码器自身接收的比特量限于基本比特流，所述基本比特流是自包含的并且是标准视频数据信号的形式，且它可以被标准视频设备识别并具有标准视频设备可以应对的比特率。视频解码器不会由于它能够处理的比特而过载。
由于基本比特流是自包含的，标准视频解码器可以将其解码成标准解码视频数据信号。
本发明可以采用各种方式来实施。在对于2D-3D或对于正常频率-高频运用是特别有用的实施例中，在编码器中将交错视频帧或者为编码器提供经交错的信号。
在这样的实施例中，用于编码的方法的特征在于：视频数据信号被编码，经过编码的增强信号包括第一以及至少第二集合的帧，其中第一和第二集合的帧被交错以形成交错视频序列，或者其特征在于：包含第一和第二集合的帧的交错视频数据信号被接收，其中交错视频序列被压缩成经过压缩的视频数据信号，其中第一集合的帧不使用第二集合的帧进行编码和压缩，并且第二集合的帧使用第一集合的帧进行编码和压缩，并且此后经过压缩的视频数据信号被拆分成基本比特流以及至少辅助比特流，每一个比特流都包含帧，其中基本比特流包括用于第一集合的经过压缩的帧，且辅助比特流包含用于第二集合的经过压缩的帧，基本比特流和辅助比特流形成单独比特流，此后基本比特流和辅助比特流被复用成复用信号，基本比特流和辅助比特流被提供有单独代码。
在这个实施例中，如本发明中从最宽广意义上说，单个经过压缩的比特流被拆分成2个或更多个(基本和辅助)单独比特流：“基本”比特流，其完全仅包含这些帧集合之一(且因而是自包含的)，并且可以由常规视频解码器决定；以及一个或多个“辅助”集合的帧(所谓的辅助视频表示流)，其依赖于基本集合帧。这些帧在系统级被交错或以交错的格式被提供到系统并且被复用，其中基本和辅助比特流是被提供有单独代码并被传输的单独比特流。
重要的要求是：在交错之后，至少一个集合、即基本比特流的帧集合被压缩为“自包含”信号。这意味着：属于这个自包含集合帧的帧不需要来自其它辅助比特流的任何信息(例如，借助运动补偿，或任何其它的预测方案)。
重要的方面还在于：基本比特流和辅助比特流形成单独比特流，并且出于上述原因而与单独代码进行复用。
在实施例中，基本比特流包含用于3D视频数据信号的视图其中之一的帧的数据，辅助比特流包含用于3D视频数据信号的另一个视图的帧的数据。
在实施例中，基本比特流包含用于三个或更多个视图其中之一的帧的数据，并多于一个辅助比特流被产生，所述辅助比特流包含用于其它视图其中之一的帧的数据。
在实施例中，基本比特流包含用于低频集合的帧的数据，而辅助比特流包含用于更高频率帧的数据。在实施例中，基本比特流利用比辅助比特流低的量化因数来压缩。
当基本和辅助比特流呈现两个立体视图时，基本比特流可以代表这两个视图中的任一视图，左视图或右视图。
在实施例中，将哪一个视图指定成与基本比特流相对应的视图可以改变。例如，在场景变化时，基本视图可以从左变到右，或者反之亦然。特别地，如果基本视图是用与辅助视图不同的量化因数来压缩，那么这种处理是非常有利的。
本发明还可以在用于编码视频数据信号的编码系统中实现，其中该系统包括：用于生成至少基本视频数据信号和辅助视频数据信号的生成器或者用于接收至少基本视频数据信号和辅助视频数据信号的接收机；用于联合压缩基本视频数据信号和辅助视频数据信号的压缩器，该压缩器被安排用于以自包含方式压缩基本视频数据信号并且用于使用来自基本视频数据信号的数据来压缩辅助视频数据信号；用于将经过联合压缩的视频数据信号拆分成单独比特流的拆分器(splitter)，包含用于基本视频数据信号的数据的基本比特流和包含用于辅助视频数据信号的数据的辅助比特流；以及用于将基本和辅助比特流复用成复用信号并且用于为基本信号和辅助信号提供单独代码的复用器。
根据本发明实施例的编码系统包括用于交错来自第一和第二视图的帧以形成交错视频序列的交错器(VI)，或者该编码系统包括用于接收包含第一和第二集合的帧的交错视频序列的接收机，该编码系统包括用于对交错视频序列进行编码的编码器，其中该编码器包括用于不使用第二视图的帧来压缩第一视图的帧以及用于使用第一视图的帧来压缩第二视图的帧的压缩器，并且该系统包括用于将经过压缩的视频数据信号拆分成基本比特流和辅助比特流的拆分器，每一个比特流都包含帧，其中基本比特流包含用于第一集合的经过压缩的帧，且辅助比特流包含用于第二集合的经过压缩的帧，基本比特流和辅助比特流形成单独比特流，该编码系统进一步包括用于复用基本比特流和辅助比特流以及用于为基本比特流和辅助比特流提供单独代码的复用器。
优选地，该压缩器被安排用于基于分层方案(hierarchical scheme)来压缩帧，其中较高水平对应于视图中的第一个视图的帧，且较低或最低水平对应于第二视图的帧。
在实施例中，该编码系统被安排用于提供包含用于3D视频数据信号的视图其中之一的帧的数据的基本比特流和包含用于3D视频数据信号的其它视图的帧的数据的辅助比特流。
将通过示例的方式并参考附图来更详细地解释本发明的这些和其它方面，其中：
附图说明
图1示出现有技术的用于3D视频的编码方法的示例。
图2示出根据编码效率而言的改进的方法。
图3A和3B示出本发明的编码方法、解码方法、编码器以及解码器。
图4示出左(L)、右(R)两个视图的交错。
图5示出使用分层B帧的所谓的二阶时间结构(dyadic temporalstructure)。
图6示出用于比特流拆分器的图表。
图7示出单个编码比特流及其拆分版本的示例。
图8、9和10示出现有技术以及本发明。
图11示出其中具有三个交错视图信号的情形。
图12、13、14A和14B示出用于高频视频的本发明的实施例。
图15、16A和16B示出用于高分辨率视频的本发明的实施例。
这些附图并非按比例绘制。一般来说，相同的组件在这些附图中是用相同的标号表示的。
具体实施方式
图1示出视频信息的压缩，其中两个视图均被单独处理和压缩。左(L)和右(R)视图视频数据信号1和2中的每一个提供两个基本上二维图像2D(L)和2D(R)。这两个信号均在标准2D视频编码器3和4中进行编码与压缩。如在图1中利用T示意性指示的，这两个信号被传输并在接收机端被接收。接收机使用2D视频解码器3’和4’来解码这两个信号，并且提供两个2D信号1’和2’。这两个信号然后准备好在3D视频显示器中进行组合以提供3D图像。任何2D视频显示设备可以简单地使用左或右视图来操作。虽然该方案起作用，但如果希望保证相同的质量，那么与单(视图)系统(一个单个视图)相比，单独编码立体象对中的左(L)和右(R)视图在实践中导致比特率翻倍。由此，虽然这种标准方法确保了2D设备可以显示图像，但是这种标准方法需要比特率加倍。
图2示出根据编码效率改进的方法。在编码之前，在视图交错器VI中交错两个视图的帧，以提供组合的L+R视频数据信号。交错提供类似于2标准2D信号的组合信号。所述信号可以在2S视频编码器5中使用常规2D视频压缩来压缩。然后可以传输这个经过压缩的信号。在接收机端，这个经过压缩的信号在2D视频解码器6中被压缩，并使用去交错器DVI来去交错。例如，在进入视频编码器5之前，2个视图(L和R)可以被交错为帧画面。因此，根据用于预测指定宏块(MB)的时间参考画面，该预测可以是“真实”时间的(在不同时间来自同一视图)或是来自其它视图的。这种机制可以通过所谓的“立体视频信息”SEI消息来通告(signal)，以包含关于所执行的交错的信息，使得在接收端上的立体解码器能够将一个视图与另一个视图区分开来并执行去交错。
虽然这种方法确实降低了比特率(与图1的方法相比，降低了大约25％)，但是如果单个编码流到达常规2D接收机(具有2D解码器和2D屏幕)，那么所显示的视频序列将看起来很难看，因为该视频序列是通过立体视图交错而得到的。即便在具有“立体视频信息”SEI消息的AVC(高级立体解码)的情形中，该问题也存在。实际上，SEI消息的使用不是强制的，并且顺从(compliant)解码器可以完全将其忽略。来自图2方法的单个比特流不能在普通2D显示系统上正确地播放，这是一个大的缺点。因此，图2的方法不是2D向后兼容的。由于至少在3D视频引入期间仍旧有压倒性多数的显示器将是且仍是标准2D视频设备，所以无法2D向后兼容将会极大阻碍人们使用3D视频数据信号和系统。新的方法优选是向后兼容的，也就是说，标准视频设备应该能够处理由新方法产生的信号。
由此，本发明的目的是提供一种方法，该方法一方面与完全地以及单独编码两个视图相比降低了比特率，而另一方面仍具有标准视频向后兼容性。
为此，根据本发明的用于编码视频数据信号的方法是这样一种方法，其中视频数据信号被编码，经过编码的视频数据信号至少包括基本视频数据信号以及至少包括辅助视频数据信号，其中基本和辅助视频数据信号被联合压缩，基本视频数据信号是以自包含形式进行压缩的，且辅助视频数据信号是用来自基本视频数据信号的数据进行压缩的，经过联合压缩的视频数据信号被拆分成单独比特流，这些比特流至少包括包含用于基本视频数据信号的数据的基本比特流和至少包括包含用于辅助视频数据信号的数据的辅助比特流，此后基本和辅助比特流被复用成复用信号，并且基本和辅助信号被提供有单独代码。
本发明的方法结合了现有方法的优点，同时避免了其各自的缺点。它包括联合压缩两个或更多视频数据信号，然后将单个压缩比特流拆分成两个或更多个(基本和辅助)单独比特流：可以由常规视频解码器确定的、并且是自包含的“基本”比特流，以及取决于基本比特流的一个或多个“辅助”集合的帧(所谓的辅助视频表示流)。单独比特流将被复用，其中基本和辅助比特流是提供有单独代码的单独比特流。初看时，仅仅为了在压缩之后再次拆分信号并为信号提供单独代码而首先联合压缩信号，这似乎是多余和白费力气的。在所有已知技术中，在复用器中都会将单个代码提供给经过压缩的视频数据信号。初看时，本发明似乎在视频数据信号的编码中增添了不必要的复杂度。
然而，发明人认识到，拆分并且单独封装复用信号中的基本和辅助比特流(也就是，在复用器中为基本和辅助比特流给出单独代码)具有的结果为：一方面，常规视频系统中的标准解复用器将通过基本比特流的代码来辨认基本比特流并且将其发送至解码器，使得标准视频解码器只接收基本流，而辅助流则没有经过解复用器，且标准视频解码器因此能够将其作为例如标准2D视频数据信号和/或标准50Hz视频数据信号的标准视频数据信号或者具有基本分辨率的信号来正确处理，而另一方面，诸如3D系统或100Hz显示系统的专用系统或者高分辨率视频解码器可以在将比特流发送到例如立体解码器、100Hz解码器或HTV解码器之前彻底反转编码处理，并且重新创建原始的增强比特流。
在本发明的方法的实施例中，视频数据信号被编码，经过编码的视频数据信号包括具有帧的第一视图和至少第二视图，其中第一和第二视图的帧被交错以形成交错视频序列，此后该交错视频序列被压缩，其中第一视图的帧不使用第二视图的帧被编码和压缩，且第二视图的帧使用第一视图的帧来编码和压缩，并且其中经过压缩的增强视频数据信号被拆分成基本比特流和辅助比特流，每一个比特流都包括帧，其中基本比特流包括视图中的第一个视图的经过压缩的帧，而辅助比特流包括视图中的第二个视图的帧，基本比特流和辅助比特流形成了单独比特流，此后基本比特流和辅助比特流被复用成复用信号，基本比特流和辅助比特流被提供有单独代码。
图3A和3B示出本发明上述实施例的方法以及编码系统和解码系统。图3A示出其中使用了本发明的编码系统7和本发明的解码系统8的情形，编码和解码系统的特征用虚线矩形中的元件示意性显示出。图3B示出其中使用了标准解码器的情形。
左视图和右视图的帧在VI中进行交错以提供组合信号。该组合信号与2D信号相似。2D视频编码器5编码并压缩该组合交错信号。该压缩的特殊特征在于：这些视图的一个视图的帧形成自包含系统，也就是说，在压缩中没有来自其它视图的信息用于该压缩。其它视图的帧是使用来自第一视图的帧的信息来压缩的。本发明与平等对待两个视图的自然趋势相背离。实际上，在压缩期间，这两个视图不是被平等地对待。这些视图中的一个变为基本视图，对其而言在压缩期间不使用来自其它视图的信息，另一个视图是辅助视图。基本视图的帧和辅助视图的帧由比特流拆分器BSS拆分成基本比特流和辅助比特流。编码系统包括复用器MUX，该复用器为基本比特流指定一个对于标准视频可识别为视频比特流的代码，例如用于MPEG的0x01或用于H.264的0x1B，以及为辅助流指定不同代码，例如0x20。经过复用的信号被传输(T)。在图3A中，该信号由根据本发明的解码系统接收。该解复用器识别这两个比特流0x01或0x1B(对于基本比特流)以及0x20(对于辅助比特流)，并且将其二者发送到比特流合并器(Bit Stream Merger)(BSM)，该比特流合并器将再次合并基本和辅助比特流，并且在解码器中通过反转编码方法来解码这个组合视频序列。与3D显示设备相结合的解码系统8形成了根据本发明的显示设备的示例。
图3B示出由标准视频系统9接收复用信号时的情形。该标准解复用器将比特流0x01或0x1B识别为视频数据信号，并且将其传输到标准解码器。比特流0x20未被识别并被拒绝，在图3B中这是通过将比特流发送到垃圾桶WB来示意性指示的。解码器接收的信号具有标准解码器可以处理的比特率，并且采用标准解码器可以管理的形式。
由于基本比特流0x1B是完全自包含的信号，所以当标准2D视频系统显示基本信号的视图时，与图2的方法相关联的问题并未出现。因此，图3的方法是2D向后兼容的。
与单独压缩两个视图相比，本发明的编码方法允许降低比特率。因此，实现了比特流的降低以及2D后向兼容性。
图4示出了均由帧0～7组成的左(L)和右(R)两个视图交错成具有帧0～15的交错组合信号。在图像处理中，信号交错是众所周知的处理。
图5示出了使用分层次B帧的所谓的二阶时间结构。在正常的视频处理中，通常会利用不同类型的帧I帧、B帧和P帧。一些帧需要其它帧来进行编码。在图5所描述的方案中，用箭头指示了在其它帧的编码和压缩中使用了哪些帧。在这些方案中，在编码/压缩B1帧中使用了I0/P0帧，在编码/压缩B2帧中使用了B1帧，以及在编码/压缩B3帧中使用了B2帧。因此，存在分层结构，其中最低水平的分层是B3帧。B3帧需要待编码(或者在接收机端上被解码)的更高水平分层帧(I0/P0、B1、B2)，但这些B3帧自身并不是编码或解码更高水平分层帧所需要的。
当图4的交错方案与图5的相关方案(dependency scheme)相结合时，变得明显的是：其中一个视图(左视图或右视图)的帧对应于B3水平分层上的帧，且其他视图的帧对应于更高水平的分层。该视图不需要其它视图的帧被解码，且由此是自包含信号。在图5中，这与没有从B3帧到任何B2、B1或I0/P0帧的箭头的事实是对应的。其它视图的帧(B3)不形成自包含信号，所述视图需要自包含视图的信息进行解码。这些B3帧可以是相互依赖的。
通过交错左视图和右视图的帧且随后使用为其中一个视图提供一个自包含信号的压缩方案来压缩这些帧，并且随后将该信号再次拆分为基本比特流(包含自包含信号)和辅助比特流(包含非自包含信号)，在提供完全可操作的2D后向可兼容信号的同时实现比特率降低。比特流拆分器通过将第一视图的所有访问单元(访问单元包含用于至少帧的数据)级联(concatenate)在基本流中来创建基本流(0x1B)，并且通过将第二视图的所有访问单元(AU)级联在辅助比特流中来创建辅助流。然后，该复用器为基本和辅助流指定(分配)不同代码。
图6示出用于比特流拆分器的示例性图表。这提供了可与AVC(高级视频编码)编码方案相兼容的比特流拆分机制。在AVC编码方案中可以给出SEI消息。“立体视频信息”SEI消息包含关于所执行的交错的信息，使得在接收端上的立体解码器能够将一个视图与另一个视图区分开来并执行解交错。
在本发明的这个实施例中，SEI消息是在编码系统内被使用的。
在步骤60，获取访问单元。
在第一步骤61，检查当前访问单元是否包含SEI消息。
如果访问单元不包含SEI消息，那么在这个特定示例中将从先前接收的信息中推断出该访问单元所属于的集合的帧的信息。举个例子，如果先前接收的信息是“如果一个访问单元属于集合A，则下一个访问单元属于集合B”，则不需要为每一个访问单元提供SEI信息。
如果访问单元确实包含SEI消息，则在步骤62中对照先前的SEI消息来检查该SEI消息的有效性。
该SEI消息给出关于交错的信息，该信息通常是已知序列。如果SEI消息无效，则存在错误63。
如果SEI消息是有效的，则执行下一个步骤64。
对每一个访问单元来说，现在借助于没有SEI消息或者访问单元具有有效的SEI消息的事实来得到相关的交错信息，其中在没有SEI消息的情况下，SEI消息相对于先前的访问单元而言没有改变。
在接下来的步骤64，检查该访问单元是否形成基本视图的一部分，如果是这样的话，则在步骤65中将其附加到基本视图比特流，否则在步骤66中将其附加到辅助视图视频比特流。很明显，该顺序(序列)可以被反转。一旦处理了访问单元并且将其附加到基本或辅助比特流，则在步骤67中获取下一个访问单元并重复该处理。应该注意，图6是拆分器的示例性实施例。编码信号可以采用多种方式来拆分。例如，如果使用固定序列来编码，那么有关拆分的信息可以是隐性的，或者比如，如果使用了NAL代码或其组合的SEI消息，那么该信息可以是显性的。虽然与本发明不相关，但除了SEI缩写之外，访问单元0和8中的各种缩写代表：
-SPS：序列参数集合
-PPS：画面参数集合
-IDR：即时解码器刷新
-Slice：MB(宏块16×16个像素)群组
-SEI：补充增强信息
图7示出单个编码比特流及其拆分版本的示例。应该指出，包含视频信息的访问单元0和8是基本比特流的组成部分。用于该基本比特流的所有访问单元(AU8、AU0、AU4、AU2、AU6)具有与其中一个流、自包含信号相对应的SEI消息，其它访问单元具有与辅助比特流有关的SEI消息。
举例来说，由于MPEG-2传输流(广播应用)中或MPEG-4文件格式(文件存储应用)中的DTS(解码时间戳)标记，这两个比特流在系统级上保持同步。系统级上的语法元素可以用于表明：辅助比特流依赖于基本比特流。
需要注意，辅助流本身不再是有效的流。这一般不会是问题。万一出现问题，则可以将空帧插入辅助流，这几乎不会增大比特率。在合并处理之前，这些空帧将必须首先被移除。
在实施例中，可以进行基本和辅助信号的规则改变。在该方法中，两个视图不被同等地对待；第一视图是自包含视图，而第二视图是从第一视图导出。这会导致左视图和右视图之间存在小的质量差别，这可能在时间上导致接收图像的左眼和右眼的略微不同的行为。例如，在场景变换时，通过有规律地将基本视图从左改变到右，可以避免出现这种情况。
在实施例中，对于基本和辅助比特流、在3D示例中的基本和辅助视图来说，压缩的量化因数可以不同。特别地，当存在更多的辅助视图时，如下文所解释的，与辅助视图相比，为基本视图指定(分配)更多的带宽可能是有用的。
图8～10示意性示出现有技术和本发明。参见图8，在现有技术中，视频编码器对视频数据信号进行编码，音频编码器对音频信号进行编码，其中本示例中的视频编码器是AVC(高级视频编码)视频编码器Venc。复用器MUX产生复用信号，其中该视频比特流获取一个代码，例如0x1B，且音频比特流获取代码0x03。2D解复用器2D demux从复用信号中提取两个组成比特流，并且将视频比特流发送到视频解码器，以及将音频比特流发送到音频解码器。由此，视频解码器得到了整个视频比特流，无论它能否处理。
图9示出了在编码端使用本发明的编码方法和编码系统以及在解码端使用标准视频设备的情形。
在编码之后，拆分器将经过编码的流拆分成基本流prim和辅助流sec。复用器mux产生复用信号，该复用信号包含用于基本视图的比特流0x1B和用于辅助视图的单独比特流0x20以及与图8情形一样的音频比特流0x03。
标准设备包括解复用器，该解复用器从复用信号中提取基本比特流0x1B，这是因为它通过比特流的代码来识别该比特流；该解复用器拒绝比特流0x20。视频解码器接收基本比特流0x1B。由于这是具有“正常”比特率的自包含比特流，该视频解码器能够解码该比特流而没有大的困难。由此，该编码方法和系统是向后可兼容的。
图10示出其中使用根据本发明的解码系统的情形。
在解码器端，解码器包括3D解复用器3D demux。该解复用器将音频比特流0x03发送到音频解码器，从复用信号中提取两个视频比特流0x1B(基本比特流)和0x02(辅助比特流)，以及将这两个视频比特流发送到其在比特流合并器(BSM)上的相应输入，其中该比特流合并器再次合并基本流和辅助流。经过合并的视频流被发送到解码器，该解码器使用提供3D视频数据信号的反向编码方法来解码该合并的比特流。
由此，专用的3D视频解码系统能够解码3D视频数据信号，而标准2D视频解码系统也能够提供高质量图像。
在上文给出的示例中，增强的视频数据信号是包含左视图和右视图这两个视图的3D信号。
本发明并不局限于这种情形，尽管本发明特别适合于这种情形。
在生成多视图信号而不是两个视图时，本发明同样是有用的。
图11示出其中存在三个交错视图信号的情形，三个交错视图信号是：第一中心视图信号，与图5中的自包含L视图比特流相当，用于第一中心视图的比特流是自包含的；以及两个辅助视图比特流B3和B3’，其中每一个比特流都根据中心视图数据而被编码和压缩。
在这个示例中，存在三种视图：基本视图，例如，中心视图；以及例如左视图和右视图的多个辅助视图。对中心视图来说，产生自包含比特流。对例如左视图和右视图的两个辅助视图来说，产生辅助的非自包含比特流。
在这个实施例中，特别是当存在许多辅助视图时，与辅助视图帧相比，在压缩中对于中心视图帧使用不同的量化因数可能是有用的。
对于使用MVC(多视图编码)编码器产生多视图信号而言，这个实施例是有用的。在图11的示例中，产生三个视图：单个基本视图和两个辅助视图。根据所产生的多个视图，可以产生多于两个的辅助视图。在复杂的实施例中，可产生多于一个的基本视图和更多个辅助视图。
在图12中例示了本发明的另一个实施例。
另一类的增强视频数据信号是这样的一种信号，其中将产生更高频率(例如100Hz)信号。上文中针对立体信号描述的问题对于这种视频数据信号也是存在的。大多数视频显示设备在标准频率上工作，并且解码器是针对这些频率而设计的。
图12示出由高速相机CAM 100Hz产生的信号，该信号包含大量的帧速率为100Hz的帧。这样的信号并不适合在标准的50HzTV系统中显示。它可以被认为是包含正常帧分布以及高速帧分布。
在专门的视频解码器中，这些帧可以采用与图5所示方案非常相同的方案来压缩。这表示在图13中。源自高速相机的信号可以被视为提供两个交错集合的帧(也就是奇数编号和偶数编号)的信号，并且这两个集合的帧被压缩，其中偶数编号的帧被压缩以形成频率为50Hz的自包含集合的帧，奇数编号的帧依赖于偶数编号的帧集合而被压缩。迄今为止，该示例与先前示例的不同之处在于：集合帧的交错在提供给编码器的信号方面是固有的。但是，同样的原理是适用的。偶数帧将形成基本比特流，奇数帧形成辅助比特流，或者反之亦然。当然，在例如因为使用200Hz相机而提供甚至更高频率的信号时，集合的数量可以是四，其中产生单个基本50Hz比特流以及三个辅助比特流。
图14A和14B显示用于图12和13中示意性显示的实施例的编码和解码方案。这些方案在很大程度上类似于图3A和3B的方案。在图14A中，示意性指示了其中使用专用解码器的情形。100Hz相机CAM100Hz如图12示意性所示地提供信号，在SVC(可缩放视频编码)编码器中执行如图13示意性所示的编码方案。由此，该相机提供了交错(也就是100Hz的偶数和奇数帧)信号，由编码系统7接收该信号，该编码系统7包括编码器，其用于将包含在由100Hz相机提供的交错信号中的集合之一压缩为自包含的集合的压缩帧。在拆分器BSS中，这些帧被附加到基本比特流0x1B或者辅助比特流0x20，并且在复用器中这两个比特流被给予不同代码。在解码器8端进行倒转。STB代表机顶盒。最终解码的信号被馈送到100Hz TV。根据本发明的这个实施例的显示设备包括解码系统8和100Hz TV。根据本发明的这个实施例的记录设备包括编码器7和相机。
图14B示出当使用具有相应的常规解码系统的50Hz TV时的情形。标准解复用器将识别和接受基本比特流，并且将其向前朝向50Hz
TV发送。这个比特流是自包含的并具有恰当的格式和频率，且将在50Hz TV上提供足够的图像质量。辅助比特流被拒绝，并且不干扰50Hz TV系统的正常操作。
在上述实施例中，SVC流沿着频率(时间轴)被拆分。此外，SVC也允许沿着分辨率和/或量化轴(SNR，CGS(粗粒度可缩放性))、FGS(细粒度可缩放性))和/或颜色采样轴(4:4:4、4:2:0、4:2:2)来拆分帧。在这样的实施例中出现上述问题，即标准视频解码器在处理输入比特流方面存在问题的事实也出现，换句话说，出现兼容性问题。
在本发明的框架内，从本发明的最宽广意义上讲，视频流被拆分成至少两个比特流，即基本和辅助视频流(参见图15)，其中基本视频流式是自包含的，且辅助视频流需要基本视频流用于解码，并且在复用器中为基本视频流提供标准代码(0x1B)且为辅助视频流提供不同代码(0x20)。视频数据信号可以沿着分辨率轴进行拆分，其中复用信号中的基本比特流包含用于基本层的数据，且复用信号中被提供有不同代码的辅助比特流包含用于一个或多个增强层的视频数据。
提供给基本流的代码是标准代码(例如0x1B或0x01)，并且由此可以由任何正常的标准不可缩放MPEG(对于0x01)或H.264视频解码器(对于0x1B)9来决定，而根据本发明的专用解码器8则可以充分利用可缩放编码。图16A和16B提供了本发明的一个实施例，该实施例如图16B所示可应用于向SDTV(标准清晰度TV)提供SDTV视频数据信号，并且如图16A所示向HDTV(高清晰度TV)提供HDTV视频数据信号。
本发明还可以在用于根据本发明的方法或设备的任何计算机程序产品中实现。就计算机程序产品而言，计算机程序产品应该被理解成在一系列促使命令进入处理器中的加载步骤(这些步骤可包括中间转换步骤，例如变换到中间语言，以及最终的处理器语言)之后使得通用或者专用处理器能够执行本发明的任何特征功能的命令集合的任何物理实现。特别地，计算机程序产品可以被实现为诸如磁盘或磁带之类的载体上的数据、存在于存储器中的数据、经由有线或无线的网络连接传播的数据、或纸件上的程序代码。除了程序代码之外，程序所需要的特征数据也可以作为计算机程序产品来实现。
本发明还涉及包含根据本发明的编码系统的设备，例如3D视频记录设备或高分辨率视频记录设备。
本发明还涉及包含根据本发明的解码系统的显示设备。举例来说，这样的设备可以是3D视频显示设备、HDTV显示设备或者具有增加分辨率的显示设备。
本发明进一步涉及复用视频数据信号，该复用视频数据信号包括至少两个具有单独代码(0x01、0x1B、0x20)的相关视频数据信号，其中第一视频数据信号(0x01、0x1B)是自包含的视频数据信号，且至少第二视频数据信号(0x20)不是自包含的。通过使用解复用器，易于不同地处理这两个相关的但不同的视频数据信号而不必使用解码器来进行区分。对于例如标准2D视频显示设备或SDTV设备的标准设备来说，第一自包含信号可以被转发到解码器，而不会因为第二信号而导致解码器过载。专用的视频系统可以充分利用这两个视频数据信号中的数据。
简言之，本发明可以描述如下：
视频数据信号被编码，使得编码的视频数据信号至少包括基本视频数据信号以及至少包括辅助视频数据信号。基本和辅助视频数据信号被联合压缩。基本视频数据信号以自包含方式被压缩，并且辅助视频数据信号是使用来自基本视频数据信号的数据来压缩的。经联合压缩的视频数据信号被拆分成单独的比特流，至少基本比特流包括用于基本视频数据信号的数据，并且至少辅助比特流包括用于辅助视频数据信号的数据，此后，基本和辅助比特流被复用成复用信号，并且基本和辅助信号被提供有单独代码。
应该指出，上述实施例是说明性的而不是限制本发明，并且本领域技术人员能够在不脱离附加权利要求书的范围的情况下设计出很多替换实施例。
在权利要求书中，放置在括号之间的任何参考符号不应该被解释成是限制该权利要求。
词“包括”并不排除除了权利要求中所列举的部件或步骤之外的其它部件或步骤的存在。本发明可以通过如上所述的各种不同优选实施例的特征的任何组合来实现。

Claims (27)

1.一种用于编码视频数据信号的方法，其中视频数据信号被编码，经过编码的视频数据信号至少包括基本视频数据信号和辅助视频数据信号，其中基本视频数据信号和辅助视频数据信号被联合压缩，基本视频数据信号以自包含的方式被压缩，且辅助视频数据信号使用来自基本视频数据信号的数据进行压缩，经过联合压缩的视频数据信号被拆分成单独比特流，所述比特流包括包含用于基本视频数据信号的数据的基本比特流和用于辅助视频数据信号的数据的辅助比特流，此后基本比特流和辅助比特流被复用(MUX)成复用信号，基本信号和辅助信号被提供有单独代码(0x1B，0x20)。
2.如权利要求1所述的用于编码视频数据信号的方法，其中视频数据信号被编码，经过编码的视频数据信号包括第一集合的帧(L，R)以及至少第二集合的帧(R，L)，其中第一和第二集合的帧被交错(VI)以形成交错视频序列(comb L+R)，或者其中包含第一和第二集合的帧的交错视频数据信号(100Hz)被接收，其中交错视频序列被压缩成经过压缩的视频数据信号，其中第一集合的帧不使用第二集合的帧进行编码和压缩，且第二集合的帧使用第一集合的帧进行编码和压缩，以及其中经过压缩的视频数据信号随后被拆分(BSS)成基本比特流以及至少辅助比特流，每一个比特流都包含帧，其中基本比特流包括用于第一集合的经过压缩的帧，且辅助比特流包含用于第二集合的经过压缩的帧，基本比特流和辅助比特流形成单独比特流，此后基本比特流和辅助比特流被复用(MUX)成复用信号，基本信号和辅助信号被提供有单独代码(0x1B，0x20)。
3.如权利要求2所述的方法，其中视频数据信号被编码，使得基本比特流包含用于3D视频数据信号的视图(L，R)其中之一的帧的数据，辅助比特流包含用于3D视频数据信号的其它视图(R，L)的帧的数据。
4.如权利要求2所述的方法，其中视频数据信号被编码，使得基本比特流包括用于来自不同视角的三个或更多个视图其中之一的帧的数据，且多于一个的辅助比特流被产生，所述辅助比特流包括用于其它视图其中之一的帧的数据。
5.如权利要求2所述的方法，其中视频数据信号被编码，使得基本比特流包括用于低频集合的帧的数据，而辅助比特流包含用于更高频率集合的帧的数据。
6.如权利要求1所述的方法，其中复用信号中的基本比特流包括用于基本层的数据，并且复用信号中被提供有不同代码的辅助比特流包含用于一个或多个增强层的视频数据。
7.如任意一项前述权利要求所述的方法，其中基本比特流利用比辅助比特流低的量化因数来压缩。
8.如权利要求2所述的方法，其中第一和第二集合的帧被有规律地互换。
9.一种用于编码视频数据信号的编码系统，包括：
用于生成至少基本视频数据信号和辅助视频数据信号的生成器或者用于接收至少基本视频数据信号和辅助视频数据信号的接收机，
压缩器，用于联合压缩基本视频数据信号和辅助视频数据信号，该压缩器被安排用于以自包含方式来压缩基本视频数据信号，并且用于使用来自基本视频数据信号的数据来压缩辅助视频数据信号，
拆分器(BSS)，用于将经过联合压缩的视频数据信号拆分成单独比特流：包含用于基本视频数据信号的数据的基本比特流和包含用于辅助视频数据信号的数据的辅助比特流，以及
复用器(MUX)，用于将基本比特流和辅助比特流复用到复用信号中，并且用于为基本信号和辅助信号提供单独代码(0x1B，0x20)。
10.如权利要求8所述的用于编码增强视频数据信号的编码系统，包括用于交错来自第一和第二视图的帧以形成交错视频序列的交错器(VI)，或者包括用于接收包含第一和第二集合的帧的交错视频序列的接收机，该系统包括用于对交错视频序列进行编码的编码器，其中该编码器包括用于不使用第二视图的帧来压缩第一视图的帧以及用于使用第一视图的帧来压缩第二视图的帧的压缩器，并且该系统包括用于将经过压缩的视频数据信号拆分成基本比特流和辅助比特流的拆分器(BSS)，每一个比特流包含帧，其中基本比特流包含用于第一集合的经过压缩的帧，且辅助比特流包含用于第二集合的经过压缩的帧，基本比特流和辅助比特流形成单独比特流，所述编码系统还包括用于复用基本比特流和辅助比特流以及用于为基本比特流和辅助比特流提供单独代码(0x1B，0x20)的复用器(MUX)。
11.如权利要求10所述的编码系统，其中交错器被安排用于交错一对立体视图的左右视图。
12.如权利要求11所述的编码系统，其中交错器被安排用于交错多于两个视图的帧。
13.如权利要求9所述的编码系统，其中该系统被安排用于接收来自高频相机的帧。
14.一种记录设备，包含如前述权利要求9～13中任意一项所述的编码系统。
15.一种计算机程序，其包含程序代码装置，用于当所述程序在计算机上运行时执行如权利要求1～8中任意一项所述的用于编码的方法。
16.一种计算机程序产品，其包括存储在计算机可读介质上的程序代码装置，用于执行如权利要求1～8中任意一项所述的编码方法。
17.一种用于解码视频数据信号的方法，其中复用信号被接收，该复用信号包括至少两个具有单独代码(0x01，0x1B，0x20)的视频数据信号，其中第一视频数据信号(0x01，0x1B)是自包含视频数据信号，且至少第二视频数据信号(0x20)不是自包含视频数据信号，此后这两个信号被解复用和被合并(BSM)，并且经过合并的信号被解码和被解压缩，其中在自包含视频数据信号的解压缩中仅仅使用来自自包含视频数据信号的数据，且在第二视频数据信号的解压缩中使用第一视频数据信号的数据。
18.如权利要求17所述的用于解码的方法，其中经过合并的信号形成交错集合的帧，并且在解压缩之后，这些帧被去交错(VDI)以提供两个或更多个视图。
19.如权利要求18所述的用于解码的方法，其中形成左和右视图。
20.如权利要求18所述的用于解码的方法，其中形成多视图中的多于一个视图。
21.如权利要求17所述的用于解码的方法，其中第一视频数据信号(0x01，0x1B)包括基本层上的数据，且第二视频数据信号(0x20)包含一个或多个增强层上的数据。
22.一种用于解码视频数据信号的解码系统，包括：
用于接收复用信号的接收机，该复用信号包括至少两个具有单独代码(0x01，0x1B，0x20)的视频数据信号，其中第一视频数据信号(0x01，0x1B)是自包含视频数据信号，且至少第二视频数据信号(0x20)不是自包含视频数据信号，
解复用器，用于对复用信号进行解复用，和
合并器(BSM)，用于将至少两个解复用信号合并成组合信号，
解码器，用于解码和解压缩该组合信号，其中该解码器被安排，以便在自包含视频数据信号的解压缩中仅使用来自自包含视频数据信号的数据，且在第二视频数据信号的解压缩中使用第一视频数据信号的数据。
23.如权利要求22所述的解码系统，其中经过合并的信号形成交错的集合的帧，并且该系统包括用于在解压缩之后对帧执行去交错以提供两个或更多个视图的去交错器(VDI)。
24.一种显示设备，包含如权利要求22或23所述的解码系统。
25.一种计算机程序，包含程序代码装置，用于当所述程序在计算机上运行时执行如权利要求17～21中任意一项所述的用于编码的方法。
26.一种计算机程序产品，其包括存储在计算机可读介质上的程序代码装置，用于执行如权利要求17～21中任意一项所述的编码方法。
27.一种复用视频数据信号，包含至少两个具有单独代码(0x01，0x1B，0x20)的相关的视频数据信号，其中第一视频数据信号(0x01，0x1B)是自包含视频数据信号，并且至少第二视频数据信号(0x20)不是自包含视频数据信号。
CN200880108524A 2007-09-24 2008-09-16 用于编码视频数据信号的方法与系统、编码的视频数据信号、用于解码视频数据信号的方法与系统 Pending CN101816179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510347919.2A CN104935956B (zh) 2007-09-24 2008-09-16 用于编码和解码3d视频信号的方法与系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07117057.5 2007-09-24
EP07117057 2007-09-24
PCT/IB2008/053739 WO2009040701A2 (en) 2007-09-24 2008-09-16 Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510347919.2A Division CN104935956B (zh) 2007-09-24 2008-09-16 用于编码和解码3d视频信号的方法与系统

Publications (1)

Publication Number Publication Date
CN101816179A true CN101816179A (zh) 2010-08-25

Family

ID=39111361

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510347919.2A Active CN104935956B (zh) 2007-09-24 2008-09-16 用于编码和解码3d视频信号的方法与系统
CN200880108524A Pending CN101816179A (zh) 2007-09-24 2008-09-16 用于编码视频数据信号的方法与系统、编码的视频数据信号、用于解码视频数据信号的方法与系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510347919.2A Active CN104935956B (zh) 2007-09-24 2008-09-16 用于编码和解码3d视频信号的方法与系统

Country Status (15)

Country Link
US (4) US8854427B2 (zh)
EP (2) EP2863640A1 (zh)
JP (1) JP2011515874A (zh)
KR (1) KR101564461B1 (zh)
CN (2) CN104935956B (zh)
BR (1) BRPI0817192B1 (zh)
CA (1) CA2700499C (zh)
EG (1) EG26406A (zh)
ES (1) ES2536776T3 (zh)
MX (1) MX2010003159A (zh)
MY (1) MY162861A (zh)
PL (1) PL2204043T3 (zh)
RU (1) RU2518408C2 (zh)
WO (1) WO2009040701A2 (zh)
ZA (1) ZA201002896B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387359A (zh) * 2010-08-31 2012-03-21 中国电信股份有限公司 三维视频传输方法、系统及编解码装置
WO2012100537A1 (zh) * 2011-01-28 2012-08-02 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN103262549A (zh) * 2010-12-08 2013-08-21 Lg电子株式会社 用于接收数字广播信号的设备和方法
CN105103543A (zh) * 2013-04-12 2015-11-25 联发科技股份有限公司 兼容的深度依赖编码方法和装置
CN114866801A (zh) * 2022-04-13 2022-08-05 中央广播电视总台 视频数据的处理方法、装置、设备及计算机可读存储介质

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI3758380T1 (sl) 2007-04-12 2021-04-30 Dolby International AB Apollo Building, 3E Razpostavljanje pri kodiranju in dekodiranju videa
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN106101682B (zh) 2008-07-24 2019-02-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
US9357231B2 (en) * 2008-07-31 2016-05-31 Mitsubishi Electric Corporation Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
US20100177162A1 (en) * 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
JP5877065B2 (ja) 2009-01-26 2016-03-02 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化のためのフレーム・パッキング
JP4984183B2 (ja) * 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
US9036700B2 (en) 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
KR101353115B1 (ko) * 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
KR101727094B1 (ko) 2009-10-02 2017-04-17 코닌클리케 필립스 엔.브이. ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법
JP2011087194A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
WO2011091301A1 (en) * 2010-01-21 2011-07-28 General Instrument Corporation Full resolution stereoscopic video with 2d backward compatible signal
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
EP2537347B1 (en) * 2010-02-15 2019-06-05 InterDigital Madison Patent Holdings Apparatus and method for processing video content
EP2364031A1 (en) 2010-03-01 2011-09-07 Telefonaktiebolaget L M Ericsson (Publ) Compression coding and compression decoding of video signals
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US20130107956A1 (en) 2010-07-06 2013-05-02 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
WO2012020358A1 (en) 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
US20130222377A1 (en) 2010-11-04 2013-08-29 Koninklijke Philips Electronics N.V. Generation of depth indication maps
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
US9628769B2 (en) 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device
KR101187530B1 (ko) * 2011-03-02 2012-10-02 한국과학기술원 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
KR20120105199A (ko) * 2011-03-15 2012-09-25 엘지디스플레이 주식회사 다중 시청 가능한 입체영상 표시장치 및 그 구동방법
US9143757B2 (en) * 2011-04-27 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving stereoscopic video
ITTO20110414A1 (it) * 2011-05-11 2012-11-12 St Microelectronics Pvt Ltd Procedimento ed apparecchiatura per elaborare segnali video, prodotto informatico e segnale codificato relativi
GB2490886B (en) 2011-05-13 2017-07-05 Snell Advanced Media Ltd Video processing method and apparatus for use with a sequence of stereoscopic images
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
EP2761877B8 (en) 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
US9479762B2 (en) * 2011-12-05 2016-10-25 Tektronix, Inc. Stereoscopic video temporal frame offset measurement
CN104160705B (zh) 2012-03-12 2018-11-16 杜比实验室特许公司 三维视觉动态范围编码
US10021388B2 (en) 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
JP2014175945A (ja) * 2013-03-11 2014-09-22 Toshiba Corp 映像蓄積装置、映像蓄積再生装置、映像蓄積方法及び映像蓄積再生方法
CN103888735A (zh) * 2014-03-26 2014-06-25 龙迅半导体科技(合肥)有限公司 一种多路视频监控图像数据处理方法及系统
US9723377B2 (en) 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
CN105657426B (zh) * 2016-01-08 2018-12-07 全时云商务服务股份有限公司 一种视频编码系统和方法
US10944971B1 (en) * 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
US11095908B2 (en) * 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation
US10630976B2 (en) * 2018-08-17 2020-04-21 Qualcomm Incorporated Display refresh blocks determination for video coding
WO2020251154A1 (ko) * 2019-06-12 2020-12-17 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113271466B (zh) * 2020-02-14 2022-12-02 北京小鸟科技股份有限公司 图像编码方法、解码方法、传输方法以及存储装置和处理装置

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8203110A (nl) * 1982-08-05 1984-03-01 Philips Nv Vierde-orde digitaal multiplex systeem voor transmissie van een aantal digitale signalen met een nominale bitsnelheid van 44 736 kbit/s.
JP2736779B2 (ja) 1988-02-03 1998-04-02 株式会社トプコン 眼底カメラの螢光撮影装置
US5233302A (en) * 1991-06-21 1993-08-03 General Electric Company Masking motion ghost artifacts in NMR images
GB2267194B (en) * 1992-05-13 1995-10-04 Sony Broadcast & Communication Apparatus and method for processing image data
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
GB2309572A (en) * 1996-01-26 1997-07-30 Sharp Kk Spatial light modulator display
JPH0942675A (ja) 1995-07-25 1997-02-14 Osaka Gas Co Ltd ガスこんろ
JPH09139937A (ja) * 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
DE19547707A1 (de) * 1995-12-20 1997-07-03 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Übertragung von hierarchisch in mehrere Teile gegliederten digitalen Signalen
DE19609735C2 (de) 1996-03-13 1998-01-29 Schott Glaswerke Bleifreie Kronflintgläser
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
JPH10164347A (ja) 1996-11-26 1998-06-19 Ricoh Co Ltd 画像読取装置
JPH10243419A (ja) * 1997-02-26 1998-09-11 Toshiba Corp 立体視画像符号化・復号化方法及び装置
WO1998042132A1 (en) * 1997-03-17 1998-09-24 Matsushita Electric Industrial Co., Ltd. Method of processing, transmitting and receiving dynamic image data and apparatus therefor
EP1708487B1 (en) * 1997-08-29 2013-05-08 Panasonic Corporation Method and apparatus for reading a high-resolution optical video disc
JPH1198528A (ja) * 1997-09-19 1999-04-09 Fujitsu Ltd 立体動画像圧縮方法及び装置
JPH11317039A (ja) * 1998-02-16 1999-11-16 Sanyo Electric Co Ltd ディスクカ―トリッジ及びディスクプレ―ヤ
US6157412A (en) * 1998-03-30 2000-12-05 Sharp Laboratories Of America, Inc. System for identifying video fields generated from film sources
US20030115608A1 (en) * 1998-04-16 2003-06-19 Richard L. Armstrong Signal distribution method and apparatus
CN1230076C (zh) * 1998-05-25 2005-12-07 汕头新天地保健实业总公司 电子驱虫器
JP3646849B2 (ja) * 1998-05-28 2005-05-11 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
FI106998B (fi) * 1999-01-15 2001-05-15 Nokia Mobile Phones Ltd Bittinopeuden ohjaus multimedialaitteessa
EP1039750A3 (en) * 1999-03-26 2005-05-25 Matsushita Electric Industrial Co., Ltd. Video storage and retrieval apparatus
DE60045248D1 (de) * 1999-09-20 2010-12-30 Tivo Inc Untertitel-etikettiersystem
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
WO2001078402A1 (en) * 2000-04-11 2001-10-18 Koninklijke Philips Electronics N.V. Video encoding and decoding method
JP2002142227A (ja) * 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 映像信号の階層型符号化装置および階層型復号化装置
CN1145153C (zh) * 2001-02-26 2004-04-07 扬智科技股份有限公司 控制光盘机载体的控制系统及其方法
US20070230921A1 (en) * 2001-04-05 2007-10-04 Barton James M Multimedia time warping system
CN100375394C (zh) * 2001-08-23 2008-03-12 北方电讯网络有限公司 通过组合陪集和强编码陪集标识符实现正交幅度调制的系统和方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
KR100931915B1 (ko) * 2002-01-23 2009-12-15 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
JP4301559B2 (ja) * 2002-03-22 2009-07-22 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
US20050231507A1 (en) * 2002-07-04 2005-10-20 Koninklijke Philips Electronics N.V. Topological image model
US20040151394A1 (en) * 2003-01-31 2004-08-05 Mikael Soderberg Symmetrical, highly deterministic, low complexity, temporal transform video codec and vehicle distribution system incorporating same
AU2004211721B2 (en) * 2003-02-11 2009-08-20 Nds Limited Apparatus and methods for handling interactive applications in broadcast networks
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US20060159173A1 (en) * 2003-06-30 2006-07-20 Koninklijke Philips Electronics N.V. Video coding in an overcomplete wavelet domain
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
CN1926576A (zh) 2004-02-27 2007-03-07 Td视觉有限公司 用于数字编码3d立体视频图像的方法和系统
US20050251750A1 (en) * 2004-05-10 2005-11-10 Robert Vallone Television viewer interface system
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
EP1869891A4 (en) * 2005-04-13 2014-06-11 CODING, STORAGE AND SIGNALING OF SCALABILITY INFORMATION
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
WO2007004633A1 (ja) * 2005-07-05 2007-01-11 Sanyo Electric Co., Ltd. 立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体
US8879635B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8705617B2 (en) * 2005-09-27 2014-04-22 Qualcomm Incorporated Multiple layer video encoding
EP1946563A2 (en) * 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
WO2007080502A2 (en) * 2006-01-11 2007-07-19 Nokia Corporation Backward-compatible aggregation of pictures in scalable video coding
KR100754205B1 (ko) * 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
JP4983147B2 (ja) * 2006-08-18 2012-07-25 富士通セミコンダクター株式会社 多重化装置、多重化方法および多重化プログラム
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US8249984B2 (en) * 2007-05-31 2012-08-21 International Business Machines Corporation System and method for fair-sharing in bandwidth sharing ad-hoc networks
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387359A (zh) * 2010-08-31 2012-03-21 中国电信股份有限公司 三维视频传输方法、系统及编解码装置
CN103262549A (zh) * 2010-12-08 2013-08-21 Lg电子株式会社 用于接收数字广播信号的设备和方法
CN103262549B (zh) * 2010-12-08 2017-02-22 Lg电子株式会社 用于接收数字广播信号的设备和方法
US9628780B2 (en) 2010-12-08 2017-04-18 Lg Electronics Inc. Device and method for receiving digital broadcast signal
WO2012100537A1 (zh) * 2011-01-28 2012-08-02 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN105100822A (zh) * 2011-01-28 2015-11-25 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN105100822B (zh) * 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN105103543A (zh) * 2013-04-12 2015-11-25 联发科技股份有限公司 兼容的深度依赖编码方法和装置
CN105103543B (zh) * 2013-04-12 2017-10-27 寰发股份有限公司 兼容的深度依赖编码方法
CN114866801A (zh) * 2022-04-13 2022-08-05 中央广播电视总台 视频数据的处理方法、装置、设备及计算机可读存储介质
CN114866801B (zh) * 2022-04-13 2023-10-27 中央广播电视总台 视频数据的处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20140369423A1 (en) 2014-12-18
RU2010116176A (ru) 2011-11-10
US11677924B2 (en) 2023-06-13
MY162861A (en) 2017-07-31
KR101564461B1 (ko) 2015-11-06
EP2204043B1 (en) 2015-04-01
US8854427B2 (en) 2014-10-07
JP2011515874A (ja) 2011-05-19
BRPI0817192A2 (pt) 2015-03-17
WO2009040701A3 (en) 2009-05-22
US20210105449A1 (en) 2021-04-08
US10904509B2 (en) 2021-01-26
ES2536776T3 (es) 2015-05-28
WO2009040701A2 (en) 2009-04-02
EP2204043A2 (en) 2010-07-07
ZA201002896B (en) 2011-07-27
CN104935956A (zh) 2015-09-23
BRPI0817192B1 (pt) 2020-08-04
MX2010003159A (es) 2010-04-01
US20100110163A1 (en) 2010-05-06
PL2204043T3 (pl) 2015-08-31
CA2700499A1 (en) 2009-04-02
AU2008303276A1 (en) 2009-04-02
KR20100063806A (ko) 2010-06-11
EP2863640A1 (en) 2015-04-22
CN104935956B (zh) 2019-01-22
CA2700499C (en) 2017-10-24
RU2518408C2 (ru) 2014-06-10
US20230276039A1 (en) 2023-08-31
EG26406A (en) 2013-10-21

Similar Documents

Publication Publication Date Title
US11677924B2 (en) Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN110870302B (zh) 用于全向视频的装置、方法和计算机程序
US9014276B2 (en) Method and system for 3D video coding using SVC temporal and spatial scalabilities
US8665968B2 (en) Method and system for 3D video coding using SVC spatial scalability
Chen et al. Overview of the MVC+ D 3D video coding standard
EP2596637B1 (en) Systems and methods for multi-layered frame-compatible video delivery
EP3354023A1 (en) An apparatus, a method and a computer program for video coding and decoding
KR20120026026A (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US9049445B2 (en) Dual-layer backwards-compatible progressive video delivery
EP3409018A1 (en) Spatial scalable video coding
US20110149033A1 (en) Code stream conversion system and method, code stream identifying unit and solution determining unit
CN104137561A (zh) 解码图像的方法和使用其的装置
US8483271B2 (en) Method and system for 3D video pre-processing and post-processing
Merkle et al. Stereo video compression for mobile 3D services
AU2008303276B2 (en) Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
Kumar et al. A Comparative Analysis of Advance Three Dimensional Video Coding for Mobile Three Dimensional TV
GB2613015A (en) Decoding a multi-layer video stream using a joint packet stream
WO2023089340A1 (en) Processing a multi-layer video stream
Kumarganesh et al. Efficient medical data and medical video compression using HEVC standard
Lee et al. Interlaced MVD format for free viewpoint video
KR20130063603A (ko) 부가 영상 부복호화 방법 및 이러한 방법을 사용하는 장치
KR20120120619A (ko) 쓰리디 티브이 방송을 지원하는 동영상 부호화 방법, 복호화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100825