CN101188779B - 解码多路复用的视频分组流的方法 - Google Patents

解码多路复用的视频分组流的方法 Download PDF

Info

Publication number
CN101188779B
CN101188779B CN2007101598525A CN200710159852A CN101188779B CN 101188779 B CN101188779 B CN 101188779B CN 2007101598525 A CN2007101598525 A CN 2007101598525A CN 200710159852 A CN200710159852 A CN 200710159852A CN 101188779 B CN101188779 B CN 101188779B
Authority
CN
China
Prior art keywords
stream
video
basic stream
multiplexed
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101598525A
Other languages
English (en)
Other versions
CN101188779A (zh
Inventor
尹国镇
曹叔嬉
崔润静
李珍焕
安致得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN101188779A publication Critical patent/CN101188779A/zh
Application granted granted Critical
Publication of CN101188779B publication Critical patent/CN101188779B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开了一种解码多路复用的视频分组流的方法。该方法包括：接收包括有用于表示运动画面的视点数的视点信息标志和用于表示运动画面的显示模式的显示区分标志的多路复用的分组流；从多路复用的分组流中检测视点信息标志和显示区分标志；基于检测的视点信息标志和检测的显示区分标志确认多路复用的分组流的流格式并解码确认的分组流。本发明对具有相同时间和空间信息的多通道基本流进行多路复用，从而最小化重叠的首标信息，且对适合于用户需求和用户系统环境的数据进行流化处理。

Description

解码多路复用的视频分组流的方法
本案是申请日为2002年11月21日、申请号为02826895.4、发明名称为“3D立体/多视图视频处理系统及其方法”的发明专利申请的分案申请。
技术领域
本发明涉及三维(3D)视频处理系统及其方法。更具体的，本发明涉及基于MPEG-4(运动图像专家组-4)处理立体/多视图三维视频图像的设备和方法。
背景技术
MPEG是一种通过视频图像压缩和编码表示的信息传送方法，且继当前的MPEG-1/2/4之后，被发展到下一代压缩方法MPEG-7。
MPEG-4，即在因特网上的数字存储介质中自由地存储包括视频图像的多媒体数据的视频流标准，现在已普遍使用，且MPEG-4可应用于便携式万维网广播MPEG-4播放器(PWMP)，等。
更具体的，MPEG-4是一种通过增加现有视频和音频信号的压缩编码的通用多媒体标准，所述通用多媒体包括静止图像、计算机图形(CG)、分解复合系统的音频编码、基于乐器数据接口(MIDI)的复合音频、以及文本。
相应地，属性相互不同的对象间的同步技术，以及用于表示各个对象的属性的对象描述符表示方法和用于表示对象之间的时间和空间相关性的场景描述信息表示方法是极其重要的事情。
在MPEG-4系统中，媒体对象以基本流(elementary stream)的形式被编码和传递，其由确定网络最大传输率、QoS(服务质量)因子和必需的解码器资源的变量来表征。单个媒体对象由特定编码方法的一个基本流组成，且通过包含压缩层、同步层和传输层的层次结构而被流化处理。
MPEG-4系统对从多个编码器的每个存取单元输出的数据流进行分组以处理不同属性的对象，并使用对象描述符信息和场景描述信息自由地表示数据流。
可是，现有MPEG-4系统只对二维(以下称“2D”)多媒体数据进行标准化，因此极少涉及用于处理立体/多视图3D视频数据的技术。
发明内容
本发明的一个目的是基于现有的MPEG-4标准处理立体/多视图三维视频数据。
本发明的另一个目的是通过将具有相同时间和空间信息的多通道的基于场的基本流多路复用为单个基本流，来最小化重叠的分组首标信息。
本发明的再一个目的是选择适合于用户需求和用户系统环境的数据，从而简化数据流。
根据本发明的一个方面，提供一种基于MPEG-4处理视频图像的立体/多视图三维视频处理系统，该系统包括：压缩器，用于处理输入立体/多视图三维视频数据，以生成多个通道的基于场的基本流，并将多通道基本流输出到单个集成的基本流中；分组器，用于从压缩器的每个存取单元接收基本流，且对所接收的基本流进行分组；以及传送器，用于处理分组的立体/多视图三维视频数据，且传递或存储所处理的视频数据。
压缩器包括三维对象编码器，用于编码输入立体/多视图三维视频数据，以输出多通道的基于场的基本流；以及三维基本流混合器，用于将多通道的基于场的基本流集成到单个基本流中。
当输入数据是三维立体视频数据时，三维对象编码器以4通道场为单位输出基本流，4通道场包括左图像的奇场和偶场以及右图像的奇场和偶场。可选的，当输入数据是N-视图的多视图视频数据时，三维对象编码器将N×2个基于场的基本流输出到三维基本流混合器。
三维基本流混合器根据由用户选择的立体/多视图三维视频的显示模式，通过选择性地使用经多个通道输入的多个基本流来生成单个基本流。显示模式是从二维视频显示模式、用于通过基于场的模板来显示三维视频图像的三维视频场模板显示模式、用于通过基于帧的模板来显示三维视频图像的三维立体视频帧模板显示模式、以及用于以所要求的帧频顺序地显示图像的多视图三维视频显示模式中选择的任意一种模式。
当显示模式是三维视频场模板显示模式时，所述三维基本流混合器以左图奇场基本流和右图偶场基本流的顺序使用2通道基本流，将从三维对象编 码器输出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。
当显示模式是三维视频帧模板显示模式时，所述三维基本流混合器以左图奇场基本流、左图偶场基本流、右图奇场基本流和右图偶场基本流的顺序使用4通道基本流，将从三维对象编码器输出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。
当显示模式是二维视频显示模式时，所述三维基本流混合器以左图奇场基本流和左图偶场基本流的顺序使用2通道基本流，将从三维对象编码器输出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。
当显示模式是三维多视图视频显示模式时，所述三维基本流混合器以视点的奇场基本流和偶场基本流的顺序使用各个视点，将从三维对象编码器输出的N-视图视频的N×2个基于场的基本流多路复用为单通道存取单元流。
在将基本流处理为单通道存取单元流并将它们发送到分组器时，压缩器通过增加图像区分信息、显示区分信息和视点信息中的至少一个来将各个基本流发送到分组器，所述图像区分信息表示基本流是否是二维或三维视频数据，所述显示区分信息表示由用户所选择的立体/多视图三维视频的显示模式的显示区分信息，所述视点信息表示作为多视图视频图像的相应视频图像的视点数。
因此，分组器从压缩器每个存取单元接收单通道流，对接收的单通道流进行分组，之后基于附加信息构造分组首标。优选地，分组首标包括存取单元开始标志，其表示分组有效载荷的哪个字节是流的开始；存取单元结束标志，其表示分组有效载荷的哪个字节是流的结束；图像区分标志，其表示从压缩器输出的基本流是二维还是三维视频数据；解码时间戳标志；合成时间戳标志；视点信息标志，其表示视频图像的视点数；以及显示区分标志，其表示显示模式。
根据本发明的另一个方面，提供一种立体/多视图三维视频处理方法，该方法包括：(a)接收三维视频数据，确定相应的视频图像是立体还是多视图视频图像，以及根据确定结果处理相应视频数据以生成多通道的基于场的基本流；(b)以由用户所选择的显示模式对多通道的基于场的基本流进行多路复用，以输出单通道基本流；(c)对所接收的单通道基本流进行分组；以及(d)处 理分组的立体/多视图三维视频图像，并发送或存储所处理的视频图像。
生成基本流的步骤(a)包括：当输入数据是三维立体视频数据时，以4通道场为单位输出基本流，所述4通道场包括左三维立体图像的奇场和偶场以及右三维立体图像的奇场和偶场；以及当输入数据是N-视图的多视图视频数据时，输出N×2个基于场的基本流。
多路复用步骤(b)进一步包括：当显示模式是三维视频场模板显示模式时，按照左图奇场基本流和右图偶场基本流的顺序使用2通道基本流，将立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。
多路复用步骤(b)进一步包括：当显示模式是三维视频帧模板显示模式时，按照左图奇场基本流、左图偶场基本流、右图奇场基本流和右图偶场基本流的顺序使用4通道基本流，将立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。
多路复用步骤(b)进一步包括：当显示模式是二维视频显示模式时，按照左图奇场基本流和左图偶场基本流的顺序使用2通道基本流，将立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元流。
多路复用步骤(b)进一步包括：当显示模式是三维多视图视频显示模式时，按照视点的奇场基本流和偶场基本流的顺序使用各个视点，将N-视图视频的N×2个基于场的基本流多路复用为单通道存取单元流。
多路复用步骤(b)包括：处理多视图三维视频图像以生成多通道基本流，以及使用从多通道基本流中的一个通道的基本流获得的时间信息来获得和其它视点的基本流的同步，从而获得三维视频图像间的同步。
根据本发明的又一个方面，提供一种解码多路复用的视频分组流的方法。该方法包括：(a)接收包括有视点信息标志和显示区分标志的多路复用的分组流，所述视点信息标志用于表示运动画面的视点数，所述显示区分标志用于表示运动画面的显示模式；(b)从多路复用的分组流中检测视点信息标志和显示区分标志；(c)基于检测的视点信息标志和检测的显示区分标志确认多路复用的分组流的流格式并解码确认的分组流。
附图说明
并入并且组成说明书的一部分的附图图解说明了本发明的实施例，并与说明书一起用来描述本发明的原理。
图1是根据本发明实施例的立体/多视图3D视频处理系统的示意图；
图2是ESI发送的关于传统2D多媒体的信息的图示；
图3是根据本发明实施例的立体3D视频编码器的输入/输出数据的图示；
图4是根据本发明实施例的3D N-视图视频编码器的输入/输出数据的图示；
图5是根据本发明实施例的用于立体视频3D ES混合器的输入/输出数据的图示；
图6是根据本发明实施例的多视图3D ES混合器的输入/输出数据的图示；
图7是根据本发明实施例用于场模板显示的立体3D视频图像的基于场的ES多路复用器的示意图；
图8是根据本发明实施例用于帧模板显示的立体3D视频图像的基于场的ES多路复用器的示意图；
图9是根据本发明实施例用于2D显示的立体3D视频图像的基于场的ES多路复用器的示意图；
图10是根据本发明实施例用于3D显示的多视图3D视频图像的基于场的ES多路复用器的示意图；
图11是根据本发明实施例用于2D显示的多视图3D视频图像的基于场的ES多路复用器的示意图；
图12是根据本发明实施例的、用于处理立体/多视图3D视频图像的传统ESI的附加传送信息的图示；
图13是根据本发明实施例的、用于处理立体/多视图3D视频图像的同步分组首标的示意图；
图14是由MPEG-4系统定义的流类型；以及
图15是通过解码器处理立体/多视图3D视频图像的3D视频图像流类型。
具体实施方式
在下面的详细描述中，简单地通过图解说明由完成本发明的发明者预期的最佳模式只显示和描述了本发明的优选实施例。正如将会认识到的那样，能够在各个显而易见的方面对本发明作出修改，而都不会偏离本发明。因此，附图和描述本质上应被看成是说明性的，而不是限制性的。
在本发明的实施例中，处理MPEG-4立体/多视图3D视频数据。特别地，根据用户的系统环境和用户所选择的显示模式，将通过多个通道在同一时刻输出的编码的、基于场的基本流集成到单通道基本流中，之后多路复用成单个3D存取单元流(以下称为3D_AU流)。
更特别地，流式处理可支持所有4种显示模式：二维视频显示模式；三维视频场模板显示模式，用于通过基于场的模板来显示三维视频图像；三维立体视频帧模板显示模式，用于通过基于帧的模板来显示三维视频图像；以及多视图三维视频显示模式，用于通过使用小光学透镜(lenticula)镜头等以所要求的帧频来顺序地显示图像。
为了使能上述用户定义的4种显示和立体/多视图3D视频图像的多路复用，本发明的实施例生成同步分组首标的新的首标信息，并构造具有最小化的重叠信息的首标。再者，本发明实施例通过使用从同一时刻的多视图视频图像的多通道基本流中的一个通道基本流中获得的时间信息来获得和其它视点的基本流同步，以简化3D视频图像间的同步。
图1是根据本发明实施例的立体/多视图3D视频处理系统(以下称为“视频处理系统”)的示意图。
如图1所示，根据本发明的实施例的、基于MPEG-4系统处理立体/多视图3D视频数据的视频处理系统包含：压缩层10，其支持多个编码器；同步层20，其接收存取单元(AU)数据并生成适合于同步的分组；以及传输层30，其包括为了多个流的同时发生的多路复用而可选地给出的FlexMux 31，和用于构造与传输环境和存储介质的接口的传输多媒体集成框架(DMIF)32。
压缩层10包括用于静止图像、计算机图形(CG)、分解复合系统的音频编码、乐器数据接口(MIDI)、文本、以及2D视频和音频的各种对象编码器。
更具体地，如图1所示，压缩层10包括3D对象编码器11、2D对象编码器12、场景描述流生成器13、对象描述符流生成器14以及3D基本流混合器(以下称为3D_ES混合器)15和16。
2D对象编码器12对包括静止图像、计算机图形(CG)、分解复合系统的音频编码、乐器数据接口(MIDI)和文本、以及2D视频和音频的各种对象进行编码。从2D对象编码器12中的各个编码器输出的基本流以AU流形式被输出，并被传送到同步层20。
对象描述符流生成器14生成对象描述符流，用于表示多个对象的属性， 场景配置信息流生成器13生成场景描述流，用于表示对象间的时间和空间相关性。
3D对象编码器11以及3D_ES混合器15和16用于处理立体/多视图3D视频图像，同时保持和现有MPEG-4系统的兼容性。
3D对象编码器11是一个用于立体/多视图3D视频数据的基于对象的编码器，且包括：多个3D实像编码器，用于处理由相机等实际获取的图像；以及3D计算机图形(CG)编码器，用于处理计算机生成的图像，即CG。
当输入数据是在不同方向上生成的立体3D视频图像时，3D对象编码器11分别以左右图像的奇偶场为单位输出基本流。相比之下，当输入数据是N-视图3D视频图像时，3D对象编码器11将N×2个基于场的基本流输出到3D_ES混合器15和16。
3D_ES混合器15和16将从3D对象编码器11输出的各个基本流处理为单个3D_AU流，并将所述单个3D_AU流发送到同步层20。
经由基本流接口(ESI)将上述从压缩层10输出的单个3D_AU流传送到同步层。ESI是将媒体数据流连接到同步层的接口，其不是由ISO/IEC 14496-1所规定的，而是为了易于实现而提供的，因此可以在需要的情况下作修改。ESI传送同步层(Sync Layer，SL)分组首标信息。在图2中图解说明了在现有MPEG-4系统中通过ESI传送的SL分组首标信息的一个例子。同步层20使用SL分组首标信息生成SL分组首标。
为保持基本流之间或基本流中的时间同步，同步层20包括多个对象分组器21，其接收从压缩层10每个AU输出的各个基本流，将其分成多个SL分组以生成各个SL分组的有效载荷，且参照经由ESI为每个AU接收的信息生成每个单独SL分组的首标，从而完成由首标和有效载荷组成的SL分组。
SL分组首标用于在数据丢失的情况下检查连续性，且包括和时间戳相关的信息。
将从同步层20输出的分组流发送到传输层30，并在由FlexMux 31多路复用之后经DIMF 32将其处理成适合于至传输环境和存储介质的接口的流。
同步层20和传输层30的基本处理和现有MPEG-4系统的基本处理是相同的，并因此不详细描述。
现在描述基于上述构造的视频处理系统来多路复用立体/多视图3D视频图像的方法。
作为例子，将2D图像和由至少两个相机获得的多通道3D图像(包括静止或运动照片)，或计算机生成的3D图像即CG，分别送入压缩层10的2D对象编码器12和3D对象编码器11。2D图像的多路复用处理对本领域的技术人员而言是众所周知的，因此不详细描述。
将作为由相机获取的实像的立体/多视图3D视频图像输入到3D对象编码器11中的3D实像编码器111，且将作为计算机生成的3D立体/多视图视频图像的CG输入到3D对象编码器11中的3D CG编码器112。
图3和图4分别图解说明了多个3D实像编码器和3D CG编码器的操作。
如图3所示，当输入数据是在左右方向上生成的立体3D视频图像时，3D实像编码器111或3D CG编码器112以场为单位对左右图像或左右CG数据进行编码，以便以4通道场为单位输出基本流。
更具体地，将立体3D实像或CG编码成左奇场的立体3D基本流3DES_LO、左偶场的立体3D基本流3DES_LE、右奇场的立体3D基本流3DES_RO以及右偶场的立体3D基本流3DES_RE。
当输入数据是N-视图视频图像时，3D实像编码器111或3D CG编码器112以场为单位对N-视图图像或CG数据进行编码，以输出第1到第N个视点的奇场基本流，以及第1到第N个视点的偶场基本流。
更具体地，如图4所示，将N-视图视频编码为N×2个基本流，所述基本流包括第1视点的奇场基本流3DES_#1 OddField、第2视点的奇场基本流3DES_#2 OddField、…第N视点的奇场基本流3DES_#N OddField、第1视点的偶场基本流3DES_#1 EvenField、第2视点的偶场基本流3DES_#2EvenField、…第N视点的偶场基本流3DES_#N EvenField。
如上面所描述的，将从立体/多视图3D对象编码器11输出的多通道的基于场的基本流输入到3D_ES混合器15和16以进行多路复用。
图5和图6图解说明了3D_ES混合器的多路复用处理。
3D_ES混合器15和16将多通道的基于场的基本流多路复用为3D_AU流，以输出单通道的集成流。这里，取决于显示模式，将被传送的基本流数据是可变的。因此，对各个显示模式而言，进行多路复用仅传送必要的基本流。
有4种显示模式：2D视频显示模式、3D视频场模板显示模式、3D视频帧模板显示模式以及多视图3D视频显示模式。
图7到图11取决于所涉及的显示模式，图解说明多通道的基于场的基本流的多路复用的例子。图7、图8和图9说明立体3D视频数据的多路复用方法，图10和图11说明多视图3D视频数据的多路复用方法。
当用户为立体3D视频数据选择3D视频场模板显示模式时，将从3D对象编码器11输出的4通道基本流中的左奇场的立体3D基本流3DES_LO和右偶场的立体3D基本流3DES_RE顺序地集成到单通道3D_AU流中，如图7所示。
当用户为立体3D视频数据选择3D视频帧模板显示模式时，将4通道基本流中的左奇场的立体3D基本流3DES_LO、左偶场的立体3D基本流3DES_LE、右奇场的立体3D基本流3DES_RO和右偶场的立体3D基本流3DES_RE顺序地集成到单通道3D_AU流中，如图8所示。
当用户为立体3D视频数据选择2D视频显示模式时，将左奇场的立体3D基本流3DES_LO和左偶场的立体3D基本流3DES_LE顺序地集成到单通道3D_AU流中，如图9所示。
当用户为多视图3D视频数据选择3D视频显示模式时，对于每个视点按奇偶场的顺序，之后按视点顺序将基本流集成到单通道3D_AU流中，如图10所示。即按第1视点的奇场基本流3DES_#1 OddField、第1视点的偶场基本流3DES_#1 EvenField、…第N视点的奇场基本流3DES_#N OddField、和第N视点的偶场基本流3DES_#N EvenField的顺序，将多视图视频图像的基本流集成到单通道3D_AU流中。
当用户为多视图3D视频数据选择2D视频显示模式时，只将一个视点的奇偶场基本流顺序地集成到单通道3D_AU流中，如图11所示。因此，在多视图3D视频图像的2D视频显示模式下，允许用户显示他/她所期望的视点的图像。
如上面所描述的，将从3D_ES混合器15和16输出的单通道3D_AU流送入同步层20中。如图2所示，根据本发明的实施例，除从ESI传送的信息之外，单通道3D_AU流包括立体/多视图3D视频流的可选信息。
图12中定义了增加到立体/多视图3D视频数据中的信息的语法和语义。
图12示出了对于立体/多视图3D视频图像而增加到单个3D_AU流中的信息的语法和语义，其中只图解说明经由ESI传送的信息以外的可选信息。
更具体地，另外给出了3个信息集合，如显示区分标志2D_3DDispFlag 和视点信息标志NumViewpoint，如图12所示。
显示区分标志2D_3DDispFlag表示由用户选择的立体/多视图3D视频的显示模式。在该实施例中，如果不明确限定则显示区分标志是：“00”用于2D视频显示模式、“01”用于3D视频场模板显示模式、“10”用于3D视频帧模板显示模式、“11”用于多视图3D视频显示模式。
视点信息标志NumViewpoint表示运动画面的视点数。即对于2视点的视频图像的立体3D视频数据，将视点信息标志指定为“2”，对于N视点的视频图像的3D N-视图视频数据，将视点信息标志指定为“N”。
同步层20接收每个AU的输入基本流，将它分为多个SL分组，以生成各个SL分组的有效载荷，并且基于经ESI为每个AU传送的信息以及关于立体/多视图3D视频图像的上述附加信息(即显示区分标志和视点信息标志)构造同步分组首标。
图13图解说明了根据本发明的实施例的立体3D视频数据的同步分组首标的结构，所述同步分组首标是增加到一个3D_AU流中的首标信息。
在图13所示的同步分组首标中，存取单元开始标志AccessUnitStartFlag表示同步分组有效载荷的哪个字节是3D_AU流的开始。例如，标志位“1”表示SL分组有效载荷的第一个字节是一个3D_AU流的开始。
存取单元结束标志AccessUnitEndFlag表示同步分组有效载荷的哪个字节是3D_AU流的结束。例如，标志位1表示SL分组有效载荷的最后一个字节是当前3D_AU流的结束字节。
对象时钟参照(OCR)标志表示跟随有多少个对象时钟参照。例如，标志位“1”表示跟随有一个对象时钟参照。
空闲标志IdleFlag表示3D_AU流的输出状态。例如，标志位“1”表示对于某个预先确定的时刻不输出3D_AU数据，标志位“0”表示输出3D_AU数据。
填充标志PaddingFlag表示在SL分组中是否存在填充。例如，标志位“1”表示在SL分组中存在填充。
填充位PaddingBits表示将用于SL分组的填充模式，且具有缺省值“0”。
分组序列号PacketSequenceNumber有一个对于各个SL分组连续增加的模数值。解码器中的不连续说明至少一个SL分组丢失了。
对象时钟参照(OCR)包括OCR时间戳，且仅当设置了OCR标志时，才 存在于SL分组首标中。
设置为“1”的存取单元开始标志AccessUnitStartFlag的标志位表示SL分组有效载荷的第一个字节是一个3D_AU流的开始，在这种情况下传送可选字段的信息。
具有设置为“1”的标志位的随机存取点标志RandomAccessPointFlag表示允许随机存取内容。
3D_AU序列号3D_AUSequenceNumber有一个对于各个3D_AU连续增加的模数值。解码器中的不连续说明至少一个3D_AU丢失了。
解码时间戳标志DecodingTimeStampFlag表示在SL分组中存在有解码时间戳(DTS)。
合成时间戳标志CompositionTimeStampFlag表示在SL分组中存在有合成时间戳(CTS)。
即时(instant)比特率标志InstantBitRateFlag表示在SL分组中存在有即时比特率。
解码时间戳(DTS)是在相关的SL配置描述符中存在的DTS，且仅当解码时间不同于3D_AU的复合时间时存在。
合成时间戳(CTS)是在相关的SL配置描述符中存在的CTS。
3D_AU长度表示3D_AU的字节长度。
即时比特率表示当前3D_AU的比特率，并且是有效的，直到下一个即时比特率字段出现为止。
降级优先级表示SL分组有效载荷的优先级。
视点信息标志NumViewpoint表示运动画面的视点数。即对于2视点运动画面的立体3D视频数据，将视点信息标志设置为“2”，或对于3D N-视图视频数据，将视点信息标志设置为“N”。
显示区分标志2D_3DDispFlag以和立体3D视频数据的情况相同的方式来表示3D视频数据的显示模式。在该实施例中，显示区分标志对于2D视频显示模式被设置为“00”，对于3D视频场模板显示模式被设置为“01”，对于3D视频帧模板显示模式被设置为“10”，对于多视图视频显示模式被设置为“11”。
在建造了上述构造的首标之后，同步层20将首标和有效载荷组合在一起，以生成SL分组并发送该SL分组到传输层30。
在FlexMux 31中被多路复用之后，将传送到传输层30的SL分组流处理为适合于经DMIF 32至传输环境的接口的流，并将其发送到接收方。可选的，将SL分组流处理为适合于至存储介质的接口的流，并将其存储在存储介质中。
接收方解码来自视频处理系统的处理的分组流，以再现原始图像。
在这种情况下，接收方的3D对象解码器检测多路复用的3D_AU的流格式类型，从而以每个多路复用的3D_AU的流格式类型来恢复3D视频数据。因此，3D对象解码器在基于在接收的分组的首标中存储的信息中的视点信息标志NumViewpoint和显示区分标志2D_3DDispFlag中存储的值，检测3D_AU的流格式类型之后，进行解码。
例如，当所传送的分组流首标的视点信息标志NumViewpoint是“2”且显示区分标志2D_3DDispFlag是“00”时，将以2D视频显示模式显示立体3D视频数据，且按左奇场的3D基本流3DES_LO、左偶场的3D基本流3DES_LE的顺序来多路复用3D_AU，如图10所示。
当视点信息标志NumViewpoint是“2”且显示区分标志2D_3DDispFlag是“01”时，以3D视频场模板显示模式显示立体3D视频数据，且以左奇场的3D基本流3DES_LO、右偶场的3D基本流3DES_RE的顺序多路复用3D_AU，如图8所示。
最后，当视点信息标志NumViewpoint是“2”且显示区分标志2D_3DDispFlag是“10”时，将以3D视频帧模板显示模式显示立体3D视频数据，且以左奇场的3D基本流3DES_LO、左偶场的3D基本流3DES_LE和右偶场的3D基本流3DES_RE的顺序多路复用3D_AU，如图9所示。
另一方面，当视点信息标志NumViewpoint是“2”且显示区分标志2D_3DDispFlag是“11”时，将以多视图3D视频显示模式来显示立体3D视频数据，该情况不会出现。
当视点信息标志NumViewpoint是“N”且显示区分标志2D_3DDispFlag是“00”时，将以2D视频显示模式显示多视图3D视频数据，并以第一视点的奇场基本流3DES_#1O、第一视点的偶场基本流3DES_#1E的顺序多路复用3D_AU，如图12所示。
当视点信息标志NumViewpoint是“N”且显示区分标志2D_3DDispFlag是“11”时，将以多视图3D视频显示模式显示多视图3D视频数据，且以第   一到第N视点的所有奇场基本流3DES_#1O，…，3DES_#NO和第一到第N视点的所有偶场基本流3DES_#1E，…，3DES_#NE的顺序多路复用3D_AU，如图11所示。
当视点信息标志NumViewpoint是“N”且显示区分标志2D_3DDispFlag是“ 10”或“01”时，将以3D视频帧/场模板显示模式显示多视图3D视频数据，该情况不会出现。
如上所述，根据本发明的实施例，接收方基于在从视频处理系统传送的分组流首标的视点信息标志NumViewpoint和显示区分标志2D_3DDispFlag中存储的值，检查分组流中多路复用的3D_AU的流格式类型，之后执行解码以再现3D视频图像。
图14说明了由MPEG-4系统的DecoderConfigDescriptor所定义的流类型，图15说明了一种新的流类型，其用于确定从压缩层输出的立体3D视频图像的基本流是2D还是3D视频图像数据。
尽管关于目前认为是最实用和优选的实施例描述了本发明，但应当理解本发明不限于所公开的实施例，相反，本发明试图覆盖在附加权利要求的精神和范围内所包括的各种修改和等价结构。
如上所述，本发明使现有MPEG-4系统中的立体/多视图3D视频处理成为可能。
特别地，将具有相同时间和空间信息的多通道的基于场的基本流多路复用为单个基本流，从而最小化重叠的首标信息。
本发明还通过使用从同一时刻的多视图视频数据的多通道基本流中的一个通道基本流中获得的时间信息来获得与其它视点的基本流同步，从而简化3D视频图像间的同步。
此外，本发明的多路复用结构和首标构造允许用户有选择性地以3D视频场/帧模板显示模式、多视图3D视频显示模式或2D视频显示模式，来显示立体/多视图3D视频数据，同时保持和现有2D视频处理系统的兼容性。因此，本发明可对所选择的适合于用户需求和系统环境的数据进行流化处理。

Claims (6)

1.一种解码多路复用的视频分组流的方法，包括：
(a)接收包括有视点信息标志和显示区分标志的多路复用的分组流，所述视点信息标志用于表示运动画面的视点数，所述显示区分标志用于表示运动画面的显示模式；
(b)从多路复用的分组流中检测视点信息标志和显示区分标志；
(c)基于检测的视点信息标志和检测的显示区分标志确认多路复用的分组流的流格式并解码确认的分组流。
2.如权利要求1所述的方法，其中所述视点信息标志和显示区分标志包括在多路复用的分组流的首标中。
3.如权利要求1或2所述的方法，其中当确认的流格式是三维视频场模板显示模式时，在确认使用2通道基本流、按照左图的奇场基本流和右图的偶场基本流的顺序将立体三维视频的4通道的基于场的基本流多路复用为一或多个存取单元流之后，步骤(c)进行解码。
4.如权利要求1或2所述的方法，其中当确认的流格式是三维视频帧模板显示模式时，在确认使用4通道基本流，按照左图的奇场基本流、左图的偶场基本流、右图的奇场基本流、右图的偶场基本流的顺序将立体三维视频的4通道的基于场的基本流多路复用为一或多个存取单元流之后，步骤(c)进行解码。
5.如权利要求1或2所述的方法，其中当确认的流格式是二维视频显示模式时，在确认使用2通道基本流、按照左图的奇场基本流和左图的偶场基本流的顺序将立体三维视频的4通道的基于场的基本流多路复用为一或多个存取单元流之后，步骤(c)进行解码。
6.如权利要求1或2所述的方法，其中当确认的流格式是三维多视图视频显示模式时，在确认使用各个视点、按照视点的奇场基本流和偶场基本流的顺序将N视图视频的N×2个基于场的基本流顺序地多路复用为一或多个存取单元流之后，步骤(c)进行解码。
CN2007101598525A 2001-11-21 2002-11-21 解码多路复用的视频分组流的方法 Expired - Fee Related CN101188779B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2001-0072603A KR100397511B1 (ko) 2001-11-21 2001-11-21 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR2001/72603 2001-11-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB028268954A Division CN100428804C (zh) 2001-11-21 2002-11-21 3d立体/多视图视频处理系统及其方法

Publications (2)

Publication Number Publication Date
CN101188779A CN101188779A (zh) 2008-05-28
CN101188779B true CN101188779B (zh) 2010-12-22

Family

ID=19716151

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB028268954A Expired - Fee Related CN100428804C (zh) 2001-11-21 2002-11-21 3d立体/多视图视频处理系统及其方法
CN2007101598525A Expired - Fee Related CN101188779B (zh) 2001-11-21 2002-11-21 解码多路复用的视频分组流的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB028268954A Expired - Fee Related CN100428804C (zh) 2001-11-21 2002-11-21 3d立体/多视图视频处理系统及其方法

Country Status (7)

Country Link
US (2) US20030095177A1 (zh)
EP (2) EP2306747A1 (zh)
JP (2) JP4425635B2 (zh)
KR (1) KR100397511B1 (zh)
CN (2) CN100428804C (zh)
AU (1) AU2002366143A1 (zh)
WO (1) WO2003045046A2 (zh)

Families Citing this family (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
AU2003252388A1 (en) * 2002-08-27 2004-03-19 Sharp Kabushiki Kaisha Content reproduction device capable of reproducing a content in optimal reproduction mode
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
KR100576544B1 (ko) * 2003-12-09 2006-05-03 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
KR101029808B1 (ko) * 2004-01-27 2011-04-20 엘지전자 주식회사 싱크 레이어 패킷의 패킷화 방법
US7660472B2 (en) * 2004-02-10 2010-02-09 Headplay (Barbados) Inc. System and method for managing stereoscopic viewing
KR101187550B1 (ko) * 2004-02-27 2012-10-04 티디비전 코포레이션 에스.에이. 데 씨.브이. 입체적 3ｄ-비디오 이미지 디지털 코딩 시스템 및 방법
WO2005083637A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de decodificación digital de imágenes de video 3d estereoscópicas
US7262783B2 (en) * 2004-03-03 2007-08-28 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
US7542050B2 (en) 2004-03-03 2009-06-02 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4361435B2 (ja) * 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
CN101938408B (zh) 2004-07-22 2013-07-10 韩国电子通信研究院 简单聚合格式同步层分组的结构、提供方法和其用户终端
KR100940603B1 (ko) * 2004-07-22 2010-02-08 한국전자통신연구원 Ｓａｆ 동기화 계층 패킷 구조와 이를 제공하는 방법
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US8204133B2 (en) * 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
KR100697972B1 (ko) * 2004-11-16 2007-03-23 한국전자통신연구원 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법
WO2006066454A1 (fr) * 2004-12-22 2006-06-29 Zte Corporation Procede de transmission des sources video multicanaux sur un systeme de visioconference
CN101156319B (zh) * 2005-04-11 2012-05-30 三星电子株式会社 产生和恢复3d压缩数据的方法和设备
KR100785012B1 (ko) * 2005-04-11 2007-12-12 삼성전자주식회사 3ｄ 압축 데이터 생성, 복원 방법 및 그 장치
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
CN101203881B (zh) * 2005-06-23 2015-04-22 皇家飞利浦电子股份有限公司 图像和相关数据的组合交换
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
WO2007011147A1 (en) 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100747598B1 (ko) 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
US7817865B2 (en) 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
US20070220171A1 (en) * 2006-03-17 2007-09-20 Sony Corporation Systems and methods for synchronization of asynchronous networks
WO2007114612A1 (en) * 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
KR100780844B1 (ko) * 2006-04-28 2007-11-29 광주과학기술원 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체
KR101191195B1 (ko) * 2006-05-04 2012-10-15 엘지전자 주식회사 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및콘텐츠 표출 방법
EP2030450B1 (en) * 2006-06-19 2015-01-07 LG Electronics Inc. Method and apparatus for processing a video signal
BRPI0713348A2 (pt) * 2006-07-05 2012-03-06 Thomson Licensing Método e aparelho para codificação e decodificação de vídeo multivisualização
KR101370919B1 (ko) 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
CN100415002C (zh) * 2006-08-11 2008-08-27 宁波大学 多模式多视点视频信号编码压缩方法
WO2008023968A1 (en) * 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
WO2008030011A1 (en) * 2006-09-04 2008-03-13 Enhanced Chip Technology Inc. File format for encoded stereoscopic image/video data
US8238439B2 (en) * 2007-01-04 2012-08-07 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
US9282327B2 (en) 2007-01-04 2016-03-08 Thomson Licensing Llc Method and apparatus for video error concealment in multi-view coded video using high level syntax
JP2010516102A (ja) * 2007-01-04 2010-05-13 トムソン ライセンシング マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置
US20080252719A1 (en) * 2007-04-13 2008-10-16 Samsung Electronics Co., Ltd. Apparatus, method, and system for generating stereo-scopic image file based on media standards
US8237776B2 (en) * 2007-10-19 2012-08-07 Warner Bros. Entertainment Inc. Method and apparatus for generating stereoscopic images from a DVD disc
US8749615B2 (en) * 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
US8373744B2 (en) * 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
US8487982B2 (en) * 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2001235B1 (en) * 2007-06-08 2013-05-22 Samsung Electronics Co., Ltd. MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata
JP2010530702A (ja) * 2007-06-19 2010-09-09 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造、およびこれを用いるステレオスコピックコンテンツファイルの保存方法
WO2009002115A2 (en) * 2007-06-26 2008-12-31 Lg Electronics Inc. Media file format based on, method and apparatus for reproducing the same, and apparatus for generating the same
KR101416228B1 (ko) * 2007-07-06 2014-07-08 삼성전자주식회사 2차원/3차원 영상 호환용 디스플레이 장치의 구동 장치 및그 구동방법
KR101362647B1 (ko) * 2007-09-07 2014-02-12 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101396350B1 (ko) * 2007-10-04 2014-05-20 삼성전자주식회사 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치
US8218855B2 (en) 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
US8390674B2 (en) 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8396906B2 (en) * 2007-10-10 2013-03-12 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
WO2009051457A2 (en) * 2007-10-19 2009-04-23 Samsung Electronics Co., Ltd. Method of recording three-dimensional image data
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
EP2232885A1 (en) * 2007-12-14 2010-09-29 Koninklijke Philips Electronics N.V. 3d mode selection mechanism for video playback
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
US8384764B2 (en) * 2007-12-20 2013-02-26 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image data stream and method and apparatus for decoding the same
KR101560182B1 (ko) * 2008-01-07 2015-10-15 삼성전자주식회사 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
KR101524465B1 (ko) 2008-01-10 2015-06-02 삼성전자주식회사 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
US8811499B2 (en) * 2008-04-10 2014-08-19 Imagine Communications Corp. Video multiviewer system permitting scrolling of multiple video windows and related methods
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
WO2009154033A1 (ja) * 2008-06-18 2009-12-23 三菱電機株式会社 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
WO2009157713A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20090315981A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
JP5338166B2 (ja) 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
KR101090499B1 (ko) 2008-11-28 2011-12-07 한국전자통신연구원 멀티 앵글 디지털 방송 서비스 제공 방법
KR101154051B1 (ko) * 2008-11-28 2012-06-08 한국전자통신연구원 다시점 영상 송수신 장치 및 그 방법
HUE029122T2 (en) 2008-12-01 2017-02-28 Sharp Kk Content reproduction tool, reproduction process, program and media
CN102301723A (zh) * 2008-12-09 2011-12-28 索尼公司 图像处理设备和方法
CN102257823B (zh) * 2008-12-18 2017-03-08 Lg电子株式会社 用于显示立体图像的数字广播接收方法及使用该方法的数字广播接收装置
KR101176065B1 (ko) * 2008-12-22 2012-08-24 한국전자통신연구원 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
EP2374283B1 (en) * 2009-01-06 2019-11-20 LG Electronics Inc. Method for processing three dimensional (3d) video signal and digital broadcast receiver for performing the method
EP2389000A4 (en) 2009-01-19 2014-04-02 Panasonic Corp ENCLOSURE METHOD, DECOMPOSITION METHOD, ENCRYPTION DEVICE, DECOMPOSITION DEVICE, PROGRAM AND INTEGRATED CIRCUIT
US10742953B2 (en) * 2009-01-20 2020-08-11 Koninklijke Philips N.V. Transferring of three-dimensional image data
EP2211556A1 (en) * 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
CA2749065C (en) 2009-01-28 2017-01-17 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
CN105657405B (zh) * 2009-02-19 2018-06-26 汤姆逊许可证公司 3d视频格式
JP4947389B2 (ja) 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
JP2010244635A (ja) * 2009-04-08 2010-10-28 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、プログラム、および記録媒体
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP4993224B2 (ja) * 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
WO2010123324A2 (ko) * 2009-04-24 2010-10-28 엘지전자 주식회사 영상표시장치 및 그 동작방법
CA2758903C (en) 2009-04-27 2016-10-11 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
KR101671021B1 (ko) * 2009-04-30 2016-11-10 삼성전자주식회사 스테레오스코픽 영상 데이터 전송 장치 및 방법
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
JP5622484B2 (ja) * 2009-08-20 2014-11-12 富士フイルム株式会社 発色感光性組成物、平版印刷版原版及び新規シアニン色素
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
JP4763822B2 (ja) * 2009-09-30 2011-08-31 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
US20110085024A1 (en) * 2009-10-13 2011-04-14 Sony Corporation, A Japanese Corporation 3d multiview display
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
CN102640503B (zh) * 2009-10-20 2015-08-05 三星电子株式会社 产生流的方法及设备和处理流的方法及设备
JP5585047B2 (ja) * 2009-10-28 2014-09-10 ソニー株式会社 ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム
US20110110641A1 (en) * 2009-11-11 2011-05-12 Electronics And Telecommunications Research Institute Method for real-sense broadcasting service using device cooperation, production apparatus and play apparatus for real-sense broadcasting content thereof
JP2011119906A (ja) * 2009-12-02 2011-06-16 Sony Corp 画像処理装置および画像処理方法
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
WO2011100735A1 (en) * 2010-02-15 2011-08-18 Thomson Licensing Apparatus and method for processing video content
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
WO2011132882A2 (ko) 2010-04-19 2011-10-27 엘지전자 주식회사 인터넷 기반 컨텐츠 송수신 방법 및 그를 이용한 송수신 장치
KR101789636B1 (ko) * 2010-04-30 2017-10-25 엘지전자 주식회사 이미지 처리 방법 및 장치
EP2569942A1 (en) * 2010-05-11 2013-03-20 Telefonaktiebolaget LM Ericsson (publ) Video signal compression coding
CN101841720B (zh) * 2010-05-25 2011-08-10 东南大学 基于改进vls的立体视频编码方法
US20110292038A1 (en) * 2010-05-27 2011-12-01 Sony Computer Entertainment America, LLC 3d video conversion
JP5050079B2 (ja) * 2010-06-02 2012-10-17 日立コンシューマエレクトロニクス株式会社 デジタルコンテンツ受信装置およびデジタルコンテンツ受信方法
JP5710895B2 (ja) * 2010-06-02 2015-04-30 日立マクセル株式会社 デジタルコンテンツ受信装置およびデジタルコンテンツ受信方法
WO2011151959A1 (ja) * 2010-06-02 2011-12-08 日立コンシューマエレクトロニクス株式会社 受信装置、表示制御方法、送信装置および送信方法
BR112012031218B1 (pt) 2010-06-09 2021-11-23 Samsung Electronics Co., Ltd. Método de fornecer um serviço de fluxo contínuo de multimídia por intermédio de uma rede, método de receber um serviço de fluxo contínuo para receber multimídia por intermédio de uma rede, equipamento para fornecer um serviço de fluxo contínuo de multimídia por intermédio de uma rede, equipamento para receber um serviço de fluxo contínuo para receber multimídia por intermédio de uma rede, e meio de gravação legível por computador
KR101303456B1 (ko) * 2010-06-22 2013-09-10 엘지디스플레이 주식회사 3차원 데이터 변조방법과 이를 이용한 액정표시장치
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
CN102340681A (zh) * 2010-07-26 2012-02-01 深圳市锐取软件技术有限公司 3d立体视频单文件双视频流录制方法
KR20130098184A (ko) * 2010-08-17 2013-09-04 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 컨텐트 처리 방법
CN105939469A (zh) * 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法
JP5454444B2 (ja) * 2010-10-01 2014-03-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5543892B2 (ja) * 2010-10-01 2014-07-09 日立コンシューマエレクトロニクス株式会社 再生装置、再生方法、表示装置、及び表示方法
KR101750047B1 (ko) 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
CN102486873B (zh) * 2010-12-01 2014-06-18 财团法人资讯工业策进会 数字三维对象处理装置和方法
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
WO2012112142A1 (en) 2011-02-15 2012-08-23 Thomson Licensing Apparatus and method for generating a disparity map in a receiving device
JP2012186746A (ja) * 2011-03-08 2012-09-27 Sony Corp 映像送信装置、映像送信装置の制御方法、映像受信装置および映像受信装置の制御方法
CN102137258B (zh) * 2011-03-22 2013-04-24 宁波大学 一种立体视频码率控制方法
JPWO2012153450A1 (ja) * 2011-05-11 2014-07-31 パナソニック株式会社 動画像送信装置および動画像送信方法
JP2013024915A (ja) * 2011-07-15 2013-02-04 Yamaha Corp ドングル（ｄｏｎｇｌｅ）装置および再生システム
KR102008818B1 (ko) 2011-08-31 2019-08-08 엘지전자 주식회사 디지털 방송 신호 처리 방법 및 장치
US20130094518A1 (en) * 2011-10-13 2013-04-18 Electronics And Telecommunications Research Institute Method for configuring and transmitting mmt payload
BR112013017322A2 (pt) 2011-11-11 2017-03-01 Sony Corp dispositivo e método de transmissão, e, método de recepção
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP2015503281A (ja) * 2011-11-23 2015-01-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
JP4993233B2 (ja) * 2012-01-26 2012-08-08 ソニー株式会社 記録方法
JP4993234B2 (ja) * 2012-01-26 2012-08-08 ソニー株式会社 再生装置、再生方法、および記録方法
US8325821B1 (en) * 2012-02-08 2012-12-04 Vyumix, Inc. Video transcoder stream multiplexing systems and methods
US20140078249A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of frame-packed stereoscopic 3d video data for video coding
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US10120891B2 (en) * 2013-02-11 2018-11-06 International Business Machines Corporation Data placement optimization
KR102217327B1 (ko) * 2013-12-16 2021-02-18 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
KR101804364B1 (ko) * 2014-12-30 2017-12-04 한국전자통신연구원 초다시점 영상 시스템 및 이의 구동방법
JP6098678B2 (ja) * 2015-07-31 2017-03-22 ソニー株式会社 送信方法および送信装置
KR20230091200A (ko) * 2015-12-14 2023-06-22 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치 및 삼차원 데이터 복호 장치
JP2022051967A (ja) * 2019-01-08 2022-04-04 ソニーグループ株式会社 情報処理装置および情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159715A (zh) * 1995-12-29 1997-09-17 三星电子株式会社 立体图像显示装置
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP1122713A3 (en) * 2000-02-04 2007-03-07 Kabushiki Kaisha Toshiba Memory consolidated image processing LSI, image processing system with same, and image accessing method using same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3081675B2 (ja) 1991-07-24 2000-08-28 オリンパス光学工業株式会社 画像記録装置および画像再生装置
US5724091A (en) * 1991-11-25 1998-03-03 Actv, Inc. Compressed digital data interactive program system
JP3159504B2 (ja) * 1992-02-20 2001-04-23 松下電器産業株式会社 液晶パネルの製造方法
KR100348922B1 (ko) * 1996-02-28 2002-11-18 마쯔시다덴기산교 가부시키가이샤 고해상도및입체영상기록용광디스크,광디스크재생장치및광디스크기록장치
JPH09247119A (ja) * 1996-03-11 1997-09-19 Oki Electric Ind Co Ltd 多重化装置
JPH1023427A (ja) * 1996-07-04 1998-01-23 Matsushita Electric Ind Co Ltd 映像信号符号化及び復号化装置と映像信号伝送装置
JPH1091998A (ja) * 1996-09-13 1998-04-10 Nec Corp 開口制限付光ヘッド装置
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
JP3475081B2 (ja) * 1998-06-03 2003-12-08 三洋電機株式会社 立体映像再生方法
EP0986267A3 (de) 1998-09-07 2003-11-19 Robert Bosch Gmbh Verfahren zur Einbindung von audiovisueller codierter Information in einen vorgegebenen Übertragungsstandard sowie Endgeräte hierzu
AU6292299A (en) 1998-10-05 2000-04-26 Sarnoff Corporation Apparatus and method for data partitioning to improve error resilience
US6553147B2 (en) * 1998-10-05 2003-04-22 Sarnoff Corporation Apparatus and method for data partitioning to improving error resilience
JP2000209580A (ja) 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US6674440B1 (en) * 1999-04-05 2004-01-06 3Dlabs, Inc., Inc. Ltd. Graphics processor for stereoscopically displaying a graphical image
JP2001078181A (ja) 1999-09-02 2001-03-23 Matsushita Electric Ind Co Ltd パケット伝送方法、パケット受信再生装置
US6898320B2 (en) 2000-03-14 2005-05-24 Samsung Electronics Co., Ltd. Method for processing nodes in 3D scene and apparatus thereof
EP1273180B1 (en) * 2000-03-24 2006-02-22 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
JP3841630B2 (ja) * 2000-08-29 2006-11-01 オリンパス株式会社 画像取り扱い装置
US6760918B2 (en) * 2001-06-29 2004-07-06 Scientific-Atlanta, Inc. Method and apparatus for recordable media content distribution
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1159715A (zh) * 1995-12-29 1997-09-17 三星电子株式会社 立体图像显示装置
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP1122713A3 (en) * 2000-02-04 2007-03-07 Kabushiki Kaisha Toshiba Memory consolidated image processing LSI, image processing system with same, and image accessing method using same

Also Published As

Publication number Publication date
US20040120396A1 (en) 2004-06-24
AU2002366143A1 (en) 2003-06-10
US20030095177A1 (en) 2003-05-22
JP2005510187A (ja) 2005-04-14
CN100428804C (zh) 2008-10-22
CN1613263A (zh) 2005-05-04
KR100397511B1 (ko) 2003-09-13
CN101188779A (zh) 2008-05-28
WO2003045046A3 (en) 2003-10-09
EP1457034A2 (en) 2004-09-15
US8111758B2 (en) 2012-02-07
JP4425635B2 (ja) 2010-03-03
AU2002366143A8 (en) 2003-06-10
EP2306747A1 (en) 2011-04-06
WO2003045046A2 (en) 2003-05-30
JP2008306750A (ja) 2008-12-18
JP4417421B2 (ja) 2010-02-17
KR20030042090A (ko) 2003-05-28

Similar Documents

Publication Publication Date Title
CN101188779B (zh) 解码多路复用的视频分组流的方法
CN100473157C (zh) 基于运动图像专家组-4的立体视频因特网广播系统和方法
US11044455B2 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
US8289998B2 (en) Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
US7177357B2 (en) Data processing system for stereoscopic 3-dimensional video based on MPEG-4 and method thereof
US8861550B2 (en) Apparatus and method for transmitting stereoscopic image data
EP0966823B1 (en) Method of encapsulation of data into transport packets of constant size
KR20040013540A (ko) 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
WO2013089024A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR101591703B1 (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치
KR20080051086A (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
US20240080477A1 (en) Method, An Apparatus and A Computer Program Product For Streaming Volumetric Video Content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101222

Termination date: 20141121

EXPY Termination of patent right or utility model