CN100442859C - 支持多显示模式的立体视频编码/译码装置及其方法 - Google Patents

支持多显示模式的立体视频编码/译码装置及其方法 Download PDF

Info

Publication number
CN100442859C
CN100442859C CNB028279441A CN02827944A CN100442859C CN 100442859 C CN100442859 C CN 100442859C CN B028279441 A CNB028279441 A CN B028279441A CN 02827944 A CN02827944 A CN 02827944A CN 100442859 C CN100442859 C CN 100442859C
Authority
CN
China
Prior art keywords
eye image
field
user
idol
strange
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028279441A
Other languages
English (en)
Other versions
CN1618237A (zh
Inventor
崔润静
曹叔嬉
尹国镇
李珍焕
安致得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN1618237A publication Critical patent/CN1618237A/zh
Application granted granted Critical
Publication of CN100442859C publication Critical patent/CN100442859C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种支持多显示模式的立体视频编码/译码装置及其编码/译码方法。本发明的编码装置包括：场分离装置，用于将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；编码装置，通过执行运动和差异补偿，对在场分离装置中分离的场进行编码；复用装置，根据用户显示信息，在从编码装置接收的场中复用基本的场，其中用户显示信息包括三维场快门显示、三维帧快门显示和二维显示。

Description

支持多显示模式的立体视频编码/译码装置及其方法
技术领域
本发明涉及一种支持多显示模式的立体视频编码/译码装置及其编码/译码方法；更具体的，涉及一种支持多显示模式的立体视频编码/译码装置，该装置只对选中立体显示模式所需要的基本编码比特流执行译码，这样可以有效地传输视频数据，在这样的环境中，用户可以选择显示模式及其编码/译码方法。
背景技术
通常，在二维视频图像中，时间轴上存在一幅图像，而在三维图像中，在同样的时间轴上存在2幅或者更多幅图像。运动图像专家组2的多视角配置(MPEG-2MVP)是对立体三维视频图像进行编码的传统方法。MPEG-2MVP基本层结构是对在右眼和左眼图像中的一幅图像进行编码，而没有使用另一只眼的图像。因为MPEG-2MVP基本层与传统的MPEG-2MP(主配置)有相同的结构，它可以使用传统的二维视频图像译码装置执行译码，并且可以被应用于传统的二维视频显示模式中，也就是说，MPEG-2MVP兼容现有的二维视频系统。
在MPEG-2MVP模式中，增强层中图像编码使用右眼和左眼图像之间的相关信息。因此，MPEG-2MVP模式的基础为时域分级。同样的，它输出分别对应右眼和左眼图像基于帧的两通道比特流，在底层和增强层中，与立体三维视频图像译码相关的现有技术的基础是两层MPEG-2MVP编码。
在相关的现有技术中，美国专利号5612735中公开了一种技术“Digital3D/stereoscopic Video Compression Technique Utilizing Two DisparityEstimates”。美国专利号5612735的技术使用时域分级，在基本层中使用运动补偿和基于DCT的算法对左眼图像进行编码，使用在基本层和增强层之间的差异信息对右眼图像进行编码，而没有使用在增强层中的左眼图像和右眼图像之间的任何运动补偿。
图1A是说明使用差异补偿(disparity compensation)的传统编码方法的方框图，该方法在上述美国专利号5612735中公开。图中I，P，B表示在MPEG标准中定义的三种屏幕类型。I屏幕(帧内编码)，它只存在于基本层中，简单的编码，没有任何运动补偿。在P屏幕中(预测编码)，使用I屏幕或者P屏幕执行运动补偿。在B屏幕中(双向预测编码)，对时间轴上位于屏幕B之前和之后的两屏执行运动补偿。
在基本层中的编码顺序与MPEG-2MP模式中的编码顺序相同。在增强层中，只有屏幕B存在，通过基于存在于同一时间轴上的帧和与该帧相邻的基本层屏幕中间的屏幕执行差异补偿，对屏幕B进行编码。
另外一个相关的现有技术是“Digital 3D/Stereoscopic Video CompressionTechnique Utilizing Disparity and Motion Compensated Predictions”，美国专利号为5619256。美国专利号5619256的技术使用时域分级，在基本层中使用运动补偿和基于DCT的算法对左眼图像进行编码，在增强层中，它使用右眼图像和左眼图像之间的运动补偿和在基本层和增强层之间的差异信息。
图1B是说明使用差异信息的传统编码方法的方框图，该方法在美国专利号5619256中描述。如图所示，按照与图1中相同的基本层估计方法，形成该技术的基本层，通过对来自基本层中屏幕I的图像进行估计，增强层的屏幕P执行差异补偿。另外，通过对来自同一增强层中的前一屏幕和基本层中同一时间轴上的屏幕进行估计，增强层中的屏幕B执行运动和差异补偿。
在美国专利号5612735和美国专利号5619256的方法中，在接收端使用二维视频显示模式的情况下，只传输从基本层输出的比特流，并在接收端使用三维帧快门显示模式情况下，传输所有从基本层和增强层输出的比特流来恢复接收器中的图像。如果接收端的显示模式是三维视频场快门显示，则该模式通常在当前许多个人计算机中被采用，存在的问题是无关紧要的左眼图像的偶场信息和右眼图像的奇场信息被一起传输，用于接收端恢复所需的图像。毕竟，在所有接收比特流被译码后，左眼图像的偶场信息和右眼图像的奇场信息被丢弃。因此，存在的严重问题是传输效率降低，在译码装置中的图像恢复量和译码时间延迟会增加。
同时，五种编码方法在“3D Video Standards Conversion”(AndrewWoods，Tom Docherty and Rolf Koch，Stereoscopic Displays and ApplicationsVII，Proceedings of the SPIE vol.2653A，California，February，1996)中被提出，该方法通过对右眼和左眼图像减半，对左眼和右眼视频图像进行编码，将右眼和左眼两通道图像转换成单通道图像。另外，其他与上面论文提出的编码方法相关的现有技术，“Stereoscopic Coding System”，在美国专利号5633682中被公开。
美国专利号5633682提出一种方法，使用上面论文中提出的第一种图像转换方法，执行传统的二维视频MPEG编码。也就是，通过只选择左眼图像的奇场和右眼图像的偶场，将图像转换成单通道图像。美国专利号5633682方法的优点是，它使用传统的二维视频图像MPEG编码方法，在编码过程中，当估计场时，它自然地使用运动和差异信息。然而，这样也有问题。在场估计中，只使用运动信息，而不考虑差异信息。同样的，在屏幕B的情况下，虽然屏幕B的许多相关图像是同一时间的一幅图像，但是仍然通过估计来自屏幕I或者P的一幅图像而非来自同一时间轴上图像的差异，来执行差异补偿，该图像存在于屏幕B之前或者之后，并且其相关性低，。
另外，美国专利号5633682的方法采用了场快门(field shuttering)方法，其中，在三维视频显示器上显示右眼和左眼图像，该右眼和左眼图像被交叉在一个场上。因此，在右眼和左眼图像同时被显示的情况下，并不适合使用帧快门显示模式。
发明内容
因此，本发明的目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频编码装置，这样可以只传输选中显示模式的基本场，通过减少不需要的数据传输和译码时间延迟，减少了通道占有率。
本发明的另一个目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频图像编码方法，这样可以只传输选中的显示模式的基本场，通过减少不需要的数据传输和译码时间延迟，减少了通道占有率。
本发明的另一个目的是提供记录程序的计算机可读记录介质，该程序实现的功能是只传输选中的显示模式的基本场，通过减少不需要的数据传输和译码时间延迟，减少了通道占用率。
本发明的另一个目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频译码装置，这样可以恢复所要求显示模式的图像，即使输出比特流存在于一些层上。
本发明的另一个目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频图像译码方法，这样可以恢复所要求显示模式的图像，即使输出比特流存在于一些层上。
本发明的另一个目的是提供记录程序的计算机可读记录介质，该程序实现的功能是恢复所要求显示模式的图像，即使输出比特流存在于一些层上。
本发明一方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的立体视频编码装置，包括：场分离装置，用于将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；编码装置，通过执行运动和差异补偿，对在场分离装置中分离的场进行编码；复用装置，根据用户显示信息，在从编码装置接收的场中复用基本的场。
本发明的另一个方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的立体视频译码装置，包括：反向复用装置，复用所提供的比特流来匹配用户显示信息；译码装置，通过对运动和差异补偿进行估计，对在反向复用装置中被反向复用的场进行译码；和显示装置，根据用户显示信息，显示在译码装置中被译码的图像。
本发明的另一个方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的、对立体视频图像进行编码的方法，包括的步骤：a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
本发明的另一个方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的、对立体视频图像进行译码的方法，包括的步骤：a)反向复用所提供的比特流来匹配用户显示信息；b)通过对运动和差异补偿进行估计，对在步骤a)中被反向复用的场进行译码；和c)根据用户显示信息，显示在步骤b)中被译码的图像。
本发明的另一个方面，提供一种用于记录程序的，带微处理器的计算机可读记录介质，该程序实现基于用户显示信息的，支持多显示模式的立体视频编码方法，包括的步骤：a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
本发明的另一个方面，提供一种用于记录程序的，带微处理器的计算机可读记录介质，该程序实现基于用户显示信息的，支持多显示模式的立体视频编码方法，包括的步骤：a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
本发明涉及使用运动和差异补偿的立体视频编码/译码处理。本发明的编码装置同时将右眼和左眼图像的奇、偶场输入到四个编码层，使用运动和差异信息对它们进行编码，然后只复用和传输编码后的比特流中的基本通道，其中根据由用户选择的显示模式的四通道的场，对该比特流进行编码。本发明的译码装置在对接收信号执行反向复用后，可以恢复所要求显示模式的图像，即使比特流只存在于四层中的某些层。
在使用三维视频场快门和二维视频显示模式的情况下，基于MPEG-2MVP的立体三维视频编码装置通过使用所有由基本层和增强层中输出的两个编码比特流执行译码，它只有当所有数据被传输后才能执行译码，即使所传输的一半数据应该被丢掉。由于这个原因，降低了传输效率，译码时间被延迟。
另一方面，本发明的编码装置只传输用于显示的基本场，本发明的译码装置对传输的基本场执行译码，这样通过减少不需要的数据传输和译码时间延迟，减少了通道占用率。
本发明的编码/译码装置采用多层编码，通过输入右眼和左眼图像的奇偶场，形成总共四个编码层。
根据四层的关系估计，四层形成主层和次层。本发明的译码装置可以只使用对应主层的场的编码比特流，执行译码和恢复图像。对应次层的场的编码比特流不能被单独译码，但是可以依靠主层和次层的比特流被译码。
根据编码/译码装置的显示模式，主层和次层可以有两个不同的结构。
根据视频图像场快门显示模式，第一个结构执行编码/译码。在这个结构中，左眼图像的奇场(LO)和右眼图像的偶场(RE)在主层中被编码，剩下的左眼图像的偶场(LE)在第一次层中被编码，而右眼图像的奇场(RO)在第二次层中被编码。
在场快门显示模式中，四通道比特流，该比特流在每一层中被编码，然后并行被输出，和从主层输出的二通道比特流，被复用和传输。在用户转换显示模式为三维视频帧快门显示模式的情况下，从第一和第二次层中输出的比特流另外被复用，然后被传输。
第二个结构有效地支持二维视频图像显示模式，也支持场和帧显示模式。这个结构单独执行编码/译码，把左眼图像的奇场(LO)作为它的主层，剩下的右眼图像的偶场(RE)作为第一次层，左眼图像的偶场(LE)作为第二次层，右眼图像的偶场(RO)作为第三次层。次层使用主层和其他次层的信息。
不考虑显示模式，主要传输在主层中被编码的左眼图像的奇数比特流，在用户使用三维场快门显示模式的情况下，从主层和第一次层输出的比特流在复用后被传输。在用户使用三维帧快门显示模式的情况下，从主层和其他三个次层输出的比特流在复用后被传输。另外，在用户使用二维视频显示模式的情况下，从主层和第二次层输出的比特流被传输，用来只显示左眼图像。
这个方法的缺点是它不能使用在次层中的编码/译码的场信息，但是它在当用户发送三维视频图像到没有三维显示装置的其他用户的时候，特别有用，因为用户可以转换三维视频图像为一个二维视频图像。
因此，本发明的编码和译码装置根据三维视频图像显示模式，也就是，二维视频图像显示模式，三维视频图像场快门模式，三维视频图像帧快门模式，传输基本比特流，当编码的比特流被传输后执行译码，这样可以增强传输效率，简化译码过程来减少整个显示时延。
附图说明
通过下面描述优选实施例和附图，本发明上文描述的目的和特征将会变得更清楚，其中：
图1A是说明对差异补偿进行估计的传统编码方法的方框图；
图1B是说明对运动和差异补偿进行估计的传统方法的方框图；
图2是说明根据本发明实施例，支持多显示模式的立体视频编码装置的结构方框图；
图3是说明根据本发明实施例，图2中将图像分离成左眼图像和右眼图像的场分离器的方框图；
图4A是说明根据本发明实施例，图2中支持三维视频显示的编码器的编码过程的方框图；
图4B是说明根据本发明实施例，图2中支持二维和三维视频显示的编码器的编码过程的方框图；
图5是说明根据本发明实施例，支持多显示模式的立体视频译码装置的结构方框图；
图6A是说明根据本发明实施例，图5中显示器的三维场快门显示模式的方框图；
图6B是说明根据本发明实施例，图5中显示器的三维帧快门显示模式的方框图；
图6C是说明根据本发明实施例，图5中显示器的二维显示模式的方框图；
图7是说明根据本发明实施例，支持多显示模式的立体视频编码过程的流程图；和
图8是说明根据本发明实施例，支持多显示模式的立体视频译码过程的流程图。
具体实施方式
通过下面描述实施例和附图，本发明的其他目的和方面将会变得更清楚，它将在下文中被提及。
图2是说明根据本发明实施例，支持多显示模式的立体视频编码装置的结构图。如图中所示，本发明的编码装置包括场分离器210，编码器220，复用器230。
场分离器210将二通道右眼和左眼图像分离成奇场和偶场，并将它们转换成四通道输入图像。
图3是说明将图像分离成右眼和左眼图像的奇场和偶场的场分离器的示范方框图。如图所示，本发明的场分离器210将一帧右眼或者左眼图像分离成奇线和偶线，将它们转换为场图像。在图中，H表示图像的水平长度，而V表示图像的垂直长度。场分离器210将输入图像分离成基于场的四层，这样通过把基于帧的图像作为它的输入数据，形成一个多层编码结构，和运动和差异估计结构，该结构根据显示模式，只传输基本的(essential)比特流。
编码器220功能是通过使用根据对运动的估计和对差异的补偿，对从场分离器210接收的图像进行编码。编码器220由主层和次层组成，从场分离器210中接收四通道奇场和偶场，然后执行编码。
编码器220使用多层编码方法，其中右眼图像和左眼图像的奇场和偶场从四个编码层中被输入。四层根据场的关系估计，形成主层和次层，根据编码器/译码器支持的显示模式，主层和次层有两种不同的结构。
图4A是说明图2中编码器的编码过程的方框图，该编码器根据本发明实施例，支持三维视频显示。如图所示，本发明基于场的立体视频图像编码装置由主层和第一、第二次层组成，该装置进行估计来补偿运动和差异。主层由左眼图像的奇场(LO)和右眼图像的偶场(RE)组成，对场快门显示模式来说，它们是基本的，第一次层由左眼图像的偶场(LE)组成，第二次层由右眼图像的奇场(RO)组成。
由左眼图像的奇场(LO)和右眼图像的偶场(RE)组成的主层使用左眼图像的奇场(LO)作为它的基本层，使用右眼图像的偶场(RE)作为它的增强层，通过对运动和差异补偿进行估计，执行编码。这样，主层与由基本层和增强层组成的传统MPEG-2MVP相同。
第一次层使用与基本层或者增强层相关的信息，而第二次层不仅使用与主层相关的信息，而且使用第一次层相关的信息。
在图4A中，在显示时间t1时，基本层中的场1被编码成场I，通过基于存在于同一时间轴上基本层的场1执行差异估计，增强层中的场2被编码成场P。第一次层的场3基于基本层的场1使用运动估计，基于增强层的场2使用差异估计。第二次层的场4基于基本层的场1使用差异估计，基于增强层的场2使用运动估计。
现在对每一层中存在于显示时间t4的场执行编码。换句话说，通过基于场1执行运动估计，基本层的场13被编码成场P，通过基于场2执行运动补偿，和基于在同一时间轴上的基本层的场13执行差异补偿，增强层的场14被编码成场B。
第一次层的场15基于基本层的场13使用运动估计，基于增强层的场14使用差异估计。第二次层的场16基于场13使用差异估计，基于增强层的场14使用运动估计。
各个层中的场按照显示时间t2，t3等的顺序被编码。也就是，通过基于场1和场13执行运动估计，基本层的场5被编码成场B。通过基于同一时间轴上基本层的场5执行差异估计，对同一层的场2执行运动估计，增强层的场6被编码成场B。通过基于同一层的场3使用运动估计，基于增强层的场6使用差异估计，第一次层的场7被编码。通过基于同一层的场4使用运动估计，基于第一次层的场7使用差异估计，第二次层的场8被编码。
通过基于场1和场13执行运动估计，基本层的场9被编码成场B。通过基于同一时间轴上基本层的场9执行差异估计，基于同一层的场2执行运动估计，增强层的场10被编码成场B。
第一次层的场11基于同一层的场7使用运动估计，基于增强层的场10使用差异估计。第二次层的场12基于同一层的场8使用运动估计，基于第一次层的场11使用差异估计。
因此，在主层的基本层和增强层中，按照IBBP...和PBBB...的形式进行编码，第一和第二次层全部以场B的形式被编码。因为在编码器220中，通过从同一时间轴上主层中的基本层和增强层的场中执行运动和差异估计，第一和第二次层全部被编码成场B，所以估计可靠性变高，并且可以防止编码错误的累积。
图4B是说明图2中编码器的编码过程的方框图，该编码器根据本发明实施例，支持二维和三维视频显示。图4B的编码过程支持二维视频图像显示模式以及场快门显示模式和帧快门显示模式。如图所示，本发明的编码器的主层只由左眼图像的奇场(LO)独立地组成。
第一次层由右眼图像的偶场(RE)组成，第二次层和第三次层分别由左眼图像的偶场(LE)和右眼图像的奇场(RO)组成。通过使用主层信息和彼此相关的次层信息，形成次层以执行编码/译码。
即，在需要场快门显示模式的情况下，可以只使用在主层和第一次层中被编码的比特流执行编码，在需要帧快门显示模式的情况下，使用所有层中的比特流执行编码。在需要二维视频图像显示模式的情况下，只使用在主层和第二次层中被编码的比特流执行编码。
因此，主层的场使用主层的场之间的运动信息，第一次层使用同一层的场之间的运动信息和关于主层的场的差异信息。第二次层只使用关于同一层和主层的场的运动信息，而没有使用关于第一次层的场的差异信息。第一和第二次层只依靠主层而形成。最后，第三次层依靠所有层而形成，使用关于所有层的场之间的运动和差异信息。
在图4B中，按照时间轴，如图4A所示一样，分等级执行译码。首先，在显示时间t1处，主层的场1被编码成场I，通过基于同一时间轴上主层的场1执行差异估计，第一次层的场2被编码成场P。通过基于主层的场1执行运动估计，第二次层的场3被编码成场P。第三次层的场4基于主层的场1使用差异估计，基于第一次层的场2使用运动估计。
在显示时间t4处，各个层的场按照如下方法被编码。也就是，通过基于场1执行运动估计，主层的场13被编码成场P。通过基于同一时间轴上主层的场13执行差异估计，基于同一层的场2执行运动差异，第一次层的场14被编码成场B。
通过基于主层的场13和同一层的场3执行运动估计，第二次层的场15被编码成场B。通过基于主层的场13执行差异估计，基于第一次层的场14执行运动差异，第三次层的场16被编码成场B。
各个层中的场按照显示时间t2，t3等的顺序被编码。换句话说，通过基于同一层的场1和场13执行运动估计，主层的场5被编码成场B。通过基于同一时间轴上主层的场5执行差异估计，基于同一层的场2执行运动估计，第一次层的场6被编码成场B。
通过基于同一层的场3和主层的场1使用运动估计，第二次层的场7被编码成场B。通过基于同一层的场4使用运动估计，基于第二次层的场7使用差异估计，第三次层的场8被编码。
通过基于场1和场13执行运动估计，主层的场9被编码成场B。通过基于同一时间轴上主层的场9执行差异估计，基于同一层的场14执行运动估计，第一次层的场10被编码成场B。
另外，通过基于同一层的场3和主层的场13使用运动估计，第二次层的场11被编码成场B。通过基于同一层的场8执行运动估计，基于第二次层的场11执行差异估计，第三次层的场12被编码。因此，在主层中，按照IBBP...的形式对场进行编码，在第一，第二，和第三次层中，分别按照PBBB...，PBBB...，和BBB...的形式对场进行编码。
编码器220可以防止编码错误的累积，因为在时间t4，在第一，第二，第三次层中的场从在主层和同一时间轴上第一次层中的场执行运动和差异估计，然后被编码成场B。因为编码器220可以对与右眼图像的场层分开的左眼图像的场层进行译码，所以它能够支持二维显示模式，该编码器只有效地使用左眼图像。
复用器230接收左眼图像的奇场(LO)，右眼图像的偶场(RE)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，它们对应来自编码器220的基于场的四个比特流，然后复用器接收来自接收端(没有画出)的用户显示模式信息，只复用用于显示的基本比特流。
简单的说，复用器230执行复用，以产生用于三种显示模式的比特流。在模式1的情况下(也就是，三维场快门模式)，对分别对应右眼和左眼信息一半的LO和RE执行复用。在模式2的情况下(也就是，三维视频帧快门模式)，对分别对应四场的LO，LE，RO和RE执行复用，因为它使用右帧和左帧的所有信息。在模式3的情况下(也就是，二维视频显示)，基于场LO和LE执行复用，以便在右眼和左眼图像中表示左眼图像。
图5是说明根据本发明实施例，支持多显示模式的立体视频译码装置的结构方框图。如图中所示，本发明的译码器包括反向复用器510，译码器520，和显示器530。
反向复用器510执行反向复用，以使被传输的比特流与用户显示模式匹配，以多通道比特流的形式输出。因此，模式1和模式3应该输出两通道基于场的被编码比特流，并且模式2应该输出四通道基于场的被编码比特流。
通过执行估计来补偿运动和差异，译码器520对基于场的比特流进行译码，该比特流从反向复用器510中以两通道或者四通道的形式输入。译码器520与编码器220有相同的层结构，执行与编码器220相反的功能。显示器530的功能为显示在译码器520中恢复的图像。本发明的译码装置可以根据用户在二维视频图像显示模式、三维视频图像场快门模式和三维视频图像帧快门模式中的选择，执行译码，如图6A到6C所示。
图6A是说明根据本发明实施例，图5中显示器的三维场快门显示模式的方框图。如图中所示，本发明的显示器530显示由译码器520在时间t1/2和t1时，依次从左图像的奇场恢复的output_LO和从右图像的偶场恢复的output_RE。
图6B是说明根据本发明实施例，图5中显示器的三维帧快门显示模式的方框图。如图中所示，本发明的显示器530显示由译码器520在时间t1/2时，从左眼图像的奇场和偶场恢复的output_LO和output_LE，并显示在时间t1时依次地从右眼图像的奇场和偶场恢复的output_RO和output_RE。
图6C是说明根据本发明实施例，图5中显示器的二维显示模式的方框图。如图中所示，本发明的显示器530显示由译码器520在时间t1时仅从左眼图像恢复的output_LO和output_LE。
图7是说明根据本发明实施例，支持多显示模式的立体视频编码方法的流程图。
在步骤S710，右眼和左眼二通道图像分别被分离成奇场和偶场，它们被转换成四通道输入图像。
在步骤S720，通过执行补偿运动和差异的估计，将转换后的图像编码。接着，在步骤S730，从接收端接收用户显示模式信息，并复用左眼图像的奇场(LO)，右眼图像的偶场(RE)，左眼图像的偶场(LE)，和右图眼像的奇场(RO)来匹配用户显示模式，它们对应基于场的四通道被编码的比特流。
图8是说明根据本发明实施例，支持多显示模式的立体视频译码方法的流程图。
在步骤S810，反向复用被传输的比特流来匹配用户显示模式，并将其输出到多通道比特流。因此，在模式1(也就是，三维场快门显示)和模式3(也就是，二维视频显示)的情况下，输出基于场的二通道被编码比特流，并且在模式2的情况下(也就是，三维视频帧快门显示)，输出基于场的四通道被编码比特流。
接着，在步骤S820，通过对运动和差异补偿进行估计，在上面过程中输出的基于场的二通道或者四通道比特流被译码，在步骤S830，显示被恢复的图像。根据用户在二维视频显示，三维场快门显示和三维视频帧快门显示中的选择，执行本发明的译码方法。
上述本发明的方法可以用程序实现，并被存储到计算机可读的存储介质，比如CD-ROM，RAM，ROM，软盘，硬盘，磁盘等等。通过将立体视频图像分离成对应右眼和左眼图像的奇和偶场的四个基于场的比特流并且使用运动和差异补偿在多层结构中对比特流编码/译码，本发明的方法只传输基本比特流，该比特流根据在三种显示模式中间的用户显示模式产生，也就是三维场快门显示，三维视频帧快门显示和二维视频显示。
另外，通过只传输显示模式的基本比特流，本发明的方法可以增强传输效率，简化译码过程，从而减少了由于用户变化显示模式引起的显示时间延迟。
虽然通过一些优选实施例说明了本发明，但是很明显，技术人员在没有脱离由下面权利要求限定的本发明的范围情况下，可以对本发明做许多修改。

Claims (22)

1、一种根据用户显示信息，支持多显示模式的立体视频编码装置，包括：
场分离装置，用于将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；
编码装置，通过执行运动和差异补偿，对在场分离装置中分离的场进行编码；
复用装置，根据用户显示信息，在从编码装置接收的场中复用基本的场，
其中，用户显示信息包括三维场快门显示、三维帧快门显示和二维显示。
2、如权利要求1所述的立体视频编码装置，其中，编码装置使用左眼图像的奇场(LO)和右眼图像的偶场(RE)形成主层，使用左眼图像的偶场(LE)形成第一次层，并使用右眼图像的奇场(RO)形成第二次层。
3、如权利要求2所述的立体视频编码装置，其中，编码装置使用左眼图像的奇场(LO)形成主层的基本层，使用右眼图像的偶场(RE)形成主层的增强层，然后通过估计运动和差异补偿，执行编码。
4、如权利要求3所述的立体视频编码装置，其中，第一次层根据与基本层有关的信息，对运动补偿进行估计，并根据与增强层有关的信息，对差异补偿进行估计。
5、如权利要求2所述的立体视频编码装置，其中，第二次层根据与基本层和第一次层有关的信息，对差异补偿进行估计，根据与增强层有关的信息，对运动补偿进行估计。
6、如权利要求1所述的立体视频编码装置，其中，编码装置使用左眼图像的奇场(LO)形成主层，使用右眼图像的偶场(RE)形成第一次层，使用左眼图像的偶场(LE)形成第二次层，并使用右眼图像的奇场(RO)形成第三次层。
7、如权利要求6所述的立体视频编码装置，其中，主层根据与主层有关的信息，对运动补偿进行估计。
8、如权利要求6所述的立体视频编码装置，其中，第一次层根据与第一次层有关的信息，对运动补偿进行估计，并根据与主层有关的信息，对差异补偿进行估计。
9、如权利要求6所述的立体视频编码装置，其中，第二次层根据与主层和第二次层有关的信息，对运动补偿进行估计。
10、如权利要求6所述的立体视频编码装置，其中，第三次层根据与第一次层有关的信息，对运动补偿进行估计，并根据与主层和第二次层有关的信息，对差异补偿进行估计。
11、如权利要求1所述的立体视频编码装置，其中，在用户显示信息指示为三维场快门显示的情况下，复用装置复用左眼图像的奇场(LO)和右眼图像的偶场(RE)。
12、如权利要求1所述的立体视频编码装置，其中，在用户显示信息指示为三维帧快门显示的情况下，复用装置复用左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)。
13、如权利要求1所述的立体视频编码装置，其中，在用户显示信息指示为二维显示的情况下，复用装置复用左眼图像的奇场(LO)，和左眼图像的偶场(LE)。
14、一种根据用户显示信息，支持多显示模式的立体视频译码装置，包括：
反向复用装置，反向复用所提供的比特流来匹配用户显示信息；
译码装置，通过对运动和差异补偿进行估计，对在反向复用装置中被反向复用的场进行译码；和
显示装置，根据用户显示信息，显示在译码装置中被译码的图像，
其中，用户显示信息包括三维场快门显示、三维帧快门显示和二维显示。
15、如权利要求14所述的立体视频译码装置，其中，在用户显示信息指示为三维场快门显示的情况下，反向复用装置反向复用比特流为左眼图像的奇场(LO)，右眼图像的偶场(RE)。
16、如权利要求14所述的立体视频译码装置，其中，在用户显示信息指示为三维帧快门显示的情况下，反向复用装置反向复用比特流为左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)。
17、如权利要求14所述的立体视频译码装置，其中，在用户显示信息指示为二维显示的情况下，反向复用装置反向复用比特流为左眼图像的奇场(LO)，左眼图像的偶场(LE)。
18、如权利要求14所述的立体视频译码装置，其中，在用户显示信息指示为三维场快门显示的情况下，显示装置在预定时间间隔内，显示从左眼图像的奇场(LO)中被译码的图像和从右眼图像的偶场(RE)中被译码的图像。
19、如权利要求14所述的立体视频译码装置，其中，在用户显示信息指示为三维帧快门显示的情况下，显示装置在预定时间间隔内，显示从左眼图像的奇场(LO)中被译码的图像，从左眼图像的偶场(LE)中被译码的图像，从右眼图像的奇场(RO)中被译码的图像，和从右眼图像的偶场(RE)中被译码的图像。
20、如权利要求14所述的立体视频译码装置，其中，在用户显示信息指示为二维显示的情况下，显示装置同时显示从左眼图像的奇场(LO)中被译码的图像和从左眼图像的偶场(LE)中被译码的图像。
21、一种根据用户显示信息，支持多显示模式的、对立体视频图像进行编码的方法，包括的步骤：
a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；
b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和
c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场，
其中，用户显示信息包括三维场快门显示、三维帧快门显示和二维显示。
22、一种根据用户显示信息，支持多显示模式的、对立体视频图像进行译码的方法，包括的步骤：
a)反向复用所提供的比特流来匹配用户显示信息；
b)通过对运动和差异补偿进行估计，对在步骤a)中被反向复用的场进行译码；和
c)根据用户显示信息，显示在步骤b)中被译码的图像，
其中，用户显示信息包括三维场快门显示、三维帧快门显示和二维显示。
CNB028279441A 2001-12-28 2002-11-13 支持多显示模式的立体视频编码/译码装置及其方法 Expired - Fee Related CN100442859C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2001-0086464A KR100454194B1 (ko) 2001-12-28 2001-12-28 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
KR2001/86464 2001-12-28

Publications (2)

Publication Number Publication Date
CN1618237A CN1618237A (zh) 2005-05-18
CN100442859C true CN100442859C (zh) 2008-12-10

Family

ID=19717735

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028279441A Expired - Fee Related CN100442859C (zh) 2001-12-28 2002-11-13 支持多显示模式的立体视频编码/译码装置及其方法

Country Status (7)

Country Link
US (2) US20050062846A1 (zh)
EP (1) EP1459569A4 (zh)
JP (1) JP4128531B2 (zh)
KR (1) KR100454194B1 (zh)
CN (1) CN100442859C (zh)
AU (1) AU2002356452A1 (zh)
WO (1) WO2003056843A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104788A (zh) * 2009-12-17 2011-06-22 美国博通公司 一种用于视频处理的方法和系统

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
GB2414882A (en) 2004-06-02 2005-12-07 Sharp Kk Interlacing/deinterlacing by mapping pixels according to a pattern
JP2009505604A (ja) * 2005-08-22 2009-02-05 サムスン エレクトロニクス カンパニー リミテッド 多視点動映像を符号化する方法及び装置
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
MX2008003375A (es) * 2005-09-22 2008-03-27 Samsung Electronics Co Ltd Metodo para calcular vector de disparidad y metodo y aparato para codificar y descodificar pelicula de vision multiple utilizando el metodo de calculo de vector de disparidad.
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
US8471893B2 (en) 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN102100070A (zh) * 2008-07-20 2011-06-15 杜比实验室特许公司 立体视频传送系统的编码器优化
EP3197155A1 (en) 2008-07-20 2017-07-26 Dolby Laboratories Licensing Corp. Compatible stereoscopic video delivery
CN105721877A (zh) 2008-09-23 2016-06-29 杜比实验室特许公司 对交织的图像数据进行解码的方法和包括编解码器的装置
WO2010062400A1 (en) * 2008-11-28 2010-06-03 Neuroptics, Inc. Methods, systems, and devices for monitoring anisocoria and asymmetry of pupillary reaction to stimulus
RU2537800C2 (ru) 2008-12-19 2015-01-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для наложения трехмерной графики на трехмерное видеоизображение
CA2749065C (en) 2009-01-28 2017-01-17 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
CN104780384B (zh) 2009-01-29 2018-01-16 杜比实验室特许公司 解码视频帧的序列的方法、编码多视图帧的序列的方法
US20100194861A1 (en) * 2009-01-30 2010-08-05 Reuben Hoppenstein Advance in Transmission and Display of Multi-Dimensional Images for Digital Monitors and Television Receivers using a virtual lens
KR101632076B1 (ko) * 2009-04-13 2016-06-21 삼성전자주식회사 우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
US8953017B2 (en) * 2009-05-14 2015-02-10 Panasonic Intellectual Property Management Co., Ltd. Source device, sink device, communication system and method for wirelessly transmitting three-dimensional video data using packets
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
KR20110064161A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
WO2011080911A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 表示装置と方法、送信装置と方法、及び受信装置と方法
CN102742269B (zh) * 2010-02-01 2016-08-03 杜比实验室特许公司 处理图像或图像序列的样本、后处理已解码图像的方法
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102281423B (zh) * 2010-06-08 2013-10-16 深圳Tcl新技术有限公司 3d视频场频转换系统及场频转换方法
CN102281450A (zh) * 2010-06-13 2011-12-14 深圳Tcl新技术有限公司 3d视频清晰度调整系统及方法
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
KR101173280B1 (ko) * 2010-08-19 2012-08-10 주식회사 에스칩스 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치
WO2012042895A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
KR101208873B1 (ko) * 2011-03-28 2012-12-05 국립대학법인 울산과학기술대학교 산학협력단 인터레이스 방식을 이용한 ３차원 영상 전송 방법 및 장치
US8368690B1 (en) 2011-07-05 2013-02-05 3-D Virtual Lens Technologies, Inc. Calibrator for autostereoscopic image display
EP2742693A4 (en) * 2011-08-12 2015-04-08 Motorola Mobility Inc METHOD AND DEVICE FOR CODING AND TRANSMITTING 3D VIDEO SEQUENCES IN A WIRELESS COMMUNICATION SYSTEM
US8923403B2 (en) 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
CN102413348B (zh) * 2011-11-24 2014-01-01 深圳市华星光电技术有限公司 立体图像显示装置和相应的立体图像显示方法
KR101328846B1 (ko) * 2011-12-06 2013-11-13 엘지디스플레이 주식회사 입체영상 표시장치 및 그 구동방법
CN107241606B (zh) 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9713982B2 (en) * 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US11095908B2 (en) * 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5633682A (en) * 1993-10-22 1997-05-27 Sony Corporation Stereoscopic coding system
CN1154630A (zh) * 1995-08-23 1997-07-16 索尼公司 对预定场极性的场进行编码/解码的装置和方法
JPH09215010A (ja) * 1996-02-06 1997-08-15 Toshiba Corp 立体動画像圧縮装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60264194A (ja) * 1984-06-12 1985-12-27 Nec Home Electronics Ltd 立体テレビジヨンの信号処理方法及びその送受信側装置
JPS62210797A (ja) * 1986-03-12 1987-09-16 Sony Corp 立体画像観視装置
US5416510A (en) * 1991-08-28 1995-05-16 Stereographics Corporation Camera controller for stereoscopic video system
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
KR0141970B1 (ko) * 1993-09-23 1998-06-15 배순훈 영상신호 변환장치
JPH09507349A (ja) * 1993-12-29 1997-07-22 ライカ アクチエンゲゼルシャフト 表示装置上に立体ビデオ映像を表示するための方法及び装置
JP3234395B2 (ja) * 1994-03-09 2001-12-04 三洋電機株式会社 立体動画像符号化装置
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP2271090B1 (en) * 1996-02-28 2013-12-11 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
WO1998029860A1 (en) * 1996-12-27 1998-07-09 Chequemate International Inc. System and method for synthesizing three-dimensional video from a two-dimensional video source
EP1026897A3 (en) * 1997-03-11 2000-08-30 Actv, Inc. A digital interactive system for providing full interactivity with live programming events
US6501468B1 (en) * 1997-07-02 2002-12-31 Sega Enterprises, Ltd. Stereoscopic display device and recording media recorded program for image processing of the display device
KR20010036217A (ko) * 1999-10-06 2001-05-07 이영화 입체영상 표시방법 및 그 장치
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US6906687B2 (en) * 2000-07-31 2005-06-14 Texas Instruments Incorporated Digital formatter for 3-dimensional display applications
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633682A (en) * 1993-10-22 1997-05-27 Sony Corporation Stereoscopic coding system
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
CN1154630A (zh) * 1995-08-23 1997-07-16 索尼公司 对预定场极性的场进行编码/解码的装置和方法
JPH09215010A (ja) * 1996-02-06 1997-08-15 Toshiba Corp 立体動画像圧縮装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104788A (zh) * 2009-12-17 2011-06-22 美国博通公司 一种用于视频处理的方法和系统
US9218644B2 (en) 2009-12-17 2015-12-22 Broadcom Corporation Method and system for enhanced 2D video display based on 3D video input

Also Published As

Publication number Publication date
US20110261877A1 (en) 2011-10-27
KR100454194B1 (ko) 2004-10-26
AU2002356452A1 (en) 2003-07-15
EP1459569A1 (en) 2004-09-22
EP1459569A4 (en) 2010-11-17
JP2005513969A (ja) 2005-05-12
KR20030056267A (ko) 2003-07-04
WO2003056843A1 (en) 2003-07-10
US20050062846A1 (en) 2005-03-24
CN1618237A (zh) 2005-05-18
JP4128531B2 (ja) 2008-07-30

Similar Documents

Publication Publication Date Title
CN100442859C (zh) 支持多显示模式的立体视频编码/译码装置及其方法
KR100523052B1 (ko) 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
CN100584004C (zh) 用于视频的三维编码和/或解码的方法及装置
KR100636785B1 (ko) 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
JP4421940B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
CN101023681B (zh) 一种多视点视频位流的解码方法和解码装置
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
CN101253774B (zh) 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
EP2538675A1 (en) Apparatus for universal coding for multi-view video
US9473788B2 (en) Frame-compatible full resolution stereoscopic 3D compression and decompression
JP4252105B2 (ja) 画像データ作成装置及び画像データ再生装置
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
CN103370934A (zh) 多视点视频编码/解码装置和方法
JP2013098986A (ja) 映像符号化方法及び装置、並びに映像復号化方法及び装置
KR100704938B1 (ko) 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
JP4104895B2 (ja) 立体画像符号化装置および立体画像復号装置
Kumar et al. A Comparative Analysis of Advance Three Dimensional Video Coding for Mobile Three Dimensional TV
JP5442688B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
JP2009260983A (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081210

Termination date: 20111113