CN1618237A - 支持多显示模式的立体视频编码/译码装置及其方法 - Google Patents

支持多显示模式的立体视频编码/译码装置及其方法 Download PDF

Info

Publication number
CN1618237A
CN1618237A CNA028279441A CN02827944A CN1618237A CN 1618237 A CN1618237 A CN 1618237A CN A028279441 A CNA028279441 A CN A028279441A CN 02827944 A CN02827944 A CN 02827944A CN 1618237 A CN1618237 A CN 1618237A
Authority
CN
China
Prior art keywords
eye image
field
idol
strange
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028279441A
Other languages
English (en)
Other versions
CN100442859C (zh
Inventor
崔润静
曹叔嬉
尹国镇
李珍焕
安致得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN1618237A publication Critical patent/CN1618237A/zh
Application granted granted Critical
Publication of CN100442859C publication Critical patent/CN100442859C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种支持多显示模式的立体视频编码/译码装置，及其编码/译码方法，和记录程序的计算机可读记录介质，该程序实现编码/译码方法。本发明的编码装置，包括：场分离装置，用于将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；编码装置，通过执行运动和差异补偿，对在场分离装置中分离的场进行编码；复用装置，根据用户显示信息，在从编码装置接收的场中复用基本的场。

Description

支持多显示模式的立体视频编码/译码装置及其方法
技术领域
本发明涉及一种支持多显示模式的立体视频编码/译码装置，及其编码/译码方法，和记录程序的计算机可读记录介质，该程序实现编码/译码方法；更具体的，涉及一种支持多显示模式的立体视频编码/译码装置，该装置只对选中立体显示模式所需要的基本编码比特流执行译码，这样可以有效地传输视频数据，在这样的环境中，用户可以选择显示模式及其编码/译码方法，和记录实现方法程序的计算机可读记录介质。
背景技术
通常，在二维视频图像中，时间轴上存在一幅图像，而在三维图像中，在同样的时间轴上存在2幅或者更多幅图像。运动图像专家组2的多视角配置(MPEG-2 MVP)是对立体三维视频图像进行编码的传统方法。MPEG-2MVP基本层结构是对在右眼和左眼图像中的一幅图像进行编码，而没有使用另一只眼的图像。因为MPEG-2 MVP基本层与传统的MPEG-2 MP(主配置)有相同的结构，它可以使用传统的二维视频图像译码装置执行译码，并且可以被应用于传统的二维视频显示模式中，也就是说，MPEG-2 MVP兼容现有的二维视频系统。
在MPEG-2 MVP模式中，增强层中图像编码使用右眼和左眼图像之间的相关信息。因此，MPEG-2 MVP模式的基础为时域分级。同样的，它输出分别对应右眼和左眼图像基于帧的两通道比特流，在底层和增强层中，与立体三维视频图像译码相关的现有技术的基础是两层MPEG-2 MVP编码。
在相关的现有技术中，美国专利号5612735中公开了一种技术“Digital3D/stereoscopic Video Compression Technique Utilizing Two DisparityEstimates”。美国专利号5612735的技术使用时域分级，在基本层中使用运动补偿和基于DCT的算法对左眼图像进行编码，使用在基本层和增强层之间的差异信息对右眼图像进行编码，而没有使用在增强层中的左眼图像和右眼图像之间的任何运动补偿。
图1A是说明使用差异补偿(disparity compensation)的传统编码方法的方框图，该方法在上述美国专利号5612735中公开。图中I，P，B表示在MPEG标准中定义的三种屏幕类型。I屏幕(帧内编码)，它只存在于基本层中，简单的编码，没有任何运动补偿。在P屏幕中(预测编码)，使用I屏幕或者P屏幕执行运动补偿。在B屏幕中(双向预测编码)，对时间轴上位于屏幕B之前和之后的两屏执行运动补偿。
在基本层中的编码顺序与MPEG-2 MP模式中的编码顺序相同。在增强层中，只有屏幕B存在，通过基于存在于同一时间轴上的帧和与该帧相邻的基本层屏幕中间的屏幕执行差异补偿，对屏幕B进行编码。
另外一个相关的现有技术是“Digital 3D/Stereoscopic Video CompressionTechnique Utilizing Disparity and Motion Compensated Predictions”，美国专利号为5619256。美国专利号5619256的技术使用时域分级，在基本层中使用运动补偿和基于DCT的算法对左眼图像进行编码，在增强层中，它使用右眼图像和左眼图像之间的运动补偿和在基本层和增强层之间的差异信息。
图1B是说明使用差异信息的传统编码方法的方框图，该方法在美国专利号5619256中描述。如图所示，按照与图1中相同的基本层估计方法，形成该技术的基本层，通过对来自基本层中屏幕I的图像进行估计，增强层的屏幕P执行差异补偿。另外，通过对来自同一增强层中的前一屏幕和基本层中同一时间轴上的屏幕进行估计，增强层中的屏幕B执行运动和差异补偿。
在美国专利号5612735和美国专利号5619256的方法中，在接收端使用二维视频显示模式的情况下，只传输从基本层输出的比特流，并在接收端使用三维帧快门显示模式情况下，传输所有从基本层和增强层输出的比特流来恢复接收器中的图像。如果接收端的显示模式是三维视频场快门显示，则该模式通常在当前许多个人计算机中被采用，存在的问题是无关紧要的左眼图像的偶场信息和右眼图像的奇场信息被一起传输，用于接收端恢复所需的图像。毕竟，在所有接收比特流被译码后，左眼图像的偶场信息和右眼图像的奇场信息被丢弃。因此，存在的严重问题是传输效率降低，在译码装置中的图像恢复量和译码时间延迟会增加。
同时，五种编码方法在“3D Video Standards Conversion”(AndrewWoods，Tom Docherty and Rolf Koch，Stereoscopic Displays and ApplicationsVII，Proceedings of the SPIE vol.2653A，California，February，1996)中被提出，该方法通过对右眼和左眼图像减半，对左眼和右眼视频图像进行编码，将右眼和左眼两通道图像转换成单通道图像。另外，其他与上面论文提出的编码方法相关的现有技术，“Stereoscopic Coding System”，在美国专利号5633682中被公开。
美国专利号5633682提出一种方法，使用上面论文中提出的第一种图像转换方法，执行传统的二维视频MPEG编码。也就是，通过只选择左眼图像的奇场和右眼图像的偶场，将图像转换成单通道图像。美国专利号5633682方法的优点是，它使用传统的二维视频图像MPEG编码方法，在编码过程中，当估计场时，它自然地使用运动和差异信息。然而，这样也有问题。在场估计中，只使用运动信息，而不考虑差异信息。同样的，在屏幕B的情况下，虽然屏幕B的许多相关图像是同一时间的一幅图像，但是仍然通过估计来自屏幕I或者P的一幅图像而非来自同一时间轴上图像的差异，来执行差异补偿，该图像存在于屏幕B之前或者之后，并且其相关性低，。
另外，美国专利号5633682的方法采用了场快门(field shuttering)方法，其中，在三维视频显示器上显示右眼和左眼图像，该右眼和左眼图像被交叉在一个场上。因此，在右眼和左眼图像同时被显示的情况下，并不适合使用帧快门显示模式。
发明内容
因此，本发明的目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频编码装置，这样可以只传输选中显示模式的基本场，通过减少不需要的数据传输和译码时间延迟，减少了通道占有率。
本发明的另一个目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频图像编码方法，这样可以只传输选中的显示模式的基本场，通过减少不需要的数据传输和译码时间延迟，减少了通道占有率。
本发明的另一个目的是提供记录程序的计算机可读记录介质，该程序实现的功能是只传输选中的显示模式的基本场，通过减少不需要的数据传输和译码时间延迟，减少了通道占用率。
本发明的另一个目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频译码装置，这样可以恢复所要求显示模式的图像，即使输出比特流存在于一些层上。
本发明的另一个目的是通过输出右眼和左眼图像基于场的比特流，提供一种支持多显示模式的立体视频图像译码方法，这样可以恢复所要求显示模式的图像，即使输出比特流存在于一些层上。
本发明的另一个目的是提供记录程序的计算机可读记录介质，该程序实现的功能是恢复所要求显示模式的图像，即使输出比特流存在于一些层上。
本发明一方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的立体视频编码装置，包括：场分离装置，用于将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；编码装置，通过执行运动和差异补偿，对在场分离装置中分离的场进行编码；复用装置，根据用户显示信息，在从编码装置接收的场中复用基本的场。
本发明的另一个方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的立体视频译码装置，包括：反向复用装置，复用所提供的比特流来匹配用户显示信息；译码装置，通过对运动和差异补偿进行估计，对在反向复用装置中被反向复用的场进行译码；和显示装置，根据用户显示信息，显示在译码装置中被译码的图像。
本发明的另一个方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的、对立体视频图像进行编码的方法，包括的步骤：a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
本发明的另一个方面，根据用户显示信息，提供一种根据用户显示信息，支持多显示模式的、对立体视频图像进行译码的方法，包括的步骤：a)反向复用所提供的比特流来匹配用户显示信息；b)通过对运动和差异补偿进行估计，对在步骤a)中被反向复用的场进行译码；和c)根据用户显示信息，显示在步骤b)中被译码的图像。
本发明的另一个方面，提供一种用于记录程序的，带微处理器的计算机可读记录介质，该程序实现基于用户显示信息的，支持多显示模式的立体视频编码方法，包括的步骤：a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
本发明的另一个方面，提供一种用于记录程序的，带微处理器的计算机可读记录介质，该程序实现基于用户显示信息的，支持多显示模式的立体视频编码方法，包括的步骤：a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
本发明涉及使用运动和差异补偿的立体视频编码/译码处理。本发明的编码装置同时将右眼和左眼图像的奇、偶场输入到四个编码层，使用运动和差异信息对它们进行编码，然后只复用和传输编码后的比特流中的基本通道，其中根据由用户选择的显示模式的四通道的场，对该比特流进行编码。本发明的译码装置在对接收信号执行反向复用后，可以恢复所要求显示模式的图像，即使比特流只存在于四层中的某些层。
在使用三维视频场快门和二维视频显示模式的情况下，基于MPEG-2 MVP的立体三维视频编码装置通过使用所有由基本层和增强层中输出的两个编码比特流执行译码，它只有当所有数据被传输后才能执行译码，即使所传输的一半数据应该被丢掉。由于这个原因，降低了传输效率，译码时间被延迟。
另一方面，本发明的编码装置只传输用于显示的基本场，本发明的译码装置对传输的基本场执行译码，这样通过减少不需要的数据传输和译码时间延迟，减少了通道占用率。
本发明的编码/译码装置采用多层编码，通过输入右眼和左眼图像的奇偶场，形成总共四个编码层。
根据四层的关系估计，四层形成主层和次层。本发明的译码装置可以只使用对应主层的场的编码比特流，执行译码和恢复图像。对应次层的场的编码比特流不能被单独译码，但是可以依靠主层和次层的比特流被译码。
根据编码/译码装置的显示模式，主层和次层可以有两个不同的结构。
根据视频图像场快门显示模式，第一个结构执行编码/译码。在这个结构中，左眼图像的奇场(LO)和右眼图像的偶场(RE)在主层中被编码，剩下的左眼图像的偶场(LE)在第一次层中被编码，而右眼图像的奇场(RO)在第二次层中被编码。
在场快门显示模式中，四通道比特流，该比特流在每一层中被编码，然后并行被输出，和从主层输出的二通道比特流，被复用和传输。在用户转换显示模式为三维视频帧快门显示模式的情况下，从第一和第二次层中输出的比特流另外被复用，然后被传输。
第二个结构有效地支持二维视频图像显示模式，也支持场和帧显示模式。这个结构单独执行编码/译码，把左眼图像的奇场(LE)作为它的主层，剩下的右眼图像的偶场作为第一次层，左眼图像的偶场(LO)作为第二次层，右眼图像的偶场(RO)作为第三次层。次层使用主层和其他次层的信息。
不考虑显示模式，主要传输在主层中被编码的左眼图像的奇数比特流，在用户使用三维场快门显示模式的情况下，从主层和第一次层输出的比特流在复用后被传输。在用户使用三维帧快门显示模式的情况下，从主层和其他三个次层输出的比特流在复用后被传输。另外，在用户使用二维视频显示模式的情况下，从主层和第二次层输出的比特流被传输，用来只显示左眼图像。
这个方法的缺点是它不能使用在次层中的编码/译码的场信息，但是它在当用户发送三维视频图像到没有三维显示装置的其他用户的时候，特别有用，因为用户可以转换三维视频图像为一个二维视频图像。
因此，本发明的编码和译码装置根据三维视频图像显示模式，也就是，二维视频图像显示模式，三维视频图像场快门模式，三维视频图像帧快门模式，传输基本比特流，当编码的比特流被传输后执行译码，这样可以增强传输效率，简化译码过程来减少整个显示时延。
附图说明
通过下面描述优选实施例和附图，本发明上文描述的目的和特征将会变得更清楚，其中：
图1A是说明对差异补偿进行估计的传统编码方法的方框图；
图1B是说明对运动和差异补偿进行估计的传统方法的方框图；
图2是说明根据本发明实施例，支持多显示模式的立体视频编码装置的结构方框图；
图3是说明根据本发明实施例，图2中将图像分离成左眼图像和右眼图像的场分离器的方框图；
图4A是说明根据本发明实施例，图2中支持三维视频显示的编码器的编码过程的方框图；
图4B是说明根据本发明实施例，图2中支持二维和三维视频显示的编码器的编码过程的方框图；
图5是说明根据本发明实施例，支持多显示模式的立体视频译码装置的结构方框图；
图6A是说明根据本发明实施例，图5中显示器的三维场快门显示模式的方框图；
图6B是说明根据本发明实施例，图5中显示器的三维帧快门显示模式的方框图；
图6C是说明根据本发明实施例，图5中显示器的二维显示模式的方框图；
图7是说明根据本发明实施例，支持多显示模式的立体视频编码过程的流程图；和
图8是说明根据本发明实施例，支持多显示模式的立体视频译码过程的流程图。
具体实施方式
通过下面描述实施例和附图，本发明的其他目的和方面将会变得更清楚，它将在下文中被提及。
图2是说明根据本发明实施例，支持多显示模式的立体视频编码装置的结构图。如图中所示，本发明的编码装置包括场分离器210，编码器220，复用器230。
场分离器210将二通道右眼和左眼图像分离成奇场和偶场，并将它们转换成四通道输入图像。
图3是说明将图像分离成右眼和左眼图像的奇场和偶场的场分离器的示范方框图。如图所示，本发明的场分离器210将一帧右眼或者左眼图像分离成奇线和偶线，将它们转换为场图像。在图中，H表示图像的水平长度，而V表示图像的垂直长度。场分离器210将输入图像分离成基于场的四层，这样通过把基于帧的图像作为它的输入数据，形成一个多层编码结构，和运动和差异估计结构，该结构根据显示模式，只传输基本的(essential)比特流。
编码器220功能是通过使用根据对运动的估计和对差异的补偿，对从场分离器210接收的图像进行编码。译码器220由主层和次层组成，从场分离器210中接收四通道奇场和偶场，然后执行编码。
编码器220使用多层编码方法，其中右眼图像和左眼图像的奇场和偶场从四个编码层中被输入。四层根据场的关系估计，形成主层和次层，根据编码器/译码器支持的显示模式，主层和次层有两种不同的结构。
图4A是说明图2中编码器的编码过程的方框图，该编码器根据本发明实施例，支持三维视频显示。如图所示，本发明基于场的立体视频图像编码装置由主层和第一、第二次层组成，该装置进行估计来补偿运动和差异。主层由左眼图像的奇场(LO)和右眼图像的偶场(RE)组成，对场快门显示模式来说，它们是基本的，第一次层由左眼图像的偶场(LE)组成，第二次层由右眼图像的奇场(RO)组成。
由左眼图像的奇场(LO)和右眼图像的偶场(RE)组成的主层使用左眼图像的奇场(LO)作为它的基本层，使用右眼图像的偶场(RE)作为它的增强层，通过对运动和差异补偿进行估计，执行编码。这样，主层与由基本层和增强层组成的传统MPEG-2 MVP相同。
第一次层使用与基本层或者增强层相关的信息，而第二次层不仅使用与主层相关的信息，而且使用第一次层相关的信息。
在图4A中，在显示时间t1时，基本层中的场1被编码成场I，通过基于存在于同一时间轴上基本层的场1执行差异估计，增强层中的场2被编码成场P。第一次层的场3基于基本层的场1使用运动估计，基于增强层的场3使用差异估计。第二次层的场4基于基本层的场1使用差异估计，基于增强层的场2使用运动估计。
现在对每一层中存在于显示时间t4的场执行编码。换句话说，通过基于场1执行运动估计，基本层的场13被编码成场P，通过基于场2执行运动补偿，和基于在同一时间轴上的基本层的场13执行差异补偿，增强层的场14被编码成场B。
第一次层的场15基于基本层的场13使用运动估计，基于增强层的场14使用差异估计。第二次层的场16基于场13使用差异估计，基于增强层的场14使用运动估计。
各个层中的场按照显示时间t2，t3等的顺序被编码。也就是，通过基于场1和场13执行运动估计，基本层的场5被编码成场B。通过基于同一时间轴上基本层的场5执行差异估计，对同一层的场2执行运动估计，增强层的场6被编码成场B。通过基于同一层的场3使用运动估计，基于增强层的场6使用差异估计，第一次层的场7被编码。通过基于同一层的场4使用运动估计，基于第一次层的场7使用差异估计，第二次层的场8被编码。
通过基于场1和场13执行运动估计，基本层的场9被编码成场B。通过基于同一时间轴上基本层的场9执行差异估计，基于同一层的场2执行运动估计，增强层的场10被编码成场B。
第一次层的场11基于同一层的场7使用运动估计，基于增强层的场10使用差异估计。第二次层的场12基于同一层的场8使用运动估计，基于第一次层的场11使用差异估计。
因此，在主层的底层和增强层中，按照IBBP...和PBBB...的形式进行编码，第一和第二次层全部以场B的形式被编码。因为在编码器220中，通过从同一时间轴上主层中的底层和增强层的场中执行运动和差异估计，第一和第二次层全部被编码成场B，所以估计可靠性变高，并且可以防止编码错误的累积。
图4B是说明图2中编码器的编码过程的方框图，该编码器根据本发明实施例，支持二维和三维视频显示。图4B的编码过程支持二维视频图像显示模式以及场快门显示模式和帧快门显示模式。如图所示，本发明的编码器的主层只由左眼图像的奇场(LO)独立地组成。
第一次层由右眼图像的偶场(RE)组成，第二次层和第三次层分别由左眼图像的偶场(LE)和右眼图像的奇场(RO)组成。通过使用主层信息和彼此相关的次层信息，形成次层以执行编码/译码。
即，在需要场快门显示模式的情况下，可以只使用在主层和第二次层中被编码的比特流执行编码，在需要帧快门显示模式的情况下，使用所有层中的比特流执行编码。在需要二维视频图像显示模式的情况下，只使用在主层和第一次层中被编码的比特流执行编码。
因此，主层的场使用主层的场之间的运动信息，第一次层使用同一层的场之间的运动信息和关于主层的场的差异信息。第二次层只使用关于同一层和主层的场的运动信息，而没有使用关于第一次层的场的差异信息。第一和第二次层只依靠主层而形成。最后，第三次层依靠所有层而形成，使用关于所有层的场之间的运动和差异信息。
在图4B中，按照时间轴，如图4A所示一样，分等级执行译码。首先，在显示时间t1处，主层的场1被编码成场I，通过基于同一时间轴上主层的场1执行差异估计，第一次层的场2被编码成场P。通过基于主层的场1执行运动估计，第二次层的场3被编码成场P。第三次层的场4基于主层的场1使用差异估计，基于第一次层的场2使用运动估计。
在显示时间t4处，各个层的场按照如下方法被编码。也就是，通过基于场1执行运动估计，主层的场13被编码成场P。通过基于同一时间轴上主层的场13执行差异估计，基于同一层的场2执行运动差异，第一次层的场14被编码成场B。
通过基于主层的场13和同一层的场3执行运动估计，第二次层的场15被编码成场B。通过基于主层的场13执行差异估计，基于第一次层的场14执行运动差异，第三次层的场16被编码成场B。
各个层中的场按照显示时间t2，t3等的顺序被编码。换句话说，通过基于同一层的场1和场13执行运动估计，主层的场5被编码成场B。通过基于同一时间轴上主层的场5执行差异估计，基于同一层的场2执行运动估计，第一次层的场6被编码成场B。
通过基于同一层的场3和主层的场1使用运动估计，第二次层的场7被编码成场B。通过基于同一层的场4使用运动估计，基于第二次层的场7使用差异估计，第三次层的场8被编码。
通过基于场1和场13执行运动估计，主层的场9被编码成场B。通过基于同一时间轴上主层的场9执行差异估计，基于同一层的场14执行运动估计，第一次层的场10被编码成场B。
另外，通过基于同一层的场3和主层的场13使用运动估计，第二次层的场11被编码成场B。通过基于同一层的场8执行运动估计，基于第二次层的场11执行差异估计，第三次层的场12被编码。因此，在主层中，按照IBBP...的形式对场进行编码，在第一，第二，和第三次层中，分别按照PBBB...，PBBB...，和BBB...的形式对场进行编码。
编码器220可以防止编码错误的累积，因为在时间t4，在第一，第二，第三次层中的场从在主层和同一时间轴上第一次层中的场执行运动和差异估计，然后被编码成场B。因为编码器220可以对与右眼图像的场层分开的左眼图像的场层进行译码，所以它能够支持二维显示模式，该编码器只有效地使用左眼图像。
复用器230接收左眼图像的奇场(LO)，右眼图像的偶场(RE)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，它们对应来自编码器220的基于场的四个比特流，然后复用器接收来自接收端(没有画出)的用户显示模式信息，只复用用于显示的基本比特流。
简单的说，复用器230执行复用，以产生用于三种显示模式的比特流。在模式1的情况下(也就是，三维场快门模式)，对分别对应右眼和左眼信息一半的LO和RE执行复用。在模式2的情况下(也就是，三维视频帧快门模式)，对分别对应四场的LO，LE，RO和RE执行复用，因为它使用右帧和左帧的所有信息。在模式3的情况下(也就是，二维视频显示)，基于场LO和LE执行复用，以便在右眼和左眼图像中表示左眼图像。
图5是说明根据本发明实施例，支持多显示模式的立体视频译码装置的结构方框图。如图中所示，本发明的译码器包括反向复用器510，译码器520，和显示器530。
反向复用器510执行反向复用，以使被传输的比特流与用户显示模式匹配，以多通道比特流的形式输出。因此，模式1和模式3应该输出两通道基于场的被编码比特流，并且模式2应该输出四通道基于场的被编码比特流。
通过执行估计来补偿运动和差异，译码器520对基于场的比特流进行译码，该比特流从反向复用器510中以两通道或者四通道的形式输入。译码器520与编码器220有相同的层结构，执行与编码器220相反的功能。显示器530的功能为显示在译码器520中恢复的图像。本发明的译码装置可以根据用户在二维视频图像显示模式、三维视频图像场快门模式和三维视频图像帧快门模式中的选择，执行译码，如图6A到6C所示。
图6A是说明根据本发明实施例，图5中显示器的三维场快门显示模式的方框图。如图中所示，本发明的显示器530显示由译码器520在时间t1/2和t1时，依次从左图像的奇场恢复的output_LO和从右图像的偶场恢复的output_RE。
图6B是说明根据本发明实施例，图5中显示器的三维帧快门显示模式的方框图。如图中所示，本发明的显示器530显示由译码器520在时间t1/2时，从左眼图像的奇场和偶场恢复的output_LO和output_LE，并显示在时间t1时依次地从右眼图像的奇场和偶场恢复的output_RO和output_RE。
图6C是说明根据本发明实施例，图5中显示器的二维显示模式的方框图。如图中所示，本发明的显示器530显示由译码器520在时间t1时仅从左眼图像恢复的output_LO和output_LE。
图7是说明根据本发明实施例，支持多显示模式的立体视频编码方法的流程图。
在步骤S710，右眼和左眼二通道图像分别被分离成奇场和偶场，它们被转换成四通道输入图像。
在步骤S720，通过执行补偿运动和差异的估计，将转换后的图像编码。接着，在步骤S730，从接收端接收用户显示模式信息，并复用左眼图像的奇场(LO)，右眼图像的偶场(RE)，左眼图像的偶场(LE)，和右图眼像的奇场(RO)来匹配用户显示模式，它们对应基于场的四通道被编码的比特流。
图8是说明根据本发明实施例，支持多显示模式的立体视频译码方法的流程图。
在步骤S810，反向复用被传输的比特流来匹配用户显示模式，并将其输出到多通道比特流。因此，在模式1(也就是，三维场快门显示)和模式3(也就是，二维视频显示)的情况下，输出基于场的二通道被编码比特流，并且在模式2的情况下(也就是，三维视频帧快门显示)，输出基于场的四通道被编码比特流。
接着，在步骤S820，通过对运动和差异补偿进行估计，在上面过程中输出的基于场的二通道或者四通道比特流被译码，在步骤S830，显示被恢复的图像。根据用户在二维视频显示，三维场快门显示和三维视频帧快门显示中的选择，执行本发明的译码方法。
上述本发明的方法可以用程序实现，并被存储到计算机可读的存储介质，比如CD-ROM，RAM，ROM，软盘，硬盘，磁盘等等。通过将立体视频图像分离成对应右眼和左眼图像的奇和偶场的四个基于场的比特流并且使用运动和差异补偿在多层结构中对比特流编码/译码，本发明的方法只传输基本比特流，该比特流根据在三种显示模式中间的用户显示模式产生，也就是三维场快门显示，三维视频帧快门显示和二维视频显示。
另外，通过只传输显示模式的基本比特流，本发明的方法可以增强传输效率，简化译码过程，从而减少了由于用户变化显示模式引起的显示时间延迟。
虽然通过一些优选实施例说明了本发明，但是很明显，技术人员在没有脱离由下面权利要求限定的本发明的范围情况下，可以对本发明做许多修改。

Claims (26)

1、一种根据用户显示信息，支持多显示模式的立体视频编码装置，包括：
场分离装置，用于将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；
编码装置，通过执行运动和差异补偿，对在场分离装置中分离的场进行编码；
复用装置，根据用户显示信息，在从编码装置接收的场中复用基本的场。
2、如权利要求1所述的立体视频编码装置，其中，编码装置使用左眼图像的奇场(LO)和右眼图像的偶场(RE)形成主层，使用左眼图像的偶场(LE)形成第一次层，并使用右眼图像的奇场(RO)形成第二次层。
3、如权利要求2所述的立体视频编码装置，其中，编码装置使用左眼图像的奇场(LO)形成主层的基本层，使用右眼图像的偶场(RE)形成主层的增强层，然后通过估计运动和差异补偿，执行编码。
4、如权利要求2所述的立体视频编码装置，其中，第一次层根据与基本层有关的信息，对运动补偿进行估计，并根据与增强层有关的信息，对差异补偿进行估计。
5、如权利要求2所述的立体视频编码装置，其中，第二次层根据与基本层有关的信息，对差异补偿进行估计，根据与增强层有关的信息，对运动补偿进行估计。
6、如权利要求1所述的立体视频编码装置，其中，编码装置使用左眼图像的奇场(LO)形成主层，使用右眼图像的偶场(RE)形成第一次层，使用左眼图像的偶场(LE)形成第二次层，并使用右眼图像的奇场(RO)形成第三次层。
7、如权利要求6所述的立体视频编码装置，其中，主层根据与主层有关的信息，对运动补偿进行估计。
8、如权利要求6所述的立体视频编码装置，其中，第一次层根据与第一次层有关的信息，对运动补偿进行估计，并根据与主层有关的信息，对差异补偿进行估计。
9、如权利要求6所述的立体视频编码装置，其中，第二次层根据与主层和第二次层有关的信息，对运动补偿进行估计。
10、如权利要求6所述的立体视频编码装置，其中，第三次层根据与第一次层有关的信息，对运动补偿进行估计，并根据与主层有关的信息，对差异补偿进行估计。
11、如权利要求1所述的立体视频编码装置，其中，用户显示信息包括三维场快门显示，三维帧快门显示和二维显示。
12、如权利要求1所述的立体视频编码装置，其中，在用户显示信息指示为三维场快门显示的情况下，复用装置复用左眼图像的奇场(LO)和右眼图像的偶场(RE)。
13、如权利要求1所述的立体视频编码装置，其中，在用户显示信息指示为三维帧快门显示的情况下，复用装置复用左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)。
14、如权利要求1所述的立体视频编码装置，其中，在用户显示信息指示为二维显示的情况下，复用装置复用左眼图像的奇场(LO)，和左眼图像的偶场(LE)。
15、一种根据用户显示信息，支持多显示模式的立体视频译码装置，包括：
反向复用装置，复用所提供的比特流来匹配用户显示信息；
译码装置，通过对运动和差异补偿进行估计，对在反向复用装置中被反向复用的场进行译码；和
显示装置，根据用户显示信息，显示在译码装置中被译码的图像。
16、如权利要求15所述的立体视频译码装置，其中，用户显示信息包括三维场快门显示，三维帧快门显示，和二维显示。
17、如权利要求15所述的立体视频译码装置，其中，在用户显示信息指示为三维场快门显示的情况下，反向复用装置反向复用比特流为左眼图像的奇场(LO)，右眼图像的偶场(RE)。
18、如权利要求15所述的立体视频译码装置，其中，在用户显示信息指示为三维帧快门显示的情况下，反向复用装置反向复用比特流为左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)。
19、如权利要求15所述的立体视频译码装置，其中，在用户显示模式指示为二维显示的情况下，反向复用装置反向复用比特流为左眼图像的奇场(LO)，左眼图像的偶场(LE)。
20、如权利要求15所述的立体视频译码装置，其中，在用户显示模式指示为三维场快门显示的情况下，显示装置在预定时间间隔内，显示从左眼图像的奇场(LO)中被译码的图像和从右眼图像的偶场(RE)中被译码的图像。
21、如权利要求15所述的立体视频译码装置，其中，在用户显示模式指示为三维帧快门显示的情况下，显示装置在预定时间间隔内，显示从左眼图像的奇场(LO)中被译码的图像，从左眼图像的偶场(LE)中被译码的图像，从右眼图像的奇场(RO)中被译码的图像，和从右眼图像的偶场(RE)中被译码的图像。
22、如权利要求15所述的立体视频译码装置，其中，在用户显示模式指示为二维显示的情况下，显示装置同时显示从左眼图像的奇场(LO)中被译码的图像和从左眼图像的偶场(LE)中被译码的图像。
23、一种根据用户显示信息，支持多显示模式的、对立体视频图像进行编码的方法，包括的步骤：
a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；
b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和
c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
24、一种根据用户显示信息，支持多显示模式的、对立体视频图像进行译码的方法，包括的步骤：
a)反向复用所提供的比特流来匹配用户显示信息；
b)通过对运动和差异补偿进行估计，对在步骤a)中被反向复用的场进行译码；和
c)根据用户显示信息，显示在步骤b)中被译码的图像。
25、一种用于记录程序的，带微处理器的计算机可读记录介质，该程序实现基于用户显示信息的，支持多显示模式的立体视频编码方法，包括的步骤：
a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；
b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和
c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
26、一种用于记录程序的，带微处理器的计算机可读记录介质，该程序实现基于用户显示信息的，支持多显示模式的立体视频编码方法，包括的步骤：
a)将输入的右眼和左眼图像分离成左眼图像的奇场(LO)，左眼图像的偶场(LE)，右眼图像的奇场(RO)，和右眼图像的偶场(RE)；
b)通过对运动和差异补偿进行估计，对在上述步骤a)中分离的场进行编码；和
c)根据用户显示信息，在步骤b)中被编码的场中，复用基本的场。
CNB028279441A 2001-12-28 2002-11-13 支持多显示模式的立体视频编码/译码装置及其方法 Expired - Fee Related CN100442859C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2001/86464 2001-12-28
KR10-2001-0086464A KR100454194B1 (ko) 2001-12-28 2001-12-28 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN1618237A true CN1618237A (zh) 2005-05-18
CN100442859C CN100442859C (zh) 2008-12-10

Family

ID=19717735

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028279441A Expired - Fee Related CN100442859C (zh) 2001-12-28 2002-11-13 支持多显示模式的立体视频编码/译码装置及其方法

Country Status (7)

Country Link
US (2) US20050062846A1 (zh)
EP (1) EP1459569A4 (zh)
JP (1) JP4128531B2 (zh)
KR (1) KR100454194B1 (zh)
CN (1) CN100442859C (zh)
AU (1) AU2002356452A1 (zh)
WO (1) WO2003056843A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104788A (zh) * 2009-12-17 2011-06-22 美国博通公司 一种用于视频处理的方法和系统
CN102244794A (zh) * 2010-03-30 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序
CN102281450A (zh) * 2010-06-13 2011-12-14 深圳Tcl新技术有限公司 3d视频清晰度调整系统及方法
CN102281423A (zh) * 2010-06-08 2011-12-14 深圳Tcl新技术有限公司 3d视频场频转换系统及场频转换方法
CN102334338A (zh) * 2009-12-28 2012-01-25 松下电器产业株式会社 显示装置和方法、发送装置和方法、以及接收装置和方法
CN102742269A (zh) * 2010-02-01 2012-10-17 杜比实验室特许公司 使用非对称样本的用于图像和视频增强的滤波
WO2013075366A1 (zh) * 2011-11-24 2013-05-30 深圳市华星光电技术有限公司 立体图像显示装置和相应的立体图像显示方法
CN103152597A (zh) * 2011-12-06 2013-06-12 乐金显示有限公司 立体图像显示装置及其驱动方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
GB2414882A (en) * 2004-06-02 2005-12-07 Sharp Kk Interlacing/deinterlacing by mapping pixels according to a pattern
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
WO2007024072A1 (en) * 2005-08-22 2007-03-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding multiview video
MX2008003375A (es) * 2005-09-22 2008-03-27 Samsung Electronics Co Ltd Metodo para calcular vector de disparidad y metodo y aparato para codificar y descodificar pelicula de vision multiple utilizando el metodo de calculo de vector de disparidad.
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
EP1946563A2 (en) * 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US20110135005A1 (en) * 2008-07-20 2011-06-09 Dolby Laboratories Licensing Corporation Encoder Optimization of Stereoscopic Video Delivery Systems
US10136118B2 (en) 2008-07-20 2018-11-20 Dolby Laboratories Licensing Corporation Compatible stereoscopic video delivery
WO2010039417A1 (en) 2008-09-23 2010-04-08 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
WO2010062400A1 (en) * 2008-11-28 2010-06-03 Neuroptics, Inc. Methods, systems, and devices for monitoring anisocoria and asymmetry of pupillary reaction to stimulus
US20110249757A1 (en) * 2008-12-19 2011-10-13 Koninklijke Philips Electronics N.V. Method and device for overlaying 3d graphics over 3d video
US8947504B2 (en) 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
JP5406942B2 (ja) 2009-01-29 2014-02-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 立体画像である複数の画像をサブサンプリング及びインタリーブする方法及び装置
US20100194861A1 (en) * 2009-01-30 2010-08-05 Reuben Hoppenstein Advance in Transmission and Display of Multi-Dimensional Images for Digital Monitors and Television Receivers using a virtual lens
KR101632076B1 (ko) * 2009-04-13 2016-06-21 삼성전자주식회사 우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법
US9729899B2 (en) 2009-04-20 2017-08-08 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
WO2010131313A1 (ja) * 2009-05-14 2010-11-18 パナソニック株式会社 ビデオデータのパケット伝送方法
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
KR20110064161A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
KR101173280B1 (ko) * 2010-08-19 2012-08-10 주식회사 에스칩스 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치
JP4964355B2 (ja) * 2010-09-30 2012-06-27 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
KR101208873B1 (ko) * 2011-03-28 2012-12-05 국립대학법인 울산과학기술대학교 산학협력단 인터레이스 방식을 이용한 ３차원 영상 전송 방법 및 장치
US8723920B1 (en) 2011-07-05 2014-05-13 3-D Virtual Lens Technologies, Llc Encoding process for multidimensional display
US10165250B2 (en) * 2011-08-12 2018-12-25 Google Technology Holdings LLC Method and apparatus for coding and transmitting 3D video sequences in a wireless communication system
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
JP5735181B2 (ja) 2011-09-29 2015-06-17 ドルビー ラボラトリーズ ライセンシング コーポレイション デュアルレイヤフレームコンパチブルフル解像度立体３ｄビデオ配信
EP2792146A4 (en) 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) * 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US11095908B2 (en) * 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60264194A (ja) * 1984-06-12 1985-12-27 Nec Home Electronics Ltd 立体テレビジヨンの信号処理方法及びその送受信側装置
JPS62210797A (ja) * 1986-03-12 1987-09-16 Sony Corp 立体画像観視装置
US5416510A (en) * 1991-08-28 1995-05-16 Stereographics Corporation Camera controller for stereoscopic video system
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
KR0141970B1 (ko) * 1993-09-23 1998-06-15 배순훈 영상신호 변환장치
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH09507349A (ja) * 1993-12-29 1997-07-22 ライカ アクチエンゲゼルシャフト 表示装置上に立体ビデオ映像を表示するための方法及び装置
JP3234395B2 (ja) * 1994-03-09 2001-12-04 三洋電機株式会社 立体動画像符号化装置
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
SG74566A1 (en) * 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09215010A (ja) * 1996-02-06 1997-08-15 Toshiba Corp 立体動画像圧縮装置
EP2259588B1 (en) * 1996-02-28 2013-12-11 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
AU5720698A (en) * 1996-12-27 1998-07-31 Chequemate International Inc. System and method for synthesizing three-dimensional video from a two-dimensio nal video source
CN1208965C (zh) * 1997-03-11 2005-06-29 Actv公司 以实况广播节目事件提供全交互式服务的数字交互式系统
US6501468B1 (en) * 1997-07-02 2002-12-31 Sega Enterprises, Ltd. Stereoscopic display device and recording media recorded program for image processing of the display device
KR20010036217A (ko) * 1999-10-06 2001-05-07 이영화 입체영상 표시방법 및 그 장치
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US6906687B2 (en) * 2000-07-31 2005-06-14 Texas Instruments Incorporated Digital formatter for 3-dimensional display applications
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104788A (zh) * 2009-12-17 2011-06-22 美国博通公司 一种用于视频处理的方法和系统
CN102334338B (zh) * 2009-12-28 2015-04-22 松下电器产业株式会社 显示装置和方法、发送装置和方法、以及接收装置和方法
CN102334338A (zh) * 2009-12-28 2012-01-25 松下电器产业株式会社 显示装置和方法、发送装置和方法、以及接收装置和方法
CN102742269B (zh) * 2010-02-01 2016-08-03 杜比实验室特许公司 处理图像或图像序列的样本、后处理已解码图像的方法
CN102742269A (zh) * 2010-02-01 2012-10-17 杜比实验室特许公司 使用非对称样本的用于图像和视频增强的滤波
CN102244794A (zh) * 2010-03-30 2011-11-16 索尼公司 图像处理设备、图像处理方法和程序
CN102281423A (zh) * 2010-06-08 2011-12-14 深圳Tcl新技术有限公司 3d视频场频转换系统及场频转换方法
CN102281423B (zh) * 2010-06-08 2013-10-16 深圳Tcl新技术有限公司 3d视频场频转换系统及场频转换方法
CN102281450A (zh) * 2010-06-13 2011-12-14 深圳Tcl新技术有限公司 3d视频清晰度调整系统及方法
WO2013075366A1 (zh) * 2011-11-24 2013-05-30 深圳市华星光电技术有限公司 立体图像显示装置和相应的立体图像显示方法
CN103152597A (zh) * 2011-12-06 2013-06-12 乐金显示有限公司 立体图像显示装置及其驱动方法
CN103152597B (zh) * 2011-12-06 2015-05-06 乐金显示有限公司 立体图像显示装置及其驱动方法
US10509232B2 (en) 2011-12-06 2019-12-17 Lg Display Co., Ltd. Stereoscopic image display device using spatial-divisional driving and method of driving the same

Also Published As

Publication number Publication date
EP1459569A4 (en) 2010-11-17
KR20030056267A (ko) 2003-07-04
KR100454194B1 (ko) 2004-10-26
US20050062846A1 (en) 2005-03-24
AU2002356452A1 (en) 2003-07-15
EP1459569A1 (en) 2004-09-22
CN100442859C (zh) 2008-12-10
JP4128531B2 (ja) 2008-07-30
JP2005513969A (ja) 2005-05-12
US20110261877A1 (en) 2011-10-27
WO2003056843A1 (en) 2003-07-10

Similar Documents

Publication Publication Date Title
CN1618237A (zh) 支持多显示模式的立体视频编码/译码装置及其方法
CN100399826C (zh) 基于多显示支持多视图视频对象的编码设备和方法
US8953898B2 (en) Image processing apparatus and method
CN1771734A (zh) 用于视频的三维编码和/或解码的方法、介质及装置
JP4611386B2 (ja) 多視点映像のスケーラブル符号化、復号化方法及び装置
JP4421940B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
US8471893B2 (en) Method and apparatus for generating stereoscopic image bitstream using block interleaved method
US20090015662A1 (en) Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
CN1882080A (zh) 包括图像数据的传输流结构及收发图像数据的设备和方法
US20080303893A1 (en) Method and apparatus for generating header information of stereoscopic image data
US20080303892A1 (en) Method and apparatus for generating block-based stereoscopic image format and method and apparatus for reconstructing stereoscopic images from block-based stereoscopic image format
EP2932711B1 (en) Apparatus and method for generating and rebuilding a video stream
JP2013098986A (ja) 映像符号化方法及び装置、並びに映像復号化方法及び装置
Willner et al. Mobile 3D video using MVC and N800 internet tablet
JP2005110113A (ja) 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム
US20140301455A1 (en) Encoding/decoding device and method using virtual view synthesis and prediction
Kumar et al. A Comparative Analysis of Advance Three Dimensional Video Coding for Mobile Three Dimensional TV
JP5442688B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
Zhao et al. Low-complexity and sampling-aided multi-view video coding at low bitrate
JP2009260983A (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
KR20140095936A (ko) 실감방송 영상을 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081210

Termination date: 20111113