CN102577376B - 用于多视点视频编码和解码的方法、设备和系统 - Google Patents

用于多视点视频编码和解码的方法、设备和系统 Download PDF

Info

Publication number
CN102577376B
CN102577376B CN201080032420.8A CN201080032420A CN102577376B CN 102577376 B CN102577376 B CN 102577376B CN 201080032420 A CN201080032420 A CN 201080032420A CN 102577376 B CN102577376 B CN 102577376B
Authority
CN
China
Prior art keywords
picture
layer picture
viewpoint
reconstruction
predictive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080032420.8A
Other languages
English (en)
Other versions
CN102577376A (zh
Inventor
朴慜祐
赵大星
崔雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102577376A publication Critical patent/CN102577376A/zh
Application granted granted Critical
Publication of CN102577376B publication Critical patent/CN102577376B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种用于提供多视点视频服务的多视点视频编码方法和设备以及多视点视频解码方法和设备。多视点视频编码方法包括：使用任意视频编解码器来对基本层画面进行编码；使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，所述重建的层画面具有与基本层画面的视点不同的视点；使用预测画面对具有所述不同的视点的层画面进行残余编码。

Description

用于多视点视频编码和解码的方法、设备和系统
技术领域
与示例性实施例一致的设备和方法总体涉及一种用于对视频序列编码和解码的设备和方法，更具体地讲，涉及一种用于对在分层编码结构或分级编码结构中的多视点视频序列(例如立体视频序列)编码和解码的方法和设备。
背景技术
现有技术三维(3D)视频编码方法的典型示例包括基于MPEG-2部分2视频的多视点配置(MVP)(以下称为MPEG-2MVP)、基于H.264(MPEG-4AVC)修改4的多视点视频编码(MVC)(以下称为H.264MVC)。
用于对立体视频编码的MPEG-2MVP方法利用视频的视点间冗余基于MPEG-2的主配置和可伸缩配置，来执行视频编码。此外，用于对多视点视频编码的H.264MVC方法利用视频的视点间冗余基于H.264来执行视频编码。
由于使用现有MPEG-2MVP和H.264MVC编码的3D视频序列仅分别与MPEG-2和H.264兼容，因此基于MPEG-2MVP和H.264MVC的3D视频不能用于不基于MPEG-2或H.264的系统。例如，使用各种其他编解码器的系统(诸如数字影院)应该能够在与所使用的每个编解码器兼容的同时附加地提供3D视频服务。然而，由于MPEG-2MVP和H.264MVC很少与使用其他编解码器的系统兼容，因此需要新的方法，甚至在使用除了MPEG-2MVP或H.264MVC的编解码器的系统中也容易地提供3D视频服务。
发明内容
技术问题
示例性实施例的各方面提供一种用于在提供与各种视频编解码器的兼容性的同时提供多视点视频服务的视频编码和解码方法和设备。
示例性实施例的各方面还提供一种用于基于分层编码和解码方法提供多视点视频服务的视频编码和解码方法和设备。
技术方案
根据示例性实施例的一方面，提供一种用于提供多视点视频服务的多视点视频编码方法，该方法包括：使用任意视频编解码器来对基本层画面进行编码；使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，从编码的基本层画面重建所述重建的基本层画面，所述重建的层画面对应于与基本层画面的视点不同的视点；使用产生的预测画面对与所述不同的视点对应的层画面进行残余编码。
根据另一示例性实施例的方面，提供了一种用于提供多视点视频服务的多视点视频编码设备，所述多视点视频编码设备包括：基本层编码器，使用任意视频编解码器来对基本层画面进行编码；视点转换器，使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，从编码的基本层画面重建所述重建的基本层画面，所述重建的层画面对应于与基本层画面的视点不同的视点；残余编码器，使用产生的预测画面对与所述不同的视点对应的层画面进行残余编码。
根据另一示例性实施例的方面，提供了一种用于提供多视点视频服务的多视点视频解码方法，所述多视点视频解码方法包括：使用任意视频编解码器来重建基本层画面；通过使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，所述重建的层画面对应于与基本层画面的视点不同的视点；使用残余解码的层画面和产生的预测画面来重建对应于所述不同视点的层画面。
根据另一示例性实施例的方面，提供了一种用于提供多视点视频服务的多视点视频解码设备，所述多视点视频解码设备包括：基本层解码器，使用任意视频编解码器来重建基本层画面；视点转换器，使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，所述重建的层画面对应于与基本层画面的视点不同的视点；残余解码器，对与所述不同视点对应的层画面进行残余解码；组合器，通过将产生的预测画面与残余解码的层画面相加来重建与所述不同的视点对应的层画面。
根据另一示例性实施例的方面，提供了一种多视点视频提供系统，包括：多视点视频编码设备和多视点视频解码设备，所述多视点视频编码设备包括：基本层编码器，使用任意视频编解码器来对基本层画面进行编码；视点转换器，使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，从编码的基本层画面重建所述重建的基本层画面，所述重建的层画面对应于与基本层画面的视点不同的视点；残余编码器，使用产生的预测画面对与所述不同的视点对应的层画面进行残余编码；复用器，将编码的基本层画面和残余编码的层画面复用为比特流，并输出该比特流，所述多视点视频解码设备包括：解复用器，接收输出比特流，并将输出比特流解复用为基本层比特流和层比特流；基本层解码器，使用对应于任意视频编解码器的视频编解码器从基本层比特流重建基本层画面；视点转换器，使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，所述重建的层画面对应于所述不同视点；残余解码器，对层比特流进行残余解码以输出残余解码的层画面；组合器，通过将产生的预测画面与残余解码的层画面相加来重建与所述不同的视点对应的层画面。
附图说明
通过下面结合附图进行的描述，上述和其他方面将会变得更加清楚，其中：
图1是显示根据示例性实施例的多视点视频编码器的结构的框图；
图2是显示根据示例性实施例的在多视点视频编码器中的视点转换器的结构的框图；
图3是显示根据示例性实施例的多视点视频编码方法的流程图；
图4是显示根据示例性实施例的在多视点视频编码器中执行的视点转换方法的流程图；
图5是显示根据示例性实施例的多视点视频解码器的结构的框图；
图6是显示根据示例性实施例的在多视点视频解码器中的视点转换器的结构的框图；
图7是显示根据示例性实施例的多视点视频解码方法的流程图；
图8是显示根据示例性实施例的在多视点视频解码器中执行的视点转换方法的流程图；
图9是显示根据另一示例性实施例的具有N个增强层的多视点视频编码器的示例性结构的框图；
图10是显示根据另一示例性实施例的具有N个增强层的多视点视频解码器的示例性结构的框图。
具体实施方式
现在将参照附图来详细描述示例性实施例。在下面的描述中，特定细节(诸如，详细配置和组件)仅仅被提供以有助于对示例性实施例的全面理解。此外，为了清楚和简明，省略了对公知功能和构造的描述。此外，在附图中，相同的标号始终指示相同的元件。当诸如“中的至少一个”的表达方式在元件的列表前面时，这种表达方式修改了元件的整个列表，而没有修改该列表中的各个元件。
在以下描述中，诸如H.264和VC-1的编解码器作为编解码器的示例性类型被引入，但是仅为了对示例性实施例更好的理解，提供这些示例性编解码器，并且这些示例性编解码器不意于限制示例性实施例的范围。
示例性实施例提供一种视频编码器/解码器的分级结构以在维持与用于视频编码/解码的任何现有编解码器的兼容性的同时，提供多视点视频服务(诸如三维(3D)视频服务)。
根据示例性实施例的在分层编码/解码结构中设计的视频编码器/解码器对包括一个基本层画面和至少一个增强层画面的多视点视频进行编码和解码。这里使用的基本层画面是指基于使用现有视频编解码器(诸如VC-1和H.264)的现有方案而压缩编码的画面。增强层画面是指通过残余编码画面获得的画面，所述被残余编码的画面已经使用一个视点的基本层画面和与基本层的画面不同的视点的增强层画面中的至少一个被视点转换，而不管在基本层中使用的视频编解码器的类型。
应注意，在本公开中，增强层画面是指具有与基本层画面的视点不同视点的画面。
此外，在示例性实施例中，如果基本层画面是左视点画面，则增强层画面可以是右视点画面。相反，如果基本层画面是右视点画面，则增强层画面可以是左视点画面。如果增强层画面在数量上是1，则为了描述方便，基本层画面和增强层画面被认为分别是左/右视点画面，尽管理解基本层画面和增强层画面可以是各种视点的画面(诸如，前/后视点画面和顶/底视点画面)。因此，增强层画面可被解释为具有与基本层画面的视点不同的视点的层画面。在本公开中，具有不同视点的层画面和增强层画面可被解释为相同。如果增强层画面在数量上是复数，则各种视点的画面(诸如，前/后视点画面、顶/底视点画面等)可通过使用基本层画面和多个增强层画面被提供作为多视点视频。
此外，根据示例性实施例，通过对残余画面编码来产生增强层画面。残余画面被定义为对从增强层的输入画面和通过根据示例性实施例的视点转换产生的预测画面之间的差别而获得的画面数据进行编码的结果。使用重建的基本层画面和重建的增强层画面中的至少一个来产生预测画面。
如果基本层的输入画面被假设为“视点0”并且增强层的输入画面被假设为“视点1”，则重建的基本层画面是指由任意现有视频编解码器通过对输入画面“视点0”进行编码随后对编码的画面进行解码而重建的当前重建的基本层画面。用于产生预测画面的重建的增强层画面是指将先前残余画面与先前预测画面相加产生的先前重建的增强层画面。此外，如果增强层在数量上是复数，则重建的增强层画面是指当前重建的增强层画面，所述当前重建的增强层画面通过在与增强层的视点不同的视点的另一增强层中重建当前编码的残余画面而产生。稍后将详细地对用于产生预测画面的视点转换进行描述。
根据示例性实施例的多视点视频编码器通过使用任意视频编解码器对基本层的输入画面进行编码来在比特流中输出一个视点的基本层画面，并且通过使用由视点转换产生的预测画面对增强层的输入画面执行残余编码来在比特流中输出具有与基本层画面的视点不同的视点的增强层画面。
根据示例性实施例的多视点视频解码器通过使用任意视频编解码器对视点的编码基本层画面进行解码来重建一个视点的基本层画面，对与基本层画面的视点不同的视点的编码增强层画面进行残余解码，并且使用通过视点转换产生的预测画面来重建具有不同视点的增强层画面。
可通过从比特流中取得基本层的比特流并且对基本层的比特流进行解码来重建一个视点的二维(2D)画面，并且可通过对基本层的比特流进行解码，随后将通过执行根据示例性实施例的视点转换产生的预测画面与通过对增强层的比特流进行解码产生的残余画面进行组合，来重建在例如3D画面中具有不同视点的增强层画面。
现在将对根据示例性实施例的多视点视频编码器的结构和操作进行详细描述。为了描述的方便，以下描述的示例性实施例使用重建的当前基本层画面以及在视频转换期间的重建的先前增强层画面，并且增强层的数量是1。然而，将理解另一示例性实施例不限于此。
图1显示根据示例性实施例的多视点视频编码器100的结构。参照图1，P1表示基本层的输入画面，P2表示增强层的输入画面。基本层编码器101根据使用现有视频编解码器(例如，VC-1、H.264、MPEG-4部分2可视、MPEG-2P部分2视频、AVS、JPEG2000等)中的任意视频编解码器的现有方案对基本层中的一个视点的输入画面P1进行压缩编码，并且在基本层比特流P3中输出编码的基本层画面。此外，基本层编码器101重建编码的基本层画面，并且将重建的基本层画面P4存储在基本层缓冲器103中。视点转换器105从基本层缓冲器103中接收当前重建的基本层画面(下文中的“当前基本层画面”)P8。
残余编码器107接收通过减法器109从增强层的输入画面P2减去来自视频转换器105的预测画面P5而获得的画面数据，并且对接收的画面数据进行残余编码。残余编码的增强层画面或编码的残余画面被输出在增强层比特流P6中。残余编码器107重建残余编码的增强层画面，并输出该重建的增强层画面P7或者重建的残余画面。来自视频转换器105的预测画面P5和重建的增强层画面P7通过加法器111相加，并被存储在增强层缓冲器113中。视点转换器105从增强层缓冲器113接收先前重建的增强层画面(下文的“先前增强层画面”)P9。尽管在本示例性实施例中单独地显示了基本层缓冲器103和增强层缓冲器113，但是应理解，根据另一示例性实施例，基本层缓冲器103和增强层缓冲器113可被实现在一个缓冲器中。
视点转换器105分别从基本层缓冲器103和增强层缓冲器113接收当前基本层画面P8和先前增强层画面P9，并且产生视点转换的预测画面P5。视点转换器105产生以下将被描述的包括预测画面的控制信息的控制信息比特流P10，所述预测画面的控制信息用于在多视点视频解码器中进行解码。产生的预测画面P5被输出到减法器109以用于产生增强层比特流P6，并且被输出到加法器111以被用于产生下一预测画面。复用器(MUX)115将基本层比特流P3、增强层比特流P6和控制信息比特流P10进行复用，并且在一个比特流中输出复用的比特流P3、P6、P10。
由于分层编码结构的使用，多视点视频编码器100可与任何视频编码方法兼容，并且可在现有系统中被实现并可有效地支持包括3D视频服务的多视点视频服务。
图2显示根据示例性实施例的在多视点视频编码器100中的视点转换器105的结构。参照图2，视点转换器105以M×N像素块为单位来分割画面数据，并且逐块顺序产生预测画面。具体地讲，画面类型确定器1051根据画面类型(PT)来确定在产生预测画面中使用当前基本层画面P8、与基本层的视点不同的视点的当前重建的增强层画面(下文的“当前增强层画面”)、还是当前基本层画面P8和先前增强层画面P9的组合。例如，当增强层在数量上是复数时，使用当前增强层画面产生预测画面可被使用。
画面类型确定器1051根据增强层的输入画面P2的PT，来确定或使用当前基本层画面P8和先前增强层画面P9的参考关系。例如，如果当前将被编码的增强层的输入画面P2的PT是帧内画面，则可使用当前基本层画面P8来执行产生预测画面P5的视点转换。此外，如果多个增强层被提供并且PT是帧内画面，则可使用当前增强层画面来执行产生预测画面P5的视点转换。
另外，通过示例，如果增强层的输入画面P2的PT是帧间画面，则可使用当前基本层画面P8和先前增强层画面P9来执行用于产生预测画面P5的视点转换。可在系统的上层给予PT，其中，本示例性实施例的多视点视频编码器被应用到该系统。PT可被预先确定为帧内画面或帧间画面中的一个。
基于画面类型确定器1051的确定结果，视差估计器/运动估计器(DE/ME)1053通过使用当前基本层画面P8基于块执行视差估计(DE)来输出视差向量，或者使用当前基本层画面P8和先前增强层画面P9分别基于块执行DE和运动估计(ME)来输出相关块的视差向量和运动向量。如果增强层在数量上是复数，则DE/ME 1053可使用在具有与增强层的输入画面的视点不同的视点的另一增强层中的当前增强层画面基于块执行DE。
视差向量和运动向量可被解释为根据当前基本层画面和先前/当前增强层画面中的哪个参考画面被使用而被不同命名，并且可以以相同的方式来执行基于使用的参考画面的预测处理和向量输出处理。
视点转换器105以宏块为单位或者以M×N像素块为单位来执行视点转换。作为视点转换的示例，DE/ME 1053可基于M×N像素块输出视差向量和运动向量中的至少一个。作为另一示例，DE/ME 1053可以以各种方法将每个M×N像素块分割为K个部分，并且输出K个视差向量和/或运动向量。
例如，如果视点转换器105基于16×16像素块执行视点转换，则DE/ME1053可在每个16×16像素块输出一个视差向量或运动向量。作为另一示例，如果视点转换器105将16×16像素块分割为K个部分并对其执行视点转换，则DE/ME 1053可基于16×16像素块选择性地输出1K个视差向量或运动向量，或者基于8×8像素块输出4K个视差向量或运动向量。
模式选择器1055确定在对M×N像素块执行补偿中参考当前基本层画面还是参考先前增强层画面，其中M×N像素块的预测画面将被产生。如果增强层在数量上是复数，则模式选择器1055确定在具有与增强层的视点不同视点的另一增强层中执行补偿中，是否参考当前增强层画面。
基于由DE/ME 1053执行的DE和/或ME的结果，模式选择器1055从DE模式和ME模式中选择可选模式，以使用视差向量根据DE模式来对当前M×N像素块执行视差补偿(DC)，或者使用运动向量根据ME模式对当前M×N像素块执行运动补偿(MC)。模式选择器1055可将M×N像素块分割为多个部分，并且确定使用多个视差向量还是多个运动向量。确定的信息连同稍后将被描述的预测画面的控制信息可被一起传递到多视点视频解码器。分割的部分的数量可被默认确定。
视差补偿器/运动补偿器(DC/MC)1057通过根据在模式选择器1055中选择的具有最小预测成本的模式是DE模式还是ME模式执行DC或MC来产生预测画面P5。如果在模式选择器1055中选择的模式是DE模式，则DC/MC1057通过使用当前基本层画面中的视差向量补偿M×N像素块来产生预测画面P5。如果选择的模式是ME模式，则DC/MC 1057通过使用先前增强层画面中的运动向量补偿M×N像素块来产生预测画面P5。根据示例性实施例，指示选择的模式是DE模式还是ME模式的模式信息可以以例如标志信息的形式被传递到多视点视频解码器。
熵编码器1059对模式信息以及包括产生预测画面的每个块的视差向量信息或运动向量信息的预测画面的控制信息进行熵编码，并且在控制信息比特流P10中输出编码的信息。例如，在控制信息比特流P10插入到增强层比特流P6的画面头之后，控制信息比特流P10可被传递到多视点视频解码器。可使用在熵编码期间相同的语法，来将预测画面的控制信息中的视差向量信息和运动向量信息插入到控制信息比特流P10中。
现在将参照图3和图4来描述根据一个或多个示例性实施例的多视点视频编码方法。
图3显示根据示例性实施例的多视点视频编码方法。参照图3，在步骤301，基本层编码器101通过使用编解码器对第一视点的基本层的输入画面进行编码，来输出基本层比特流。基本层编码器101重建编码的基本层画面，并且将重建的基本层画面存储在基本层缓冲器103中。假设残余编码器107预先对第二视点的增强层中的先前输入画面进行残余编码，重建编码的增强层画面，并且输出重建的增强层画面。因此，在先前重建的增强层画面被添加到由视点转换器105先前产生的预测画面之后，先前重建的增强层画面已经被存储在增强层缓冲器113中。
在步骤303，视点转换器105分别从基本层缓冲器103和增强层缓冲器113接收重建的基本层画面和重建的增强层画面。其后，视点转换器105使用重建的基本层画面和重建的增强层画面中的至少一个，来产生关于增强层的输入画面被视点转换的预测画面。如上所述，视点转换器105可使用当前基本层画面来产生预测画面，或者使用当前基本层画面和增强层中的先前增强层画面来产生预测画面。在步骤305中，残余编码器107对通过从第二视点的增强层的输入画面减去预测画面获得的画面数据进行残余编码，并且输出该编码的增强层画面。
在步骤307，复用器115将在步骤301中编码的基本层画面与步骤305中编码的增强层画面进行复用，并且在比特流中输出复用的画面。尽管在图3的示例中示例性地假设增强层的数量是1，但是增强层在数量上可以是复数。在这种情况下，如上所述，可使用当前基本层画面和先前增强层画面来产生预测画面，或者可使用在具有与增强层的视点不同的视点的另一增强层中的当前增强层画面来产生预测画面。
尽管在图3的示例中顺序地示出了基本层画面的编码处理和增强层画面的编码处理，但是应理解可并行地执行基本层画面的编码和增强层画面的编码。
图4显示根据示例性实施例的在多视点视频编码器中执行的视点转换方法。在本示例性实施例中，在产生预测画面期间处理的宏块是16×16像素块，尽管应理解此大小仅是示例性的并且另一示例性实施例不限于此。
参照图4，在步骤401，画面类型确定器1051确定当前将在增强层中编码的输入画面的PT是帧内画面还是帧间画面。如果在步骤401确定PT为帧内画面，则DE/ME 1053在步骤403通过将当前基本层画面用作参考画面，基于16×16像素块并基于8×8像素块执行DE来计算每个像素块的预测成本。如果在步骤401确定PT为帧间画面，则DE/ME 1053在步骤405通过将当前基本层画面和先前增强层画面用作参考画面，来基于16×16像素块并基于8×8像素块的每一种像素块执行DE和ME来计算每个像素块的预测成本。在步骤403和405中计算的预测成本是指基于视差向量或运动向量的当前输入画面块与对应于当前输入画面块的块之间的差。预测成本的示例包括绝对差之和(SAD)、平方差之和(SSD)等。
在步骤407，如果当前将被编码的增强层的输入画面是帧内画面，则模式选择器1055在步骤407通过将通过对16×16像素块执行DE获得的预测成本与通过对16×16像素块中的8×8像素块执行DE获得的预测成本进行比较，来选择具有最小预测成本的DE模式。如果当前将被编码的增强层的输入画面是帧间画面，则模式选择器1055通过将通过对16×16像素块执行DE获得的预测成本、通过对16×16像素块中的8×8像素块执行DE获得的预测成本、通过对16×16像素块执行ME获得的预测成本、通过对16×16像素块中的8×8像素块执行ME获得的预测成本进行比较，来确定具有最小预测成本的模式是DE模式还是ME模式。作为选择的结果，当具有最小预测成本的模式是DE模式时，模式选择器1055将标志信息“VIEW_PRED_FLAG”设置为1。相反，当具有最小预测成本的模式是ME模式时，模式选择器1055将“VIEW_PRED_FLAG”设置为0。
当在步骤409确定“VIEW_PRED_FLAG”为“1”时，DC/MC 1057在步骤411使用由DE产生的基于16×16像素块或者基于8×8像素块的视差向量从当前基本层画面执行DC。如果在步骤409确定“VIEW_PRED_FLAG”为“0”，则DC/MC 1057在步骤413使用由ME产生的基于16×16像素块或者基于8×8像素块的运动向量从先前增强层画面执行MC。以这种方式，“VIEW_PRED_FLAG”可指示在产生预测画面的处理中基本层画面和增强层画面中的哪个被参考。
在步骤411或413对块执行DC或MC之后，熵编码器1059在步骤415对关于由DE/ME 1053计算的视差向量或运动向量的信息以及关于由模式选择器1055选择的模式的信息进行熵编码，并且在比特流中输出结果。如果当前将被编码的增强层的输入画面是帧间画面，则熵编码器1059对“VIEW_PRED_FLAG”以及关于基于16×16像素块或基于8×8像素块的视差向量或运动向量的使用/非使用的模式信息进行熵编码，并且对视差向量或运动向量按照视差向量或运动向量的数量的次数对视差向量或运动向量执行熵编码。通过对通过从视差向量或运动向量的预测值减去实际向量值获得的插值进行编码，来实现对视差向量或运动向量的熵编码。如果当前将被编码的增强层的输入画面是帧内画面，则由于先前画面不能被参考因此仅可从基本层的画面使用DC以保证随机访问，因此“VIEW_PRED_FLAG”的编码可被省略。尽管“VIEW_PRED_FLAG”不存在，但是多视点视频解码器可通过检查指示增强层画面是帧内画面的增强层比特流的头，来执行DC。
如果已经对于一个块完成了熵编码，则视点转换器105在步骤417转到下一块，并且对当前将被编码的增强层的输入画面的每个块执行步骤401至415。
现在将对根据示例性实施例的多视点视频解码器的结构和操作进行详细描述。为了描述方便，以下描述的示例性实施例在视点转换期间使用重建的当前基本层画面和重建的先前增强层画面，并且增强层的数量是1。然而，应理解另一示例性实施例不限于此。
图5显示根据示例性实施例的多视点视频解码器500的结构。参照图5，解复用器501将由多视点视频编码器100编码的比特流解复用为在增强层画面的解码期间使用的基本层比特流Q1、增强层比特流Q2和控制信息比特流Q3。此外，解复用器501将基本层比特流Q1提供给基本层解码器503，将增强层比特流Q2提供给残余解码器505，并将控制信息比特流Q3提供给视点转换器507。
基本层解码器503通过使用对应于在基本层编码器101中使用的视频编解码器的方案来对基本层比特流Q1进行解码，来输出第一视点的基本层画面Q4。第一视点的基本层画面Q4作为当前重建的基本层画面(下文的“当前基本层画面”)Q5被存储在基本层缓冲器509中。
假设残余解码器505预先对增强层比特流Q2进行残余解码，并且通过使用作为组合器的加法器511将由残余解码器505重建的增强层画面与预先由视点转换器507产生的预测画面Q6相加，随后被存储在增强层缓冲器513中。因此，视点转换器507从增强层缓冲器513接收预先重建的增强层画面(下文的“先前增强层画面”)Q9。
尽管在图5的示例中单独地显示了基本层缓冲器509和增强层缓冲器513，但是应理解根据另一示例性实施例，缓冲器509和513可被实现在单个缓冲器中。
视点转换器507分别从基本层缓冲器509和增强层缓冲器513接收当前基本层画面Q8和先前增强层画面Q9，并且产生在当前视点转换的预测画面Q6。使用加法器511，预测画面Q6与由残余解码器505残余解码的当前增强层画面相加，随后被输出到增强层缓冲器513。存储在增强层缓冲器513中的当前重建的增强层画面作为第二视点的重建的增强层画面Q7输出。随后，当前重建的增强层画面可作为先前增强层画面被提供给视点转换器507，以被用于产生下一预测画面。
多视点视频解码器500可仅对基本层比特流进行解码来支持具有一个解码的视点的现有2D视频服务。尽管在图5的示例中显示了仅一个增强层，但是如果多视点视频解码器500通过对具有不同视点的N增强层比特流以及基本层比特流进行解码来输出解码的视点#1～N，则多视点视频解码器500可支持多视点视频服务。基于图5的结构，还可提供用于各种视点的可伸缩性特征。
图6显示根据示例性实施例的在多视点视频解码器500中的视点转换器507的结构。参照图6，视点转换器507以M×N像素块为单位分割画面数据，并且逐块顺序地产生预测画面。具体地讲，画面类型确定器5071根据PT确定在产生预测画面中使用当前基本层画面、不同视点的当前重建的增强层画面(下文的“当前增强层画面”)还是当前基本层画面和先前增强层画面的组合。例如，当增强层在数量上是复数时，可使用利用当前增强层画面产生预测画面。
PT可被包括在输入到残余解码器505的增强层比特流Q2的头信息中，并且可由本发明示例性实施例的多视点视频解码器应用到的系统的上层从头信息获得PT。
画面类型确定器5071根据PT来确定或使用当前基本层画面Q8和先前增强层画面Q9的参考关系。例如，如果当前将被解码的增强层比特流Q2的PT是帧内画面，则可仅使用当前基本层画面Q8来执行产生预测画面Q6的视点转换。此外，如果多个增强层被提供并且PT是帧内画面，则可使用当前增强层画面执行用于产生预测画面Q6的视点转换。
另外通过示例，如果增强层比特流Q2的PT是帧间画面，则可使用当前基本层画面Q8和先前增强层画面Q9来执行用于产生预测画面Q6的视点转换。
熵解码器5073对从解复用器501接收的控制信息比特流Q3进行熵解码，并将解码的预测画面的控制信息输出到DC/MC 5075。如上所述，预测画面的控制信息包括模式信息以及对应于M×N像素块的每一个的视差和运动信息中的至少一个。
模式信息包括如下信息中的至少一个：指示DC/MC 5075将在当前M×N像素块中使用视差向量执行DC还是使用运动向量执行MC的信息、指示DC/MC 5075将在每个M×N像素块中进行选择的视差向量或运动向量的数量的信息等。
基于预测画面的控制信息，如果在编码期间选择的具有最小预测成本的模式是DC模式，则DC/MC 5075通过使用在时间上与将被解码的增强层的画面相同的当前基本层画面的视差向量来执行DC，来产生预测画面Q6。相反，如果具有最小预测成本的模式是MC模式，则DC/MC 5075通过使用先前增强层画面的运动向量执行MC来产生预测画面Q6。
现在将参照图7和图8来描述根据一个或多个示例性实施例的多视点视频解码方法。
图7显示根据示例性实施例的多视点视频解码方法。在本示例性实施例中，多视点视频解码器500接收由多视点视频编码器100(例如，图1中示出的多视点视频编码器100)编码的比特流。输入比特流可由解复用器501被解复用为基本层比特流、增强层比特流和控制信息比特流。
参照图7，在步骤701，基本层解码器503接收基本层比特流，并且通过使用对应于在多视点视频编码器100的基本层编码器101中使用的编解码器的方案对基本层比特流进行解码，来重建第一视点的基本层画面。基本层解码器503将通过解码重建的基本层画面存储在基本层缓冲器509中。残余解码器505接收当前增强层画面，并且对接收的当前增强层画面进行残余解码。假设通过残余解码预先重建的增强层画面以及由视点转换器507预先产生的预测画面被加法器511预先相加，并被预先存储在增强层缓冲器513中。
在步骤703，视点转换器507分别从基本层缓冲器509和增强层缓冲器513接收重建的基本层画面和重建的增强层画面。视点转换器507通过使用重建的基本层画面和重建的增强层画面中的至少一个来产生预测画面，其中，关于增强层的输入画面来对该预测画面进行视点转换。如上所述，视点转换器507可使用当前基本层画面来产生预测画面，或者使用当前基本层画面和增强层中的先前增强层画面来产生预测画面。在步骤705，加法器511通过将在步骤703产生的预测画面与由残余解码器505残余解码的当前增强层画面相加来重建第二视点的增强层画面。第二视点的当前重建的增强层画面被存储在增强层缓冲器513中，并且当产生下一预测画面时可被用作先前增强层画面。
尽管在本示例性实施例中假设增强层的数量是1，但是应理解增强层在数量上可以是复数，以对应于在多视点视频编码器100中的增强层的数量。在这种情况下，如上所述，可使用当前基本层画面和先前增强层画面来产生预测画面，或者可使用在具有与增强层的视点不同的视点的另一增强层中的当前增强层画面来产生预测画面。
此外，尽管在图7的示例中顺序地示出了基本层画面的解码和增强层画面的解码，但是应理解可并行地执行基本层画面的解码和增强层画面的解码。
图8显示根据示例性实施例的在多视点视频解码器中执行的视点转换方法。在本示例性实施例中，在产生预测画面期间处理的宏块是16×16像素块，尽管应理解此大小仅是示例性的并且另一示例性实施例不限于此。
参照图8，在步骤801，画面类型确定器5071确定当前将被解码的增强层的输入画面的PT是帧内画面还是帧间画面。在步骤803，熵解码器5073根据确定的PT来执行熵解码。具体地讲，在当前将被解码的增强层的画面是帧间画面时，熵解码器5073对于每个块对“VIEW_PRED_FLAG”、关于基于16×16像素或基于8×8像素的视差向量或运动向量的使用/非使用的模式信息、以及包括视差向量信息或运动向量信息的预测画面控制信息进行熵解码，其中，从控制信息比特流产生所述每个块的预测画面。如果当前将被解码的增强层的画面是帧内画面，则熵解码器5073可以以相同的方式对剩余预测图像控制信息进行熵解码，省略“VIEW_PRED_FLAG”的解码。解码被省略的VIEW_PRED_FLAG可被设置为1。
在步骤803的熵解码(步骤803的熵解码对应于在图4的步骤415中描述的熵编码)中，熵解码器5073对关于视差向量或运动向量的使用/非使用的模式信息进行熵解码，并且按照与视差向量或运动向量的数量相同的次数来对运动向量执行熵解码。对于视差向量或运动向量的解码结果包括视差向量或运动向量的差值。在步骤805，熵解码器5073通过将差值与视差向量或运动向量的预测值相加来产生视差向量或运动向量，并将结果输出到DC/MC5075。
在步骤806，DC/MC 5075接收在步骤801确定的PT以及在步骤803计算的“VIEW_PRED_FLAG”和视差向量或运动向量，并且检查“VIEW_PRED_FLAG”的值。
如果在步骤806“VIEW_PRED_FLAG”＝1，则MC/DC 5075在步骤807使用基于16×16像素或8×8像素的视差向量从当前基本层画面执行DC。如果在步骤806“VIEW_PRED_FLAG”＝0，则MC/DC 5075在步骤809使用基于16×16像素或8×8像素的运动向量从先前增强层画面执行MC。以这种方式，“VIEW_PRED_FLAG”可指示在产生预测画面的处理中参考基本层画面和增强层画面中的哪个。
如果已经完成了对于一个块的DC或MC，则视点转换器507在步骤811转到下一块，从而对当前将被解码的增强层的画面的每一块执行步骤801至809。
在先前描述中，已经通过示例来描述具有单个增强层的多视点视频编码器和解码器。应理解当具有N(其中，N是大于或等于3的自然数)个视点的多视点视频服务被提供时，多视点视频编码器和解码器可被扩展为具有根据如分别在图9和图10中显示的其他示例性实施例的N个增强层。
图9显示根据另一示例性实施例的具有N个增强层的多视点视频编码器900的示例性结构，图10显示根据另一示例性实施例的具有N个增强层的多视点视频解码器1000的示例性结构。
参照图9，多视点视频编码器900包括对应于N个增强层的第一至第N增强层编码块9001～900N。第一至第N增强层编码块9001～900N在结构上相同或类似，并且第一至第N增强层编码块9001～900N的每一个使用根据示例性实施例的视点转换的预测画面来对其相关增强层的输入画面进行编码。每个增强层编码块输出上述控制信息比特流和增强层比特流，作为其相关增强层(901)的编码结果。增强层编码块与在图1中描述的结构和操作相同或类似，并且因此这里省略对其的详细描述。
参照图10，多视点视频解码器1000包括对应于N个增强层的第一至第N增强层解码块10001～1000N。第一至第N增强层解码块10001～1000N在结构上相同或类似，并且第一至第N增强层解码块10001～1000N的每一个使用根据示例性实施例的视点转换的预测画面来对其相关增强层比特流进行解码。每个增强层解码块接收上述控制信息比特流和增强层比特流来对其相关增强层画面1001进行解码。增强层解码块与图5中描述的结构和操作相同或类似，并且因此在这里省略对其进行的详细描述。
尽管图9的多视点解码编码器900和图10的多视点解码解码器1000的每一个在产生预测画面期间在每个增强层中使用重建的基本层画面P4，但是应该理解多视点视频编码器900和解码器1000可适用于使用与相关增强层的视点不同的视点的当前重建的增强层，而不在产生预测画面期间在每个增强层中使用重建的基本层画面P4。在这种情况下，当在增强层n中产生预测画面时，多视点视频编码器900和解码器1000可适用于在增强层n-1中使用当前重建的增强层画面，替换重建的基本层画面P4，或者当在增强层n中产生预测画面时，多视点视频编码器900和解码器1000可适用于在增强层n-1和n+1中的每一个中使用重建的画面。
尽管不限制于此，示例性实施例还可实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布在网络连接的计算机系统，从而计算机可读代码以分布式方式被存储和执行。此外，示例性实施例可被编写为通过计算机可读传输介质(诸如载波)传输的计算机程序，并且在执行程序的通用或专用数字计算机中被接收和执行。此外，尽管不是在所有方面被需要，但是编码器100、900和解码器500、1000的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微处理器。
尽管已经参照特定示例性实施例显示和描述了发明构思的各方面，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物限定的本发明构思的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (28)

1.一种用于提供多视点视频服务的多视点视频编码方法，所述多视点视频编码方法包括：
使用任意视频编解码器来对基本层画面进行编码；
使用重建的基本层画面和重建的层画面来产生预测画面，其中，从编码的基本层画面重建所述重建的基本层画面，所述重建的层画面对应于与基本层画面的视点不同的视点；
使用产生的预测画面对与所述不同的视点对应的层画面进行残余编码，
其中，重建的基本层画面是当前重建的基本层画面，用于产生预测画面的重建的层画面是将先前残余画面与先前预测画面相加产生的先前重建的层画面。
2.如权利要求1所述的多视点视频编码方法，其中，产生预测画面的步骤包括：根据画面类型来产生预测画面。
3.如权利要求1所述的多视点视频编码方法，其中：
基本层画面的视点是三维3D图像的左视点，所述层画面的视点是3D图像的右视点，或者层画面的视点是左视点，基本层画面的视点是右视点。
4.如权利要求1所述的多视点视频编码方法，其中，对层画面进行残余编码的步骤包括：通过从层画面减去产生的预测画面来获得画面数据；
对获得的画面数据进行残余编码。
5.如权利要求1所述的多视点视频编码方法，其中，产生预测画面的步骤包括：根据指示重建的基本层画面和重建的层画面中的哪个将被用于产生预测画面的标志信息来产生预测画面。
6.如权利要求1所述的多视点视频编码方法，其中，产生预测画面的步骤包括：
当重建的基本层画面用于产生预测画面时，从重建的基本层画面执行视差补偿DC。
7.如权利要求1所述的多视点视频编码方法，其中，产生预测画面的步骤包括：
当重建的层画面用于产生预测画面时，从重建的层画面执行运动补偿MC。
8.如权利要求1所述的多视点视频编码方法，其中，产生预测画面的步骤包括：当画面类型是帧内画面时，使用视差向量产生预测画面；
当画面类型是帧间画面时，使用运动向量产生预测画面。
9.如权利要求1所述的多视点视频编码方法，其中，如果与多个不同视点相应的多个层画面被执行，则多个预测画面被产生以对应于所述多个层画面。
10.一种用于提供多视点视频服务的多视点视频编码设备，所述多视点视频编码设备包括：
基本层编码器，使用任意视频编解码器来对基本层画面进行编码；
视点转换器，使用重建的基本层画面和重建的层画面来产生预测画面，其中，从编码的基本层画面重建所述重建的基本层画面，所述重建的层画面对应于与基本层画面的视点不同的视点；
残余编码器，使用产生的预测画面对与所述不同的视点对应的层画面进行残余编码，
其中，重建的基本层画面是当前重建的基本层画面，用于产生预测画面的重建的层画面是将先前残余画面与先前预测画面相加产生的先前重建的层画面。
11.如权利要求10所述的多视点视频编码设备，其中，视点转换器包括：视差补偿器，当重建的基本层画面用于产生预测画面时，从重建的基本层画面执行视差补偿DC。
12.如权利要求10所述的多视点视频编码设备，其中，视点转换器根据指示重建的基本层画面和重建的层画面中的哪个将用于产生预测画面的标志信息，来产生预测画面。
13.如权利要求10所述的多视点视频编码设备，其中，视点转换器包括：运动补偿器，当重建的层画面被用于产生预测画面时，从重建的层画面执行运动补偿MC。
14.如权利要求10所述的多视点视频编码设备，其中，如果与多个不同视点相应的多个层画面被执行，则多个预测画面被产生以对应于所述多个层画面。
15.如权利要求10所述的多视点视频编码设备，其中，当画面类型是帧内画面时，视点转换器使用视差向量来产生预测画面，而当画面类型是帧间画面时，视点转换器使用运动向量来产生预测画面。
16.一种用于提供多视点视频服务的多视点视频解码方法，所述多视点视频解码方法包括：
使用任意视频编解码器来重建基本层画面；
通过使用重建的基本层画面和重建的层画面中的至少一个来产生预测画面，其中，所述重建的层画面对应于与基本层画面的视点不同的视点；
使用残余解码的层画面和产生的预测画面来重建对应于所述不同视点的层画面，
其中，重建的基本层画面是当前重建的基本层画面，用于产生预测画面的重建的层画面是将先前残余画面与先前预测画面相加产生的先前重建的层画面。
17.如权利要求16所述的多视点视频解码方法，其中，产生预测画面的步骤包括：根据指示重建的基本层画面和重建的层画面中的哪个将被用于产生预测画面的标志信息来产生预测画面。
18.如权利要求16所述的多视点视频解码方法，其中，产生预测画面的步骤包括：
当重建的基本层画面用于产生预测画面时，从重建的基本层画面执行视差补偿DC。
19.如权利要求16所述的多视点视频解码方法，其中，产生预测画面的步骤包括：
当重建的层画面用于产生预测画面时，从重建的层画面执行运动补偿MC。
20.如权利要求16所述的多视点视频解码方法，其中，产生预测画面的步骤包括：当画面类型是帧内画面时，使用视差向量产生预测画面；
当画面类型是帧间画面时，使用运动向量产生预测画面。
21.如权利要求16所述的多视点视频解码方法，其中，如果与多个不同视点相应的多个层画面被执行，则多个预测画面被产生以对应于所述多个层画面。
22.一种用于提供多视点视频服务的多视点视频解码设备，所述多视点视频解码设备包括：
基本层解码器，使用任意视频编解码器来重建基本层画面；
视点转换器，使用重建的基本层画面和重建的层画面来产生预测画面，其中，所述重建的层画面对应于与基本层画面的视点不同的视点；
残余解码器，对与所述不同视点对应的层画面进行残余解码；
组合器，通过将产生的预测画面与残余解码的层画面相加来重建与所述不同的视点对应的层画面，
其中，重建的基本层画面是当前重建的基本层画面，用于产生预测画面的重建的层画面是将先前残余画面与先前预测画面相加产生的先前重建的层画面。
23.如权利要求22所述的多视点视频解码设备，其中，视点转换器包括：视差补偿器，当重建的基本层画面用于产生预测画面时，从重建的基本层画面执行视差补偿DC。
24.如权利要求22所述的多视点视频解码设备，其中，视点转换器根据指示重建的基本层画面和重建的层画面中的哪个将用于产生预测画面的标志信息，来产生预测画面。
25.如权利要求22所述的多视点视频解码设备，其中，视点转换器包括：运动补偿器，当重建的层画面被用于产生预测画面时，从重建的层画面执行运动补偿MC。
26.如权利要求22所述的多视点视频解码设备，其中，如果与多个不同视点相应的多个层画面被执行，则多个预测画面被产生以对应于所述多个层画面。
27.如权利要求22所述的多视点视频解码设备，其中，当画面类型是帧内画面时，视点转换器使用视差向量来产生预测画面，而当画面类型是帧间画面时，视点转换器使用运动向量来产生预测画面。
28.一种多视点视频提供系统，包括：多视点视频编码设备和多视点视频解码设备，
所述多视点视频编码设备包括：
基本层编码器，使用任意视频编解码器来对基本层画面进行编码；
视点转换器，使用重建的基本层画面和重建的层画面来产生预测画面，其中，从编码的基本层画面重建所述重建的基本层画面，所述重建的层画面对应于与基本层画面的视点不同的视点；
残余编码器，使用产生的预测画面对与所述不同的视点对应的层画面进行残余编码；
复用器，将编码的基本层画面和残余编码的层画面复用为比特流，并输出该比特流，
所述多视点视频解码设备包括：
解复用器，接收输出比特流，并将输出比特流解复用为基本层比特流和层比特流；
基本层解码器，使用对应于任意视频编解码器的视频编解码器从基本层比特流重建基本层画面；
视点转换器，使用重建的基本层画面和重建的层画面来产生预测画面，其中，所述重建的层画面对应于所述不同视点；
残余解码器，对层比特流进行残余解码以输出残余解码的层画面；
组合器，通过将产生的预测画面与残余解码的层画面相加来重建与所述不同的视点对应的层画面，
其中，重建的基本层画面是当前重建的基本层画面，用于产生预测画面的重建的层画面是将先前残余画面与先前预测画面相加产生的先前重建的层画面。
CN201080032420.8A 2009-07-17 2010-07-19 用于多视点视频编码和解码的方法、设备和系统 Expired - Fee Related CN102577376B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2009-0065615 2009-07-17
KR1020090065615A KR20110007928A (ko) 2009-07-17 2009-07-17 다시점 영상 부호화 및 복호화 방법과 장치
PCT/KR2010/004717 WO2011008065A2 (en) 2009-07-17 2010-07-19 Method and apparatus for multi-view video coding and decoding

Publications (2)

Publication Number Publication Date
CN102577376A CN102577376A (zh) 2012-07-11
CN102577376B true CN102577376B (zh) 2015-05-27

Family

ID=43450009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080032420.8A Expired - Fee Related CN102577376B (zh) 2009-07-17 2010-07-19 用于多视点视频编码和解码的方法、设备和系统

Country Status (7)

Country Link
US (1) US20110012994A1 (zh)
EP (1) EP2452491A4 (zh)
JP (1) JP2012533925A (zh)
KR (1) KR20110007928A (zh)
CN (1) CN102577376B (zh)
MX (1) MX2012000804A (zh)
WO (1) WO2011008065A2 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046239A2 (en) * 2010-10-06 2012-04-12 Nomad3D Sas Multiview 3d compression format and algorithms
WO2012086203A1 (ja) * 2010-12-22 2012-06-28 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6061150B2 (ja) * 2011-03-18 2017-01-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
US20140085418A1 (en) * 2011-05-16 2014-03-27 Sony Corporation Image processing device and image processing method
EP2727362A4 (en) * 2011-06-30 2015-10-21 Vidyo Inc MOTION FORECASTING IN A SCALABLE VIDEO CODING
US9973778B2 (en) 2011-08-09 2018-05-15 Samsung Electronics Co., Ltd. Method for multiview video prediction encoding and device for same, and method for multiview video prediction decoding and device for same
CN103828371B (zh) * 2011-09-22 2017-08-22 太阳专利托管公司 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
US8923403B2 (en) 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
WO2013051896A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
US9674534B2 (en) 2012-01-19 2017-06-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-view video prediction capable of view switching, and method and apparatus for decoding multi-view video prediction capable of view switching
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
CN103379340B (zh) * 2012-04-19 2017-09-01 乐金电子(中国)研究开发中心有限公司 一种残差预测方法及装置
WO2013173282A1 (en) * 2012-05-17 2013-11-21 The Regents Of The University Of Califorina Video disparity estimate space-time refinement method and codec
US9219913B2 (en) * 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
KR101356890B1 (ko) * 2012-06-22 2014-02-03 한국방송공사 다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
WO2014038330A1 (ja) * 2012-09-06 2014-03-13 ソニー株式会社 画像処理装置及び画像処理方法
WO2014047351A2 (en) * 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
US9648318B2 (en) * 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
WO2014056150A1 (en) * 2012-10-09 2014-04-17 Nokia Corporation Method and apparatus for video coding
US9781416B2 (en) * 2013-02-26 2017-10-03 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
US9900576B2 (en) 2013-03-18 2018-02-20 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9762905B2 (en) * 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
KR20140122195A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
KR102186461B1 (ko) * 2013-04-05 2020-12-03 삼성전자주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
WO2014168893A1 (en) 2013-04-08 2014-10-16 General Instrument Corporation Signaling for addition or removal of layers in video coding
US9667990B2 (en) * 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
GB201309866D0 (en) * 2013-06-03 2013-07-17 Vib Vzw Means and methods for yield performance in plants
WO2015008464A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Video parameter set signaling
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
MX360655B (es) 2014-05-21 2018-11-12 Arris Entpr Llc Gestión individual de memorias intermedias en transporte de video escalable.
EP3368020B1 (en) 2015-10-26 2021-07-28 University of Wyoming Methods of generating microparticles and porous hydrogels using microfluidics
US20180213202A1 (en) * 2017-01-23 2018-07-26 Jaunt Inc. Generating a Video Stream from a 360-Degree Video
FR3072850B1 (fr) 2017-10-19 2021-06-04 Tdf Procedes de codage et de decodage d'un flux de donnees representatif d'une video omnidirectionnelle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
CN101415114A (zh) * 2007-10-17 2009-04-22 深圳华为通信技术有限公司 视频编解码方法和装置以及视频编解码器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
BRPI0710048A2 (pt) * 2006-03-30 2011-08-02 Lg Electronics Inc método e aparelho para decodificar / codificar um sinal de vìdeo
CN101491079A (zh) * 2006-07-11 2009-07-22 汤姆逊许可证公司 用在多视角视频编码中的方法和装置
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
US20100118942A1 (en) * 2007-06-28 2010-05-13 Thomson Licensing Methods and apparatus at an encoder and decoder for supporting single loop decoding of multi-view coded video
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
RU2010120518A (ru) * 2007-10-15 2011-11-27 Нокиа Корпорейшн (Fi) Пропуск информации движения и одноцикловое кодирование для многоракурсного видеоконтента
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
KR101560182B1 (ko) * 2008-01-07 2015-10-15 삼성전자주식회사 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
CN101415114A (zh) * 2007-10-17 2009-04-22 深圳华为通信技术有限公司 视频编解码方法和装置以及视频编解码器

Also Published As

Publication number Publication date
WO2011008065A3 (en) 2011-05-19
CN102577376A (zh) 2012-07-11
WO2011008065A2 (en) 2011-01-20
EP2452491A4 (en) 2014-03-12
MX2012000804A (es) 2012-03-14
JP2012533925A (ja) 2012-12-27
US20110012994A1 (en) 2011-01-20
EP2452491A2 (en) 2012-05-16
KR20110007928A (ko) 2011-01-25

Similar Documents

Publication Publication Date Title
CN102577376B (zh) 用于多视点视频编码和解码的方法、设备和系统
US8270482B2 (en) Method and apparatus for encoding and decoding multi-view video to provide uniform picture quality
JP6175473B2 (ja) マルチレイヤフレーム準拠ビデオ配信のためのシステム及び方法
KR101854003B1 (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
Schwarz et al. 3D video coding using advanced prediction, depth modeling, and encoder control methods
EP2538674A1 (en) Apparatus for universal coding for multi-view video
BRPI0616805A2 (pt) método de codificar um vìdeo multivisual, equipamento para codificar um vìdeo multivisual, meio de gravação legìvel por computador que possui armazenado por sobre ele um programa de computador, método de codificar uma imagem, equipamento que codifica uma imagem
BRPI0616745A2 (pt) codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
KR102227279B1 (ko) 비디오 부호화/복호화 방법 및 장치
CN107257485A (zh) 多视点信号编解码器
KR20090083746A (ko) 다시점 동영상의 부호화 및 복호화 방법 및 장치
EP2777256B1 (en) Multi-view coding with effective handling of renderable portions
KR20060108952A (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
US10887617B2 (en) Multi-view coding with exploitation of renderable portions
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
KR102163477B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR101386651B1 (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
KR20130044189A (ko) 다시점 비디오 부호화/복호화 방법 및 그 장치
KR20070098428A (ko) 비디오 신호 디코딩/인코딩 방법 및 장치
KR101346349B1 (ko) 스케일러블 다시점 영상 복호화 장치 및 방법
Tian et al. Analysis of the encoding efficiency of 3D HEVC
CN116325725A (zh) 多视图的视图位置辅助增强信息的消息
KR20150043164A (ko) 2d 비디오 기반 3d 비디오 코딩을 위한 병합 움직임 후보 리스트를 구성하는 방법 및 장치
KR20140127398A (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150527