CN103379332A - 三维视频序列辅助信息的解码方法、编码方法及装置 - Google Patents

三维视频序列辅助信息的解码方法、编码方法及装置 Download PDF

Info

Publication number
CN103379332A
CN103379332A CN2012104332882A CN201210433288A CN103379332A CN 103379332 A CN103379332 A CN 103379332A CN 2012104332882 A CN2012104332882 A CN 2012104332882A CN 201210433288 A CN201210433288 A CN 201210433288A CN 103379332 A CN103379332 A CN 103379332A
Authority
CN
China
Prior art keywords
video sequence
code stream
video
supplementary
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104332882A
Other languages
English (en)
Inventor
赵寅
虞露
洪英杰
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Zhejiang University ZJU
Original Assignee
ZTE Corp
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp, Zhejiang University ZJU filed Critical ZTE Corp
Priority to CN201910306598.XA priority Critical patent/CN111182311A/zh
Priority to CN2012104332882A priority patent/CN103379332A/zh
Priority to CN201911013579.4A priority patent/CN111031302A/zh
Priority to JP2015507354A priority patent/JP6293118B2/ja
Priority to EP18158676.9A priority patent/EP3358845A1/en
Priority to PCT/CN2013/074643 priority patent/WO2013159702A1/zh
Priority to EP13781675.7A priority patent/EP2843942A4/en
Priority to US14/397,158 priority patent/US10033982B2/en
Publication of CN103379332A publication Critical patent/CN103379332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本发明公开了一种三维视频序列辅助信息的解码方法、编码方法及装置，其中，该方法包括：从三维视频序列码流中获取用于构建立体视频对的辅助信息，其中，上述辅助信息用于指示由重建的三维视频序列构建上述立体视频对，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。本发明解决了现有技术中未在三维视频序列码流中携带辅助信息而导致构建的立体视频对的显示效果较差的技术问题，达到了提高构建的立体视频的显示效果的技术效果。

Description

三维视频序列辅助信息的解码方法、编码方法及装置
技术领域
本发明涉及通信领域，具体而言，涉及一种三维视频序列辅助信息的解码方法、编码方法及装置。
背景技术
三维视频（3D video）序列包括多路（通常为2路）视频序列（对应于纹理信息）和对应的深度（depth）序列（对应于深度信息），通常也被称为MVD（Multi-View Video Plus Depth）格式。三维视频通过视点合成(view synthesis)技术产生虚拟视点视频序列。传统的双目立体视频（Stereoscopic Video）仅由两个固定视点（即左视点和右视点）的视频序列构成，也称为一个立体视频对（Sereos pair）。由双目摄像机获得的立体视频对可能存在两视图像视差过大的问题。观看这样的立体视频对会引起较严重的视觉疲劳，或者说这样的立体视频对并不适合于双目立体观看（Stereoscopic Viewing）。引入虚拟视点视频序列后，可以利用立体视频对中的一个视频序列和一个合成的虚拟视点视频序列构成一个更适合双目立体观看的立体视频对，这里称其为立体视频对。
虚拟视点视频序列通过视点合成（View Synthesis）技术产生，所谓的视点合成主要采用的是深度和图像渲染（Depth-Image-Based Rendering，简称DIBR）技术，即，将一个摄像机视点（Camera View）图像的像素通过其对应的深度值和相应的摄像机参数，投影到另一虚拟视点(Virtual View)上，从而生成投影图像；然后，再通过空洞填充（Hole Filling）、滤波（filtering）、变采样（resampling）等处理产生最终用于显示的虚拟视点视频序列。视点合成中投影可采用整像素精度，即投影图像和摄像机视点图像的分辨率相同，也可以采用1/N（N为正整数）亚像素精度，即投影图像水平方向的分辨率为摄像机视点图像的N倍，其中，N通常为2的倍数。一般来说，采用亚像素投影精度比采用整像素投影精度可以获得更高质量的虚拟视点视频序列，但计算复杂度也更高。
三维视频序列包含若干个访问单元（access unit），一个访问单元包括多个（两个或多于两个）视点的某一时刻的图像（对应于纹理信息）及其对应的深度（对应于深度信息）。编码三维视频序列形成三维视频码流（bitstream），所谓的码流是由多个二进制比特组成的。编码方法可以为基于MPEG-2、H.264/AVC、HEVC、AVS、VC-1等视频编码标准的编码方法。需要说明的是，视频编码标准规定了码流的语法（syntax）和对符合编码标准的码流的解码方法，并不规定产生码流的编码方法，但是采用的编码方法必须和标准规定的解码方法相匹配，形成符合编码标准的码流，这样解码器才可以完成对这些码流的解码，否则解码过程可能会出错。解码得到的图像称为解码（decoded）图像或者重建（reconstructed）图像。
视频编码标准还规定了一些对解码视频图像而言非必需的语法单元，其对应的信息可以指示如何将解码的图像用于显示，或如何辅助视频解码等，这些语法单元例如H.264/AVC标准中的补充增强信息（Supplemental Enhancement Information，简称SEI，参见H.264/AVC标准文档7.3节），视频可用信息（Video Usability Information，简称VUI，参见H.264/AVC标准文档7.3节），子集序列参数集（Subset Sequence Parameter Set，简称subset SPS，参见H.264/AVC标准文档7.3节）中的MVC VUI parameters extension（参见H.264/AVC标准文档Annex H）等语法单元；还包括其它视频编码标准中的具有类似功能的语法单元。一个语法单元为一段码流，包含一组语法元素（Syntax Element），这些语法元素按照由视频编码标准规定的次序排列。语法元素对应的码字连接起来，组成码流。
为了支持虚拟视合成，三维视频序列码流中还可能包括各个视点的摄像机参数信息，例如每个视点的焦距、坐标位置等。通常三维视频序列的各个视点对应于平行摄像机排列结构（例如MPEG 3DV小组采用的测试序列），即所有视点的光轴相互平行且光心排列在一条直线上。
H.264/AVC的SEI由多个SEI消息（SEI message）构成，每个SEI消息有其对应的类型编号（即payloadType）和码流长度（即payloadSize）。一个SEI消息的码流包括由8比特（bit）无符号整数码编码的payloadType、由8比特无符号整数码编码的payloadSize、以及由payloadSize指示的若干个字节（byte，1byte=8bit）长度的消息内容码流。在其它视频编码标准中也有类似的方法。
一个信息可以包括一个或多个基本的子信息。子信息可以进行数值化，即由某个范围（通常为整数域）的数值来表示子信息描述的内容，例如：一个子信息描述两种情况，则可以用0和1分别表示这两种情况，又例如一个子信息描述0到1之间所有为0.125的倍数的9个数，则可以用0到8的整数分别表示这9个数。子信息数值化为一个语法元素（syntax element），语法元素可以根据其数值的范围和分布情况，采用一种合适的码进行编码，形成码字（codeword，由一个或多个比特组成），即语法元素编码后成为一串比特。常用的码有n比特定长码、指数哥伦布码、算术编码等；更具体的说，1比特无符号整数码包括两个码字0和1，2比特无符号整数码包括四个码字00、01、10和11，0阶指数哥伦布码的码字包括码字1、010、011等。二值的标识（flag）常用1比特无符号整数码（unsigned integer using 1bit，参见H.264/AVC标准文档7.2节），多于二值的索引（index）常用n比特无符号整数码（n为正整数）或指数哥伦布码等编码。码字由相应的解码方法（例如查表法，即从码表中查找码字对应的语法元素数值）恢复成该码字对应的语法元素的数值。多个子信息也可以被联合数值化为一个语法元素，从而对应于一个码字，例如可以对两个子信息的组合进行编号，将这个编号作为一个语法元素。多个语法元素对应的码字按照某个编解码约定的次序连接，组成码流。
举例来说，一个信息包括三个子信息A、B、C，将该信息编码成码流，通常的方法有：
1、将A、B、C三个子信息分别单独数值化为三个语法元素并编码为三个码字MA、MB、MC，将三个码字按照一定次序列连接起来，例如MA-MB-MC（即码流中MB出现在MA之后，MC之前）或MC-MA-MB，形成码流；
2、将其中的两个子信息（例如A和B）联合数值化为一个语法元素，另一个子信息（例如C）单独转化为一个语法元素；将这两个语法元素的码字连接起来形成码流。
需要说明的是，该信息的码流中任意相邻的两个码字间（例如MA和MB之间，或者MB和MC之间）还可能插入一些与该信息无关的额外码字（或比特），例如由一个或连续多个0或1构成的填充比特，又例如上述3个子信息之外的其它信息对应的码字。
若一个信息中某个子信息A与另一个子信息B具有依存关系（即当B指示某种特殊情况时，A指示的信息没有意义），将这样的信息编码为码流，通常的方法有：
1、分别将A和B对应的码字写入码流，但是当B指示该特殊情况时，A对应的码字为一个约定的码字；
2、将B对应的码字写入码流，当B指示该特殊情况时，不将A对应的码字写入码流；否则，将A对应的码字写入在B对应的码字之后；
3、将A和B所有有效的组合数值化为一个语法元素，将该语法元素对应的码字写入码流。
解码包含某个信息（由多个子信息构成）的码流，通常的方法有，将该码流按照约定的语法元素组织顺序（例如视频编码标准规定的语法元素组织顺序）拆分成若干个码字（其中可能包含与该信息无关的额外码字），并对这些码字中与上述多个子信息对应的码字进行解码，获得多个子信息。
为了改善立体视频对的立体感觉，通常可以采用水平平移（shifting）立体视频对图像的方法来调节显示器上呈现的视差（parallax）范围。当左视点图像相对于右视点图像向右平移时，负视差（negative parallax）增大，正视差（positive parallax）减小；当左视图像相对于右视图像向左平移时，负视差（negaive parallax）减小，正视差（positive parallax）增大。
三维视频的视频序列和深度序列可以分别由目前的多视点视频编码标准（Multi-viewVideo Coding，简称MVC，在H.264/AVC标准Annex H中描述）来编码。MVC规定每个视点视频序列都有各自的视点序号（View Order Index，简称为VOIdx，为非负整数），用于指示该视点视频的解码次序。最小视点序号视频序列（即VOIdx=0的视点的视频序列）最先解码，次小视点序号视频序列（即VOIdx=1的视点的视频序列）随后第二个解码。但MVC并没有说明各视点间的相对位置关系。立体显示器由于不知道视点的位置信息，可能错误地将一个右视点图像输出给左眼观看，从而产生错误的三维感受。另外，立体显示器（或如机顶盒等辅助设备）可以生成虚拟视点视频作为显示的立体视频对中的一个视频，从而调节视差感觉，其中立体显示器也需要知道虚拟视点生成所涉及的一些重要参数，例如虚拟视点位置、合成精度等。因此，三维视频序列码流中还应该增加一些指导立体显示器显示立体视频对的辅助信息，包括指示左视点图像的标识、立体视频对的构成方式、虚拟视点位置、合成精度、平移像素数等。
然而，相关技术中在三维视频序列码流中并未携带这些构建立体视频对所需的辅助信息，解码端在缺少这些辅助信息时而任意构建的立体视频对可能导致显示效果较差。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明提供了一种三维视频序列辅助信息的解码方法、编码方法及装置，以至少解决解决了现有技术中未在三维视频序列码流中携带辅助信息而导致构建的立体视频对的显示效果较差的技术问题。
根据本发明的一个方面，提供了一种三维视频序列辅助信息的解码方法，包括：从三维视频序列码流中获取用于构建立体视频对的辅助信息，其中，上述辅助信息用于指示由重建的三维视频序列构建上述立体视频对，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，上述辅助信息包括以下至少之一：虚拟视点合成标识、最小视点序号视点位置标识、平移像素数、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数，其中，上述虚拟视点合成标识，用于指示上述立体视频对中是否包含虚拟视点视频序列；上述最小视点序号视点位置标识，用于指示上述三维视频序列中两个视点的视频序列之间的左右关系；上述平移像素数，用于指示对上述立体视频对中两个视点的视频序列图像进行水平平移的像素数；上述合成精度，用于指示当上述立体视频对中包含虚拟视点视频序列时，合成上述虚拟视点视频序列时所需采用的投影精度；最小视点序号视点选择标识，用于标识当上述立体视频对中包含虚拟视点视频序列时，最小视点序号视频序列和次小视点序号视频序列中与上述虚拟视点视频序列合成上述立体视频对的视频序列；上述虚拟视点位置参数，用于指示当上述立体视频对中包含虚拟视点视频序列时，上述虚拟视点视频序列对应的虚拟视点在由上述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，从三维视频序列码流中获取用于构建立体视频对的辅助信息包括：从上述三维视频序列码流中提取辅助信息码流；从上述辅助信息码流中解码得到上述辅助信息。
优选地，辅助信息携带在上述三维视频序列码流的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
根据本发明的另一个方面，提供了一种三维视频序列辅助信息的编码方法，包括：将三维视频序列码流的辅助信息写入三维视频序列码流中，其中，上述辅助信息用于指示由重建的三维视频序列构建立体视频对，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，上述辅助信息包括以下至少之一：虚拟视点合成标识、最小视点序号视点位置标识、平移像素数、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数，其中，上述虚拟视点合成标识，用于指示上述立体视频对中是否包含虚拟视点视频序列；上述最小视点序号视点位置标识，用于指示上述三维视频序列中两个视点的视频序列之间的左右关系；上述平移像素数，用于指示对上述立体视频对中两个视点的视频序列图像进行水平平移的像素数；上述合成精度，用于指示当上述立体视频对中包含虚拟视点视频序列时，合成上述虚拟视点视频序列时所需采用的投影精度；上述最小视点序号视点选择标识，用于标识当上述立体视频对中包含虚拟视点视频序列时，最小视点序号视频序列和次小视点序号视频序列中与上述虚拟视点视频序列合成上述立体视频对的视频序列；上述虚拟视点位置参数，用于指示当上述立体视频对中包含虚拟视点视频序列时，上述虚拟视点视频序列对应的虚拟视点在由上述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，将三维视频序列码流的辅助信息写入三维视频序列码流中包括：将上述辅助信息编码为辅助信息码流；将上述辅助信息码流写入上述三维视频序列码流中。
优选地，将上述辅助信息写入上述三维视频序列码流中包括：将上述辅助信息写入上述三维视频序列码流中的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息的解码方法，包括：从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数包括：从上述三维视频序列码流中提取携带有上述平移像素数的辅助信息码流；从上述辅助信息码流中解码得到上述平移像素数。
优选地，上述平移像素数携带在上述三维视频序列码流的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息编码方法，包括：将平移像素数写入三维视频序列码流中，其中，上述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，将平移像素数写入上述三维视频序列码流中包括：将上述平移像素数编码为辅助信息码流；将携带有上述平移像素数的辅助信息码流写入上述三维视频序列码流中。
优选地，将上述平移像素数写入上述三维视频序列码流中包括：将上述平移像素数写入上述三维视频序列码流中的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息的解码装置，包括：辅助信息获取单元，用于从三维视频序列码流中获取用于构建立体视频对的辅助信息，其中，上述辅助信息用于指示由重建的三维视频序列构建上述立体视频对，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，上述辅助信息获取单元包括：辅助信息码流提取模块，用于从上述三维视频序列码流中提取辅助信息码流；辅助信息码流解码模块，用于从上述辅助信息码流中解码得到上述辅助信息。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息编码装置，包括：辅助信息写入单元，用于将三维视频序列码流的辅助信息写入三维视频序列码流中，其中，上述辅助信息用于指示由重建的三维视频序列构建立体视频对，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，上述辅助信息写入单元包括：辅助信息码流生成模块，用于将上述辅助信息编码为辅助信息码流；辅助信息码流写入模块，用于将上述辅助信息码流写入上述三维视频序列码流中。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息的解码装置，包括：辅助信息获取单元，用于从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，上述辅助信息写入单元包括：辅助信息码流提取模块，用于从上述三维视频序列码流中提取携带有上述平移像素数的辅助信息码流；辅助信息码流解码模块，用于从上述辅助信息码流中解码得到上述平移像素数。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息编码装置，包括：辅助信息写入单元，用于将平移像素数写入上述三维视频序列码流中，其中，上述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数，其中，上述重建的三维视频序列是对上述三维视频序列码流进行解码后得到的结果。
优选地，上述辅助信息写入单元包括：辅助信息码流生成模块，用于将上述平移像素数编码为辅助信息码流；辅助信息码流写入模块，用于将携带有上述平移像素数的辅助信息码流写入上述三维视频序列码流中。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息的编码方法，包括：将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流，并将上述辅助信息码流写入上述的三维视频序列码流中，其中，上述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，包括以下至少之一：虚拟视点合成标识，用于标识以下两种情况之一：上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；最小视点序号视点为左视标识，用于标识上述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示上述立体视频对中两个视点的视频序列的左右关系；平移像素数，用于指示对上述立体视频对中两个视点的视频序列图像进行水平平移的像素数；合成精度，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，合成上述虚拟视点视频序列所采用的投影精度；最小视点序号视点选择标识，用于标识当上述立体视频对中包含一个合成的虚拟视点视频序列时，上述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为上述立体视频中的一个视频序列的视频序列；虚拟视点位置参数，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，上述虚拟视点视频序列对应的虚拟视点在由上述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，按照以下方式之一将上述的辅助信息码流写入上述的三维视频序列码流：将上述辅助信息码流中的部分或全部信息写入上述三维视频序列码流的补充增强信息中；将上述辅助信息码流中的部分或全部信息写入上述三维视频序列码流的视频可用信息中；或者将上述辅助信息码流中的部分或全部信息写入上述三维视频序列码流的子集序列参数集中。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息的解码方法，包括：从三维视频序列码流中提取辅助信息码流，并解码上述辅助信息码流获得三维视频序列辅助信息，其中，上述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，包括以下至少之一：虚拟视点合成标识，用于标识以下两种情况之一：上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；最小视点序号视点为左视标识，用于标识上述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示上述立体视频对中两个视点的视频序列的左右关系；平移像素数，用于指示对上述立体视频对中两个视点的视频序列图像进行水平平移的像素数；合成精度，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，合成上述虚拟视点视频序列所采用的投影精度；最小视点序号视点选择标识，用于标识当上述的立体视频对中包含一个合成的虚拟视点视频序列时，上述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为上述立体视频对中的一个视频序列的视频序列；虚拟视点位置参数，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，上述虚拟视点视频序列对应的虚拟视点在由上述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，按照以下方式之一从上述三维视频序列码流中提取上述辅助信息码流：从上述三维视频序列码流的补充增强信息中获取上述辅助信息码流的部分或全部信息；从上述三维视频序列码流的视频可用信息中获取上述辅助信息码流的部分或全部信息；或者从上述三维视频序列码流的子集序列参数集中获取上述辅助信息码流的部分或全部信息。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息的编码装置，包括：辅助信息码流生成模块，用于将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流的，其中，上述辅助信息码流生成模块的输入为三维视频序列辅助信息，输出为辅助信息码流；辅助信息码流写入模块，用于将上述辅助信息码流写入三维视频序列码流中，其中，上述辅助信息码流写入模块的输入为上述辅助信息码流和上述三维视频序列码流，输出为含有上述辅助信息码流的三维视频序列码流；其中，上述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，其中，上述三维视频序列辅助信息包括以下至少之一：虚拟视点合成标识，用于标识以下两种情况之一：上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；最小视点序号视点为左视标识，用于标识上述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示上述立体视频对中两个视点的视频序列的左右关系；平移像素数，用于指示对上述立体视频对中两个视点的视频序列图像进行水平平移的像素数；合成精度，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，合成上述虚拟视点视频序列所采用投影精度；最小视点序号视点选择标识，用于标识当上述的立体视频对中包含一个合成的虚拟视点视频序列时，上述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为上述立体视频对中的一个视频序列的视频序列；虚拟视点位置参数，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，上述虚拟视点视频序列对应的虚拟视点在由上述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，上述辅助信息码流写入模块还用于按照以下方式至少之一将上述辅助信息码流写入三维视频序列码流中：将上述辅助信息码流中的部分或全部信息写入上述三维视频序列码流的补充增强信息中；将上述辅助信息码流中的部分或全部信息写入上述三维视频序列码流的视频可用信息中；或者将上述辅助信息码流中的部分或全部信息写入上述三维视频序列码流的子集序列参数集中。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息的解码装置，包括：辅助信息码流提取模块，用于从三维视频序列码流中提取辅助信息码流，其中，上述辅助信息码流提取模块的输入为三维视频序列码流，输出为上述的辅助信息码流；辅助信息码流解码模块，用于解码上述辅助信息码流获得三维视频序列辅助信息，其中，上述辅助信息码流解码模块的输入为上述辅助信息码流，输出为上述三维视频序列辅助信息，其中，上述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，包括以下至少之一：虚拟视点合成标识，用于标识以下两种情况之一：上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；最小视点序号视点为左视标识，用于标识上述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示上述立体视频对中两个视点的视频序列的左右关系；平移像素数，用于指示对上述的立体视频对中两个视点的视频序列图像进行水平平移的像素数；合成精度，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，合成上述虚拟视点视频序列所采用的投影精度；最小视点序号视点选择标识，用于标识当上述的立体视频对中包含一个合成的虚拟视点视频序列时，上述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为上述立体视频对中的一个视频序列的视频序列；虚拟视点位置参数，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，上述虚拟视点视频序列对应的虚拟视点在由上述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，上述辅助信息码流提取模块还用于按照以下方式至少之一从三维视频序列码流中提取辅助信息码流：从上述三维视频序列码流的补充增强信息中获取上述辅助信息码流中的部分或全部信息；从上述三维视频序列码流的视频可用信息中获取上述辅助信息码流中的部分或全部信息；或者从上述三维视频序列码流的子集序列参数集中获取上述辅助信息码流中的部分或全部信息。
根据本发明的又一个方面，提供了一种三维视频序列辅助信息码流，上述三维视频序列辅助信息码流中携带有用于指示由重建的三维视频序列产生一个立体视频对的三维视频序列辅助信息，上述三维视频序列辅助信息包括以下至少之一：虚拟视点合成标识，用于标识以下两种情况之一：上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者上述立体视频对是由上述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；最小视点序号视点为左视标识，用于标识上述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示上述立体视频对中两个视点的视频序列的左右关系；平移像素数，用于指示对上述的立体视频对中两个视点的视频序列图像进行水平平移的像素数；合成精度，用于指示当上述立体视频对中包含一个合成的虚拟视点视频序列时，合成上述虚拟视点视频序列所采用的投影精度；最小视点序号视点选择标识，用于标识当上述的立体视频对中包含一个合成的虚拟视点视频序列时，上述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为上述立体视频对中的一个视频序列的视频序列；虚拟视点位置参数，用于指示当上述的立体视频对中包含一个合成的虚拟视点视频序列时，上述虚拟视点视频序列对应的虚拟视点在由上述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，上述辅助信息码流按照以下方式之一存在于三维视频序列码流中：上述辅助信息码流中的部分或全部信息存在于上述三维视频序列码流的补充增强信息中；上述辅助信息码流中的部分或全部信息存在于上述三维视频序列码流的视频可用信息中；上述辅助信息码流中的部分或全部信息存在于上述三维视频序列码流的子集序列参数集中；其中，上述辅助信息码流的组成包括：当上述虚拟视点合成标识指示由上述最小视点序号视频序列和次小视点序号视频序列组成上述立体视频对时，上述辅助信息码流中不包含上述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者对应的比特；当上述虚拟视点合成标识指示由上述最小视点序号视频序列和次小视点序号视频序列组成上述立体视频对时，上述辅助信息码流中包含上述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者中至少一者对应的比特。
在本发明中，在三维视频序列码流中携带了辅助信息，从而使得在由重建的三维视频序列构建立体视频对时可以参考这些辅助信息，使得构建出的立体视频对的显示效果更佳，从而解决了现有技术中未在三维视频序列码流中携带辅助信息而导致构建的立体视频对的显示效果较差的技术问题，达到了提高构建的立体视频的显示效果的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施的三维视频序列辅助信息的解码方法的一种优选流程图；
图2是根据本发明实施例的获取辅助信息的一种优选流程图；
图3是根据本发明实施例的辅助信息写入三维视频序列码流的一种优选流程图；
图4是根据本发明实施例的三维视频序列辅助信息的解码装置的一种优选结构框图；
图5是根据本发明实施例的三维视频序列辅助信息的编码装置的一种优选结构框图；
图6是本发明的实施例的三维视频序列辅助信息的编码装置的结构示意图；
图7是本发明的实施例的三维视频序列辅助信息的解码装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供了一种优选的三维视频序列辅助信息的解码方法，如图1所示，该方法包括以下步骤：
步骤S102：从三维视频序列码流中获取用于构建立体视频对的辅助信息，其中，辅助信息用于指示由重建的三维视频序列构建所述立体视频对，其中，重建的三维视频序列是对三维视频序列码流进行解码后得到的结果。
步骤S104：根据获取的辅助信息构造立体视频对。
在上述优选实施方式中，在三维视频序列码流中携带了辅助信息，从而使得在由重建的三维视频序列构建立体视频对时可以参考这些辅助信息，使得构建出的立体视频对的显示效果更佳，从而解决了现有技术中未在三维视频序列码流中携带辅助信息而导致构建的立体视频对的显示效果较差的技术问题，达到了提高构建的立体视频的显示效果的技术效果。
对于上述的辅助信息可以是先生成辅助信息码流，然后将这个辅助信息码流记载三维视频码流中，那么相应的，在恢复出辅助信息时，也就要先提取辅助信息码流。在一个优选实施方式中，如图2所示，包括以下步骤：从三维视频序列码流中获取用于构建立体视频对的辅助信息包括：
步骤S202：从三维视频序列码流中提取辅助信息码流；
步骤S204：从辅助信息码流中解码得到辅助信息。
优选地，在通过三维视频序列码流重建的三维视频序列后，构建立体视频对时，记重建成的三维视频序列中两个视点的视频序列为A和B，可以直接通过A和B构建一个立体视频对，也可以先通过A和B中至少一者生成一个虚拟视点视频序列C，然后，通过A和C构建一个立体视频对或者通过B和C构建一个立体视频对。当辅助信息中不包含虚拟视点合成标识时，除了上述方法，还可以由三维视频序列中若干个视点生成两个虚拟视点视频序列D和E，然后通过D和E构建一个立体视频对。
既然有上述的三维视频序列辅助信息的解码方法，也就有三维视频序列辅助信息的编码方法，在一个优选实施方式中，三维视频序列辅助信息的编码方法包括：将三维视频序列码流的辅助信息写入三维视频序列码流中，其中，辅助信息用于指示由重建的三维视频序列构建立体视频对，其中，所述重建的三维视频序列是对三维视频序列码流进行解码后得到的结果。
如图3所示，将三维视频序列码流的辅助信息写入三维视频序列码流中可以包括以下步骤：
步骤S302：将辅助信息编码为辅助信息码流；
步骤S304：将辅助信息码流写入三维视频序列码流中。
辅助信息或者是辅助信息码流可以携带在三维视频序列码流一些用于编码或者解码的信息中，例如，可以但不限于将辅助信息携带在三维视频序列码流的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
在上述各个优选实施方式中，辅助信息包括但不限于以下至少之一：虚拟视点合成标识、最小视点序号视点位置标识、平移像素数、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数。下面对这几个参数的具体作用和含义进行描述。
1）虚拟视点合成标识，用于指示立体视频对中是否包含虚拟视点视频序列；优选地，一个立体视频对可以仅由最小视点序号视频序列和次小视点视频序列组成，也可以由上述两个视点中的一个视点和一个虚拟视点组成，优选地，还可以由两个虚拟视点组成。上述的虚拟视点是由最小视点序号视频序列和次小视点视频序列合成的；
2）最小视点序号视点位置标识，用于指示的三维视频序列中两个视点的视频序列之间的左右关系，即可以通过最小视点序号视点位置标识指示最小视点序号视点是左视点，相应的另外一个视点就是右视点，当然反过来标识也可以，即指示最小视点序号视点是右视点；
3）平移像素数，用于指示对立体视频对中两个视点的视频序列图像进行水平平移的像素数；
4）合成精度，用于指示当立体视频对中包含虚拟视点视频序列时，合成虚拟视点视频序列时所需采用的投影精度；
5）最小视点序号视点选择标识，用于标识当立体视频对中包含虚拟视点视频序列时，最小视点序号视频序列和次小视点序列视频序列中与虚拟视点视频序列合成立体视频对的视频序列；即，通过该最小视点序号视点选择标识可以知道和虚拟视点构成立体视频对的视频序列是最小视点序号视频序列和次小视点序列视频序列中的哪一个。
6）虚拟视点位置参数，用于指示当立体视频对中包含虚拟视点视频序列时，虚拟视点视频序列对应的虚拟视点在由三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
优选地，如果在辅助信息中未完全携带上述几种辅助信息，那么在解码端构造立体视频对时，对于未携带的参数信息可以采用预定的参数数值或者根据其它信息确定最终采用的参数数值。
本发明实施例还提供了一种优选实施例来对在三维视频序列码流中携带平移像素数这个辅助信息进行说明。具体的，对应于平移像素数的三维视频序列辅助信息的解码方法，可以包括：从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数，其中，重建的三维视频序列是对三维视频序列码流进行解码后得到的结果。
相应的，从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数可以包括以下步骤：
步骤S1：从三维视频序列码流中提取携带有平移像素数的辅助信息码流；
步骤S2：从辅助信息码流中解码得到平移像素数。
针对平移像素数的三维视频序列辅助信息编码方法，可以包括：将平移像素数写入三维视频序列码流中，其中，平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数，其中，重建的三维视频序列是对三维视频序列码流进行解码后得到的结果。
在一个优选实施方式中，将平移像素数写入所述三维视频序列码流中可以包括以下步骤：
步骤S1：将平移像素数编码为辅助信息码流；
步骤S2：将携带有平移像素数的辅助信息码流写入三维视频序列码流中。
优选地，上述的平移像素数可以但不限于携带在所述三维视频序列码流的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
在本实施例中还提供了一种三维视频序列辅助信息的解码装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能被构想的。图4是根据本发明实施例的三维视频序列辅助信息的解码装置的一种优选结构框图，如图4所示，包括：辅助信息获取单元402，下面对该结构进行说明。
辅助信息获取单元402，用于从三维视频序列码流中获取用于构建立体视频对的辅助信息，其中，辅助信息用于指示由重建的三维视频序列构建所述立体视频对，其中，重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
在一个优选实施方式中，如图4所示，辅助信息获取单元包括：
辅助信息码流提取模块4022，用于从三维视频序列码流中提取辅助信息码流；
辅助信息码流解码模块4024，与辅助信息码流提取模块4022耦合，用于从辅助信息码流中解码得到辅助信息。
在本实施例中还提供了一种三维视频序列辅助信息编码装置，如图5所示，包括：
辅助信息写入单元502，用于将三维视频序列码流的辅助信息写入三维视频序列码流中，其中，所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。该辅助信息写入单元包括：辅助信息码流生成模块5022，用于将辅助信息编码为辅助信息码流；辅助信息码流写入模块5024，与辅助信息码流生成模块5022耦合，用于将辅助信息码流写入所述三维视频序列码流中。
下面将结合几个优选实施方式对本发明的实施例进行进一步详细描述：
三维视频序列辅助信息用于指示由重建的三维视频序列产生一个适合双目立体观看的立体视频对，优选地，至少包括以下6个辅助信息子信息中的一个：虚拟视点合成标识A、最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、以及虚拟视点位置参数F。
其中，虚拟视点合成标识A用于标识以下两种情况中之一：
（a1）由三维视频序列中的最小视点序号（例如：MVC中的view order index，简称VOIdx）视频序列（例如：VOIdx=0的视点的视频序列）和次小视点序号视频序列（例如：VOIdx=1的视点的视频序列）组成一个适合双目立体观看的立体视频对；
（a2）由三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一以及一个合成的虚拟视点视频序列组成立体视频对。其中，该虚拟视点视频序列由最小视点序号视频序列及其深度序列以及次小视点序号视频序列及其深度序列中至少一者，通过基于DIBR的视点合成技术合成。虚拟视点合成标识A可数值化为一个包括0和1两个值的语法元素，其中0和1分别代表情况（a1）和（a2），或者分别代表情况（a2）和（a1）。
优选地，如果在辅助信息中不携带虚拟视点合成标识A也可以指示该立体视频对是由多个视频序列合成的两个虚拟视点组成的。
最小视点序号视点为左视标识B，用于标识以下两种情况中之一：
（b1）三维视频序列中最小视点序号视点在次小视点序号视点的左侧；
（b2）三维视频序列中最小视点序号视点在次小视点序号视点的右侧。
其中，最小视点序号视点为左视标识B用于指示立体视频对中两个视点的视频序列的左右关系。例如，立体视频对由最小视点序号视频序列和次小视点序号视频序列组成时（该组成信息既可以由上述虚拟视点合成标识A指示，也可以由编码端和解码端预先约定），若B指示情况（b1），立体视频对的左视点视频序列为最小视点序号视频序列，右视点视频序列为次小视点序号视频序列；若B指示情况（b2），则立体视频对的左视点视频序列为次小视点序号视频序列，右视点视频序列为最小视点序号视频序列。又例如，立体视频对由最小视点序号视频序列和一个合成的虚拟视点视频序列组成时，若B指示情况（b1），立体视频对的左视点视频序列为最小视点序号视频序列，右视点视频序列为虚拟视点视频序列；若B指示情况（b2），则立体视频对的左视点视频序列为虚拟视点视频序列，右视点视频序列为最小视点序号视频序列。再例如，立体视频对由次小视点序号视频序列和一个合成的虚拟视点视频序列组成时，若B指示情况（b1），立体视频对的左视点视频序列为虚拟视点视频序列，右视点视频序列为次小视点序号视频序列；若B指示情况（b2），则立体视频对的左视点视频序列为次小视点序号视频序列，右视点视频序列为虚拟视点视频序列。最小视点序号视点为左视标识B可数值化为一个包括0和1两个值的语法元素，其中0和1分别代表情况（b2）和（b1），或者分别代表情况（b1）和（b2）。
平移像素数C，用于指示对立体视频对中左右两个视点的视频序列图像（简称为左视点图像和右视点图像）进行水平平移的像素数。优选地，平移像素数C可数值化为一个包括-2n到2n-1之间（包括-2n和2n-1）的若干个整数的语法元素，其数值记为C*，其中n为正整数。例如：n=5或n=6或n=7或n=10，然而，值得注意的是，上述所列举的n的值仅仅是为了更好地说明本发明，本发明不限于此，还可以采用其它的n的值，例如：n=13。C*为正数表示左视点图像相对于右视点图像向左（或向右）平移C*个像素，C*为负数表示左视点图像相对于右视点图像向右（或向左）平移-C*个像素。平移像素数C也可数值化为一个包括0到2n-1之间（包括0和2n-1）的若干个整数的语法元素，其数值记为C’；其中C’大于等于K（0≤K≤2n-1，K为整数）表示左视点图像相对于右视点图像向左（或向右）平移C’-K个像素；C’小于K表示左视点图像相对于右视点图像向右（或向左）平移K－C’个像素。
合成精度D，用于指示当立体视频对中包含一个合成的虚拟视点视频序列时，合成虚拟视点视频序列采用的投影精度。优选地，合成精度D可数值化为一个包括0和1两个值的语法元素，其中0和1分别表示整像素投影精度和1/2像素投影精度。合成精度D也可以数值化为一个包括0、1、2三个值的语法元素，其中0、1和2分别表示整像素投影精度、1/2像素投影精度和1/4像素投影精度。
最小视点序号视点选择标识E，用于标识以下两种情况中之一：
（e1）当立体视频对中包含一个合成的虚拟视点视频序列时，三维视频序列中的最小视点序号视频序列作为立体视频对中的另一个视频序列，最小视点序号视频序列对应的视点称为推荐摄像机视点；
（e2）当立体视频对中包含一个合成的虚拟视点视频序列时，三维视频序列中的次小视点序号视频序列作为立体视频对中的另一个视频序列，次小视点序号视频序列对应的视点称为推荐摄像机视点。
优选地，最小视点序号视点选择标识E可以数值化为一个包括0和1两个值的语法元素，其中0和1分别代表情况（e2）和（e1），或者分别代表情况（e1）和（e2）。
虚拟视点位置参数F，用于指示当立体视频对中包含一个合成的虚拟视点视频序列时，虚拟视点视频序列对应的虚拟视点在由三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。优选地，虚拟视点位置参数F可数值化为一个包括p到q之间（包括p和q）的W个（W≤q-p+1，W为整数）整数的语法元素，其数值记为F’，其中p、q为非负整数且p<q。例如：p=0，q=7，或p=1，q=8，或p=9，q=12或p=0，q=31；虚拟视点在由最小视点序号视点和次小视点序号视点构成的直线上且与推荐摄像机视点（或最小视点序号视点）的距离为(F’+k)×L/G的两个位置中的一个位置，其中，L表示由最小视点序号视点和次小视点序号视点构成线段的长度（即这两个视点间的距离），k为整数，例如：k=0或k=-1或k=1或k=-4或k=4，G为正整数，例如：G=4或G=8或G=16或G=15或G=27。可以约定虚拟视点总是在上述两个位置中的某一个位置，例如与最小视点序号视点和次小视点序号视点的距离之和较小的那个位置；也可以从三维视频序列码流中获取标识上述两个位置中哪个位置的语法元素，进而确定虚拟视点的位置。
下面将结合具体的优选实施方式来详细阐述本发明的三维视频序列辅助信息的编码方法、解码方法、对应的装置及码流的具体实施方式。
优选实施方式1
在本优选实施方式中，涉及一种三维视频序列辅助信息的编码方法。本实施例中一个三维视频序列码流（由编码三维视频序列得到）对应的三维视频序列辅助信息包括虚拟视点合成标识A、最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等6个辅助信息子信息中的P（1≤P≤6，P为整数）个辅助信息子信息。将这P个辅助信息子信息分别数值化为P个语法元素，并编码为辅助信息码流。三维视频序列辅助信息的构成有多种组合，可以为6个辅助信息子信息的任意组合之一，例如：
组合1：A；
组合2：B；
组合3：C；
组合4：D；
组合5：E；
组合6：F；
组合7：B、C；
组合8：A、F；
组合9：A、B、F；
组合10：A、C、F；
组合11：A、B、E、F；
组合12：A、B、C、F；
组合13：A、B、C、E、F；
组合14：A、B、C、D、E、F。
将辅助信息码流写入三维视频序列码流，从而产生含有辅助信息码流的三维视频序列码流。
优选实施方式2
在本优选实施方式中，涉及一种三维视频序列辅助信息的编码方法。本实施例中一个三维视频序列码流对应的三维视频序列辅助信息包括虚拟视点合成标识A、最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等6个辅助信息子信息中的P（2≤P≤6，P为整数）个辅助信息子信息。将这P个辅助信息子信息分为Q（1≤Q<P，Q为整数）组，记为Qm（1≤m≤Q，m为整数），Q组子信息有多种组成形式，例如以下组合之一：
组合1：{A、D}、{B}、{C}（即P=4，Q=3，其中A和D为1组，B为1组，C为1组，下同）；
组合2：{A、D}、{B、C、E、F}；
组合3：{A、D}、{B}、{C}、{E}、{F}；
组合4：{A、B}、C、{D、F、E}；
组合5：{B、C}；
组合6：{A、B、F}、{C}、{D}、{E}。
将每一组中的所有辅助信息子信息联合数值化为一个语法元素（如果一组中只有一个辅助信息子信息则对其单独数值化为一个语法元素），从而得到Q个语法元素。以上述组合3（{A、D}、{B}、{C}、{E}、{F}）为例，虚拟视点合成标识A和合成精度D为一组，将其联合数值化为一个包括0、1、2、3四个值的语法元素，其中0表示虚拟视点合成标识A指示情况（a1），1表示虚拟视点合成标识A指示情况（a2）且合成精度D指示整像素投影精度，2表示虚拟视点合成标识A指示情况（a2）且合成精度D指示1/2像素投影精度，3表示虚拟视点合成标识A指示情况（a2）且合成精度D指示1/4像素投影精度。B、C、、E、F分别单独数值化为一个语法元素。之后，将Q个语法元素编码为辅助信息码流。
然后，将辅助信息码流写入三维视频序列码流，从而产生含有辅助信息码流的三维视频序列码流，其处理方式有多种，至少包括以下处理方式之一：
方式1：将这段辅助信息码流全部写入补充增强信息（supplemental enhancementinformation，简称SEI）中的一个SEI消息（如H.264/AVC标准的sei_message()语法单元），该SEI消息的payloadType为大于46的某个整数（例如51或52），payloadSize为N个字节（例如0<N<5，N为整数）。当辅助信息码流长度不为整数个字节时，在辅助信息码流末尾填充比特，使这个SEI消息的长度为整数个字节。
方式2：将辅助信息码流全部写入视频可用信息（video usability informaion，简称VUI，如H.264/AVC标准的vui_parameters()语法单元）中。
方式3：将辅助信息码流全部写入子集序列参数集（subset sequence parameter set，简称subset SPS，如H.264/AVC标准的subset_seq_parameter_set_rbsp()语法单元）中。
方式4：当Q大于1时，将辅助信息码流分为2个部分，即包含K（0<K<Q，K为整数）个语法元素的码流1和包含其余Q-K个语法元素的码流2；将码流1写入VUI、SEI、subset SPS三者其一（例如subset SPS），将码流2写入VUI、SEI、subset SPS三者中其余两者之一（例如SEI）。
优选实施方式3
在本优选实施方式中，涉及一种三维视频序列辅助信息的编码方法。本实施例中一个三维视频序列码流对应的三维视频序列辅助信息至少包括虚拟视点合成标识A。当虚拟视点合成标识A指示上述情况（a1）时，三维视频序列辅助信息还包含最小视点序号视点为左视标识B、平移像素数C等2个辅助信息子信息中的U-1个（1≤U≤3，U为整数）辅助信息子信息，即此时三维视频序列辅助信息共包括U个辅助信息子信息。当虚拟视点合成标识A指示上述情况（a2）时，三维视频序列辅助信息还包含最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等5个辅助信息子信息中的V-1个（1≤V≤6，V为整数）辅助信息子信息，即此时三维视频序列辅助信息共包括V个辅助信息子信息。三维视频序列辅助信息的构成有多种组合，可以为包括A且包括B、C等2个辅助子信息中U-1个（当A指示上述情况（a1）时，下同）辅助信息子信息的任意组合之一，或者包括A且包括B、C、D、E、F等5个辅助子信息中V-1个（当A指示上述情况（a2）时，下同）辅助信息子信息的任意组合之一，例如：
组合1：A指示情况（a1）时，A、B、C（即U=3）；A指示情况（a2）时，A、B、C、D、E、F（即V=6）。
组合2：A指示情况（a1）时，A、B、C；A指示情况（a2）时，A、B、C、E、F。
组合3：A指示情况（a1）时，A、B、C；A指示情况（a2）时，A、B、C、F。
组合4：A指示情况（a1）时，A、B；A指示情况（a2）时，A、B、E、F。
组合5：A指示情况（a1）时，A、B；A指示情况（a2）时，A、B、F。
组合6：A指示情况（a1）时，A；A指示情况（a2）时，A、D、F。
组合7：A指示情况（a1）时，A；A指示情况（a2）时，A、F。
组合8：A指示情况（a1）时，A、C；A指示情况（a2）时，A、C、F。
组合9：A指示情况（a1）时，A、C；A指示情况（a2）时，A、E。
首先，将该三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流，其包括将U个或V个辅助信息子信息分别数值化为U个或V个语法元素，并将这U个或V个语法元素编码为辅助信息码流。
然后，将辅助信息码流写入三维视频序列码流，从而产生含有辅助信息码流的三维视频序列码流，写入三维视频序列码流的处理方式有多种，至少包括以下一种处理方式：
方式1：在VUI（如H.264/AVC标准的vui_parameters()语法单元）中写入一个指示三维视频序列码流中存在辅助信息码流的语法元素H1对应的码字，H1包含两个值0和1。若H1设置为1（或0），则将辅助信息码流全部写入VUI中（位于H1对应的码字之后）。相反的，若H1设置为0（或1），则不将辅助信息码流写入VUI中。
方式2：在subset SPS（如H.264/AVC标准的subset_seq_parameter_set_rbsp()语法单元）中写入一个指示三维视频序列码流中存在辅助信息码流的语法元素H2对应的码字，H2包含两个值0和1。若H2设置为1（或0），则将辅助信息码流全部写入subset SPS中（位于H2对应的码字之后）。相反的，若H2设置为0（或1），则不将辅助信息码流写入subset SPS中。
方式3：将辅助信息码流全部写入subset SPS中的mvc_vui_parameters_extension()语法单元中。
方式4：当A指示情况（a1）时，将辅助信息码流分为2个部分，即包含K（0<K<U，K为整数）个上述语法元素的码流1和包含其余U-K个上述语法元素的码流2；将码流1写入VUI、SEI、subset SPS三个语法单元中的某一个语法单元（例如subset SPS）中，将码流2写入VUI、SEI、subset SPS三个语法单元中除了码流1所在语法单元之外的另一个语法单元（例如VUI）中；当A指示情况（a2）时，将辅助信息码流分为2个部分，即包含J（0<J<V，J为整数）个上述语法元素的码流1和包含其余V-J个上述语法元素的码流2；将码流1写入VUI、SEI、subset SPS中的某一个语法单元（例如subset SPS）中，将码流2写入VUI、SEI、subset SPS中除了码流1所在语法单元之外的另一个语法单元（例如VUI）中。
优选实施方式4
在本优选实施方式中，涉及一种三维视频序列辅助信息的解码方法。本实施例中一个三维视频序列的辅助信息码流对应的三维视频序列辅助信息包括虚拟视点合成标识A、最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等6个辅助信息子信息中的P（1≤P≤6，P为整数）个辅助信息子信息；辅助信息码流包含这P个辅助信息子信息对应的P个语法元素。
首先，从三维视频序列码流中提取辅助信息码流。然后，解码辅助信息码流获得三维视频序列辅助信息。例如：根据编解码端约定的各语法元素在辅助信息码流中的先后次序、码字类型，将辅助信息码流拆分成P个码字，并对这些码字进行解码得到P个语法元素，从而恢复出P个辅助信息子信息，获得由这P个辅助信息子信息构成的三维视频序列辅助信息。
优选实施方式5
在本优选实施方式中，涉及一种三维视频序列辅助信息的解码方法。本实施例中一个三维视频序列的辅助信息码流对应的三维视频序列辅助信息包括虚拟视点合成标识A、最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等6个辅助信息子信息中的P（2≤P≤6，P为整数）个辅助信息子信息。辅助信息码流包含这P个辅助信息子信息对应的Q个语法元素，其中，至少有一个语法元素对应于多个（两个或多于两个）辅助信息子信息。辅助信息码流的长度为R个比特，其中R等于这Q个语法元素对应的码字长度的总和。
首先，从三维视频序列码流中提取辅助信息码流，其处理方式有多种，至少包括以下处理方式之一：
方式1：从VUI（如H.264/AVC标准的vui_parameters()语法单元）中提取一个指示三维视频序列码流中存在辅助信息码流的语法元素H1，H1包含两个值0和1。若H1为1（或0），从VUI中H1对应码字之后的码流中读取R个比特，提取出所述的辅助信息码流。相反的，若H1为0（或1），则不从VUI码流中提取所述的辅助信息码流。
方式2：从subset SPS（如H.264/AVC标准的subset_seq_parameter_set_rbsp()语法单元）中提取一个指示三维视频序列码流中存在辅助信息码流的语法元素H2，H2包含两个值0和1。若H2为1（或0），从subset SPS中H2对应码字之后的码流中读取R个比特，提取出所述的辅助信息码流。相反的，若H2为0（或1），则不从subset SPS中提取辅助信息码流。
方式3：当Q大于1时，从VUI、SEI、subset SPS三者其一（例如VUI）中提取辅助信息码流的第一部分，其包含K（0<K<Q，K为整数）个上述语法元素，同时从VUI、SEI、subsetSPS三者其余两者之一（例如SEI）中提取辅助信息码流的第二部分，其包含其余的Q-K（0<K<Q，K为整数）个上述语法元素。
然后，解码辅助信息码流获得三维视频序列辅助信息。
优选实施方式6
在本优选实施方式中，涉及一种三维视频序列辅助信息的解码方法。本实施例中一个三维视频序列的辅助信息码流对应的三维视频序列辅助信息至少包括虚拟视点合成标识A。当虚拟视点合成标识A指示上述情况（a1）时，三维视频序列辅助信息还包含最小视点序号视点为左视标识B、平移像素数C等2个辅助信息子信息中的U-1个（1≤U≤3，U为整数）辅助信息子信息。此时，辅助信息码流包含U个辅助信息子信息对应的U个语法元素，辅助信息码流的长度为RU个比特，其中RU等于上述U个语法元素对应码字长度的总和。当虚拟视点合成标识A指示上述情况（a2）时，三维视频序列辅助信息还包含最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等5个辅助信息子信息中的V-1个（1≤V≤6，V为整数）。此时，辅助信息码流包含这V个辅助信息子信息对应的V个语法元素，辅助信息码流的长度为RV个比特，其中RV等于上述V个语法元素对应码字长度的总和。
首先，从三维视频序列码流中提取辅助信息码流，其处理方式有多种，至少包括以下处理方式之一：
方式1：从SEI中的一个SEI消息（如H.264/AVC标准的sei_message()语法单元）中提取所述的辅助信息码流，该SEI消息的payloadType为大于46的某个整数（例如51或52），payloadSize为N个字节（例如0<N<5，N为整数）。从该SEI消息中读取RU或RV个比特，提取出辅助信息码流。
方式2：从VUI（如H.264/AVC标准的vui_parameters()语法单元）中读取RU或RV个比特，提取出辅助信息码流。
方式3：从subset SPS（如H.264/AVC标准subset_seq_parameter_set_rbsp()语法单元）中读取RU或RV个比特，提取出辅助信息码流。
方式4：从subset SPS的mvc_vui_parameters_extension()语法单元中读取RU或RV个比特，提取出辅助信息码流。
然后，解码辅助信息码流获得三维视频序列辅助信息。
优选实施方式7
在本优选实施方式中，涉及一种三维视频序列辅助信息的编码装置。如图6所示，是一种三维视频序列辅助信息的编码装置实施例的结构示意图。该装置包括两个模块：辅助信息码流生成模块和辅助信息码流写入模块，其中，辅助信息码流生成模块用于将三维视频序列辅助信息编码为辅助信息码流，辅助信息码流写入模块用于将辅助信息码流写入三维视频序列码流的。下面对这两个模块进行具体描述。
1）辅助信息码流生成模块，输入为上述三维视频序列辅助信息，其包含上述6个辅助信息子信息中1个或多个辅助信息子信息，输出为上述的辅助信息码流，其完成的功能和实施方式与上述三维视频序列辅助信息编码方法中将一个三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流的功能和实施方式相同。
2）辅助信息码流写入模块，输入为上述三维视频序列辅助信息码流和不含有上述三维视频序列辅助信息的三维视频序列码流，输出为含有上述三维视频序列辅助信息码流的三维视频序列码流，其完成的功能和实施方式与上述三维视频序列辅助信息编码方法中将所述的辅助信息码流写入三维视频序列码流的功能和实施方式相同。
优选实施方式8
在本优选实施方式中，涉及一种三维视频序列辅助信息的解码装置。图7是一种三维视频序列辅助信息的解码装置的结构示意图。该装置包括两个模块：辅助信息码流提取模块和辅助信息码流解码模块，其中，辅助信息码流提取模块用于从三维视频序列码流中提取辅助信息码流的，辅助信息码流解码模块用于解码辅助信息码流获得三维视频序列辅助信息的。下面对这两个模块进行描述。
1）辅助信息码流提取模块，输入为含有辅助信息码流的三维视频序列码流，输出为上述的辅助信息码流，其完成的功能和实施方式与上述三维视频序列辅助信息解码方法中从三维视频序列码流中提取辅助信息码流的功能和实施方式相同。
2）辅助信息码流解码模块，输入为上述辅助信息码流，输出为三维视频序列辅助信息，其包含1个或多个上述的辅助信息子信息，其完成的功能和实施方式与上述三维视频序列辅助信息解码方法中解码所述辅助信息码流获得三维视频序列辅助信息的功能和实施方式相同。
优选地，上述的三维视频序列辅助信息的编码装置和解码装置可以由多种方式实现，例如：
方法一：以电子计算机为硬件附加与所述三维视频序列辅助信息的编码方法和解码方法功能相同的软件程序来实现。
方法二：以单片机为硬件附加与所述三维视频序列辅助信息的编码方法和解码方法功能相同的软件程序来实现。
方法三：以数字信号处理器为硬件附加与所述三维视频序列辅助信息的编码方法和解码方法功能相同的软件程序来实现。
方法四：设计与所述三维视频序列辅助信息的编码方法和解码方法功能相同的电路来实现。
值得注意的是，实现上述三维视频序列辅助信息的编码装置和解码装置的方法还可以有其它的方法，不仅限于上述四种。
优选实施方式9
在本优选实施方式中，涉及一种三维视频序列辅助信息码流。辅助信息码流包含上述虚拟视点合成标识A、最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等6个辅助信息子信息中的P（1≤P≤6，P为整数）个辅助信息子信息，例如辅助信息的组合可以包括但不限于以下之一：
组合1：A；
组合2：B；
组合3：C；
组合4：D；
组合5：E；
组合6：F；
组合7：B、C；
组合8：A、F；
组合9：A、B、F；
组合10：A、B、C；
组合11：A、C、F；
组合12：A、B、E、F；
组合13：A、B、C、F；
组合14：B、C、E、F；
组合15：A、B、C、E、F；
组合16：A、B、C、D、E、F。
优选地，可以将上述的P个辅助信息子信息分别单独数值化为语法元素，这P个语法元素对应的码字组成辅助信息码流。或者，也可以将这P个辅助信息子信息分为Q（Q<P）组，将每一组的辅助信息子信息联合数值化一个语法元素；这Q个语法元素对应的码字组成辅助信息码流。Q组信息有多种组成形式，例如以下组合之一：
组合1：{A、D}、{B}、{C}（即P=4，Q=3，其中A和D为1组，B为1组，C为1组，下同）；
组合2：{A、D}、{B、C、E、F}；
组合3：{A、D}、{B}、{C}、{E}、{F}；
组合4：{A、D}、{B}、{C}、{F}；
组合5：{A、B}、C、{D、F、E}；
组合6：{B、C}；
组合7：{A、B、F}、{C}、{D}、{E}；
组合8：{A、F}、{B}、{C}。
当辅助信息码流中包含虚拟视点合成标识A时，若A指示情况（a1），码流中包含的D、E、F等辅助信息子信息没有意义。
辅助信息码流存在于三维视频序列码流中，至少包括以下一种情况：
1）辅助信息码流的一部分或全部存在于三维视频序列码流的补充增强信息（supplementalenhancement information，SEI）中；
2）辅助信息码流的一部分或全部存在于三维视频序列码流的视频可用信息（video usabilityinformation，VUI）中；
3）辅助信息码流的一部分或全部存在于三维视频序列码流的子集序列参数集（subsetsequence parameter set，subset SPS）中。
优选实施方式10
在本优选实施方式中，涉及一种三维视频序列辅助信息码流。本实施例中一个三维视频序列的辅助信息码流对应的三维视频序列辅助信息至少包括虚拟视点合成标识A。当虚拟视点合成标识A指示上述情况（a1）时，三维视频序列辅助信息还包含最小视点序号视点为左视标识B、平移像素数C等2个辅助信息子信息中的U-1个（1≤U≤3，U为整数）辅助信息子信息；当虚拟视点合成标识A指示上述情况（a2）时，三维视频序列辅助信息还包含最小视点序号视点为左视标识B、平移像素数C、合成精度D、最小视点序号视点选择标识E、虚拟视点位置参数F等5个辅助信息子信息中的V-1个（1≤V≤6，V为整数）辅助信息子信息。所述的辅助信息码流包含上述U个或V个辅助信息子信息对应的语法元素。U个辅助信息子信息的组合有多种，可以为包括A且包括B、C等2个辅助信息子信息中U-1个辅助信息子信息的任意组合之一，所述V个辅助信息子信息的组合有多种，可以为包括A且包括B、C、D、E、F等5个辅助信息子信息中V-1个辅助信息子信息的任意组合之一，例如：
组合1：A指示情况（a1）时，A、B、C（即U=3）；A指示情况（a2）时，A、B、C、D、E、F（即V=6）。
组合2：A指示情况（a1）时，A、B、C；A指示情况（a2）时，A、B、C、E、F。
组合3：A指示情况（a1）时，A、B、C；A指示情况（a2）时，A、B、C、D、F。
组合4：A指示情况（a1）时，A、B、C；A指示情况（a2）时，A、B、C、F。
组合5：A指示情况（a1）时，A、B；A指示情况（a2）时，A、B、E、F。
组合6：A指示情况（a1）时，A、B；A指示情况（a2）时，A、B、F。
组合7：A指示情况（a1）时，A；A指示情况（a2）时，A、D、F。.
组合8：A指示情况（a1）时，A；A指示情况（a2）时，A、F。.
组合9：A指示情况（a1）时，A、C；A指示情况（a2）时，A、C、F。.
组合10：A指示情况（a1）时，A、C；A指示情况（a2）时，A、F。
组合11：A指示情况（a1）时，A、C；A指示情况（a2）时，A、D、F。
上述的辅助信息码流可以存在于三维视频序列码流的VUI或subset SPS中，也可以存在于三维视频序列码流的sequence parameter set语法单元（如H.264/AVC标准的seq_parameter_set_rbsp()）中。
同时，本发明实施例所提供的三维视频序列辅助信息的编码方法、解码方法、对应的装置及码流为解码端的双目立体显示设备提供关于如何产生一个适合双目立体观看的立体视频对的辅助信息，从而达到了改善最终三维立体显示的视觉感受的技术效果。
在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。
从以上的描述中，可以看出，本发明实现了如下技术效果：在三维视频序列码流中携带了辅助信息，从而使得在由重建的三维视频序列构建立体视频对时可以参考这些辅助信息，使得构建出的立体视频对的显示效果更佳，从而解决了现有技术中未在三维视频序列码流中携带辅助信息而导致构建的立体视频对的显示效果较差的技术问题，达到了提高构建的立体视频的显示效果的技术效果。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (32)

1.一种三维视频序列辅助信息的解码方法，其特征在于，包括：
从三维视频序列码流中获取用于构建立体视频对的辅助信息，其中，所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
2.根据权利要求1所述的方法，其特征在于，所述辅助信息包括以下至少之一：虚拟视点合成标识、最小视点序号视点位置标识、平移像素数、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数，其中，
所述虚拟视点合成标识，用于指示所述立体视频对中是否包含虚拟视点视频序列；
所述最小视点序号视点位置标识，用于指示所述三维视频序列中两个视点的视频序列之间的左右关系；
所述平移像素数，用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数；
所述合成精度，用于指示当所述立体视频对中包含虚拟视点视频序列时，合成所述虚拟视点视频序列时所需采用的投影精度；
所述最小视点序号视点选择标识，用于标识当所述立体视频对中包含虚拟视点视频序列时，最小视点序号视频序列和次小视点序号视频序列中与所述虚拟视点视频序列合成所述立体视频对的视频序列；
所述虚拟视点位置参数，用于指示当所述立体视频对中包含虚拟视点视频序列时，所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
3.根据权利要求1或2所述的方法，其特征在于，从三维视频序列码流中获取用于构建立体视频对的辅助信息包括：
从所述三维视频序列码流中提取辅助信息码流；
从所述辅助信息码流中解码得到所述辅助信息。
4.根据权利要求1或2所述的方法，其特征在于，所述辅助信息携带在所述三维视频序列码流的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
5.一种三维视频序列辅助信息的编码方法，其特征在于，包括：
将三维视频序列码流的辅助信息写入三维视频序列码流中，其中，所述辅助信息用于指示由重建的三维视频序列构建立体视频对，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
6.根据权利要求5所述的方法，其特征在于，所述辅助信息包括以下至少之一：虚拟视点合成标识、最小视点序号视点位置标识、平移像素数、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数，其中，
所述虚拟视点合成标识，用于指示所述立体视频对中是否包含虚拟视点视频序列；
所述最小视点序号视点位置标识，用于指示所述三维视频序列中两个视点的视频序列之间的左右关系；
所述平移像素数，用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数；
所述合成精度，用于指示当所述立体视频对中包含虚拟视点视频序列时，合成所述虚拟视点视频序列时所需采用的投影精度；
所述最小视点序号视点选择标识，用于标识当所述立体视频对中包含虚拟视点视频序列时，最小视点序号视频序列和次小视点序号视频序列中与所述虚拟视点视频序列合成所述立体视频对的视频序列；
所述虚拟视点位置参数，用于指示当所述立体视频对中包含虚拟视点视频序列时，所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
7.根据权利要求5或6所述的方法，其特征在于，将三维视频序列码流的辅助信息写入三维视频序列码流中包括：
将所述辅助信息编码为辅助信息码流；
将所述辅助信息码流写入所述三维视频序列码流中。
8.根据权利要求5或6所述的方法，其特征在于，将所述辅助信息写入所述三维视频序列码流中包括：
将所述辅助信息写入所述三维视频序列码流中的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
9.一种三维视频序列辅助信息的解码方法，其特征在于，包括：
从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
10.根据权利要求9所述的方法，其特征在于，从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数包括：
从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流；
从所述辅助信息码流中解码得到所述平移像素数。
11.根据权利要求9或10所述的方法，其特征在于，所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
12.一种三维视频序列辅助信息编码方法，其特征在于，包括：
将平移像素数写入三维视频序列码流中，其中，所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
13.根据权利要求12所述的方法，其特征在于，将平移像素数写入所述三维视频序列码流中包括：
将所述平移像素数编码为辅助信息码流；
将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中。
14.根据权利要求12或13所述的方法，其特征在于，将所述平移像素数写入所述三维视频序列码流中包括：
将所述平移像素数写入所述三维视频序列码流中的以下至少之一的信息中：视频可用信息、补充增强信息以及子集序列参数集。
15.一种三维视频序列辅助信息的解码装置，其特征在于，包括：
辅助信息获取单元，用于从三维视频序列码流中获取用于构建立体视频对的辅助信息，其中，所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
16.根据权利要求15所述的装置，其特征在于，所述辅助信息获取单元包括：
辅助信息码流提取模块，用于从所述三维视频序列码流中提取辅助信息码流；
辅助信息码流解码模块，用于从所述辅助信息码流中解码得到所述辅助信息。
17.一种三维视频序列辅助信息编码装置，其特征在于，包括：
辅助信息写入单元，用于将三维视频序列码流的辅助信息写入三维视频序列码流中，其中，所述辅助信息用于指示由重建的三维视频序列构建立体视频对，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
18.根据权利要求17所述的装置，其特征在于，所述辅助信息写入单元包括：
辅助信息码流生成模块，用于将所述辅助信息编码为辅助信息码流；
辅助信息码流写入模块，用于将所述辅助信息码流写入所述三维视频序列码流中。
19.一种三维视频序列辅助信息的解码装置，其特征在于，包括：
辅助信息获取单元，用于从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
20.根据权利要求19所述的装置，其特征在于，所述辅助信息写入单元包括：
辅助信息码流提取模块，用于从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流；
辅助信息码流解码模块，用于从所述辅助信息码流中解码得到所述平移像素数。
21.一种三维视频序列辅助信息编码装置，其特征在于，包括：
辅助信息写入单元，用于将平移像素数写入所述三维视频序列码流中，其中，所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数，其中，所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果。
22.根据权利要求21所述的装置，其特征在于，所述辅助信息写入单元包括：
辅助信息码流生成模块，用于将所述平移像素数编码为辅助信息码流；
辅助信息码流写入模块，用于将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中。
23.一种三维视频序列辅助信息的编码方法，其特征在于，包括：
将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流，并将所述辅助信息码流写入所述的三维视频序列码流中，其中，所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，包括以下至少之一：
虚拟视点合成标识，用于标识以下两种情况之一：所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；
最小视点序号视点为左视标识，用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示所述立体视频对中两个视点的视频序列的左右关系；
平移像素数，用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数；
合成精度，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，合成所述虚拟视点视频序列所采用的投影精度；
最小视点序号视点选择标识，用于标识当所述立体视频对中包含一个合成的虚拟视点视频序列时，所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频中的一个视频序列的视频序列；
虚拟视点位置参数，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
24.根据权利要求23所述的方法，其特征在于，按照以下方式之一将所述的辅助信息码流写入所述的三维视频序列码流：
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的补充增强信息中；
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的视频可用信息中；或者
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的子集序列参数集中。
25.一种三维视频序列辅助信息的解码方法，其特征在于，包括：
从三维视频序列码流中提取辅助信息码流，并解码所述辅助信息码流获得三维视频序列辅助信息，其中，所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，包括以下至少之一：
虚拟视点合成标识，用于标识以下两种情况之一：所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；
最小视点序号视点为左视标识，用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示所述立体视频对中两个视点的视频序列的左右关系；
平移像素数，用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数；
合成精度，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，合成所述虚拟视点视频序列所采用的投影精度；
最小视点序号视点选择标识，用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时，所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列；
虚拟视点位置参数，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
26.根据权利要求25所述的方法，其特征在于，按照以下方式之一从所述三维视频序列码流中提取所述辅助信息码流：
从所述三维视频序列码流的补充增强信息中获取所述辅助信息码流的部分或全部信息；
从所述三维视频序列码流的视频可用信息中获取所述辅助信息码流的部分或全部信息；或者
从所述三维视频序列码流的子集序列参数集中获取所述辅助信息码流的部分或全部信息。
27.一种三维视频序列辅助信息的编码装置，其特征在于，包括：
辅助信息码流生成模块，用于将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流的，其中，所述辅助信息码流生成模块的输入为三维视频序列辅助信息，输出为辅助信息码流；
辅助信息码流写入模块，用于将所述辅助信息码流写入三维视频序列码流中，其中，所述辅助信息码流写入模块的输入为所述辅助信息码流和所述三维视频序列码流，输出为含有所述辅助信息码流的三维视频序列码流；
其中，所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，其中，所述三维视频序列辅助信息包括以下至少之一：
虚拟视点合成标识，用于标识以下两种情况之一：所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；
最小视点序号视点为左视标识，用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示所述立体视频对中两个视点的视频序列的左右关系；
平移像素数，用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数；
合成精度，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，合成所述虚拟视点视频序列所采用投影精度；
最小视点序号视点选择标识，用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时，所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列；
虚拟视点位置参数，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
28.根据权利要求27所述的装置，其特征在于，所述辅助信息码流写入模块还用于按照以下方式至少之一将所述辅助信息码流写入三维视频序列码流中：
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的补充增强信息中；
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的视频可用信息中；或者
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的子集序列参数集中。
29.一种三维视频序列辅助信息的解码装置，其特征在于，包括：
辅助信息码流提取模块，用于从三维视频序列码流中提取辅助信息码流，其中，所述辅助信息码流提取模块的输入为三维视频序列码流，输出为所述的辅助信息码流；
辅助信息码流解码模块，用于解码所述辅助信息码流获得三维视频序列辅助信息，其中，所述辅助信息码流解码模块的输入为所述辅助信息码流，输出为所述三维视频序列辅助信息，其中，所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理，包括以下至少之一：
虚拟视点合成标识，用于标识以下两种情况之一：所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；
最小视点序号视点为左视标识，用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示所述立体视频对中两个视点的视频序列的左右关系；
平移像素数，用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数；
合成精度，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，合成所述虚拟视点视频序列所采用的投影精度；
最小视点序号视点选择标识，用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时，所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列；
虚拟视点位置参数，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
30.根据权利要求29所述的装置，其特征在于，所述辅助信息码流提取模块还用于按照以下方式至少之一从三维视频序列码流中提取辅助信息码流：
从所述三维视频序列码流的补充增强信息中获取所述辅助信息码流中的部分或全部信息；
从所述三维视频序列码流的视频可用信息中获取所述辅助信息码流中的部分或全部信息；或者
从所述三维视频序列码流的子集序列参数集中获取所述辅助信息码流中的部分或全部信息。
31.一种三维视频序列辅助信息码流，其特征在于，所述三维视频序列辅助信息码流中携带有用于指示由重建的三维视频序列产生一个立体视频对的三维视频序列辅助信息，所述三维视频序列辅助信息包括以下至少之一：
虚拟视点合成标识，用于标识以下两种情况之一：所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对；或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对；
最小视点序号视点为左视标识，用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧，以指示所述立体视频对中两个视点的视频序列的左右关系；
平移像素数，用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数；
合成精度，用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时，合成所述虚拟视点视频序列所采用的投影精度；
最小视点序号视点选择标识，用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时，所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列；
虚拟视点位置参数，用于指示当所述的立体视频对中包含一个合成的虚拟视点视频序列时，所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
32.根据权利要求31所述的信息码流，其特征在于，所述辅助信息码流按照以下方式之一存在于三维视频序列码流中：
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中；
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中；
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中；
其中，所述辅助信息码流的组成包括：
当所述虚拟视点合成标识指示由所述最小视点序号视频序列和次小视点序号视频序列组成所述立体视频对时，所述辅助信息码流中不包含所述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者对应的比特；
当所述虚拟视点合成标识指示由所述最小视点序号视频序列和次小视点序号视频序列组成所述立体视频对时，所述辅助信息码流中包含所述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者中至少一者对应的比特。
CN2012104332882A 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置 Pending CN103379332A (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201910306598.XA CN111182311A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置
CN2012104332882A CN103379332A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置
CN201911013579.4A CN111031302A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置
JP2015507354A JP6293118B2 (ja) 2012-04-25 2013-04-24 三次元映像シーケンス補助情報のデコーディング方法、エンコーディング方法および装置
EP18158676.9A EP3358845A1 (en) 2012-04-25 2013-04-24 Method and device for decoding and encoding supplemental auxiliary information of three-dimensional video sequence
PCT/CN2013/074643 WO2013159702A1 (zh) 2012-04-25 2013-04-24 三维视频序列辅助信息的解码方法、编码方法及装置
EP13781675.7A EP2843942A4 (en) 2012-04-25 2013-04-24 METHOD AND DEVICE FOR ENCODING AND DECODING AUXILIARY DATA OF A THREE-DIMENSIONAL VIDEO SEQUENCE
US14/397,158 US10033982B2 (en) 2012-04-25 2013-04-24 Method and device for decoding and encoding supplemental auxiliary information of three-dimensional video sequence

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201210124988.3 2012-04-25
CN201210124988 2012-04-25
CN2012104332882A CN103379332A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910306598.XA Division CN111182311A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置
CN201911013579.4A Division CN111031302A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置

Publications (1)

Publication Number Publication Date
CN103379332A true CN103379332A (zh) 2013-10-30

Family

ID=49463827

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201911013579.4A Pending CN111031302A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置
CN201910306598.XA Pending CN111182311A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置
CN2012104332882A Pending CN103379332A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201911013579.4A Pending CN111031302A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置
CN201910306598.XA Pending CN111182311A (zh) 2012-04-25 2012-11-02 三维视频序列辅助信息的解码方法、编码方法及装置

Country Status (5)

Country Link
US (1) US10033982B2 (zh)
EP (2) EP2843942A4 (zh)
JP (1) JP6293118B2 (zh)
CN (3) CN111031302A (zh)
WO (1) WO2013159702A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
KR20160132862A (ko) * 2014-03-13 2016-11-21 퀄컴 인코포레이티드 3d-hevc 를 위한 단순화된 진보된 잔차 예측
BR112019005855A2 (pt) * 2016-09-29 2019-06-11 Koninklijke Philips Nv aparelho de processamento de imagens, sistema de processamento de imagens, e método para fornecer uma imagem
EP3603056A4 (en) * 2017-03-22 2020-12-23 Nokia Technologies Oy METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR ADAPTIVE STREAMING
US10212532B1 (en) 2017-12-13 2019-02-19 At&T Intellectual Property I, L.P. Immersive media with media device
KR102435519B1 (ko) * 2018-06-20 2022-08-24 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
KR20220114557A (ko) * 2019-12-26 2022-08-17 바이트댄스 아이엔씨 코딩된 픽처 내에서 디코딩 순서를 구현하기 위한 기술들

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2009004939A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
CN101743750A (zh) * 2007-05-14 2010-06-16 三星电子株式会社 用于编码和解码多视角图像的方法和装置
WO2012029884A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
PL3182708T3 (pl) * 2007-01-04 2019-07-31 Interdigital Madison Patent Holdings Sposoby i urządzenie dla informacji o wielu-widokach przenoszonych w składni wysokiego poziomu
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
CN100563340C (zh) * 2008-07-07 2009-11-25 浙江大学 基于深度图像渲染的多通道视频流编码器和解码器
WO2010010521A2 (en) * 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
JP4669032B2 (ja) 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8358331B2 (en) * 2008-12-02 2013-01-22 Lg Electronics Inc. 3D caption display method and 3D display apparatus for implementing the same
JP2011001924A (ja) 2009-06-22 2011-01-06 Honda Motor Co Ltd 車載用の燃料分離装置
KR101372376B1 (ko) * 2009-07-07 2014-03-14 경희대학교 산학협력단 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
CN102026006B (zh) * 2009-09-14 2015-09-16 王晓光 真实再现3d立体显示技术
JP2011109397A (ja) 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
US9055281B2 (en) * 2010-05-20 2015-06-09 Samsung Electronics Co., Ltd. Source device and sink device and method of transmitting and receiving multimedia service and related data
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
US9226045B2 (en) * 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
MX2013002135A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion y metodo de codificacion, asi como dispositivo de decodificacion y metodo de decodificacion.
EP2613537A4 (en) * 2010-09-03 2014-08-06 Sony Corp DEVICE AND ENCODING METHOD, AND DEVICE, AND DECODING METHOD
US8896664B2 (en) * 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
CN101990103B (zh) * 2010-11-10 2013-01-16 香港应用科技研究院有限公司 用于多视点视频编码的方法和装置
CN105100822B (zh) 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN102724520A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 视频处理方法和系统
CN102325254B (zh) * 2011-08-25 2014-09-24 深圳超多维光电子有限公司 一种立体视频的编、解码方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
CN101743750A (zh) * 2007-05-14 2010-06-16 三星电子株式会社 用于编码和解码多视角图像的方法和装置
JP2009004939A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
WO2012029884A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法

Also Published As

Publication number Publication date
US10033982B2 (en) 2018-07-24
CN111031302A (zh) 2020-04-17
WO2013159702A1 (zh) 2013-10-31
CN111182311A (zh) 2020-05-19
JP2015519802A (ja) 2015-07-09
JP6293118B2 (ja) 2018-03-14
EP3358845A1 (en) 2018-08-08
US20150117547A1 (en) 2015-04-30
EP2843942A4 (en) 2015-05-27
EP2843942A1 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
JP6159849B2 (ja) ３ｄ映像フォーマット
CN103379332A (zh) 三维视频序列辅助信息的解码方法、编码方法及装置
JP5553310B2 (ja) 立体的なレンダリングのための画像エンコード方法
CN100563340C (zh) 基于深度图像渲染的多通道视频流编码器和解码器
CN101513077A (zh) 用于经编码的立体图像/视频数据的文件格式
KR20110106306A (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
KR101390813B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
CN104838648B (zh) 用于创建和重建视频流的装置和方法
CN107277550A (zh) 多视点信号编解码器
CN103069817A (zh) 用于在3dtv中提供3d视频数据的方法
CN104541508A (zh) 收发用于3d图像的图像分量的方法和装置
CN103597823A (zh) 发送装置、发送方法和接收器装置
CA2841192C (en) Method and apparatus for processing a 3d service
CN101743750A (zh) 用于编码和解码多视角图像的方法和装置
US20150071362A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method and program
US20120050465A1 (en) Image processing apparatus and method using 3D image format
US20110234769A1 (en) Apparatus and method for displaying images in image system
WO2011094164A1 (en) Image enhancement system using area information
WO2020185529A1 (en) A method and apparatus for encoding and decoding volumetric video
CN103379354B (zh) 立体视频对产生方法及装置
CN104221368B (zh) 图像编码装置、图像解码装置、图像编码方法、图像解码方法以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20131030

RJ01 Rejection of invention patent application after publication