CN100512431C - 用于编码和解码立体视频的方法和装置 - Google Patents

用于编码和解码立体视频的方法和装置 Download PDF

Info

Publication number
CN100512431C
CN100512431C CNB038260077A CN03826007A CN100512431C CN 100512431 C CN100512431 C CN 100512431C CN B038260077 A CNB038260077 A CN B038260077A CN 03826007 A CN03826007 A CN 03826007A CN 100512431 C CN100512431 C CN 100512431C
Authority
CN
China
Prior art keywords
inconsistent
image
level
output
quantification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038260077A
Other languages
English (en)
Other versions
CN1742488A (zh
Inventor
曹叔嬉
崔润静
尹国镇
李珍焕
咸泳权
安致得
金庸汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN1742488A publication Critical patent/CN1742488A/zh
Application granted granted Critical
Publication of CN100512431C publication Critical patent/CN100512431C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges

Abstract

通过使用由现有的MPEG-4标准定义的MAC对立体视频编码和解码。立体视频被分割为：作为单个视频对象的一个图像；以及另一个图像，作为用于作为视频对象建立的图像的辅助信息。所述辅助信息包括水平不一致图、垂直不一致图、亮度残留纹理和色度残留纹理，它们根据图像的重要性和复杂度分别被分配给MAC的辅助分量，被编码，然后作为单一编码流被输出。

Description

用于编码和解码立体视频的方法和装置
本申请要求2002年12月27日在韩国知识产权局提交的韩国专利申请No.2003-84724的优先权和利益，在此通过引用合并其内容。
技术领域
本发明涉及用于一种对立体(stereoscope)视频编码和解码的方法和设备。更特别地，本发明涉及一种方法和设备，用于通过使用传统的MPEG-4MAC(多重辅助分量)，将立体视频编码和解码为编码流。
背景技术
作为传统的立体视频编码方法，已经开发出MVP(多视图剖面)方法，用于扩展MPEG-2技术中的二维视频编码技术。关于MVP方法，用于通过使用运动补偿执行编码的基础层的编码结构对应于MPEG-2MP(主剖面)的编码结构，因此，当传统的二维视频解码器重构基础层的数据时，重构左和右图像之一，从而保持与现有的二维视频解码器系统的兼容性。增强层的编码器使用右和左图像之间提供的相关性信息执行编码。这是通过使用时间可扩展性(temporal scalability)用于执行编码的方法，并且MPEG-4标准也已经使用立体视频编码定义了时间可扩展性。
上述现有技术已经由标题为“Digital 3D/stereoscope video compensationtechnique utilizing two disparity estimates(利用两个不一致估计的数字3D/立体视频补偿技术)”的美国专利no.5,612,735公开。关于时间可扩展性基础上的专利‘735，基础层使用运动补偿算法和DCT(离散余弦变换)基础算法以对左眼的图像编码，而增强层使用基础层和增强层之间的不一致(disparity)信息以对右眼的图像编码，而没有对右眼图像的运动补偿。
同样地，关于标题为“Digital 3D/stereoscope video compensation techniqueutilizing disparity and motion compensated prediction(利用不一致和运动补偿的预测的数字3D/立体视频补偿技术)”的美国专利no.5,619,256，基础层使用运动补偿算法和DCT基础算法以对左眼的图像编码，而增强层在时间可扩展性基础上，以类似于专利‘735的方式，使用关于右眼图像间的运动补偿和基础层和增强层之间的不一致的信息，对右眼的图像编码。通过使用运动和不一致信息，这种方法通过执行编码达到有效的压缩率，但是该方法具有复杂的编码结构，并且以硬连线的方式难于实现该方法，并且处理HDTV图像时该方法要求大量的计算。
因此，在通过使用时间可扩展性对立体视频编码的情况下，为简化右和左图像之间的同步问题，可能(problematically)需要额外的多路复用器，用于作为单一的流发射分别由基础层和增强层输出的编码流。
传统的多视图视频编码方法包括一种方法，用于通过使用包含象素的不一致向量值的不一致图(map)执行编码，该方法已经由标题为“Method andapparatus for compressing multi-view video(用于压缩多视图视频的方法和装置)”的美国专利no.6,055,274公开。
专利‘274对第一图像(左图像)的全部图像数据编码，并且从第一图像和第二图像(右图像)产生包含用于各象素的不一致向量值的不一致图，以执行对运动补偿的不一致向量的编码，并且使用编码后重构的第一图像来不一致补偿重构的不一致图，并且对产生的第二图像和输入的第二原始图像之间的残留(residual)图像数据编码。这种方法可能输出多个编码流，并且另外需要多路复用器用于以单一流的格式发射它们。
为了使用传统的用于二维图像的MPEG编解码器，并且执行立体视频中右和左图像间的简单同步，在Andrew Woods、Tom Docherty和Rolf Koch的“3D video standards conversion，stereoscopic displays and applications”的学报(VII，California，Feb.1996，Proceedings of the SPIE vol.1653A)中的五种方法中，已经提出用于右和左图像分别减少1/2并将它们转换为二维标准图像的方法。
上面的技术也已经在标题为“Stereoscopic coding system(立体编码系统)”的美国专利no.5,633,682中公开。
如‘682公开的发明选择奇场图像用于左眼的图像，并选择偶场图像用于右眼的图像，从而转换它们为单一图像，因此关于现存的二维图像对转换的单一图像执行MPEG编码。这个方法考虑快门(shuttering)方法，用于在显示立体视频的情况下交替显示右和左图像，并且该方法不适合于同时显示右和左图像的偏振显示。
发明内容
本发明的优势是对使用现有的MPEG-4编码技术和系统保持兼容性，并且最小化右和左图像间同步的复杂度。
本发明的另一个优势是选择性地控制图像的质量并且根据图像的重要性或者复杂度对图像编码，从而改进编码效率。
在本发明的第一方面中，一种用于对包括第一和第二图像的立体视频编码的方法包含：(a)对第一图像编码，并且输出第一图的量化的视频对象和运动向量；(b)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及(c)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并输出量化的水平不一致图。
在本发明的第二方面中，一种用于对包括第一和第二图像的立体视频编码的方法包含：(a)对第一图像编码，并且输出第一图的量化的视频对象和运动向量；(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并输出量化的水平不一致图；(e)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；(f)根据(b)中重构的第一图像的象素值和(e)中重构的水平不一致图的水平不一致向量值，执行不一致补偿并且输出不一致补偿的第二图像的象素值；以及(g)对第二图像的象素值和(f)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
在本发明的第三方面中，一种用于对包括第一和第二图像的立体视频编码的方法包含：(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图和基于象素的垂直不一致图；(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并输出量化的水平不一致图；(e)根据基于象素的垂直不一致图和运动向量，对垂直不一致图编码并输出量化的垂直不一致图；(f)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；(g)重构(d)中输出的量化的垂直不一致图，并且输出重构的垂直一致图；(h)根据(b)中重构的第一图像的象素值、(f)中重构的水平不一致图的水平不一致向量值和(h)中重构的垂直不一致图的垂直不一致向量值，执行不一致补偿并输出不一致补偿的第二图像的象素值；以及(i)对第二图像的象素值和(h)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
在本发明的第四方面中，一种用于对包括第一和第二图像的立体视频解码的方法包含：(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；(b)根据视频对象的量化数据和运动向量对视频对象解码并且重构第一图像；(c)根据水平不一致图的量化数据和运动向量对水平不一致图的量化数据解码；以及(d)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且重构第二图像。
在本发明的第五方面中，一种用于对包括第一和第二图像的立体视频解码的方法包含：(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；(b)根据视频对象的量化数据和运动向量对视频对象解码并且重构第一图像；(c)根据水平不一致图的量化数据和运动向量对水平不一致图的量化数据解码；(d)根据亮度残留纹理的量化数据和运动向量对亮度残留纹理的量化数据解码；(e)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及(f)将不一致补偿的亮度纹理和(d)中重构的亮度残留纹理相加以重构第二图像。
在本发明的第六方面中，一种用于对包括第一和第二图像的立体视频解码的方法包含：(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据和亮度残留纹理的量化数据；(b)根据视频对象的量化数据和运动向量对视频对象解码并且重构第一图像；(c)根据水平不一致图的量化数据和运动向量对水平不一致图的量化数据解码；(d)根据垂直不一致图的量化数据和运动向量对垂直不一致图的量化数据解码；(e)根据亮度残留纹理的量化数据和运动向量对亮度残留纹理的量化数据解码；(f)根据重构的第一图像、解码的水平不一致图和解码的垂直不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及(g)将不一致补偿的亮度纹理和(e)中重构的亮度残留纹理相加以重构第二图像。
在本发明的第七方面中，一种用于包括第一和第二图像的立体视频的编码器包含：视频对象编码器，用于对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及辅助分量编码器，用于根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对水平不一致图编码并且输出量化的水平不一致图。
在本发明的第八方面中，一种用于包括第一和第二图像的立体视频的编码器，包含：视频对象编码器，用于对第一图像编码以输出第一图像的量化的视频对象和运动向量，并且对量化的视频对象编码以输出重构的第一图像；不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；第一辅助分量编码器，用于对水平不一致图编码以输出量化的水平不一致图，并且根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对输出和量化的水平不一致图解码以输出重构的水平不一致图；不一致补偿器，用于根据由视频对象编码器输出的重构的第一图像的象素值和由第一辅助分量编码器输出的重构的水平不一致图的水平不一致向量值，执行不一致补偿并且输出不一致补偿的第二图像的象素值；第二辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理。
在本发明的第九方面中，一种用于包括第一和第二图像的立体视频的解码器，包含：可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；视频对象解码器，用于根据由可变长度解码器输出的视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；辅助分量解码器，用于根据由可变长度解码器输出的水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；以及不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且重构第二图像。
在本发明的第十方面中，一种用于包括第一和第二图像的立体视频的解码器，包含：可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；视频对象解码器，用于根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；第一辅助分量解码器，用于根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；第二辅助分量解码器，用于根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由第一辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理和不一致补偿的色度纹理；以及第一加法器，用于把由不一致补偿器输出的不一致补偿的亮度纹理和由第二辅助分量解码器输出的重构的亮度残留纹理加起来。
附图说明
被合并并且构成说明书一部分的附图说明了本发明的实施例，并且与描述一起用于解释本发明的原理：
图1显示由MPEG-4标准定义的video_object_layer_shape_extention的辅助分量的类型和数目；
图2显示根据本发明第一个优选实施例的立体视频编码器；
图3显示根据本发明第一个优选实施例的立体视频解码器；
图4显示根据本发明优选实施例，要求用于对立体视频编码的额外定义的video_object_layer_shape_extention的辅助分量的类型和数目；
图5显示增加MAC(多重辅助分量)的辅助分量的数目到大于4时，要求额外定义的video_object_layer_shape_extention的辅助分量的类型和数目；
图6显示根据本发明第二个优选实施例的立体视频编码器；
图7显示根据本发明第二个优选实施例的立体视频解码器；
图8显示由根据本发明第二个优选实施例的编码器输出的编码流；
图9显示根据本发明第三个优选实施例的立体视频编码器；
图10显示根据本发明第三个优选实施例的立体视频解码器；
图11显示由根据本发明第三个优选实施例的编码器输出的编码流；
图12显示根据本发明第四个优选实施例的立体视频编码器；
图13显示根据本发明第四个优选实施例的立体视频解码器；
图14显示由根据本发明第四个优选实施例的编码器输出的编码流；
图15显示根据本发明第五个优选实施例的立体视频编码器；
图16显示根据本发明第五个优选实施例的立体视频解码器；
图17显示由根据本发明第五个优选实施例的编码器输出的编码流；
图18显示用于根据本发明的优选实施例的视频对象编码器的详细的方块图；
图19显示用于根据本发明的优选实施例的辅助分量编码器的详细的方块图；
图20显示用于根据本发明的优选实施例的视频对象解码器的详细方块图；以及
图21显示用于根据本发明的优选实施例的辅助分量解码器的详细方块图。
具体实施方式
在下面的详细说明中，仅仅通过说明实现本发明的发明人打算的最佳模式，已经显示和说明了仅仅本发明的优选实施例。如将被理解的，本发明能够在各种明显的方面修改，全部不背离本发明。因此，附图和描述实际上被看作说明性的，而不是限制性的。
当前的MPEG-4编解码器分配辅助信息给包括三个辅助分量的MAC(多重辅助分量)以对它们编码，辅助信息包括与各视频对象有关的alpha、不一致和深度。
本发明涉及一种方法，用于使用MPEG-4MAC编码立体视频，并且将定义要分配给MAC的辅助信息。
添加当前的MPEG-4MAC到MPEG-4视频版本2，以便说明视频对象的透明度，并且它进而定义辅助信息，包括与视频对象有关的不一致、深度和额外的纹理(texture)。
图1显示由MPEG-4标准定义的video_object_layer_shape_extention的辅助分量的类型和数目。
如所示，video_object_layer_shape_extention的值被定义为0001、0010、0011和0100，video_object_layer_shape_extention中辅助分量包括不一致类型，并且没有辅助分量被定义为从1101到1111的值。
在优选实施例中，定义video_object_layer_shape_extention值的未定义辅助分量以包括需要的辅助信息，用于立体视频更有效的编码。
图2显示根据本发明的第一个优选实施例的立体视频编码器。编码器使用由图1中所示的现有MPEG-4MAC定义的辅助分量以对立体视频数据编码。
如所示，编码器包含不一致估计器100、视频对象编码器200、辅助分量编码器320和可变长度编码器600。
视频对象编码器200接收立体视频的一个图像(在优选实施例中是左图像)，并且输出量化的视频对象和运动向量。不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图。即，不一致估计器100输出移动到水平轴的位置向量作为水平不一致图，以便搜索和估计右图像的象素被提供到左图像的什么位置。
辅助分量编码器320接收水平不一致图，它是由不一致估计器100输出的辅助分量，以及由视频对象编码器200输出的运动向量，并且输出量化的水平不一致图。
可变长度编码器600接收由视频对象编码器200输出的量化的视频对象和运动向量，以及由辅助分量编码器320输出的量化的水平不一致图；执行可变长度编码；并且输出编码流。
图3显示根据本发明的第一个优选实施例的解码器。
如所示，解码器包含可变长度解码器700、视频对象解码器800、辅助分量解码器920和不一致补偿器1000。
可变长度解码器700对由图2的编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量和水平不一致图的量化数据。
视频对象解码器800接收视频对象的量化数据和运动向量，并且对视频对象解码以对左图像解码。
辅助分量解码器920接收水平不一致图的量化数据和运动向量，并且对水平不一致图解码。
不一致补偿器1000接收重构的左图像和重构的水平不一致图，根据水平不一致图的不一致向量执行不一致补偿，并且最终重构右图像。
如上所述，不一致估计是用于搜索和估计提供右图像的象素到左图像的什么位置的过程，并且移动到水平轴的位置向量作为水平不一致图输出，而移动到垂直轴的位置向量作为垂直不一致图输出。一般地，不一致图表示水平不一致图，因为理想的立体图像的右和左图像只有水平不一致值，并且所有垂直不一致值是零。
根据第一个优选实施例的编码器和解码器用于理想系统，并且使用预先定义的MAC，该系统只有水平不一致值，垂直不一致值为0。
换句话说，根据优选实施例的编码器和解码器使用具有包括图1的不一致类型的传统辅助分量的video_object_layer_shape_extention的值，以分配水平不一致图给不一致类型辅助分量，并且将其编码。在这种情况下，从亮度数据和色度数据中找到不一致图用于亮度数据。
因为通过计算机由计算机图形学理想地产生立体视频，垂直不一致值可以全部设置为零，以便产生立体视频。因此，可以通过根据第一个优选实施例的编码器和解码器找到准确的不一致图，并且右图像的质量在某种程度上由这个信息保证。
但是，在由立体相机获得的真实图像的情况下，根据实际制造的立体相机的形状和性能，提供垂直不一致值，该值不同于由计算机图形学产生的图像。另外，因为由计算找到的水平不一致向量的不一致图的精度低于计算机图形图像的精度，只通过水平不一致信息重构的右图像的质量基本上劣化。进而，因为根据第一个优选实施例的不一致图没有关于闭塞区域的信息，难于精确地重构右图像，该信息不提供给左图像而提供给右图像。
因此，关于垂直不一致和残留纹理的信息以及关于水平不一致的信息作为关于右图像的信息添加到MPEG-4MAC，以定义具有图4和5的辅助分量的video_object_layer_shape_extention。
图4的video_object_layer_shape_extention包括从1011到1111的值，该值未由现有的MPEG-4MAC定义，而新定义为本发明的优选实施例中的辅助分量，而图5的video_object_layer_shape_extention在本发明的优选实施例中新定义，以便支持MPEG-4MAC不支持的4个辅助分量。
如图4和5中所示，不一致信息由水平和垂直不一致值分割为水平不一致图和垂直不一致图，残留纹理分类为亮度残留纹理和色度残留纹理信息，并且根据图像的重要性和复杂度选择辅助信息以执行编码。在这种情况下，亮度残留纹理信息表示解码后重构的左图像的数据、由重构的不一致图不一致补偿的右图像、和输入的右图像的亮度分量的残留图像。色度残留纹理信息表示编码后重构的左图像的数据、由重构的不一致图不一致补偿的右图像、和输入的右图像的色度分量的残留图像。
图6和7根据本发明的第二个优选实施例分别显示编码器和解码器。编码器和解码器建立具有水平不一致类型和亮度残留纹理类型的两个辅助分量的video_object_layer_shape_extention，其被新定义用于对立体视频编码；并且对立体视频编码和解码。
如图6中所示，编码器包含：不一致估计器100、视频对象编码器200、辅助分量编码器320和340、不一致补偿器400、加法器500和可变长度编码器600。
视频对象编码器200接收立体视频的一个图像(在优选实施例中为左图像)，输出量化的视频对象和运动向量，并且输出由重构量化的视频对象得到的左图像。
不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图。
辅助分量编码器320接收：水平不一致图，它是由不一致估计器100输出的辅助分量；以及由视频对象编码器200输出的运动向量，产生量化的水平不一致图，输出量化的水平不一致图，并且输出由重构量化的水平不一致图得到的水平不一致图。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度)和由辅助分量编码器320输出的重构的水平图的水平不一致向量，不一致补偿器400执行不一致补偿，并且输出补偿的右图像的象素值(亮度)。
加法器500对右图像的象素值(亮度)和由不一致补偿器400输出的不一致补偿的右图像的象素值(亮度)执行残留过程，以输出亮度残留纹理，并且辅助分量编码器340对亮度残留纹理编码以输出量化的亮度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图和由辅助分量编码器340输出的量化的亮度残留纹理执行可变长度编码，并且输出编码流。
图8显示由根据本发明的第二个优选实施例的编码器输出的编码流。如所示，由编码器(可变长度编码器)输出的编码流包括：编码的视频对象(左图像)的宏块、用于编码的水平不一致图的辅助分量AC[0]的宏块和用于编码的亮度残留纹理的辅助分量AC[1]的宏块。
图7显示根据本发明的第二个优选实施例的解码器。
如所示，解码器包含：可变长度解码器700、视频对象解码器800、辅助分量解码器920和940、不一致补偿器1000和加法器1100。
可变长度解码器700对由如图8中所示的编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据。
视频对象解码器800接收视频对象的量化数据和运动向量，并且对视频对象解码以对左图像解码。
辅助分量解码器920接收水平不一致图的量化数据和运动向量，并且对水平不一致图解码。
辅助分量解码器940接收亮度残留纹理的量化数据和运动向量，并且对亮度残留纹理解码。
不一致补偿器1000接收重构的左图像和重构的水平不一致图，并且根据水平不一致图的不一致向量执行不一致补偿。
加法器1100将来自不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像。
在图6和7中显示的第二个优选实施例中，作为单一的视频对象对左图像编码和解码，并且使用图4中显示的MAC对右图像编码和解码。即，分配参考左图像找到的基于象素的水平不一致图给aux_comp_type[0]，并且分配亮度残留纹理给aux_comp_type[1]以执行编码和解码，该亮度残留纹理是亮度分量的残留图像数据。
第二个优选实施例对简单图像或不要求精确重构的图像是可应用的，该简单图像当执行编码而没有垂直不一致图和色度残留纹理信息时没有极大地影响图像质量的恶化，该色度残留纹理信息是色度分量上的残留图像数据。
图9和10分别显示根据本发明的第三个优选实施例的编码器和解码器。编码器和解码器建立具有参考图4另外定义的水平不一致类型、亮度残留纹理类型和色度残留纹理类型的三个辅助分量的video_object_layer_shape_extention，并且执行编码和解码。
即，分配参考左图像找到的基于象素的水平不一致图给aux_comp_type[0]，分配亮度残留纹理给aux_comp_type[1]，而分配色度残留纹理给aux_comp_type[2]，该色度残留纹理是色度分量上的残留图像数据。该编码器和解码器可用于简单图像或不要求精确重构的图像，该简单图像当执行编码而没有垂直不一致图时没有极大地影响图像质量的恶化。
如图9中所示，根据本发明的第三个优选实施例的编码器包含：不一致估计器100、视频对象编码器200、辅助分量编码器320、340以及360、不一致补偿器400、加法器500和可变长度编码器600。
与图6的编码器的那些组件执行相同或相似功能的图9的组件具有相同的参考号码，并且将不提供执行与图6的组件相同的操作的图9的组件的重复说明。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度和色度)和由辅助分量编码器320输出的重构的水平图的水平不一致向量，不一致补偿器400执行不一致补偿，并且输出补偿的右图像的象素值(亮度和色度)。
加法器500对不一致补偿的右图像的象素值(亮度和色度)和由不一致补偿器400输出的补偿的右图像的象素值(亮度和色度)执行残留过程，以输出亮度残留纹理和色度残留纹理，并且辅助分量编码器340和360对亮度残留纹理和色度残留纹理编码以输出量化的亮度残留纹理和量化的色度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图、由辅助分量编码器340输出的量化的亮度残留纹理和由辅助分量编码器360输出的量化的色度残留纹理执行可变长度编码，并且输出编码流。
图11显示由根据本发明的第三个优选实施例的编码器输出的编码流。如所示，由编码器输出的编码流包括：编码的视频对象的宏块、用于编码的水平不一致图的辅助分量AC[0]的宏块、用于编码的亮度残留纹理的辅助分量AC[1]的宏块和用于编码的色度残留纹理的辅助分量AC[2]的宏块。
图10显示根据本发明的第三个优选实施例的解码器。
如所示，解码器包含：可变长度解码器700、视频对象解码器800、辅助分量解码器920、940和960、不一致补偿器1000和加法器1100和1200。
与图7的解码器的那些组件执行相同或相似功能的图10的组件具有相同的参考号码，并且将不提供执行与图7的组件相同的操作的图10的组件的重复说明。
可变长度解码器700对由编码器输出并在图11中显示的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据、亮度残留纹理的量化数据和色度残留纹理的量化数据。
辅助分量解码器940接收亮度残留纹理的量化数据和运动向量，并且对亮度残留纹理解码。
辅助分量解码器960接收色度残留纹理的量化数据和运动向量，并且对色度残留纹理解码。
不一致补偿器1000接收重构的左图像和重构的水平不一致图，并且根据水平不一致图的不一致向量执行不一致补偿。
加法器1100把来自由不一致补偿器1000不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像的亮度分量。
加法器1200把来自不一致补偿的数据中的不一致补偿的色度纹理和由辅助分量解码器940输出的重构的色度残留纹理加起来，以重构右图像的色度分量。
图12和13分别显示根据本发明的第四个优选实施例的编码器和解码器。编码器和解码器建立具有水平不一致类型、垂直不一致类型和亮度残留纹理类型的三个辅助分量的video_object_layer_shape_extention，并且执行编码和解码，参考图4另外定义该三个辅助分量。
即，分配参考左图像找到的基于象素的水平不一致图给aux_comp_type[0]，分配参考左图像找到的基于象素的垂直不一致图给aux_comp_type[1]，并且分配亮度残留纹理给aux_comp_type[2]，该亮度残留纹理是亮度分量上的残留图像数据。编码器和解码器可用于简单图像或不要求精确重构的图像，该简单图像当执行编码而没有色度残留纹理信息时没有极大地影响图像质量的恶化，该色度残留纹理信息是色度分量上的残留图像数据。
如图12中所示，根据本发明的第四个优选实施例的编码器包含：不一致估计器100、视频对象编码器200、辅助分量编码器320、340以及380、不一致补偿器420、加法器500和可变长度编码器600。
与图6的编码器的那些组件执行相同或相似功能的图12的组件具有相同的参考号码，并且将不提供执行与图6的组件相同的操作的图12的组件的重复说明。
不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图和垂直不一致图。
辅助分量编码器380接收由不一致估计器100输出的垂直不一致图和由视频对象编码器200输出的运动向量，产生量化的垂直不一致图，输出量化的垂直不一致图，并且输出由重构量化的垂直不一致图得到的垂直不一致图。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度)、由辅助分量编码器320输出的重构的水平不一致图的水平不一致向量和由辅助分量编码器380输出的重构的垂直不一致图的垂直不一致向量，不一致补偿器420执行不一致补偿，并且输出补偿的右图像的象素值(亮度)。
加法器500对右图像的象素值(亮度)和由不一致补偿器420输出的不一致补偿的右图像的象素值(亮度)执行残留过程，以输出亮度残留纹理，并且辅助分量编码器340对亮度残留纹理编码以输出量化的亮度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图、由辅助分量编码器380输出的量化的垂直不一致图和由辅助分量编码器360输出的量化的亮度残留纹理执行可变长度编码，并且输出编码流。
图14显示由根据本发明的第四个优选实施例的编码器输出的编码流。如所示，由编码器输出的编码流包括：编码的视频对象的宏块、用于编码的水平不一致图的辅助分量AC[0]的宏块、用于编码的垂直不一致图的辅助分量AC[1]的宏块和用于编码的亮度残留纹理的辅助分量AC[2]的宏块。
图13显示根据本发明的第四个优选实施例的解码器。
如所示，解码器包含：可变长度解码器700、视频对象解码器800、辅助分量解码器920、940和980、不一致补偿器2000和加法器1100。
与图7的解码器的那些组件执行相同或相似功能的图13的组件具有相同的参考号码，并且将不提供执行与图7的组件相同的操作的图13的组件的重复说明。
可变长度解码器700对由如图14中所示的编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据和亮度残留纹理的量化数据。
辅助分量解码器980接收垂直不一致图的量化数据和运动向量，并且对垂直不一致图解码。
不一致补偿器2000接收重构的左图像、重构的水平不一致图和重构的垂直不一致图，并且根据水平不一致图和垂直不一致图的不一致向量执行不一致补偿。
加法器1100把来自由不一致补偿器2000不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像的亮度分量。
图15和16分别显示根据本发明的第五个优选实施例的编码器和解码器。该编码器和解码器建立具有水平不一致类型、垂直不一致类型、亮度残留纹理类型和色度残留纹理类型的四个辅助分量的video_object_layer_shape_extention，并且执行编码和解码，如图5中所示，当MAC的辅助分量的数目增加到等于或大于四时另外定义该四个辅助分量。
即，编码器和解码器分配参考左图像找到的基于象素的水平不一致图给aux_comp_type[0]，分配参考左图像找到的基于象素的垂直不一致图给aux_comp_type[1]，分配作为亮度分量上的残留图像数据的亮度残留纹理给aux_comp_type[2]，并且分配作为色度分量上的残留图像数据的色度残留纹理给aux_comp_type[3]，以执行编码和解码。
上述第五个优选实施例可应用到这样的情况：通过使用右图像上所有种类的辅助信息重构高质量图像。
如图15中所示，根据本发明的第五个优选实施例的编码器包含：不一致估计器100、视频对象编码器200、辅助分量编码器320、340、360以及380、不一致补偿器420、加法器500和可变长度编码器600。
与图12的编码器的那些组件执行相同或相似功能的图15的组件具有相同的参考号码，并且将不提供执行与图12的组件相同的操作的图15的组件的重复说明。
不一致估计器100接收左和右图像，并且参考左图像找到右图像的基于象素的水平不一致图和垂直不一致图。
辅助分量编码器380接收由不一致估计器100输出的垂直不一致图和由视频对象编码器200输出的运动向量，产生量化的垂直不一致图，输出量化的垂直不一致图，并且输出由重构量化的垂直不一致图得到的垂直不一致图。
根据由视频对象编码器200输出的重构的左图像的象素值(亮度和色度)、由辅助分量编码器320输出的重构的水平不一致图的水平不一致向量和由辅助分量编码器380输出的重构的垂直不一致图的垂直不一致向量，不一致补偿器420执行不一致补偿，并且输出补偿的右图像的象素值(亮度和色度)。
加法器500对右图像的象素值(亮度和色度)和由不一致补偿器420输出的不一致补偿的右图像的象素值(亮度和色度)执行残留过程，以输出亮度残留纹理和色度残留纹理，并且辅助分量编码器340和辅助分量编码器360分别对亮度残留纹理和色度残留纹理编码，以输出量化的亮度残留纹理和量化的色度残留纹理。
可变长度编码器600对由视频对象编码器200输出的量化的视频对象和运动向量、由辅助分量编码器320输出的量化的水平不一致图、由辅助分量编码器380输出的量化的垂直不一致图、由辅助分量编码器340输出的量化的亮度残留纹理和由辅助分量编码器360输出的量化的色度残留纹理执行可变长度编码，并且输出编码流。
图17显示由根据本发明的第五个优选实施例的编码器输出的编码流。如所示，由编码器输出的编码流包括：编码的视频对象的宏块、用于编码的水平不一致图的辅助分量AC[0]的宏块、用于编码的垂直不一致图的辅助分量AC[1]的宏块、用于编码的亮度残留纹理的辅助分量AC[2]的宏块和用于编码的色度残留纹理的辅助分量AC[3]的宏块。
图16显示根据本发明的第五个优选实施例的解码器。
如所示，解码器包含：可变长度解码器700、视频对象解码器800、辅助分量解码器920、940、960和980、不一致补偿器2000和加法器1100和1200。
与图13的解码器的那些组件执行相同或相似功能的图16的组件具有相同的参考号码，并且将不提供执行与图13的组件相同的操作的图16的组件的重复说明。
可变长度解码器700对如图17中所示并由编码器输出的编码流执行可变长度解码，并且输出视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据、亮度残留纹理的量化数据和色度残留纹理的量化数据。
不一致补偿器2000接收重构的左图像、重构的水平不一致图和重构的垂直不一致图，并且根据水平不一致图和垂直不一致图的不一致向量执行不一致补偿。
加法器1100把来自由不一致补偿器2000不一致补偿的数据中的不一致补偿的亮度纹理和由辅助分量解码器940输出的重构的亮度残留纹理加起来，以重构右图像的亮度分量。
加法器1200把来自由不一致补偿器2000不一致补偿的数据中的不一致补偿的色度纹理和由辅助分量解码器960输出的重构的色度残留纹理加起来，以重构右图像的色度分量。
现在将进一步详细说明视频对象编码器200、辅助分量编码器320、340、360和380、视频对象解码器800和辅助分量解码器920、940、960和980。
图18显示用于根据本发明的优选实施例的视频对象编码器200的详细方块图。
如所示，视频对象编码器200包含：编码单元220、解码单元240、运动估计器260和运动补偿器280。
编码单元220对视频对象数据(左图像)和已经经过残留过程的运动补偿的数据执行离散余弦变换，量化离散余弦变换的数据，并且输出量化的视频对象。编码单元220包含：加法器221，用于对视频对象数据和运动补偿的数据执行残留过程；DCT(离散余弦变换器)222，用于对由加法器221输出的残留数据执行离散余弦变换；以及量化器223，用于量化由DCT222输出的数据。
解码单元240对由编码单元220输出的量化的视频对象去量化，并且对去量化的数据执行逆离散余弦变换以重构视频对象数据。解码单元240包含：去量化器241，用于对由编码单元220输出的量化的视频对象去量化；IDCT(逆离散余弦变换器)242，用于对由去量化器241输出的数据执行逆离散余弦变换；加法器243，用于把由IDCT 242输出的视频对象和运动补偿的数据加起来以重构视频对象数据；以及存储器244，用于存储由加法器243输出的重构的左图像。
运动估计器260比较视频对象数据(左图像)和存储在存储器244中的前一帧的重构的左图像，以输出运动向量MV。
运动补偿器280比较由运动估计器260输出的运动向量和存储在存储器244中的前一帧的左图像，以输出运动补偿数据。
图19显示用于根据本发明的优选实施例的辅助分量编码器300的详细方块图。
如所示，辅助分量编码器300包含编码单元310、解码单元330和运动补偿器350。
编码单元310对辅助分量数据和已经经过残留过程的运动补偿的数据执行离散余弦变换，量化离散余弦变换的数据，并且输出量化的辅助分量数据。编码单元310包含：加法器331，用于对辅助分量数据和运动补偿的数据执行残留过程；DCT(离散余弦变换器)312，用于对由加法器331输出的残留数据执行离散余弦变换；以及量化器313，用于量化由DCT 312输出的数据。
解码单元330对由编码单元310输出的量化的辅助分量数据去量化，并且对去量化的数据执行逆离散余弦变换以重构辅助分量数据。解码单元330包含：去量化器331，用于对由编码单元310输出的量化的辅助分量数据去量化；IDCT(逆离散余弦变换器)332，用于对由去量化器331输出的数据执行逆离散余弦变换；加法器333，用于把由IDCT 332输出的辅助分量数据和运动补偿的数据加起来以重构辅助分量数据；以及存储器334，用于存储由加法器333输出的重构的辅助分量数据。
运动补偿器350比较由视频对象编码器200的运动估计器260输出的运动向量和存储在存储器334中的前一帧的辅助分量数据，以输出辅助分量上的运动补偿数据。
图20显示用于根据本发明的优选实施例的视频对象解码器800的详细方块图。
如所示，视频对象解码器800包含去量化器810、IDCT 820、加法器830、运动补偿器850和存储器840。
去量化器810对由可变长度解码器输出视频对象的量化数据去量化，IDCT 820对由去量化器810输出的数据执行逆离散余弦变换，并且运动补偿器850比较存储在存储器840中的前一帧的重构的视频对象数据和运动向量以对运动进行补偿，并且输出补偿的运动向量数据。
加法器830把由IDCT 820输出的视频对象和由运动补偿器850输出的运动补偿的向量数据加起来，以输出重构的视频对象数据。
图21显示用于根据本发明的优选实施例的辅助分量解码器900的详细方块图。
如所示，辅助分量解码器900包含去量化器901、IDCT 902、加法器903、运动补偿器905和存储器904。
去量化器901对由可变长度解码器输出的辅助分量的量化数据去量化，IDCT 902对由去量化器901输出的数据执行逆离散余弦变换，而运动补偿器905比较存储在存储器904中的前一帧的重构的辅助分量数据和运动向量以对运动进行补偿，并且输出补偿的运动向量数据。
加法器903把由IDCT 902输出的辅助分量数据和由运动补偿器905输出的运动补偿的向量数据加起来，以输出重构的视频对象数据。
如所述，因为根据本发明的优选实施例，通过使用MPEG-4的MAC对立体视频编码，所以提供了对使用当前的MPEG-4编码技术和系统的兼容性。
同样地，因为右和左图像的编码流作为单一的编码流输出，所以右和左图像间的同步被简单地执行。
进而，通过以各种方式分配右图像的辅助信息的四个分量给MAC，根据用户或制作者想要的图像质量水平选择其方式，并且将其编码，改善了编码效率。
虽然已经结合目前被认为最实用和优选的实施例说明了本发明，但要理解，本发明不限于所公开的实施例，而正相反，意图在于覆盖包括在权利要求的精神和范围内的各种修改和等效安排。
例如，辅助信息使用由MPEG-4标准定义的MAC分配，此外，还可以使用由其它协议定义的信息。
如所述，对使用现有的MPEG-4编码技术和系统的兼容性被保持，并且右和左图像间同步的复杂度被最小化。
另外，通过根据图像的重要性和复杂度选择性控制图像质量并对它编码，改善了编码效率。

Claims (47)

1.一种用于对包括第一和第二图像的立体视频编码的方法，包含：
(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；
(b)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及
(c)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并且输出量化的水平不一致图，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
2.根据权利要求1所述的方法，还包含(d)对量化的视频对象、运动向量和量化的水平不一致图执行可变长度编码，并且作为单一流输出它们。
3.根据权利要求1所述的方法，其中量化的水平不一致图被分配给MPEG-4多重辅助分量的不一致类型的辅助分量，并且被编码。
4.根据权利要求1所述的方法，其中第一图像是左图像，而第二图像是右图像。
5.一种用于对包括第一和第二图像的立体视频解码的方法，包含：
(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；
(b)根据视频对象的量化数据和运动向量，对视频对象解码并且重构第一图像；
(c)根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；以及
(d)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且重构第二图像，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
6.根据权利要求5所述的方法，其中第一图像是左图像，而第二图像是右图像。
7.一种用于对包括第一和第二图像的立体视频编码的方法，包含：
(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；
(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；
(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；
(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并且输出量化的水平不一致图；
(e)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；
(f)根据(b)中重构的第一图像的象素值和(e)中重构的水平不一致图的水平不一致向量值，执行不一致补偿并输出不一致补偿的第二图像的象素值；以及
(g)对第二图像的象素值和(f)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
8.根据权利要求7所述的方法，还包含(h)对量化的视频对象、运动向量、量化的水平不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
9.根据权利要求7所述的方法，其中量化的水平不一致图和量化的亮度残留纹理被分配给MPEG-4多重辅助分量，然后被编码。
10.根据权利要求7所述的方法，其中第一图像是左图像，而第二图像是右图像。
11.根据权利要求7所述的方法，还包含(h)对第二图像的象素值和(f)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
12.根据权利要求11所述的方法，还包含(i)对量化的视频对象、运动向量、量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
13.根据权利要求11所述的方法，其中量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理被分配给MPEG-4多重辅助分量，然后被编码。
14.一种用于对包括第一和第二图像的立体视频解码的方法，包含：
(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；
(b)根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；
(c)根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；
(d)根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；
(e)根据重构的第一图像和解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及
(f)把不一致补偿的亮度纹理和(d)中重构的亮度残留纹理加起来，以重构第二图像，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
15.根据权利要求14所述的方法，其中第一图像是左图像，而第二图像是右图像。
16.根据权利要求14所述的方法，其中步骤(a)包含接收编码流，并且另外输出色度残留纹理的量化数据，
步骤(d)另外包含根据色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码，以及
步骤(f)另外包含把不一致补偿的色度纹理和色度残留纹理加起来，以重构第二图像。
17.一种用于对包括第一和第二图像的立体视频编码的方法，包含：
(a)对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；
(b)对(a)中输出的量化的视频对象解码，并且重构第一图像；
(c)接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图和基于象素的垂直不一致图；
(d)根据基于象素的水平不一致图和运动向量，对水平不一致图编码并且输出量化的水平不一致图；
(e)根据基于象素的垂直不一致图和运动向量，对垂直不一致图编码并且输出量化的垂直不一致图；
(f)重构(d)中输出的量化的水平不一致图，并且输出重构的水平不一致图；
(g)重构(d)中输出的量化的垂直不一致图，并且输出重构的垂直不一致图；
(h)根据(b)中重构的第一图像的象素值、(f)中重构的水平不一致图的水平不一致向量值和(h)中重构的垂直不一致图的垂直不一致向量值，执行不一致补偿并输出不一致补偿的第二图像的象素值；以及
(i)对第二图像的象素值和(h)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
18.根据权利要求17所述的方法，还包含(j)对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
19.根据权利要求17所述的方法，其中量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理被分配给MPEG-4多重辅助分量，然后被编码。
20.根据权利要求17所述的方法，其中第一图像是左图像，而第二图像是右图像。
21.根据权利要求17所述的方法，还包含(j)对第二图像的象素值和(h)中输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
22.根据权利要求21所述的方法，还包含(k)对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
23.一种用于对包括第一和第二图像的立体视频解码的方法，包含：
(a)接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据、垂直不一致图的量化数据和亮度残留纹理的量化数据；
(b)根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；
(c)根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；
(d)根据垂直不一致图的量化数据和运动向量，对垂直不一致图的量化数据解码；
(e)根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；
(f)根据重构的第一图像、解码的水平不一致图和解码的垂直不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理；以及
(g)把不一致补偿的亮度纹理和(e)中重构的亮度残留纹理加起来，以重构第二图像，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
24.根据权利要求23所述的方法，其中步骤(a)包含接收编码流，并且另外输出色度残留纹理的量化数据；
步骤(e)另外包含根据色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码；以及
步骤(g)另外包含把不一致补偿的色度纹理和色度残留纹理加起来，以重构第二图像。
25.一种用于包括第一和第二图像的立体视频的编码器，包含：
视频对象编码器，用于对第一图像编码，并且输出第一图像的量化的视频对象和运动向量；
不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；以及
辅助分量编码器，用于根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对水平不一致图编码并且输出量化的水平不一致图，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
26.根据权利要求25所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量和量化的水平不一致图执行可变长度编码，并且作为单一流输出它们。
27.一种用于包括第一和第二图像的立体视频的解码器，包含：
可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量和水平不一致图的量化数据；
视频对象解码器，用于根据由可变长度解码器输出的视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；
辅助分量解码器，用于根据由可变长度解码器输出的水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；以及
不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且重构第二图像，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
28.一种用于包括第一和第二图像的立体视频的编码器，包含：
视频对象编码器，用于对第一图像编码以输出第一图像的量化的视频对象和运动向量，并且对量化的视频对象编码以输出重构的第一图像；
不一致估计器，用于接收第一和第二图像，并且参考第一图像找到第二图像上的基于象素的水平不一致图；
第一辅助分量编码器，用于对水平不一致图编码以输出量化的水平不一致图，并且根据由不一致估计器输出的基于象素的水平不一致图和由视频对象编码器输出的运动向量，对输出和量化的水平不一致图解码以输出重构的水平不一致图；
不一致补偿器，用于根据由视频对象编码器输出的重构的第一图像的象素值和由第一辅助分量编码器输出的重构的水平不一致图的水平不一致向量值，执行不一致补偿并且输出不一致补偿的第二图像的象素值；
第二辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出亮度残留纹理，并且对亮度残留纹理编码以输出量化的亮度残留纹理，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
29.根据权利要求28所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
30.根据权利要求28所述的编码器，其中量化的水平不一致图和量化的亮度残留纹理被分配给MPEG-4多重辅助分量，然后被编码。
31.根据权利要求28所述的编码器，还包含第三辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
32.根据权利要求31所述的编码器，还包含变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
33.根据权利要求31所述的编码器，其中量化的水平不一致图、量化的亮度残留纹理和量化的色度残留纹理被分配给MPEG-4多重辅助分量，然后被编码。
34.根据权利要求28所述的编码器，其中不一致估计器参考第一图像另外输出第二图像上的基于象素的垂直不一致图；
用于立体视频的编码器还包含第三辅助分量编码器，用于根据由不一致估计器输出的基于象素的垂直不一致图和由视频对象编码器输出的运动向量，对垂直不一致图编码并输出量化的垂直不一致图；以及
根据重构的第一图像的象素值、重构的水平不一致图的水平不一致向量值和重构的垂直不一致图，不一致补偿器执行不一致补偿并输出不一致补偿的第二图像的象素值。
35.根据权利要求34所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理执行可变长度编码，并且作为单一流输出它们。
36.根据权利要求34所述的编码器，其中量化的水平不一致图、量化的垂直不一致图和量化的亮度残留纹理被分配给MPEG-4多重辅助分量，然后被编码。
37.根据权利要求34所述的编码器，还包含第四个辅助分量编码器，用于对第二图像的象素值和由不一致补偿器输出的不一致补偿的第二图像的象素值执行残留过程，以输出色度残留纹理，并且对色度残留纹理编码以输出量化的色度残留纹理。
38.根据权利要求37所述的编码器，还包含可变长度编码器，用于对量化的视频对象、运动向量、量化的水平不一致图、量化的垂直不一致图、量化的亮度残留纹理和量化的色度残留纹理执行可变长度编码，并且作为单一流输出它们。
39.根据权利要求28所述的编码器，其中视频对象编码器包含：
编码单元，用于对第一图像和运动补偿的数据执行残留过程，对该数据执行离散余弦变换和量化，并且输出量化的视频对象；
解码单元，用于对由编码单元输出的量化的视频对象执行去量化和逆离散余弦变换，重构视频对象数据，并且在存储器中存储重构的视频对象数据；
运动估计器，用于比较第一图像和存储器中存储的前一帧的重构的视频对象数据，并且输出运动向量；以及
运动补偿器，用于比较由运动估计器输出的运动向量和存储器中存储的前一帧的重构的视频对象数据，并且输出运动补偿数据。
40.根据权利要求39所述的编码器，其中第一辅助分量编码器包含：
编码单元，用于对水平不一致图和运动补偿的数据执行残留过程，对该数据执行离散余弦变换和量化，并且输出量化的水平不一致图；
解码单元，用于对由编码单元输出的量化的水平不一致图执行去量化和逆离散余弦变换，重构水平不一致图，并且在存储器中存储重构的水平不一致图；以及
运动补偿器，用于比较由视频对象编码器的运动估计器输出的运动向量和存储器中存储的前一帧的重构的水平不一致图，并且输出运动补偿数据。
41.一种用于包括第一和第二图像的立体视频的解码器，包含：
可变长度解码器，用于接收编码流，并且输出第一图像的视频对象的量化数据、运动向量、水平不一致图的量化数据和亮度残留纹理的量化数据；
视频对象解码器，用于根据视频对象的量化数据和运动向量，对视频对象解码并重构第一图像；
第一辅助分量解码器，用于根据水平不一致图的量化数据和运动向量，对水平不一致图的量化数据解码；
第二辅助分量解码器，用于根据亮度残留纹理的量化数据和运动向量，对亮度残留纹理的量化数据解码；
不一致补偿器，用于根据由视频对象解码器输出的重构的第一图像和由第一辅助分量解码器输出的解码的水平不一致图执行不一致补偿，并且输出不一致补偿的亮度纹理和不一致补偿的色度纹理；以及
第一加法器，用于把由不一致补偿器输出的不一致补偿的亮度纹理和由第二辅助分量解码器输出的重构的亮度残留纹理加起来，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像。
42.根据权利要求41所述的解码器，其中可变长度解码器另外输出色度残留纹理的量化数据，以及
用于立体视频的解码器还包含：
第三辅助分量解码器，用于根据由可变长度解码器输出的色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码；以及
第二加法器，用于把由不一致补偿器输出的不一致补偿的色度纹理和由第三辅助分量解码器输出的重构的色度残留纹理加起来。
43.根据权利要求41所述的解码器，其中可变长度解码器另外输出垂直不一致图的量化数据；
用于立体视频的解码器还包含第三辅助分量解码器，用于根据由可变长度解码器输出的垂直不一致图的量化数据和运动向量，对垂直不一致图的量化数据解码；以及
根据由视频对象解码器输出的重构的第一图像、由第一辅助分量解码器输出的解码的水平不一致图和由第三辅助分量解码器输出的解码的垂直不一致图，不一致补偿器执行不一致补偿，并且输出不一致补偿的亮度纹理和不一致补偿的色度纹理。
44.根据权利要求43所述的解码器，其中可变长度解码器另外输出色度残留纹理的量化数据，以及
用于立体视频的解码器还包含：
第四辅助分量解码器，用于根据由可变长度解码器输出的色度残留纹理的量化数据和运动向量，对色度残留纹理的量化数据解码；以及
第二加法器，用于把由不一致补偿器输出的不一致补偿的色度纹理和由第三辅助分量解码器输出的重构的色度残留纹理加起来。
45.根据权利要求41所述的解码器，其中视频对象解码器包含：
去量化器，用于对由可变长度解码器输出的视频对象的量化数据去量化；
逆离散余弦变换器，用于对由去量化器输出的数据执行逆离散余弦变换；
运动补偿器，用于比较前一帧的重构的视频对象数据和运动向量以对运动进行补偿，并且输出运动向量；以及
加法器，用于把由逆离散余弦变换器输出的视频对象和由运动补偿器输出的运动补偿的数据加起来。
46.根据权利要求41所述的解码器，其中第一辅助分量解码器包含：
去量化器，用于对由可变长度解码器输出的水平不一致图的量化数据去量化；
逆离散余弦变换器，用于对由去量化器输出的数据执行逆离散余弦变换；
运动补偿器，用于比较前一帧的重构的水平不一致图和运动向量以对运动进行补偿，并且输出运动向量；以及
加法器，用于把由逆离散余弦变换器输出的水平不一致图和由运动补偿器输出的运动补偿的数据加起来。
47.一种用于对包括第一和第二图像的立体视频编码/解码的方法，其中作为视频对象建立第一图像，并且基于第二图像的第一图像的辅助信息被分配给MPEG-4多重辅助分量，然后被编码/解码，其中第一图像是左图像或右图像之一，第二图像是右图像或左图像之一，并且第二图像不同于第一图像；
其中辅助信息包括下列至少之一：
水平不一致图，包含参考第一图像的右图像的基于象素的水平不一致向量值；
垂直不一致图，包含参考第一图像的右图像的基于象素的垂直不一致向量值；
亮度残留纹理，包括：编码后重构的第一图像，由重构的不一致图不一致补偿的第二图像，以及输入的第二图像上的亮度分量上的残留图像数据；以及
色度残留纹理，包括：编码后重构的第一图像，由重构的不一致图不一致补偿的第二图像，以及输入的第二图像上的色度分量上的残留图像数据。
CNB038260077A 2002-12-27 2003-01-22 用于编码和解码立体视频的方法和装置 Expired - Fee Related CN100512431C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020084724A KR100751422B1 (ko) 2002-12-27 2002-12-27 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
KR1020020084724 2002-12-27

Publications (2)

Publication Number Publication Date
CN1742488A CN1742488A (zh) 2006-03-01
CN100512431C true CN100512431C (zh) 2009-07-08

Family

ID=36094038

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038260077A Expired - Fee Related CN100512431C (zh) 2002-12-27 2003-01-22 用于编码和解码立体视频的方法和装置

Country Status (7)

Country Link
US (1) US7848425B2 (zh)
EP (1) EP1584191A4 (zh)
JP (1) JP4195011B2 (zh)
KR (1) KR100751422B1 (zh)
CN (1) CN100512431C (zh)
AU (1) AU2003206164A1 (zh)
WO (1) WO2004059980A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556848B1 (ko) * 2003-05-13 2006-03-10 엘지전자 주식회사 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
EP1727091A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital coding 3d stereoscopic video images
WO2005083637A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de decodificación digital de imágenes de video 3d estereoscópicas
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
KR100782811B1 (ko) 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
KR100747550B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
EP1972147B8 (en) * 2006-01-09 2017-05-10 Dolby International AB Methods and Apparatus for Illumination and Color Compensation for Multiview Video Coding
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
CN101416520B (zh) 2006-03-31 2011-12-14 皇家飞利浦电子股份有限公司 多视图的高效编码
KR100834357B1 (ko) * 2006-04-04 2008-06-02 엠텍비젼 주식회사 영상 데이터의 압축 장치 및 방법
KR101177412B1 (ko) 2006-04-20 2012-08-24 엘지전자 주식회사 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법
EP2052546A4 (en) * 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
KR100704938B1 (ko) * 2006-08-25 2007-04-09 주식회사 이시티 스테레오스코픽 영상의 부호화/복호화 방법 및 장치
WO2008023917A1 (en) * 2006-08-25 2008-02-28 Enhanced Chip Technology Inc. Method and apparatus for encoding/decoding stereoscopic images/videos
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
KR100800653B1 (ko) * 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
US20080252719A1 (en) * 2007-04-13 2008-10-16 Samsung Electronics Co., Ltd. Apparatus, method, and system for generating stereo-scopic image file based on media standards
US8594484B2 (en) * 2007-05-15 2013-11-26 Warner Bros. Entertainment Inc. DVD player with external connection for increased functionality
EP2158769B1 (en) * 2007-05-15 2014-07-30 Warner Bros. Entertainment Inc. Method and apparatus for providing additional functionality to a dvd player
US10182203B2 (en) 2007-05-15 2019-01-15 Warner Bros. Entertainment Inc. DVD player with external connection for increased functionality
KR100941640B1 (ko) * 2007-07-20 2010-02-11 연세대학교 산학협력단 맥 기반 영상 부호화 장치 및 이에 있어서 영상 부호화방법
US20100271554A1 (en) * 2007-09-10 2010-10-28 Volker Blume Method And Apparatus For Motion Estimation In Video Image Data
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
KR100970992B1 (ko) * 2008-11-14 2010-07-20 한국과학기술정보연구원 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
US9288470B2 (en) * 2008-12-02 2016-03-15 Lg Electronics Inc. 3D image signal transmission method, 3D image display apparatus and signal processing method therein
KR101245591B1 (ko) 2008-12-18 2013-03-20 엘지전자 주식회사 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
WO2010151555A1 (en) 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
JP5395911B2 (ja) * 2009-12-28 2014-01-22 パナソニック株式会社 ステレオ画像符号化装置、方法
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8817072B2 (en) * 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
US8760498B2 (en) * 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
KR20110115087A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
WO2012006299A1 (en) * 2010-07-08 2012-01-12 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
CN103348694A (zh) 2010-12-07 2013-10-09 三星电子株式会社 发送用于构成内容的数据的发射机、接收和处理该数据的接收机及其方法
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
CN102137258B (zh) * 2011-03-22 2013-04-24 宁波大学 一种立体视频码率控制方法
EP2697975A1 (en) 2011-04-15 2014-02-19 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
KR101626683B1 (ko) * 2011-08-30 2016-06-01 인텔 코포레이션 멀티뷰 비디오 코딩 방안
WO2013073316A1 (ja) * 2011-11-14 2013-05-23 独立行政法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
EP3550840A1 (en) 2012-01-20 2019-10-09 Sony Corporation Complexity reduction of significance map coding
GB2500712A (en) * 2012-03-30 2013-10-02 Sony Corp An Apparatus and Method for transmitting a disparity map
CN103379332A (zh) * 2012-04-25 2013-10-30 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
CN102790877B (zh) * 2012-07-25 2015-02-11 深圳市环球数码科技有限公司 一种独立式媒体模块及数字影院系统
EP2878125A4 (en) * 2012-07-27 2016-10-12 Hfi Innovation Inc CONSTRAINED DISPARITY VECTOR DERIVATION METHOD IN 3D VIDEO CODING
US8867826B2 (en) * 2012-11-26 2014-10-21 Mitusbishi Electric Research Laboratories, Inc. Disparity estimation for misaligned stereo image pairs
CN103200416A (zh) * 2013-04-23 2013-07-10 华录出版传媒有限公司 一种3d视频编解码的处理方法
FR3025681B1 (fr) * 2014-09-09 2018-03-02 Stmicroelectronics (Grenoble 2) Sas Procedes de transmission et de reception d'un signal serie et dispositifs correspondants
KR102389157B1 (ko) 2017-09-19 2022-04-21 한국전자통신연구원 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
GB2568253B (en) * 2017-11-08 2022-08-31 Displaylink Uk Ltd Stereoscopic image data compression
CN109167980A (zh) * 2018-11-01 2019-01-08 苏州旷视智能科技有限公司 用于远距离高清晰度视频处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123447A (ja) 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JP3826236B2 (ja) 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
US5612735A (en) 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
JP3055438B2 (ja) 1995-09-27 2000-06-26 日本電気株式会社 ３次元画像符号化装置
EP0908060A4 (en) * 1996-06-28 2004-04-28 Stanford Res Inst Int SMALL IMAGE MODULES FOR REAL-TIME STEREO AND MOTION ANALYSIS
CA2208950A1 (en) 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
EP0931420A4 (en) 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
US5695551A (en) * 1996-12-09 1997-12-09 Dow Corning Corporation Water repellent composition
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
KR100307883B1 (ko) 1998-04-13 2001-10-19 박호군 정합화소수를이용한유사도측정방법및이를구현하기위한장치
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Edge-preserving directional regularization techniquefordisparity estimation of steroscopic images. Mi-Hyun Kim,Kwang-Hoon Sohn.IEEE Transactions on Consumer Electronics,Vol.vol.45 No.no.3. 1999
Edge-preserving directional regularization techniquefordisparity estimation of steroscopic images. Mi-Hyun Kim,Kwang-Hoon Sohn.IEEE Transactions on Consumer Electronics,Vol.45 No.3. 1999 *

Also Published As

Publication number Publication date
US20060133493A1 (en) 2006-06-22
JP4195011B2 (ja) 2008-12-10
KR20040058497A (ko) 2004-07-05
EP1584191A4 (en) 2010-01-20
KR100751422B1 (ko) 2007-08-23
AU2003206164A1 (en) 2004-07-22
US7848425B2 (en) 2010-12-07
WO2004059980A1 (en) 2004-07-15
EP1584191A1 (en) 2005-10-12
CN1742488A (zh) 2006-03-01
JP2006512809A (ja) 2006-04-13

Similar Documents

Publication Publication Date Title
CN100512431C (zh) 用于编码和解码立体视频的方法和装置
US11917200B2 (en) Hybrid video coding supporting intermediate view synthesis
KR100481732B1 (ko) 다 시점 동영상 부호화 장치
EP2538675A1 (en) Apparatus for universal coding for multi-view video
CN101243692B (zh) 对多视角视频进行编码的方法和设备
US20080205791A1 (en) Methods and systems for use in 3d video generation, storage and compression
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
JP2013509104A (ja) ２ｄビデオデータの３ｄビデオデータへの変換のための深度マップ生成技法
CN1253647A (zh) 视频压缩方法和装置
WO2014166338A1 (en) Method and apparatus for prediction value derivation in intra coding
Merkle et al. Efficient compression of multi-view depth data based on MVC
CN110679151B (zh) 用于使用参数化运动模型的视频代码化的方法和设备
WO2020181435A1 (en) Null tile coding in video coding
KR20090078114A (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
WO2023150488A1 (en) Depth differences in place of motion vectors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090708

Termination date: 20150122

EXPY Termination of patent right or utility model