CN101253774A - 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法 - Google Patents

使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法 Download PDF

Info

Publication number
CN101253774A
CN101253774A CNA2006800320751A CN200680032075A CN101253774A CN 101253774 A CN101253774 A CN 101253774A CN A2006800320751 A CNA2006800320751 A CN A2006800320751A CN 200680032075 A CN200680032075 A CN 200680032075A CN 101253774 A CN101253774 A CN 101253774A
Authority
CN
China
Prior art keywords
vector
unit
image
disparity
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800320751A
Other languages
English (en)
Other versions
CN101253774B (zh
Inventor
金大熙
许南淏
李寿寅
李英烈
金钟律
曹叔嬉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN101253774A publication Critical patent/CN101253774A/zh
Application granted granted Critical
Publication of CN101253774B publication Critical patent/CN101253774B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种用于预测编码/解码的装置和方法，其使用一个或两个附加参考帧缓冲器来提高多视角视频的压缩率。所述预测编码装置包括：多视角参考图像提供单元，用于根据时间和空间GOP结构信息为预测编码提供参考图像；预测单元，用于通过预测当前编码的图像参考从多视角参考图像提供单元输入的参考图像的哪个部分来创建向量；变换和量化单元，用于获得从预测单元输入的预测信号与当前编码的图像信号之间的差信号，变换所获得的差信号，量化变换后的信号，并且压缩量化后的信号；以及熵编码单元，用于根据预定方案编码量化后的信号和向量并且输出编码后的信号。

Description

使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
技术领域
本发明涉及用于编码和解码多视角视频的装置和方法，并且更具体地，本发明涉及使用一个或两个附加参考帧缓冲器来提高多视角视频的压缩率的预测编码/解码的装置和方法。
背景技术
为了提供逼真的视频服务，已在各种应用领域中使用了多视角视频。这样的多视角视频被压缩，并且压缩后的多视角视频被传输给用户以便提供相关服务。尽管根据常规编码和压缩方案压缩了多视角视频，但是其要求和要传输给用户的视角数量的两倍一样多的大量的数据。因此，需要宽的带宽来提供多视角视频的相关服务。
为了有效地传输多视角视频数据，使用相邻摄像机视角和当前视角的冗余信息来提高压缩率。通常通过从具有高相关性的一组数据中移除冗余信息、将该组数据变换为不具相关性的数据并且编码变换后的数据来提高压缩率。常规的基于AVC的多视角编码仅仅在视角之间的预测编码中使用时间参考图像缓冲器。也就是说，常规的基于AVC的多视角编码严格地考虑视角之间的预测编码的效率。因此，要求提高预测编码的效率。
作为编码多个图像的常规方法，引入了用于处理与两个视角相关的立体视频的方法。作为用于基于多于三个视角处理多视角视频的方法，引入了处理多镜头反射固体(multiple lens reflex solid)的多视角视频的方法，以及处理从相邻设置的摄像机获得的多视角视频的方法。用于使用MPEG-2多视角概况(MultiView Profile，MVP)和MPEG-4时间可伸缩性(TS)进行编码的技术被广泛用于编码立体视频。
在第10-2002-0021757号韩国专利申请和第10-2003-0002116号韩国专利申请中介绍了使用MPEG-2MVP和MPEG-4TS编码的技术。在由Kwang-Hoon Son发表的名为“multiview video CODEC using view scalability”的文章中，以及由Yong-Tae Kim发表的名为“method for estimating motion andvariation in stereoscopic video with boundary directivity”的另一文章中也介绍了上述技术。
在第10-2002-0021757号韩国专利申请和Son的文章中，都提出了图像组(GOP)。第10-2002-0021757号韩国专利申请也使用基于MPEG-2的CODEC。第10-2002-0021757号韩国专利申请专注于压缩，Kim的文章专注于使用基于MPEG-2的CODEC增加视角单元中的可伸缩性。
第10-2003-0002116号韩国专利申请创建了中心视点的比特流，并且创建的中心视点的参考图像被用于创建左/右视点图像的比特流。在Kim的文章中，提出了通过减少立体视频中的预测空间和时间视差的误差来提高压缩率的方法。
除了第10-2003-0002116号韩国专利申请，由于与MPEG-2的兼容性，在编码P图像时，上述的常规技术使用单个预测运动向量。由于为编码B图像使用两个向量，所以使用来自先前帧的运动向量和来自当前时间中的相邻视点的视差向量。第10-2003-0002116号韩国专利申请使用一个运动向量和一个视差向量来参考中心视点图像。在B图像的情况中，向量的使用与典型的MPEG-2类似，并且在左/右视点的时间轴上不出现B图像。
由于与MPEG-2的兼容性，这些常规技术使用不多于两个的运动向量或者视差向量。当编码MPEG-2的B图像时，不能在时间轴上执行双向预测编码。进一步，当编码I图像时，通过增加视点的数量来减小视点之间的距离和基线的尺寸。它不是合适的视差向量预测方法。它需要将相邻视点变换为当前视点的步骤。
而且，由于采用同样的方案对本质上不同的视差向量和运动向量编码，因此压缩率也会降低。也就是说，视差向量的尺寸通常大于运动向量。当在先前块选择运动向量以及在后续块选择视差向量时，从对向量差执行熵编码的编码器的特征角度而言向量的差并不显著。而且，当执行像AVC一样的上下文自适应熵编码时，不能获得反映上下文的效果。
发明内容
技术问题
因此，本发明的一个目的是提供一种使用附加视角时间参考图像缓冲器以及在H.264中使用的列表-0和列表-1缓冲器进行预测编码/解码的装置和方法，以便当编码多视角视频时利用运动向量和视差向量的大多数特征。
本发明的另一个目的是通过一种编码多视角视频的方法提供各种多视角视频服务，该编码多视角视频的方法是通过有效地移除视点的冗余信息而减少单视角编码器的数据量而实现的。
技术方案
根据本发明的一个方面，提供一种使用视角时间参考图像缓冲器的预测编码装置，包括：多视角参考图像提供单元，用于根据时间和空间图像组(GOP)结构信息为预测编码提供参考图像；预测单元，用于通过预测当前编码的图像参考从多视角参考图像提供单元输入的参考图像的哪个部分来创建向量；变换和量化单元，用于获得从预测单元输入的预测信号和当前编码的图像信号之间的差信号，变换所获得的差信号、量化变换后的信号，并且压缩量化后的信号；以及熵编码单元，用于根据预定方案编码来自变换和量化单元的量化后的信号以及从预测单元提供的向量，并且输出编码后的信号。
根据本发明的另一个方面，提供了一种使用视角时间参考图像缓冲器预测编码的方法，该方法包括步骤：a)根据时间和空间GOP结构信息为预测编码提供参考图像；b)使用所提供的参考图像创建向量并且预测当前编码的图像；c)变换预测信号，量化变换后的信号，并且压缩量化后的信号；以及d)根据预定编码方案对为预测单元提供的量化后的信号和向量进行编码并且输出压缩后的信号。
根据本发明的另一个方面，提供了一种用于解码通过对从多个摄像机获得的多视角图像进行编码而获得的信号的装置，该装置包括：解码单元，用于通过熵解码、逆重排列、逆量化和逆变换对从外部输入的信号进行解码；基于时间和空间GOP的图像恢复单元，用于根据使用时间和空间GOP配置信息从解码单元输入的解码信号恢复多视角图像，所述时间和空间GOP配置信息表达用于预测编码的时间上和空间上的图像之间的参考关系；以及场景合成单元，用于合成从基于时间和空间GOP的图像恢复单元恢复的多视角图像，并且输出合成的多视角图像，其中所述熵解码使用运动向量和视差向量。
根据本发明的另一个方面，提供了一种解码方法，包括步骤：a)通过熵解码、逆重排列、逆量化和逆变换对从外部输入的信号进行解码；b)使用时间和空间GOP配置信息从解码后的信号中恢复多视角图像，该时间和空间GOP配置信息表达用于预测编码的时间上和空间上的图像之间的参考关系；以及c)合成所恢复的多视角图像并且输出合成的多视角图像，其中所述熵解码使用运动向量和视差向量。
有益效果
本发明涉及用于有效地执行视角到视角预测编码的装置和方法，其允许获得、压缩、传输、恢复和显示多视角视频的多视角视频服务。因此，其可以用于3D显示服务、欧姆尼视频服务(omhni video service)、全景视频服务和自由视点TV服务。而且，当编码多视角视频时，使用相邻视点的信息可以提高压缩率。
附图说明
通过后续参照附图对本发明优选实施例的描述，本发明的上述及其它目的和特征将变得更为明显，其中：
图1是示出根据本发明一个实施例的多视角视频编码/解码系统的框图；
图2是示出根据本发明一个实施例的用于时间预测编码的参考视频缓冲器和用于空间预测编码的参考视频缓冲器的框图；以及
图3是示出图2中示出的多视角参考视频提供单元的框图。
具体实施方式
通过后续参考附图对实施例进行的描述，本发明的其它目的和方面将更为明显，此后进行详细描述。
图1是示出根据本发明一个实施例的多视点视频编码/解码系统的框图。
参考图1，根据本发明的多视角视频编码/解码系统包括：多视角视频编码装置100，用于编码和压缩由从N个摄像机获得的N个视点图像构成的多视角视频，以及将所压缩的多视角视频作为比特流传输；以及多视角视频解码装置200，用于接收比特流、解码和合成所接收的比特流以便恢复多视角视频。
多视角编码装置100包括时间和空间图像组(GOP)形成单元110和多视角编码单元120。
时间和空间GOP形成单元110接收来自多个(N个)摄像机或者用户的N个多视角图像以及摄像机信息，所述摄像机信息包括N个视角摄像机的特征、位置和设置。基于所接收的N个多视角图像和摄像机信息，时间和空间GOP形成单元110创建时间和空间GOP信息，并且输出所创建的时间和空间GOP信息。
多视角编码单元120使用时间和空间GOP信息以及摄像机信息对多视角图像执行预测编码。
多视角视频解码装置200包括多视角解码单元610、基于时间和空间GOP的图像恢复单元220和场景合成单元230。多视角解码单元610接收比特流并且解码所接收的比特流。基于时间和空间GOP的图像恢复单元220使用时间和空间GOP信息来恢复多视角视频，而场景合成单元230根据相关应用来恰当地合成所恢复的多视角视频，并且向用户提供合成的多视角视频。
下文中，将描述根据本发明的多视角视频解码装置的操作。
多视角解码单元210通过熵编码、逆重排列、逆量化和逆变换来处理所接收的比特流。基于时间和空间GOP的图像恢复单元220使用包括在比特流中的时间和空间GOP信息来从逆变换后的信号中恢复多视角图像。场景合成单元230合成所恢复的多视角图像。
而且，在当前解码的图像的视点与参考图像的视点相同时，基于时间和空间GOP图像的恢复单元220根据时间和空间GOP信息执行运动补偿，而在当前编码图像的视点与邻近参考图像的图像的视点相同时，执行视差/运动补偿。
图2是示出根据本发明实施例的包括用于时间预测编码的参考图像缓冲器和用于空间预测编码的参考图像缓冲器的多视角视频编码装置的框图。
如图2中示出的，多视角编码单元包括多视角参考图像提供单元340、预测单元310、变换和量化单元320以及熵编码单元330。
预测单元310、变换和量化单元320以及熵编码单元330执行和H.264中的操作相同的操作。也就是说，预测单元310执行帧间预测和帧内预测。在解码和去块滤波(de-blocking filtering)后，帧间预测使用存储在缓冲器中的参考图像预测当前图像的块。也就是说，帧间预测从参考图像中找到与要编码的块最相似的块。帧内预测从被解码的同一图像的块找到与要编码的当前块最相似的块。
在变换和量化差信号后，变换和量化单元320压缩来自预测单元310的预测块和要编码的块之间的差信号。熵编码单元330通过基于预定编码方案编码量化后的视频数据来创建基于H.264的比特流。
当输入的参考图像的视点与编码的当前图像的视点相同时，视差/运动预测单元311和视差/运动补偿单元313充当运动预测和运动补偿单元。视差/运动预测单元311向熵编码单元330传递运动向量(MV)和视差向量(DV)，并且熵编码单元330对运动向量和视差向量执行熵编码。
多视角参考图像提供单元340逆量化和逆变换来自变换和量化单元320的量化后的图像以创建多视角恢复图像，并且存储所述多视角恢复图像。同样，多视角参考图像提供单元340接收所恢复的多视角图像，所恢复的图像在由变换和量化单元320变换和量化图像信号后被逆量化和逆变换用于预测编码。同样，多视角参考图像提供单元340根据来自时间和空间GOP形成单元310的GOP结构信息选择参考图像，并且向视差/运动补偿单元和视差/运动预测单元提供选定的参考图像。相应地，可以根据以所述GOP结构信息表达的多视角图像的参考关系来执行预测编码。进一步，多视角参考图像提供单元340向重排列单元331提供包括时间和空间GOP结构信息的补充信息，并且使用时间和空间GOP结构信息对当前预测编码的图像信息执行熵编码，并且传输熵编码后的信息以在解码时使用所述时间和空间GOP结构信息。
图3是示出图2中示出的多视角参考视频提供单元的框图。
参考图3，多视角参考图像提供单元340包括恢复图像缓冲器341、第一相邻视角参考图像缓冲器342、第二相邻视角参考图像缓冲器343、视点变换单元345和346以及参考图像选择单元347。
恢复图像缓冲器341从滤波器接收当前视点不同时间的恢复图像，并且临时存储接收到的图像。恢复图像缓冲器341向参考图像选择单元347输出所存储的图像。
第一相邻参考图像缓冲器342(列表-2)从滤波器接收恢复图像，并且临时将接收到的图像存储为参考图像，该恢复图像是在当前时间的其它时间被编码后恢复的。第二相邻参考图像缓冲器(列表-3)343从滤波器接收恢复的图像和另一个恢复的图像，并且临时将接收到的图像存储为参考图像，该恢复的图像是在未来时间的其它视点被编码后恢复的，而该另一个恢复的图像是在过去时间的其它视点被编码后恢复的。随后，第二相邻参考图像缓冲器343向视点变换单元346输出存储的图像。
视点变换单元345和346通过对当前摄像机视点的色彩平衡、对当前视点图像的全体运动补偿和使用先前输入的摄像机信息的校正来变换图像，以便使用与从第一相邻视点参考图像缓冲器342和第二相邻视点参考图像缓冲器343输入的相邻视点图像相比恰当的参考图像。
参考图像选择单元347为根据从时间和空间GOP形成单元110输入的时间和空间GOP结构信息进行的当前预测编码从输入的参考图像中选择参考图像。选定的参考图像被输出给视差/运动预测单元311和视差/运动补偿单元313。而且，参考图像选择单元347创建包括GOP结构信息的补充信息并且向重排列单元331输出所创建的补充信息。
在图3中示出的缓冲器、列表-0/列表-1341、列表-2342和列表-3343独立于每个视点存在并且独立于每个视点而被管理。
视差向量不仅表示在同一时间的其它视点的图像之间的距离，还表示不同时间的同一视点的图像之间的距离。也就是说，当前视点的当前图像和同一时间的不同视点的图像之间的距离是视差，并且与当前视点的图像不同的视点的图像中的先前图像和后续图像之间的距离也是视差。通过列表-2342和列表-3343管理用于计算视差向量的图像。
如上所述，由于运动向量和视差向量的尺寸不同，所以在连续的块的向量特征不同时，以及在当前向量和先前向量之间的差在基于块的向量编码中被编码和传输时，选择运动向量和视差向量之一的常规多视角视频编码器会失去上下文自适应熵编码(诸如CABAC)的优点。
在下文中，将描述根据本实施例的用于克服上述问题的、对从不同视点图像获得的视差向量编码的方法。
作为根据本实施例的编码视差向量的第一方法，为每个块分离视差向量和运动向量并且被分别编码为上下文自适应。作为第二方法，不同视点图像之间的整体视差被补偿，并且通过将视差向量当作运动向量对运动向量执行预测编码。作为第三方法，列表-0341和列表-2342被合成为一个缓冲器，并且列表-1341和列表-3343被合成为一个缓冲器。随后，通过将合成的缓冲器区分为时间轴缓冲器或者视点缓冲器来执行预测编码。
在第一方法中，如果输入的图像的视点是基视点，则仅仅和常规单视点视频编码器一样使用运动向量。在图像是其它视点的情况中，使用运动向量和视差向量中的一个，或者运动向量和视差向量的组合。在此，通过每个块的类型(例如MB类型)来解码使用向量的范围。对于视差向量，选择列表-2342和列表-3343作为参考图像缓冲器，而选择列表-0和列表-1缓冲器341作为运动向量的参考图像缓冲器。
熵编码单元330为视差向量和运动向量创建查找表并且将视差向量和运动向量编码为上下文自适应，以便分离视差向量和运动向量，并且编码已分离的向量。由于在分离视差向量和运动向量后对向量进行编码，所以出现在熵编码中的问题被消除，并且和作为单视点视频编码方案的双向预测编码图像的B图像一样，使用多个向量来改善编码效率。也就是说，在第一方法中，使用时间轴上来自列表-0和列表-1的两个参考图像以及视点上来自列表-2和列表-3的其它两个参考图像，获得运动向量或者视差向量，并且通过为所获得的运动向量和视差向量的每一个创建查找表来为每个块分离和编码视差向量和运动向量。
在编码视差向量的第二方法中，如果输入的图像是和常规单视点视频解码器一样的基视点，则仅仅使用运动向量。对于其它视点的图像，通过将运动向量和视差向量视为同一向量来执行预测编码。此处，因为从列表-2342或者列表-3343获得的向量是视差向量，所以为了克服熵编码的问题，补偿整体视差向量，并且编码整体视差的差。也就是说，通过补偿整体视差向量来补偿运动向量和视差向量之间的特征差异来克服熵编码的问题。
按照下面的公式编码运动向量和视差向量。
VD＝MV-PMV，当使用PMV编码MV时
Figure S2006800320751D00081
公式1
在公式1中，MV表示运动向量、DV表示视差向量、PMV表示从相邻块获得的预测运动向量、PDV是从相邻块获得的预测视差向量，并且GDV表示从不同视点的图像之间的距离产生的整体视差向量。可以使用整体运动向量预测方法或者摄像机参数获得GDV。而且，VD是要编码的向量差。
在第二方法中，如果从相邻块获得的预测值是预测运动向量并且MV是要编码的向量，则熵编码单元30如公式1中的第一种情况那样编码视差向量。而且，如果预测值是PDV并且DV是要编码的向量，则熵编码单元30如公式1中的第四种情况那样编码视差向量。进一步，如果从相邻块获得的预测值是PMV并且DV是要编码的向量，则熵编码单元30使用下列数值来编码视差向量：所述数值是通过从DV中减去GDV和PMV(如在第二种情况中示出的向量差)获得的。最后，如果从相邻块获得了PDV并且对当前MV进行编码，则熵编码单元30对通过从MV和GDV之和减去PDV所获得的向量差进行编码。如所示出的，最多可以使用四个向量。
第三方法和H.264缓冲器管理方案一样，通过组合视角到视角缓冲器和时间轴缓冲器而使用两个缓冲器。在这种情况下，可以从列表-0/列表-2缓冲器和列表-1/列表-3缓冲器中最多获得两个向量。并且，根据缓冲器的索引可以区分视差向量和运动向量。此处，使用相邻块的PMV或者PDV有区别地对运动向量和视差向量进行编码。获得视差向量的方法与第二方法中的相同。
本申请包括在2005年7月18日向韩国知识产权局提交的第2005-0064992号韩国专利申请的主题，该申请的全部内容在此被引入作为参考。
虽然参照特定优选实施例描述了本发明，但是本领域技术人员应当明了可以在不背离在后续权利要求中定义的本发明的范围的情况下，对本发明做出各种变化和改变。

Claims (17)

1.一种使用视角时间参考图像缓冲器的预测编码装置，包括：
多视角参考图像提供单元，用于根据时间和空间图像组(GOP)结构信息为预测编码提供参考图像；
预测单元，用于通过预测当前编码的图像参考从所述多视角参考图像提供单元输入的参考图像的哪个部分来创建向量；
变换和量化单元，用于获得从所述预测单元输入的预测信号和当前编码的图像信号之间的差信号，变换所获得的差信号，量化变换后的信号，以及压缩量化后的信号；以及
熵编码单元，用于根据预定方案编码来自所述变换和量化单元的量化后的信号以及从所述预测单元提供的向量，并且输出编码后的信号。
2.如权利要求1所述的预测编码装置，其中所述预测单元包括：
视差/运动预测单元，用于如果输入的参考图像的视点与当前编码的图像相同，则通过预测运动创建运动向量，以及当参考图像的视点与当前编码的图像的视点不同时，创建视差向量；以及
视差/运动补偿单元，用于如果输入的参考图像的视点与当前编码的图像相同，则补偿运动，以及当参考图像的视点与当前编码的图像的视点不同时，补偿视差。
3.如权利要求1所述的预测编码装置，其中所述多视角参考图像提供单元包括：
恢复图像存储单元，用于存储和输出当前视点不同时间的恢复图像；
第一相邻视点参考图像存储单元，用于存储和输出相邻视点当前时间的恢复图像；
第二相邻视点参考图像存储单元，用于存储和输出相邻视点不同时间的恢复图像；
视点变换单元，用于根据先前输入的摄像机信息，将从第一相邻视点参考图像存储单元和第二相邻视点参考图像存储单元输入的相邻视点图像变换为当前视点图像；以及
参考图像选择单元，用于根据从GOP信息产生单元输入的时间和空间GOP结构信息，选择从所述恢复图像存储单元和所述视点变换单元输入的图像之一作为参考图像。
4.如权利要求1所述的预测编码装置，其中熵编码单元为从预测单元输入的运动向量和视差向量创建查找表，基于创建的查找表分离运动向量和视差向量，并且对运动向量和视差向量执行熵编码。
5.如权利要求1所述的预测编码装置，其中熵编码单元通过编码视差向量和整体视差向量之间的向量差来补偿运动向量和视差向量之间的特征差异。
6.如权利要求5所述的预测编码装置，其中
如果从相邻块获得的预测值是预测运动向量PMV并且当前块是运动向量，则熵编码单元对运动向量和PMV之间的向量差进行编码，
如果从相邻块获得的预测值是预测视差向量PDV并且当前块是视差向量，则熵编码单元对视差向量和PDV之间的向量差进行编码，
如果从相邻块获得的预测值是预测运动向量并且当前块是视差向量，则熵编码单元对通过从视差向量中减去整体视差向量和预测运动向量而获得的向量差进行编码，以及
如果从相邻块获得的预测值是预测视差向量并且当前块是运动向量，则熵编码单元对通过从运动向量和整体视差向量GDV之和中减去预测视差向量而获得的向量差进行编码。
7.一种使用视角时间参考图像缓冲器进行预测编码的方法，该方法包括以下步骤：
a)根据时间和空间GOP结构信息为预测编码提供参考图像；
b)使用所提供的参考图像创建向量并且预测当前编码的图像；
c)变换预测信号，量化变换后的信号，并且压缩量化后的信号；以及
d)根据预定编码方案对为预测单元提供的量化后的信号和向量进行编码并且输出压缩后的信号。
8.如权利要求7所述的方法，其中步骤b)还包括步骤：
b-1)如果输入的参考图像的视点与当前编码的图像相同，则通过预测运动来创建运动向量，以及当参考图像的视点与当前编码的图像的视点不同时，创建视差向量；以及
b-2)如果输入的参考图像的视点与当前编码的图像相同，则补偿运动，以及当参考图像的视点与当前编码的图像的视点不同时，补偿视差。
9.如权利要求7所述的方法，其中在步骤d)，创建用于从预测单元输入的运动向量和视差向量的查找表，基于所创建的查找表分离运动向量和视差向量，并且对运动向量和视差向量执行熵编码。
10.如权利要求7中所述的方法，其中在步骤d)，通过对视差向量和整体视差向量之间的向量差进行编码来补偿运动向量和视差向量之间的特征差异。
11.如权利要求10所述的方法，其中在步骤d)：
如果从相邻块获得的预测值是预测运动向量PMV并且当前块是运动向量，则对运动向量和PMV之间的向量差进行编码，
如果从相邻块获得的预测值是预测视差向量PDV并且当前块是视差向量，则对视差向量和预测视差向量之间的向量差进行编码，
如果从相邻块获得的预测值是预测运动向量并且当前块是视差向量，则对通过从视差向量中减去整体视差向量和预测运动向量而获得的向量差进行编码，以及
如果从相邻块获得的预测值是预测视差向量并且当前块是运动向量，则对通过从运动向量和整体视差向量GDV之和中减去预测视差向量而获得的向量差进行编码。
12.一种对通过编码从多个摄像机获得的多视角图像而创建的信号进行解码的装置，该装置包括：
解码单元，用于通过熵解码、逆重排列、逆量化和逆变换对从外部输入的信号进行解码；
基于时间和空间GOP的图像恢复单元，用于根据使用时间和空间GOP配置信息从解码单元输入的解码信号恢复多视角图像，所述GOP配置信息表达用于预测编码的时间上和空间上的图像之间的参考关系；以及
场景合成单元，用于合成从基于时间和空间GOP的图像恢复单元恢复的多视角图像，以及输出合成的多视角图像，
其中所述熵解码使用运动向量和视差向量。
13.如权利要求12所述的装置，其中
所述熵解码对输入信号进行解码，其中通过为运动向量和视差向量创建查找表来分离运动向量和视差向量而解码所述输入信号。
14.如权利要求12所述的装置，其中
所述熵解码对通过对整体视差向量和视差向量之间的向量差进行编码而创建的输入信号进行解码。
15.一种解码方法，包括步骤：
a)通过熵解码、逆重排列、逆量化和逆变换对从外部输入的信号进行解码；
b)使用时间和空间GOP配置信息从解码后的信号中恢复多视角图像，所述时间和空间GOP配置信息表达用于预测编码的时间上和空间上的图像之间的参考关系；以及
c)合成所恢复的多视角图像并且输出合成的多视角图像，
其中所述熵解码使用运动向量和视差向量。
16.如权利要求15所述的解码方法，其中所述熵解码对输入信号进行解码，其中通过为运动向量和视差向量创建查找表来分离运动向量和视差向量而解码所述输入信号。
17.如权利要求15所述的解码方法，其中所述熵解码对通过编码整体视差向量和视差向量之间的向量差而创建的输入信号进行解码。
CN2006800320751A 2005-07-18 2006-07-18 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法 Expired - Fee Related CN101253774B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20050064992 2005-07-18
KR10-2005-0064992 2005-07-18
KR1020050064992 2005-07-18
PCT/KR2006/002804 WO2007011147A1 (en) 2005-07-18 2006-07-18 Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same

Publications (2)

Publication Number Publication Date
CN101253774A true CN101253774A (zh) 2008-08-27
CN101253774B CN101253774B (zh) 2011-04-06

Family

ID=37668999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800320751A Expired - Fee Related CN101253774B (zh) 2005-07-18 2006-07-18 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法

Country Status (6)

Country Link
US (2) US8369406B2 (zh)
EP (1) EP1905244A4 (zh)
JP (1) JP5020953B2 (zh)
KR (1) KR100789753B1 (zh)
CN (1) CN101253774B (zh)
WO (1) WO2007011147A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098516A (zh) * 2011-03-07 2011-06-15 上海大学 多视点视频解码端去块滤波方法
CN102055968B (zh) * 2009-10-28 2012-08-29 中国移动通信集团公司 多视点视频中丢失的视频数据的恢复方法、系统及设备
CN104284171A (zh) * 2013-07-03 2015-01-14 乐金电子(中国)研究开发中心有限公司 深度图像帧内预测方法及装置
CN104429079A (zh) * 2012-07-09 2015-03-18 三菱电机株式会社 利用运动矢量预测列表处理用于视图合成的多视图视频的方法和系统
CN107037875A (zh) * 2015-10-26 2017-08-11 诺基亚技术有限公司 用于改进的沉浸式内容流化的方法和装置
CN109716763A (zh) * 2016-09-26 2019-05-03 索尼公司 编码设备、编码方法、解码设备、解码方法、发送设备和接收设备

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
AU2007243933B2 (en) * 2006-03-29 2012-09-13 Interdigital Madison Patent Holdings Multi-view video coding method and device
US8358693B2 (en) * 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
KR100941608B1 (ko) * 2006-10-17 2010-02-11 경희대학교 산학협력단 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
US10298952B2 (en) 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
KR101407719B1 (ko) * 2008-01-14 2014-06-16 광주과학기술원 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
KR101385884B1 (ko) * 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
KR100980780B1 (ko) * 2008-06-16 2010-09-10 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
BRPI0911016B1 (pt) * 2008-07-24 2021-01-05 Koninklijke Philips N.V. método de provisão de um sinal de imagem tridimensional, sistema de provisão de sinal de imagem tridimensional, sinal que contém uma imagem tridimensional, mídia de armazenamento, método de renderização de uma imagem tridimensional, sistema de renderização de imagem tridimensional para renderizar uma imagem tridimensional
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
KR101007325B1 (ko) * 2008-09-18 2011-01-13 한국철도기술연구원 양안영상용 부호화기 및 이를 포함하는 모니터링 시스템
KR101625058B1 (ko) * 2008-11-10 2016-05-27 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
EP2389000A4 (en) 2009-01-19 2014-04-02 Panasonic Corp ENCLOSURE METHOD, DECOMPOSITION METHOD, ENCRYPTION DEVICE, DECOMPOSITION DEVICE, PROGRAM AND INTEGRATED CIRCUIT
AU2011250757B2 (en) * 2009-01-19 2012-09-06 Panasonic Intellectual Property Corporation Of America Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
KR100991184B1 (ko) 2009-02-18 2010-11-01 연세대학교 산학협력단 동영상 부호화 효율 향상을 위한 움직임 벡터 압축 방법 및그 장치, 상기 방법을 구현하는 프로그램이 기록된 기록매체
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
EP2355511A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
KR101628383B1 (ko) 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
KR101138921B1 (ko) * 2010-07-07 2012-05-14 중앙대학교 산학협력단 다중 시점 기반의 비디오 인코딩 장치 및 방법
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
KR101187530B1 (ko) * 2011-03-02 2012-10-02 한국과학기술원 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
GB2501836B (en) * 2011-03-09 2014-08-06 Canon Kk Video encoding
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
BR122015001002B1 (pt) 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
KR20140056276A (ko) * 2011-07-18 2014-05-09 톰슨 라이센싱 접속된 컴포넌트의 오리엔테이션 벡터를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디바이스, 및 그 인코딩된 데이터를 전달하는 저장 매체
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
KR20240027889A (ko) 2011-11-11 2024-03-04 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
WO2013068491A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with exploitation of renderable portions
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
WO2013078248A1 (en) * 2011-11-21 2013-05-30 General Instrument Corporation Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction
US9503756B2 (en) 2011-12-09 2016-11-22 Arris Enterprises, Inc. Encoding and decoding using perceptual representations
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
EP2842337B1 (en) 2012-04-23 2019-03-13 Google LLC Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US10033922B1 (en) * 2012-05-25 2018-07-24 Altia Systems, Inc. Stitching for a multiple imager video system based on a non-linear seam
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
AU2013278195B2 (en) * 2012-06-19 2017-01-19 Lg Electronics Inc. Method and device for processing video signal
KR101966920B1 (ko) * 2012-07-10 2019-04-08 삼성전자주식회사 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
KR102186605B1 (ko) 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
WO2014051321A1 (ko) * 2012-09-28 2014-04-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
KR20220131366A (ko) 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
KR102153539B1 (ko) * 2013-09-05 2020-09-08 한국전자통신연구원 영상 처리 장치 및 방법
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
EP3197163A4 (en) * 2014-10-07 2017-09-13 Samsung Electronics Co., Ltd. Method and device for encoding or decoding multi-layer image, using inter-layer prediction
JP5858119B2 (ja) * 2014-10-15 2016-02-10 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
CN104754360B (zh) * 2015-03-26 2017-11-17 清华大学深圳研究生院 用于自由视点视频编码过程中的负载预测方法及装置
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
CN108353182B (zh) 2015-11-18 2021-06-04 韩国电子通信研究院 用于使用环路内滤波器解码视频的方法及其装置
CN115243040A (zh) 2015-11-23 2022-10-25 韩国电子通信研究院 视频编码/解码方法和记录介质
KR102270228B1 (ko) 2016-07-12 2021-06-28 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
KR102014240B1 (ko) * 2016-09-08 2019-08-27 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
CN109691110B (zh) * 2016-09-08 2023-07-25 佳稳集团有限公司 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置
KR102312285B1 (ko) * 2016-09-08 2021-10-13 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
WO2019039920A1 (ko) * 2017-08-25 2019-02-28 가온미디어 주식회사 가상 현실 영상의 부호화/복호화 방법 및 그 장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608622B1 (en) * 1994-10-14 2003-08-19 Canon Kabushiki Kaisha Multi-viewpoint image processing method and apparatus
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
KR100324610B1 (ko) * 1996-05-28 2002-02-27 모리시타 요이찌 화상예측 복호화장치 및 방법
EP0856995B1 (en) * 1997-01-31 2006-09-13 Victor Company Of Japan, Ltd. Video coding and decoding apparatus with motion compensation
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
EP1104174A4 (en) * 1998-06-09 2006-08-02 Matsushita Electric Ind Co Ltd IMAGE CODERS, IMAGE DECODERS, CHARACTERS AND DATA STORAGE MEDIUM
JP3776595B2 (ja) * 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
JP2001285895A (ja) * 2000-03-30 2001-10-12 Sanyo Electric Co Ltd 画像データ符号化装置及びその方法
KR100331050B1 (ko) 2000-06-01 2002-04-19 송종수 동영상 데이터상의 객체 추적 방법
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4015532B2 (ja) * 2002-11-07 2007-11-28 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体
KR100523930B1 (ko) 2003-01-13 2005-10-26 전자부품연구원 다시점 영상의 압축/복원장치
CN1204757C (zh) 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
JP2005277908A (ja) * 2004-03-25 2005-10-06 Nec Access Technica Ltd 画像処理装置、その画像処理方法およびカメラつき携帯電話
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
JP2005318297A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
JP4532980B2 (ja) * 2004-05-12 2010-08-25 キヤノン株式会社 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US20050276500A1 (en) * 2004-06-15 2005-12-15 Canon Kabushiki Kaisha Image encoding apparatus, and image processing apparatus and its control method
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
EP1835747B1 (en) * 2005-01-07 2019-05-08 Nippon Telegraph And Telephone Corporation Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program
US8031774B2 (en) * 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
US20060198439A1 (en) * 2005-03-01 2006-09-07 Qin-Fan Zhu Method and system for mode decision in a video encoder
US8054882B2 (en) * 2005-05-13 2011-11-08 Streaming Networks (Pvt.) Ltd. Method and system for providing bi-directionally predicted video coding
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055968B (zh) * 2009-10-28 2012-08-29 中国移动通信集团公司 多视点视频中丢失的视频数据的恢复方法、系统及设备
CN102098516A (zh) * 2011-03-07 2011-06-15 上海大学 多视点视频解码端去块滤波方法
CN102098516B (zh) * 2011-03-07 2012-10-31 上海大学 多视点视频解码端去块滤波方法
CN104429079A (zh) * 2012-07-09 2015-03-18 三菱电机株式会社 利用运动矢量预测列表处理用于视图合成的多视图视频的方法和系统
CN104429079B (zh) * 2012-07-09 2016-08-24 三菱电机株式会社 利用运动矢量预测列表处理用于视图合成的多视图视频的方法和系统
CN104284171A (zh) * 2013-07-03 2015-01-14 乐金电子(中国)研究开发中心有限公司 深度图像帧内预测方法及装置
CN104284171B (zh) * 2013-07-03 2017-11-03 乐金电子(中国)研究开发中心有限公司 深度图像帧内预测方法及装置
CN107037875A (zh) * 2015-10-26 2017-08-11 诺基亚技术有限公司 用于改进的沉浸式内容流化的方法和装置
CN109716763A (zh) * 2016-09-26 2019-05-03 索尼公司 编码设备、编码方法、解码设备、解码方法、发送设备和接收设备

Also Published As

Publication number Publication date
US9154786B2 (en) 2015-10-06
EP1905244A1 (en) 2008-04-02
KR100789753B1 (ko) 2008-01-02
JP5020953B2 (ja) 2012-09-05
US20080219351A1 (en) 2008-09-11
KR20070011147A (ko) 2007-01-24
WO2007011147A1 (en) 2007-01-25
EP1905244A4 (en) 2010-12-01
JP2009502084A (ja) 2009-01-22
US20130114699A1 (en) 2013-05-09
US8369406B2 (en) 2013-02-05
CN101253774B (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
CN101253774B (zh) 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
KR100919885B1 (ko) 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
KR100760258B1 (ko) 범용적 다시점 동영상 부호화/복호화 장치 및 방법
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN100512431C (zh) 用于编码和解码立体视频的方法和装置
KR100716992B1 (ko) 스테레오 영상 부호화 및 복호화 방법과 그 장치
US20090190662A1 (en) Method and apparatus for encoding and decoding multiview video
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8798356B2 (en) Apparatus and method for encoding and decoding multi-view image
CN101632313A (zh) 产生立体图像的头部信息的方法和装置
US20110268193A1 (en) Encoding and decoding method for single-view video or multi-view video and apparatus thereof
CN104995916A (zh) 视频数据解码方法和视频数据解码设备
WO2007013194A1 (ja) 画像情報圧縮方法及び自由視点テレビシステム
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
JP6280128B2 (ja) 多視点ビデオ信号の処理方法及び装置
WO2013039348A1 (ko) 영상 정보 시그널링 방법 및 이를 이용한 비디오 디코딩 방법
CN111447442A (zh) 帧内编码方法、帧内解码方法、设备以及介质
US20060133498A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR20110118744A (ko) 쓰리디 티브이 동영상 부호화 방법, 복호화 방법
Meng et al. MDC-Based Robust Stereo Video Coding Using ICP.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110406

Termination date: 20200718