CN105532006B - 视频编码装置及方法以及视频解码装置及方法 - Google Patents

视频编码装置及方法以及视频解码装置及方法 Download PDF

Info

Publication number
CN105532006B
CN105532006B CN201480050745.7A CN201480050745A CN105532006B CN 105532006 B CN105532006 B CN 105532006B CN 201480050745 A CN201480050745 A CN 201480050745A CN 105532006 B CN105532006 B CN 105532006B
Authority
CN
China
Prior art keywords
information
referring
image
prediction
reference area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480050745.7A
Other languages
English (en)
Other versions
CN105532006A (zh
Inventor
杉本志织
志水信哉
小岛明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN105532006A publication Critical patent/CN105532006A/zh
Application granted granted Critical
Publication of CN105532006B publication Critical patent/CN105532006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明是一种对编码对象视频所包含的编码对象图像进行预测编码的视频编码装置。具有：预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定单元，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及预测图像生成单元，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。

Description

视频编码装置及方法以及视频解码装置及方法
技术领域
本发明涉及视频编码装置、视频解码装置、视频编码方法、以及视频解码方法。
本申请基于在2013年10月17日申请的日本特愿2013-216488号要求优先权，并将其内容引用于此。
背景技术
在通常的视频编码中，利用被摄物的空间上/时间上的连续性将视频的各帧分割为处理单位的块，按照每个块在空间上/时间上对其视频信号进行预测，对示出其预测方法的预测信息和预测残差信号进行编码，由此，与对视频信号本身进行编码的情况相比，谋求大幅度的编码效率的提高。此外，在通常的二维视频编码中，进行参照相同的帧内的已经编码完毕的块来对编码对象信号进行预测的帧内预测以及参照已经编码完毕的其他的帧基于运动补偿等来对编码对象信号进行预测的帧间预测。
在此，对多视点视频编码进行说明。多视点视频编码是指对使用多个摄像机拍摄了相同的场景的多个视频利用该视频间的冗余性以高的效率进行编码。关于多视点视频编码，熟悉非专利文献1。
在多视点视频编码中，除了在通常的视频编码中使用的预测方法之外，还使用参照已经编码完毕的另外的视点的视频基于视差补偿对编码对象信号进行预测的视点间预测以及通过帧间预测对编码对象信号进行预测并对其残差信号参照已经编码完毕的另外的视点的视频的编码时的残差信号进行预测的视点间残差预测等方法。关于视点间预测，在MVC（Multiview Video Coding）等多视点视频编码中，统一为帧间预测而被处理为帧间预测（inter prediction），能够在B图片中对2个以上的预测图像进行插值来做成预测图像而也用于双向预测。像这样，在多视点视频编码中，对于能够进行帧间预测和视点间预测双方的图片，能够进行利用帧间预测和视点间预测的双向预测。
在进行帧间预测的情况下，具有得到示出其参照目的地的参照图片索引或运动矢量等参照信息的需要。通常地，参照信息作为预测信息而进行编码并且与视频一起复用，但是，为了削减其码量，有时以某些方法预测参照信息。
在通常的方法中，存在取得已经编码完毕的编码对象图像的周边块在编码时使用的预测信息而采用用于编码对象图像的预测的参照信息的直接方式、将周边块的预测信息名单化为候补名单（Candidate List）并且对识别从名单中取得预测信息的对象块的标识符进行编码的合并方式等。
此外，作为使用这些方法来决定参照信息的预测值进而对与实际的参照信息的差分进行编码并且与视频一起复用的方法，存在运动矢量预测等。
此外，在多视点视频编码中，存在共有与编码对象图像对应的另外的视点的图片上的区域和参照信息的视点间运动预测这样的方法。关于视点间运动预测，熟悉非专利文献2。
此外，作为其他的方法，存在残差预测。残差预测是在对具有高的相关性的2个图像分别进行预测编码的情况下利用了其预测残差也彼此具有相关性的情况的用于抑制预测残差的码量的方法。关于残差预测，熟悉非专利文献3。
在多视点视频编码中使用的视点间残差预测中，从编码对象的预测残差信号减去不同的视点的视频中的与编码对象图像对应的区域的编码时的预测残差信号，由此，能够降低残差信号的能量，提高编码效率。
关于视点间的对应关系，在例如通过视差补偿预测对已经编码完毕的周边块进行编码的情况下，通过其视差矢量，使用设定与编码对象块对应的另外的视点的区域等方法来求取。通过该方法求取的视差矢量被称为“neighboring block based disparityvector（NBDV），基于相邻块的视差矢量”。
视点间残差预测在B图片中使用帧间预测的情况下，除了该预测之外还用作针对残差的进一步处理。
再有，在本说明书中，图像是指活动图像的一个帧或静止图像，将聚集有多个帧（图像）之物（活动图像）称为视频。
现有技术文献
非专利文献
非专利文献1：M. Flierl and B. Girod,“Multiview video compression”,Signal Processing Magazine, IEEE, pp. 66-76, 2007年11月；
非专利文献2：Yang, H., Chang, Y., & Huo, J., “Fine-Granular MotionMatching for Inter-View Motion Skip Mode in Multiview Video Coding”, IEEETransactions on Circuits and Systems for Video Technology, Vol. 19, No. 6,pp. 887-892, 2009年6月；
非专利文献3：X. Wang and J. Ridge,“Improved video coding with residualprediction for extended spatial scalability”, ISCCSP 2008, pp. 1041-1046,2008年3月。
发明内容
发明要解决的课题
在多视点视频编码中，视点间运动预测为有效的码量削减方法，但是，在由于摄像机配置的问题等而在视点间不能共有运动矢量的情况下不会得到效果。
此外，在视点间运动预测或残差预测中，通常采用使用NBDV来决定与编码对象图像对应的另外的视点的图片上的区域这样的方法。这样的方法在编码对象图像具有与周边块相同的运动/视差的情况下为有效，但是，在不是这样的情况下完全不会得到效果。此外，该方法不能在周边块中没有通过视差补偿预测编码后的信息的情况下使用。
在这样的情况下，为了进行视点间运动预测或残差预测而需要追加的视差矢量等的用于得到视点间对应的信息，存在增加码量这样的问题。
本发明是鉴于这样的情况而完成的，其目的在于提供能够通过提高预测图像的精度来削减预测残差编码所需要的码量的视频编码装置、视频解码装置、视频编码方法以及视频解码方法。
用于解决课题的方案
本发明提供一种视频编码装置，对编码对象视频所包含的编码对象图像进行预测编码，其特征在于，具有：预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定单元，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及预测图像生成单元，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。
作为典型例，所述第一参照信息和所述第二参照信息之中的任一个示出与编码对象图像不同的时刻的图像即时间方向上的参照图片上的参照区域，另一个示出与编码对象图像不同的视点的图像即视差方向上的参照图片上的参照区域。
作为优选例，所述预测图像生成单元使用所述第一参照信息来生成第一一次预测图像，使用所述第二参照信息来生成第二一次预测图像，混合所述第一一次预测图像和所述第二一次预测图像，由此，生成所述预测图像。
作为另一优选例，所述预测图像生成单元根据所述第一参照信息来生成第一一次预测图像，根据所述第二参照信息来生成第二一次预测图像，进而使用所述第一参照信息和所述第一参照区域的编码时的预测信息或者所述第一参照信息和所述第二参照信息来进行残差预测，由此，生成所述预测图像。
在该情况下，所述预测图像生成单元根据作为针对所述第一参照区域的预测参照目的地的第三参照区域来生成二次预测图像并且根据所述第一一次预测图像、所述第二一次预测图像和所述二次预测图像进行残差预测来生成所述预测图像。
作为另一优选例，所述第二参照信息决定单元使用对所述第一参照区域的预测编码时的参照信息进行校正后的信息来决定所述第二参照信息。
作为另一典型例，所述第一参照区域的预测编码时的参照信息为运动矢量或者视差矢量。
本发明此外还提供一种视频编码装置，对编码对象视频所包含的编码对象图像进行预测编码，其特征在于，具有：预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定单元，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及候补名单更新单元，将所述第二参照信息添加到对编码对象图像的周边图像的预测信息进行名单化后的候补名单中。
本发明此外还提供一种视频解码装置，对解码对象视频所包含的解码对象图像进行预测解码，其特征在于，具有：第二参照信息决定单元，根据基于编码后的预测信息或在该视频解码装置中能够参照的信息的第一参照信息所示的参照目的地即第一参照区域的预测解码时的参照信息来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及预测图像生成单元，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。
作为典型例，所述第一参照信息和所述第二参照信息之中的任一个示出与编码对象图像不同的时刻的图像即时间方向上的参照图片上的参照区域，另一个示出与编码对象图像不同的视点的图像即视差方向上的参照图片上的参照区域。
作为优选例，所述预测图像生成单元使用所述第一参照信息来生成第一一次预测图像，使用所述第二参照信息来生成第二一次预测图像，混合所述第一一次预测图像和所述第二一次预测图像，由此，生成所述预测图像。
作为另一优选例，所述预测图像生成单元根据所述第一参照信息来生成第一一次预测图像，根据所述第二参照信息来生成第二一次预测图像，进而使用所述第一参照信息和所述第一参照区域的解码时的预测信息或者所述第一参照信息和所述第二参照信息来进行残差预测，由此，生成所述预测图像。
在该情况下，所述预测图像生成单元根据作为针对所述第一参照区域的预测参照目的地的第三参照区域来生成二次预测图像并且根据所述第一一次预测图像、所述第二一次预测图像和所述二次预测图像进行残差预测来生成所述预测图像。
作为另一优选例，所述第二参照信息决定单元使用对所述第一参照区域的预测解码时的参照信息进行校正后的信息来决定所述第二参照信息。
作为另一典型例，所述第一参照区域的预测解码时的参照信息为运动矢量或者视差矢量。
本发明此外还提供一种视频解码装置，对解码对象视频所包含的解码对象图像进行预测解码，其特征在于，具有：预测单元，将已经解码完毕的图像作为参照图片来预测解码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定单元，根据所述第一参照区域的预测解码时的参照信息来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及候补名单更新单元，将所述第二参照信息添加到对解码对象图像的周边图像的预测信息进行名单化后的候补名单中。
本发明此外还提供一种视频编码方法，所述视频编码方法是对编码对象视频所包含的编码对象图像进行预测编码的视频编码装置所进行的视频编码方法，所述方法的特征在于，具备：预测步骤，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定步骤，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及预测图像生成步骤，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。
本发明此外还提供一种视频编码方法，所述视频编码方法是对编码对象视频所包含的编码对象图像进行预测编码的视频编码装置所进行的视频编码方法，所述方法的特征在于，具备：预测步骤，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定步骤，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及候补名单更新步骤，将所述第二参照信息添加到对编码对象图像的周边图像的预测信息进行名单化后的候补名单中。
本发明此外还提供一种视频解码方法，所述视频解码方法是对解码对象视频所包含的解码对象图像进行预测解码的视频解码装置所进行的视频解码方法，所述方法的特征在于，具备：第二参照信息决定步骤，根据基于编码后的预测信息或在该视频解码装置中能够参照的任一个信息的第一参照信息所示的参照目的地即第一参照区域的预测解码时的参照信息来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及预测图像生成步骤，基于所述第二参照信息或者所述第一参照信息和所述第二参照信息双方来生成预测图像。
本发明此外还提供一种视频解码方法，所述视频解码方法是对解码对象视频所包含的解码对象图像进行预测解码的视频解码装置所进行的视频解码方法，所述方法的特征在于，具备：预测步骤，将已经解码完毕的图像作为参照图片来预测解码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；第二参照信息决定步骤，根据所述第一参照区域的预测解码时的参照信息来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及候补名单更新步骤，将所述第二参照信息添加到对解码对象图像的周边图像的预测信息进行名单化后的候补名单中。
发明效果
根据本发明，得到以下这样的效果，能够提高预测图像的精度，因此，能够削减预测残差编码所需要的码量。
附图说明
图1是示出本发明的第一实施方式的视频编码装置100的结构的框图。
图2是示出图1所示的视频编码装置100的处理工作的流程图。
图3是示出图1所示的视频编码装置100的处理工作的说明图。
图4是示出本发明的第一实施方式的视频解码装置200的结构的框图。
图5是示出图4所示的视频解码装置200的处理工作的流程图。
图6是示出本发明的第二实施方式的视频编码装置100a的结构的框图。
图7是示出图6所示的视频编码装置100a的处理工作的流程图。
图8是示出图6所示的视频编码装置100a的处理工作的说明图。
图9是同样地示出图6所示的视频编码装置100a的处理工作的说明图。
图10是示出本发明的第二实施方式的视频解码装置200a的结构的框图。
图11是示出图10所示的视频解码装置200a的处理工作的流程图。
图12是示出本发明的第三实施方式的视频编码装置100b的结构的框图。
图13是示出图12所示的视频编码装置100b的处理工作的流程图。
图14是示出图12所示的视频编码装置100b的处理工作的说明图。
图15是示出本发明的第三实施方式的视频解码装置200b的结构的框图。
图16是示出图15所示的视频解码装置200b的处理工作的流程图。
具体实施方式
以下，参照附图来说明本发明的实施方式。
<第一实施方式>
首先，对第一实施方式进行说明。图1是示出本发明的第一实施方式的视频编码装置100的结构的框图。
视频编码装置100如图1所示那样具备：编码对象视频输入部101、输入视频存储器102、参照图片存储器103、预测部104、第二参照信息决定部105、预测图像生成部106、减法运算部107、变换、量化部108、逆量化、逆变换部109、加法运算部110、以及熵编码部111。
编码对象视频输入部101将成为编码对象的视频输入到视频编码装置100中。在以下的说明中，将该成为编码对象的视频称为编码对象视频，将特别地进行处理的帧称为编码对象帧或编码对象图片。
输入视频存储器102存储所输入的编码对象视频。
参照图片存储器103存储在此之前编码、解码后的图像。在以下，将所存储的帧称为参照帧或参照图片。
预测部104在存储在参照图片存储器103中的参照图片上进行针对编码对象图像的预测，决定示出作为参照目的地的第一参照区域的第一参照信息，生成第一参照信息或作为能够特别指定第一参照信息的信息的预测信息。
第二参照信息决定部105根据由上述第一参照信息示出的第一参照区域的编码时的预测信息来决定示出作为另外的参照目的地的第二参照区域的第二参照信息。
预测图像生成部106基于上述第二参照信息来生成预测图像。
减法运算部107求取编码对象图像与预测图像的差分值来生成预测残差。
变换、量化部108对所生成的预测残差进行变换、量化来生成量化数据。
逆量化、逆变换部109对所生成的量化数据进行逆量化、逆变换来生成解码预测残差。
加法运算部110将解码预测残差和预测图像相加来生成解码图像。
熵编码部111对量化数据进行熵编码来生成码数据。
接着，参照图2来说明图1所示的视频编码装置100的处理工作。图2是示出图1所示的视频编码装置100的处理工作的流程图。
在此，假设采用编码对象视频为多视点视频之中的一个视频而关于多视点视频按照每个帧1个视点1个视点地对全部视点的视频进行编码并解码的构造。然后，在此，说明对编码对象视频中的某1帧进行编码的处理。按照每个帧重复进行在以下说明的处理，由此，能够实现视频的编码。
首先，编码对象视频输入部101接收编码对象图片（帧）并存储到输入视频存储器102中（步骤S101）。
再有，假设编码对象视频中的若干个帧已经被编码，其解码结果被存储到参照图片存储器103中。此外，假设在与编码对象图片相同的帧之前的能够参照的另外的视点的视频也已经被编码并解码，并且，被存储到参照图片存储器103中。
在视频输入之后，将编码对象图片分割为编码对象块，按照每个块对编码对象图片的视频信号进行编码（步骤S102~S111）。
在以下，将成为编码对象的块的图像称为编码对象块或编码对象图像。针对图片的全部的块重复执行以下的步骤S103~S110的处理。
在按照每个编码对象块重复的处理中，首先，预测部104对编码对象块进行参照参照图片存储器内的参照图片的帧间预测，决定示出作为参照目的地的第一参照区域的信息即第一参照信息，生成第一参照信息或作为能够特别指定第一参照信息的信息的预测信息（步骤S103）。
预测以怎样的方法来进行都可以，第一参照信息和预测信息是怎样的信息都可以。
作为示出参照区域的参照信息，作为通常的信息，存在对参照图片进行特别指定的参照图片索引信息和示出在参照图片上的参照位置的矢量的组合等。作为预测方法，作为通常的方法，存在在成为候补的参照图片上进行匹配（matching）来决定参照信息的方法、被称为直接方式（direct mode）或合并方式（merge mode）的继承用于已经编码完毕的周边块的编码时的预测的参照信息的方法等。
此外，预测信息只要为能够决定第一参照信息的信息，则为怎样的信息都可以。也可以将第一参照信息本身作为预测信息，也可以将能够特别指定在合并方式等中使用的块的识别信息作为预测信息。此外，使用怎样的预测方法、参照信息、预测信息都可以。
关于预测信息，也可以进行编码并与视频的码数据复用，在如前述那样从周边的预测信息或候补名单导出的情况下也可以不进行编码。此外，也可以对预测信息进行预测而对其残差进行编码。
在预测完成之后，第二参照信息决定部105参照基于示出第一参照信息的预测信息的第一参照区域，基于第一参照区域的编码时的预测信息（参照信息）来决定示出作为另外的参照目的地的第二参照区域的第二参照信息（步骤S104）。
第二参照信息与第一参照信息同样地为能够特别指定参照图片和参照位置的信息。此外，参照图片也可以为预先确定的图片，也可以另外决定。例如，假设第二参照区域必须设定在某个特定的视点的视频上，作为第二参照信息，也可以不包含指定参照图片的信息。
此外，第二参照信息的决定怎样进行都可以。在以下，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的例子进行说明。
图3为如下情况下的例子：编码对象图像为视点B的帧n的图片的一部分，由第一参照信息示出的第一参照区域处于视点B的帧m（≠n）的参照图片上，基于第一参照区域的编码时的预测信息的参照图片索引示出视点A（≠B）的帧m的参照图片。
在该情况下，将示出视点A的帧n的参照图片的参照图片索引和基于第一参照区域的编码时的预测信息的视差矢量作为第二参照信息，由此，能够基于第二参照信息来进行视差补偿预测等。
在上述的例子中，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的情况进行了说明，但是，在第一参照区域处于与编码对象视点不同的视点的相同的帧的图片上的情况下，也能够使用同样的方法。此外，关于第一参照区域的预测信息示出相同的视点的进一步不同的帧的情况，进而，也能够使用该区域的预测信息来参照另外的区域等而使用同样的方法。
或者，也能够基于第一参照区域的候补名单中的预测信息或NBDV来决定第二参照信息。此外，使用怎样的方法来决定都可以。
关于第二参照信息，按照怎样的单位的每一个来决定都可以。为每个编码对象块也可，将其以下的尺寸的区域设为子块而按照每个子块来决定也可。此外，子块尺寸怎样决定都可以。也可以为预先确定了的尺寸，也可以从预先确定的尺寸的组之中选择，也可以适当地决定其他的任意的尺寸，也可以按照每个像素来决定第二参照信息。
在适当地决定的情况下，能够基于例如在第一参照区域的编码时的块或子块的尺寸或其他的信息来决定等。例如，在编码对象图像按照将编码对象块进一步分割后的16×16块的每一个具有第一参照信息而在第一参照区域进行编码时按照8×8块的每一个预测的情况下，关于编码对象图像，能够按照8×8块的每一个决定第二参照区域。
此外，在编码对象图像的块尺寸或子块尺寸与在第一参照区域的编码时的尺寸不同的情况下或者在两者的块位置存在偏差的情况下，也可以选择参照范围所包含的多个预测信息之中的一个来用于第二参照信息的决定，也可以使用多个来决定。
例如，也可以预先确定为必须使用参照范围中的左上的预测信息，也可以确定为使用多个预测信息的平均值或中间值等。
此外，也可以在对第一参照区域的预测信息施加校正之后决定第二参照信息。校正的方法为怎样的方法都可以。
例如，能够根据编码对象块的候补名单（周边块的预测信息）中的向量或NBDV和第一参照区域的候补名单中的向量或NBDV来决定将第一参照区域的预测信息与编码对象图像配合的校正系数。此外，校正系数为怎样的系数都可以。也可以为缩放（scaling）或偏移用的参数，也可以为从预先确定的参数之中指定所使用的参数的标识符。
作为其他的方法，也可以使用摄像机参数等视频以外的信息来进行校正。
例如，假设将第二参照区域设定在与第一参照区域的预测信息所示的参照图片不同的视点的参照图片上，在该情况下，等于使用摄像机参数来变换第一参照区域的预测信息的视差矢量来作为第二参照信息也可。此外，也可以对校正用的信息进行编码并与视频复用，也可以对校正系数本身进行编码，也可以对指定预先确定的校正系数的组之中所使用的系数的标识符进行编码。此外，在解码侧得到同样的信息的情况下也可以不进行编码。
在第二参照信息生成完成之后，预测图像生成部106基于第二参照信息来生成预测图像（步骤S105）。
关于预测图像，也可以仅使用第二参照信息根据运动补偿或视差补偿来生成。此外，进而，使用第一参照信息通过运动补偿或视差补偿来生成另一个预测图像，将2个预测图像混合，由此，生成最终的预测图像也可。此外，在双向预测中，进行加权混合而任意地决定其权重也可。
此外，假设按照编码对象块或进而更小的子块等任意的单位的每一个进行任一个预测或双向预测，对示出按照每个单位进行哪一个预测的信息进行编码或在进行加权的混合的情况下对其权重进行编码并与视频一起复用也可。在解码侧能够决定预测方法或权重的情况下，也可以不进行编码。
接着，减法运算部107取得预测图像与编码对象块的差分来生成预测残差（步骤S106）。
接着，在预测残差的生成结束之后，变换、量化部108对预测残差进行变换、量化来生成量化数据（步骤S107）。该变换、量化只要是能够在解码侧正确地进行逆量化、逆变换的变换、量化，则使用怎样的方法都可以。
然后，在变换、量化结束之后，逆量化、逆变换部109对量化数据进行逆量化、逆变换来生成解码预测残差（步骤S108）。
接着，在解码预测残差的生成结束之后，加法运算部110将解码预测残差和预测图像相加来生成解码图像并存储到参照图片存储器103中（步骤S109）。
此时，只要需要，则也可以对解码图像施加环路滤波。在通常的视频编码中，使用去块滤波或其他的滤波来除去编码噪声。
接着，熵编码部111对量化数据进行熵编码来生成码数据，只要需要，则也对预测信息或残差预测信息等附加信息进行编码并与码数据复用（步骤S110），在针对全部块结束处理之后（步骤S111），输出码数据（步骤S112）。
接着，对视频解码装置进行说明。图4是示出本发明的第一实施方式的视频解码装置的结构的框图。
视频解码装置200如图4所示那样具备：码数据输入部201、码数据存储器202、参照图片存储器203、熵解码部204、逆量化、逆变换部205、第二参照信息决定部206、预测图像生成部207、加法运算部208。
码数据输入部201将成为解码对象的视频码数据输入到视频解码装置200中。将该成为解码对象的视频码数据称为解码对象视频码数据，将特别地进行处理的帧称为解码对象帧或解码对象图片。
码数据存储器202对所输入的解码对象视频的码数据进行存储。参照图片存储器203存储已经解码完毕的图像。
熵解码部204对解码对象图片的码数据进行熵解码来生成量化数据，逆量化、逆变换部205对量化数据实施逆量化/逆变换来生成解码预测残差。
第二参照信息决定部206根据基于从熵解码部204接收等的预测信息设定的第一参照区域的编码时的预测信息来决定第二参照信息。
预测图像生成部207基于第二参照信息来生成预测图像。
加法运算部208将解码预测残差和预测图像相加来生成解码图像。
接着，参照图5来说明图4所示的视频解码装置的处理工作。图5是示出图4所示的视频解码装置200的处理工作的流程图。
在此，假设采用解码对象视频为多视点视频之中的一个视频而关于多视点视频按照每个帧一个视点一个视点地对全部视点的视频进行解码的构造。然后，在此，说明对码数据中的某1帧进行解码的处理。按照每个帧重复进行所说明的处理，由此，能够实现视频的解码。
首先，码数据输入部201接收码数据并存储到码数据存储器202中（步骤S201）。
再有，假设解码对象视频中的若干个帧已经被解码，其解码结果被存储到参照图片存储器203中。此外，假设在与解码对象图片相同的帧之前的能够参照的另外的视点的视频也已经被解码，并且，被存储到参照图片存储器203中。
接着，在视频输入之后，将解码对象图片分割为解码对象块，按照每个块对解码对象图片的视频信号进行解码（步骤S202~S208）。
在以下，将成为解码对象的块的图像称为解码对象块或解码对象图像。针对帧全部的块重复执行步骤S203~S207的处理。
在按照每个解码对象块重复的处理中，首先，熵解码部204对码数据进行熵解码（步骤S203）。
逆量化、逆变换部206进行逆量化、逆变换来生成解码预测残差（步骤S204）。在预测信息或其他的附加信息被包含在码数据中的情况下，也对它们进行解码来适当生成需要的信息也可。
第二参照信息决定部206参照基于预测信息的第一参照信息所示的参照图片上的区域即第一参照区域，基于第一参照区域的编码时的预测信息来决定第二参照信息（步骤S205）。
预测信息、第一参照信息和第二参照信息的细节和其决定方法与视频编码装置同样。在第二参照信息生成完成之后，预测图像生成部207基于第二参照信息来生成预测图像（步骤S206）。
接着，在预测图像的生成结束之后，加法运算部208将解码预测残差和预测图像相加来生成解码图像并存储到参照图片存储器中（步骤S207）。
只要需要，则也可以对解码图像施加环路滤波。在通常的视频解码中，使用去块滤波或其他的滤波来除去编码噪声。
然后，在针对全部的块结束处理之后（步骤S208），输出为解码帧（步骤S209）。
<第二实施方式>
接着，对第二实施方式进行说明。图6是示出本发明的第二实施方式的视频编码装置100a的结构的框图。在该图中，对与图1所示的装置相同的部分标注相同的附图标记并省略其说明。
该图所示的装置与图1所示的装置不同的方面为新具备预测方法切换部112的方面。预测方法切换部112决定切换判定信息，所述切换判定信息示出在预测图像生成部106中使用利用第一参照信息和第二参照信息的任一个或者两方的帧间预测之中的哪一个预测方法来生成预测图像。
接着，参照图7来对图6所示的视频编码装置100a的处理工作进行说明。图7是示出图6所示的视频编码装置100a的处理工作的流程图。在图7中，对与图2所示的处理相同的部分标注相同的附图标记并省略其说明。
首先，从步骤S101到S103，进行与图2所示的处理工作同样的处理。
然后，预测方法切换部112决定切换判定信息（步骤S103a），所述切换判定信息示出在预测图像生成部106中使用利用第一参照信息和第二参照信息的任一个或者两方的帧间预测之中的哪一个预测方法来生成预测图像。
关于该切换判定，使用怎样的方法来进行都可以。此外，与第一实施方式的情况同样地，判定按照怎样的单位的每一个来进行都可以。
作为切换判定的方法，也能够例如使用第一参照区域的编码时的预测残差来决定预测方法。在这样的方法中，在某个块中第一参照区域的预测残差多的情况下，假设在该区域中第二参照信息的精度低，能够进行仅使用第一参照信息来进行预测那样的切换。
此外，作为其他的方法，也能够通过参照第二参照区域的编码时的预测信息来与第一参照信息比较来决定预测方法。例如，在第二参照区域的编码时的参照图片为与第一参照信息所示的参照图片相同的帧或视点的情况下，假设在示出它们的参照目的地的向量彼此较大地不同的块中第二参照信息的精度低，能够进行仅使用第一参照信息来进行预测的那样的切换。
此外，作为另外的方法，也存在参照作为第一参照区域的编码时的参照目的地的第三参照区域来决定预测方法这样的方法。关于第三参照区域，怎样决定都可以。例如，也可以参照第一参照区域的编码时的信息来决定，也可以先执行步骤S104来先决定第二参照区域的信息而根据该信息来决定。
在以下，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的例子进行说明。
图8为如下情况下的例子，编码对象图像为视点B的帧n的图片的一部分，由第一参照信息示出的第一参照区域处于视点B的帧m（≠n）的参照图片上，基于第一参照区域的编码时的预测信息的参照图片索引示出视点A（≠B）的帧m的参照图片。
在该情况下，第三参照区域处于视点A（≠B）的帧m的参照图片上。
在该情况下，能够应用如下这样的方法：取得例如第一参照区域的图像与第三参照区域的图像的差分来作为差分图像，基于其来估计利用第二参照信息的预测的精度，在精度低的情况下不使用第二参照信息而使用第一参照信息。
在该情况下，预测精度的估计怎样进行都可以。例如，能够应用如下方法：假设差分图像为在利用第二参照信息的预测中产生的残差，估计块内的残差的绝对量或平均量或者变换编码后的情况下的码量。此外，基于所估计的预测精度或码量等的判定怎样进行都可以。例如，能够应用使用预先确定的阈值来判定的方法等。
此外进而，如图9所示那样，取得第二参照区域的图像与第三参照区域的图像的差分来作为第二差分图像并且与第一差分图像（图8所示的差分图像）一起用于判定也可。在该情况下，能够假设使用所估计的预测精度高的一个来进行判定。
像这样，在也使用第二参照区域的信息来进行判定的情况下，也可以在步骤S103a之前执行步骤S104。
步骤S104的处理与图2所示的处理工作同样地执行。但是，关于通过切换判定而判定为仅使用第一参照信息的子块，也可以不进行步骤S104的第二参照信息决定。
接着，预测图像生成部106基于切换判定信息和第一参照信息或第二参照信息或其双方来生成预测图像（步骤S105a）。在此，在图7的流程图的流程中，采用“第一参照信息或第二参照信息”。
以下，到步骤S106~S112为止的处理与图2所示的处理工作同样地执行。
接着，对视频解码装置进行说明。图10是示出本发明的第二实施方式的视频解码装置200a的结构的框图。在该图中，对与图4所示的装置相同的部分标注相同的附图标记并省略其说明。
该图所示的装置与图4所示的装置不同的方面为新具备预测方法切换部209的方面。预测方法切换部209决定切换判定信息，所述切换判定信息示出在预测图像生成部207中使用利用第一参照信息和第二参照信息的任一个或者两方的帧间预测之中的哪一个预测方法来生成预测图像。
接着，参照图11来说明图10所示的视频解码装置的处理工作。图11是示出图10所示的视频解码装置200a的处理工作的流程图。在图11中，对与图5所示的处理相同的部分标注相同的附图标记并省略其说明。
首先，从步骤S201到S204，进行与图5所示的处理工作同样的处理。
然后，预测方法切换部209决定切换判定信息（步骤S204a），所述切换判定信息示出在预测图像生成部207中使用利用第一参照信息和第二参照信息的任一个或者两方的帧间预测之中的哪一个预测方法来生成预测图像。切换方法或其他的详细的说明与视频编码装置同样。
步骤S205的处理与图5所示的处理工作同样地执行。但是，关于通过切换判定而判定为仅使用第一参照信息的子块，也可以不进行步骤S205的第二参照信息决定。
接着，预测图像生成部207基于切换判定信息和第一参照信息或第二参照信息或其双方来生成预测图像（步骤S206a）。
以下，到步骤S207~S209为止的处理与图5所示的处理工作同样地执行。
<第三实施方式>
接着，对第三实施方式进行说明。图12是示出本发明的第三实施方式的视频编码装置100b的结构的框图。在该图中，对与图1所示的装置相同的部分标注相同的附图标记并省略其说明。
该图所示的装置与图1所示的装置不同的方面为新具备二次预测图像生成部113的方面。二次预测图像生成部113基于第一参照区域的编码时的预测信息，参照作为第一参照区域的编码时的参照目的地的第三参照区域，生成作为第一参照区域的编码时的预测图像的二次预测图像。
接着，参照图13来对图12所示的视频编码装置100b的处理工作进行说明。图13是示出图12所示的视频编码装置100b的处理工作的流程图。在图13中，对与图2所示的处理相同的部分标注相同的附图标记并省略其说明。
首先，从步骤S101到S104，进行与图2所示的处理工作同样的处理。
然后，二次预测图像生成部113基于第一参照区域的编码时的预测信息，参照作为第一参照区域的编码时的参照目的地的第三参照区域，通过运动补偿或视差补偿来生成上述的二次预测图像（步骤S105b）。
第三参照区域的决定怎样实施都可以。例如，也可以使用在步骤S104中生成的第二参照信息来决定，也可以另外参照第一参照区域的编码时的预测信息。此外，与第一实施方式中的决定第二参照区域的情况同样地，按照怎样的单位的每一个进行决定也可。该单位也可以为与决定第二参照信息时相同的单位，也可以为不同的单位。
在生成二次预测图像之后，预测图像生成部106基于第一参照信息来生成第一一次预测图像，基于第二参照信息来生成第二一次预测图像，根据第一一次预测图像、第二一次预测图像和二次预测图像来生成预测图像（步骤S105c）。
预测图像的生成怎样进行都可以。在以下，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图像上的例子进行说明。
图14为如下情况下的例子：编码对象图像为视点B的帧n的图片的一部分，由第一参照信息示出的第一参照区域处于视点B的帧m（≠n）的参照图片上，基于第一参照区域的编码时的预测信息的参照图片索引示出视点A（≠B）的帧m的参照图片。
在该情况下，第三参照区域处于视点A（≠B）的帧m的参照图片上。
在该例子中，在对第一一次预测图像实施残差预测来生成预测图像的情况下，将第二一次预测图像与二次预测图像的差分（图14中的第一差分图像）作为其运动补偿中的残差的预测值并加上第一一次预测图像，由此，能够生成预测图像。
在此，在将第一一次预测图像设为I1，将第二一次预测图像设为I2，将二次预测图像设为I3时，预测图像I由（1）式来表示。
I= I1+（I2- I3） …（1）。
在预测图像生成中，也可以基于上述（1）式来一下生成预测图像，也可以通过在另外生成差分图像之后进一步加上第一一次预测图像来生成预测图像。此外，使用怎样的顺序进行残差预测来生成预测图像都可以。
此外，在对第二一次预测图像实施残差预测的情况下，也能够使用相同的式子来生成预测图像（当对第二一次预测图像加上图14中的第二差分图像时与（1）式等效）。
再有，在上述的例子中，对第一参照区域处于与编码对象视点相同的视点的不同的帧的图片上的情况进行了说明，但是，在第一参照区域处于与编码对象视点不同的视点的相同的帧的图片上的情况下，也能够使用同样的方法。
以下，到步骤S106~S112为止的处理与图2所示的处理工作同样地执行。
接着，对视频解码装置进行说明。图15是示出本发明的第三实施方式的视频解码装置200b的结构的框图。在该图中，对与图4所示的装置相同的部分标注相同的附图标记并省略其说明。
该图所示的装置与图4所示的装置不同的方面为新具备二次预测图像生成部210的方面。二次预测图像生成部210基于第一参照区域的编码时的预测信息，参照作为第一参照区域的编码时的参照目的地的第三参照区域，生成作为第一参照区域的编码时的预测图像的二次预测图像。
接着，参照图16来对图15所示的视频解码装置200b的处理工作进行说明。图16是示出图15所示的视频解码装置200b的处理工作的流程图。在图16中，对与图5所示的处理相同的部分标注相同的附图标记并省略其说明。
首先，从步骤S201到S205，进行与图5所示的处理工作同样的处理。
然后，二次预测图像生成部210基于第一参照区域的编码时的预测信息，参照作为第一参照区域的编码时的参照目的地的第三参照区域，通过运动补偿或视差补偿来生成上述的二次预测图像（步骤S206b）。详细的工作与视频编码装置的说明同样。
在生成二次预测图像之后，预测图像生成部207基于第一参照信息来生成第一一次预测图像，基于第二参照信息来生成第二一次预测图像，根据第一一次预测图像、第二一次预测图像和二次预测图像来生成预测图像（步骤S206c）。详细的工作与视频编码装置的说明同样。
以下，到步骤S207~S209为止的处理与图5所示的处理工作同样地执行。
再有，在前述的第二实施方式中，按照每个块或子块切换预测方法来生成预测图像，但是，假设不进行切换而进行使用了第一参照区域和第二参照区域双方的双向预测，决定进行双向预测时的权重也可。
该权重也可以通过使用前述那样的第一参照区域的预测残差或者第二参照区域的预测残差或者第三参照区域或差分图像来估计预测精度的方法来决定。此外，作为另外的方法，参照编码对象块的周边块以及第一参照区域和第二参照区域的周边块来决定最适合的权重等也可。
此外，在前述的第三实施方式中，参照作为第一参照区域的编码时的参照目的地的第三参照区域来生成二次预测图像而用于残差预测，但是，作为另外的方法，蓄积第一参照区域的编码时的预测残差而使用该蓄积的预测残差来进行残差预测也可。
将所蓄积的预测残差设为R，在该情况下，（1）式如下述的（2）式那样变形，能够仅根据第一参照区域的预测残差和第二参照区域来生成预测图像。或者，也能够通过从第一参照区域的图像减去所蓄积的预测残差，从而生成二次预测图像，使用其以与第三实施方式相同的方法生成预测图像。
I=I1+R …（2）。
此外，在前述的第一~第三实施方式中，说明了将所决定的第二参照信息用于编码对象块的预测的情况下的处理，但是，在编码对象块的处理中不使用所决定的第二参照信息而在合并方式中对所使用的候补名单（candidate list）进行追加也可。或者，在用于预测之后进一步对候补名单进行追加也可。或者，在第二参照信息为视差矢量的情况下，也可以进行存储，以便在以后的块中作为NBDV使用。此外，也可以用作矢量预测的预测值，也可以对为此的候补名单进行追加。
此外，在前述的第一~第三实施方式中，说明了使用第一参照区域的编码时的预测信息来决定第二参照信息的情况下的处理，但是，也可以根据第一参照区域的编码时的候补名单或NBDV等周边块的信息来决定第二参照信息。也可以从候补之中选择一个，也可以使用多个候补来决定。
此外，进而，也可以使用编码对象块的候补名单或NBDV等周边块的信息。例如，通常在决定编码对象块的NBDV时，从周边块的编码时的视差矢量的名单中基于预先确定的规则来决定NBDV，但是，假设在此时与第一参照区域的周边块的编码时的视差矢量的名单对照来选择适用的视差矢量也可。
此外，在前述的第一~第三实施方式中，对编码对象块与单向预测同样地具有1个第一参照信息的情况下的处理进行了说明，但是，如通常的双向预测那样提供2个以上的第一参照信息也可。在该情况下，针对双向决定第二参照信息来实施前述的处理也可，仅对一个方向来实施也可。
此外，在前述的第一~第三实施方式中，对第一参照区域的编码时的预测方法为单向预测的情况下的处理进行了说明，但是，第一参照区域的编码时的预测方法也可以为双向预测。此外，在该情况下，根据示出任一个预测方向的预测信息来决定第二参照区域也可，根据双方的预测信息决定仅一个第二参照区域也可，根据各个预测信息一个一个地决定也可。在一个一个地决定的情况下，通过在前述的第一~第三实施方式中说明了的那样的处理分别生成预测图像，通过它们的混合来生成最终的预测图像也可。
此外，在前述的第一~第三实施方式中，对将在第二参照信息的决定中使用的第一参照区域用于预测的方法进行了说明，但是，也可以将与在第二参照区域的决定中使用的第一参照区域不同的区域用于预测。
例如，对两个预测信息进行编码，将一个用于预测，将另一个用于第二参照区域的决定等也可。或者，编码后的预测信息仅用于通常的预测，另外决定用于使用候补名单或NBDV等来决定第二参照信息的第一参照信息等也可。
此外，使用第二参照信息来校正或新生成第一参照信息等也可。例如，在第一参照信息为视差矢量而视差矢量所示的参照目的地的编码时的运动矢量为第二参照信息的情况下，取得第二参照信息所示的参照目的地的编码时的视差矢量来作为新的第一参照信息而用于预测等也可，例如，在第一参照信息为运动矢量而根据运动矢量所示的参照目的地的深度图来得到第二参照信息的情况下，取得第二参照信息所示的参照目的地的编码时的运动矢量来作为新的第一参照信息而用于预测等也可。采用新的第一参照信息来用于预测等也可。
此外，将在前述的第一~第三实施方式中说明了的方法彼此组合也可，组合其他的怎样的方法都可以。
例如，利用在第一实施方式中说明了的方法使用编码后的视差矢量来取得运动矢量，通过运动补偿预测来生成一次预测图像，进而使用上述的编码后的视差矢量来进行残差预测等也可。
此外，代替原来的编码后的视差矢量而使用运动矢量所示的参照目的地的编码时的视差矢量来进行残差预测等也可。
此外，使用编码后的视差矢量和参照目的地的编码时的视差矢量来进行所取得的运动矢量的校正等也可。
在上述的例子中，视差矢量和运动矢量彼此相反也可。
此外，关于前述的第一~第三实施方式中的一部分处理，其顺序也可以进行前后颠倒。
如以上说明的那样，使用编码后的运动/视差矢量或者由直接方式/合并方式或视点间运动预测或其他的方法得到的运动/视差矢量，参照已经编码完毕的图片上的区域，此外，进而，取得该参照区域的编码时的参照图片索引或运动/视差矢量等参照信息。由此，在不对追加的矢量进行编码的情况下实施精度高的帧间预测或与原来的运动/视差矢量组合的双向预测或残差预测等，提高预测图像的精度，由此，能够削减预测残差编码所需要的码量。
也可以使用计算机来实现前述的实施方式中的视频编码装置、视频解码装置。在该情况下，将用于实现该功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，由此，也可以实现。
再有，在此所说的“计算机系统”包含OS、周围设备等硬件。
此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可移动介质、内置在计算机系统中的硬盘等存储装置。
进而，“计算机可读取的记录介质”还可以包含像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间的期间动态地保持程序的记录介质、像在该情况下的成为服务器或客户端的计算机系统内部的易失性存储器那样将程序保持固定时间的记录介质。
此外，上述程序可以是用于实现前述的功能的一部分的程序，进而，也可以是能够以与已经记录在计算机系统中的程序的组合来实现前述的功能的程序，也可以是使用PLD（Programmable Logic Device，可编程逻辑器件）、FPGA（Field Programmable GateArray，现场可编程门阵列）等硬件来实现的程序。
以上，参照附图来说明了本发明的实施方式，但是，上述实施方式只不过是本发明的例示，明显的是本发明并不限定于上述实施方式。因此，也可以在不偏离本发明的技术思想和范围的范围内进行结构要素的追加、省略、置换、其它变更。
产业上的可利用性
能够应用于通过在不对追加的运动/视差矢量进行编码的情况下高精度地实施精度高的运动/视差补偿预测或与原来的运动/视差矢量组合的双向预测或残差预测等来提高预测图像的精度而削减预测残差编码所需要的码量不可缺少的用途。
附图标记的说明
101…编码对象视频输入部
102…输入视频存储器
103…参照图片存储器
104…预测部
105…第二参照信息决定部
106…预测图像生成部
107…减法运算部
108…变换、量化部
109…逆量化、逆变换部
110…加法运算部
111…熵编码部
112…预测方法切换部
113…二次预测图像生成部
201…码数据输入部
202…码数据存储器
203…参照图片存储器
204…熵解码部
205…逆量化、逆变换部
206…第二参照信息决定部
207…预测图像生成部
208…加法运算部
209…预测方法切换部
210…二次预测图像生成部。

Claims (16)

1.一种视频编码装置，对编码对象视频所包含的编码对象图像进行预测编码，其特征在于，具有：
预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；
第二参照信息决定单元，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及
预测图像生成单元，根据所述第一参照信息来生成第一一次预测图像，根据所述第二参照信息来生成第二一次预测图像，根据作为针对所述第一参照区域的预测参照目的地的第三参照区域来生成二次预测图像，将所述第一一次预测图像和所述第二一次预测图像的任一个与所述二次预测图像的差分图像加上所述第一一次预测图像和所述第二一次预测图像的另一个来生成预测图像。
2.一种视频编码装置，对编码对象视频所包含的编码对象图像进行预测编码，其特征在于，具有：
预测单元，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；
第二参照信息决定单元，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；
判定单元，基于作为所述第一参照区域的预测编码时的参照目的地的第三参照区域来判定是使用所述第一参照信息还是使用所述第一参照信息和所述第二参照信息；以及
预测图像生成单元，基于所述判定单元的判定结果而使用所述第一参照信息或者使用所述第一参照信息和所述第二参照信息来生成预测图像。
3.根据权利要求1或权利要求2所述的视频编码装置，其特征在于，所述第一参照信息和所述第二参照信息之中的任一个示出与编码对象图像不同的时刻的图像即时间方向上的参照图片上的参照区域，另一个示出与编码对象图像不同的视点的图像即视差方向上的参照图片上的参照区域。
4.根据权利要求1或权利要求2所述的视频编码装置，其特征在于，所述第二参照信息决定单元使用对所述第一参照区域的预测编码时的参照信息进行校正后的信息来决定所述第二参照信息。
5.根据权利要求1或权利要求2所述的视频编码装置，其特征在于，所述第一参照区域的预测编码时的参照信息为运动矢量或者视差矢量。
6.根据权利要求1或权利要求2所述的视频编码装置，其特征在于，还具有：
候补名单更新单元，将所述第二参照信息添加到对编码对象图像的周边图像的预测信息进行名单化后的候补名单中。
7.一种视频解码装置，对解码对象视频所包含的解码对象图像进行预测解码，其特征在于，具有：
第二参照信息决定单元，根据基于编码后的预测信息或在该视频解码装置中能够参照的信息的第一参照信息所示的参照目的地即第一参照区域的预测解码时的参照信息来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及
预测图像生成单元，根据所述第一参照信息来生成第一一次预测图像，根据所述第二参照信息来生成第二一次预测图像，根据作为针对所述第一参照区域的预测参照目的地的第三参照区域来生成二次预测图像，将所述第一一次预测图像和所述第二一次预测图像的任一个与所述二次预测图像的差分图像加上所述第一一次预测图像和所述第二一次预测图像的另一个来生成预测图像。
8.一种视频解码装置，对解码对象视频所包含的解码对象图像进行预测解码，其特征在于，具有：
第二参照信息决定单元，根据基于编码后的预测信息或在该视频解码装置中能够参照的信息的第一参照信息所示的参照目的地即第一参照区域的预测解码时的参照信息来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；
判定单元，基于作为所述第一参照区域的预测编码时的参照目的地的第三参照区域来判定是使用所述第一参照信息还是使用所述第一参照信息和所述第二参照信息；以及
预测图像生成单元，基于所述判定单元的判定结果而使用所述第一参照信息或者使用所述第一参照信息和所述第二参照信息来生成预测图像。
9.根据权利要求7或权利要求8所述的视频解码装置，其特征在于，所述第一参照信息和所述第二参照信息之中的任一个示出与编码对象图像不同的时刻的图像即时间方向上的参照图片上的参照区域，另一个示出与编码对象图像不同的视点的图像即视差方向上的参照图片上的参照区域。
10.根据权利要求7或权利要求8所述的视频解码装置，其特征在于，所述第二参照信息决定单元使用对所述第一参照区域的预测解码时的参照信息进行校正后的信息来决定所述第二参照信息。
11.根据权利要求7或权利要求8所述的视频解码装置，其特征在于，所述第一参照区域的预测解码时的参照信息为运动矢量或者视差矢量。
12.根据权利要求7或权利要求8所述的视频解码装置，其特征在于，还具有：
候补名单更新单元，将所述第二参照信息添加到对解码对象图像的周边图像的预测信息进行名单化后的候补名单中。
13.一种视频编码方法，所述视频编码方法是对编码对象视频所包含的编码对象图像进行预测编码的视频编码装置所进行的视频编码方法，所述方法的特征在于，具备：
预测步骤，将已经编码完毕的图像作为参照图片来预测编码对象图像，决定示出作为参照目的地的第一参照区域的第一参照信息；
第二参照信息决定步骤，根据所述第一参照区域的预测编码时的参照信息来决定示出作为针对编码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及
预测图像生成步骤，根据所述第一参照信息来生成第一一次预测图像，根据所述第二参照信息来生成第二一次预测图像，根据作为针对所述第一参照区域的预测参照目的地的第三参照区域来生成二次预测图像，将所述第一一次预测图像和所述第二一次预测图像的任一个与所述二次预测图像的差分图像加上所述第一一次预测图像和所述第二一次预测图像的另一个来生成预测图像。
14.根据权利要求13所述的视频编码方法，所述方法的特征在于，还具备：
候补名单更新步骤，将所述第二参照信息添加到对编码对象图像的周边图像的预测信息进行名单化后的候补名单中。
15.一种视频解码方法，所述视频解码方法是对解码对象视频所包含的解码对象图像进行预测解码的视频解码装置所进行的视频解码方法，所述方法的特征在于，具备：
第二参照信息决定步骤，根据基于编码后的预测信息或在该视频解码装置中能够参照的任一个信息的第一参照信息所示的参照目的地即第一参照区域的预测解码时的参照信息来决定示出作为针对解码对象图像的另外的参照目的地的第二参照区域的第二参照信息；以及
预测图像生成步骤，根据所述第一参照信息来生成第一一次预测图像，根据所述第二参照信息来生成第二一次预测图像，根据作为针对所述第一参照区域的预测参照目的地的第三参照区域来生成二次预测图像，将所述第一一次预测图像和所述第二一次预测图像的任一个与所述二次预测图像的差分图像加上所述第一一次预测图像和所述第二一次预测图像的另一个来生成预测图像。
16.根据权利要求15所述的视频解码方法，所述方法的特征在于，还具备：
候补名单更新步骤，将所述第二参照信息添加到对解码对象图像的周边图像的预测信息进行名单化后的候补名单中。
CN201480050745.7A 2013-10-17 2014-10-10 视频编码装置及方法以及视频解码装置及方法 Active CN105532006B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013216488 2013-10-17
JP2013-216488 2013-10-17
PCT/JP2014/077210 WO2015056647A1 (ja) 2013-10-17 2014-10-10 映像符号化装置及び方法、及び、映像復号装置及び方法

Publications (2)

Publication Number Publication Date
CN105532006A CN105532006A (zh) 2016-04-27
CN105532006B true CN105532006B (zh) 2019-06-25

Family

ID=52828091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480050745.7A Active CN105532006B (zh) 2013-10-17 2014-10-10 视频编码装置及方法以及视频解码装置及方法

Country Status (5)

Country Link
US (1) US10972751B2 (zh)
JP (1) JPWO2015056647A1 (zh)
KR (1) KR101792089B1 (zh)
CN (1) CN105532006B (zh)
WO (1) WO2015056647A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101569202A (zh) * 2006-10-30 2009-10-28 日本电信电话株式会社 活动图像编码方法和解码方法、其装置、以及其程序和记录有程序的记录介质
WO2012108315A1 (ja) * 2011-02-07 2012-08-16 シャープ株式会社 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
WO2013001813A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023652A (ja) 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
WO2013001749A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
KR20130023444A (ko) 2011-08-29 2013-03-08 한양대학교 산학협력단 다단계 화면간 예측을 이용한 영상 부호화/복호화 장치 및 방법
US9357212B2 (en) * 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9948951B2 (en) * 2012-12-26 2018-04-17 Sharp Kabushiki Kaisha Image decoding device which generates a predicted image of a target prediction unit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101569202A (zh) * 2006-10-30 2009-10-28 日本电信电话株式会社 活动图像编码方法和解码方法、其装置、以及其程序和记录有程序的记录介质
WO2012108315A1 (ja) * 2011-02-07 2012-08-16 シャープ株式会社 予測情報生成方法、画像符号化方法、画像復号方法、予測情報生成装置、予測情報生成プログラム、画像符号化装置、画像符号化プログラム、画像復号装置および画像復号プログラム
WO2013001813A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Also Published As

Publication number Publication date
JPWO2015056647A1 (ja) 2017-03-09
US10972751B2 (en) 2021-04-06
KR20160043090A (ko) 2016-04-20
KR101792089B1 (ko) 2017-11-01
WO2015056647A1 (ja) 2015-04-23
US20160227246A1 (en) 2016-08-04
CN105532006A (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
KR101276720B1 (ko) 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US20160044329A1 (en) Image Predictive Coding Method and Image Encoder
RU2768377C1 (ru) Способ и устройство для видеокодирования c использованием улучшенного режима слияния с разностью векторов движения
CN107690810A (zh) 确定用于视频译码的照明补偿状态的系统及方法
CN104303502A (zh) 用于3d-hevc的视差向量建构方法
CN104170380A (zh) 视频译码中的视差矢量预测
CN104904213A (zh) 可缩放及多视角视频译码中的高级残差预测
CN103503460A (zh) 视频译码中的运动向量预测
TW202021354A (zh) 運動向量預測器清單產生
CN105308956A (zh) 用于深度图帧内译码的预测子
US20130188884A1 (en) Method for encoding and decoding images and apparatus for encoding and decoding using same
KR102572012B1 (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치
CN106063273A (zh) 图像编码装置及方法、图像解码装置及方法、以及它们的程序
KR101836981B1 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
JP2015128252A (ja) 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体
CN105532006B (zh) 视频编码装置及方法以及视频解码装置及方法
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
KR20140051789A (ko) 3차원 비디오에서의 뷰간 움직임 예측 방법 및 뷰간 병합 후보 결정 방법
JP6690944B2 (ja) 視差動きベクトルの導出、そのような導出を使用した３ｄビデオコーディングおよびデコーディング
US20170019683A1 (en) Video encoding apparatus and method and video decoding apparatus and method
CN105830443A (zh) 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
JP2023554236A (ja) マルチパスデコーダ側動きベクトル改良
KR101261577B1 (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant