CN104885462A - 视频编码装置和方法、视频解码装置和方法、以及其程序 - Google Patents

视频编码装置和方法、视频解码装置和方法、以及其程序 Download PDF

Info

Publication number
CN104885462A
CN104885462A CN201380068047.5A CN201380068047A CN104885462A CN 104885462 A CN104885462 A CN 104885462A CN 201380068047 A CN201380068047 A CN 201380068047A CN 104885462 A CN104885462 A CN 104885462A
Authority
CN
China
Prior art keywords
estimation range
video
predicted picture
prediction
weight coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380068047.5A
Other languages
English (en)
Inventor
杉本志织
志水信哉
木全英明
小岛明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN104885462A publication Critical patent/CN104885462A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

在将构成编码对象视频的各帧分割为多个处理区域而按照每个所述处理区域进行预测编码时，设定作为编码对象图像的各处理区域所相对应的基本参照区域。设定作为该区域所相对应的参照区域的第一参照预测区域和第二参照预测区域，基于针对每一个的第一参照预测图像和第二参照预测图像来决定每个小区域的权重系数。设定作为针对所述编码对象图像的参照区域的第一预测区域和第二预测区域，根据基于它们的第1一次预测图像、第2一次预测图像和所述权重系数来生成预测图像。

Description

视频编码装置和方法、视频解码装置和方法、以及其程序
技术领域
本发明涉及使用双预测编码的视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编码程序和视频解码程序。
本申请基于在2012年12月28日申请的特愿2012-287927号要求优先权，并将其内容引用于此。
背景技术
在通常的视频编码中，利用被摄体的空间上/时间上的连续性，将视频的各帧分割为多个处理单位块，按照每个块在空间上/时间上预测其视频信号，对示出其预测方法的预测信息和预测残差进行编码，由此，与对视频信号本身进行编码的情况相比，谋求大幅度的编码效率的提高。
此外，在通常的二维视频编码中，进行参照相同的帧内的已经编码完毕的块来预测编码对象图像的帧内预测和参照已经解码完毕的其他帧基于运动搜索等来预测编码对象图像的帧间预测。
在包括MPEG（活动图像专家组（Moving Picture Experts Group））-1、MPEG-2和MPEG-4的许多视频压缩标准中，图像的编码/解码顺序与再现顺序不相同，因此，在帧间预测中不仅能够进行参照时间上之前的帧的前向预测，还能够进行参照之后的帧的后向预测，进而能够进行混合来自2个以上的帧的预测结果的双预测。
根据双预测，能够降低由于图像间的旋转、亮度变化、噪声等造成的预测错误。关于双预测，在非专利文献1中详细地记载。
该双预测也能够利用于对空间分辨率不同的视频进行编码的可伸缩（scalable）视频编码、对多视点视频进行编码的多视点视频编码等。
在可伸缩编码中，能够混合根据低分辨率层的解码图像进行高分辨率层的预测的层间预测和帧间预测。
此外，在多视点视频编码中，能够混合根据不同的视点的解码图像进行编码对象视点的预测的视点间预测和帧间预测。
关于可伸缩视频编码，在非专利文献2中详细地记载，关于多视点视频编码，在非专利文献3中详细地记载。
此外，作为能够与通常的预测方式组合的预测方式，也能够利用将编码某个画面时的预测残差用于现在编码对象画面的预测的残差预测。关于该残差预测，在非专利文献4中详细地记载。该方法是利用了在对具有高的相关性的2个画面根据分别对应的参照画面进行预测的情况下其预测残差也彼此具有相关性的预测方式。
在通常的残差预测中，将某个画面的编码时的预测残差从使用另外的参照画面进行预测的现在编码对象画面的预测残差减去，对其差分进行编码。
在可伸缩编码中，对低分辨率层中的预测残差进行上采样，并从高分辨率层中的预测残差减去，由此，能够削减码量。
在多视点视频编码中，从编码对象视点的预测残差减去不同的视点的预测残差，由此，能够实现编码效率的提高。
在此，对自由视点视频编码进行说明。自由视点视频是指，通过使用许多拍摄装置等从各种位置/角度拍摄对象场景来取得场景的光线信息，并以此为基础恢复任意的视点的光线信息，由此，生成从任意的视点观察的视频。
场景的光线信息由各种数据形式表现，但是，作为最通常的形式，存在使用视频和该视频的各帧中的被称为深度图的深度图像的方式（例如，参照非专利文献5）。
深度图是指按照每个像素记述从摄像机到被摄体的距离（进深/深度）的图，是被摄体具有的三维信息的简易的表现。
在从2个摄像机观测同一被摄体时，被摄体中的各像素的深度值与针对该像素的摄像机间的视差的倒数成比例，因此，深度图有时也被称为视差图（视差图像）。与此相对地，有时将深度图对应的摄像机的视频称为纹理（texture）。深度图是图像的各像素每个具有一个值的表现，因此，能够被看作是灰度图像来记述。
此外，作为深度图的时间上连续的记述的深度图视频（在以下不区别图像/视频而称为深度图）与视频信号同样地，由于被摄体的空间上/时间上的连续性，所以可以说具有空间上/时间上相关性。因此，能够利用为了对通常的视频信号进行编码而使用的视频编码方式一边去除空间上/时间上冗余性一边高效地对深度图进行编码。
通常，在纹理与深度图之间存在高的相关性，因此，在如自由视点视频编码那样对纹理和深度图一起编码的情况下，能够利用两者之间的相关性来实现进一步的编码效率的提高。
在非专利文献6中，通过使用于两者的编码的预测信息（块分割、运动矢量、参照帧）共同化来排除冗余性，而实现高效的编码。
再有，在本说明书中，图像是指活动图像的一个帧或者静止图像，将多个帧（图像）聚集的图像（活动图像）称为视频。
现有技术文献
非专利文献
非专利文献1：M. Flierl and B. Girod,“Generalized B pictures and the draft H. 264/AVC video-compression standard,”Circuits and Systems for Video Technology, …, vol. 13, no. 7, pp. 587-597, 2003年；
非专利文献2：H. Schwarz, D. Marpe, and T. Wiegand,“Overview of the scalable video coding extension of the H. 264/AVC standard,”…and Systems for Video…, vol. 17, no. 9, pp. 1103-1120, 2007年9月；
非专利文献3：M. Flierl and B. Girod,“Multiview video compression,”Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007年；
非专利文献4：X. Wang and J. Ridge,“Improved video coding with residual prediction for extended spatial scalability,”Communications, Control and SignalProcessing, 2008. ISCCSP 2008. 3rd International Symposium on, no. March, pp. 1041-1046, 2008年；
非专利文献5：Y. Mori, N. Fukushima, T. Yendo, T. Fujii, and M. Tanimoto,“View generation with 3D warping using depth information for FTV,”Signal Processing, Image Communication, vol. 24, no. 1-2, pp. 65-72, 2009年1月；
非专利文献6：I. Daribo, C. Tillier, and B. P. Popescu, “Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding,”EURASIP Journal onAdvances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009年。
发明内容
发明要解决的课题
可是，以往的双预测混合基于2个不同的参照区域而生成的2个一次预测图像，由此，能够期待针对帧间的亮度变化的补偿、噪声的降低，另一面，在一部分中两个方向的预测较大不同的情况下，预测精度降低。作为针对这样的预测精度的不同的解决方法，存在对两个一次预测图像设定权重系数来混合的方法等。
例如，混合的一次预测图像Pred能够表现为
Pred=〔（P0）（Pred0）〕+〔（P1）（Pred1）〕+D。
在此，P0、P1为权重系数，Pred0、Pred1为基于分别不同的参照区域的1次预测图像，D为偏移系数。
关于权重系数和偏移系数，与分别使用单一的标量值相比，采用按照每个小区域或每个像素设定的系数值更有效，但是，关于为了在解码侧使用而对该系数值进行编码的情况，存在招致位流整体的码量的增大这样的问题。
本发明是鉴于这样的情况而完成的，其目的在于提供能够在不对系数值进行编码的情况下生成高精度的预测图像的视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编码程序和视频解码程序。
用于解决课题的方案
本发明提供一种视频编码装置，在将构成编码对象视频的各帧分割为多个处理区域而按照每个所述处理区域进行预测编码时，根据作为编码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频编码装置的特征在于，具备：
参照预测区域设定单元，针对所述编码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定单元，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定单元，设定作为针对所述编码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成单元，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
所述第一参照预测区域和第二参照预测区域可以基于对所述基本参照区域进行编码时的预测信息来设定。
所述第一预测区域和第二预测区域可以设定为与所述编码对象图像的关系同等于所述第一参照预测区域和所述第二参照预测区域与所述基本参照区域之间的关系。
所述第一参照预测区域和第二参照预测区域可以设定为与所述基本参照区域的关系同等于所述第一预测区域和所述第二预测区域与所述编码对象图像之间的关系。
本发明还提供一种视频解码装置，在将构成视频编码数据的各解码对象帧分割为多个处理区域而按照每个所述处理区域进行解码时，根据作为解码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频解码装置的特征在于，具备：
参照预测区域设定单元，针对所述解码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定单元，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定单元，设定作为针对所述解码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成单元，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
所述第一参照预测区域和第二参照预测区域可以基于对所述基本参照区域进行解码时的预测信息来设定。
所述第一预测区域和第二预测区域可以设定为与所述解码对象图像的关系同等于所述第一参照预测区域和所述第二参照预测区域与所述基本参照区域之间的关系。
所述第一参照预测区域和第二参照预测区域可以设定为与所述基本参照区域的关系同等于所述第一预测区域和所述第二预测区域与所述解码对象图像之间的关系。
作为优选例，还具有：参照预测残差生成单元，其取得基于所述基本参照区域设定的基本参照图像与基于所述第一参照预测区域设定的第一参照预测图像的差分和所述基本参照图像与基于所述第二参照预测区域设定的第二参照预测图像的差分，生成第一参照预测残差和第二参照预测残差，
所述权重系数设定单元基于所述第一参照预测残差和所述第二参照预测残差来设定所述权重系数。
所述基本参照区域可以设定在与所述解码对象图像用不同的摄像机所拍摄的图像上。
在所述视频编码数据的解码对象为深度视频的情况下，所述基本参照区域可以设定在与该深度视频对应的摄像机视频的图像上。
所述第一参照预测区域和所述第二参照预测区域可以利用彼此不同的预测方法来设定。
可以对所述视频编码数据复用示出所述第一参照预测区域和所述第二参照预测区域的至少一个的信息。
可以对所述视频编码数据复用示出用于所述第一参照预测区域和所述第二参照预测区域的设定的至少一个预测方法的信息。
作为典型例，所述小区域为像素。
本发明还提供一种视频编码方法，在将构成编码对象视频的各帧分割为多个处理区域而按照每个所述处理区域进行预测编码时，根据作为编码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频编码方法的特征在于，具备：
参照预测区域设定步骤，在其中，针对所述编码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定步骤，在其中，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定步骤，在其中，设定作为针对所述编码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成步骤，在其中，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
此外，本发明还提供一种视频解码方法，在将构成视频编码数据的各解码对象帧分割为多个处理区域而按照每个所述处理区域进行解码时，根据作为解码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频解码方法的特征在于，具备：
参照预测区域设定步骤，在其中，针对所述解码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定步骤，在其中，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定步骤，在其中，设定作为针对所述解码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成步骤，在其中，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
此外，本发明还提供一种用于使计算机执行前述视频编码方法的视频编码程序。
此外，本发明还提供一种用于使计算机执行前述视频解码方法的视频解码程序。
发明效果
根据本发明，在不对权重系数进行编码的情况下在双预测中按照每个小区域进行加权平均，由此，能够避免预测精度降低，而生成高精度的预测图像。由此，得到能够削减在预测残差编码中需要的码量这样的效果。
附图说明
图1是示出本发明的第一实施方式的视频编码装置的结构的框图。
图2是示出图1所示的视频编码装置100的工作的流程图。
图3是示出该第一实施方式的视频解码装置的结构的框图。
图4是示出图3所示的视频解码装置200的工作的流程图。
图5是示出本发明的第二实施方式的视频编码装置的结构的框图。
图6是示出图5所示的视频编码装置100a的工作的流程图。
图7是示出该第二实施方式的视频解码装置的结构的框图。
图8是示出图7所示的视频解码装置200a的工作的流程图。
图9是通过计算机和软件程序构成视频编码装置的情况下的硬件图。
图10是通过计算机和软件程序构成视频解码装置的情况下的硬件图。
具体实施方式
<第一实施方式>
以下，参照附图对本发明的第一实施方式的视频编码装置进行说明。图1是示出该实施方式的视频编码装置100的结构的框图。
如图1所示，视频编码装置100具备：编码对象视频输入部101、输入帧存储器102、参照帧存储器103、附加视频输入部104、附加视频存储器105、基本参照区域决定部106、第一参照预测部107、第二参照预测部108、第一预测部109、第二预测部110、权重系数设定部111、加权平均部112、减法部113、变换/量化部114、反量化/反变换部115、加法部116、环路滤波部117、以及熵编码部118。
编码对象视频输入部101从外部接收成为编码对象的视频。在以下，将该成为编码对象的视频称为编码对象视频，特别地，将进行处理的帧称为编码对象帧或编码对象图像。
输入帧存储器102存储被输入的编码对象视频。
参照帧存储器103存储在此之前被编码/解码的图像。在以下，将该被存储的帧称为参照帧或参照图像。
附加视频输入部104从外部接收与编码对象视频对应的附加视频。在以下，将该视频称为附加视频，特别地，将与进行处理的编码对象帧对应的帧称为对象附加帧或对象附加图像。
附加视频存储器105存储被输入的附加视频。
基本参照区域决定部106决定与编码对象图像对应的附加图像上的基本参照区域。
第一参照预测部107和第二参照预测部108在被存储的附加图像上决定针对基本参照区域的2个以上参照预测区域，并基于每一个生成参照预测图像。
第一预测部109和第二预测部110在被存储的参照图像上决定针对编码对象图像的2个以上预测区域，并基于每一个生成一次预测图像。
权重系数设定部111基于各参照预测图像决定针对各一次预测图像的权重系数。
加权平均部112对各一次预测图像和设定的权重系数进行乘法运算，并对两个乘法运算结果进行加法运算来生成预测图像。
减法部113取得编码对象图像与预测图像的差分值而生成预测残差。
变换/量化部114对生成的预测残差进行变换/量化而生成量化数据。
反量化/反变换部115对生成的量化数据进行反量化/反变换而生成解码预测残差。
加法部116根据预测图像和预测残差生成解码图像。
环路滤波部117对生成的解码图像施加环路滤波而生成参照帧。
熵编码部118对量化数据进行熵编码而生成码（编码）数据。
接着，参照图2对图1所示的视频编码装置100的工作进行说明。图2是示出图1所示的视频编码装置100的工作的流程图。
图2示出如下情况的处理：估算在与编码对象视频具有相关性的另外的视频上的对应的区域中进行预测的情况下的预测精度，据此估算在编码对象视频中进行同样的预测的情况下的预测精度，由此，决定用于一次预测图像的加权平均的权重系数。
在此，说明对编码对象视频中的某1帧进行编码的处理。通过按照每个帧重复说明的处理，从而能够实现视频全体的编码。
首先，编码对象视频输入部101从外部接收编码对象帧，并存储在输入帧存储器102中。此外，附加视频输入部104从外部接收与编码对象视频对应的附加视频的对象附加帧，并存储在附加视频存储器105中（步骤S101）。
再有，假设编码对象视频中的若干个帧已经被编码，并且，其解码帧存储在参照帧存储器103中。此外，假设在附加视频存储器105上也存储有与在参照帧存储器中存储的解码帧对应的附加帧。
所输入的附加视频是与编码对象视频具有相关性的另外的视频，也可以是与编码对象视频一起复用的那样的视频，只要是能在解码侧得到同等的视频的那样的视频，则能够利用任意的视频。
例如，既能够应用多视点视频中的与编码对象视频不同的视点的视频等来作为附加视频，也能够应用可伸缩视频中的与编码对象视频不同的层的视频等。此外，在编码对象视频为通常的（摄像机）视频的情况下，能够应用与该视频对应的深度图视频等，并且其相反的方式也是可能的。此外，无论将怎样的视频作为附加视频都可以。
此外，在将附加视频与编码对象视频一起编码并复用那样的情况下，作为编码对象视频的附加视频，将已经编码并解码后的附加视频输入到视频编码装置是优选的，但是，也可以不是这样。
接着，在视频输入之后，将编码对象帧分割为多个编码对象块，按照每个块对编码对象帧的视频信号进行编码（步骤S102~S112）。重复执行以下的步骤S103~S111的处理，直到处理了该帧的全部的编码对象块。
在按照每个编码对象块重复的处理中，首先，基本参照区域决定部106决定与编码对象图像对应的对象附加图像上的基本参照区域。
然后，第一参照预测部107和第二参照预测部108的每一个在存储于附加视频存储器105上的参照附加图像上进行针对基本参照区域的任一个预测来决定参照预测区域，基于各个参照预测区域生成第一参照预测图像和第二参照预测图像（步骤S103）。
在此的参照预测区域是指在根据各参照附加图像进行基本参照区域的预测的情况下参照的区域，此时的预测图像是参照预测图像。在预测方法是帧间预测的情况下，对应的区域是参照预测区域，在是帧内预测的情况下，已经解码完毕的相邻区域为参照预测区域。
关于基本参照区域的决定方法，无论使用怎样的方法都可以。
例如，在附加视频是多视点视频中的另外的视点的视频的情况下，可以通过视差搜索将与编码对象图像对应的区域决定为基本参照区域。此外，在附加视频是可伸缩视频的另外的层的视频的情况下，可以将相当于同一位置的区域作为对应的区域而决定为基本参照区域。此外，在附加视频为针对视频的深度图视频、两个视频为其相反的关系的情况下，可以将相当于同一位置的区域决定为基本参照区域。
此外，既可以预先确定示出基本参照区域的信息，也可以根据已经解码完毕的周围块的预测信息等来估计。或者，可以将示出基本参照区域的信息与编码后的视频一起复用。
此外，优选的是，第一参照预测部107和第二参照预测部108选择不同的预测方法或参照预测区域、或者都不同的预测方法和参照预测区域。
关于第一参照预测部107和第二参照预测部108中的决定预测方法、参照附加图像和参照预测区域的方法，只要是能够在解码侧使用预测信息等来正确地决定它们而生成参照预测图像的方法，则无论是怎样的方法都可以。
此外，关于第一参照预测部107和第二参照预测部108中的预测方法的组合，无论是怎样的组合都可以。例如，可以为双方都是帧间预测但参照的画面不同的情况、一个是帧内预测而另一个是帧间预测的情况等任意的组合。
此外，预测方法和参照附加图像无论是怎样的预测方法和参照附加图像都可以。
既可以使用预先确定的预测方法和参照附加图像，也可以与附加视频一起输入任一信息。或者，可以使用与在附加视频的编码/解码时使用的预测方法和参照附加图像相同的预测方法和参照附加图像，还可以在各预测部中进行了运动搜索等任一处理之后决定。
例如，既可以事先确定为假设在第一参照预测部107中进行前向预测并在第二参照预测部108中进行后向预测，也可以预先确定基于帧编号、其他信息来决定预测方法的任一基准。
同样地，既可以假设预先确定参照预测区域，也可以将示出参照预测区域的参照预测信息与附加视频一起输入。此外，既可以使用在周围的区域、附加视频的编码/解码时使用的预测信息、参照预测信息来决定参照预测区域，也可以基于任一信息估计参照预测信息来使用。或者，既可以在各预测部中进行了运动搜索等任一处理之后决定，此外，也可以通过任一方法来决定。
例如，在仅将预测方法决定为任一个的情况下，可以在各预测部中通过确定的预测方法进行预测处理来决定预测区域。此时，既可以将运动矢量等示出区域的信息输入为参照预测信息来使用，也可以基于预先确定的视差量等来决定运动矢量。此外，还可以使用针对视频的深度图等任一附加信息来决定运动矢量。
此外，既可以将示出各预测方法、各参照附加图像和参照预测区域的信息等编码为参照预测信息并与视频的码数据一起复用等，也可以在能在解码侧得到同样的信息的情况下不进行编码。
例如，虽然可以对分别示出各参照附加图像和参照预测区域的参照附加图像ID、参照运动矢量进行编码，但是，存在不对它们进行编码而在解码侧根据解码完毕的周围块等来估计的情况。此外，无论进行怎样的估计都可以。
或者，可以仅对示出一个参照预测区域的信息进行编码而预测示出另一个参照预测区域的信息。
例如，在第一参照预测部107中的预测方法为根据I画面或P画面的前向预测并且第二参照预测部108中的预测方法为根据P画面的后向预测的情况下，存在仅对示出第二参照预测区域的运动矢量进行编码而根据用于第二参照预测区域的周围块的前向预测的运动矢量来估计示出第一参照预测区域的运动矢量的情况等。
此外，在多视点视频的情况下，在第一参照预测部107中的预测方法为视点间预测并且第二参照预测部108中的预测方法为帧间预测的情况下，存在仅对示出第二参照预测区域的参照运动矢量进行编码而根据在对第二参照预测区域的周围块进行预测编码时在视点间预测中使用的视差矢量来估计示出第一参照预测区域的参照视差矢量的情况等。此外，无论使用怎样的组合、方法都可以。
此外，可以仅对作为用于在后述的第一预测部109和第二预测部110中的预测的信息的预测信息进行编码并复用，在解码时根据该预测信息来决定在第一参照预测部107和第二参照预测部108中使用的参照预测信息。
例如，在第一预测部109和第二预测部110中基于任一对应关系来变更在编码时在第一参照预测部107和第二参照预测部108中决定的参照预测信息（参照图像编号、预测矢量等）以使用的情况下，可以对在第一预测部109和第二预测部110中经变更的预测信息进行编码并与码数据复用，在解码时基于在后述的解码侧的第一参照预测部和第二参照预测部中使用的用于回到参照预测信息的对应关系来进行相反的变更。在该情况下，在后述的解码侧的第一预测部和第二预测部中，能够直接利用解码后的预测信息。
关于像这样决定第一参照预测部107和第二参照预测部108中的预测方法、参照附加图像和参照预测区域的方法，无论使用怎样的方法、组合都可以。
接着，第一预测部109和第二预测部110的每一个在存储在参照帧存储器103中的参照图像上进行与第一参照预测部107和第二参照预测部108同样的预测处理来决定参照区域，分别一个一个地生成一次预测图像（步骤S104）。
在此的参照区域是指在根据各参照图像进行编码对象块的预测的情况下参照的区域，此时的预测图像为一次预测图像。
第一预测部109和第二预测部110中的预测方法与在第一参照预测部107和第二参照预测部108中使用的预测方法相同，参照图像与参照预测图像对应，参照区域与参照预测区域对应。关于它们的对应关系，无论是怎样的对应关系都可以。
例如，关于参照图像，能够使用与参照预测图像同一帧编号或对应的帧编号的针对编码对象视频的参照图像。此外，关于参照区域，也能够使用与参照预测区域同一块编号的区域或同一位置的区域，例如，在附加视频为多视点视频的另外的视点的视频的情况下等，也能够参考视差来决定区域。
此外，既可以对示出它们的对应关系的信息进行编码并与视频一起复用，也可以在解码侧进行估计的情况下不进行编码。
此外，在能够根据这样的对应关系和参照预测信息来估计在第一预测部109和第二预测部110中使用的预测信息的情况下，可以不对符合的预测信息进行编码而在解码侧进行估计。
例如，在完全参照同一帧编号的图像通过相同的预测方法进行预测的情况下，可以对在第一预测部109和第二预测部110中使用的参照图像编号、预测矢量使用与在第一参照预测部107和第二参照预测部108中使用的参照图像编号、预测矢量完全相同的参照图像编号、预测矢量。
此外，根据对应关系和参照预测信息无论通过怎样的方法来估计预测信息都可以。此外，在这样的情况下，在根据附加视频的编码时的预测信息生成参照预测信息的情况下，可以不对预测信息和参照预测信息一起编码。
接着，权重系数设定部111参照第一参照预测图像和第二参照预测图像来决定用于对第1一次预测图像和第2一次预测图像进行加权平均的每个小区域的权重系数（步骤S105）。
小区域是比编码对象区域小的单位的区域，可以是预先确定的大小的区域，也可以是适应性地决定的大小的区域，还可以将各像素设为小区域。此外，除了权重系数之外，可以进一步决定偏移系数来使用。
关于权重系数的决定方法，无论使用怎样的方法都可以。
例如，以在基于所决定的权重系数来对第一参照预测图像和第二参照预测图像进行加权平均时生成基本参照区域中的图像这样的假定为基础，将基本参照区域中的附加图像设为Ib，将第一参照预测图像和第二参照预测图像设为Predb1和Predb2，此时，能够应用求取使
︱Ib-[w·Predb1+（1－w）·Predb2]︱
最小化那样的权重系数矩阵w的方法等。
虽然无论使用怎样的方法来求取都可以，但是，例如可以通过通常的最佳化问题的解法来求取，例如，可以选择预先确定的权重系数的模式之中的最好的模式。此外，无论使用怎样的方法都可以。此外，可以对示出该方法的信息进行编码并与视频的码数据复用。
或者，可以将基本参照区域中的图像设为基本参照图像，根据基本参照图像以及第一参照预测图像和第二参照预测图像生成第一参照预测残差和第二参照预测残差来利用。关于生成这些第一参照预测残差和第二参照预测残差的方法，无论使用怎样的方法都可以。
例如，能够应用单纯地从基本参照图像减去参照预测图像来作为参照预测残差那样的方法。此外，可以提供偏移系数，此外无论施加怎样的处理都可以。
此外，关于这些方法、处理的内容、需要的信息，无论怎样决定都可以。可以根据用于附加视频的编码的预测信息来估计，此外，无论使用怎样的方法也可以。此外，可以对示出该方法等的信息进行编码并与视频的码数据一起复用。
关于权重系数生成的方法，无论使用怎样的方法都可以。作为最单纯的方法，能够应用如下那样的方法：例如，在将针对第1一次预测图像和第2一次预测图像的权重系数分别设为W1、W2并且将第一参照预测残差和第二参照预测残差设为ResPred1、ResPred2时，假设
W1=︱ResPred2︱/（︱ResPred1︱＋︱ResPred2︱）
W2=︱ResPred1︱/（︱ResPred1︱＋︱ResPred2︱）。
或者，也考虑如下那样的方法：假设
[数式1]
。
此外，无论设计怎样的参照预测残差的函数来使用都可以，此外，无论使用怎样的方法来决定权重系数都可以。
例如，也考虑预先对若干个组合的一次预测图像决定最佳的权重系数并学习与参照预测残差的相关性的那样的方法。此外，可以生成查找表等来使用。此外，无论使用怎样的方法都可以。
此外，可以对示出该方法的信息进行编码并与视频的码数据进行复用。此外，也可以对示出决定权重系数的方法的信息进行编码并与视频的码数据一起进行复用。
此外，在前述的例子中，仅决定用于各一次预测图像的乘法运算的权重系数，但是，此外也可以决定偏移系数，在后述的加权平均部中进行加法运算来生成预测图像。偏移系数既可以是标量值，也可以是由每个小区域的偏移值构成的系数矩阵。此外，无论怎样决定该偏移系数都可以。
在此，考虑如下那样的情况：在W1、W2为权重系数、Pred1、Pred2分别为一次预测图像、D为偏移系数时，假设
Pred=〔（W1）（Pred1）〕+〔（W2）（Pred2）〕+D。
此外，无论以怎样的形式来决定都可以。此外，既可以与权重系数同时决定，也可以轮流决定。
此外，可以不是采用系数值本身而是采用另外的值来决定。例如，考虑采用针对预先确定的偏移系数的尺度系数来决定的方法等，但是，此外，无论采用怎样的值来决定都可以，无论通过怎样的方法来决定都可以。
接着，加权平均部112分别根据第1一次预测图像和第2一次预测图像基于权重系数来生成（最终）预测图像（步骤S106）。
在此，可以通过使用权重系数来对各一次预测图像进行加权平均来作为预测图像，进而，可以对偏移系数进行加法运算。
接着，减法部113利用预测图像与编码对象图像的差分来生成预测残差（步骤S107）。
然后，变换/量化部114对预测残差进行变换/量化，生成量化数据（步骤S108）。关于该变换/量化，只要能够在解码侧正确地进行反量化/反变换，则无论使用怎样的方法都可以。
接着，反量化/反变换部115对量化数据进行反量化/反变换来生成解码预测残差（步骤S109）。
然后，加法部116对解码预测残差和（最终）预测图像进行加法运算来生成解码图像（步骤S110）。接着，环路滤波部117施加环路滤波并作为参照帧存储在参照帧存储器103中。
关于环路滤波，如果不需要则可以不特别施加，但是，在通常的视频编码中，使用去块滤波或其他滤波来除去编码噪声。
接着，熵编码部118对量化数据进行熵编码，生成码数据（步骤S111）。只要需要，则可以对预测信息、其他附加信息进行编码并包括于码数据。
然后，在对全部的块结束处理之后，输出码数据（步骤S112）。
接着，对本第一实施方式中的视频解码装置进行说明。图3是示出该视频解码装置的结构的框图。
视频解码装置200如图3所示那样具备：码数据输入部201、码数据存储器202、参照帧存储器203、熵解码部204、反量化/反变换部205、附加视频输入部206、附加视频存储部207、基本参照区域决定部208、第一参照预测部209、第二参照预测部210、第一预测部211、第二预测部212、权重系数设定部213、加权平均部214、加法部205、以及环路滤波部216。
码数据输入部201接收成为解码对象的视频码数据。将该成为解码对象的视频码数据称为解码对象视频码数据，特别地，将进行处理的帧称为解码对象帧或解码对象图像。
码数据存储器202存储被输入的解码对象视频。
参照帧存储器203存储已经解码完毕的图像。
熵解码部204对解码对象帧的码数据进行熵解码来生成量化数据，反量化/反变换部205对该量化数据施行反量化/反变换来生成解码预测残差。
附加视频输入部206接收与解码对象视频对应的附加视频。在以下，将该视频称为附加视频，特别地将与进行处理的解码对象帧对应的帧称为对象附加帧或对象附加图像。
附加视频存储器207存储被输入的附加视频。
基本参照区域决定部208决定与解码对象图像对应的附加图像上的基本参照区域。
第一参照预测部209和第二参照预测部210在被存储的附加图像上决定针对基本参照区域的2个以上的参照预测区域，并基于每一个来生成参照预测图像。
第一预测部211和第二预测部212在被存储的参照图像上决定针对解码对象图像的2个以上的预测区域，并基于每一个来生成一次预测图像。
权重系数设定部213基于各参照预测图像来决定针对各一次预测图像的权重系数。
加权平均部214对各一次预测图像和设定的权重系数进行乘法运算，对两者进行加法运算来生成预测图像。
加法部215根据预测图像和解码预测残差来生成解码图像。
环路滤波部216对生成的解码图像施加环路滤波来生成参照帧。
接着，参照图4，对图3所示的视频解码装置200的工作进行说明。图4是示出图3所示的视频解码装置200的工作的流程图。
图4示出如下情况的处理：估算在与解码对象视频具有相关性的另外的视频上的对应的区域中进行预测的情况下的预测精度，据此估算在解码对象视频中进行同样的预测的情况下的预测精度，由此，决定用于一次预测图像的加权平均的权重系数。
在此，说明对码数据中的某1帧进行解码的处理。通过按照每个帧重复说明的处理，从而能够实现视频全体的解码。
首先，码数据输入部201接收码数据，并存储在码数据存储器202中。此外，附加视频输入部206接收与编码对象视频对应的附加视频的对象附加帧，并存储在附加视频存储器207中（步骤S201）。
再有，假设解码对象视频中的若干个帧已经被解码并被存储在参照帧存储器203中。此外，假设在附加视频存储器207上也存储有与在参照帧存储器203中存储的解码帧对应的附加帧。
接着，将解码对象帧分割为多个解码对象块，按照每个块对解码对象帧的视频信号进行解码（步骤S202~S210）。重复执行以下的步骤S203~S209的处理，直到处理了该帧的全部的解码对象块。
在按照每个解码对象块重复的处理中，首先，熵解码部204对码数据进行熵解码来生成量化数据（步骤S203），反量化/反变换部205对该量化数据进行反量化/反变换，生成解码预测残差（步骤S204）。
在预测信息、其他附加信息被包括于码数据的情况下，也可以对它们进行解码来适当地生成需要的信息。
接着，基本参照区域决定部208决定与解码对象图像对应的对象附加图像上的基本参照区域。
然后，第一参照预测部209和第二参照预测部210的每一个在存储于附加视频存储器207上的参照附加图像上进行针对基本参照区域的任一个预测来决定参照预测区域，基于各个参照预测区域生成第一参照预测图像和第二参照预测图像（步骤S205）。
关于基本参照区域的决定方法，只要是能够决定与编码时相同的区域的方法，则无论使用怎样的方法都可以。可以预先确定示出该区域的信息，如果存在与视频一起复用的信息则也可以利用。此外，在示出预测方法、参照预测区域的信息与视频码数据复用的情况下，也可以利用其，特别地，如果能在不使用预测信息的情况下进行与编码时同样的预测，则也可以不具有相关的信息。关于细节，与编码的情况同样。
接着，第一预测部211和第二预测部212的每一个在存储于参照帧存储器203中的参照图像上进行与第一参照预测部209和第二参照预测部210同样的预测处理来决定参照区域，分别一个一个地生成一次预测图像（步骤S206）。
在此，在示出预测方法、预测区域的信息与视频码数据复用的情况下，也可以利用其，特别地，如果能在不使用预测信息的情况下进行与编码时同样的预测，则也可以不具有相关的信息。关于细节，与编码的情况同样，因此，在此，省略详细的说明。
接着，权重系数设定部213参照第一参照预测图像和第二参照预测图像来决定用于对第1一次预测图像和第2一次预测图像进行加权平均的每个小区域的权重系数（步骤S207）。
小区域是比编码对象区域小的单位的区域，可以是预先确定的大小的区域，也可以是适应性地决定的大小的区域，也可以将各像素设为小区域。此外，除了权重系数之外，可以进一步决定偏移系数来使用。此外，如果示出此时使用的决定权重系数的方法的信息等与视频码数据复用，则也可以使用其。在即使不具有相关的信息也能够与编码时同样地生成权重系数的情况下，不具有也可以。
接着，加权平均部214分别根据第1一次预测图像和第2一次预测图像基于权重系数来生成（最终）预测图像（步骤S208）。可以通过使用权重系数对各一次预测图像进行加权平均来作为预测图像，进而，也可以对偏移系数进行加法运算。
接着，加法部215对预测图像和解码预测残差进行加法运算来生成解码图像（步骤S209）。然后，在环路滤波部216中施加环路滤波并作为参照帧存储在参照帧存储器203中。
关于环路滤波，如果不需要则可以不特别施加，但是，在通常的视频编码（也包括解码）中，使用去块滤波或其他滤波来除去编码噪声。
在对全部的块结束了处理之后，将经处理的帧输出为解码帧（步骤S210）。
<第二实施方式>
接着，对本发明的第二实施方式的视频编码装置进行说明。图5是示出该实施方式的视频编码装置100a的结构的框图。在该图中，对与图1所示的装置相同的部分标注相同的附图标记，并省略其说明。
该图所示的装置与图1所示的装置不同之处在于：在图1所示的结构中，来自第一参照预测部107和第二参照预测部108的输出成为第一预测部109和第二预测部110的输入，但是，在图5所示的结构中，来自第一预测部109和第二预测部110的输出成为第一参照预测部107和第二参照预测部108的输入。
图5所示的第一预测部109和第二预测部110在存储的参照图像上决定针对编码对象图像的2个以上的预测区域，并基于每一个来生成预测图像。
此外，图5所示的第一参照预测部107和第二参照预测部108在存储的对象附加图像上决定针对基本参照区域的2个以上的参照预测区域，并基于每一个来生成参照预测图像。
接着，参照图6，对图5所示的视频编码装置100a的工作进行说明。图6是示出图5所示的视频编码装置100a的工作的流程图。
图6示出基于针对编码对象图像的预测信息来生成针对基本参照区域的参照预测图像并将其用于权重系数生成的情况下的处理来作为第二实施方式中的权重系数设定处理。
在图6中，对与图2所示的处理相同的部分标注相同的附图标记，并省略其说明。
首先，步骤S101、S102进行与图2所示的处理工作同样的处理。
接着，第一预测部109和第二预测部110在存储的参照图像上进行针对编码对象图像的任一个预测来分别决定预测区域，并基于每一个来生成第1一次预测图像和第2一次预测图像（步骤S103a）。
关于决定第一预测部109和第二预测部110中的预测方法、参照图像和参照区域的方法，只要能够在解码侧使用预测信息等来正确地决定它们而生成一次预测图像，则无论是怎样的方法都可以。
既可以是与第一实施方式中的参照预测同样的方法，此外，也可以是另外的方法。此外，可以将该预测所需要的信息编码为预测信息，并与视频的码数据一起复用。
接着，在第一参照预测部107和第二参照预测部108的每一个中，在存储于附加视频存储器105中的参照附加图像上进行与第一预测部109和第二预测部110同样的预测处理来决定参照预测区域，分别一个一个地生成参照预测图像（步骤S104a）。
第一参照预测部107和第二参照预测部108中的预测方法与在第一预测部109和第二预测部110中使用的方法相同，参照预测图像与参照图像对应，此外，参照预测区域与参照区域对应。关于它们的对应关系，无论是怎样的关系都可以。细节与第一实施方式同样。
以下，步骤S106~S112的处理与图2所示的处理工作同样。
接着，对本第二实施方式中的视频解码装置进行说明。图7是示出该实施方式的视频解码装置200a的结构的框图。在该图中，对与图3所示的装置相同的部分标注相同的附图标记，并省略其说明。
该图所示的装置与图3所示的装置不同之处在于，在图3所示的结构中，第一参照预测部209和第二参照预测部210的输出成为第一预测部211和第二预测部212的输入，但是，在图7所示的结构中，第一预测部211和第二预测部212的输出成为第一参照预测部209和第二参照预测部210的输入。
图7所示的第一预测部211和第二预测部212在存储的参照图像上决定针对解码对象图像的2个以上的预测区域，并基于每一个来生成预测图像。
此外，图7所示的第一参照预测部209和第二参照预测部210在存储的对象附加图像上决定针对基本参照区域的2个以上的参照预测区域，并基于每一个来生成参照预测图像。
接着，参照图8，对图7所示的视频解码装置200a的工作进行说明。图8是示出图7所示的视频解码装置200a的工作的流程图。
图8示出基于针对解码对象图像的预测信息来生成针对基本参照区域的参照预测图像并将其用于权重系数生成的情况下的处理来作为第二实施方式中的权重系数设定处理。
在图8中，对与图4所示的处理相同的部分标注相同的附图标记，并省略其说明。
首先，从步骤S201到S204进行与图4所示的处理工作同样的处理。
接着，第一预测部211和第二预测部212在存储的参照图像上进行针对编码对象图像的任一个预测来分别决定预测区域，并基于每一个来生成第1一次预测图像和第2一次预测图像（步骤S205a）。
关于决定第一预测部211和第二预测部212中的预测方法、参照图像和参照区域的方法，只要能够与编码侧同样地生成一次预测图像，则无论使用怎样的方法都可以。
既可以是与第一实施方式中的参照预测同样的方法，此外，也可以是另外的方法。此外，在对该预测所需要的信息进行编码并与视频的码数据一起复用的情况下，也可以使用其。
接着，在第一参照预测部209和第二参照预测部210的每一个中，在存储于附加视频存储器207中的参照附加图像上进行与第一预测部211和第二预测部212同样的预测处理来决定参照预测区域，分别一个一个地生成参照预测图像（步骤S206a）。
第一参照预测部209和第二参照预测部210中的预测方法与在第一预测部211和第二预测部212中使用的方法相同，参照预测图像与参照图像对应，此外，参照预测区域与参照区域对应。关于它们的对应关系，无论是怎样的对应关系都可以。
以下，步骤S207~S210的处理与第一实施方式同样。
再有，在前述的第一、第二实施方式中，说明了对编码对象帧的全部块应用权重系数的例子，但是，也可以仅对一部分块应用。
此外，可以按照块而使第一、第二预测部中的预测方法的组合、权重系数的决定方法等可变。在该情况下，既可以对示出它们的信息进行编码并包括于附加信息，也可以在解码侧附加判别可否应用、预测方法等的功能。在该情况下，附加用于防止由于编码噪声、传输错误而不能解码的故障避免功能、纠正功能是优选的。
此外，在前述的第一、第二实施方式中，主要说明了在第一、第二参照预测部和第一、第二预测部中使用共同的预测信息的情况，但是，也可以通过分别不同的预测来生成参照预测图像和一次预测图像。
例如，可以在第一、第二预测部中，进行利用通常的编码对象视频上的运动搜索等的预测，在第一、第二参照预测部中进行利用参照视频上的运动搜索等的预测。此外，无论是怎样的组合都可以。
例如，第一、第二预测部中的预测利用附加视频的编码时的预测信息来实施，但是，也可以设为第一、第二参照预测部中的预测通过任意的方法来进行等。或者，可以仅共享在预测时参照的帧编号等一部分信息。
可以对在各个预测中使用的预测信息进行编码，并与视频的码数据一起复用，也可以根据周围块的信息等来估计。
此外，在前述的第一、第二实施方式中，说明了通过第1一次预测图像和第2一次预测图像的加权平均来生成预测图像的例子，但是，也可以对3个以上的一次预测图像进行加权平均来生成预测图像。
此外，无论在该情况下使用的基本参照区域、参照预测图像的数量是多少都可以，其决定方法无论是怎样的决定方法也都可以，可以组合多个决定方法。
此外，在前述的第一、第二实施方式中，在作为另外的视频的附加视频上设定基本参照区域，但是，也可以在已经解码完毕的相同的视频设定基本参照区域。
例如，能够应用于以下的情况等：能够在视频中细小的纹理、重复模式多发生的情况下，在与相同的视频中的编码对象图像相同的帧或不同的帧设定基本参照区域，通过该预测残差来估计预测误差。在其他情况下，无论将基本参照区域设定在哪里都可以。
例如，在多视点视频编码中参照与编码对象视频不同的视点的视频的解码完毕的画面来进行帧间预测的情况下，在与编码对象视频的编码对象帧不同的帧上设定基本参照区域，通过其预测残差来估计预测误差等也可以。
此外，在前述的第一、第二实施方式中，仅设定一个基本参照区域，但是，可以设定二个以上基本参照区域。此外，也可以在第一、第二参照预测部中基于分别不同的基本参照区域来决定参照区域。此外，在该情况下，可以将一个预测中的预测区域设为另一个的基本参照区域。例如，在一个预测为参照与编码对象视频不同的视频的解码完毕的画面的视差补偿预测并且另一个预测为参照与编码对象视频不同的帧的解码完毕的画面的运动补偿预测的情况下，作为用于估算视差补偿预测的预测误差的基本参照区域而使用运动补偿预测中的预测区域等也可以。
此外，在前述的第一、第二实施方式中，不特别区别编码对象视频信号中的亮度信号、色差信号，但是，也可以进行区别。
例如，既可以使用固定的权重系数对色差信号进行编码，而在亮度信号的编码时参照色差信号的编码时的预测信息、预测残差来决定权重系数，也可以是相反。或者，也可以决定不同的权重系数来用作各个权重系数。
此外，关于前述的第一、第二实施方式中的一部分的处理，其顺序也可以前后颠倒。
再有，以上说明的视频编码装置和视频解码装置的处理能够通过计算机和软件程序来实现，也能够将该程序记录在由计算机可读取的记录介质中来提供，还能够通过网络来提供。
图9是通过计算机和软件程序构成视频编码装置的情况下的硬件图。
本系统为通过总线连接以下各部分的结构：
▪执行程序的CPU30
▪储存有CPU30访问的程序、数据的RAM等存储器31
▪将来自摄像机等的编码对象的视频信号输入到视频编码装置内的编码对象视频输入部32（也可以是利用磁盘装置等的、存储视频信号的存储部）
▪储存有作为使CPU30执行图2、图6所示的处理工作的软件程序的视频编码程序351的程序存储装置35
▪例如经由网络输出CPU30通过执行被加载到存储器31中的视频编码程序而生成的码数据的码数据输出部36（也可以是利用磁盘装置等的、存储码数据的存储部）。
此外，如果在实现第一、二实施方式中说明的那样的编码的情况下需要，则还连接例如经由网络输入辅助信息的辅助信息输入部33（也可以是利用磁盘装置等的、存储辅助信息信号的存储部）。
此外，虽然省略图示，但是，此外，码数据存储部、参照帧存储部等硬件被设置并利用于本手法的实施。此外，有时也使用视频信号码数据存储部、预测信息码数据存储部等。
图10是通过计算机和软件程序构成视频解码装置的情况下的硬件图。
本系统为通过总线连接以下各部分的结构：
▪执行程序的CPU40
▪储存有CPU40访问的程序、数据的RAM等存储器41
▪将视频编码装置利用根据本发明的手法而编码的码数据输入到视频解码装置内的码数据输入部42（也可以是利用磁盘装置等的、存储码数据的存储部）
▪储存有作为使CPU40执行图4、图8所示的处理工作的软件程序的视频解码程序451的程序存储装置45
▪将通过CPU40执行被加载到存储器41中的视频解码程序而生成的解码视频输出到再现装置等的解码视频输出部46。
此外，如果在实现第一、二实施方式中说明的那样的解码的情况下需要，则还连接例如经由网络输入辅助信息的辅助信息输入部43（也可以是利用磁盘装置等的、存储辅助信息信号的存储部）。
此外，虽然省略图示，但是，此外，参照帧存储部等硬件被设置并利用于本手法的实施。此外，有时也使用视频信号码数据存储部、预测信息码数据存储部等。
如以上说明的那样，针对如双预测那样使用2个以上预测结果的预测中的作为各预测结果的一次预测图像，估算在与编码对象具有相关性的另外的视频上或编码对象视频上的对应的区域中进行与编码对象视频同样的预测的情况下的预测精度，据此估算编码对象视频中的预测精度，由此，决定用于一次预测图像的加权平均的权重系数。
此时：根据
（i）上述对应的区域的编码时的预测矢量等预测信息、根据它们计算出的编码时的预测图像、该预测图像与该区域的图像的差分等，或者
（ii）针对上述对应的区域使用编码对象视频的预测信息而生成的预测图像、该预测图像与该区域的图像的差分图像等
来估算各预测的预测精度，基于该精度按照每个小区域导出权重系数来进行一次预测图像的加权平均，由此，在不对系数值进行编码的情况下生成高精度的预测图像。
据此，在不对权重系数值进行编码的情况下在双预测中按照每个小区域进行加权平均，由此，能够避免预测精度降低，而生成高精度的预测图像。由此，能够削减在预测残差编码中需要的码量。
再有，可以将用于实现图1、3、5、7中的各处理部的功能的程序记录在计算机可读取的记录介质中，使计算机系统读入并执行记录在该记录介质中的程序，由此，进行视频编码处理、视频解码处理。
在此所说的“计算机系统”包括OS、周围设备等硬件。此外，“计算机系统”也包括具备主页提供环境（或者显示环境）的WWW系统。
此外，“计算机可读取的记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。
进而，“计算机可读取的记录介质”还包括像成为在经由因特网等网络或电话线路等通信线路来发送程序的情况下的服务器或客户端的计算机系统内部的易失性存储器（RAM）那样将程序保持一定时间的记录介质。
此外，上述程序也可以从将该程序储存在存储装置等中的计算机系统经由传输介质或利用传输介质中的传输波而传输到其他计算机系统。在此，传输程序的“传输介质”是指像因特网等网络（通信网）或电话线路等通信线路（通信线）那样具有传输信息的功能的介质。
此外，上述程序也可以是用于实现前述的功能的一部分的程序。
进而，也可以是能够通过与已经记录在计算机系统中的程序的组合来实现前述的功能的程序，所谓的差分文件（差分程序）。
以上，参照附图对本发明的实施的方式进行了说明，但是，上述实施的方式只不过是本发明的例示，本发明不限定于上述实施的方式是显而易见的。因此，可以在不脱离本发明的技术思想和范围的范围内进行结构要素的追加、省略、置换、其他变更。
产业上的可利用性
能够应用于期望在不对系数值进行编码的情况下生成高精度的预测图像并且削减在预测残差编码中需要的码量的用途。
附图标记的说明
100…视频编码装置
101…编码对象视频输入部
102…输入帧存储器
103…参照帧存储器
104…附加视频输入部
105…附加视频存储器
106…基本参照区域决定部
107…第一参照预测部
108…第二参照预测部
109…第一预测部
110…第二预测部
111…权重系数设定部
112…加权平均部
113…减法部
114…变换/量化部
115…反量化/反变换部
116…加法部
117…环路滤波部
118…熵编码部
200…视频解码装置
201…码数据输入部
202…码数据存储器
203…参照帧存储器
204…熵解码部
205…反量化/反变换部
206…附加视频输入部
207…附加视频存储器
208…基本参照区域决定部
209…第一参照预测部
210…第二参照预测部
211…第一预测部
212…第二预测部
213…权重系数设定部
214…加权平均部
215…加法部
216…环路滤波部。

Claims (19)

1.一种视频编码装置，在将构成编码对象视频的各帧分割为多个处理区域而按照每个所述处理区域进行预测编码时，根据作为编码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频编码装置的特征在于，具备：
参照预测区域设定单元，针对所述编码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定单元，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定单元，设定作为针对所述编码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成单元，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
2.根据权利要求1所述的视频编码装置，其特征在于，所述第一参照预测区域和第二参照预测区域基于对所述基本参照区域进行编码时的预测信息来设定。
3.根据权利要求1所述的视频编码装置，其特征在于，所述第一预测区域和第二预测区域设定为与所述编码对象图像的关系同等于所述第一参照预测区域和所述第二参照预测区域与所述基本参照区域之间的关系。
4.根据权利要求1所述的视频编码装置，其特征在于，所述第一参照预测区域和第二参照预测区域设定为与所述基本参照区域的关系同等于所述第一预测区域和所述第二预测区域与所述编码对象图像之间的关系。
5.一种视频解码装置，在将构成视频编码数据的各解码对象帧分割为多个处理区域而按照每个所述处理区域进行解码时，根据作为解码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频解码装置的特征在于，具备：
参照预测区域设定单元，针对所述解码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定单元，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定单元，设定作为针对所述解码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成单元，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
6.根据权利要求5所述的视频解码装置，其特征在于，所述第一参照预测区域和第二参照预测区域基于对所述基本参照区域进行解码时的预测信息来设定。
7.根据权利要求5所述的视频解码装置，其特征在于，所述第一预测区域和第二预测区域设定为与所述解码对象图像的关系同等于所述第一参照预测区域和所述第二参照预测区域与所述基本参照区域之间的关系。
8.根据权利要求5所述的视频解码装置，其特征在于，所述第一参照预测区域和第二参照预测区域设定为与所述基本参照区域的关系同等于所述第一预测区域和所述第二预测区域与所述解码对象图像之间的关系。
9.根据权利要求5所述的视频解码装置，其特征在于，还具有：
参照预测残差生成单元，其取得基于所述基本参照区域设定的基本参照图像与基于所述第一参照预测区域设定的第一参照预测图像的差分和所述基本参照图像与基于所述第二参照预测区域设定的第二参照预测图像的差分，生成第一参照预测残差和第二参照预测残差，
所述权重系数设定单元基于所述第一参照预测残差和所述第二参照预测残差来设定所述权重系数。
10.根据权利要求5所述的视频解码装置，其特征在于，所述基本参照区域设定在与所述解码对象图像用不同的摄像机所拍摄的图像上。
11.根据权利要求5所述的视频解码装置，其特征在于，在所述视频编码数据的解码对象为深度视频的情况下，所述基本参照区域设定在与该深度视频对应的摄像机视频的图像上。
12.根据权利要求5所述的视频解码装置，其特征在于，所述第一参照预测区域和所述第二参照预测区域利用彼此不同的预测方法来设定。
13.根据权利要求5所述的视频解码装置，其特征在于，对所述视频编码数据复用示出所述第一参照预测区域和所述第二参照预测区域的至少一个的信息。
14.根据权利要求5所述的视频解码装置，其特征在于，对所述视频编码数据复用示出用于所述第一参照预测区域和所述第二参照预测区域的设定的至少一个预测方法的信息。
15.根据权利要求5所述的视频解码装置，其特征在于，所述小区域为像素。
16.一种视频编码方法，在将构成编码对象视频的各帧分割为多个处理区域而按照每个所述处理区域进行预测编码时，根据作为编码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频编码方法的特征在于，具备：
参照预测区域设定步骤，在其中，针对所述编码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定步骤，在其中，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定步骤，在其中，设定作为针对所述编码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成步骤，在其中，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
17.一种视频解码方法，在将构成视频编码数据的各解码对象帧分割为多个处理区域而按照每个所述处理区域进行解码时，根据作为解码对象图像的各处理区域所相对应的基本参照区域来生成预测图像，所述视频解码方法的特征在于，具备：
参照预测区域设定步骤，在其中，针对所述解码对象图像设定作为所述基本参照区域所相对应的参照区域的第一参照预测区域和第二参照预测区域；
权重系数设定步骤，在其中，根据基于所述第一参照预测区域的第一参照预测图像和基于所述第二参照预测区域的第二参照预测图像来决定每个小区域的权重系数；
预测区域设定步骤，在其中，设定作为针对所述解码对象图像的参照区域的第一预测区域和第二预测区域；以及
预测图像生成步骤，在其中，基于所述权重系数根据基于所述第一预测区域的第1一次预测图像和基于所述第二预测区域的第2一次预测图像来生成所述预测图像。
18.一种用于使计算机执行根据权利要求16所述的视频编码方法的视频编码程序。
19.一种用于使计算机执行根据权利要求17所述的视频解码方法的视频解码程序。
CN201380068047.5A 2012-12-28 2013-12-25 视频编码装置和方法、视频解码装置和方法、以及其程序 Pending CN104885462A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-287927 2012-12-28
JP2012287927 2012-12-28
PCT/JP2013/084689 WO2014104104A1 (ja) 2012-12-28 2013-12-25 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム

Publications (1)

Publication Number Publication Date
CN104885462A true CN104885462A (zh) 2015-09-02

Family

ID=51021182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380068047.5A Pending CN104885462A (zh) 2012-12-28 2013-12-25 视频编码装置和方法、视频解码装置和方法、以及其程序

Country Status (5)

Country Link
US (1) US20150358644A1 (zh)
JP (1) JP5894301B2 (zh)
KR (1) KR20150079742A (zh)
CN (1) CN104885462A (zh)
WO (1) WO2014104104A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113424B (zh) * 2014-11-18 2019-11-22 联发科技股份有限公司 以帧间预测模式编码的块的视频编码和解码方法
CN115460408A (zh) * 2016-01-27 2022-12-09 韩国电子通信研究院 通过使用预测对视频进行编码和解码的方法和装置
US10791342B2 (en) * 2016-09-26 2020-09-29 Sony Corporation Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus
CN116866593A (zh) * 2016-11-28 2023-10-10 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1334682A (zh) * 1996-05-28 2002-02-06 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
US20060215762A1 (en) * 2005-03-25 2006-09-28 Samsung Electronics Co., Ltd. Video coding and decoding method using weighted prediction and apparatus for the same
CN1968413A (zh) * 2001-09-12 2007-05-23 松下电器产业株式会社 图像解码方法
WO2009005071A1 (ja) * 2007-07-02 2009-01-08 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2009502099A (ja) * 2005-07-21 2009-01-22 トムソン ライセンシング スケーラブルビデオコーディングのための重み付け予測方法及び装置
WO2009054347A1 (ja) * 2007-10-25 2009-04-30 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
US20100220784A1 (en) * 2006-01-05 2010-09-02 Ippon Telegraph And Telephone Corporation Video Encoding Method and Decoding Method, Apparatuses Therefor, Programs Therefor, and Storage Media for Storing the Programs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2559243B1 (en) * 2010-04-13 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
JP6005865B2 (ja) * 2012-09-28 2016-10-12 インテル・コーポレーション スケーラブルビデオ符号化のためのエンハンスド参照領域の利用

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1334682A (zh) * 1996-05-28 2002-02-06 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
CN1968413A (zh) * 2001-09-12 2007-05-23 松下电器产业株式会社 图像解码方法
US20060215762A1 (en) * 2005-03-25 2006-09-28 Samsung Electronics Co., Ltd. Video coding and decoding method using weighted prediction and apparatus for the same
JP2009502099A (ja) * 2005-07-21 2009-01-22 トムソン ライセンシング スケーラブルビデオコーディングのための重み付け予測方法及び装置
US20100220784A1 (en) * 2006-01-05 2010-09-02 Ippon Telegraph And Telephone Corporation Video Encoding Method and Decoding Method, Apparatuses Therefor, Programs Therefor, and Storage Media for Storing the Programs
WO2009005071A1 (ja) * 2007-07-02 2009-01-08 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2009054347A1 (ja) * 2007-10-25 2009-04-30 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体

Also Published As

Publication number Publication date
JPWO2014104104A1 (ja) 2017-01-12
WO2014104104A1 (ja) 2014-07-03
JP5894301B2 (ja) 2016-03-23
US20150358644A1 (en) 2015-12-10
KR20150079742A (ko) 2015-07-08

Similar Documents

Publication Publication Date Title
EP2942961A1 (en) Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
CN101243692B (zh) 对多视角视频进行编码的方法和设备
US20110069760A1 (en) Apparatus and method for motion estimation of three dimension video
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
CN104885450B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
CN104718761A (zh) 视频编码/解码方法、装置、程序、记录介质
CN104429077A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN106063273A (zh) 图像编码装置及方法、图像解码装置及方法、以及它们的程序
CN104885462A (zh) 视频编码装置和方法、视频解码装置和方法、以及其程序
CN105103546A (zh) 编码多个输入图像的方法及装置、存放程序的存储介质
KR20140124919A (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
Yang et al. Adaptive bit allocation for 3D video coding
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
Gao et al. Lossless fragile watermarking algorithm in compressed domain for multiview video coding
Liu et al. Scalable coding of 3D holoscopic image by using a sparse interlaced view image set and disparity map
KR101407719B1 (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
Shen et al. Efficient depth coding in 3D video to minimize coding bitrate and complexity
JP5876933B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
JP5952733B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
JP5894338B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
CN106464899A (zh) 活动图像编码装置及方法和活动图像解码装置及方法
Liu et al. A novel 3D video transcoding scheme for adaptive 3D video transmission to heterogeneous terminals

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150902