CN105052148B - 视频编码装置和方法、视频解码装置和方法、以及其记录介质 - Google Patents

视频编码装置和方法、视频解码装置和方法、以及其记录介质 Download PDF

Info

Publication number
CN105052148B
CN105052148B CN201480019701.8A CN201480019701A CN105052148B CN 105052148 B CN105052148 B CN 105052148B CN 201480019701 A CN201480019701 A CN 201480019701A CN 105052148 B CN105052148 B CN 105052148B
Authority
CN
China
Prior art keywords
information
prognostic chart
chart picture
picture
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480019701.8A
Other languages
English (en)
Other versions
CN105052148A (zh
Inventor
杉本志织
志水信哉
木全英明
小岛明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN105052148A publication Critical patent/CN105052148A/zh
Application granted granted Critical
Publication of CN105052148B publication Critical patent/CN105052148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Abstract

一种进行时间方向和视差方向的帧间预测而生成对误差进行校正后的预测图像来对编码对象视频进行预测编码的装置。在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对编码对象图像进行预测，决定示出各个参照目的地的帧间参照信息和视点间参照信息，根据各个信息来生成视差预测图像和运动预测图像，根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像，根据所述视差预测图像、所述运动预测图像和所述校正预测图像来生成所述预测图像。

Description

视频编码装置和方法、视频解码装置和方法、以及其记录介质
技术领域
本发明涉及视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编码程序以及视频解码程序，特别地涉及时间方向和视差方向的帧间预测编码和解码。
背景技术
在通常的视频编码中，利用被摄物的空间上/时间上的连续性，将视频的各帧分割为多个处理单元块，按照每个块对其视频信号在空间上/时间上进行预测，对示出其预测方法的预测信息和预测残差信号进行编码，由此，与对视频信号本身进行编码的情况相比，谋求大幅度的编码效率的提高。此外，在通常的二维视频编码中，进行参照相同的帧内的已经编码完毕的块来对编码对象信号进行预测的帧内预测以及参照已经编码完毕的其他的帧基于运动补偿等来对编码对象信号进行预测的帧间预测。
在此，对多视点视频编码进行说明。多视点视频编码是指对使用多个摄像机拍摄了相同的场景的多个视频利用该视频间的冗余性以高的效率进行编码。关于多视点视频编码，熟悉非专利文献1。
此外，在多视点视频编码中，除了在通常的视频编码中使用的预测方法之外，还使用参照已经编码完毕的另外的视点的视频基于视差补偿对编码对象信号进行预测的视点间预测以及通过帧间预测对编码对象信号进行预测并对其残差信号参照已经编码完毕的另外的视点的视频的编码时的残差信号进行预测的视点间残差预测等方法。关于视点间预测，在MVC等多视点视频编码中，统一为帧间预测而被处理为帧间预测（interprediction），能够在B图片中对2个以上的预测图像进行插值来做成预测图像。
像这样，在多视点视频编码中，在能够进行帧间预测和视点间预测双方的图片中，能够进行利用它们双方的预测。
现有技术文献
非专利文献
非专利文献1：M. Flierl and B. Girod,“Multiview video compression,”Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007。
发明内容
发明要解决的课题
然而，在运动补偿预测和视差补偿预测中，误差的性质不同，由于（图像信号的）顺序的性质，与仅进行帧间预测的情况相比，难以得到彼此抵消误差的效果。
在这样的误差中，存在例如在运动补偿预测中由于被摄物的变形等造成的误差、由于摇晃造成的误差、在视差补偿预测中由于摄像机的性质的不同造成的误差、由于遮挡的发生造成的误差等。在这样的情况下，偏向选择精度更高的预测方法，使用双方的预测几乎不被使用。
因此，在例如能够进行前向预测和视点间预测的种类的B图片中，存在如下这样的问题：无论构造上能够进行使用双方的预测，实际上只能使用单向预测，因此，存在针对预测残差的减少不会得到充分的效果的情况。
本发明是鉴于这样的情况而完成的，其目的在于提供能够减少预测残差来削减预测残差编码所需要的码量的视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编码程序和视频解码程序。
用于解决课题的方案
本发明提供一种视频编码装置，进行时间方向和视差方向的帧间预测，生成对误差进行校正后的预测图像来对编码对象视频进行预测编码，所述视频编码装置的特征在于，具备：
预测单元，在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对编码对象图像进行预测，决定示出各个参照目的地的帧间参照信息和视点间参照信息；
一次预测图像生成单元，根据所述视点间参照信息来生成视差预测图像，根据所述帧间参照信息来生成运动预测图像；校正预测图像生成单元，根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像；以及预测图像生成单元，根据所述视差预测图像、所述运动预测图像和所述校正预测图像来生成所述预测图像。
作为典型例，所述预测图像生成单元将所述运动预测图像和所述视差预测图像相加并从其减去所述校正预测图像来生成所述预测图像。
作为优选例，所述视点间参照信息和所述帧间参照信息包含对所述参照图片进行特别指定的信息，所述校正预测图像生成单元将与所述视点间参照信息示出的所述参照图片相同的视点的参照图片之中的与所述帧间参照信息示出的所述参照图片相同的帧的参照图片作为校正参照图片进行参照来生成所述校正预测图像。
在该情况下，所述视点间参照信息和所述帧间参照信息还包含对位于所述参照图片上的参照位置进行特别指定的信息，所述校正预测图像生成单元基于所述帧间参照信息和所述视点间参照信息来决定所述校正参照图片上的参照位置，生成所述校正预测图像也可。
作为另一优选例，还具有：预测信息编码单元，所述预测信息编码单元编码对所述视点间参照信息和所述帧间参照信息进行特别指定的信息来作为预测信息。
所述预测单元基于所述视点间参照信息和所述帧间参照信息之中的任一个示出的参照目的地的编码时的预测信息来生成另一个参照信息也可。
本发明还提供一种视频解码装置，进行时间方向和视差方向的帧间预测，生成对误差进行校正后的预测图像来对预测编码后的码数据进行解码，所述视频解码装置的特征在于，具备：预测单元，在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对解码对象图像进行预测，决定示出各个参照目的地的帧间参照信息和视点间参照信息；一次预测图像生成单元，根据所述视点间参照信息来生成视差预测图像，根据所述帧间参照信息来生成运动预测图像；校正预测图像生成单元，根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像；以及预测图像生成单元，根据视差预测图像、运动预测图像和校正预测图像来生成预测图像。
作为典型例，在所述预测图像生成单元中，将所述运动预测图像和所述视差预测图像相加并从其减去所述校正预测图像来生成所述预测图像。
作为优选例，所述视点间参照信息和所述帧间参照信息包含对所述参照图片进行特别指定的信息，在所述校正预测图像生成单元中，将与所述视点间参照信息示出的所述参照图片相同的视点的参照图片之中的与所述帧间参照信息示出的所述参照图片相同的帧的参照图片作为校正参照图片进行参照来生成所述校正预测图像。
在该情况下，所述视点间参照信息和所述帧间参照信息还包含对位于所述参照图片上的参照位置进行特别指定的信息，在所述校正预测图像生成单元中，基于所述帧间参照信息和所述视点间参照信息来决定所述校正图片上的参照位置，生成所述校正预测图像也可。
作为另一优选例，还具有：预测信息解码单元，所述预测信息解码单元根据所述码数据解码预测信息来生成对所述帧间参照信息和所述视点间参照信息进行特别指定的预测信息，所述预测单元基于所生成的所述预测信息来决定所述帧间参照信息和所述视点间参照信息。
所述预测单元根据所述码数据对所述视点间参照信息和所述帧间参照信息之中的任一个进行解码，基于解码后的参照信息示出的参照目的地的解码化时的预测信息来生成另一个参照信息也可。
本发明此外还提供一种视频编码方法，所述视频编码方法是视频编码装置进行的视频编码方法，所述视频编码装置进行时间方向和视差方向的帧间预测而生成对误差进行校正后的预测图像来对编码对象视频进行预测编码，所述视频编码方法的特征在于，具有：在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对编码对象图像进行预测而决定示出各个参照目的地的帧间参照信息和视点间参照信息的预测步骤；根据所述视点间参照信息来生成视差预测图像并且根据所述帧间参照信息来生成运动预测图像的预测图像生成步骤；根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像的校正预测图像生成步骤；以及根据所述视差预测图像、所述运动预测图像和所述校正预测图像来生成所述预测图像的预测图像生成步骤。
本发明此外还提供一种视频解码方法，所述视频解码方法是视频解码装置进行的视频解码方法，所述视频解码装置进行时间方向和视差方向的帧间预测而生成对误差进行校正后的预测图像来对预测编码后的码数据进行解码，所述视频解码方法的特征在于，具有：在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对解码对象图像进行预测而决定示出各个参照目的地的帧间参照信息和视点间参照信息的预测步骤；根据所述视点间参照信息来生成视差预测图像并且根据所述帧间参照信息来生成运动预测图像的预测图像生成步骤；根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像的校正预测图像生成步骤；以及根据视差预测图像、运动预测图像和校正预测图像来生成预测图像的预测图像生成步骤。
本发明此外还提供一种视频编码程序，用于使计算机执行上述视频编码方法。
本发明此外还提供一种视频编码程序，用于使计算机执行上述视频解码方法。
发明效果
根据本发明，得到如下这样的效果：能够通过减少预测残差来削减预测残差编码所需要的码量，因此，能够提高编码效率。
附图说明
图1是示出本发明的一个实施方式的视频编码装置的结构的框图。
图2是示出图1所示的视频编码装置100的处理工作的流程图。
图3是示出本发明的一个实施方式的视频解码装置的结构的框图。
图4是示出图3所示的视频解码装置200的处理工作的流程图。
图5是示出校正预测的概念的图。
图6是通过计算机和软件程序来构成图1所示的视频编码装置100的情况下的硬件图。
图7是通过计算机和软件程序来构成图3所示的视频解码装置200的情况下的硬件图。
具体实施方式
以下，参照附图来说明本发明的一个实施方式的视频编码装置、视频解码装置。
首先，对视频编码装置进行说明。图1是示出该实施方式的视频编码装置的结构的框图。
视频解码装置100如图1所示那样具备：编码对象视频输入部101、输入图像存储器102、参照图片存储器103、预测部104、一次预测图像生成部105、校正预测图像生成部106、预测图像生成部107、减法部108、变换、量化部109、逆量化、逆变换部110、加法部111、以及熵编码部112。
编码对象视频输入部101将成为编码对象的视频输入到本视频编码装置100中。在以下的说明中，将该成为编码对象的视频称为编码对象视频，特别地，将进行处理的帧称为编码对象帧或编码对象图像。
输入图像存储器102存储所输入的编码对象视频。
参照图片存储器103存储此之前被编码、解码的图像。在以下，将该存储的帧称为参照帧或参照图片。
预测部104在存储在参照图片存储器103中的参照图片上进行针对编码对象图像的视差方向和时间方向双方的预测，生成预测信息。
一次预测图像生成部105基于预测信息来生成运动预测图像和视差预测图像。
校正预测图像生成部106基于预测信息来决定校正参照图片和该图片内的校正参照目的地，生成校正预测图像。
预测图像生成部107根据运动预测图像、视差预测图像和校正预测图像来生成预测图像。
减法部108求取编码对象图像与预测图像的差分值，生成预测残差。
变换、量化部109对所生成的预测残差进行变换、量化，生成量化数据。
逆量化、逆变换部110对所生成的量化数据进行逆量化、逆变换，生成解码预测残差。
加法部111将解码预测残差和预测图像相加来生成解码图像。
熵编码部112对量化数据进行熵编码，生成码数据。
接着，参照图2来说明图1所示的视频编码装置100的处理工作。图2是示出图1所示的视频编码装置100的处理工作的流程图。
在此，假设采取编码对象视频是多视点视频之中的一个视频而关于该多视点视频按照每个帧一个视点一个视点地对全部视点的视频进行编码并解码的构造。此外，在此，说明了对编码对象视频中的某一帧进行编码的处理。通过按照每个帧重复进行说明的处理，从而能够实现视频的编码。
首先，编码对象视频输入部101将编码对象帧输入到视频编码装置100中并存储到输入图像存储器102中（步骤S101）。
再有，假设编码对象视频中的若干个帧已经被编码，其解码帧被存储到参照图片存储器103中。
此外，假设与编码对象帧相同的帧之前的能够参照的另外的视点的视频也已经被编码并解码，并且，被存储到输入图像存储器102中。
在视频输入之后，将编码对象帧分割为编码对象块，按照每个块对编码对象帧的视频信号进行编码（步骤S102~S111）。
对帧全部的块重复执行以下的步骤S103~S110的处理。
在按照每个编码对象块重复的处理中，首先，预测部104进行针对编码对象块的参照不同的帧的参照图片的运动预测和参照不同的视点的参照图片的视差预测双方的预测，生成预测信息。然后，一次预测图像生成部105基于所生成的预测信息来生成运动预测图像和视差预测图像（步骤S103）。
在此，关于预测、预测信息生成，怎样进行都可以，作为预测信息，设定怎样的信息都可以。
作为通常的方法，存在将由特别指定参照图片的索引和示出在参照图片上的参照目的地的矢量构成的视点间参照信息（视差预测的情况）、帧间参照信息（运动预测的情况）作为预测信息的方法。
关于各个参照信息的决定方法，使用怎样的方法都可以，但是，例如，也能够应用在参照图片上进行与编码对象块对应的区域的探索这样的方法，也能够应用根据已经编码并解码完毕的（编码对象块的）周围块的预测信息来决定这样的方法。
关于视差预测和运动预测，可以分别独立地进行，也可以先执行任一个，也可以交替地重复进行。或者，也可以预先确定参照图片的组合等并且基于此来分别独立地进行预测，也可以按顺序进行。
例如，也可以预先确定为：假设视差预测的参照图片一定是第0个视点的图片，假设运动预测的参照图片一定是排头帧。此外，也可以对特别指定组合的信息进行编码并与视频的码数据复用，如果能够在解码侧特别指定相同的组合，则也可以不进行编码。
进而，在同时进行视差预测和运动预测的情况下，也可以施行全部的组合来进行评价，也可以统一最适合化，也可以使用重复临时决定一个来探索另一个等的方法。
此外，作为预测精度的评价的对象，也可以分别地评价各个预测图像的预测精度，也可以评价混合了双方的预测图像的图像的精度。或者，也可以评价还包含后述的校正预测的最终的预测图像的精度。另外，使用怎样的评价方法来进行预测都可以。
进而，关于预测信息，也可以进行编码并与视频的码数据复用，在如前述那样根据周围的预测信息、自身的残差预测信息等导出的情况下，也可以不进行编码。此外，也可以对预测信息进行预测，对其残差进行编码。
此外，在预测信息由视点间参照信息、帧间参照信息构成的情况下，只要需要，则也可以进行双方编码，如果能够根据预先确定的规则来决定，则也可以不进行编码。例如，能够应用对任一个进行编码并且基于对编码后的一个信息示出的参照目的地的区域进行编码时的预测信息来生成另一个预测信息这样的方法。
接着，校正预测图像生成部106基于预测信息来决定校正参照图片和该图片内的校正参照目的地，生成校正预测图像（步骤S104）。
在生成校正预测图像之后，预测图像生成部107根据运动预测图像、视差预测图像和校正预测图像来生成预测图像（步骤S105）。
校正预测是如下预测：使用另外的参照图片来校正与编码对象帧不同的帧的参照图片之间的运动预测以及与编码对象帧不同的视点的参照图片之间的视差预测的每一个的预测误差。
在此，将在运动预测中参照的图片作为参照帧图片，将在视差预测中参照的图片作为参照视点图片，将在校正预测中参照的图片作为校正参照图片。对校正预测的细节在后面进行叙述。
接着，减法部108取得预测图像与编码对象块的差分，生成预测残差（步骤S106）。
再有，在此，在生成最终的预测图像之后生成预测残差，但是，也可以用以下那样的形式来生成预测残差：
（i）根据校正预测图像和运动及视差预测的预测图像来生成各个预测残差的预测值（也称为“预测预测残差”），
（ii）取得运动及视差预测的预测图像与编码对象块的每一个的差分来生成运动及视差预测残差，
（iii）基于上述预测残差的预测值以分别更新上述运动及视差预测残差的形式生成预测残差。
接着，在预测残差的生成结束之后，变换、量化部109对该预测残差进行变换、量化，生成量化数据（步骤S107）。关于该变换、量化，只要能够在解码侧正确地进行逆量化、逆变换，则使用怎样的方法都可以。
然后，在变换、量化结束之后，逆量化、逆变换部110对量化数据进行逆量化、逆变换，生成解码预测残差（步骤S108）。
接着，在解码预测残差的生成结束之后，加法部111将解码预测残差和预测图像相加来生成解码图像并存储到参照图片存储器103中（步骤S109）。
在此，也如前述的那样生成预测残差的预测值，基于该预测值以更新一次预测残差的形式来生成作为一次预测图像与编码对象块的差分的一次预测残差也可。
此外，只要需要，则也可以对解码图像施加环路滤波。在通常的视频编码中，使用去块滤波器、其他的滤波器来除去编码噪声。
接着，熵编码部112对量化数据进行熵编码，生成码数据，只要需要，则也对预测信息、残差预测信息等附加信息进行编码并与码数据复用，在针对全部的块结束处理之后，输出码数据（步骤S110）。
接着，对视频解码装置进行说明。图3是示出本发明的一个实施方式的视频解码装置的结构的框图。
视频解码装置200如图3所示那样具备：码数据输入部201、码数据存储器202、参照图片存储器203、熵解码部204、逆量化、逆变换部205、一次预测图像生成部206、校正预测图像生成部207、预测图像生成部208、加法部209。
码数据输入部201将成为解码对象的视频码数据输入到本视频解码装置200中。将该成为解码对象的视频码数据称为解码对象视频码数据，特别地，将进行处理的帧称为解码对象帧或解码对象图像。
码数据存储器202存储所输入的解码对象视频。
参照图片存储器203存储已经解码完毕的图像。
熵解码部204对解码对象帧的码数据进行熵解码，生成量化数据，逆量化、逆变换部205对量化数据实施逆量化/逆变换，生成解码预测残差。
一次预测图像生成部206生成运动预测图像和视差预测图像。
校正预测图像生成部207决定校正参照图片和该图片内的校正参照目的地，生成校正预测图像。
预测图像生成部208根据运动预测图像、视差预测图像和校正预测图像来生成预测图像。
加法部209将解码预测残差和预测图像相加，生成解码图像。
接着，参照图4来说明图3所示的视频解码装置200的处理工作。图4是示出图3所示的视频解码装置200的处理工作的流程图。
在此，假设采取解码对象视频是多视点视频之中的一个视频而关于该多视点视频按照每个帧一个视点一个视点地对全部视点的视频进行解码的构造。此外，在此，说明了对码数据中的某一帧进行解码的处理。通过按照每个帧重复进行说明的处理，从而能够实现视频的解码。
首先，码数据输入部201将码数据输入到视频解码装置200中并存储到码数据存储器202中（步骤S201）。
再有，假设解码对象视频中的若干个帧已经被解码，其解码帧被存储到参照图片存储器203中。
此外，假设与解码对象帧相同的帧之前的能够参照的另外的视点的视频也已经被解码并解码，并且，被存储到参照图片存储器203中。
在码数据输入之后，将解码对象帧分割为解码对象块，按照每个块对解码对象帧的视频信号进行解码（步骤S202~S209）。
对帧全部的块重复执行以下的步骤S203~S208的处理。
在按照每个解码对象块重复的处理中，首先，熵解码部204对码数据进行熵解码（步骤S203）。
然后，逆量化、逆变换部205进行逆量化、逆变换，生成解码预测残差（步骤S204）。在预测信息、其他的附加信息也包含在码数据中的情况下，也可以对它们进行解码，适当生成需要的信息。
接着，一次预测图像生成部206生成运动预测图像和视差预测图像（步骤S205）。
在预测信息被编码并与视频的码数据复用的情况下，也可以利用（解码）该信息来进行预测图像的生成，在如前述那样根据周围的预测信息、自身的残差预测信息等导出的情况下，没有这样的被编码的信息也可。此外，在根据一个预测信息来导出另一个预测信息的情况下，也可以使用仅对一个预测信息进行编码后的信息。
此外，在预测信息的预测残差被编码的情况下，也可以对其进行解码并利用来进行预测信息的预测。详细的处理工作与编码装置相同。
接着，校正预测图像生成部207基于预测信息来决定校正参照图片和该图片内的校正参照目的地，生成校正预测图像（步骤S206）。
在生成校正预测图像之后，预测图像生成部208根据运动预测图像、视差预测图像和校正预测图像来生成预测图像（步骤S207）。
详细的处理工作与编码装置相同。在前述的说明中，在生成最终的预测图像之后生成预测残差，但是，也可以根据校正预测图像和运动及视差预测的预测图像来生成各个预测残差的预测值（预测预测残差），基于其以更新解码预测残差的形式生成预测残差。
接着，在预测图像的生成结束之后，加法部209将解码预测残差和预测图像相加来生成解码图像并存储到参照图片存储器中，在针对全部的块结束处理之后，输出解码图像（步骤S208）。
只要需要，则也可以对解码图像施加环路滤波。在通常的视频解码中，使用去块滤波器、其他的滤波器来除去编码噪声。
接着，参照图5来对校正预测的详细的处理工作进行说明。图5是示出校正预测的概念的图。
在此，将在运动预测中参照的图片作为参照帧图片，将在视差预测中参照的图片作为参照视点图片，将在校正预测中参照的图片作为校正参照图片。
作为校正参照图片，选择怎样的图片都可以，但是，在图5中，示出将属于与参照帧图片相同的帧且与参照视点图片相同的视点的图片作为参照图片的情况下的例子。
首先，根据编码对象图片A内的编码对象块a来预测，生成运动预测图像PIM，将包含该图像的图片存储为参照帧图片B。
此外，根据编码对象图片A内的编码对象块a来预测，生成视差预测图像PID，将包含该图像的图片存储为参照视点图片C。
然后，根据运动预测图像PIM和视差预测图像PID来生成校正预测图像PIC，将包含该图像的图片存储为校正参照图片D。
接着，通过平均化部10求取运动预测图像PIM和视差预测图像PID的平均，将其作为一次预测图像e。
另一方面，通过减法器20求取运动预测图像PIM与校正预测图像PIC的差分，将其作为预测视差预测残差PPRD。
此外，通过减法器30求取视差预测图像PID与校正预测图像PIC的差分，将其作为预测运动预测残差PPRM。
接着，通过平均化部40求取预测视差预测残差PPRD和预测运动预测残差PPRM的平均，将其作为预测预测残差f。
在最后，通过加法器50将一次预测图像e和预测预测残差f相加，生成预测图像PI。
在此，在预测信息由视点间参照信息、帧间参照信息构成的情况下，使用各个参照信息来决定作为校正参照图片上的校正预测图像进行参照的区域。
例如，在参照信息中包含示出参照帧/视点图片上的区域的矢量的情况下，示出作为校正参照图片上的校正预测图像进行参照的区域的校正矢量VC利用运动矢量VM和视差矢量VD用以下的式子来表示。
VC=VM+VD。
在预测图像生成中，使用该校正预测图像PIC和运动预测图像PIM来预测视差预测图像PID的针对编码对象块的预测误差，使用校正预测图像PIC和视差预测图像PID来预测运动预测图像PIM的针对编码对象块的预测误差，在针对运动预测图像和视差预测图像的每一个参考误差之后生成最终的预测图像。
在以下，将预测后的运动预测的预测误差称为预测运动预测残差（上述的PPRM），将预测后的视差预测的预测残差称为预测视差预测残差（上述的PPRD）。
预测方法是怎样的方法都可以，但是，在图5中，以校正预测图像与各个预测图像的差分来作为预测（运动/视差）预测残差。在该情况下，预测运动预测残差PPRM和预测视差预测残差PPRD用以下的式子来表示。
PPRM=PID-PIC·PPRD=PIM-PIC。
此外，运动及视差各自的预测图像与编码对象块的差分为一次预测残差，概念上，从各个一次预测残差减去对应的预测预测残差来作为编码对象的预测残差，由此，能够减少预测残差的码量。在以该预测误差来进行双方的预测的预测图像的校正的情况下，最终的预测图像PI用以下的式子来表示。
[数式1]
像这样，也可以不进行预测预测残差的生成而使用上述那样的式子来直接生成最终的预测图像。
此外，在此，假设校正前的预测图像为两个方向的预测图像的平均值，但是，以其他怎样的加权来生成预测图像而进行参考了权重的校正都可以。此外，也可以对预测预测残差另外进行加权。
例如，在一个预测与另一个预测相比精度差的情况下，也可以进行与该精度对应的加权等。在此，在上述的例子中说明了与运动预测图像PIM相比视差预测图像PID的精度低的情况下的加权的方法。当将针对视差补偿预测图像的权重设为W时，最终的预测图像PI能够用以下那样的式子来表示。
[数式2]
上述的权重W也可以为与图像相同的大小的矩阵，也可以为标量。在W=1时，与上述[数式1]的式子一致。
此外，关于W，怎样决定都可以。作为典型例，存在在视差补偿预测的精度好的情况下为1、在精度不好的情况下为1/2、在精度显著坏的情况或没有能够使用的视差矢量的情况下为0等的情况。
再有，关于图2、图4所示的一部分处理，其顺序可以前后颠倒。
此外，以上说明了的视频编码装置和视频解码装置的处理也能够通过计算机和软件程序来实现，也能够将该程序记录在由计算机可读取的记录介质中来提供，还能够通过网络来提供。
图6是通过计算机和软件程序来构成前述的视频编码装置100的情况下的硬件图。
本系统是以总线连接有以下各部分的结构：
·执行程序的CPU30
· CPU30访问的存储有程序、数据的RAM等存储器31
·将来自摄像机等的编码对象的视频信号输入到视频编码装置内的编码对象视频输入部32（也可以是利用磁盘装置等的存储视频信号的存储部）
·存储有使CPU30执行图2所示的处理工作的软件程序即视频编码程序331的程序存储装置33
·例如经由网络输出CPU30通过执行被加载到存储器31中的视频编码程序而生成的码数据的码数据输出部34（也可以是利用磁盘装置等的存储码数据的存储部）。
此外，虽然省略图示，但是，另外设置有码数据存储部、参照帧存储部等硬件，在本手法的实施中利用。此外，也存在使用视频信号码数据存储部、预测信息码数据存储部等的情况。
图7是通过计算机和软件程序来构成前述的视频解码装置200的情况下的硬件图。
本系统是以总线连接有以下各部分的结构：
·执行程序的CPU40
· CPU40访问的存储有程序、数据的RAM等存储器41
·将视频编码装置利用本手法来进行编码后的码数据输入到视频解码装置内的码数据输入部42（也可以是利用磁盘装置等的存储码数据的存储部）
·存储有使CPU40执行图4所示的处理工作的软件程序即视频解码程序431的程序存储装置43
·将通过CPU40执行被加载到存储器41中的视频解码程序而生成的解码视频输出到再生装置等中的解码视频输出部44。
此外，虽然省略图示，但是，另外设置有参照帧存储部等硬件，在本手法的实施中利用。此外，也存在使用视频信号码数据存储部、预测信息码数据存储部等的情况。
如以上说明了的那样，在能够进行多视点视频编码中的帧间预测和视点间预测双方的图片中，在进行这些帧间预测和视点间预测的情况下，进行用于根据示出各个参照目的地的信息来重新对两个预测的预测误差进行校正的校正预测，由此，能够减少预测残差来削减预测残差编码所需要的码量。
也可以使用计算机来实现前述的实施方式中的图1所示的视频编码装置和图3所示的视频解码装置。
在该情况下，将用于实现符合的功能的程序记录在计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并执行，由此，也可以实现。
再有，在此所说的“计算机系统”包含OS、周围设备等硬件。
此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD–ROM等可移动介质、内置在计算机系统中的硬盘等存储装置。
进而，“计算机可读取的记录介质”还可以包含像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样在短时间的期间动态地保持程序的记录介质、像在该情况下的成为服务器或客户端的计算机系统内部的易失性存储器那样将程序保持固定时间的记录介质。
此外，上述程序可以是用于实现前述的功能的一部分的程序，进而，也可以是能够以与已经记录在计算机系统中的程序的组合来实现前述的功能的程序，也可以是使用PLD（Programmable Logic Device，可编程逻辑器件）、FPGA（Field Programmable GateArray，现场可编程门阵列）等硬件来实现的程序。
以上，参照附图说明了本发明的实施方式，但是，上述实施方式只不过是本发明的例示，明显的是本发明并不限定于上述实施方式。因此，也可以在不偏离本发明的技术思想和范围的范围内进行结构要素的追加、省略、置换、其它变更。
产业上的可利用性
能够应用于在由于并用时间方向和视差方向的预测是不适合的所以通过使用单方向预测而预测残差的码量增大的情况下通过对双方的预测的预测误差进行校正来减少码量是优选的用途。
附图标记的说明
101…编码对象视频输入部
102…输入图像存储器
103…参照图片存储器
104…预测部
105…一次预测图像生成部
106…校正预测图像生成部
107…预测图像生成部
108…减法部
109…变换、量化部
110…逆量化、逆变换部
111…加法器
112…熵编码部
201…码数据输入部
202…码数据存储器
203…参照图片存储器
204…熵解码部
205…逆量化、逆变换部
206…一次预测图像生成部
207…校正预测图像生成部
208…预测图像生成部
209…加法器。

Claims (16)

1.一种视频编码装置，进行时间方向和视差方向的帧间预测，生成对误差进行校正后的预测图像来对编码对象视频进行预测编码，所述视频编码装置的特征在于，具备：
预测单元，在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对编码对象图像进行预测，决定示出各个参照目的地的帧间参照信息和视点间参照信息；
一次预测图像生成单元，根据所述视点间参照信息来生成视差预测图像，根据所述帧间参照信息来生成运动预测图像；
校正预测图像生成单元，根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像；
预测图像生成单元，根据所述视差预测图像、所述运动预测图像和所述校正预测图像来生成所述预测图像；
减法单元，求取所述编码对象图像与所述预测图像的差分值，生成预测残差；
变换、量化单元，对所述预测残差进行变换、量化，生成量化数据；以及
熵编码单元，对所述量化数据进行熵编码，生成编码数据。
2.根据权利要求1所述的视频编码装置，其特征在于，
所述预测图像生成单元将所述运动预测图像和所述视差预测图像相加并从其减去所述校正预测图像来生成所述预测图像。
3.根据权利要求1所述的视频编码装置，其特征在于，
所述视点间参照信息和所述帧间参照信息包含对所述参照图片进行特别指定的信息，
所述校正预测图像生成单元将与所述视点间参照信息示出的所述参照图片相同的视点的参照图片之中的与所述帧间参照信息示出的所述参照图片相同的帧的参照图片作为校正参照图片进行参照来生成所述校正预测图像。
4.根据权利要求3所述的视频编码装置，其特征在于，
所述视点间参照信息和所述帧间参照信息还包含对位于所述参照图片上的参照位置进行特别指定的信息，
所述校正预测图像生成单元基于所述帧间参照信息和所述视点间参照信息来决定所述校正参照图片上的参照位置，生成所述校正预测图像。
5.根据权利要求1所述的视频编码装置，其特征在于，
还具有：预测信息编码单元，所述预测信息编码单元编码对所述视点间参照信息和所述帧间参照信息进行特别指定的信息来作为预测信息。
6.根据权利要求1所述的视频编码装置，其特征在于，
所述预测单元基于所述视点间参照信息和所述帧间参照信息之中的任一个示出的参照目的地的编码时的预测信息来生成另一个参照信息。
7.一种视频解码装置，进行时间方向和视差方向的帧间预测，生成对误差进行校正后的预测图像来对预测编码后的码数据进行解码，所述视频解码装置的特征在于，具备：
预测单元，在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对解码对象图像进行预测，决定示出各个参照目的地的帧间参照信息和视点间参照信息；
一次预测图像生成单元，根据所述视点间参照信息来生成视差预测图像，根据所述帧间参照信息来生成运动预测图像；
校正预测图像生成单元，根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像；
预测图像生成单元，根据视差预测图像、运动预测图像和校正预测图像来生成预测图像；
熵解码单元，对所述码数据进行熵解码，生成量化数据；
逆量化、逆变换单元，对所述量化数据实施逆量化、逆变换，生成解码预测残差；以及
加法单元，将所述解码预测残差和所述预测图像相加，生成解码图像。
8.根据权利要求7所述的视频解码装置，其特征在于，
在所述预测图像生成单元中，将所述运动预测图像和所述视差预测图像相加并从其减去所述校正预测图像来生成所述预测图像。
9.根据权利要求7所述的视频解码装置，其特征在于，
所述视点间参照信息和所述帧间参照信息包含对所述参照图片进行特别指定的信息，
在所述校正预测图像生成单元中，将与所述视点间参照信息示出的所述参照图片相同的视点的参照图片之中的与所述帧间参照信息示出的所述参照图片相同的帧的参照图片作为校正参照图片进行参照来生成所述校正预测图像。
10.根据权利要求9所述的视频解码装置，其特征在于，
所述视点间参照信息和所述帧间参照信息还包含对位于所述参照图片上的参照位置进行特别指定的信息，
在所述校正预测图像生成单元中，基于所述帧间参照信息和所述视点间参照信息来决定所述校正图片上的参照位置，生成所述校正预测图像。
11.根据权利要求7所述的视频解码装置，其特征在于，
还具有：预测信息解码单元，所述预测信息解码单元根据所述码数据解码预测信息来生成对所述帧间参照信息和所述视点间参照信息进行特别指定的预测信息，
所述预测单元基于所生成的所述预测信息来决定所述帧间参照信息和所述视点间参照信息。
12.根据权利要求7所述的视频解码装置，其特征在于，
所述预测单元根据所述码数据对所述视点间参照信息和所述帧间参照信息之中的任一个进行解码，基于解码后的参照信息示出的参照目的地的解码化时的预测信息来生成另一个参照信息。
13.一种视频编码方法，所述视频编码方法是视频编码装置进行的视频编码方法，所述视频编码装置进行时间方向和视差方向的帧间预测而生成对误差进行校正后的预测图像来对编码对象视频进行预测编码，所述视频编码方法的特征在于，具有：
在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对编码对象图像进行预测而决定示出各个参照目的地的帧间参照信息和视点间参照信息的预测步骤；
根据所述视点间参照信息来生成视差预测图像并且根据所述帧间参照信息来生成运动预测图像的预测图像生成步骤；
根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像的校正预测图像生成步骤；
根据所述视差预测图像、所述运动预测图像和所述校正预测图像来生成所述预测图像的预测图像生成步骤；
求取所述编码对象图像与所述预测图像的差分值，生成预测残差的减法步骤；
对所述预测残差进行变换、量化，生成量化数据的变换、量化步骤；以及
对所述量化数据进行熵编码，生成编码数据的熵编码步骤。
14.一种视频解码方法，所述视频解码方法是视频解码装置进行的视频解码方法，所述视频解码装置进行时间方向和视差方向的帧间预测而生成对误差进行校正后的预测图像来对预测编码后的码数据进行解码，所述视频解码方法的特征在于，具有：
在所述时间方向和所述视差方向的每一个上将已经解码完毕的图像作为参照图片来对解码对象图像进行预测而决定示出各个参照目的地的帧间参照信息和视点间参照信息的预测步骤；
根据所述视点间参照信息来生成视差预测图像并且根据所述帧间参照信息来生成运动预测图像的预测图像生成步骤；
根据所述视点间参照信息和所述帧间参照信息来生成校正预测图像的校正预测图像生成步骤；
根据视差预测图像、运动预测图像和校正预测图像来生成预测图像的预测图像生成步骤；
对所述码数据进行熵解码，生成量化数据的熵解码步骤；
对所述量化数据实施逆量化、逆变换，生成解码预测残差的逆量化、逆变换步骤；以及
将所述解码预测残差和所述预测图像相加，生成解码图像的加法步骤。
15.一种计算机可读取的记录介质，其特征在于，存储有用于使计算机执行根据权利要求13所述的视频编码方法的视频编码程序。
16.一种计算机可读取的记录介质，其特征在于，存储有用于使计算机执行根据权利要求14所述的视频解码方法的视频解码程序。
CN201480019701.8A 2013-04-12 2014-04-11 视频编码装置和方法、视频解码装置和方法、以及其记录介质 Active CN105052148B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013084197 2013-04-12
JP2013-084197 2013-04-12
PCT/JP2014/060489 WO2014168238A1 (ja) 2013-04-12 2014-04-11 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム

Publications (2)

Publication Number Publication Date
CN105052148A CN105052148A (zh) 2015-11-11
CN105052148B true CN105052148B (zh) 2018-07-10

Family

ID=51689639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480019701.8A Active CN105052148B (zh) 2013-04-12 2014-04-11 视频编码装置和方法、视频解码装置和方法、以及其记录介质

Country Status (5)

Country Link
US (1) US20160073125A1 (zh)
JP (1) JP5894338B2 (zh)
KR (1) KR101761331B1 (zh)
CN (1) CN105052148B (zh)
WO (1) WO2014168238A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556314A (zh) * 2020-05-18 2020-08-18 郑州工商学院 一种计算机图像处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP4185014B2 (ja) * 2004-04-14 2008-11-19 日本電信電話株式会社 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
BRPI0620645B8 (pt) * 2006-01-05 2022-06-14 Nippon Telegraph & Telephone Método e aparelho de codificação de vídeo, e método e aparelho de decodificação de vídeo
EP2052546A4 (en) * 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
JP2012080151A (ja) * 2009-02-09 2012-04-19 Toshiba Corp 幾何変換動き補償予測を用いる動画像符号化及び動画像復号化の方法と装置
EP2594077B1 (en) * 2010-07-15 2015-11-04 GE Video Compression, LLC Hybrid video coding supporting intermediate view synthesis
CN102244801A (zh) * 2011-07-13 2011-11-16 中国民航大学 一种数字立体电视系统及编解码方法
CN102685532B (zh) * 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码系统的编码方法
EP2854399B1 (en) * 2012-06-19 2017-11-22 LG Electronics Inc. Method and device for processing video signal
US10334259B2 (en) * 2012-12-07 2019-06-25 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding

Also Published As

Publication number Publication date
KR101761331B1 (ko) 2017-07-25
WO2014168238A1 (ja) 2014-10-16
CN105052148A (zh) 2015-11-11
KR20150119052A (ko) 2015-10-23
US20160073125A1 (en) 2016-03-10
JPWO2014168238A1 (ja) 2017-02-16
JP5894338B2 (ja) 2016-03-30

Similar Documents

Publication Publication Date Title
US10051273B2 (en) Video decoder and video decoding method
US10499060B2 (en) Video encoding and decoding with improved error resilience
US8929460B1 (en) Method and encoding/decoding of video using common merging candidate set of asymmetric partitions
JP2019536376A5 (zh)
US10003806B2 (en) Optimized plenoptic image encoding
TW201941608A (zh) 影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN106063273A (zh) 图像编码装置及方法、图像解码装置及方法、以及它们的程序
CN104885462A (zh) 视频编码装置和方法、视频解码装置和方法、以及其程序
CN105052148B (zh) 视频编码装置和方法、视频解码装置和方法、以及其记录介质
US9667998B2 (en) Motion video predict coding method, motion video predict coding device, motion video predict coding program, motion video predict decoding method, motion predict decoding device, and motion video predict decoding program
US9491455B2 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
US20160286212A1 (en) Video encoding apparatus and method, and video decoding apparatus and method
US20240064336A1 (en) Image decoding apparatus and image encoding apparatus using ai, and methods performed thereby
US10972751B2 (en) Video encoding apparatus and method, and video decoding apparatus and method
JP6139953B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
CN106464899A (zh) 活动图像编码装置及方法和活动图像解码装置及方法
JP6306884B2 (ja) 予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体
JP2015128250A (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant