CN113056918A - 图像编码装置、图像解码装置及程序 - Google Patents

图像编码装置、图像解码装置及程序 Download PDF

Info

Publication number
CN113056918A
CN113056918A CN201980075660.7A CN201980075660A CN113056918A CN 113056918 A CN113056918 A CN 113056918A CN 201980075660 A CN201980075660 A CN 201980075660A CN 113056918 A CN113056918 A CN 113056918A
Authority
CN
China
Prior art keywords
motion vector
image
unit
prediction
small regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980075660.7A
Other languages
English (en)
Other versions
CN113056918B (zh
Inventor
岩村俊辅
市谷敦郎
根本慎平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to CN202410333611.1A priority Critical patent/CN117998099A/zh
Publication of CN113056918A publication Critical patent/CN113056918A/zh
Application granted granted Critical
Publication of CN113056918B publication Critical patent/CN113056918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

对图像进行块分割并针对每个块进行编码的图像编码装置包括：小区域分割部，将应编码的对象块分割成多个小区域；参照方向确定部，确定参照方向，所述参照方向表示应参照所述对象块周围的已完成编码块中的哪个方向的已完成编码块；运动矢量导出部，参照应用于位于所确定的参照方向上的已完成编码块的帧间预测的运动矢量，针对每个所述小区域导出运动矢量；以及预测图像生成部，使用所导出的运动矢量针对每个所述小区域进行帧间预测，以生成所述对象块的预测图像，对表示所确定的参照方向的参照方向信息进行编码并进行流输出。

Description

图像编码装置、图像解码装置及程序
技术领域
本发明涉及图像编码装置、图像解码装置以及程序。
背景技术
以往的运动图像(影像)编码方式的图像编码装置构成为：将原图像分割成块，针对每个块，边在利用帧间的时间相关的帧间预测与利用帧内的空间相关的帧内预测之间切换边进行预测，对表示通过预测得到的预测图像的误差的预测残差进行正交变换、量化、熵编码，由此进行流输出。
在作为这样的编码方式之一的H.265/HEVC(High Efficiency Video Coding)中，引入合并模式作为用于编码对象的块(CU：Coding Unit(编码单元))的帧间预测的运动矢量的导出模式。
在此引入的合并模式中，参照与编码对象CU的左、上相邻的多个CU，基于在这些CU的帧间预测模式中应用的运动矢量制作候选表，对表示使用该表中哪个运动矢量的索引(index)进行编码并传送，由此实现减少运动矢量的信息量(参照非专利文献1)。
另外，在非专利文献2中提出了如下的仿射(Affine)模式：作为合并模式的应用，从与编码对象CU相邻的多个周围的块中选择两个代表CU，使用在选择出的代表CU的帧间预测中应用的运动矢量计算旋转模式，针对编码对象CU应用计算出的旋转模式。
具体而言，在仿射模式中，将编码对象CU分割为预先规定的N×N像素的小区域(例如4×4像素)，利用所述旋转模式针对每个小区域计算与该小区域的位置对应的运动矢量，由此实现了针对编码对象CU内的每个小区域使用不同的运动矢量的帧间预测。
现有技术文献
非专利文献
非专利文献1：High Efficiency Video Coding(HEVC)-Algorithms andArchitechtures-，V.Sze，M.Budagavi，G.J.Sullivan，Springer
非专利文献2："Algorithm description for Versatile Video Coding andTest Model 2(VTM 2)，"JVET-K1002
发明内容
发明要解决的问题
但是，在非专利文献1中记载的合并模式中，在基于相邻的多个CU的候选表中，由于仅使用一个运动矢量进行编码对象CU的帧间预测，所以存在有如下的问题：复杂的运动、在2个对象的边界部分处的预测精度低，如果在该区域中使用合并模式则编码效率降低。
另外，在非专利文献2中记载的仿射模式中，由于能够使用应用于周围的CU的多个运动矢量，针对每个小区域进行使用了不同的运动矢量的帧间预测，所以能够高精度地预测旋转等运动，但是与所述合并模式同样地，无法解决对象边界处的预测精度低、编码效率降低的问题。
另一方面，通过对编码对象CU进行精细地分割并编码，能够提高对象边界处的预测精度，但是存在有如下的问题：表示分割形状的标志、针对各分割后的块的运动矢量等的信息量增大，编码效率降低。
因此，本发明的目的在于提供能够改善帧间预测的预测精度并提高编码效率的图像编码装置、图像解码装置以及程序。
用于解决问题的手段
第一特征的图像编码装置的主旨在于，该图像编码装置对图像进行块分割并针对每个块进行编码，所述图像编码装置包括：小区域分割部，将应编码的对象块分割成多个小区域；参照方向确定部，确定参照方向，所述参照方向表示应该参照所述对象块周围的已完成编码块中的哪个方向的已完成编码块；运动矢量导出部，参照应用于位于所确定的参照方向上的已完成编码块的帧间预测的运动矢量，针对每个所述小区域导出运动矢量；预测图像生成部，使用所导出的运动矢量，针对每个所述小区域进行帧间预测，以生成所述对象块的预测图像；以及熵编码部，对表示所确定的参照方向的参照方向信息进行编码并进行流输出。
在第一特征中，图像编码装置还可以包括参照运动矢量取得部，所述参照运动矢量取得部取得多个参照运动矢量，所述多个参照运动矢量包含应用于位于所述对象块周围的各已完成编码块的帧间预测的运动矢量。所述运动矢量导出部可以针对每个包括在所述多个小区域中的一个小区域：从所述多个参照运动矢量中确定与以所述一个小区域为基准位于所述参照方向上的已完成编码块对应的参照运动矢量，使用所确定的参照运动矢量通过外插导出所述一个小区域的运动矢量。
在第一特征中，所述熵编码部可以不对每个所述小区域的运动矢量进行编码而对所述参照方向信息进行编码并进行流输出。
在第一特征中，所述预测图像生成部可以针对每个所述小区域进行帧间预测以生成每个所述小区域的预测图像，可以合成每个所述小区域的预测图像以生成所述对象块的预测图像。
第二特征的图像解码装置的主旨在于，该图像解码装置针对每个块对编码流进行解码，所述图像解码装置包括：小区域分割部，将应解码的对象块分割成多个小区域；熵解码部，通过对所述编码流进行解码以取得参照方向，所述参照方向表示应该参照所述对象块周围的已完成解码块中的哪个方向的已完成解码块；运动矢量导出部，参照应用于位于所取得的参照方向上的已完成解码块的帧间预测的运动矢量，针对每个所述小区域导出运动矢量；以及预测图像生成部，使用所导出的运动矢量针对每个所述小区域进行帧间预测，以生成所述对象块的预测图像。
在第二特征中，图像解码装置还可以还包括参照运动矢量取得部，所述参照运动矢量取得部取得多个参照运动矢量，所述多个参照运动矢量包含应用于位于所述对象块周围的各已完成解码块的帧间预测的运动矢量。所述运动矢量导出部可以针对每个包含在所述多个小区域中的一个小区域：从所述多个参照运动矢量中确定与以所述一个小区域为基准位于所述参照方向上的已完成解码块对应的参照运动矢量，使用所确定的参照运动矢量通过外插导出所述一个小区域的运动矢量。
在第二特征中，所述熵解码部可以不从所述编码流取得每个所述小区域的运动矢量而从所述编码流取得所述参照方向。
在第二特征中，所述预测图像生成部可以针对每个所述小区域进行帧间预测以生成每个所述小区域的预测图像，可以合成每个所述小区域的预测图像以生成所述对象块的预测图像。
第三特征的程序，其主旨在于，使计算机作为根据第一特征的图像编码装置发挥功能。
第四特征的程序，其主旨在于，使计算机作为根据第二特征的图像解码装置发挥功能。
发明效果
根据本发明，能够提供能够改善帧间预测的预测精度并能够提高编码效率的图像编码装置、图像解码装置以及程序。
附图说明
图1是示出根据实施方式的图像编码装置的构成的图。
图2是示出根据实施方式的图像编码装置的帧间预测部的构成的图。
图3是示出根据实施方式的小区域的构成例的图。
图4是示出根据实施方式的参照运动矢量的一个示例的图。
图5是示出根据实施方式的参照方向的种类的一个示例的图。
图6是示出根据实施方式的参照方向为左下方向的情况的示例的图。
图7是示出参照左下26.5度方向进行外插的示例的图。
图8是示出根据实施方式的图像编码装置的帧间预测部的操作的图。
图9是示出根据实施方式的图像解码装置的构成的图。
图10是示出根据实施方式的图像解码装置的帧间预测部的构成的图。
图11是示出根据实施方式的图像解码装置的帧间预测部的操作的图。
图12是示出根据另外的实施方式的运动矢量的导出方法的图。
具体实施方式
参照附图，对根据实施方式的图像编码装置以及图像解码装置进行说明。根据实施方式的图像编码装置以及图像解码装置分别对以MPEG为代表的视频进行编码以及解码。在以下的附图的记载中，对相同或类似的部分赋予相同或类似的附图标记。
＜图像编码装置＞
首先，对根据本实施方式的图像编码装置进行说明。图1是示出根据本实施方式的图像编码装置1的构成的图。
如图1所示，图像编码装置1包括块分割部100、减法部110、变换量化部120、熵编码部130、逆量化逆变换部140、合成部150、存储器160以及预测部170。
块分割部100将构成运动图像的帧(或图像)单位的输入图像分割为多个块，向减法部110输出通过分割得到的块。块的尺寸例如为32×32像素、16×16像素、8×8像素或4×4像素等。块的形状不限于正方形，也可以是长方形。块是图像编码装置1进行编码的单位以及图像解码装置进行解码的单位。在下文中，将所述块称为CU(Coding Unit)。
减法部110计算表示从块分割部100输入的编码对象CU与预测部170对编码对象CU进行预测得到的预测图像的差分(误差)的预测残差。具体而言，减法部110通过从CU的各像素值减去预测图像的各像素值计算预测残差，向变换量化部120输出计算出的预测残差。
变换量化部120以CU单位进行正交变换处理以及量化处理。变换量化部120包括变换部121以及量化部122。
变换部121针对从减法部110输入的预测残差进行正交变换处理，计算正交变换系数，向量化部122输出计算出的正交变换系数。正交变换例如是指离散余弦变换(DCT:Discrete Cosine Transform)、离散正弦变换(DST：Discrete Sine Transform)、卡-洛变换(KLT：Karhunen Loeve Transform)等。
量化部122使用量化参数(Qp)以及量化矩阵对从变换部121输入的正交变换系数进行量化，向熵编码部130以及逆量化逆变换部140输出量化后的正交变换系数。另外，量化参数(Qp)是针对CU内的各正交变换系数共同应用的参数，是确定量化的粗糙度的参数。量化矩阵是具有对各正交变换系数进行量化时的量化值作为元素的矩阵。
熵编码部130对从量化部122输入的正交变换系数进行熵编码，进行数据压缩，生成编码流(比特流)，向图像编码装置1的外部输出编码流。可以将哈夫曼编码、CABAC(Context-based Adaptive Binary Arithmetic Coding：基于上下文的自适应二进制算术编码)等用于熵编码。另外，熵编码部130从预测部170输入与预测有关的控制信息，也进行输入的控制信息的熵编码。
逆量化逆变换部140以CU单位进行逆量化处理以及逆正交变换处理。逆量化逆变换部140包括逆量化部141以及逆变换部142。
逆量化部141进行与量化部122进行的量化处理对应的逆量化处理。具体而言，逆量化部141使用量化参数(Qp)以及量化矩阵对从量化部122输入的正交变换系数进行逆量化，由此将正交变换系数复原，向逆变换部142输出复原后的正交变换系数。
逆变换部142进行与变换部121进行的正交变换处理对应的逆正交变换处理。例如，在变换部121进行了离散余弦变换的情况下，逆变换部142进行逆离散余弦变换。逆变换部142针对从逆量化部141输入的正交变换系数进行逆正交变换处理，将预测残差复原，向合成部150输出作为复原后的预测残差的复原预测残差。
合成部150将从逆变换部142输入的复原预测残差与从预测部170输入的预测图像以像素单位合成。合成部150将复原预测残差的各像素值与预测图像的各像素值相加来对编码对象CU进行重构(解码)，向存储器160输出解码后的CU单位的解码图像。所述解码图像有时被称为重构图像。
存储器160存储从合成部150输入的解码图像。存储器160以帧单位存储解码图像。存储器160向预测部170输出存储的解码图像。另外，可以在合成部150与存储器160之间设置环路滤波器。
预测部170以CU单位进行预测。预测部170包括帧内预测部171、帧间预测部172以及切换部173。
帧内预测部171参照存储在存储器160中的解码图像中的位于编码对象CU周围的解码像素值，生成帧内预测图像，向切换部173输出生成的帧内预测图像。另外，帧内预测部171从多个帧内预测模式中选择应用于对象CU的最合适的帧内预测模式，使用选择出的帧内预测模式进行帧内预测。帧内预测部171向熵编码部130输出与选择出的帧内预测模式有关的控制信息。
帧间预测部172使用存储在存储器160中的解码图像作为参照图像通过块匹配等方法计算运动矢量，对编码对象CU进行预测以生成帧间预测图像，向切换部173输出生成的帧间预测图像。帧间预测部172从使用多个参照图像的帧间预测(典型的是双预测)、使用一个参照图像的帧间预测(单方向预测)中选择最合适的帧间预测方法，使用选择出的帧间预测方法进行帧间预测。帧间预测部172向熵编码部130输出与帧间预测有关的控制信息。
切换部173在从帧内预测部171输入的帧内预测图像与从帧间预测部172输入的帧间预测图像之间进行切换，向减法部110以及合成部150输出任意的预测图像。
接着，对图像编码装置1的帧间预测部172进行说明。图2是示出图像编码装置1的帧间预测部172的构成的图。
如图2所示，帧间预测部172包括小区域分割部172a、参照运动矢量取得部172b、参照方向确定部172c、运动矢量导出部172d以及预测图像生成部172e。
小区域分割部172a将编码对象(预测对象)的CU分割成预先规定的尺寸的多个小区域，向运动矢量导出部172d以及预测图像生成部172e输出通过分割得到的各小区域的信息。所述小区域也可以称为子块。
图3是示出小区域的构成示例的图。如图3的(a)所示，可以使各小区域的尺寸相同，例如使小区域成为每个为4×4像素的区域。
或者，如果在图像解码装置以及图像解码装置中预先规定共同的处理，则如图3的(b)所示，也可以使各小区域的尺寸不同。例如，可利用在编码对象CU的边界附近精细地、在中心附近粗略地分割这样的方法分割成小区域。
参照运动矢量取得部172b取得应用于位于编码对象CU的周围(上、左)的各已完成编码CU的帧间预测的运动矢量作为参照运动矢量，向参照方向确定部172c以及运动矢量导出部172d输出取得的参照运动矢量的表。
图4是示出参照运动矢量的一个示例的图。如图4的(a)所示，在对位于编码对象CU的上、左的已完成编码CU中的一部分已完成编码CU应用了帧内预测的情况下，参照运动矢量取得部172b可以通过代入应用于接近该一部分的已完成编码CU的CU的运动矢量来对参照运动矢量进行内插，也可以通过周围能够利用的运动矢量的加权平均等计算参照运动矢量并进行内插。在编码对象CU为画面端的情况下也同样地进行内插。
如图4的(b)所示，将编码对象CU的左上的坐标设为(0，0)，将编码对象CU的宽度设为W，将高度设为H，将小区域的尺寸(在此以小区域的宽度与高度相等的情况为例进行说明)设为S，以下述的式(1)的方式计算参照运动矢量refMV。
refMV[-1][-1]＝MV[-1][-1]
refMV[-1][n]＝MV[-1][(n+1)*S-1](n＝0…(H+W)/S-1)
refMV[n][-1]＝MV[(n+1)*S-1][-1](n＝0…(H+W)/S-1)···(1)
其中，式(1)中的MV[x][y]表示应用了包含位于(x，y)坐标的像素的CU的运动矢量。
另外，运动矢量除了包含运动矢量的水平方向以及垂直方向的矢量的值以外，也可以包含参照的图像(参照图像)的时间的位置(例如POC：Picture Order Count或参照表内的参照索引)等。
参照方向确定部172c确定参照方向，所述参照方向表示应该参照位于编码对象CU周围的已完成编码CU中的哪个方向的已完成编码CU，向运动矢量导出部172d以及熵编码部130输出表示确定出的参照方向的参照方向信息。具体而言，参照方向表示使用位于哪个方向上的参照运动矢量对应用于编码对象CU内的小区域的运动矢量进行外插。
例如，参照方向确定部172c从预先规定的参照方向的候选中确定参照方向。图5是示出参照方向的候选的一个示例的图。如图5的(a)至(e)所示，规定5个种类的参照方向作为参照方向的候选。
具体而言，图5的(a)表示“参照左下方向”，图5的(b)表示“参照左方向”，图5的(c)表示“参照左上方向”，图5的(d)表示“参照上方向”，图5的(e)表示“参照右上方向”。
将图中的用粗线包围的块设为编码对象CU，将位于编码对象CU的左或上的块组及其运动矢量设为位于编码对象CU的周围的已完成编码的CU以及应用于该CU的运动矢量。另外，在本示例中，设为已经进行了应用了帧内预测的情况等无法利用运动矢量的情况的内插处理。
参照方向确定部172c确定对编码对象CU应用上述5个种类的参照方向中的哪个参照方向的外插。参照方向确定部172c例如试验可选择的全部的参照方向的外插，使用生成的运动矢量预测编码对象CU，进行正交变换、量化以及熵编码，根据产生信息量与从原始图像的变形量的一次结合，计算率失真(RD)代价，确定RD代价成为最小的参照方向。
另外，作为用于计算RD代价的前处理，也可以通过基于利用试验的参照方向的外插得到的运动矢量的、预测残差的统计量的比较来简易地锁定或确定参照方向。另外，也可以通过针对原始图像进行边缘量等特征量解析来确定参照方向，还可以通过在时间上、空间上相邻的运动矢量的统计量解析来确定参照方向。
运动矢量导出部172d参照应用于位于参照方向确定部172c确定出的参照方向上的已完成编码块的帧间预测的参照运动矢量，针对每个小区域导出运动矢量，向预测图像生成部172e输出针对每个小区域导出的运动矢量。在本实施方式中，运动矢量导出部172d使用参照运动矢量对应用于编码对象CU内的各小区域的运动矢量进行外插。
图6是示出参照方向为左下方向的情况的示例的图。图6中的refMV是参照运动矢量，设pMV为应用于外插的各小区域的运动矢量。如图6所示，在参照方向为左下方向的情况下，运动矢量导出部172d以下述的式(2)的方式计算外插的运动矢量pMV。
pMV[x][y]＝refMV[-1][×+y-1]···(2)
其中，x＝0…W/S-1，y＝0…H/S-1。
另外，不限于通过位于参照方向上的一个参照运动矢量的拷贝确定应用于小区域的运动矢量的情况，也可以通过位于参照方向附近的多个参照运动矢量的加权平均进行计算。例如，运动矢量导出部172d可以使用参照方向附近的3个参照运动矢量以下述的式(3)的方式计算运动矢量pMV。
pMV[x][y]＝(refMV[-1][x+y-2]+refMV[-1][x+y-1]*2+refMV[-1][x+y])/4···(3)
另外，在本实施例中，作为参照方向，以垂直方向、水平方向以及倾斜45度的方向为例进行了说明，但是只要在图像编码装置以及图像解码装置中进行共通的处理，则角度可以任意设定。例如，如图7所示，在参照左下26.5度方向进行外插的示例中，运动矢量导出部172d可以以下述的式(4)的方式计算pMV[x][y]。
[数学式1]
Figure BDA0003068600800000101
预测图像生成部172e使用由运动矢量导出部172d导出的运动矢量，针对编码对象CU内的每个小区域进行帧间预测，由此生成编码对象CU的预测图像，向切换部173输出生成的预测图像(帧间预测图像)。
具体而言，预测图像生成部172e使用由运动矢量导出部172d针对每个小区域导出的运动矢量，针对每个小区域进行帧间预测，由此生成每个小区域的预测图像。而且，预测图像生成部172e合成每个小区域的预测图像，由此生成编码对象CU的预测图像。
另外，所述的预测图像通过切换部173输入至减法部110，减法部110向变换量化部120输出表示编码对象CU与预测图像之间的差异的预测残差。变换量化部120从预测残差生成量化后的正交变换系数，向熵编码部130输出生成的正交变换系数。
熵编码部130对从参照方向确定部172c输入的参照方向信息与从变换量化部120输入的正交变换系数一起进行熵编码并进行流输出。
接着，对图像编码装置1的帧间预测部172的操作进行说明。图8是示出图像编码装置1的帧间预测部172的操作的图。
如图8所示，在步骤S101中，小区域分割部172a将编码对象CU分割成多个小区域。
在步骤S102中，参照方向确定部172c确定参照方向，所述参照方向表示应该参照编码对象CU的周围的已完成编码块中的哪个方向的已完成编码块。
在步骤S103中，运动矢量导出部172d参照应用于位于在步骤S102中由参照方向确定部172c确定出的参照方向上的已完成编码块的帧间预测的运动矢量，针对每个小区域导出运动矢量。
在步骤S104中，预测图像生成部172e使用在步骤S103中由运动矢量导出部172d导出的运动矢量针对每个小区域进行帧间预测，由此生成编码对象CU的预测图像。
另外，熵编码部130对表示在步骤S102中由参照方向确定部172c确定出的参照方向的参照方向信息进行编码并进行流输出。
这样，根据本实施方式的图像编码装置1，由于针对编码对象CU内的每个小区域使用不同的运动矢量针对每个小区域进行细致的帧间预测，所以能够改善复杂运动的预测精度、2个对象的边界部分处的预测精度。
另外，由于针对编码对象CU在编码流中只要包含一个参照方向信息即可，所以与针对编码对象CU内的每个小区域在编码流中包含运动矢量的情况相比较，能够减少应传送的信息量。
＜图像解码装置＞
接着，对本实施方式的图像解码装置进行说明。图9示出本实施方式的图像解码装置2的构成的图。
如图9所示，图像解码装置2包括熵解码部200、逆量化逆变换部210、合成部220、存储器230以及预测部240。
熵解码部200对由图像编码装置1生成的编码流进行解码，向逆量化逆变换部210输出量化后的正交变换系数。另外，熵解码部200取得与预测(帧内预测以及帧间预测)有关的控制信息，向预测部240输出取得的控制信息。
在本实施方式中，熵解码部200对编码流中包含的参照方向信息进行解码，向帧间预测部242输出解码后的参照方向信息。
逆量化逆变换部210以CU单位进行逆量化处理以及逆正交变换处理。逆量化逆变换部210包括逆量化部211以及逆变换部212。
逆量化部211进行与图像编码装置1的量化部122进行的量化处理对应的逆量化处理。逆量化部211通过使用量化参数(Qp)以及量化矩阵对从熵解码部200输入的量化正交变换系数进行逆量化，将正交变换系数复原，向逆变换部212输出复原后的正交变换系数。
逆变换部212进行与图像编码装置1的变换部121进行的正交变换处理对应的逆正交变换处理。逆变换部212对从逆量化部211输入的正交变换系数进行逆正交变换处理，将预测残差复原，向合成部220输出复原后的预测残差(复原预测残差)。
合成部220将从逆变换部212输入的预测残差与从预测部240输入的预测图像以像素单位合成，由此对原来的CU进行重构(解码)，向存储器230输出CU单位的解码图像。
存储器230存储从合成部220输入的解码图像。存储器230以帧单位存储解码图像。存储器230向图像解码装置2的外部输出帧单位的解码图像。另外，也可以在合成部220与存储器230之间设置环路滤波器。
预测部240以CU单位进行预测。预测部240包括帧内预测部241、帧间预测部242以及切换部243。
帧内预测部241参照存储在存储器230中的解码图像，根据从熵解码部200输入的控制信息进行帧内预测，由此生成帧内预测图像，向切换部243输出生成的帧内预测图像。
帧间预测部242进行使用存储在存储器230中的解码图像作为参照图像对预测对象的CU进行预测的帧间预测。帧间预测部242根据从熵解码部200输入的控制信息进行帧间预测，由此生成帧间预测图像，向切换部243输出生成的帧间预测图像。
切换部243在从帧内预测部241输入的帧内预测图像与从帧间预测部242输入的帧间预测图像之间进行切换，向合成部220输出任意的预测图像。
接着，对图像解码装置2的帧间预测部242进行说明。图10是示出图像解码装置2的帧间预测部242的构成的图。在此适当地省略了对与图像编码装置1的帧间预测部172的操作重复的操作的说明。
如图10所示，帧间预测部242包括小区域分割部242a、参照运动矢量取得部242b、运动矢量导出部242d以及预测图像生成部242e。
小区域分割部242a将解码对象(预测对象)的CU分割成预先规定的尺寸的多个小区域，向运动矢量导出部242d以及预测图像生成部242e输出通过分割得到的各小区域的信息。
参照运动矢量取得部242b取得应用于位于解码对象CU的周围(上或左)的各已完成解码CU的帧间预测的运动矢量作为参照运动矢量，向运动矢量导出部242d输出取得的参照运动矢量的表。
运动矢量导出部242d基于从熵解码部200输入的参照方向信息，参照应用于位于由图像编码装置1确定出的参照方向上的已完成解码块的帧间预测的参照运动矢量，针对每个小区域导出运动矢量，向预测图像生成部242e输出针对每个小区域导出的运动矢量。
预测图像生成部242e使用由运动矢量导出部242d导出的运动矢量，针对解码对象CU内的每个小区域进行帧间预测，由此生成解码对象CU的预测图像，向切换部243输出生成的预测图像(帧间预测图像)。
具体而言，预测图像生成部242e使用由运动矢量导出部242d针对每个小区域导出的运动矢量，针对每个小区域进行帧间预测，由此生成每个小区域的预测图像。而且，预测图像生成部172e通过将每个小区域的预测图像合成来生成解码对象CU的预测图像。
另外，所述的预测图像通过切换部243输入至合成部220，合成部220将从逆变换部212输入的预测残差与预测图像以像素单位合成，由此对原来的CU进行重构(解码)，向存储器230输出CU单位的解码图像。
接着，对图像解码装置2的帧间预测部242的操作进行说明。图11是示出图像解码装置2的帧间预测部242的操作的图。
如图11所示，在步骤S201中，小区域分割部242a将解码对象CU分割成多个小区域。
在步骤S202中，运动矢量导出部242d根据由熵解码部200解码出的参照方向信息，取得由图像编码装置1确定出的参照方向。
在步骤S203中，运动矢量导出部242d参照应用于位于在步骤S202中取得的参照方向上的已完成解码块的帧间预测的运动矢量，针对每个小区域导出运动矢量。
在步骤S204中，预测图像生成部242e使用在步骤S203中由运动矢量导出部242d导出的运动矢量，针对每个小区域进行帧间预测，由此生成解码对象CU的预测图像。
这样，根据本实施方式的图像解码装置2，由于能够针对解码对象CU内的每个小区域使用不同的运动矢量来针对每个小区域进行细致的帧间预测，所以能够改善复杂运动的预测精度、2个对象的边界部分处的预测精度。、
＜另外的实施方式＞
在上述的实施方式中，对使用参照运动矢量对应用于编码对象CU内的各小区域的运动矢量进行外插的一个示例进行了说明。但是，如图12所示，也可以使用2个以上的参照运动矢量对应用于小区域的运动矢量进行内插。在图12所示的示例，参照方向为左下方向，小区域参照应用于左下方向的CU的参照运动矢量，但是该小区域还进一步参照应用于右上方向的CU的参照运动矢量。根据左下方向的CU与该小区域之间的距离、右上方向的CU与该小区域之间的距离对参照运动矢量进行加权，对应用于该小区域的运动矢量进行内插。
还可以提供使计算机执行图像编码装置1进行的各处理的程序以及使计算机执行图像解码装置2进行的各处理的程序。另外，程序可以存储在计算机可读取的介质中。如果使用计算机可读取的介质，可以将程序安装到计算机中。在此，存储有程序的计算机可读取的介质可以是非暂时性存储介质。非暂时性存储介质虽然没有特别的限定，但是例如可以是CD-ROM、DVD-ROM等存储介质。
另外，也可以将执行图像编码装置1进行的各处理的电路集成化，将图像编码装置1构成为半导体集成电路(芯片组，SoC)。同样地，也可以将执行图像解码装置2进行的各处理的电路集成化，将图像解码装置2构成为半导体集成电路(芯片组，SoC)。
以上，参照附图对实施方式详细地进行了说明，但是具体的构成不限于上述的构成，在不脱离主旨的范围内，可以进行各种各样的设计变形等。
本申请要求第2018-178123号(2018年9月21日申请)的日本专利申请的优先权，将该日本专利申请的全部内容并入本申请说明书。

Claims (10)

1.一种图像编码装置，其特征在于，
所述图像编码装置对图像进行块分割并针对每个块进行编码，
所述图像编码装置包括：
小区域分割部，将应编码的对象块分割成多个小区域；
参照方向确定部，确定参照方向，所述参照方向表示应参照所述对象块的周围的已完成编码块中的哪个方向的已完成编码块；
运动矢量导出部，参照应用于位于所确定的参照方向上的已完成编码块的帧间预测的运动矢量，针对每个所述小区域导出运动矢量；
预测图像生成部，使用所导出的运动矢量，针对每个所述小区域进行帧间预测，以生成所述对象块的预测图像；以及
熵编码部，对表示所确定的参照方向的参照方向信息进行编码并进行流输出。
2.根据权利要求1所述的图像编码装置，其特征在于，
所述图像编码装置还包括参照运动矢量取得部，所述参照运动矢量取得部取得多个参照运动矢量，所述多个参照运动矢量包含应用于位于所述对象块的周围的各已完成编码块的帧间预测的运动矢量，
所述运动矢量导出部针对每个包括在所述多个小区域中的一个小区域：
从所述多个参照运动矢量中确定与以所述一个小区域为基准而位于所述参照方向上的已完成编码块对应的参照运动矢量，
使用所确定的参照运动矢量，通过外插导出所述一个小区域的运动矢量。
3.根据权利要求1或2所述的图像编码装置，其特征在于，
所述熵编码部不对每个所述小区域的运动矢量进行编码而对所述参照方向信息进行编码并进行流输出。
4.根据权利要求1至3中任意一项所述的图像编码装置，其特征在于，所述预测图像生成部
针对每个所述小区域进行帧间预测以生成每个所述小区域的预测图像，
通过合成每个所述小区域的预测图像以生成所述对象块的预测图像。
5.一种图像解码装置，其特征在于，
所述图像解码装置针对每个块对编码流进行解码，
所述图像解码装置包括：
小区域分割部，将应解码的对象块分割成多个小区域；
熵解码部，通过对所述编码流进行解码取得参照方向，所述参照方向表示应参照所述对象块周围的已完成解码块中的哪个方向的已完成解码块；
运动矢量导出部，参照应用于位于所取得的参照方向上的已完成解码块的帧间预测的运动矢量，针对每个所述小区域导出运动矢量；以及
预测图像生成部，使用所导出的运动矢量针对每个所述小区域进行帧间预测，以生成所述对象块的预测图像。
6.根据权利要求5所述的图像解码装置，其特征在于，
所述图像解码装置还包括参照运动矢量取得部，所述参照运动矢量取得部取得多个参照运动矢量，所述多个参照运动矢量包含应用于位于所述对象块周围的各已完成解码块的帧间预测的运动矢量，
所述运动矢量导出部针对每个包括在所述多个小区域中的一个小区域：
从所述多个参照运动矢量中确定与以所述一个小区域为基准位于所述参照方向上的已完成解码块对应的参照运动矢量，
使用所确定的参照运动矢量，通过外插导出所述一个小区域的运动矢量。
7.根据权利要求5或6所述的图像解码装置，其特征在于，
所述熵解码部不从所述编码流取得每个所述小区域的运动矢量而从所述编码流取得所述参照方向。
8.根据权利要求5至7中任意一项所述的图像解码装置，其特征在于，所述预测图像生成部：
针对每个所述小区域进行帧间预测以生成每个所述小区域的预测图像，
通过合成每个所述小区域的预测图像以生成所述对象块的预测图像。
9.一种程序，其特征在于，所述程序使计算机作为权利要求1至4中任意一项所述的图像编码装置发挥功能。
10.一种程序，其特征在于，所述程序使计算机作为权利要求5至8中任意一项所述的图像解码装置发挥功能。
CN201980075660.7A 2018-09-21 2019-09-12 图像编码装置、图像解码装置及程序 Active CN113056918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410333611.1A CN117998099A (zh) 2018-09-21 2019-09-12 图像解码装置及程序产品

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018178123 2018-09-21
JP2018-178123 2018-09-21
PCT/JP2019/035813 WO2020059616A1 (ja) 2018-09-21 2019-09-12 画像符号化装置、画像復号装置、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410333611.1A Division CN117998099A (zh) 2018-09-21 2019-09-12 图像解码装置及程序产品

Publications (2)

Publication Number Publication Date
CN113056918A true CN113056918A (zh) 2021-06-29
CN113056918B CN113056918B (zh) 2024-04-12

Family

ID=69888752

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410333611.1A Pending CN117998099A (zh) 2018-09-21 2019-09-12 图像解码装置及程序产品
CN201980075660.7A Active CN113056918B (zh) 2018-09-21 2019-09-12 图像编码装置、图像解码装置及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410333611.1A Pending CN117998099A (zh) 2018-09-21 2019-09-12 图像解码装置及程序产品

Country Status (4)

Country Link
US (1) US11812015B2 (zh)
JP (1) JP7412343B2 (zh)
CN (2) CN117998099A (zh)
WO (1) WO2020059616A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422803B (zh) * 2022-03-30 2022-08-05 浙江智慧视频安防创新中心有限公司 一种视频处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918842A (zh) * 2010-04-07 2013-02-06 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
US20130279582A1 (en) * 2010-12-17 2013-10-24 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image encoding method and moving image decoding method
JP2014049875A (ja) * 2012-08-30 2014-03-17 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN105612748A (zh) * 2013-10-17 2016-05-25 日本电信电话株式会社 活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HRP20230425T1 (hr) * 2011-03-21 2023-07-07 Lg Electronics, Inc. Odabir prediktora vektora kretanja
CN109587479B (zh) * 2017-09-29 2023-11-10 华为技术有限公司 视频图像的帧间预测方法、装置及编解码器
EP3484148A1 (en) * 2017-11-09 2019-05-15 Thomson Licensing Automated scanning order for sub-divided blocks
US10931963B2 (en) * 2017-12-07 2021-02-23 Tencent America LLC Method and apparatus for video coding
TWI729477B (zh) * 2018-08-31 2021-06-01 聯發科技股份有限公司 視訊編解碼中的子塊去塊及裝置
JP7342118B2 (ja) * 2018-10-12 2023-09-11 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド 多重仮定予測を用いるビデオ信号処理方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918842A (zh) * 2010-04-07 2013-02-06 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
US20130279582A1 (en) * 2010-12-17 2013-10-24 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image encoding method and moving image decoding method
JP2014049875A (ja) * 2012-08-30 2014-03-17 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN105612748A (zh) * 2013-10-17 2016-05-25 日本电信电话株式会社 活动图像编码方法、活动图像解码方法、活动图像编码装置、活动图像解码装置、活动图像编码程序、以及活动图像解码程序

Also Published As

Publication number Publication date
WO2020059616A1 (ja) 2020-03-26
US20210235081A1 (en) 2021-07-29
JP7412343B2 (ja) 2024-01-12
JPWO2020059616A1 (ja) 2021-09-09
CN113056918B (zh) 2024-04-12
CN117998099A (zh) 2024-05-07
US11812015B2 (en) 2023-11-07

Similar Documents

Publication Publication Date Title
US11876979B2 (en) Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US11350120B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
US11368716B2 (en) Image encoding device, image decoding device and program
US20110243227A1 (en) Moving picture decoding method and device, and moving picture encoding method and device
US20210014489A1 (en) Intra prediction device, image encoding device, image decoding device and program
JP2023168518A (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
JP2024069638A (ja) 予測装置、符号化装置、復号装置、及びプログラム
CN113056918B (zh) 图像编码装置、图像解码装置及程序
JP2023138826A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
CN114097224B (zh) 帧内预测装置、图像解码装置及程序
JP7228980B2 (ja) 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP7449690B2 (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2013098715A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
JP7483422B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
JP2022066678A (ja) イントラ予測装置、符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant