CN112887720B - 图像解码装置和方法、以及图像编码装置和方法 - Google Patents

图像解码装置和方法、以及图像编码装置和方法 Download PDF

Info

Publication number
CN112887720B
CN112887720B CN202110325100.1A CN202110325100A CN112887720B CN 112887720 B CN112887720 B CN 112887720B CN 202110325100 A CN202110325100 A CN 202110325100A CN 112887720 B CN112887720 B CN 112887720B
Authority
CN
China
Prior art keywords
motion vector
prediction
merge candidate
merge
differential motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110325100.1A
Other languages
English (en)
Other versions
CN112887720A (zh
Inventor
竹原英树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019171782A external-priority patent/JP6933235B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN112887720A publication Critical patent/CN112887720A/zh
Application granted granted Critical
Publication of CN112887720B publication Critical patent/CN112887720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种图像解码装置、图像解码方法以及图像解码程序。生成合并候选列表生成，从合并候选列表选择合并候选作为选择合并候选，从编码流对码串进行解码并导出校正矢量，在不对校正矢量进行缩放的情况下将校正矢量与选择合并候选的第一预测的运动矢量相加，在不对校正矢量缩放的情况下从选择合并候选的第二预测的运动矢量中减去校正矢量，并导出校正合并候选。

Description

图像解码装置和方法、以及图像编码装置和方法
本申请是基于申请号为201980050605.2，申请日为2019年12月13日，名称为“图像解码装置、图像解码方法以及图像解码程序”的发明专利申请的分案申请。
技术领域
本发明涉及图像解码技术。
背景技术
现有HEVC(High Efficiency Video Coding，高效率视频编码)(H.265)等图像编码技术。在HEVC中，作为帧间预测模式而利用合并模式。
现有技术文献
专利文献
专利文献1：日本特开平10-276439号公报。
发明内容
在HEVC中，作为帧间预测模式存在合并模式和差分运动矢量模式，发明人认识到通过校正合并模式的运动矢量，存在提高编码效率的空间。
本发明就是鉴于这样的情况而完成的，其目的在于校正合并模式的运动矢量，提供更高效率的新的帧间预测模式。
为了解决上述问题，本发明的某方式的图像解码装置包括：合并候选列表生成部，生成合并候选列表，所述合并候选列表包含与预测对象块相邻的多个块的运动信息作为合并候选；合并候选选择部，从所述合并候选列表中选择合并候选作为选择合并候选；码串解码部，从编码流对码串进行解码并导出校正矢量；以及合并候选校正部，在不对所述校正矢量进行缩放的情况下将所述校正矢量与所述选择合并候选的第一预测的运动矢量相加，在不对所述校正矢量进行缩放的情况下从所述选择合并候选的第二预测的运动矢量减去所述校正矢量，并导出校正合并候选。
此外，以上的结构要素的任意的组合、在方法、装置、记录介质、计算机程序等之间变换本发明的表现形式，作为本发明的方式也是有效的。
根据本发明，能够提供更高效率的新的帧间预测模式。
附图说明
图1的(a)是说明第一实施方式所涉及的图像编码装置100的结构的图，图1的(b)是说明第一实施方式所涉及的图像解码装置200的结构的图；
图2是示出输入图像被基于块尺寸而分割成块的例子的图；
图3是说明图1的(a)的图像编码装置的帧间预测部的结构的图；
图4是说明第一实施方式的合并模式的动作的流程图；
图5是说明图1的(a)的图像编码装置的合并候选列表生成部的结构的图；
图6是说明与处理对象块相邻的块的图；
图7是说明与处理对象块处于相同位置及其周边的解码图像上的块的图；
图8是示出第一实施方式的合并模式下的块的句法的一部分的图；
图9是示出第一实施方式的差分运动矢量的句法的图；
图10是示出第一实施方式的某变形例的差分运动矢量的句法的图；
图11是示出第一实施方式的其他变形例的合并模式下的块的句法的一部分的图；
图12是示出第一实施方式的又一其他变形例的合并模式下的块的句法的一部分的图；
图13是说明第二实施方式的合并模式的动作的流程图；
图14是示出第二实施方式的合并模式下的块的句法的一部分的图；
图15是示出第二实施方式的差分运动矢量的句法的图；
图16是说明第一实施方式的变形例8的效果的图；
图17是说明第一实施方式的变形例8的图片间隔不是等间隔时的效果的图；
图18是用于说明第一实施方式的编解码装置的硬件结构的一例的图。
具体实施方式
(第一实施方式)
以下，结合附图对本发明的第一实施方式所涉及的图像编码装置、图像编码方法和图像编码程序、以及图像解码装置、图像解码方法和图像解码程序的详细情况进行说明。
图1的(a)说明第一实施方式所涉及的图像编码装置100的结构的图，图1的(b)是说明第一实施方式所涉及的图像解码装置200的结构的图。
本实施方式的图像编码装置100包含块尺寸确定部110、帧间预测部120、变换部130、码串生成部140、局部解码部150以及帧存储器160。图像编码装置100接受输入图像的输入，进行帧内预测以及帧间预测，并输出编码流。以下，图像与图片以相同的意思使用。
图像解码装置200包含码串解码部210、帧间预测部220、逆变换部230以及帧存储器240。图像解码装置200接受从图像编码装置100输出的编码流的输入，进行帧内预测以及帧间预测，并输出解码图像。
图像编码装置100和图像解码装置200通过包括CPU(Central Processing Unit，中央处理器)、存储器等的信息处理装置等硬件实现。
首先对图像编码装置100的各部分的功能和动作进行说明。假设帧内预测与HEVC同样被实施，下面对帧间预测进行说明。
块尺寸确定部110基于输入图像确定进行帧间预测的块尺寸，将所确定的块尺寸、块的位置以及与块尺寸相符的输入像素(输入值)提供给帧间预测部120。关于确定块尺寸的方法，使用用于HEVC的参考软件的RDO(率失真优化)法等。
这里，对块尺寸进行说明。图2是示出输入到图像编码装置100的图像的一部分区域基于由块尺寸确定部110确定的块尺寸而被分割成块的例子。块尺寸存在4×4、8×4、4×8、8×8、16×8、8×16、32×32、……、128×64、64×128、128×128，被输入的图像以各块不重复的方式以上述某一块尺寸分割。
帧间预测部120利用从块尺寸确定部110输入的信息和从帧存储器160输入的参考图片，确定用于帧间预测的帧间预测参数。帧间预测部120基于帧间预测参数进行帧间预测并导出预测值，将块尺寸、块的位置、输入值、帧间预测参数以及预测值提供给变换部130。关于确定帧间预测参数的方法，使用用于HEVC的参考软件的RDO(率失真优化)法等。帧间预测参数和帧间预测部120的动作的详细情况在后面叙述。
变换部130从输入值减去预测值而计算出差分值，对所计算出的差分值进行正交变换和量子化等处理来计算出预测误差数据，并将块尺寸、块的位置、帧间预测参数以及预测误差数据提供给码串生成部140以及局部解码部150。
码串生成部140根据需要对SPS(Sequence Parameter Set，序列参数集)、PPS(Picture Parameter Set，图片参数集)、其他信息进行编码，对从变换部130提供的用于判定块尺寸的码串进行编码，对帧间预测参数进行编码而设为码串，对预测误差数据进行编码而设为码串，并输出编码流。帧间预测参数的编码的详细情况将在后面叙述。
局部解码部150对预测误差数据进行逆正交变换和逆量子化等处理来复原差分值，对差分值和预测值进行加法运算来生成解码图像，并将解码图像和帧间预测参数提供给帧存储器160。
帧存储器160存储多个图像的解码图像和帧间预测参数，并将解码图像和帧间预测参数提供给帧间预测部120。
接着，对图像解码装置200的各部分的功能和动作进行说明。假设帧内预测与HEVC同样地被实施，以下对帧间预测进行说明。
码串解码部210根据需要从编码流解码SPS、PPS头和其他信息，从编码流对块尺寸、块的位置、帧间预测参数以及预测误差数据进行解码，并将块尺寸、块的位置、帧间预测参数以及预测误差数据提供给帧间预测部220。
帧间预测部220利用从码串解码部210输入的信息和从帧存储器240输入的参考图片，进行帧间预测并导出预测值。帧间预测部220将块尺寸、块的位置、帧间预测参数、预测误差数据以及预测值提供给逆变换部230。
逆变换部230对从帧间预测部220提供的预测误差数据进行逆正交变换和逆量子化等处理并计算出差分值，将差分值与预测值相加来生成解码图像，将解码图像与帧间预测参数提供给帧存储器240，并输出解码图像。
帧存储器240存储多个图像的解码图像和帧间预测参数，并将解码图像和帧间预测参数提供给帧间预测部220。
此外，由帧间预测部120和帧间预测部220实施的帧间预测是相同的动作，保存在帧存储器160和帧存储器240中的解码图像和帧间预测参数也相同。
接着，对帧间预测参数进行说明。帧间预测参数包含合并标志、合并索引、预测LX的有效标志、预测LX的运动矢量、预测LX的参考图片索引、合并校正标志以及预测LX的差分运动矢量。LX是L0和L1。合并标志是表示利用合并模式和差分运动矢量模式中的哪个作为帧间预测模式的标志。如果合并标志是1则利用合并模式，如果合并标志是0则利用差分运动矢量模式。合并索引是表示合并候选列表内的选择合并候选的位置的索引。预测LX的有效标志是表示预测LX有效还是无效的标志。如果L0预测和L1预测两者有效，则是双预测，如果L0预测有效、L1预测无效，则是L0预测，如果L1预测有效、L0预测无效，则是L1预测。合并校正标志是表示是否校正合并候选的运动信息的标志。如果合并校正标志是1，则校正合并候选，如果合并校正标志是0，则不校正合并候选。这里，码串生成部140不将预测LX的有效标志作为码串编码到编码流中。另外，码串解码部210不将预测LX的有效标志从编码流解码为码串。参考图片索引是用于确定帧存储器160内的解码图像的索引。另外，将L0预测的有效标志、L1预测的有效标志、L0预测的运动矢量、L1预测的运动矢量、L0预测的参考图片索引以及L1预测的参考图片索引的组合设为运动信息。
此外，如果块是帧内编码模式、图像区域外等的块，则L0预测的有效标志和L1预测的有效标志均设为无效。
以下，图片类型设为能够利用全部L0预测的单向预测、L1预测的单向预测和双向预测的B图片来进行说明，但图片类型可以是仅利用单向预测的P图片。P图片情况下的帧间预测参数是仅以L0预测为对象、不存在L1预测来进行处理的。在通常通过B图片使编码效率提高的情况下，L0预测的参考图片与预测对象图片比为过去的图片，L1预测的参考图片与预测对象图片比为未来的图片。这是因为，在L0预测的参考图片与L1预测的参考图片从预测对象图片观察而处于相反方向的情况下，通过内插预测而编码效率提高。L0预测的参考图片与L1预测的参考图片从预测对象图片观察是否处于相反方向能够通过比较参考图片的POC(Picture Order Count，图片序列号)来判定。以下，假设L0预测的参考图片与L1预测的参考图片相对于预测对象块的某预测对象图片在时间上处于相反方向来进行说明。
接着，对帧间预测部120的详细情况进行说明。只要没有特别说明，图像编码装置100的帧间预测部120与图像解码装置200的帧间预测部220的结构和动作相同。
图3是说明帧间预测部120的结构的图。帧间预测部120包含合并模式判定部121、合并候选列表生成部122、合并候选选择部123、合并候选校正判定部124、合并候选校正部125、差分运动矢量模式实施部126以及预测值导出部127。
作为帧间预测模式，帧间预测部120按照每个块切换合并模式和差分运动矢量模式。假设由差分运动矢量模式实施部126实施的差分运动矢量模式与HEVC同样地被实施，以下主要对合并模式进行说明。
合并模式判定部121按照每个块判定是否利用合并模式作为帧间预测模式。如果合并标志是1则利用合并模式，如果合并标志是0则利用差分运动矢量模式。
在帧间预测部120中，是否将合并标志设为1的判定使用用于HEVC的参考软件的RDO(率失真优化)法等。在帧间预测部220中，码串解码部210基于句法获取从编码流解码出的合并标志。句法的详细情况在后面叙述。
当合并标志是0时，由差分运动矢量模式实施部126实施差分运动矢量模式，差分运动矢量模式的帧间预测参数被提供给预测值导出部127。
当合并标志是1时，由合并候选列表生成部122、合并候选选择部123、合并候选校正判定部124以及合并候选校正部125实施合并模式，合并模式的帧间预测参数被提供给预测值导出部127。
以下，对合并标志是1时的处理的详细情况进行说明。
图4是说明合并模式的动作的流程图。以下，使用图3和图4对合并模式的详细情况进行说明。
首先，合并候选列表生成部122根据与处理对象块相邻的块的运动信息和解码图像的块的运动信息生成合并候选列表(S100)，并将所生成的合并候选列表提供给合并候选选择部123。以下，处理对象块与预测对象块以相同的意思使用。
这里，对合并候选列表的生成进行说明。图5是说明合并候选列表生成部122的结构的图。合并候选列表生成部122包含空间合并候选生成部201、时间合并候选生成部202以及合并候选补充部203。
图6是说明与处理对象块相邻的块的图。这里将与处理对象块相邻的块设为块A、块B、块C、块D、块E、块F、块G，只要使用与处理对象块相邻的多个块即可，并不限于此。
图7是说明处于与处理对象块相同位置及其周边的解码图像上的块的图。这里，将处于与处理对象块相同位置及其周边的解码图像上的块设为块CO1、块CO2、块CO3，但只要使用处于与处理对象块相同位置及其周边的解码图像上的多个块即可，并不限于此。以下，将块CO1、CO2、CO3称为相同位置块，将包含相同位置块的解码图像称为相同位置图片。
以下，使用图5、图6和图7对合并候选列表的生成的详细情况进行说明。
首先，空间合并候选生成部201依次检查块A、块B、块C、块D、块E、块F、块G，如果L0预测的有效标志和L1预测的有效标志的任一者或者两者有效，则将该块的运动信息作为合并候选依次追加到合并候选列表。将空间合并候选生成部201生成的合并候选称为空间合并候选。
接着，时间合并候选生成部202依次检查块C01、块CO2、块CO3，首先将L0预测的有效标志和L1预测的有效标志的任一者或者两者有效的块的运动信息进行缩放等处理，并作为合并候选依次追加到合并候选列表。将时间合并候选生成部202生成的合并候选称为时间合并候选。
这里，对时间合并候选的缩放进行说明。时间合并候选的缩放与HEVC是同样的。时间合并候选的运动矢量基于相同位置图片与相同位置块参考的参考图片之间的距离，将相同位置块的运动矢量以预测对象块的某图片与时间合并候选所参考的图片之间的距离进行缩放并导出。
此外，时间合并候选参考的图片是L0预测和L1预测两者的、参考图片索引为0的参考图片。另外，作为相同位置块利用L0预测的相同位置块和L1预测的相同位置块的哪一个，通过相同位置导出标志被编码(解码)而判定。如上所述，时间合并候选在L0预测和L1预测中对相同位置块的L0预测和L1预测的任一者运动矢量进行缩放，导出新的L0预测和L1预测的运动矢量，设为时间合并候选的L0预测和L1预测的运动矢量。
接着，如果在合并候选列表中包含有多个相同的运动信息，则留下一个运动信息，将其他的运动信息削除。
接着，在包含在合并候选列表中的合并候选的数目不到最大合并候选数的情况下，在合并候选列表所包含的合并候选的数目到达最大合并候选数目之前，合并候选补充部203向合并候选列表追加补充合并候选，将合并候选列表所包含的合并候选的数目设为最大合并候选数。这里，补充合并候选是L0预测和L1预测的运动矢量同时是(0，0)、L0预测和L1预测的参考图片索引同时是0的运动信息。
这里，最大合并候选数设为6，但只要是1以上即可。
接着，合并候选选择部123从合并候选列表选择一个合并候选(S101)，将所选择的合并候选(称为“选择合并候选”)和合并索引提供给合并候选校正判定部124，将选择合并候选设为处理对象块的运动信息。在图像编码装置100的帧间预测部120，使用用于HEVC的参考软件的RDO(率失真优化)法等从合并候选列表所包含的合并候选选择一个合并候选，并确定合并索引。在图像解码装置200的帧间预测部220中，码串解码部210获取从编码流解码出的合并索引，并基于合并索引从合并候选列表包含的合并候选选择一个合并候选作为选择合并候选。
接着，合并候选校正判定部124检查处理对象块的宽度是否为预定宽度以上、且处理对象块的高度是否为预定高度以上、且选择合并候选的L0预测和L1预测的两者或至少一者是否有效(S102)。如果不满足处理对象块的宽度为预定宽度以上、且处理对象块的高度为预定高度以上、且选择合并候选的L0预测与L1预测的两者或者至少一者是有效的这样的条件(S102的否)，不对选择合并候选进行校正而作为处理对象块的运动信息，并进入到步骤S111。这里，由于在合并候选列表中必须包含L0预测和L1预测的至少一者是有效的合并候选，因此选择合并候选的L0预测和L1预测的两者或者至少一者有效是不言自明的。因此，省略S102的“选择合并候选的L0预测和L1预测的两者或者至少一者是有效吗”，将S102设为检查处理对象块的宽度是否为预定宽度以上且处理对象块的高度是否为预定高度以上。
如果处理对象块的宽度是预定宽度以上、且处理对象块的高度是预定高度以上、且选择合并候选的L0预测和L1预测的两者或者至少一者是有效的(S102的是)，合并候选校正判定部124设定合并校正标志(S103)，并将合并校正标志提供给合并候选校正部125。在图像编码装置100的帧间预测部120中，如果在合并候选中进行了帧间预测的情况下的预测误差是预定的预测误差以上，则将合并校正标志设定为1，如果在选择合并候选中进行了帧间预测的情况下的预测误差不是预定的预测误差以上，则将合并校正标志设定为0。在图像解码装置200的帧间预测部220中，码串解码部210基于句法从编码流获取解码后的合并校正标志。
接着，合并候选校正部125检测合并校正标志是否为1(S104)。如果合并校正标志不是1(S104的否)，则不对选择合并候选进行校正而作为处理对象块的运动信息，并进入到步骤S111。
如果合并校正标志是1(S104的是)，则检查选择合并候选的L0预测是否有效(S105)。如果选择合并候选的L0预测不是有效的(S105的否)，则进入到步骤S108。如果选择合并候选的L0预测是有效的(S105的是)，则确定L0预测的差分运动矢量(S106)。如上所述，如果合并校正标志是1，则校正选择合并候选的运动信息，如果合并校正标志是0，则不校正选择合并候选的运动信息。
在图像编码装置100的帧间预测部120中，L0预测的差分运动矢量通过运动矢量搜索来求出。这里，运动矢量的搜索范围在水平方向和垂直方向同时设为±16，但也可以是±64等2的倍数即可。在图像解码装置200的帧间预测部220中，码串解码部210基于句法从编码流获取解码后的L0预测的差分运动矢量。
接着，合并候选校正部125计算L0预测的校正运动矢量，将L0预测的校正运动矢量设为处理对象的块的运动信息的L0预测的运动矢量(S107)。
这里，对L0预测的校正运动矢量(mvL0)、选择合并候选的L0预测的运动矢量(mmvL0)、L0预测的差分运动矢量(mvdL0)的关系进行说明。L0预测的校正运动矢量(mvL0)是将选择合并候选的L0预测的运动矢量(mmvL0)与L0预测的差分运动矢量(mvdL0)相加而得，为下式。此外，“0”表示运动矢量的水平方向分量，“1”表示运动矢量的垂直方向分量。
mvL0[0]＝mmvL0[0]+mvdL0[0]
mvL0[1]＝mmvL0[1]+mvdL0[1]
接着，检查选择合并候选的L1预测是否有效(S108)。如果选择合并候选的L1预测不是有效的(S108的否)，则进入到步骤S111。如果选择合并候选的L1预测是有效的(S108的是)，则确定L1预测的差分运动矢量(S109)。
在图像编码装置100的帧间预测部120中，L1预测的差分运动矢量通过运动矢量搜索求出。这里，运动矢量的搜索范围在水平方向和垂直方向上同时设为±16，但也可设为±64等2的指数。在图像解码装置200的帧间预测部220中，码串解码部210基于句法从编码流获取解码出的L1预测的差分运动矢量。
接着，合并候选校正部125计算L1预测的校正运动矢量，并将L1预测的校正运动矢量设为处理对象块的运动信息的L1预测的运动矢量(S110)。
这里，对L1预测的校正运动矢量(mvL1)、选择合并候选的L1预测的运动矢量(mmvL1)、L1预测的差分运动矢量(mvdL1)的关系进行说明。L1预测的校正运动矢量(mvL1)是将选择合并候选的L1预测的运动矢量(mmvL1)与L1预测的差分运动矢量(mvdL1)相加而得，为下述式。此外，“0”表示运动矢量的水平方向分量，“1”表示运动矢量的垂直方向分量。
mvL1[0]＝mmvL1[0]+mvdL1[0]
mvL1[1]＝mmvL1[1]+mvdL1[1]
接着，预测值导出部127基于处理对象块的运动信息进行L0预测、L1预测或者双预测的某一种帧间预测，导出预测值(S111)。如上所述，如果合并校正标志是1，则校正选择合并候选的运动矢量，如果合并校正标志是0，则不校正选择合并候选的运动矢量。
对帧间预测参数的编码的详细情况进行说明。图8是示出合并模式下的块的句法的一部分的图。表1表示帧间预测参数与句法之间的关系。图8的cbWidth是处理对象块的宽度，cbHeight是处理对象块的高度。预定宽度和预定高度同时设为8。通过设定预定宽度和预定高度，不对以小的块为单位的合并候选进行校正，由此能够削减处理量。这里，如果块是跳过模式，则cu_skip_flag是1，如果不是跳过模式则为0。跳过模式的句法与合并模式的句法是相同的。merge_idx是从合并候选列表对选择合并候选进行选择的合并索引。
与merge_mod_flag比，先对merge_idx进行编码(解码)而使合并索引确定，之后判定merge_mod_flag的编码(解码)，merge_idx与合并模式的合并索引共用，由于抑制句法的复杂化、上下文的增加，并提高编码效率。
(表1)
Figure GDA0003690090070000111
Figure GDA0003690090070000121
图9是示出差分运动矢量的句法的图。图9的mvd_coding(N)是与在差分运动矢量模式中使用的句法相同的句法。这里，N是0或者1。N＝0表示L0预测，N＝1表示L1预测。
在差分运动矢量的句法中包含表示差分运动矢量的分量是否比0大的标志、即abs_mvd_greater0_flag[d]；表示差分运动矢量的分量是否比1大的标志、即abs_mvd_greater1_flag[d]；表示差分运动矢量的分量的符号(±)的mvd_sign_flag[d]；以及表示从差分运动矢量的分量减去2而得的矢量的绝对值的abs_mvd_minus2[d]。这里d是0或者1。d＝0表示水平方向分量，d＝1表示垂直方向分量。
在HEVC中，作为帧间预测模式存在合并模式和差分运动矢量模式。在合并模式中，由于能够用一个合并标志复原运动信息，因此是编码效率非常高的模式。然而，由于合并模式的运动信息依赖于已处理的块，因此预测效率变高的情况受限，更需要改善利用效率。
另一方面，在差分运动矢量模式中，作为句法分别准备L0预测和L1预测，对于预测类型(L0预测、L1预测或者双预测)和L0预测与L1预测的每一个需要预测运动矢量标志、差分运动矢量以及参考图片索引。因此，与合并模式比，差分运动矢量模式的编码效率不好，但是相对于在合并模式中无法导出的运动、即在空间上相邻的块或在时间上相邻的块的运动相关性少的突发的运动，是稳定且预测效率高的模式。
在本实施方式中，能够保持固定合并模式的预测类型和参考图片索引来校正合并模式的运动矢量，由此与差分运动矢量模式比能够使编码效率更加提高，与合并模式比也能够提高使用效率。
另外，通过将差分运动矢量设为与选择合并候选的运动矢量的差分，能够将差分运动矢量的大小抑制得较小，并且能够抑制编码效率。
另外，通过将合并模式的差分运动矢量的句法设为与差分运动矢量模式的差分运动矢量的句法相同，即使在合并模式中追加差分运动矢量，结构上的变更也能够变少。
另外，定义预定宽度和预定高度，如果不满足预测块宽度是预定宽度以上、且预测块高度是预定高度以上、且选择合并候选的L0预测和L1预测的两者或者至少一者是有效的这样的条件，则通过省略校正合并模式的运动矢量的处理，能够抑制校正合并模式的运动矢量的处理量。此外，在不需要抑制校正运动矢量的处理量的情况下，根据预定宽度和预定高度，不需要限制运动矢量的校正。
以下，对本实施方式的变形例进行说明。只要没有特别说明，变形例能够彼此组合。
(变形例1)
在本实施方式中，作为合并模式下的块的句法，使用了差分运动矢量。在本变形例中，进行定义以对差分运动矢量编码(或者解码)来作为差分单位运动矢量。差分单位运动矢量是图片间隔是最小间隔的情况下的运动矢量。在HEVC等中，最小的图片间隔在编码流中作为码串而被编码。
根据编码对象图片与合并模式的参考图片的间隔对差分单位运动矢量进行缩放来用作差分运动矢量。当将编码对象图片的POC(Picture Order Count)设为POC(Cur)、将合并模式的L0预测的参考图片的POC设为POC(L0)、将合并模式的L1预测的参考图片的POC设为POC(L1)时，如下式这样计算运动矢量。umvdL0表示L0预测的差分单位运动矢量，umvdL1表示L1预测的差分单位运动矢量。
mvL0[0]＝mmvL0[0]+umvdL0[0]*(POC(Cur)-POC(L0))
mvL0[1]＝mmvL0[1]+umvdL0[1]*(POC(Cur)-POC(L0))
mvL1[0]＝mmvL1[0]+umvdL1[0]*(POC(Cur)-POC(L1))
mvL1[1]＝mmvL1[1]+umvdL1[1]*(POC(Cur)-POC(L1))
如以上所示，在本变形例中，通过利用差分单位运动矢量作为差分运动矢量，缩小差分运动矢量的编码量，能够提高编码效率。此外，在差分运动矢量大、且预测对象图片与参考图片之间的距离变大的情况下，特别能够提高编码效率。另外，当处理对象图片与参考图片之间的间隔与画面内运动的物体的速度处于比例关系的情况下，也能够提高预测效率与编码效率。
另外，不需要如时间合并候选那样以图片间距离进行缩放并导出，在解码装置中由于能够仅以乘法器进行缩放，因此除法器是不需要的，能够削减电路规模和处理量。
(变形例2)
在本实施方式中，作为差分运动矢量的分量，能够对0进行编码(或者解码)，例如，假设能够仅对L0预测进行变更。在本变形例中，作为差分运动矢量的分量，不能对0进行编码(或者解码)。
图10是示出变形例2的差分运动矢量的句法的图。在差分运动矢量的句法中包含表示差分运动矢量的分量是否比1大的标志、即abs_mvd_greater1_flag[d]；表示差分运动矢量的分量是否比2大的标志、即abs_mvd_greater2_flag[d]；表示从差分运动矢量的分量减去3而得的矢量的绝对值的abs_mvd_minus3[d]；表示差分运动矢量的分量的符号(±)的mvd_sign_flag[d]。
如以上所示，作为差分运动矢量的分量，设为不能对0编码(或者解码)，由此能够提高差分运动矢量的分量为1以上时的编码效率。
(变形例3)
在本实施方式中，将差分运动矢量的分量设为整数，在变形例2中设为除0以外的整数。在本变形例中，将除差分运动矢量的±符号以外的分量限定为2的指数。
代替本实施方式的句法、即abs_mvd_minus2[d]而使用abs_mvd_pow_plus1[d]。差分运动矢量mvd[d]根据mvd_sign_flag[d]和abs_mvd_pow_plus1[d]如下式那样计算出。
mvd[d]＝mvd_sign_flag[d]*2^(abs_mvd_pow_plus1[d]+1)
另外，代替变形例2的句法、即abs_mvd_minus3[d]而使用abs_mvd_pow_plus2[d]。差分运动矢量mvd[d]根据mvd_sign_flag[d]和abs_mvd_pow_plus2[d]如下式那样计算出。
mvd[d]＝mvd_sign_flag[d]*2^(abs_mvd_pow_plus2[d]+2)
通过将差分运动矢量的分量限定为2的指数，能够在大幅削减编码装置的处理量的同时，在较大的运动矢量的情况下提高预测效率。
(变形例4)
在本实施方式中，假设mvd_coding(N)包含差分运动矢量，但在本变形例中，假设mvd_coding(N)包含运动矢量倍率。
在本变形例的mvd_coding(N)的句法中，不存在abs_mvd_greater0_flag[d]、abs_mvd_greater1_flag[d]、mvd_sign_flag[d]，取而代之，设为包含abs_mvr_plus2[d]和mvr_sign_flag[d]的结构。
LN预测的校正运动矢量(mvLN)为将选择合并候选的LN预测的运动矢量(mmvLN)与运动矢量倍率(mvrLN)相乘而得，由下式算出。
mvLN[d]＝mmvLN[d]*mvrLN[d]
通过将差分运动矢量的分量限定为2的指数，能够在大幅削减编码装置的处理量的同时，在较大运动矢量的情况下使预测效率提高。
此外，本变形例无法与变形例1、变形例2、变形例3以及变形例6组合。
(变形例5)
在本实施方式的图8的句法中，在cu_skip_flag是1(是跳过模式)的情况下，设为具有merge_mod_flag存在的可能性，但在是跳过模式的情况下，可以设为不存在merge_mod_flag。
如此，通过省略merge_mod_flag，能够提高跳过模式的编码效率，并简化跳过模式的判定。
(变形例6)
在本实施方式中，检查选择合并候选的LN预测(N＝0或者1)是否有效，如果选择合并候选的LN预测不是有效，则不将差分运动矢量设为有效，但也可以不检查选择合并候选的LN预测是否有效，而与选择合并候选的LN预测是否有效无关地将差分运动矢量设为有效。在该情况下，在选择合并候选的LN预测是无效的情况下，选择合并候选的LN预测的运动矢量设为(0，0)，选择合并候选的LN预测的参考图片索引设为0。
如此，在本变形例中，通过与选择合并候选的LN预测是否有效无关地将差分运动矢量设为有效，能够增加利用双向预测的机会，提高编码效率。
(变形例7)
在本实施方式中，判定选择合并候选的L0预测与L1预测是否是分别有效，来控制是否对差分运动矢量进行编码(或者解码)，在选择合并候选的L0预测和L1预测的这两者是有效的情况下，对差分运动矢量进行编码(或者解码)，在选择合并候选的L0预测与L1预测的两者不是有效的情况下，也能设为不对差分运动矢量进行编码(或者解码)。在本变形例的情况下，步骤S102如下所述。
合并候选校正判定部124检查处理对象块的宽度是否是预定宽度以上、且处理对象块的高度是否是预定高度以上、且选择合并候选的L0预测与L1预测的两者是否有效(S102)。
另外，步骤S105和步骤S108在本变形例是不需要的。
图11是示出变形例7的合并模式下的块的句法的一部分的图。与步骤S102、S105、S108有关的句法不同。
如此，在本变形例中，通过在选择合并候选的L0预测与L1预测的两者是有效的情况下将差分运动矢量设为有效，并通过校正使用频率高的双向预测的选择合并候选的运动矢量，能够高效地提高预测效率。
(变形例8)
在本实施方式中，作为合并模式下的块的句法，使用L0预测的差分运动矢量和L1预测的差分运动矢量的两个差分运动矢量。在本变形例中，仅对一个差分运动矢量进行编码(或者解码)，作为L0预测的校正运动矢量和L1预测的校正运动矢量共用一个差分运动矢量，并如下式那样根据选择合并候选的运动矢量mmvLN(N＝0，1)和差分运动矢量mvd计算校正合并候选的运动矢量mvLN(N＝0，1)。
在选择合并候选的L0预测是有效的情况下，根据下式计算L0预测的运动矢量。
mvL0[0]＝mmvL0[0]+mvd[0]
mvL0[1]＝mmvL0[1]+mvd[1]
在选择合并候选的L1预测是有效的情况下，根据下式计算L1预测的运动矢量。将与L0预测相反反向的差分运动矢量相加。可以从选择合并候选的L1预测的运动矢量中减去差分运动矢量。
mvL1[0]＝mmvL1[0]+mvd[0]*-1
mvL1[1]＝mmvL1[1]+mvd[1]*-1
图12是示出变形例8的合并模式下的块的句法的一部分的图。删除检查L0预测的有效性和L1预测的有效性、以及没有mvd_coding(1)，这些点上与本实施方式不同。mvd_coding(0)相当于一个差分运动矢量。
如此，在本变形例中，通过针对L0预测和L1预测仅定义一个差分运动矢量，在是双预测的情况下将差分运动矢量的数减半，在L0预测和L1预测下进行共用，由此能够抑制预测效率的降低并提高编码效率。
另外，在选择合并候选的L0预测的要参考的参考图片与L1预测的要参考的参考图片相对于预测对象图片处于相反反向(不在相同方向)的情况下，通过在相反反向上将差分运动矢量相加，能够针对固定方向的运动提高编码效率。
对本变形例的效果的详细情况进行说明。图16是说明变形例8的效果的图。图16是在移动的矩形区域(由虚线包围的区域)中在水平方向上移动的球体(由斜线涂画的区域)的情形的图像。在这样的情况下，球体相对于画面的运动为将矩形区域的运动和在水平方向移动的球体的运动相加而得的运动。假设图片B是预测对象图片，图片A是L0预测的参考图片，图片C是L1预测的参考图片。图片A和图片C是从预测对象图片观察处于相反方向的关系的参考图片。
当球体在固定方向上以固定速度移动时，图片A、图片B、图片C如果分别是等间隔，则通过在L0预测中加上无法从相邻块获取的球体的移动量、从L1预测中减去无法从相邻块获取的球体的运动，由此能够准确地再现球体的运动。
当球体在固定方向上以不是固定速度的速度移动时，图片A、图片B、图片C分别不是等间隔，但如果与球体的矩形区域对应的移动量是等间隔，则通过将无法从相邻块获取的球体的移动量加到L0预测、从L1预测减去无法从相邻块获取的球体的移动量，能够准确地再现球体的运动。
另外，当在固定期间球体在固定方向上以固定速度移动时，图片A、图片B、图片C分别不是等间隔，但是存在与球体的矩形区域对应地移动量为等间隔的情况。图17是说明变形例8的图片间隔不是等间隔的情况的效果的图。关于该例子，使用图17说明详细情况。图17的图片F0、F1、……、F8分别表示固定间隔的图片。假设从图片F0到图片F4，球体为静止的，图片F5以后，球体在固定方向以固定速度移动。在图片F0和图片F6是参考图片、图片F5是预测对象图片的情况下，图片F0、图片F5、图片F6分别不是等间隔，但与球体的矩形区域对应的移动量为等间隔。在图片F5是预测对象图片的情况下，通常选择距离近的图片F4作为参考图片，但不选择图片F4而选择图片F0作为参考图片是以下情况：图片F0与图片F4比是失真小的高质量的图片。参考图片在通常参考图片缓存内以FIFO(First-In First-Out，先入先出)方式被管理，作为将失真小的高质量的图片作为参考图片而长期存留在参考图片缓存中的机制，存在长期参考图片。长期参考图片在参考图片缓存内不作为FIFO被管理，而以编码到条带头的参考图片列表控制信息来管理是否作为长期参考图片。如此，本变形例应用于L0预测或者L1预测的任一者或者两者是长期参考图片的情况下，能够提高预测效率和编码效率。另外，本变形例应用于L0预测或者L1预测的任一者或者两者是帧内图片的情况下，能够提高预测效率与编码效率。
另外，如时间合并候选那样，能够通过不对差分运动矢量基于图片间距离进行缩放来削减电路规模和消耗电力。例如，即使在缩放差分运动矢量的情况下，作为选择合并候选，当选择时间合并候选时，时间合并候选的缩放与差分运动矢量的缩放这两者是必要的。在时间合并候选的缩放与差分运动矢量的缩放中，由于为缩放的基准的运动矢量不同，因此无法汇总执行两者的缩放，而需要分别执行。
另外，如本实施方式所示，当在合并候选列表中包含有时间合并候选的情况下，时间合并候选被缩放，如果与时间合并候选的运动矢量比，差分运动矢量是微小的，则即使不对差分运动矢量进行缩放也能够提高编码效率。另外，在差分运动矢量是较大的情况下，通过选择差分运动矢量模式能够抑制编码效率的降低。
(变形例9)
在本实施方式中，设为合并校正标志是0和1的情况下的最大合并候选数是相同的。在本变形例中，使合并校正标志是1情况下的最大合并候选数比合并校正标志是0情况下的最大合并候选数少。例如，将合并校正标志是1情况下的最大合并候选数设为2。这里，将合并校正标志是1情况下的最大合并候选数设为最大校正合并候选数。另外，在合并索引比最大校正合并候选数小的情况下，对合并校正标志进行编码(解码)，在合并索引是最大校正合并候选数以上的情况下，不对合并校正标志进行编码(解码)。这里，合并校正标志是0情况下的最大合并候选数与最大校正合并候选数可以是预先确定的值，也可以通过对编码流中的SPS和PPS进行编码(解码)来获得。
如此，在本变形例中，通过使合并校正标志是1时的最大合并候选数比合并校正标志是0时的最大合并候选数少，仅对选择概率更高的合并候选判定是否校正合并候选，由此能够削减编码装置的处理，并能够抑制编码效率的降低。另外，在合并索引是最大校正合并候选数以上的况下，由于不需要对合并校正标志进行编码(解码)，因此编码效率提高。
(第二实施方式)
第二实施方式的图像编码装置100和图像解码装置200的结构与第一的本实施方式的图像编码装置100和图像解码装置200是相同的。本实施方式与第一实施方式在合并模式的动作和句法上不同。以下，对本实施方式与第一实施方式的不同点进行说明。
图13是说明第二实施方式的合并模式的动作的流程图。图14是示出第二实施方式的合并模式下的块的句法的一部分的图。图15是示出第二实施方式的差分运动矢量的句法的图。
以下，使用图13、图14、图15对与第一实施方式的不同点进行说明。图13与图4在从步骤S205到步骤S207、从步骤S209到步骤S211不同。
如果合并校正标志是1(S104的是)，则检查选择合并候选的L0预测是否无效(S205)。如果选择合并候选的L0预测不是无效(S205的否)，则进入到步骤S208。如果选择合并候选的L0预测是无效的(S205的是)，则确定L0预测的校正运动矢量(S206)。
在图像编码装置100的帧间预测部120中，L0预测的校正运动矢量通过运动矢量搜索求出。这里，运动矢量的搜索范围在水平方向和垂直方向上同时设为±1。在图像解码装置200的帧间预测部220中，L0预测的校正运动矢量从编码流获得。
接着，确定L0预测的参考图片索引(S207)。这里，将L0预测的参考图片索引设为0。
接着，检查条带类型是否为B、且选择合并候选的L1预测是否无效(S208)。如果条带类型不是B或者选择合并候选的L1预测不是无效(S208的否)，则进入到S111。如果条带类型是B、且选择合并候选的L1预测是无效(S208的是)，则确定L1预测的校正运动矢量(S209)。
在图像编码装置100的帧间预测部120中，L1预测的校正运动矢量通过运动矢量搜索而求出。这里，运动矢量的搜索范围在水平方向和垂直方向同时设为±1。在图像解码装置200的帧间预测部220中，L1预测的校正运动矢量从编码流获取。
接着，确定L1预测的参考图片索引(S110)。这里，将L1预测的参考图片索引设为0。
如以上可知，在本实施方式中，在条带(slice)类型是允许双预测的条带类型(即条带类型B)的情况下，将L0预测或者L1预测的合并候选变换为双预测的合并候选。通过设为双预测的合并候选，能够通过滤波效果期待预测效率的提高。另外，通过将紧挨着的解码图像设为参考图片，能够将运动矢量的搜索范围抑制在最小限。
(变形例)
在本实施方式中，将步骤S207和步骤S210的参考图片索引设为0。在本变形例中，在选择合并候选的L0预测是无效的情况下，在将L0预测的参考图片索引设为L1预测的参考图片索引，在选择合并候选的L1预测是无效的情况下，将L1预测的参考图片索引设为L0预测的参考图片索引。
如此，通过将基于选择合并候选的L0预测或者L1预测的运动矢量的预测值微小地错开来进行滤波，能够再现微小的运动，能够提高预测效率。
在以上所述的所有的实施方式中，图像编码装置输出的编码比特流具有特定的数据格式，使得能够根据在实施方式中使用的编码方法进行解码。编码比特流可以记录在HDD、SSD、闪存存储器、光盘等的能够由计算机等读取的记录介质中来提供，也可以通过有线或者无线的网络从服务器提供。因此，与该图像编码装置对应的图像解码装置能够不管提供单元而对该特定的数据格式的编码比特流进行解码。
为了在图像编码装置与图像解码装置之间交换编码比特流，可以在使用有线或者无线的网络的情况下，将编码比特流应用于通信路的传输方式的数据形式来进行传送。该情况下，设置有将图像编码装置输出的编码比特流变换为应用于通信路的传输方式的数据形式的编码数据并在网络中进行发送的发送装置、以及从网络接收编码数据并复原为编码比特流而提供给图像解码装置的接收装置。发送装置包含对图像编码装置输出的编码比特流进行缓存的存储器、对编码比特流进行分组化的分组处理部、以及发送经由网络而分组化的编码数据的发送部。接收装置包含经由网络而分组化的编码数据的接收部、对所接收的编码数据进行缓存的存储器、以及对编码数据进行分组处理而生成编码比特流并提供给图像解码装置的分组处理部。
为了在图像编码装置与图像解码装置之间交换编码比特流，在使用有线或者无线的网络的情况下，除了发送装置、接收装置之外，还可以设置中继装置，所述中继装置接收发送装置发送的编码数据，并提供该给接收装置。中继装置包含接收发送装置发送的已被分组化的编码数据的接收部、对所接收的编码数据进行缓存的存储器、以及将分组而得的编码数据发送给网络的发送部。并且，中继装置可以包含对分组化而得的编码数据进行分组处理而生成编码比特流的接收分组处理部、对编码比特流进行存储的记录介质、以及对编码比特流进行分组化的发送分组处理部。
另外，通过将对由图像解码装置解码的图像进行显示的显示部追加到结构中，也可以设为显示装置。另外，通过将拍摄部追加到结构、将所拍摄的图像输入到图像编码装置，可以设为拍摄装置。
图18示出本申请的编解码装置的硬件结构的一例。编解码装置包含本发明的实施方式所涉及的图像编码装置以及图像解码装置的结构。涉及的编解码装置9000具有CPU9001、编解码器IC9002、I/O接口9003、存储器9004、光盘驱动器9005、网络接口9006、视频接口9009，各部分通过总线9010连接。
图像编码部9007和图像解码部9008典型地被安装为编解码器IC9002。本发明的实施方式所涉及的图像编码装置的图像编码处理通过图像编码部9007执行，本发明的实施方式所涉及的图像解码装置中的图像解码处理通过图像编码部9007被执行。I/O接口9003例如通过USB接口实现，并与外部的键盘9104。鼠标9105等连接。CPU9001基于经由I/O接口9003而输入的用户操作控制编解码装置9000，以实现用户的期望的动作。作为由键盘9104、鼠标9105等进行的用户的操作，存在执行编码和解码的哪一个功能的选择、编码质量的设定、编码流的输入输出目的地、图像的输入输出目的地等。
在用户希望再现记录在盘记录介质9100中的图像的操作的情况下，光盘驱动器9005从插入的盘记录介质9100读出编码比特流，并将读出的编码流经由总线9010发送到编解码器IC9002的图像解码部9008。图像解码部9008针对输入的编码比特流执行本发明的实施方式所涉及的图像解码装置中的图像解码处理，并将解码图像经由视频接口9009发送到外部的监视器9103。另外，编解码装置9000具有网络接口9006，并能够经由网络9101与外部的分发服务器9106、便携终端9107连接。在用户希望代替记录到盘记录介质9100中的图像、而再现记录在分发服务器9106或便携终端9107中的图像的情况下，网络接口9006代替从输入的盘记录介质9100读出编码比特流，而从网络9101获取编码流。另外，在用户希望再现记录在存储器9004中的图像时，对记录在存储器9004中的编码流，执行本发明的实施方式所涉及的图像解码装置中的图像解码处理。
在用户希望对由外部的相机9102拍摄的图像进行编码而记录到存储器9004的操作的情况下，视频接口9009从相机9102输入图像，并经由总线9010发送给编解码器IC9002的图像编码部9007。图像编码部9007针对经由视频接口9009输入的图像执行本发明的实施方式所涉及的图像编码装置中的图像编码处理，并生成编码比特流。然后，将编码比特流经由总线9010发送到存储器9004。在用户希望代替存储器9004而在盘记录介质9100中记录编码流的情况下，光盘驱动器9005对被插入的盘记录介质9100进行编码流的写出。
也能实现具有图像编码装置而不具有图像解码装置的硬件结构、或具有图像解码装置而不具有图像编码装置的硬件结构。那样的硬件结构例如是编解码器IC9002通过分别置换成图像编码部9007或者图像解码部9008来实现。
以上的与编码以及解码有关的处理当然能够作为使用了ASIC等的硬件的传送装置、存储装置、接收装置实现，但是也能够通过ROM(只读存储器)或闪存存储器等存储的固件、CPU或Soc(System on a chip，片上系统)等计算机的软件实现。也能将该固件程序、软件程序记录到能够由计算机等读取的记录介质来提供、经由有线或者无线的网络从服务器提供、作为地面电波或卫星数字广播的数据广播而提供。
以上，根据实施方式对本发明进行了说明。实施方式是例示，对这些各结构要素或各处理步骤的组合能够有各种变形例，另外这些变形例也处于本发明的范围，这是本领域技术人员能够理解的。
工业实用性
本发明能够利用在图像解码技术上。
符号说明
100图像编码装置，110块尺寸确定部，120帧间预测部，121合并模式判定部，122合并候选列表生成部，123合并候选选择部，124合并候选校正判定部，125合并候选校正部，126差分运动矢量模式实施部，127预测值导出部，130变换部，140码串生成部，150局部解码部，160帧存储器，200图像解码装置，201空间合并候选生成部，202时间合并候选生成部，203合并候选补充部，210码串解码部，220帧间预测部，230逆变换部，240帧存储器。

Claims (4)

1.一种图像解码装置，其特征在于，包括：
合并候选列表生成部，生成合并候选列表，所述合并候选列表包含与预测对象块相邻的多个块的运动信息、以及包括对处于与所述预测对象块相同位置的解码图像上的块的运动矢量进行缩放而导出的运动矢量的运动信息作为合并候选；
合并候选选择部，从所述合并候选列表中选择合并候选作为选择合并候选；
码串解码部，从编码流对码串进行解码并导出差分运动矢量；以及
合并候选校正部，当所述选择合并候选的第一预测参考图片或者所述选择合并候选的第二预测参考图片中的任一者或二者是长期参考图片时，在不对所述差分运动矢量进行缩放的情况下将所述差分运动矢量与所述选择合并候选的第一预测的运动矢量相加，在不对所述差分运动矢量进行缩放的情况下从所述选择合并候选的第二预测的运动矢量减去所述差分运动矢量，并导出校正合并候选。
2.一种图像解码方法，其特征在于，
合并候选列表生成步骤，生成合并候选列表，所述合并候选列表包含与预测对象块相邻的多个块的运动信息、以及包括对处于与所述预测对象块相同位置的解码图像上的块的运动矢量进行缩放而导出的运动矢量的运动信息作为合并候选；
合并候选选择步骤，从所述合并候选列表中选择合并候选作为选择合并候选；
码串解码步骤，从编码流对码串进行解码并导出差分运动矢量；以及
合并候选校正步骤，当所述选择合并候选的第一预测参考图片或者所述选择合并候选的第二预测参考图片中的任一者或二者是长期参考图片时，在不对所述差分运动矢量进行缩放的情况下将所述差分运动矢量与所述选择合并候选的第一预测的运动矢量相加，在不对所述差分运动矢量进行缩放的情况下从所述选择合并候选的第二预测的运动矢量减去所述差分运动矢量，并导出校正合并候选。
3.一种图像编码装置，其特征在于，包括：
合并候选列表生成部，生成合并候选列表，所述合并候选列表包含与预测对象块相邻的多个块的运动信息、以及包括对处于与所述预测对象块相同位置的编码图像上的块的运动矢量进行缩放而导出的运动矢量的运动信息作为合并候选；
合并候选选择部，从所述合并候选列表中选择合并候选作为选择合并候选；
合并候选校正部，当所述选择合并候选的第一预测参考图片或者所述选择合并候选的第二预测参考图片中的任一者或二者是长期参考图片时，在不对所述差分运动矢量进行缩放的情况下将所述差分运动矢量与所述选择合并候选的第一预测的运动矢量相加，在不对所述差分运动矢量进行缩放的情况下从所述选择合并候选的第二预测的运动矢量减去所述差分运动矢量，并导出校正合并候选；
码串编码部，从编码流对码串进行编码并导出差分运动矢量。
4.一种图像编码方法，其特征在于，
合并候选列表生成步骤，生成合并候选列表，所述合并候选列表包含与预测对象块相邻的多个块的运动信息、以及包括对处于与所述预测对象块相同位置的编码图像上的块的运动矢量进行缩放而导出的运动矢量的运动信息作为合并候选；
合并候选选择步骤，从所述合并候选列表中选择合并候选作为选择合并候选；
合并候选校正步骤，当所述选择合并候选的第一预测参考图片或者所述选择合并候选的第二预测参考图片中的任一者或二者是长期参考图片时，在不对所述差分运动矢量进行缩放的情况下将所述差分运动矢量与所述选择合并候选的第一预测的运动矢量相加，在不对所述差分运动矢量进行缩放的情况下从所述选择合并候选的第二预测的运动矢量减去所述差分运动矢量，并导出校正合并候选；以及
码串编码步骤，从编码流对码串进行编码并导出差分运动矢量。
CN202110325100.1A 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法 Active CN112887720B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2018-233432 2018-12-13
JP2018233432 2018-12-13
JP2019171782A JP6933235B2 (ja) 2018-12-13 2019-09-20 画像復号装置、画像復号方法、及び画像復号プログラム
JP2019-171782 2019-09-20
CN201980050605.2A CN112514395B (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法
PCT/JP2019/048855 WO2020122224A1 (ja) 2018-12-13 2019-12-13 画像復号装置、画像復号方法、及び画像復号プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980050605.2A Division CN112514395B (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法

Publications (2)

Publication Number Publication Date
CN112887720A CN112887720A (zh) 2021-06-01
CN112887720B true CN112887720B (zh) 2022-11-29

Family

ID=71075651

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202310789243.7A Pending CN116582667A (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法
CN202310789721.4A Pending CN116600108A (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法
CN202110325100.1A Active CN112887720B (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法
CN202310789241.8A Pending CN116582666A (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202310789243.7A Pending CN116582667A (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法
CN202310789721.4A Pending CN116600108A (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310789241.8A Pending CN116582666A (zh) 2018-12-13 2019-12-13 图像解码装置和方法、以及图像编码装置和方法

Country Status (10)

Country Link
US (2) US11758129B2 (zh)
EP (1) EP3896972A4 (zh)
JP (1) JP7318686B2 (zh)
KR (1) KR20230156809A (zh)
CN (4) CN116582667A (zh)
CL (1) CL2021001412A1 (zh)
MX (1) MX2021003506A (zh)
RU (1) RU2770794C1 (zh)
WO (1) WO2020122224A1 (zh)
ZA (1) ZA202102033B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103348679A (zh) * 2011-10-27 2013-10-09 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
WO2015064401A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 画像処理装置および方法
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3637996B2 (ja) 1997-03-28 2005-04-13 シャープ株式会社 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
SG194746A1 (en) * 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5786498B2 (ja) * 2011-06-30 2015-09-30 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
KR20150088909A (ko) * 2011-06-30 2015-08-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
JP5383958B2 (ja) 2011-10-28 2014-01-08 パナソニック株式会社 復号方法および復号装置
CN108235032B (zh) * 2012-01-18 2022-01-07 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9325991B2 (en) * 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
JP5633597B2 (ja) 2012-04-12 2014-12-03 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
WO2014005503A1 (en) * 2012-07-02 2014-01-09 Mediatek Inc. Method and apparatus of inter-view candidate derivation in 3d video coding
AU2013285749B2 (en) 2012-07-02 2016-06-16 Samsung Electronics Co., Ltd. Method and apparatus for predicting motion vector for coding video or decoding video
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
US10616607B2 (en) 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
KR102329126B1 (ko) 2014-03-14 2021-11-19 삼성전자주식회사 인터 레이어 비디오의 복호화 및 부호화를 위한 머지 후보 리스트 구성 방법 및 장치
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
CN110140355B (zh) 2016-12-27 2022-03-08 联发科技股份有限公司 用于视频编解码的双向模板运动向量微调的方法及装置
CN114205620B (zh) 2018-02-28 2023-07-25 三星电子株式会社 编码方法及其装置以及解码方法及其装置
EP3855738A4 (en) 2018-09-17 2022-07-20 Samsung Electronics Co., Ltd. METHOD FOR ENCODING AND DECODING MOTION INFORMATION AND APPARATUS FOR ENCODING AND DECODING MOTION INFORMATION
WO2020256468A1 (ko) 2019-06-21 2020-12-24 삼성전자 주식회사 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103348679A (zh) * 2011-10-27 2013-10-09 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN107257481A (zh) * 2011-10-27 2017-10-17 太阳专利托管公司 编码方法、解码方法、编码装置、解码装置
WO2015064401A1 (ja) * 2013-11-01 2015-05-07 ソニー株式会社 画像処理装置および方法
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE9.2.13: MVD-based Early-skip Method and Switchable MC Filters for DMVR;Chun-Chi Chen1, Yu Han, Han Huang, Yan Zhang, Chao-Hsiung Hung;《Joint Video Experts Team (JVET)》;20181012;全文 *

Also Published As

Publication number Publication date
KR20230156809A (ko) 2023-11-14
CN112887720A (zh) 2021-06-01
CL2021001412A1 (es) 2022-01-14
CN116582666A (zh) 2023-08-11
JP7318686B2 (ja) 2023-08-01
WO2020122224A1 (ja) 2020-06-18
CN116600108A (zh) 2023-08-15
ZA202102033B (en) 2022-09-28
RU2770794C1 (ru) 2022-04-21
US11758129B2 (en) 2023-09-12
US20230370584A1 (en) 2023-11-16
JP2021192513A (ja) 2021-12-16
CN116582667A (zh) 2023-08-11
EP3896972A4 (en) 2022-04-20
RU2022110107A (ru) 2022-05-06
MX2021003506A (es) 2021-05-27
US20230122817A1 (en) 2023-04-20
EP3896972A1 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
CN107888914B (zh) 动图像编码装置以及动图像编码方法
CN107371019B (zh) 动图像编码装置、动图像编码方法以及存储介质
JP2024051143A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP5725106B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP6032367B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
CN112887720B (zh) 图像解码装置和方法、以及图像编码装置和方法
JP5880758B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2020113966A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
RU2789732C2 (ru) Устройство декодирования изображения и способ декодирования изображения
JP2013168929A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant