CN112292854A - 影像编码/解码方法及装置 - Google Patents

影像编码/解码方法及装置 Download PDF

Info

Publication number
CN112292854A
CN112292854A CN201980041236.0A CN201980041236A CN112292854A CN 112292854 A CN112292854 A CN 112292854A CN 201980041236 A CN201980041236 A CN 201980041236A CN 112292854 A CN112292854 A CN 112292854A
Authority
CN
China
Prior art keywords
prediction
motion vector
mode
information
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980041236.0A
Other languages
English (en)
Inventor
文柱禧
元栋载
河在玟
任星元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academy Cooperation Foundation of Sejong University
Original Assignee
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academy Cooperation Foundation of Sejong University filed Critical Industry Academy Cooperation Foundation of Sejong University
Publication of CN112292854A publication Critical patent/CN112292854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种影像编码方法及影像解码方法，适用本发明之一实施例的影像解码方法，可以包括：利用重建区域的运动向量决定当前区块的初始运动向量的步骤；以上述初始运动向量为基础，对上述当前区块的运动向量进行探索的步骤；以及，利用上述运动向量生成上述当前区块的预测样本的步骤；其中，上述初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。

Description

影像编码/解码方法及装置
技术领域
本发明涉及一种影像编码/解码方法及装置，尤其涉及一种利用以多个预测信息为基础生成的多个预测区块的当前区块的预测方法即装置。
背景技术
近年来，互联网中对如视频等多媒体数据的需求正在急剧增加。但是，目前信道(Channel)带宽(Bandwidth)的发展速度却难以充分满足急剧增加的多媒体数据量。为此，国际标准化机构即国际电联电信标准化部门(ITU-T)的视频编码专家组(VCEG，VideoCoding Expert Group)以及国际标准化组织/国际电工委员会(ISO/IEC)的动态图像专家组(MPEG，Moving Picture Expert Group)于2014年02月制定了视频压缩标准即高效率视频编码(HEVC，High Efficiency Video Coding)第1版。
在高效率视频编码(HEVC)中，对如画面内预测(或帧内预测)、画面间预测(或帧间预测)、变换、量化、熵编码以及环路滤波等多种技术做出了定义。
发明内容
技术问题
本发明的目的在于提供一种利用以多个预测信息为基础生成的多个预测区块对当前区块进行预测的方法及装置。
此外，本发明的主要目的在于提供一种可以更加准确地对运动信息进行推导的编码及解码方法。
此外，本发明的目的在于提供一种利用重建区域的编码信息的高效的编码/解码方法及装置。
此外，本发明的目的在于提供一种运动向量差值信息的高效的编码/解码方法及装置。
此外，本发明的目的在于提供一种用于对通过适用本发明的影像编码方法或装置生成的比特流进行存储的记录介质。
此外，本发明的目的在于提供一种用于对通过适用本发明的影像解码方法或装置解码的比特流进行存储的记录介质。
本发明拟达成的技术课题并不限定于在上述内容中提及的技术课题，具有本发明所属技术领域之一般知识的人员将可以通过下述记载进一步明确理解未被提及的其他技术课题。
技术方案
适用本发明之一方面的影像解码方法，可以包括：通过对当前区块执行画面间预测而生成第1预测区块的步骤；通过对上述当前区块执行画面内预测而生成第2预测区块的步骤；以及，通过对上述第1预测区块以及上述第2预测区块执行加权和而生成最终预测区块的步骤。
在适用本发明的影像解码方法中，上述第2预测区块可以是仅利用可用的画面内预测模式中的一部分画面内预测模式预测出的区块。
在适用本发明的影像解码方法中，上述生成第1预测区块的步骤，可以包括：利用重建区域的运动向量决定上述当前区块的初始运动向量的步骤；以上述初始运动向量为基础，对上述当前区块的运动向量进行探索的步骤；以及，利用上述运动向量生成上述当前区块的预测样本的步骤；其中，上述初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。
在适用本发明的影像解码方法中，上述对运动向量进行探索的步骤，可以利用上述历史方向的运动向量所指示的历史方向的预测区块以及上述未来方向的运动向量所指示的未来方向的预测区块之间的差异对上述运动向量进行探索。
在适用本发明的影像解码方法中，上述对运动向量进行探索的步骤，可以以通过将上述历史方向的运动向量以及上述未来方向的预测区块之间的差异适用于绝对误差和(SAD，Sum of Absolute Difference)计算方法而生成的预测误差为基础对上述运动向量进行探索。
在适用本发明的影像解码方法中，上述对运动向量进行探索的步骤，可以在预先定义的大小的探索区域内对上述运动向量进行探索。
在适用本发明的影像解码方法中，上述重建区域的运动向量，可以是合并模式的候选运动信息。
在适用本发明的影像解码方法中，上述合并模式的候选运动信息，可以包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
在适用本发明的影像解码方法中，还可以包括：对解码器侧运动向量推导(DMVD，Decoder-side Motion Vector Derivation)模式动作信息进行解码的步骤；其中，在上述解码器侧运动向量推导(DMVD)模式动作信息指示解码器侧运动向量推导(DMVD)模式动作的情况下，可以以上述初始运动向量为基础执行对上述当前区块的运动向量进行探索的步骤。
在适用本发明的影像解码方法中，上述所探索到的运动向量，可以在上述当前区块之后进行解码的区块的运动向量推导中使用。
适用本发明之另一方面的影像编码方法，可以包括：通过对当前区块执行画面间预测而生成第1预测区块的步骤；通过对上述当前区块执行画面内预测而生成第2预测区块的步骤；以及，通过对上述第1预测区块以及上述第2预测区块执行加权和而生成最终预测区块的步骤。
在适用本发明的影像编码方法中，上述第2预测区块可以是仅利用可用的画面内预测模式中的一部分画面内预测模式预测出的区块。
在适用本发明的影像编码方法中，上述生成第1预测区块的步骤，可以包括：利用重建区域的运动向量决定上述当前区块的初始运动向量的步骤；以上述初始运动向量为基础，对上述当前区块的最佳运动向量进行探索的步骤；以及，通过对上述最佳运动向量的使用与否进行判定而对解码器侧运动向量推导(DMVD，Decoder-side Motion VectorDerivation)模式动作信息进行解码的步骤；其中，上述初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。
在适用本发明的影像编码方法中，上述对最佳运动向量进行探索的步骤，可以利用上述历史方向的运动向量所指示的历史方向的预测区块以及上述未来方向的运动向量所指示的未来方向的预测区块之间的差异对上述最佳运动向量进行探索。
在适用本发明的影像编码方法中，上述对最佳运动向量进行探索的步骤，可以以通过将上述历史方向的运动向量以及上述未来方向的预测区块之间的差异适用于绝对误差和(SAD，Sum of Absolute Difference)计算方法而生成的预测误差为基础对上述最佳运动向量进行探索。
在适用本发明的影像编码方法中，上述对最佳运动向量进行探索的步骤，可以在预先定义的大小的探索区域内对上述最佳运动向量进行探索。
在适用本发明的影像编码方法中，上述重建区域的运动向量，可以是合并模式的候选运动信息。
在适用本发明的影像编码方法中，上述合并模式的候选运动信息，可以包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
在适用本发明的影像编码方法中，上述最佳运动向量，可以在上述当前区块之后进行编码的区块的运动向量推导中使用。
适用本发明之一实施例的影像解码方法，可以包括：利用重建区域的运动向量决定当前区块的初始运动向量的步骤；以上述初始运动向量为基础，对上述当前区块的运动向量进行探索的步骤；以及，利用上述运动向量生成上述当前区块的预测样本的步骤；其中，上述初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。
在上述影像解码方法中，上述对运动向量进行探索的步骤，可以利用上述历史方向的运动向量所指示的历史方向的预测区块以及上述未来方向的运动向量所指示的未来方向的预测区块之间的差异对上述运动向量进行探索。
在上述影像解码方法中，上述对运动向量进行探索的步骤，可以以通过将上述历史方向的运动向量以及上述未来方向的预测区块之间的差异适用于绝对误差和(SAD，Sumof Absolute Difference)计算方法而生成的预测误差为基础对上述运动向量进行探索。
在上述影像解码方法中，上述对运动向量进行探索的步骤，可以在预先定义的大小的探索区域内对上述运动向量进行探索。
在上述影像解码方法中，上述重建区域的运动向量，可以是合并模式的候选运动信息。
在上述影像解码方法中，上述合并模式的候选运动信息，可以包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
在上述影像解码方法中，还可以包括：对解码器侧运动向量推导(DMVD，Decoder-side Motion Vector Derivation)模式动作信息进行解码的步骤；其中，在上述解码器侧运动向量推导(DMVD)模式动作信息指示解码器侧运动向量推导(DMVD)模式动作的情况下，可以以上述初始运动向量为基础执行对上述当前区块的运动向量进行探索的步骤。
在上述影像解码方法中，上述所探索到的运动向量，可以在上述当前区块之后进行解码的区块的运动向量推导中使用。
适用本发明之一实施例的影像编码方法，可以包括：利用重建区域的运动向量决定当前区块的初始运动向量的步骤；以上述初始运动向量为基础，对上述当前区块的最佳运动向量进行探索的步骤；以及，通过对上述最佳运动向量的使用与否进行判定而对解码器侧运动向量推导(DMVD，Decoder-side Motion Vector Derivation)模式动作信息进行解码的步骤；其中，上述初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。
在上述影像编码方法中，上述对最佳运动向量进行探索的步骤，可以利用上述历史方向的运动向量所指示的历史方向的预测区块以及上述未来方向的运动向量所指示的未来方向的预测区块之间的差异对上述最佳运动向量进行探索。
在上述影像编码方法中，上述对最佳运动向量进行探索的步骤，可以以通过将上述历史方向的运动向量以及上述未来方向的预测区块之间的差异适用于绝对误差和(SAD，Sum of Absolute Difference)计算方法而生成的预测误差为基础对上述最佳运动向量进行探索。
在上述影像编码方法中，上述对最佳运动向量进行探索的步骤，可以在预先定义的大小的探索区域内对上述最佳运动向量进行探索。
在上述影像编码方法中，上述重建区域的运动向量，可以是合并模式的候选运动信息。
在上述影像编码方法中，上述合并模式的候选运动信息，可以包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
在上述影像编码方法中，上述最佳运动向量，可以在上述当前区块之后进行编码的区块的运动向量推导中使用。
在适用本发明之一实施例的包含在影像解码中使用的比特流的计算机可读的非暂时性记录介质中，上述比特流可以包括解码器侧运动向量推导(DMVD，Decoder-sideMotion Vector Derivation)模式动作信息，而在上述影像解码中，在上述解码器侧运动向量推导(DMVD)模式动作信息指示解码器侧运动向量推导(DMVD)模式动作的情况下，可以以初始运动向量为基础执行对当前区块的运动向量的探索，上述初始运动向量可以利用重建区域的运动向量决定，而上述初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。
适用本发明之又一实施例的影像解码方法，可以包括：对当前区块的初始运动向量进行推导的步骤；对上述初始运动向量的运动向量差值信息进行解码的步骤；利用上述运动向量差值信息，对上述运动向量的运动向量差值进行推导的步骤；以及，通过将上述初始运动向量以及上述运动向量差值相加，对当前区块的最终运动向量进行推导的步骤；其中，上述运动向量差值信息可以包括与由上述运动向量差值的X成分符号以及Y成分符号中的某一个构成的符号组相关的信息。
在上述影像解码方法中，上述运动向量差值信息可以包括上述运动向量差值的X成分绝对值信息或上述运动向量差值的Y成分绝对值信息中的至少一个。
在上述影像解码方法中，上述符号组信息可以是指示由X成分符号以及Y成分符号中的某一个构成的符号组中的某一个。
在上述影像解码方法中，上述符号组可以对各个符号组分别分配二进制信息。
在上述影像解码方法中，上述符号组信息可以是用于指示由X成分符号以及Y成分符号中的某一个构成的符号组中的某一个的索引。
在上述影像解码方法中，上述初始运动向量可以利用上述当前区块的合并候选列表进行推导。
适用本发明之又一实施例的影像编码方法，可以包括：决定当前区块的最终运动向量的步骤；决定上述最终运动向量的运动向量差值的步骤；以及，对上述运动向量差值的运动向量差值信息进行编码的步骤；其中，可以将上述运动向量差值以及上述当前区块的初始运动向量相加并用于对上述最终运行向量进行推导，上述运动向量差值信息可以包括与由上述运动向量差值的X成分符号以及Y成分符号中的某一个构成的符号组相关的信息。
在上述影像编码方法中，上述运动向量差值信息可以包括上述运动向量差值的X成分绝对值信息或上述运动向量差值的Y成分绝对值信息中的至少一个。
在上述影像编码方法中，上述符号组信息可以是指示由X成分符号以及Y成分符号中的某一个构成的符号组中的某一个。
在上述影像编码方法中，上述符号组可以对各个符号组分别分配二进制信息。
在上述影像编码方法中，上述符号组信息可以是用于指示由X成分符号以及Y成分符号中的某一个构成的符号组中的某一个的索引。
在上述影像编码方法中，上述初始运动向量可以利用上述当前区块的合并候选列表进行推导。
适用本发明之又一实施例的计算机可读取的记录介质，可以对利用影像解码装置接收并对影像中所包含的当前区块进行重建时所使用的比特流进行存储，上述比特流可以包括上述当前区块的初始运动向量信息以及上述初始运动向量的运动向量差值信息，上述初始运动向量信息可以用于对上述当前区块的初始运动向量进行推导，上述运动向量差值信息可以用于对上述当前区块的运动向量差值进行推导，上述当前区块的最终运动向量可以通过将上述初始运动向量以及上述运动向量差值相加而进行推导，上述运动向量差值信息可以包括与由上述运动向量差值的X成分符号以及Y成分符号中的某一个构成的符号组相关的信息。
适用本发明之又一方面的计算机可读取的记录介质，可以对通过适用本发明的影像编码方法和/或装置生成的比特流进行存储。
适用本发明之又一方面的计算机可读取的记录介质，可以对通过适用本发明的影像解码方法和/或装置解码的比特流进行存储。
有益效果
本发明可以提供一种压缩效率得到提升的影像编码/解码方法及装置。
此外，本发明可以提供一种利用以多个预测信息为基础生成的多个预测区块对当前区块进行预测的方法及装置。
此外，本发明可以通过更加准确地对运动信息进行推导而提升画面间预测性能。
此外，本发明可以通过减少编码信息的量而提升编码效率。
此外，本发明可以在设计用于在影像编码/解码装置中利用相同的方法在不传送运动信息的情况下对运动信息进行补正的方法时通过对可以在执行运动信息补正时所使用的当前区块周边重建区域内使用的模板区域进行限定而设计出高效的并列处理编解码结构。借此，可以大幅减少对影像进行编码时所消耗的时间并借此降低编码装置的复杂性。
此外，本发明可以提供一种利用模板匹配技术高效地对相应的二进制信息进行分配的编码/解码方法、装置以及存储有比特流的记录介质。
此外，本发明可以提供一种高效地对运动向量差值信息进行编码/解码的方法、装置以及存储有比特流的记录介质。
此外，本发明可以提供一种用于对通过适用本发明的影像编码方法/装置生成的比特流进行存储的计算机可读取的记录介质。
此外，本发明可以提供一种用于对通过适用本发明的影像解码方法和/或装置解码的比特流进行存储的计算机可读取的记录介质。
附图说明
图1是对影像编码装置100的构成进行概要性图示的例示图。
图2是对影像编码装置的预测部的一实施例进行图示的示意图。
图3是用于对在跳过(SKIP)模式或合并(MERGE)模式下生成运动信息候选组的方法进行说明的示意图。
图4是用于对空间候选区块的位置以及时间候选区块的位置进行说明的示意图。
图5是用于对决定时间候选的运动信息的方法进行说明的示意图。
图6是用于对适用均值(DC)模式的画面内预测区块生成方法进行说明的示意图。
图7是用于对适用平面(Planar)模式的画面内预测区块生成方法进行说明的示意图。
图8是对N个定向预测模式进行图示的示意图。
图9是用于对构成最有可能模式(MPM)候选模式列表的方法进行说明的示意图。
图10是用于对在影像编码装置中对编码信息进行编码的一实施例进行说明的示意图。
图11是用于对适用本发明的影像解码装置的构成进行说明的示意图。
图12是用于对影像解码装置的预测部进行说明的示意图。
图13是用于对在影像解码装置中对编码信息进行解码的一实施例进行说明的示意图。
图14是用于对影像编码装置的预测部进行说明的示意图。
图15是用于对影像解码装置的预测部进行说明的示意图。
图16是用于对适用本发明之一实施例的编码信息的编码方法进行说明的方法。
图17是用于对适用本发明之一实施例的编码信息的解码方法进行说明的方法。
图18是对在影像编码/解码装置内的预测部中的解码器侧运动向量推导(DMVD)模式下的初始运动信息探索部的结果列表进行图示的例示图。
图19是用于对在影像编码/解码装置内的预测部中的解码器侧运动向量推导(DMVD)运动推测部的动作进行说明的示意图。
图20是用于对模板匹配模式以及双方向匹配模式进行说明的示意图。
图21是对模板区块进行设定的方法的例示图。
图22是用于对在画面内预测模式下在当前区块周边的重建区域中利用模板区域的模板匹配技术进行说明的示意图。
图23是用于对适用于色差区块的线性模式(LM，Linear Mode)进行说明的示意图。
图24是用于对向预测区块适用单一加权值的方法进行说明的示意图。
图25是用于对向预测区块适用多个加权值的方法进行说明的示意图。
图26是用于对向预测区块适用多个加权值的另一种方法进行说明的示意图。
图27是用于对仅向预测区块的一部分区域适用加权值的方法进行说明的示意图。
图28是用于对仅向预测区块的一部分区域适用加权值的另一种方法进行说明的示意图。
图29是对影像编码装置进行图示的流程图。
图30是用于对影像编码装置的预测部进行详细说明的示意图。
图31是对跳过(SKIP)、合并(MERGE)模式的候选运动信息的推导方法进行图示的流程图。
图32是对高级运动向量预测(AMVP)模式的候选运动信息的推导方法进行图示的流程图。
图33是对在跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)模式的候选运动信息中为了对空间/时间候选进行推导而使用的重建区块的位置进行图示的示意图。
图34是用于对在跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)模式的候选运动信息中的时间候选进行推导方法进行图示的示意图。
图35是用于对在跳过(SKIP)、合并(MERGE)模式的候选运动信息中的结合的双方向候选模式的推导方法进行图示的示意图。
图36是对预测信息的编码方法进行图示的流程图。
图37是对影像解码装置进行概要性图示的流程图。
图38是用于对影像解码装置的预测部进行说明的示意图。
图39是对预测信息的解码方法进行图示的流程图。
图40是用于对适用本发明之一实施例的影像编码装置的预测部进行说明的示意图。
图41是用于对适用本发明之一实施例的影像解码装置的预测部进行说明的示意图。
图42是用于对适用本发明之一实施例的影像编码/解码装置内的预测部中的解码器侧运动向量推导(DMVD)初始运动信息探索部进行说明的表格。
图43是用于对适用本发明之一实施例的影像编码/解码装置内的预测部中的解码器侧运动向量推导(DMVD)运动推测部进行说明的示意图。
图44是用于对适用本发明之一实施例的解码器侧运动向量推导(DMVD)模式的模板匹配模式进行说明的示意图。
图45是用于对适用本发明之一实施例的解码器侧运动向量推导(DMVD)模式的双方向匹配模式进行说明的示意图。
图46是用于对适用本发明之一实施例的解码器侧运动向量推导(DMVD)模式的运动推测方法进行说明的示意图。
图47是对适用本发明之一实施例的预测信息的编码流程进行图示的流程图。
图48是对适用本发明之一实施例的预测信息的解码流程进行图示的流程图。
图49是用于对适用本发明之一实施例的将模板匹配模式的最佳运动信息作为跳过(SKIP)、合并(MERGE)模式的候选运动信息使用的方法进行说明的示意图。
图50是用于对适用本发明之一实施例的将模板匹配模式的最佳运动信息作为高级运动向量预测(AMVP)模式的候选运动信息使用的方法进行说明的示意图。
图51是用于对适用本发明之一实施例的在对模板匹配模式的最佳运动信息进行推导时的利用多个模板的运动信息决定方法进行说明的示意图。
图52是用于对适用本发明之一实施例的利用模板匹配模式对跳过(SKIP)、合并(MERGE)模式的候选运动列表的运动信息进行补正的方法进行说明的示意图。
图53是用于对适用本发明之一实施例的对跳过(SKIP)、合并(MERGE)模式的候选运动信息进行补正时变更参考图像的方法进行说明的示意图。
图54是用于对适用本发明之一实施例的利用模板匹配模式对跳过(SKIP)、合并(MERGE)模式的候选运动列表的运动信息进行重新排列的方法进行说明的示意图。
图55是用于对适用本发明之一实施例的将模板匹配模式的模板分隔成子模板并对各个子模板分别适用不同代价值的加权值的方法进行说明的示意图。
图56是用于对适用本发明之一实施例的影像编码方法进行说明的流程图。
图57是用于对适用本发明之一实施例的影像编码方法进行说明的流程图。
图58是对影像编码装置进行图示的流程图。
图59是用于对影像编码装置的预测部进行说明的示意图。
图60是对预测信息的编码方法进行图示的流程图。
图61是对影像解码装置进行图示的流程图。
图62是用于对影像解码装置的预测部进行说明的示意图。
图63是对预测信息的解码方法进行图示的流程图。
图64是用于对适用本发明之一实施例的影像编码装置的预测部进行说明的示意图。
图65是用于对适用本发明之一实施例的影像解码装置的预测部进行说明的示意图。
图66是对适用本发明之一实施例的编解码信息的编码方法进行图示的流程图。
图67是对适用本发明之一实施例的编解码信息的解码方法进行图示的流程图。
图68是对适用本发明之一实施例的运动向量差值信息的编码/解码方法进行图示的流程图。
图69是对适用本发明之一实施例的在对运动向量差值信息进行编码时利用模板匹配代价值决定二进制信息的方法进行图示的表格。
图70是用于对适用本发明之一实施例的在决定运动向量差值信息的二进制信息时的模板匹配技术进行说明的示意图。
图71是用于对适用本发明之一实施例的利用适用于解码器侧帧内模式推导(DIMD)模式的模板匹配技术的模板匹配代价值为最有可能模式(MPM)候选模式列表中的各个候选分别分配二进制信息的方法以及为色差(Chroma)候选模式分配二进制信息的方法进行说明的示意图。
图72是用于对适用本发明之一实施例的解码器侧帧内模式推导(DIMD)模式的模板匹配技术进行说明的示意图。
图73是用于对适用本发明之一实施例的在执行地区亮度补偿技术时根据在当前区块周边重建区域内的模板使用与否决定在预测区块周边重建区域内的模板使用与否的方法进行说明的示意图。
图74是适用本发明之一实施例的影像编码装置的变换部。
图75是适用本发明之一实施例的影像编码/解码装置的逆变换部。
图76是用于对适用本发明之一实施例的为了在影像编码/解码装置的变换部/逆变换部中决定变换类型的二进制信息而使用模板匹配技术的方法进行说明的示意图。
图77是用于对适用本发明之一实施例的影像解码方法进行说明的流程图。
图78是用于对适用本发明之一实施例的影像编码方法进行说明的流程图。
具体实施方式
接下来，将参阅本说明书的附图对适用本发明的实施例进行详细的说明，以便于具有本发明所属技术领域之一般知识的人员可以轻易地实施本发明。但是，本发明可以以多种不同的形态实现，并不限定于在本说明书中进行说明的实施例。此外，在附图中为了可以对本发明进行明确的说明而对与说明无关的部分进行了省略，而且在整个说明书中为类似的部分分配了类似的附图编号。
在整个说明书中，当记载为某个部分与其他部分“连接”时，不仅包括直接连接的情况，还包括在两者之间介有其他元件且电气连接的情况。
此外，在整个说明书中，当记载为某个部分“包括”某个构成要素时，除非另有明确的相反记载，否则并不是表示排除其他构成要素，而是表示还可以包括其他构成要素。
此外，在对不同的构成要素进行说明时可能会使用如第1、第2等术语，但是上述构成要素并不因为上述术语而受到限定。上述术语只是用于对一个构成要素与其他构成要素进行区分。
此外，在与本说明书中说明的装置及方法相关的实施例中，可以对装置中的一部分构成或方法中的一部分步骤进行省略。此外，可以对装置中的一部分构成或方法中的一部分步骤的顺序进行变更。此外，可以向装置中的一部分构成或方法中的一部分步骤插入其他构成或其他步骤。
此外，适用本发明之第1实施例中的一部分构成或一部分步骤可以被附加到适用本发明的第2实施例，或者替代第2实施例中的一部分构成或一部分步骤。
而且，适用本发明的实施例中所包含的构成部只是为了表示出互不相同的特定功能而单独进行了图示，并不是表示各个构成部由相互分离的硬件或一个软件构成单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列记载，但是既可以将各个构成部中的至少两个构成部合并成一个构成部，也可以将一个构成部分割成多个构成部并使其执行对应的功能。如上所述的各个构成部的合并实施例以及分割实施例，在不脱离本发明之本质的前提下也包含于本发明的权利要求范围之内。
首先，将对本申请中所使用的术语进行简单说明如下。
在接下来的内容中进行说明的解码装置(Video Decoding Apparatus)可以包含于如民间安保摄像头、民安安保系统、军用安保摄像头、军用安保系统、个人计算机(PC，Personal Computer)、笔记本计算机、便携式多媒体播放器(PMP，Portable MultimediaPlayer)、无线通信终端(Wireless Communication Terminal)、智能手机(Smart Phone)、电视(TV)应用服务以及服务伺服器等服务终端中的装置，可以是配备有如用于与使用者终端、有线无线通信网络等各种设备执行通信的通信调制解调器、用于对执行影像解码或执行解码用画面间或画面内预测的各种程序以及数据进行存储的存储器、用于通过执行程序而进行演算以及控制的微处理器等的各种装置。
此外，利用编码器编码成比特流(bitstream)的影像可以实时或非实时地通过如互联网、近距离无线通信网、无线局域网、无线宽带接入服务(WiBro)网络、移动通信网络等有线无线通信网络或通过如线缆、通用串行总线(USB，Universal Serial Bus)等各种通信接口传送到影像解码装置并通过解码重建成影像进行播放。或者，利用编码器生成的比特流可以被存储到存储器中。上述存储器可以包括易失性存储器以及非易失性存储器。在本说明书中，存储器可以表现为存储有比特流的记录介质。
通常，视频可以由一系列的图像(Picture)构成，而各个图像可以被分割成如区块(Block)等编解码单元(coding unit)。此外，具有本实施例所属技术领域之一般知识的人员应可以理解，在下述内容中所记载的图像这一术语，可以被替换成如影像(Image)、帧(Frame)等具有相同含义的其他术语。此外，具有本实施例所属技术领域之一般知识的人员应该可以理解，在下述内容中所记载的编解码单元这一术语，也可以被替换成如单位区块、区块等具有相同含义的其他术语。
接下来，将参阅附图对适用本发明的实施例进行更为详细的说明。在对本发明进行说明的过程中，对相同构成要素的重复说明将被省略。
图1是对影像编码装置100的构成进行概要性图示的例示图。
影像编码装置100是用于对影像进行编码的装置，大体上可以包括影像分割部101、预测部102、103、变换部105、量化部106、熵编码部107、逆量化部108、逆变换部109、加法运算部110、环路滤波部111、存储器部112以及减法运算部104。
影像分割部101可以将输入影像从最大大小的编码对象区块(以下称之为“最大编码区块”)逐级分割成最小大小的编码对象区块(以下称之为“最小编码区块”)。作为区块的分割方法，可以使用多种不同的方法。四叉树分割(以下称之为“四叉树(QT，Quad-Tree)分割”)是将当前的编码区块准确地分割成四个的分割方式。二叉树分割(以下称之为“二叉树(BT，Binary-Tree)分割”)是指将编码区块沿着水平方向或垂直方向准确地分割成两个的分割方式。除此之外，也可以采用多种不同的分割方法。此外，也可以采用同时利用多种分割方法进行分割的方法。
预测部102、103可以利用当前原始区块内的当前预测对象区块的周边像素或之前已经完成编码/解码的参考图像内的像素生成预测区块。对于一个编码区块，可以生成一个或多个预测区块。在编码区块的预测区块为一个的情况下，预测区块可以具有与编码区块相同的形态。
视频信号的预测技术，大体上可以由画面内预测以及画面间预测构成。画面内预测，是利用当前区块的周边像素生成预测区块的方式。画面间预测，是从之前已经完成编码/解码的参考图像中查找与当前区块最为类似的区块并生成预测区块的方式。
在生成预测区块之后，可以通过从原始区块减去预测区块而生成残差区块。对于所生成的残差区块，可以决定通过利用如率失真优化(RDO：Rate-DistortionOptimization)等多种不同的技法生成预测区块的最佳的预测模式。例如，率失真优化(RDO)代价的计算式可以如数学式1所示。
【数学式1】
Figure BDA0002844894480000151
在上述数学式1中，D、R、J分别代表因为量化而导致的劣化、压缩流的码率以及率失真(RD)代价。此外，Φ为编码模式，λ为拉格朗日乘数(Lagrangian multiplier)。λ作为用于匹配误差量以及比特量之间的单位的缩放补正用系数使用。为了可以在编码过程中选择作为最佳编码模式，适用相应模式时的J即率失真(RD)代价值应小于适用其他模式的情况。如上述数学式1所示，率失真(RD)代价值应在同时考虑比特率(R)以及误差(D)的前提下进行计算。
图2是对影像编码装置的预测部的一实施例进行图示的示意图。
画面内预测部201可以利用原始信息以及重建信息执行画面内预测。例如，可以执行如多个参考像素行中的至少一个参考像素行的选择、参考像素的生成、参考像素的滤波、利用参考像素生成预测区块和/或对所生成的预测区块的滤波。画面内预测模式探测部202可以利用按照各个预测模式计算出的率失真(RD)代价值决定如最佳画面内预测模式，接下来以此为基础生成或选择预测区块并最终进行输出。
画面间预测部203可以利用原始信息以及重建信息执行画面间预测。画面间预测部203可以对包括跳过(SKIP)模式、合并(MERGE)模式以及高级运动向量预测(AMVP)模式等的多个画面间预测模式分别计算出率失真(RD)代价值。合并(MERGE)候选探索部204可以构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组。合并候选决定部205可以利用率失真(RD)代价值从候选运动信息组中决定如最佳运动信息。高级运动向量预测(AMVP)候选探索部206可以构成用于高级运动向量预测(AMVP)模式的候选运动信息组。运动推测部207可以利用候选运动信息组执行运动推测并决定如最佳运动信息。运动补偿部208可以通过利用最佳运动信息执行运动补偿而生成预测区块。或者，运动补偿部208可以最终选择/输出与最佳运动信息关联的已生成的预测区块。
上述画面间预测模式可以包括3种模式(跳过(SKIP)模式、合并(MERGE)模式以及高级运动向量预测(AMVP)模式)。各个预测模式可以利用运动信息(预测方向信息、参考图像信息以及运动向量)生成当前区块的预测区块。此外，还可以有利用运动信息的追加预测模式存在。
在跳过(SKIP)模式的情况下，可以利用已重建区域的运动信息决定当前区块的预测信息(例如，最佳预测信息)。可以在重建区域内构成运动信息候选组，并将相应候选组中的如率失真(RD)代价值最小的候选作为当前区块的预测信息使用。跳过(SKIP)模式的运动信息候选组的构成方法，与后续说明的合并模式的运动信息候选组的构成方法相同。
在合并(MERGE)模式的情况下，在利用已重建区域的运动信息决定当前区块的预测信息(例如，最佳预测信息)的方面，与跳过(SKIP)模式相同。但是，两者之间的差异在于，跳过(SKIP)模式是从运动信息候选组中探索预测误差为0的运动信息，而合并(MERGE)模式是从运动信息候选组中探索预测误差不为0的运动信息。与跳过(SKIP)模式相同，可以在重建区域内构成运动信息候选组，并通过将相应候选组中的如率失真(RD)代价值最小的候选作为当前区块的预测信息使用而生成预测区块。
图3是用于对在跳过(SKIP)模式或合并(MERGE)模式下生成运动信息候选组的方法进行说明的示意图。
图4是用于对空间候选区块的位置以及时间候选区块的位置进行说明的示意图。
图5是用于对决定时间候选的运动信息的方法进行说明的示意图。
运动信息候选组的最大数量可以在影像编码装置以及影像解码装置中决定为相同的值，也可以在影像编码装置的上级报头(上级报头是指在如视频参数集、序列参数集、图像参数集、并行区块报头、条带报头等在区块的上一级中进行传送的参数)中对相应的数量信息进行传送。
在步骤S301以及步骤S302中，只有在将空间候选区块以及时间候选区块以画面间预测模式进行编码的情况下，才可以将利用相应的运动信息推导出的运动信息包含到运动信息候选组中。
在步骤S301中，可以从相同图像内的当前区块周边选择空间候选。例如，可以选择5个特定位置的空间候选区块中的4个作为空间候选。空间候选区块的位置，可以是如图4所示的A1至A5的位置。但是，空间候选区块的数量以及位置并不限定于此，也可以变更为重建区域内的任意区块。空间候选可以按照A1、A2、A3、A4、A5的顺序考虑，而且可以将优先可用的空间候选区块的运动信息决定为空间候选。但是，多个候选之间的考虑顺序并不限定于如上所述的顺序。在多个空间候选的运动信息重复的情况下，可以仅考虑优先顺序较高的候选的运动信息。
在步骤S302中，可以选择在当前图像之前编码/解码的图像内的时间候选。例如，可以选择并置(Collocated)图像内的2个时间候选区块中的1个作为时间候选。时间候选区块的位置，可以是如图4所示的B1、B2的位置。各个候选的位置，将以图像内与当前图像的当前区块位置相同位置上的区块为基准决定。其中，并置图像可以在影像编码装置以及影像解码装置中以相同的条件进行设定。例如，可以选择与特定的参考图像索引对应的参考图像作为并置图像。或者，也可以对用于指示并置图像的索引信息进行信令。时间候选可以按照B1、B2区块的顺序考虑，而且可以将优先可用的候选区块的运动信息决定为时间候选。但是，时间候选区块的数量、位置以及考虑顺序并不限定于在上述内容中进行说明的实施例。
如图4以及图5所示，例如，并置图像内的候选区块(B1或B2)的运动信息可以是指位于参考图像B内的预测区块。各个候选区块的参考图像可以互不相同，但是在本说明书中为了说明的便利而将其全部表达为参考图像B。相应的运动向量，可以通过利用并置图像与参考图像B之间的距离(TD)以及当前图像与参考图像A之间的距离(TB)的比例进行缩放而决定为时间候选的运动向量。例如，上述缩放可以利用下述数学式2执行。
【数学式2】
Figure BDA0002844894480000181
其中，MV代表时间候选区块的运动信息的运动向量、MVscale代表缩放的运动向量、TB代表并置图像与参考图像B之间的时间距离、TD代表当前图像与参考图像A之间的时间距离。此时，参考图像A以及参考图像B可以是相同的参考图像。可以将上述缩放的运动向量决定为时间候选的运动向量。或者，可以将时间候选运动信息的参考图像信息决定为当前图像的参考图像并对时间候选的运动信息进行推导。
步骤S303可以仅在步骤S301以及步骤S302中所推导出的运动信息候选的数量不足最大数量的情况下执行。在步骤S303中，可以对重复的候选进行删除。此外，可以利用在步骤S301以及步骤S302中所推导出的运动信息候选的组合追加新的双方向运动信息候选。双方向运动信息候选是指通过将之前推导出的历史或未来方向的运动信息依次选择一个进行组合而推导出的新的候选。
下述表1中给出了双方向运动信息候选组合的优先顺序。但是，表1中给出的只是一个例示，也可以有与表1中的组合不同的组合存在。
【表1】
构成顺序 0 1 2 3 4 5 6 7 8 9 10 11
候选索引(历史) 0 1 0 2 1 2 0 3 1 3 2 3
候选索引(未来) 1 0 2 0 2 1 3 0 3 1 3 2
在即使是使用双方向运动信息候选也无法填满运动信息候选的最大数量的情况下，将执行步骤S304。在步骤S304中，可以将运动信息候选的运动向量固定为零运动向量并通过变更不同预测方向的参考图像而填满运动信息候选的最大数量。高级运动向量预测(AMVP)模式通过对不同预测方向的参考图像分别执行运动推测而决定当前区块的运动信息(例如，最佳运动信息)。其中，预测方向既可以是仅使用历史/未来中的某一个方向的单方向，也可以是同时使用历史以及未来方向的双方向。利用通过运动推测决定的运动信息，可以通过执行运动补偿而生成预测区块。其中，对于不同预测方向的参考图像分别推导出用于运动推测的运动信息候选组。相应的运动信息候选组，将作为运动推测的起始位置使用。
对用于高级运动向量预测(AMVP)模式的运动推测的运动信息候选组进行推导的方法，与参阅图3进行说明的方法部分类似。高级运动向量预测(AMVP)模式的运动信息候选的最大数量，可以在影像编码装置以及影像解码装置中决定为相同的值，也可以在区块的上一级中对相应的数量信息进行传送。在高级运动向量预测(AMVP)模式中，同样只有在将空间候选区块以及时间候选区块以画面间预测模式进行编码的情况下，才可以将利用相应的运动信息推导出的运动信息包含到运动信息候选组中。
在高级运动向量预测(AMVP)模式的情况下，空间候选区块的数量可以是2个，而且用于选择空间候选的优先顺序也可以与合并(MERGE)模式的情况不同。但是，剩余的说明可以与对步骤S301的说明的相同。此外，高级运动向量预测(AMVP)模式的时间候选可以按照与在步骤S306中说明的方法相同的方式进行推导。
在高级运动向量预测(AMVP)模式的情况下，当目前已推导出的后选中包含重复的运动信息时可以对其进行删除。此外，在所推导出的候选的数量不足候选的最大数量的情况下，可以按照与步骤S308相同的方式追加零运动信息候选。
可以选择以如上所述的方式推导出的运动信息候选中的某一个运动信息候选。例如，可以选择率失真(RD)代价值最小的运动信息候选作为最佳运动信息候选，并以相应的运动信息为基准通过运动推测过程获取高级运动向量预测(AMVP)模式的最佳运动信息。
图6是用于对适用均值(DC)模式的画面内预测区块生成方法进行说明的示意图。
画面内预测模式可以包括平面(Planar)模式、均值(DC)模式以及N个定向模式(角度模式(Angular mode)或方向模式(directional mode))等共计(N+2)个预测模式。在均值(DC)模式的情况下，构成当前区块的R1至R4区域可以分别通过不同的方法进行预测。例如，可以在计算出参考像素a至参考像素s的平均值之后适用于R1至R4区域的所有预测像素中。接下来，在R1区域可以通过利用2个相邻参考像素a以及j的有限脉冲响应(FIR)滤波生成最终预测区块。此外，在R2以及R3区域可以通过与1个相邻参考像素(b至h、k至q中的1个)的有限脉冲响应(FIR)滤波生成最终预测区块。
图7是用于对适用平面(Planar)模式的画面内预测区块生成方法进行说明的示意图。
平面(Planar)模式在不同的预测像素位置上分别利用上端以及左侧位置的参考像素和与下端以及右侧位置对应的复制的参考像素的线性插值方式生成最终预测区块。
图8是对N个定向预测模式进行图示的示意图。
定向预测模式通过将不同的预测方向的相邻的参考像素的值适用于预测区块而生成最终预测区块。
为了画面内预测模式的高效的编码/解码，可以使用最有可能模式(MPM，MostProbable Mode)。此时，为了构成当前区块的最有可能模式(MPM)候选模式列表，可以从当前区块周边的空间候选区块推导出候选模式。此时，可用的空间候选区块可以与图4中的空间候选区块相同。但是并不限定于此，也可以对空间候选区块的数量和/或位置进行变更。
图9是用于对构成最有可能模式(MPM)候选模式列表的方法进行说明的示意图。
在步骤S901中，首先将空间候选区块的重建的画面内预测模式作为最有可能模式(MPM)候选模式进行推导。可以按照A1、A2、A3、A4、A5区块的顺序将各个区块的画面内预测模式作为最有可能模式(MPM)候选模式。其中，可以排除没有对画面内预测模式进行重建的候选区块。此外，如上所述，可以对空间候选区块的优先顺序进行变更。
在步骤S902中，将在步骤S901中所推导出的候选画面内预测模式按照优先顺序从高到低的顺序添加定向模式的相邻的定向模式作为最有可能模式(MPM)候选模式。例如，在步骤S901中的候选模式为4号定向模式以及11号定向模式的情况下，可以添加与4号相邻的定向模式即3、5号模式以及与11号相邻的定向模式即10、12号模式作为最有可能模式(MPM)候选模式。
在步骤S903中，可以添加非定向模式作为最有可能模式(MPM)候选模式。
在步骤S904中，判断当前最有可能模式(MPM)候选模式的数量是否大于或等于最大最有可能模式(MPM)候选模式的数量。当在步骤S904中判定当前最有可能模式(MPM)候选模式数量小于最大最有可能模式(MPM)候选模式数量时，可以通过添加默认(Default)候选模式直至最大最有可能模式(MPM)候选模式数量的方式构成最有可能模式(MPM)候选模式列表。此时，默认候选模式可以包括如垂直模式、水平模式、均值(DC)模式、平面(Planar)模式等任意的画面内预测模式。默认候选模式之间的优先顺序并不限定于如上所述的顺序，而是可以对其进行变更。当判定当前最有可能模式(MPM)候选模式数量大于或等于最大最有可能模式(MPM)候选模式数量时，可以按照优先顺序从高到低的顺序利用与最大最有可能模式(MPM)候选模式数量对应的最有可能模式(MPM)候选模式构成最有可能模式(MPM)候选模式列表。
变换部105可以通过对原始区块以及预测区块之间的差异即残差区块进行变换而生成变换区块。变换区块是在变换以及量化过程中所使用的最小的单位。变换部105可以通过将残差信号从空间区域变换成频率区域而生成具有变换系数的变换区块。其中，作为将残差信号变换成频率区域的方法，可以使用如离散余弦变换(DCT：Discrete CosineTransform)、离散正弦变换(DST：Discrete Sine Transform)、卡洛南-洛依变换(KLT：Karhunen Loeve Transform)等多种变换技法。通过执行变换，可以将残差信号变换成频率区域并借此生成变换系数。为了方便地使用变换技法，将执行利用基向量(basis vector)的矩阵运算，而根据对预测区块进行编码时所使用的预测模式，可以在执行矩阵运算时混合使用多种不同的变换技法。例如，在执行画面内预测时可以根据预测模式在水平方向上使用离散余弦变换而在垂直方向上使用离散正弦变换。或者，也可以根据当前区块的纵横比、大小(水平或垂直中的某一侧长度或两侧长度)、形态、预测模式(画面间预测或画面内预测)、画面间预测模式等，在水平方向以及垂直方向上使用互不相同的变换技法。
量化部106可以通过对变换区块进行量化而生成量化变换区块。即，量化部可以通过对从变换部105生成的变换区块的变换系数进行量化而生成具有量化变换系数的量化变换区块(Quantized Transform Coefficient)。作为量化方法，可以使用如死区均匀阈值量化(DZUTQ：Dead Zone Uniform Threshold Quantization)或量化加权矩阵(QuantizationWeighted Matrix)等。但是，并不限定于上述实例，例如，也可以使用对上述量化方法进行改良的多种量化方法。
在上述内容中，对影像编码装置包括变换部以及量化部的情况进行了图示以及说明。但是，影像编码装置也可以选择性地包括变换部和/或量化部。即，影像编码装置可以通过对残差区块进行变换而生成变换区块但不执行量化过程。或者，影像编码装置也可以在不对残差区块进行变换的情况下仅执行量化。或者，影像编码装置也可以不执行变换以及量化。即使是在影像编码装置中仅执行变换部或量化部中的一部分或没有执行所有过程的情况下，输入到熵编码部107中的区块通常都会被称之为“量化变换区块”。
熵编码部107可以对量化变换区块进行编码并输出比特流。即，熵编码部可以利用如熵编码(Entropy Encoding)等多种编码技法对从量化部输出的量化变换区块的系数进行编码，并生成和输出包含在后续说明的影像解码装置中对相应区块进行解码时所需要的附加信息(例如，与预测模式相关的信息(与预测模式相关的信息是指属于画面内预测或是画面间预测的信息)、量化系数等)的比特流。
逆量化部108可以通过对量化变换区块逆向执行在量化过程中所使用的量化技法而对逆量化变换区块进行重建。
逆变换部109通过利用与在变换过程中所使用的方法相同的方法对逆量化变换区块执行逆变换而对残差区块进行重建，可以通过逆向执行在变换部中使用的变换技法而执行逆变换。
其中，逆量化部以及逆变换部可以通过逆向使用在量化部以及变化不中使用的量化方式以及变换方式而执行逆量化以及逆变换。或者，在编码步骤中仅执行量化而没有执行变换的情况下，在重建步骤中可以仅执行逆量化而不执行逆变换。而且，在编码步骤中没有执行变换以及逆变换的情况下，在解码步骤中可以不执行逆变换以及逆量化。或者，与相应区块相关的信息可以不包含于影像编码装置中而被省略。
加法运算部110可以通过对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算而对当前区块进行重建。
滤波部111是在对当前图像内的所有区块进行重建之后对图像整体追加执行滤波的过程，可以包括去块滤波以及样本自适应偏移(SAO，Sample Adaptive Offset)等。区块滤波是指用于减少在将影像以区块单位进行编码的过程中产生的区块失真的滤波。样本自适应偏移(SAO，Sample Adaptive Offset)是指通过在重建像素上利用特定值进行加法运算或减法运算而将重建影像以及原始影像之间的差异最小化的滤波。
存储器112对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算之后在环路滤波部中追加执行滤波的重建的当前区块进行存储，可以用于对下一个区块或下一个图像等进行预测。
减法运算部104通过对当前原始区块与预测区块进行减法运算而生成残差区块。
图10是用于对在影像编码装置中对编码信息进行编码的一实施例进行说明的示意图。
在步骤S1001中，将对跳过(SKIP)模式的动作信息进行编码。在跳过模式中对当前区块进行预测时使用合并(Merge)模式，而在解码装置中将当前区块的预测区块作为重建区块使用。在画面间预测的步骤S1002中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S1002中判定跳过(SKIP)模式动作时(是，Yes)，在步骤S1007中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。当在步骤S1002中判定跳过(SKIP)模式不动作时(否，No)，在步骤S1003中，将对预测模式进行编码。在步骤S1004中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S1004中判定预测模式为画面间预测模式时(是，Yes)，在步骤S1005中，将对合并(MERGE)模式的动作信息进行编码。在步骤S1006中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S1006中判定合并(MERGE)模式动作时(是，Yes)，将跳转到步骤S1007并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。当在步骤S1006中判定合并(MERGE)模式不动作时(否，No)，在步骤S1008中，将对预测方向进行编码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。在步骤S1009，将对预测方向是否为未来方向进行判定。当在步骤S1009中判定预测方向不为未来方向时(是，Yes)，在步骤S1010中，将对历史方向的参考图像索引信息进行编码。在步骤S1011中，将对历史方向的运动向量差值(MVD，Motion Vector Difference)信息进行编码。在步骤S1012中，将对历史方向的运动向量预测(MVP，Motion Vector Predictor)信息进行编码。当在步骤S1009中判定预测方向为未来方向或双方向时(否，No)，在完成步骤S1012之后，在步骤S1013中，将对预测方向是否为历史方向进行判定。当在步骤S1013中判定预测方向不为历史方向时(是，Yes)，在步骤S1014中，将对未来方向的参考图像索引信息进行编码。在步骤S1015中，将对未来方向的运动向量差值(MVD)信息进行编码。在步骤S1016中，将对未来方向的运动向量预测(MVP)信息进行编码，然后结束本流程图。
当在S1004中判定预测模式为画面内预测模式时(否，No)，在步骤S1017中，将对最有可能模式(MPM，Most Probable Mode)的动作信息进行编码。最有可能模式(MPM)是指，在利用当前区块周边的重建的画面内预测模式等构成最有可能模式(MPM)候选画面内预测模式之后，当最有可能模式(MPM)候选画面内预测模式中包括在影像编码装置中决定的当前区块的最佳画面内预测模式信息时对最有可能模式(MPM)候选画面内预测模式的索引信息进行传送的方法。在步骤S1018中，将对最有可能模式(MPM)的动作与否进行判定。最有可能模式(MPM)是在当前区块周边的重建区块的预测模式中包括与当前区块的预测模式相同的模式的情况下，对索引信息进行编码的模式。当在步骤S1018中判定最有可能模式(MPM)动作时(是，Yes)，在步骤S1019中，将对最有可能模式(MPM)候选画面内预测模式的索引信息进行编码。当在步骤S1018中判定最有可能模式(MPM)不动作时(否，No)，在步骤S1020中，将对除最有可能模式(MPM)候选画面内预测模式之外的剩余的画面内预测模式中亮度(Luma)的最佳画面内预测模式信息进行编码。
在步骤S1019以及步骤S1020结束之后，将对色差(Chroma)的最佳画面内预测模式信息进行编码，然后结束本流程图。其中，用于执行步骤S1008至步骤S1016的模块可以被称之为运动信息编码部。此外，用于执行步骤S1017至步骤S1020的模块可以被称之为亮度画面内预测模式编码部。
图11是用于对适用本发明的影像解码装置的构成进行说明的示意图。
影像解码装置是用于对影像进行解码的装置，可以包括熵解码部、逆量化部、逆变换部、预测部、加法运算部、环路滤波部以及存储器部。影像编码装置中的编码区块，在影像解码装置中可以被称之为解码区块。
熵解码部1101可以通过对从影像编码装置传送过来的比特流进行解析而对在对相应区块进行解码时所需要的各种信息以及量化变换系数进行重建。
逆量化部1102可以通过对在熵解码部中解码的量化系数逆向执行在量化过程中所使用的量化技法而对具有逆量化系数的逆量化区块进行重建。
逆变换部1103通过利用与在变换过程中所使用的方法相同的方法对逆量化变换区块执行逆变换而对具有差值信号的残差区块进行重建，可以通过逆向执行在变换部中使用的变换技法而执行逆变换。
预测部1107、1108利用在熵解码部中解码的预测模式信息生成预测区块，此时可以使用与在影像编码装置的预测部中执行的预测方式相同的方式。
加法运算部1104可以通过对在逆变换部中重建的残差信号以及通过预测生成的预测区块进行加法运算而对当前区块进行重建。
滤波部1105用于在对当前图像内的所有区块进行重建之后在图像整体区域上执行滤波，而滤波可以包括去块滤波以及样本自适应偏移(SAO，Sample Adaptive Offset)等。详细的内容与对上述影像编码装置的滤波部111进行说明的内容相同。
存储器1106对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算之后在环路滤波部中追加执行滤波的重建的当前区块进行存储，可以用于对下一个区块或下一个图像等进行预测。
图12是用于对影像解码装置的预测部进行说明的示意图。
在画面内预测部1201中，当预测模式为画面内预测时，画面内预测模式决定部1202可以决定画面内预测模式信息并通过执行画面内预测而生成预测区块。
在画面间预测部1203中，当预测模式为画面间预测时，可以在跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)模式中对当前区块的预测模式进行重建。在跳过(SKIP)模式或合并(MERGE)模式的情况下，可以在合并(MERGE)候选探索部1204中构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组。合并候选决定部1205可以从相应的候选运动信息组中决定当前区块的运动信息。在高级运动向量预测(AMVP)的情况下，高级运动向量预测(AMVP)候选探索部1206可以构成用于高级运动向量预测(AMVP)模式的候选运动信息组。运动信息决定部1207可以从相应的候选运动信息组中利用所传送过来的运动向量预测(MVP)信息决定当前区块的运动信息。接下来，可以通过利用在各个模式中决定的当前区块的运动信息在运动补偿部1208中执行运动补偿而生成预测区块。
图13是用于对在影像解码装置中对编码信息进行解码的一实施例进行说明的示意图。
在步骤S1301中，将对跳过(SKIP)模式的动作信息进行解码。在步骤S1302中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S1302中判定跳过(SKIP)模式动作时(是，Yes)，在步骤S1307中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。当在步骤S1302中判定跳过(SKIP)模式不动作时(否，No)，在步骤S1303中，将对预测模式进行解码。在步骤S1304中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S1304中判定预测模式为画面间预测模式时(是，Yes)，在步骤S1305中，将对合并(MERGE)模式的动作信息进行解码。在步骤S1306中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S1306中判定合并(MERGE)模式动作时(是，Yes)，将跳转到步骤S1307并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。当在步骤S1306中判定合并(MERGE)模式不动作时(否，No)，在步骤S1308中，将对预测方向进行解码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。在步骤S1309，将对预测方向是否为未来方向进行判定。当在步骤S1309中判定预测方向不为未来方向时(是，Yes)，在步骤S1310中，将对历史方向的参考图像索引信息进行解码。在步骤S1311中，将对历史方向的运动向量差值(MVD，Motion Vector Difference)信息进行解码。在步骤S1312中，将对历史方向的运动向量预测(MVP，Motion Vector Predictor)信息进行解码。当在步骤S1309中判定预测方向为未来方向或双方向时(否，No)，在完成步骤S1312之后，在步骤S1313中，将对预测方向是否为历史方向进行判定。当在步骤S1313中判定预测方向不为历史方向时(是，Yes)，在步骤S1314中，将对未来方向的参考图像索引信息进行解码。在步骤S1315中，将对未来方向的运动向量差值(MVD)信息进行解码。在步骤S1316中，将对未来方向的运动向量预测(MVP)信息进行解码，然后结束本流程图。当在S1304中判定预测模式为画面内预测模式时(否，No)，在步骤S1317中，将对最有可能模式(MPM)的动作信息进行解码。在步骤S1318中，将对最有可能模式(MPM)的动作与否进行判定。当在步骤S1318中判定最有可能模式(MPM)动作时(是，Yes)，在步骤S1319中，将对最有可能模式(MPM)候选画面内预测模式的索引信息进行解码。当在步骤S1318中判定最有可能模式(MPM)不动作时(否，No)，在步骤S1320中，将对除最有可能模式(MPM)候选画面内预测模式之外的剩余的画面内预测模式中亮度(Luma)的最佳画面内预测模式信息进行解码。在步骤S1319以及步骤S1320结束之后，将对色差(Chroma)的最佳画面内预测模式信息进行解码，然后结束本流程图。其中，用于执行步骤S1308至步骤S1316的模块可以被称之为运动信息解码部。此外，用于执行步骤S1317至步骤S1320的模块可以被称之为亮度画面内预测模式解码部。
接下来，将对通过对利用2个以上的预测信息生成的预测区块进行加权和而生成加权和预测区块的实施例进行说明。图14至图17是共同适用于在下述内容中进行说明的实施例的附图。
图14是用于对影像编码装置的预测部进行说明的示意图。
画面内预测部1401可以利用原始信息以及重建信息执行画面内预测。通过率失真(RD)代价值决定是否需要利用解码器侧帧内模式推导(DIMD)模式决定画面内预测模式。在不使用解码器侧帧内模式推导(DIMD)模式的情况下，亮度画面内预测模式探索部1402可以利用率失真(RD)代价值从画面内预测模式中决定最适合于亮度区块的画面内预测模式。在使用解码器侧帧内模式推导(DIMD)模式的情况下，使用解码器侧帧内模式推导(DIMD)的亮度画面内预测模式探测部1403可以在当前区块周边重建区域中设定模板区域，并利用模板区域周边的重建像素对最合适于模板区域的亮度画面内预测模式进行推导，从而将最适合于模板区域的画面内预测模式决定为当前区块的最佳亮度画面内预测模式。接下来，色差画面内预测模式探索部1404可以利用率失真(RD)代价值对最适合于色差区块的画面内预测模式进行探索。
画面间预测部1405可以利用原始信息以及重建信息执行画面间预测。可以对跳过(DKIP)模式、合并(MERGE)模式、高级运动向量预测(AMVP)模式以及解码器侧运动向量推导(DMVD)模式的率失真(RD)代价值进行计算并决定最佳预测模式。对附图编号1406至1409的说明与对图2中的附图编号204至207的说明相同。解码器侧运动向量推导(DMVD)初始运动探索部1410可以利用当前区块周边以及参考图像内重建区块的画面间预测模式对适用于解码器侧运动向量推导(DMVD)模式的初始运动信息进行推导。解码器侧运动向量推导(DMVD)运动推测部1411可以通过利用所推导出的初始运动信息执行解码器侧运动向量推导(DMVD)运动推测而决定最佳运动信息。运动补偿部1412可以通过利用在各个模式中决定的最佳运动信息执行运动补偿而生成预测区块。其中，运动信息可以包括运动向量、参考图像索引以及预测方向信息中的至少一个。
用于生成加权和预测区块的预测信息探索部1413，可以用于对与利用画面内预测模式以及画面间预测模式决定的最佳预测信息(以下称之为“主预测信息”)进行加权和的追加预测信息(以下称之为“第N辅预测信息”，N为1以上的整数)进行探索。追加预测信息可以是1个以上，而且可以对应于画面内预测模式以及画面间预测模式中的任意预测信息。例如，当主预测信息为画面内预测模式中的平面(Planar)模式时，第1辅预测信息可以是合并(Merge)候选列表中的第一个运动信息，而第2辅预测信息可以是画面内预测模式中的垂直模式。此外，各个预测信息的不同预测区块的加权值信息也可以通过率失真(RD)代价值决定并包含到追加预测信息中进行传送。
图15是用于对影像解码装置的预测部进行说明的示意图。
画面内预测部1501可以利用重建信息决定是否需要利用解码器侧帧内模式推导(DIMD)模式决定画面内预测模式。在不使用解码器侧帧内模式推导(DIMD)模式的情况下，亮度画面内预测模式决定部1502可以利用重建信息决定亮度区块的画面内预测模式。在使用解码器侧帧内模式推导(DIMD)模式的情况下，使用解码器侧帧内模式推导(DIMD)的亮度画面内预测模式探测部1503可以在当前区块周边重建区域中设定模板区域，并利用模板区域周边的重建像素对最合适于模板区域的亮度画面内预测模式进行推导，从而将最适合于模板区域的画面内预测模式决定为当前区块的亮度画面内预测模式。接下来，色差画面内预测模式决定部1504可以决定色差区块的画面内预测模式。
画面间预测部1505可以在利用重建信息执行画面间预测的情况下决定跳过(SKIP)模式、合并(MERGE)模式、高级运动向量预测(AMVP)模式以及解码器侧运动向量推导(DMVD)中的某一个预测模式。对附图编号1506至1509的说明与对图12中的附图编号1204至1207的说明相同。对附图编号1510以及1511的说明与对图14中的附图编号1410以及1411的说明相同。运动补偿部1512可以通过利用在各个模式中决定的运动信息执行运动补偿而生成预测区块。用于决定是否适用加权和预测以及生成加权和预测区块的预测信息决定部1513，可以决定用于与利用画面内预测模式以及画面间预测模式决定的最佳预测信息(以下称之为“主预测信息”)进行加权和的N个辅预测信息(即，第N辅预测信息)。
图16是用于对适用本发明之一实施例的编码信息的编码方法进行说明的方法。
在步骤S1601中，将对跳过(SKIP)模式的动作信息进行编码。在步骤S1602中，将对跳过(SKIP)模式的动作与否进行判定。当判定跳过(SKIP)模式动作时，在步骤S1607中，将对解码器侧运动向量推导(DMVD)模式动作信息进行编码。在步骤S1608中，将对解码器侧运动向量推导(DMVD)模式的动作与否进行判定，而当判定解码器侧运动向量推导(DMVD)模式动作时，在步骤S1609中，将对解码器侧运动向量推导(DMVD)模式信息进行编码。而当判定解码器侧运动向量推导(DMVD)模式不动作时，在步骤S1610中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行编码。而当判定跳过(SKIP)模式不动作时，在步骤S1603中，将对预测模式进行编码。在步骤S1604中，将对预测模式是否为画面间预测进行判定。当判定预测模式为画面间预测时，在步骤S1605中，将对合并(MERGE)模式的动作信息进行编码。在步骤S1606中，将对合并(MERGE)模式的动作与否进行判定。当判定合并(MERGE)模式动作时，可以执行步骤S1607至步骤S1610，这与上述的说明相同。其中，步骤S1610中的合并(MERGE)候选索引信息是适用于合并(MERGE)模式的候选索引信息而非用于跳过(SKIP)模式。当判定合并(MERGE)模式不动作时，在步骤S1620中，运动信息编码部可以对运动信息进行编码。步骤S1620可以对应于图10中的步骤S1008至步骤S1010的过程。而当预测模式为画面内预测模式而非画面间预测时，在步骤S1611中，将对解码器侧帧内模式推导(DIMD)模式动作信息进行编码。在步骤S1612中，将对解码器侧帧内模式推导(DIMD)模式的动作与否进行判定。当判定解码器侧帧内模式推导(DIMD)模式不动作时，在步骤S1630中，亮度画面内预测模式编码部可以对画面内预测模式信息进行编码。步骤S1630可以对应于图10中的步骤S1017至步骤S1020的过程。在步骤S1613，可以对色差画面内预测模式信息进行编码。通过如上所述的编码方法，可以对主预测信息进行编码。
在步骤S1614中，可以对用于决定与主预测信息的加权和与否的加权和预测动作信息进行编码。既可以在不对相应信息进行编码的情况下无条件地适用加权和预测(无条件地执行加权和预测动作)，也可以不适用(无条件地不执行加权和预测动作)。在步骤S1615中，将对加权和预测动作与否进行判定。当判定不执行加权和预测动作时，将结束本流程图，而当判定执行加权和预测动作时，在步骤S1616中，将对加权和预测信息进行编码。加权和预测信息可以包括分配到利用主预测信息以及辅预测信息生成的各个预测区块中的加权值信息以及加权和方法等。
图17是用于对适用本发明之一实施例的编码信息的解码方法进行说明的方法。
在步骤S1701中，将对跳过(SKIP)模式的动作信息进行解码。在步骤S1702中，将对跳过(SKIP)模式的动作与否进行判定。当判定跳过(SKIP)模式动作时，在步骤S1707中，将对解码器侧运动向量推导(DMVD)模式动作信息进行解码。在步骤S1708中，将对解码器侧运动向量推导(DMVD)模式的动作与否进行判定，而当判定解码器侧运动向量推导(DMVD)模式动作时，在步骤S1709中，将对解码器侧运动向量推导(DMVD)模式信息进行解码。而当判定解码器侧运动向量推导(DMVD)模式不动作时，在步骤S1710中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行解码。而当判定跳过(SKIP)模式不动作时，在步骤S1703中，将对预测模式进行解码。在步骤S1704中，将对预测模式是否为画面间预测进行判定。当判定预测模式为画面间预测时，在步骤S1705中，将对合并(MERGE)模式的动作信息进行解码。在步骤S1706中，将对合并(MERGE)模式的动作与否进行判定。当判定合并(MERGE)模式动作时，可以执行步骤S1707至步骤S1710，这与上述的说明相同。其中，步骤S1710中的合并(MERGE)候选索引信息是适用于合并(MERGE)模式的候选索引信息而非用于跳过(SKIP)模式。当判定合并(MERGE)模式不动作时，在步骤S1720中，运动信息解码部可以对运动信息进行解码。步骤S1720可以对应于图13中的步骤S1308至步骤S1310的过程。而当预测模式为画面内预测模式而非画面间预测时，在步骤S1711中，将对解码器侧帧内模式推导(DIMD)模式动作信息进行解码。在步骤S1712中，将对解码器侧帧内模式推导(DIMD)模式的动作与否进行判定。当判定解码器侧帧内模式推导(DIMD)模式不动作时，在步骤S1730中，亮度画面内预测模式解码部可以对亮度画面内预测模式信息进行解码。步骤S1730可以对应于图13中的步骤S1317至步骤S1320的过程。在步骤S1713，可以对色差画面内预测模式信息进行解码。在步骤S1714中，可以对用于决定与主预测信息的加权和与否的加权和预测动作信息进行解码。当判定不执行加权和预测动作时，将结束本流程图，而当判定执行加权和预测动作时，在步骤S1716中，将对加权和预测信息进行解码。
(实施例1)
实施例1涉及一种利用画面间预测模式(跳过(SKIP)模式、合并(MERGE)模式、高级运动向量预测(AMVP)模式、解码器侧运动向量推导(DMVD)模式)的预测信息以及追加的画面间预测模式的预测信息生成加权和预测区块的方法。
在对加权和预测区块生成方法进行具体说明之前，将首先对用于生成本实施例中所需要的预测信息的预测模式进行详细的说明。跳过(SKIP)模式、合并(MERGE)模式以及高级运动向量预测(AMVP)模式与上述的说明相同。解码器侧运动向量推导(DMVD)模式是指在影像编码装置以及影像解码装置中不对运动信息进行编码/解码的情况下通过生成相同的运动信息而生成预测区块的方法。
图18是对在影像编码/解码装置内的预测部中的解码器侧运动向量推导(DMVD)模式下的初始运动信息探索部的结果列表进行图示的例示图。
没有在本列表中列出的其他追加的运动信息也可以包含于初始运动信息列表中。
图19是用于对在影像编码/解码装置内的预测部中的解码器侧运动向量推导(DMVD)运动推测部的动作进行说明的示意图。
可以在利用通过影像编码/解码装置内的解码器侧运动向量推导(DMVD)初始运动信息探索部决定的初始运动信息执行解码器侧运动向量推导(DMVD)模式之后，决定最佳运动信息。其中，执行解码器侧运动向量推导(DMVD)模式可以是指对初始运动信息进行补正。
解码器侧运动向量推导(DMVD)模式包括使用模板的模式(以下称之为“模板匹配模式”)以及不适用模板的模式(以下称之为“双方向匹配模式”)。
在使用双方向匹配模式1901的情况下，将各个初始运动信息的单方向运动向量以线性方式缩放成相反预测方向的参考图像。其中，运动向量的缩放是以与当前图像以及各个方向的参考图像之间的距离呈正比的方式执行。在通过如上所述的方式在双方向上决定运动向量1902之后，将历史方向以及未来方向的预测区块之间的差异最小的各个方向的运动向量决定为最佳运动信息1903。
图20是用于对模板匹配模式以及双方向匹配模式进行说明的示意图。
在双方向匹配模式2002中，可以在以线性方式生成当前区块的历史、未来方向的运动向量之后，利用双方向的两个预测区块的平局生成当前区块的预测区块。
在使用模板匹配模式1904的情况下，可以在重建区域中决定模板区块的数量。在使用单一模板区块1905的情况(以下称之为“单模板匹配模式”)下，可以将与当前区块周边相邻的左侧、上端的重建区域决定为模板区块，并通过利用相应模板区块的运动推测1907决定最佳运动信息。
在单模板匹配模式2001中探索出与模板区块最为类似的模板区块的预测区块之后，可以将与相应的模板区块相邻的区块决定为当前区块的预测区块。运动推测的代价值是指预测误差量以及运动信息的假想比特量的和。预测误差可以通过如绝对误差和(SAD，Sum of Absolute Difference)、绝对变化误差和(SATD，Sum of Absolute hadamardTrnasform Difference)、平方误差和(SSD，Sum of Square Difference)等多种计算方法获得。数学式3、数学式4、数学式5分别是对绝对误差和(SAD)、绝对变化误差和(SATD)以及平方误差和(SSD)的计算方法进行描述的数学式。
【数学式3】
Figure BDA0002844894480000321
Diff(i，j)＝Template(i，j)-PredBlk(i，j)
【数学式4】
Figure BDA0002844894480000322
DiffT(i，j)＝HT(Template(i，j)-PredBlk(i，j))
【数学式5】
Figure BDA0002844894480000331
Diff(i，j)＝Template(i，j)-PredBlk(i，j)
在上述数学式中，i、j代表像素的位置，Template(i,j)代表模板区块的像素，PredBlk(i,j)代表预测区块的像素。其中，数学式4中的HT()函数代表通过对模板区块以及预测区块的差值区块执行哈达玛(Hadamard)变换而获得的函数值。运动信息的假想比特量并不是实际进行传送的信息，而是对在影像编码装置以及影像解码装置中以相同的方法预期的运动信息的假想比特量进行计算的值。例如，可以通过对初始运动信息的运动向量以及当前正在执行运动推测的运动信息内的运动向量的差值向量大小进行计算而决定为假想比特量。除此之外，也可以利用参考图像信息的比特量对运动信息假想比特量进行计算。在使用多个模板区块1906的情况(以下称之为“多模板匹配模式”)下，可以在重建区域中决定多个模板区块。
图21是对模板区块进行设定的方法的例示图。
模板区块可以按照图21中的附图编号2101至2103的例示图所示的方式进行设定。在模板区块设定方法A 2101中，可以在当前区块的左下端(模板A)、左上端(模板B)、上端左侧(模板C)、上端右侧(模板D)中分别决定模板区块。各个模板区块可以决定为多种不同的大小以及形状。在模板区块设定方法B 2102中，可以按照与模板区块设定方法A相同的方式在当前区块的左下端(模板A)、左上端(模板B)、上端左侧(模板C)、上端右侧(模板D)中决定模板区块，但是其差异在于使用与当前区块相邻的左侧、上端的所有重建区域。在模板区块设定方法C 2103中，可以在同时考虑模板区块设定方法A以及模板区块设定方法B的情况下生成模板区块。除此之外，也可以将与当前区块相邻的左侧、上端的重建区域决定为单个模板区块使用。如参阅图21进行的说明，可以通过多种不同的方法从当前区块周边的重建区域中生成模板区块。但是，也可以通过将用于表示模板区块的形状以及大小的信息从影像编码装置传送过来的方式使用。在执行用于在参考图像中探索与所决定的各个模板区块最为类似的预测区块的运动推测1907之后，对最适合于各个模板区块的运动信息进行推测，并通过对相应的运动信息中最适合于当前区块的运动信息进行探索而决定为最佳运动信息。也可以同时对上述最佳运动信息的索引信息进行传送(即，等同于对传送模板区块的索引信息进行传送)。
如上所述，在画面间预测模式中可以利用4种预测模式生成主预测信息。除此之外，也可以使用用于生成主预测信息的追加的画面间预测模式。可以通过多种不同的方法对追加的辅预测信息进行推导。
在主预测信息为通过跳过(SKIP)模式或合并(MERGE)模式生成的运动信息的情况下，作为方法1-a，可以与跳过(SKIP)、合并(MERGE)模式的候选运动信息列表中的其他候选运动信息进行加权和。此时，与辅预测信息对应的其他候选运动信息可以对候选运动信息的索引信息进行传送，也可以不对其进行传送，而是采用约定使用与预测信息对应的候选运动信息的下一个顺序的运动信息等将预先设定的候选运动信息决定为辅预测信息的方式。作为方法1-b，可以通过将当前区块周边的重建运动信息作为初始运动信息使用并执行追加的运动推测而与所决定的运动信息进行加权和。此时，与辅预测信息对应的运动信息可以利用非预测方向、参考图像、二维(2D)运动向量的其他参数对运动进行表达。例如，可以利用三维(3D)(图像间距离、X坐标、Y坐标)运动向量进行表达。此外，也可以仅对一部分运动信息进行传送。例如，可以不对预测方向进行传送，而是无条件地决定为与跳过(SKIP)、合并(MERGE)模式的运动信息的预测方向相反的方向。作为方法1-c，可以与通过解码器侧运动向量推导(DMVD)模式生成的运动信息进行加权和。此时，与辅预测信息对应的运动信息可以利用解码器侧运动向量推导(DMVD)模式的模板匹配模式、双方向匹配模式进行推导，还可以决定与按照各个模式决定的运动信息中的哪一种模式的最佳运动信息进行加权和为宜并对相应的模式信息进行传送。
在主预测信息为通过高级运动向量预测(AMVP)模式生成的运动信息的情况下，作为方法2-a，可以选择跳过(SKIP)、合并(MERGE)模式的候选运动信息中的某一个进行加权和。此时，既可以对与辅预测信息对应的候选运动信息的索引信息进行传送，也可以无条件地使用预先设定的候选运动信息。例如，可以无条件地与优先顺序最高的候选运动信息进行加权和。作为方法2-b，可以按照与方法1-b相同的方式将通过追加的运动推测决定的运动信息决定为辅预测信息。此时，可以利用除在对主预测信息的运动信息进行推导时所使用的初始运动信息之外的其他初始运动信息执行运动推测。除此之外，与方法1-b相同。方法2-c与方法1-c相同。
在主预测信息为通过解码器侧运动向量推导(DMVD)模式生成的运动信息的情况下，方法3-a与方法1-a相同。方法3-b与方法1-b相同。作为方法3-c，在决定为主预测信息的解码器侧运动向量推导(DMVD)模式为双方向匹配模式的情况下，将单模板区块匹配模式的最佳运动信息决定为辅预测信息。在主预测信息为单模板区块匹配模式的情况下，可以相反地将双方向匹配模式的最佳运动信息决定为辅预测信息，也可以将多模板匹配模式中最适合于当前区块的子模板区块的运动信息决定为辅预测信息。在主预测信息为多模板区块匹配模式的情况下，可以将除与主预测信息对应的子模板区块的运动信息之外的其他子模板区块的运动信息决定为辅预测信息。
在上述方法中，主预测信息以及辅预测信息应互不相同。此外，也可以使用2个以上的辅预测信息而非1个辅预测信息。作为分别适用于利用主预测信息以及辅预测信息生成的各个预测区块中的加权值，可以通过对预先设定的主预测信息、辅预测信息的加权值组中的任意组信息进行传送的方式决定加权值信息。加权值也可以是复数，而对各个预测区块分配的加权值的和为1。
图24至图28是用于对在辅预测信息为1个的情况下利用主预测信息以及辅预测信息的预测区块间加权和方法进行说明的示意图。在相应的附图中，预测区块A是通过主预测信息生成的预测信息，而预测区块B是通过辅预测信息生成的预测信息。此外，假定预测区块A、B的大小为4×4，并对预测区块A以及预测区块B中的相同位置上的预测像素利用所适用的加权值执行加权和。
图24是用于对向预测区块适用单一加权值的方法进行说明的示意图。
在图24中，可以通过对预测区块A的所有像素适用加权值A1并对预测区块B的所有像素适用加权值W2而执行加权和并生成最终预测区块。
图25是用于对向预测区块适用多个加权值的方法进行说明的示意图。
在图25中，可以将预测区块A沿着垂直方向分割成N个任意区域并对各个任意区域分别适用不同的加权值。在本例示中，将分割成4个任意区域并对预测区块A的各个区域分别从左侧依次适用加权值W1、W2、W3、W4，而对预测区块B的各个区域分别从左侧适用加权值W5、W6、W7、W8。其中，W1与W5的和、W2与W6的和、W3与W7的和以及W4与W5的和分别为1。在按照如上所述的方式决定加权值之后，执行加权和并生成最终预测区块。
图26是用于对向预测区块适用多个加权值的另一种方法进行说明的示意图。
图26中的方法除了沿着水平方向分割成N个任意区域之外，与图25中的方法相同。
图27以及图28是对一部分区域适用加权和而不是对预测区块的整体区域适用加权和的方法的例示图。
图27是用于对仅向预测区块的一部分区域适用加权值的方法进行说明的示意图。
在图27中，可以仅对预测区块A、B的左上端区域适用加权值。参阅图27，可以将左上端的4个像素决定为左上端区域，并通过在预测区块A、B中仅对与相应区域对应的预测像素进行加权和而生成最终预测区块。
图28是用于对仅向预测区块的一部分区域适用加权值的另一种方法进行说明的示意图。
图28中的方法除了加权和区域为预测区块的右下端区域之外，与图27中的方法相同。
此外，在图27、图28中适用于预测区块A、B的预测像素中的加权值分别为W1、W2，且其加权值的和为1。
在加权和方法中，可以根据加权和的主预测信息以及辅预测信息的种类使用预先设定的加权和方法以及加权值信息。此外，在对3个以上的预测区块进行加权和的情况下，并不需要一次性地对各个预测区块进行加权和，而是还可以采用如在首先对主预测信息以及第1辅预测信息进行加权和之后，再依次对其结果以及第2辅预测信息、第3辅预测信息(每次仅对2个预测区块)进行加权和等方式。
(实施例2)
在本实施例中，将对利用画面内预测模式的预测信息以及追加的画面内预测模式的预测信息生成加权和预测区块的方法进行详细的说明。
在对加权和预测区块生成方法进行具体说明之前，将首先对用于生成本实施例中所需要的预测信息的预测模式进行详细的说明。解码器侧帧内模式推导(DIMD)模式是指在影像编码装置以及影像解码装置中不对画面内预测信息进行编码/解码的情况下通过生成相同的画面内预测模式而生成预测区块的方法。
图22是用于对在画面内预测模式下在当前区块周边的重建区域中利用模板区域的模板匹配技术进行说明的示意图。
在图22中，从当前区块周边的重建区域决定模板区域。模板区域可以决定为不同的大小。接下来，从模板区域的周边决定模板区域的参考区域。利用上述参考区域的重建像素对模板区域进行画面内预测，并将所预测到的值以及模板区域的重建值之间的差异即预测误差量决定为模板匹配代价值。作为预测误差量的计算方法，可以使用如上所述的绝对误差和(SAD)、绝对变化误差和(SATD)以及平方误差和(SSD)等多种不同的方法。
图23是用于对适用于色差区块的线性模式(LM，Linear Mode)进行说明的示意图。
在色差区块中利用线性模式(LM)的预测区块可以参阅数学式6生成。
【数学式6】
predC(i，j)＝α·recL′(i，j)+β
其中，predC(i,j)代表色差区块的不同位置(i,j)上的预测像素，rec'L(i,j)代表利用亮度区块的最佳画面内预测模式获得的下采样的重建像素。α、β是用于利用线性回归方法将亮度区块周边的模板区域的重建像素以及色差区块周边的模板区域的重建像素之间的差异最小化的线性回归参数。线性回归参数α、β可以参阅数学式7进行推导。
【数学式7】
Figure BDA0002844894480000371
Figure BDA0002844894480000372
其中，L(n)代表下采样的亮度区块周边的模板区域重建像素，而C(n)代表色差区块周边的模板区域重建像素。通过如上所述的方法生成色差区块的预测区块的模式即为线性模式(LM)。亮度区块以及色差区块周边的模板区域可以按照如附图编号2301所示的方式决定。
如上所述，在画面内预测模式中可以利用包括均值(DC)、平面(Planar)、定向模式(以下称之为“一般帧内(Normal Intra)模式”)以及解码器侧帧内模式推导(DIMD)模式的共计4种预测模式生成亮度(Luma)区块的主预测信息，而在色差区块中也可以利用线性模式(LM)生成主预测信息。除此之外，也可以使用用于生成主预测信息的追加的画面间预测模式。可以通过多种不同的方法对追加的辅预测信息进行推导。
在亮度区块的主预测信息为通过一般帧内(Normal Intra)模式生成的画面内预测模式的情况下，作为方法4-a，可以将除与主预测信息对应的画面内预测模式之外的其他画面内预测模式决定为辅预测信息。此时，作为辅预测信息的画面内预测模式，可以选择最有可能模式(MPM)候选列表中的一个预测模式，在如上所述的情况下可以对候选索引信息进行传送，也可以固定地将优先顺序最高的候选画面内预测模式作为辅预测信息使用。作为方法4-b，除与主预测信息对应的画面内预测模式之外，可以将通过解码器侧帧内模式推导(DIMD)模式决定的画面内预测模式作为辅预测信息使用。
在亮度区块的主预测信息为通过解码器侧帧内模式推导(DIMD)模式生成的画面内预测模式的情况下，作为方法5-a，可以将除与主预测信息对应的画面内预测信息之外的包含于最有可能模式(MPM)候选列表的画面内预测模式中的某一个决定为辅预测信息。此时，可以对最有可能模式(MPM)候选模式信息进行传送，也可以固定地将优先顺序最高的候选画面内预测模式作为辅预测信息使用。作为方法5-b，可以将通过解码器侧帧内模式推导(DIMD)推导出的其他画面内预测模式作为辅预测信息使用。此时，作为辅预测信息的画面内预测模式，可以利用执行解码器侧帧内模式推导(DIMD)模式时的模板中的一部分进行推导，也可以利用全部模板进行推导。
在色差区块的主预测信息为通过线性模式(LM)生成的画面内预测模式的情况下，作为方法6-a，可以参阅图23中的附图编号2302。在线性模式(LM)中，可以从亮度区块、色差区块的重建区域内的模板区域仅推导出1组线性回归参数并利用数学式6生成色差区块的预测区块，也可以在利用2组以上的线性回归参数并利用各个组的线性回归参数以及数学式6分别生成预测区块之后再对其进行加权和。附图编号2302是在线性模式(LM)中推导2组线性回归参数即α、β的例示图。将亮度区块周边模板区域的重建像素以任意临界点为基准进行划分，再利用以临界值为基准划分的A区域的亮度重建像素以及色差区块周边模板区域中与包含于A区域的亮度区块周边模板区域的重建像素相同位置上的像素分别推导出线性回归参数。B区域的线性回归参数也利用相同的方法进行推导。分别利用所推导出的2组线性回归参数以及数学式6生成预测区块，并通过在所生成的预测区块之间执行加权和而生成最终预测区块。
在上述方法中，主预测信息以及辅预测信息应互不相同。此外，也可以使用2个以上的辅预测信息而非1个辅预测信息。作为分别适用于利用主预测信息以及辅预测信息生成的各个预测区块中的加权值，可以通过对预先设定的主预测信息、辅预测信息的加权值组中的任意组信息进行传送的方式决定加权值信息。加权值也可以是复数，而对各个预测区块分配的加权值的和为1。
对图24至图28的说明与上述说明相同，可以将所决定的主预测信息、辅预测信息、加权和方法以及加权值信息等决定为加权和预测信息进行传送，但是一部分信息也可以在影像编码装置以及影像解码装置中预先设定后使用。
在加权和方法中，可以根据加权和的主预测信息以及辅预测信息的种类使用预先设定的加权和方法以及加权值信息。此外，在对3个以上的预测区块进行加权和的情况下，并不需要一次性地对各个预测区块进行加权和，而是还可以采用如在首先对主预测信息以及第1辅预测信息进行加权和之后，再依次对其结果以及第2辅预测信息、第3辅预测信息(每次仅对2个预测区块)进行加权和等方式。
(实施例3)
在本实施例中，将对利用画面间预测模式的预测信息以及追加的画面内预测模式的预测信息或者画面内预测模式的预测信息以及追加的画面间预测信息生成加权和预测区块的方法进行详细的说明。
在主预测信息为通过一般帧间(Normal Intra)模式或解码器侧帧内模式推导(DIMD)模式生成的画面内预测模式的情况下，可以在从跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)、解码器侧运动向量推导(DMVD)模式中决定最适合于作为辅预测信息的最佳预测模式之后，将相应模式的运动信息决定为辅预测信息。辅预测信息的运动信息可以以与主预测模式相同的方式全部进行传送，也可以仅对一部分运动信息进行传送，还可以在不进行传送的情况下在影像编码装置以及影像解码装置中仅利用预先设定的预测信息决定为辅预测信息。
在主预测信息为通过跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)、解码器侧运动向量推导(DMVD)模式生成的运动信息的情况下，可以将通过一般帧间(NormalIntra)模式或解码器侧帧内模式推导(DIMD)模式决定的画面内预测模式决定为辅预测信息。例如，在合并(MERGE)模式的情况下，主预测信息可以是合并索引。作为辅预测信息的画面内预测模式信息，可以通过减少画面内预测模式数量而仅在一部分画面内预测模式中决定。一部分画面内预测模式可以是指所有可用的画面内预测模式中的一部分。例如，一部分画面内预测模式可以是指非定向模式。或者，可以仅将固定的一个画面内预测模式作为默认模式使用。例如，默认模式可以是平面(Planar)模式。
也可以使用2个以上的辅预测信息而非1个辅预测信息。作为分别适用于利用主预测信息以及辅预测信息生成的各个预测区块中的加权值，可以通过对预先设定的主预测信息、辅预测信息的加权值组中的任意组信息进行传送的方式决定加权值信息。加权值也可以是复数，而对各个预测区块分配的加权值的和为1。
或者，加权值也可以以当前区块的周边区块的预测模式为基础决定。例如，周边区块可以是上端周边区块以及左侧周边区块。例如，上端周边区块可以是存在于当前区块的上端区块中的最右侧的区块。例如，在W×H大小的当前区块的左上端坐标为(0,0)时，上端周边区块可以是包含(-1,H-1)坐标的像素的区块。例如，左侧周边区块可以是存在于当前区块的左侧区块中的最下端的区块。例如，在W×H大小的当前区块的左上端坐标为(0,0)时，左侧周边区块可以是包含(W-1,-1)坐标的像素的区块。例如，可以以周边区块中的画面内预测区块以及画面间预测区块的数量为基础决定加权值。例如，在周边区块中的画面内预测区块较多的情况下，可以为当前区块的画面内预测区块分配比画面间预测区块更大的加权值。例如，在上端周边区块以及左侧周边区块均为画面内预测的情况下，可以为当前区块的画面内预测区块以及画面间预测区块分别分配0.75:0.25的加权值。与此相反，在上端周边区块以及左侧周边区块均为画面间预测的情况下，可以为当前区块的画面内预测区块以及画面间预测区块分别分配0.25:0.75的加权值。在上端周边区块以及左侧周边区块分别为画面间预测以及画面内预测的情况下，可以为当前区块的画面内预测区块以及画面间预测区块分别分配0.5:0.5的加权值。
对图24至图28的说明与上述说明相同，可以将所决定的主预测信息、辅预测信息、加权和方法以及加权值信息等决定为加权和预测信息进行传送，但是一部分信息也可以在影像编码装置以及影像解码装置中预先设定后使用。
在加权和方法中，可以根据加权和的主预测信息以及辅预测信息的种类使用预先设定的加权和方法以及加权值信息。此外，在对3个以上的预测区块进行加权和的情况下，并不需要一次性地对各个预测区块进行加权和，而是还可以采用如在首先对主预测信息以及第1辅预测信息进行加权和之后，再依次对其结果以及第2辅预测信息、第3辅预测信息(每次仅对2个预测区块)进行加权和等方式。
在图25以及图26中，在主预测模式或辅预测模式中的某一个为定向画面内预测模式的情况下，可以根据定向模式的方向预先对加权值信息进行设定。例如，在与水平方向模式进行运动信息的加权和的情况下，可以使用如图25所示的加权和方法，在与定向模式对应的预测区块中按照W1、W2、W3、W4的顺序分配较高的加权值，而在通过运动信息生成的预测区块中按照W4、W3、W2、W1的顺序分配较高的加权值。在垂直方向模式的情况下，可以使用如图26所示的加权和方法，而其他说明与上述的例示相同。
图29是对影像编码装置的构成进行概要性图示的块图。
参阅图29，影像编码装置是用于对影像进行编码的装置，可以包括区块分割部2901、预测部2902、变换部2903、量化部2904、熵编码部2905、逆量化部2906、逆变换部2907、加法运算部2908、环路滤波部2909、存储器部2910以及减法运算部2911。
图29中所图示的各个构成部为了表示影像编码装置中的不同的特征以及功能而单独进行了图示，并不代表各个构成部由相互分离的硬件或一个软件单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列说明，但是既可以将各个构成部中的至少两个构成部合并成一个构成部，也可以将一个构成部分割成多个构成部而使其执行对应的功能，而如上所述的各个构成部被整合的实施例以及被分离的实施例在不脱离本发明之本质的前提下包含于本发明的权利要求范围之内。
此外，一部分构成要素可能并不是在本发明中执行本质功能所必须的构成要素，而只是用于提升性能的可选择的构成要素。本发明既可以仅包括除只是用于提升性能的构成要素之外的实现本发明之本质所必须的构成部，而包括除只是用于提升性能的选择性构成要素之外的必备构成要素的结构也包含于本发明的权利要求范围之内。
区块分割部2901可以将所输入的影像分割成至少一个区块。此时，所输入的影像可以具有如图像、条带、并行区块、砖块或片段等多种不同的形态和大小。区块可以是指编码单位(CU)、预测单位(PU)或变换单位(TU)。上述分割可以以四叉树(Quad tree)、二叉树(Binary tree)以及三叉树分割(Ternary tree)中的至少一个为基础执行。
四叉树是指将当前的编码区块准确地分割成四个的分割方式。二叉树是指将编码区块沿着水平方向或垂直方向准确地分割成两个的分割方式。三叉树是指将上述区块分割成三个下级区块的分割方式。例如，上述三个下级区块可以通过将上述上级区块的宽度或高度按照1:2:1的比例进行分割而获得。通过执行以如上所述的二叉树为基础的分割，区块不仅可以具有正方形形态，还可以具有非正方形形态。此外，也可以采用同时利用多种分割方法进行分割的方法。
区块分割部2901可以将最大大小的需要进行编码的区块(以下称之为最大编码区块)分割成最小大小的需要进行编码的区块(以下称之为最小编码区块)。
预测部2902可以利用在当前原始区块中当前需要进行预测的区块(以下称之为预测区块)的周边像素或之前已经完成编码/解码的参考图像内的像素生成预测区块。
作为预测区块，可以在编码区块内生成1个或多个预测区块。在编码区块内的预测区块为1个的情况下，预测区块可以是与编码区块相同的形态。
视频信号的预测技术，包括画面内预测以及画面间预测。
画面内预测，是利用当前区块的周边像素生成预测区块的方式。
画面间预测，是从之前已经完成编码/解码的参考图像中查找与当前区块最为类似的区块并生成预测区块的方式。
此外，预测部2902可以在生成预测区块之后在从原始区块减去预测区块的残差区块中利用如率失真优化(RDO：Rate-Distortion Optimization)等多种不同的技法决定预测区块的最佳预测模式。率失真优化(RDO)代价的计算式如数学式8所示。
【数学式8】
Figure BDA0002844894480000421
其中，D、R、J分别代表因为量化而导致的劣化、压缩流的码率以及率失真(RD)代价，Φ代表编码模式，λ代表拉格朗日乘数(Lagranginan multiplier)，可以作为用于匹配误差量以及比特量之间的单位的缩放补正用系数使用。为了可以在编码过程中选择作为最佳编码模式，适用相应模式时的J即率失真(RD)代价值应小于适用其他模式的情况，在计算率失真(RD)代价值的公式中，可以在同时考虑比特率以及误差的情况下进行计算。
图30是对影像编码装置的预测部内的流程进行说明的流程图。
在利用原始信息以及重建信息执行画面内预测3001的情况下，可以对各个预测模式分别利用率失真(RD)代价值决定最佳画面内预测模式3002并生成预测区块。
在利用原始信息以及重建信息执行画面间预测3003的情况下，可以对跳过(SKIP)模式、合并(MERGE)模式、高级运动向量预测(AMVP)模式计算率失真(RD)代价值。
在合并(MERGE)候选探索部3004中，可以构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组。此外，在相应的候选运动信息组中，可以利用率失真(RD)代价值决定最佳运动信息3005。
在高级运动向量预测(AMVP)候选探索部3006中，可以构成用于高级运动向量预测(AMVP)模式的候选运动信息组。此外，可以通过利用相应的候选运动信息组执行运动推测3007而决定最佳运动信息。
可以通过利用在各个模式中决定的最佳运动信息执行运动补偿3008而生成预测区块。
上述画面间预测可以由3种模式(跳过(SKIP)模式、合并(MERGE)模式以及高级运动向量预测(AMVP)模式)构成。可以根据各个预测模式对运动信息(预测方向信息、参考图像信息以及运动向量)进行编码。
跳过(SKIP)模式可以利用已重建区域的运动信息决定最佳预测信息。跳过(SKIP)模式可以在重建区域内构成运动信息候选组，并通过将相应候选组中的率失真(RD)代价值最小的候选作为预测信息使用而生成预测区块。其中，因为构成运动信息候选组的方法与下述说明的构成合并(MERGE)模式的运动信息候选组的方法相同，因此在本说明中将对其进行省略。
合并(MERGE)模式在利用已重建区域的运动信息决定最佳预测信息的方面，与跳过(SKIP)模式相同。但是，两者之间的差异在于，跳过(SKIP)模式是从运动信息候选组中探索预测误差为0的运动信息，而合并(MERGE)模式是从运动信息候选组中探索预测误差不为0的运动信息。与跳过(SKIP)模式相同，可以在重建区域内构成运动信息候选组，并通过将相应候选组中的率失真(RD)代价值最小的候选作为预测信息使用而生成预测区块。
图31对生成跳过(SKIP)模式以及合并(MERGE)模式的运动信息候选组的方法进行了图示。运动信息候选组的最大数量可以在影像编码装置以及影像解码装置中决定为相同的值，也可以在影像编码装置的上级报头(上级报头是指在如视频参数等级、序列参数等级、图像参数等级等在区块的上一等级中进行传送的参数)中事先对相应的数量信息进行传送。
参阅图31，在步骤S3101中，可以从相同图像内的当前区块周边的5个空间后选区块中选择4个候选。图33是对空间候选的位置进行图示的示意图。此外，空间候选的位置可以在重建区域内变更为任意区块。空间候选可以按照A1、A2、A3、A4、A5的顺序考虑，而且可以将优先可用的空间候选区块的运动信息决定为空间候选。其中，在有重复的运动信息的情况下，可以仅考虑优先顺序较高的候选的运动信息。
在步骤S3102中，可以从2个时间后选区块中选择1个候选。图33对时间候选的位置进行了图示。各个候选的位置，可以以并置(Collocated)图像内与当前图像的当前区块位置相同位置上的区块为基准决定。其中，并置(Collocated)图像可以在重建图像内在影像编码装置以及影像解码装置中以相同的条件进行设定。时间候选可以按照B1、B2区块的顺序考虑，而且可以将优先可用的候选区块的运动信息决定为时间候选。
关于决定时间候选的运动信息的方法，可以参阅图34。
参阅图34，并置(Collocated)图像内的候选区块(B1、B2)的运动信息是指位于参考图像B内的预测区块。(其中，各个候选区块的参考图像可以互不相同。在本说明书中为了便利而全部表达为参考图像B)关于相应的运动向量，可以将计算出并置(Collocated)图像与参考图像B之间的距离以及当前图像与参考图像A之间的距离的比例并按照相应的比例对候选区块的运动向量进行缩放而推导出的运动向量决定为时间候选运动信息的运动向量。数学式9为缩放数学式。
【数学式9】
Figure BDA0002844894480000441
其中，MV代表时间候选区块的运动信息的运动向量、MVscale代表缩放的运动向量、TB代表并置(Collocated)图像与参考图像B之间的时间距离、TD代表当前图像与参考图像A之间的时间距离。此外，参考图像A以及参考图像B可以是相同的参考图像。可以将通过如上所述的方式进行缩放的运动向量决定为时间候选的运动向量并将时间候选运动信息的参考图像信息决定为当前图像的参考图像，从而对时间候选的运动信息进行推导。
此外，在步骤S3101以及步骤S3102中，只有在将空间候选区块以及时间候选区块以画面间预测模式进行编码的情况下，才可以将相应的运动信息包含到运动信息候选组中。
步骤S3103只有在步骤S3101以及步骤S3102中无法推导出最大运动信息候选组数量的情况下执行，是利用在之前的步骤中推导出的运行信息候选的组合追加新的双方向运动信息候选组的步骤。双方向运动信息候选是指将之前推导出的历史或未来方向的运动信息依次选择一个并组合成新的候选。
图35的表中给出了双方向运动信息候选组合的优先顺序。除图25的表中的组合之外也可以有其他追加组合存在，本表中只是对一个例示进行了图示。即使是在使用双方向运动信息候选时也无法满足最大运动信息候选组数量的情况下，可以执行步骤S3104。在步骤S3104中，可以将运动信息候选的运动向量固定为零运动向量并通过变更不同预测方向的参考图像而满足最大运动信息候选组的数量。
高级运动向量预测(AMVP)模式可以通过对不同的预测方向的参考图像分别执行运动推测而决定最佳运动信息。其中，预测方向既可以是仅使用历史/未来中的某一个方向的单方向，也可以是同时使用历史以及未来方向的双方向。可以通过利用借助于运动推测决定的最佳运动信息执行运动补偿而生成预测区块。其中，可以对不同预测方向的参考图像分别推导出用于执行运动推测的运动信息候选组。相应的运动信息候选组，可以作为运动推测的起始位置使用。
图32是对用于高级运动向量预测(AMVP)模式的运动推测的运动信息候选组的推导方法进行图示的流程图。其中，运动信息候选组的最大数量，可以在影像编码装置以及影像解码装置中决定为相同的值，也可以在影像编码装置的上级报头中事先对相应的数量信息进行传送。
参阅图32，步骤S3201与对图31中的步骤S3101的说明不同，作为空间候选推导出的数量(2个)可以不同，且用于选择空间候选的优先顺序也可以不同。此外，因为对S3201的说明与步骤S3101相同，因此将对重复的说明进行省略。
因为步骤S3202与对步骤S3102的说明相同，因此将对重复的说明进行省略。
在步骤S3203中，当目前已推导出的后选中包含重复的运动信息时可以对其进行删除。
因为步骤S3204与对步骤S3104的说明相同，因此将对重复的说明进行省略。
在通过如上所述的方式推导出的运动信息候选中，可以选择率失真(RD)代价值最小的运动信息候选作为最佳运动信息候选，并以相应的运动信息为基准通过运动推测过程获取高级运动向量预测(AMVP)模式的最佳运动信息。
此外，在对步骤S3201以及步骤S3202的说明中，只有在将空间候选区块以及时间候选区块以画面间预测模式进行编码的情况下，才可以将利用相应的运动信息推导出的运动信息包含到运动信息候选组中。
变换部2903可以通过对原始区块以及预测区块之间的差异即残差区块进行变换而生成变换区块。变换区块是在变换以及量化过程中所使用的最小的单位。变换部2903可以通过将残差信号变换成频率区域而生成具有变换系数的变换区块。其中，作为将残差信号变换成频率区域的方法，可以使用如基于离散余弦变换(DCT：Discrete CosineTransform)的变换、离散正弦变换(DST：Discrete Sine Transform)、卡洛南-洛依变换(KLT：Karhunen Loeve Transform)等多种变换技法，借此可以将残差信号变换成频率区域并生成变换系数。为了方便地使用变换技法，将执行利用基向量(basis vector)的矩阵运算，而根据对预测区块进行编码时所使用的预测模式，可以在执行矩阵运算时混合使用多种不同的变换技法。例如，在执行画面内预测时可以根据预测模式在水平方向上使用离散余弦变换而在垂直方向上使用离散正弦变换。
量化部2904可以通过对变换区块进行量化而生成量化变换区块。即，量化部2904可以通过对从变换部2903生成的变换区块的变换系数进行量化而生成具有量化变换系数的量化变换区块(Quantized Transform Coefficient)。作为量化方法，可以使用如死区均匀阈值量化(DZUTQ：Dead Zone Uniform Threshold Quantization)或量化加权矩阵(Quantization Weighted Matrix)等，也可以使用如对其进行改良的量化等多种不同的量化方法。
此外，在上述内容中是对影像编码装置中包含变换部2903以及量化部2904的情况进行了图示和说明，但是变换部以及量化部也可以选择性地包含到影像编码装置中。即，影像编码装置可以通过对残差区块进行变换而生成变换区块但不执行量化过程，也可以不将残差区块变换成频率系数而仅执行量化过程，甚至也可以均不执行变换以及量化过程。即使是在影像编码装置中仅执行变换部或量化部中的一部分或没有执行所有过程的情况下，输入到熵编码部中的区块通常都会被称之为“量化变换区块”。
熵编码部2905可以对量化变换区块进行编码并输出比特流。即，熵编码部2905可以利用如熵编码(Entropy Encoding)等多种编码技法对从量化部2904输出的量化变换区块的系数进行编码，并生成和输出包含在后续说明的影像解码装置中对相应区块进行解码时所需要的附加信息(例如，与预测模式相关的信息、量化系数等)的比特流。
即，熵编码部2905可以利用如熵编码(Entropy Encoding)等多种编码技法对从量化部2904输出的量化变换区块的系数进行编码，并生成和输出包含在后续说明的影像解码装置中对相应区块进行解码时所需要的附加信息(例如，与预测模式相关的信息(与预测模式相关的信息可以包括在预测部中决定的运动信息或画面内预测模式信息等)、量化系数等)的比特流。
逆量化部2906可以通过对量化变换区块逆向执行在量化过程中所使用的量化技法而对逆量化变换区块进行重建。
逆变换部2907通过利用与在变换过程中所使用的方法相同的方法对逆量化变换区块执行逆变换而对残差区块进行重建，可以通过逆向执行在变换部中使用的变换技法而执行逆变换。
此外，上述的逆量化部以及逆变换部可以通过逆向使用在量化部以及变化不中使用的量化方式以及变换方式而执行逆量化以及逆变换。或者，在变换部以及量化部中仅执行量化而没有执行变换的情况下，可以仅执行逆量化而不执行逆变换。而且，在变换以及量化均没有执行的情况下，逆量化部以及逆变换部可以不执行逆变换以及逆量化，或不包含于影像编码装置中而直接省略。
加法运算部2908可以通过对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算而对当前区块进行重建。
滤波部2909是在对当前图像内的所有区块进行重建之后对图像整体追加执行滤波的过程，可以包括去块滤波以及样本自适应偏移(SAO，Sample Adaptive Offset)等。区块滤波是指用于减少在将影像以区块单位进行编码的过程中产生的区块失真的作业，而样本自适应偏移(SAO，Sample Adaptive Offset)是指通过在重建像素上利用特定值进行加法运算或减法运算而将重建影像以及原始影像之间的差异最小化的作业。
存储器2910对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算之后在环路滤波部中追加执行滤波的重建的当前区块进行存储，可以用于对下一个区块或下一个图像等进行预测。
减法运算部2911通过对当前原始区块与预测区块进行减法运算而生成残差区块。
图36是对影像编码装置中的编码信息的编码流程进行图示的流程图。
参阅图36，在步骤S3601中，将对跳过(SKIP)模式的动作信息进行编码。
接下来，在步骤S3602中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S3602中判定跳过(SKIP)模式动作时，在步骤S3607中，可以对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。
与此相反，当在步骤S3602中判定跳过(SKIP)模式不动作时，在步骤S3603中，将对预测模式进行编码。
接下来，在步骤S3604中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S3604中判定预测模式为画面内预测模式时，在步骤S3608中，可以对画面内预测模式信息进行编码，然后结束本流程图。
与此相反，当在S3604中判定预测模式为画面间预测模式时，在步骤S3605中，将对合并(MERGE)模式的动作信息进行编码。
接下来，在步骤S3606中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S3606中判定合并(MERGE)模式动作时，可以跳转到步骤S3607并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。
与此相反，当在步骤S3606中判定合并(MERGE)模式不动作时，在步骤S3609中，将对预测方向进行编码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。
接下来，在步骤S3610中，将对预测方向是否为未来方向进行判定。当在步骤S3610中判定预测方向不为未来方向时，在步骤S3611中，将对历史方向的参考图像索引信息进行编码。接下来，在步骤S3612中，将对历史方向的运动向量差值(MVD，Motion VectorDifference)信息进行编码。接下来，在步骤S3613中，将对历史方向的运动向量预测(MVP，Motion Vector Predictor)信息进行编码。
与此相反，当在步骤S3610中判定预测方向为未来方向或双方向时，在完成步骤S3613之后，在步骤S1313中，将对预测方向是否为历史方向进行判定。接下来，当在步骤S3614中判定预测方向不为历史方向时，在步骤S3615中，将对未来方向的参考图像索引信息进行编码。接下来，在步骤S3616中，将对未来方向的运动向量差值(MVD)信息进行编码。在步骤S3617中，可以对未来方向的运动向量预测(MVP)信息进行编码，然后结束本流程图。
图37是对影像解码装置的构成进行概要性图示的块图。
参阅图37，影像解码装置是用于对影像进行解码的装置，可以包括熵解码部3701、逆量化部3702、逆变换部3703、预测部3704、加法运算部3705、环路滤波部3706以及存储器部3707。
图37中所图示的各个构成部为了表示影像解码装置中的不同的特征以及功能而单独进行了图示，并不代表各个构成部由相互分离的硬件或一个软件单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列说明，但是既可以将各个构成部中的至少两个构成部合并成一个构成部，也可以将一个构成部分割成多个构成部而使其执行对应的功能，而如上所述的各个构成部被整合的实施例以及被分离的实施例在不脱离本发明之本质的前提下包含于本发明的权利要求范围之内。
此外，一部分构成要素可能并不是在本发明中执行本质功能所必须的构成要素，而只是用于提升性能的可选择的构成要素。本发明既可以仅包括除只是用于提升性能的构成要素之外的实现本发明之本质所必须的构成部，而包括除只是用于提升性能的选择性构成要素之外的必备构成要素的结构也包含于本发明的权利要求范围之内。
影像编码装置中的编码区块，在影像解码装置中可以被称之为解码区块或继续称之为编码区块。
熵解码部3701可以通过对从影像编码装置传送过来的比特流进行解析而对在对相应区块进行解码时所需要的各种信息以及量化变换系数进行读取。
逆量化部3702可以通过对在熵解码部中解码的量化系数逆向执行在量化过程中所使用的量化技法而对具有逆量化系数的逆量化区块进行重建。
逆变换部3703通过利用与在变换过程中所使用的方法相同的方法对逆量化变换区块执行逆变换而对具有差值信号的残差区块进行重建，可以通过逆向执行在变换部中使用的变换技法而执行逆变换。
预测部3704利用在熵解码部中解码的预测模式信息生成预测区块，此时可以使用与在影像编码装置的预测部中执行的预测方式相同的方式。
加法运算部3705可以通过对在逆变换部中重建的残差信号以及通过预测生成的预测区块进行加法运算而对当前区块进行重建。
滤波部3706是在对当前图像内的所有区块进行重建之后在图像整体区域上追加执行滤波的过程，可以包括去块滤波以及样本自适应偏移(SAO，Sample Adaptive Offset)等，详细的内容与对上述影像编码装置的环路滤波部进行说明的内容相同。
存储器3707对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算之后在环路滤波部中追加执行滤波的重建的当前区块进行存储，可以用于对下一个区块或下一个图像等进行预测。
图38是对影像解码装置的预测部内的流程进行说明的流程图。
参阅图38，在预测模式为画面内预测时，可以决定最佳画面内预测模式信息3801，并通过执行画面内预测3802而生成预测区块。
在预测模式为画面间预测时，可以从跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)模式中决定最佳预测模式3803。接下来，在通过跳过(SKIP)模式或合并(MERGE)模式进行解码的情况下，可以在合并(MERGE)候选探索部3804中构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组。在相应的候选运动信息组中，可以决定最佳运动信息3805。
在通过高级运动向量预测(AMVP)进行解码的情况下，可以在高级运动向量预测(AMVP)候选探索部3806中构成用于高级运动向量预测(AMVP)模式的候选运动信息组。在相应的候选运动信息组中，可以利用所传送过来的运动向量预测(MVP)信息决定最佳运动信息3807。接下来，可以通过利用在各个模式中决定的最佳运动信息执行运动补偿3808而生成预测区块。
图39是对影像解码装置中的编解码信息的解码流程进行图示的流程图。
参阅图39，在步骤S3901中，将对跳过(SKIP)模式的动作信息进行解码。
接下来，在步骤S3902中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S3902中判定跳过(SKIP)模式动作时，在步骤S3907中，可以对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。
与此相反，当在步骤S3902中判定跳过(SKIP)模式不动作时，在步骤S3903中，将对预测模式进行解码。
接下来，在步骤S3904中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S3904中判定预测模式为画面内预测模式时，在步骤S3908中，可以对画面内预测模式信息进行解码，然后结束本流程图。
与此相反，当在S3904中判定预测模式为画面间预测模式时，在步骤S3905中，将对合并(MERGE)模式的动作信息进行解码。
接下来，在步骤S3906中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S3906中判定合并(MERGE)模式动作时，可以跳转到步骤S3907并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。
与此相反，当在步骤S3906中判定合并(MERGE)模式不动作时，在步骤S3909中，将对预测方向进行解码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。
接下来，在步骤S3910中，将对预测方向是否为未来方向进行判定。当在步骤S3910中判定预测方向不为未来方向时，在步骤S3911中，将对历史方向的参考图像索引信息进行解码。接下来，在步骤S3912中，将对历史方向的运动向量差值(MVD，Motion VectorDifference)信息进行解码。接下来，在步骤S3913中，将对历史方向的运动向量预测(MVP，Motion Vector Predictor)信息进行解码。
此外，当在步骤S3910中判定预测方向为未来方向或双方向时，在完成步骤S3913之后，在步骤S1913中，将对预测方向是否为历史方向进行判定。接下来，当在步骤S3914中判定预测方向不为历史方向时，在步骤S3915中，将对未来方向的参考图像索引信息进行解码。接下来，在步骤S3916中，将对未来方向的运动向量差值(MVD)信息进行解码。接下来，在步骤S3917中，可以对未来方向的运动向量预测(MVP)信息进行解码，然后结束本流程图。
接下来，将结合附图对适用本发明的多种实施例进行更为详细的说明。
适用本发明之一实施例的影像编码/解码方法，可以作为画面间预测模式中的一个包括解码器侧运动向量推导(DMVD，Decoder-side Motion Vector Derivation)模式。
解码器侧运动向量推导(DMVD)模式可以是指在不从影像编码装置传送一部分或全部运动信息的情况下在影像解码装置中对一部分或全部运动信息直接进行推导的模式。
即，解码器侧运动向量推导(DMVD)模式可以是指在影像解码装置自行对运动信息进行推导的模式。或者，解码器侧运动向量推导(DMVD)模式可以是指在影像解码装置自行对以从影像编码装置传送过来的信息为基础推导出的初始运动信息进行补正的模式。
图40是对适用本发明之一实施例的影像编码装置内的预测部进行说明的示意图。
参阅图40，在步骤4001～4007中可以执行与图30中的步骤3001～3007相同的过程。即，可以利用通过步骤4001～4007决定的最佳画面内预测模式生成预测区块，或者利用通过步骤4003～4007决定的最佳运动信息执行运动补偿4010并生成预测区块。
图40中的影像编码装置可以在追加执行画面间预测的情况下执行利用解码器侧运动向量推导(DMVD)模式的运动信息决定方法。为了在影像编码/装置中以相同的方式进行运动推测，可以利用重建区域的运动信息决定初始运动信息4008。接下来，可以通过利用所决定的初始运动信息执行运动推测4009而决定最佳运动信息，并通过利用所决定的最佳运动信息执行运动补偿4010而生成预测区块。其中，运动信息可以包括运动向量、参考图像索引以及预测方向信息中的至少一个。
图41是对适用一实施例的影像解码装置内的预测部进行说明的示意图。
参阅图41，在步骤4101～4107中可以执行与图38中的步骤3801～3807相同的过程。即，可以利用通过步骤4101～4102决定的画面内预测模式生成预测区块，或者利用通过步骤4103～4007决定的运动信息执行运动补偿4110并生成预测区块。
图41中的影像解码装置可以在追加执行画面间预测的情况下执行利用解码器侧运动向量推导(DMVD)模式的运动信息决定方法。为了在影像编码/装置中以相同的方式进行运动推测，可以利用重建区域的运动信息决定初始运动信息4108。接下来，可以通过利用所决定的初始运动信息执行运动推测4109而决定运动信息，并通过利用所决定的运动信息执行运动补偿4110而生成预测区块。即，在解码器侧运动向量推导(DMVD)模式的情况下，影像解码装置可以在没有信令信息的情况下自行对初始运动信息进行补正并推导出用于运动补偿的运动信息。
此外，图41中的解码器侧运动向量推导(DMVD)初始运动信息探索部4108可以将通过步骤4104～4105推导出的合并(MERGE)候选的运动信息决定为解码器侧运动向量推导(DMVD)初始运动信息，也可以将通过步骤4106～4107推导出的运动信息决定为解码器侧运动向量推导(DMVD)初始运动信息。
图42是用于对解码器侧运动向量推导(DMVD)初始运动信息探索部4008、4108进行说明的示意图。
参阅图42的表，图42的表中的索引可以是指初始运动信息的优先顺序。作为初始运动信息，可以使用跳过(SKIP)模式的候选运动信息、高级运动向量预测(AMVP)模式的候选运动信息、合并(MERGE)模式的候选运动信息、位于当前区块周边的上端、左侧、左上端、右上端、左下端的重建区域内的子区块所具有的运动信息、零运动信息中的至少一个。此外，可以使用通过其他重建信息推导出的多种不同的运动信息候选。
如上所述，初始运动信息可以是利用如在图31至图35中进行说明的跳过(SKIP)模式、高级运动向量预测(AMVP)模式或合并(MERGE)模式等画面间预测模式推导出的运动信息。
图43是对影像编码/解码装置内的预测部中的解码器侧运动向量推导(DMVD)运动推测部4009、4109进行说明的示意图。
影像编码装置可以在利用通过解码器侧运动向量推导(DMVD)初始运动信息探索部决定的初始运动信息执行解码器侧运动向量推导(DMVD)模式之后，决定最佳运动信息。
影像解码装置可以在利用通过解码器侧运动向量推导(DMVD)初始运动信息探索部决定的初始运动信息执行解码器侧运动向量推导(DMVD)模式之后，决定需要用于运动补偿的运动信息。其中，执行解码器侧运动向量推导(DMVD)模式可以是指对初始运动信息进行补正。
解码器侧运动向量推导(DMVD)模式可以包括使用模板的模式(以下称之为“模板匹配模式”)以及不适用模板的模式(以下称之为“双方向匹配模式”)。
在使用双方向匹配模式4301的情况下，可以将各个初始运动信息的单方向运动向量以线性方式缩放成相反预测方向的参考图像。其中，运动向量的缩放可以以与当前图像以及各个方向的参考图像之间的距离呈正比的方式执行。在通过如上所述的方式在双方向上决定运动向量4302之后，可以将历史方向以及未来方向的预测区块之间的差异最小的各个方向的运动向量决定为最佳运动信息4304。
此外，在初始运动信息为同时具有历史方向的运动信息以及未来方向的运动信息的双方向运动信息的情况下，可以将各个方向的运动信息所指示的预测区块之间的差异最小的运动信息决定为最佳运动信息4304。
作为一实例，可以将历史方向的初始运动向量所指示的预测区块以及未来方向的初始运动向量所指示的预测区块之间的差异最小的运动向量决定为最佳运动向量。其中，所决定的最佳运动向量可以作为当前区块的运动信息使用。
图45是对在双方向匹配模式中以当前区块的历史、未来方向的运动向量所指示的预测区块为基础探索运动向量的方法进行图示的示意图。可以在探索出图45中的各方向的预测区块之间的差异最小的位置之后通过对各个方向的运动向量进行补正而使其指向上述所探索到的位置。此时，补正的运动向量可以作为最佳运动向量或用于执行运动补偿(或画面间预测)的运动向量使用。
在使用模板匹配模式4305的情况下，可以从重建区域中决定模板区域4306。可以通过将与当前区块周边相邻的左侧、上端的重建区域决定为模板区块等多种不同的方法决定模板区块的大小以及形状。通过利用相应的模板区块的运动推测4307，可以决定最佳运动信息。图44是对在单模板匹配模式中探索出与模板区块最为类似的模板区块的预测区块之后，将与相应的模板区块相邻的区块决定为当前区块的预测区块的方法进行说明的示意图。
在对双方向匹配模式以及模板匹配模式的最佳运动信息进行探索的过程中，可以以多种不同的方式决定探索图案。其中，对最终运动信息进行探索的过程可以是运动推测过程。
图46是对以钻石形状的探索图案执行探索的过程进行例示的示意图。
参阅图46，可以将P1作为探索的起始点并对包含P1在内的位于钻石形状内部的像素S1的运动推测的代价值进行计算。其中，P1可以以初始运动信息为基础决定。
在对其进行计算之后，可以将代价值最小的位置即P2位基准再次对位于钻石形状内部的像素S2的运动推测的代价值进行计算，从而决定代价值最小的位置P3。通过反复执行上述过程而在探索区域内执行如上所述的过程，并持续进行探索过程直至位于钻石形状内部的中央像素的代价值达到最小，从而将指示最佳位置的运动信息决定为模板匹配模式或双方向匹配模式的运动信息。此外，图46中在探索图案内对具有最小代价值的位置进行探索的过程可以反复执行预先定义的次数。
如图44以及图45所示，在双方向匹配模式以及模板匹配模式中对最佳运动信息进行探索(或运动推测)时，可以在参考图像内对探索区域(或运动推测区域)进行限定4303。
尤其是，在执行模板匹配模式时，还可以对当前图像内当前区块的模板可设定区域(以下称之为“模板推测区域”)进行限定4303。
如果在影像解码装置中不对探索区域进行限定而是重复执行探索直至找到最佳运动位置，则影像解码装置的计算复杂程度必然会变得非常高。而且，如果不对模板推测区域进行限定，则当前图像的并列处理设计将变得非常困难，因此需要通过对其进行限定而提升处理速度。
可以将限定条件设定为在双方向匹配模式的情况下历史/未来方向的预测区块不得超出运动推测区域，而在模板匹配模式的情况下参考图像内预测区块的模板区块不得超出运动推测区域。此外，可以将限定条件设定为在模板匹配模式中当前图像内当前区块的模板区块不得超出模板推测区域。
此外，探索区域可以被设定为任意大小的窗口(I×J)。上述窗口的大小可以根据当前图像以及参考图像之间的距离进行变更，也可以在上级报头(如视频参数等级、序列参数等级、图像参数等级以及条带等级等)中对上述窗口的大小进行传送。
此外，在影像编码装置以及影像解码装置中也可以使用预先设定的相同大小的探索区域。
此外，探索区域无法决定为超出在如条带以及并行区块等上级报头中决定的分割边界的大小。
但是，在双方向匹配模式的情况下，因为其前提在于不同方向上上的运动向量具有线性定向性，因此不同方向上的探索区域可以互不相同。
此外，可以将探索区域决定为包含当前区块的最大编码区块。
此外，可以按照与探索区域相同的方式设定任意大小的窗口(K×L)并将相应的窗口决定为模板推测探索区域。上述窗口的大小可以在上级报头中进行传送，也可以在影像编码/解码装置中使用预先设定的相同大小。此外，无法决定为超出在如条带以及并行区块等上级报头中决定的分割边界的大小。没有包含于模板推测区域中的模板区域，将无法作为模板匹配模式的模板使用。
运动信息探索过程的代价值是指预测误差量以及运动信息的假想比特量的和。预测误差可以通过如绝对误差和(SAD，Sum of Absolute Difference)、绝对变化误差和(SATD，Sum of Absolute hadamard Trnasform Difference)、平方误差和(SSD，Sum ofSquare Difference)等多种计算方法获得。数学式10、数学式11、数学式12分别是对绝对误差和(SAD)、绝对变化误差和(SATD)以及平方误差和(SSD)的计算方法进行描述的数学式。
【数学式10】
Figure BDA0002844894480000561
Diff(i，j)＝Template(i，j)-PredBlk(i，j)
【数学式11】
Figure BDA0002844894480000562
DiffT(i，j)＝HT(Template(i，j)-PredBlk(i，j))
【数学式12】
Figure BDA0002844894480000563
Diff(i，j)＝Template(i，j)-PredBlk(i，j)
其中，i、j代表像素的位置，Template(i,j)代表模板区块的像素，PredBlk(i,j)代表预测区块的像素。其中，数学式4中的HT()函数是指通过对模板区块以及预测区块的差值区块执行哈达玛(Hadamard)变换而获得的函数值。运动信息的假想比特量并不是实际进行传送的信息，而是对在影像编码装置以及影像解码装置中以相同的方法预期的运动信息的假想比特量进行计算的值。例如，可以通过对初始运动信息的运动向量以及当前正在执行运动推测的运动信息内的运动向量的差值向量大小进行计算而决定为假想比特量。除此之外，也可以利用参考图像信息的比特量对运动信息假想比特量进行计算。
图47是适用一实施例的对编解码信息进行编码的流程图。
参阅图47，在步骤S4701中，将对跳过(SKIP)模式的动作信息进行编码。在步骤S4702中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S4702中判定跳过(SKIP)模式动作时，在步骤S4703中，将对解码器侧运动向量推导(DMVD)模式的动作信息进行编码。在步骤S4704中，将对解码器侧运动向量推导(DMVD)模式的动作与否进行判定。当在步骤S4704中判定解码器侧运动向量推导(DMVD)模式动作时，在步骤S4705中，将对解码器侧运动向量推导(DMVD)信息进行编码，然后结束本流程图。其中，解码器侧运动向量推导(DMVD)信息是指用于指示属于双方向匹配模式还是模板匹配模式的标志信息。如果当前区块周边的上端/左侧模板区块均不包含于模板推测区域中，将不对解码器侧运动向量推导(DMVD)信息进行编码并将解码器侧运动向量推导(DMVD)信息决定为双方向匹配模式。当在步骤S4704中判定解码器侧运动向量推导(DMVD)模式不动作时，在步骤S4706中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。当在步骤S4702中判定跳过(SKIP)模式不动作时，在步骤S4707中，将对预测模式信息进行编码。在步骤S4708中，将对预测模式是否为画面间预测进行判定。当在S4708中判定预测模式为画面内预测模式而非画面间预测时，在步骤S4709中，将对画面内预测信息进行编码，然后结束本流程图。当在S4708中判定预测模式为画面间预测时，在步骤S4710中，将对合并(MERGE)模式动作信息进行编码。在步骤S4711中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S4711中判定合并(MERGE)模式动作时，在步骤S4712中，将对解码器侧运动向量推导(DMVD)模式动作信息进行编码。当在步骤S4713中判定解码器侧运动向量推导(DMVD)模式动作时，在步骤S4714中，将对解码器侧运动向量推导(DMVD)信息进行编码，然后结束本流程图。当在步骤S4713中判定解码器侧运动向量推导(DMVD)模式不动作时，在步骤S4706中，将对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。当在步骤S4711中判定合并(MERGE)模式不动作时，将执行步骤S4715～步骤S4723，这与对图36中的步骤S3609～步骤S3617的说明相同。在完成步骤S4723之后，将结束本流程图。
图48是适用一实施例的对编解码信息进行解码的流程图。
参阅图48，在步骤S4801中，将对跳过(SKIP)模式的动作信息进行解码。在步骤S4802中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S4802中判定跳过(SKIP)模式动作时，在步骤S4803中，将对解码器侧运动向量推导(DMVD)模式的动作信息进行解码。在步骤S4804中，将对解码器侧运动向量推导(DMVD)模式的动作与否进行判定。当在步骤S4804中判定解码器侧运动向量推导(DMVD)模式动作时，在步骤S4805中，将对解码器侧运动向量推导(DMVD)信息进行解码，然后结束本流程图。当在步骤S4804中判定解码器侧运动向量推导(DMVD)模式不动作时，在步骤S4806中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。当在步骤S4802中判定跳过(SKIP)模式不动作时，在步骤S4807中，将对预测模式信息进行解码。在步骤S4808中，将对预测模式是否为画面间预测进行判定。当在S4808中判定预测模式为画面内预测模式而非画面间预测时，在步骤S4809中，将对画面内预测信息进行解码，然后结束本流程图。当在S4808中判定预测模式为画面间预测时，在步骤S4710中，将对合并(MERGE)模式动作信息进行解码。在步骤S4811中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S4811中判定合并(MERGE)模式动作时，在步骤S4812中，将对解码器侧运动向量推导(DMVD)模式动作信息进行解码。当在步骤S4813中判定解码器侧运动向量推导(DMVD)模式动作时，在步骤S4814中，将对解码器侧运动向量推导(DMVD)信息进行解码，然后结束本流程图。当在步骤S4813中判定解码器侧运动向量推导(DMVD)模式不动作时，在步骤S4806中，将对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。当在步骤S4811中判定合并(MERGE)模式不动作时，将执行步骤S4815～步骤S4823，这与对图39中的步骤S3909～步骤S3917的说明相同。在完成步骤S4823之后，将结束本流程图。
接下来，当在本实施例中从当前区块周边的重建区域决定模板区域时，可以使用多个子模板区块而非单一模板区块。接下来，将对利用如上所述的模板匹配模式对各个子模板区块的运动信息进行推导并将相应运动信息作为用于跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)预测的候选运动信息使用的方法进行详细的说明。
图49是对适用本发明之一实施例的使用模板匹配模式的用于跳过(SKIP)、合并(MERGE)模式的候选运动信息推导方法进行图示的流程图。
参阅图49，在步骤S4901中，将子模板区块中已重建的运动信息作为初始运动信息使用并通过如上述图43中的4305、4306、4304、4307的过程对子模板区块的最佳运动信息进行推导。此时，子模板区块的数量可以是L个(L为≥1的整数)。
图51是对从当前区块周边的重建区域决定子模板区块的例示进行图示的示意图。
参阅图51，可以按照如5101～5103中的例示对子模板区块进行设定。
在图51的5101中，可以在当前区块的左下端(模板A)、左上端(模板B)、上端左侧(模板C)、上端右侧(模板D)中分别决定子模板区块。各个子模板区块可以决定为多种不同的大小以及形状。
图51的5102与5101中的方法相同，可以在当前区块的左下端(模板A)、左上端(模板B)、上端左侧(模板C)、上端右侧(模板D)中决定子模板区块，但是其差异在于使用与当前区块相邻的左侧、上端的所有重建区域。
图51的5103是在同时考虑5101、5102中的子模板区块生成方法的前提下生成子模板区块的方法。
除此之外，也可以通过如将与当前区块相邻的左侧、上端的重建区域决定为一个子模板区块使用等多种不同的方法从当前区块周边的重建区域生成子模板区块。
在步骤S4902中，可以选择M个空间候选(M为≥1的整数)。其生成方法与对图31中的步骤S3101的说明相同。在步骤S4903中，可以选择N个时间候选(N为≥1的整数)。其生成方法与对图31中的步骤S3102的说明相同。步骤S4904、步骤S4905与对图31中的步骤S3103、步骤S3104的说明相同。在本流程图中，可以对各个步骤的顺序进行变更。此外，在各个步骤中的之前已推导出的运动信息与当前所推导出的运动信息相同的情况下，可以对相应的充分候选进行删除。
图50是对适用本发明之一实施例的使用模板匹配模式的用于高级运动向量预测(AMVP)模式的候选运动信息推导方法进行图示的流程图。
参阅图50，对步骤S5001的说明与对图49中的步骤S4901的说明相同。在步骤S5002中，可以选择M个空间候选(M为≥1的整数)。其生成方法与对图32中的步骤S3201的说明相同。在步骤S5003中，可以选择N个时间候选(N为≥1的整数)。其生成方法与对图32中的步骤S3202的说明相同。步骤S5004与对图32中的步骤S3204的说明相同。在本流程图中，可以对各个步骤的顺序进行变更。此外，在各个步骤中的之前已推导出的运动信息与当前所推导出的运动信息相同的情况下，可以对相应的充分候选进行删除。
接下来，在本实施例中将对利用解码器侧运动向量推导(DMVD)模式(模板匹配模或双方向匹配模式)从跳过(SKIP)、合并(MERGE)模式的候选运动信息推导出补正的候选运动信息的方法以及利用模板匹配的代价值对跳过(SKIP)、合并(MERGE)模式的候选运动信息进行重新排列的方法进行说明。
图52是对利用解码器侧运动向量推导(DMVD)模式对跳过(SKIP)、合并(MERGE)模式的候选运动信息进行补正的方法进行说明的表格。
参阅图52，图52中的表5201是利用图31或图49中的方法对跳过(SKIP)、合并(MERGE)模式的候选运动信息进行推导的结果。在本例示中，候选运动信息的数量为5个。所推导出的候选运动信息，可以具有历史/未来方向的运动信息。
不同的候选运动信息可以通过上述的图43中的过程获得补正的运动信息。在图52的表5202中，对表5201的候选运动信息中的一部分候选运动信息进行了补正。其中，候选运动信息的补正可以对所有的候选运动信息执行，也可以通过如仅对优先顺序较高的一部分候选运动信息进行补正等方式仅对若干的候选运动信息进行补正。
在图52的表5202中，对上级的3个候选运动信息进行了补正。在图52的表5202中，第1、3号候选运动信息的运动信息得到了补正，但是第2号没有得到补正。这可以表示并不需要对第2号候选运动信息进行补正。如第1号候选运动信息的例示，可以仅对运动信息中的运动向量进行补正，而且如第3号候选运动信息的例示，也可以对运动信息中的运动向量以及参考图像索引进行补正。
如上所述，利用解码器侧运动向量推导(DMVD)模式进行补正的候选运动信息可以用于当前区块的运动补偿。此外，为了用于在当前区块之后进行编码/解码的区块，可以对利用解码器侧运动向量推导(DMVD)模式进行补正的候选运动信息进行存储。在如上所述的情况下，利用解码器侧运动向量推导(DMVD)模式进行补正的候选运动信息，可以用于对在当前区块之后进行编码/解码的区块的运动信息进行推导。
此外，在参考图像发生变更的情况下，上述图43的步骤4303中的运动推测探测区域也可以与原参考图像相比发生变更。例如，参阅图53，在利用模板匹配模式对跳过(SKIP)、合并(MERGE)模式的原候选运动信息进行补正的情况下，也可以对参考图像进行补正。此时，运动推测探索区域也可以发生变更，具体来讲可以根据运动向量的线性定向性对运动推测探索区域进行移动。在参考图像距离当前图像变得更远时，可以在包含当前运动推测探索区域的前提下进一步扩大或缩小运动推测探索区域。
图54是对利用模板匹配模式对跳过(SKIP)、合并(MERGE)模式的候选运动信息进行重新排列的方法进行说明的表格。
图54中的表5401与图52中的表5201相同，是利用图31或图49中的方法对跳过(SKIP)、合并(MERGE)模式的候选运动信息进行推导的结果。
在图54的表5402中，利用在表5401中推导出的候选运动信息对模板匹配模式代价值(以下称之为“代价值”)进行计算。表5402是按照相应的代价值从低到高的顺序对候选运动信息进行重新排列的结果。当候选运动信息同时包含历史、未来的运动信息时，利用不同方向的候选运动信息对代价值进行计算，并将不同方向的平均代价值决定为相应候选运动信息的代价值。或者，也可以将不同方向上的代价值较低的候选运动信息的代价值决定为相应候选运动信息的代价值。
参阅上述的图32，在高级运动向量预测(AMVP)模式的候选运动信息中，最佳候选运动信息即运动向量预测(MVP)信息可以在熵编码部中进行编码并在熵解码部中进行解码。按照如上所述的方法，利用模板匹配模式对各个高级运动向量预测(AMVP)模式的候选运动信息分别计算出其模板匹配模式代价值。接下来，可以按照模板匹配模式代价值从低到高的顺序进行排列，并将相应的代价值最低的候选运动信息决定为运动向量预测(MVP)信息。借此，可以在不在熵编码部中对运动向量预测(MVP)信息进行编码的情况下在影像解码装置中对运动向量预测(MVP)信息进行重建。
接下来，在本实施例中将对在上述实施例中共同提及的模板匹配模式中对模板匹配模式代价值进行计算时根据模板区域计算加权代价值的方法进行详细的说明。
图55是用于对适用本发明之一实施例的将模板匹配模式的模板分隔成子模板并对各个子模板分别适用不同代价值的加权值的方法进行说明的示意图。
在不同的子模板中分别计算的代价值的加权值可以互不相同。数学式13是用于计算代价值的一般数学式。
【数学式13】
Figure BDA0002844894480000621
在数学式13中，TempDist是指模板匹配模式的运动推测的代价值中的预测误差量。预测误差量等于各个子模板区块的预测误差量即SubTempDisti与相应子模板区块的加权值即Wi的乘积的总和。i代表子模板区块的索引信息。
图55中的5501是利用相同大小的子模板区块构成模板区块的例示图。子模板区块可以以多种不同的方式设定为相同的大小。
图55中的5502是利用以重建区块的实际分割边界线为基准的子模板构成模板区块的例示图。
图55中的5503是利用重建像素特性类似的子模板区块构成模板区块的例示图。其中，重建像素特性可以是重建像素值自身，也可以是重建像素的运动信息。除此之外，也可以利用以通过多种不同的方法分割的子模板区块构成模板区块。
根据通过如上所述的方式决定的子模板区块的位置，可以对预测误差量的加权值进行变更。
作为适用本发明之一实施例的加权值决定方法，可以在子模板区块与位于当前区块左上端的像素越近时减少误差量的加权值，而在越远时增加误差量的加权值的方式。也可以采用与此相反的方式。
作为适用本发明之另一实施例的加权值决定方法，可以根据各子模板区块的运动信息以及当前正在执行运动推测的运动信息之间的类似程度对各子模板区块的加权值进行变更。可以在类似度越高时减少加权值并在类似度越低时增加加权值，也可以采用与此相反的方式。
图56是对适用本发明之一实施例的影像解码方法进行图示的流程图。
参阅图56，在步骤5601中，影像解码装置可以利用重建区域的运动向量决定当前区块的初始运动向量。
其中，初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。即，初始运动向量可以是双方向预测的运动信息。
此外，重建区域的运动向量，可以是合并(MERGE)模式的候选运动信息。其中，合并模式的候选运动信息，可以包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
接下来，在步骤5602中，影像解码装置可以以在步骤5601中决定的初始运动向量为基础对上述当前区块的运动向量进行探索。
具体来讲，对运动向量进行探索的步骤，可以利用历史方向的运动向量所指示的历史方向的预测区块以及未来方向的运动向量所指示的未来方向的预测区块之间的差异对运动向量进行探索。
作为一实例，对运动向量进行探索的步骤，可以以通过将历史方向的运动向量以及未来方向的预测区块之间的差异适用于绝对误差和(SAD，Sum of AbsoluteDifference)计算方法而生成的预测误差为基础对运动向量进行探索。
此外，对运动向量进行探索的步骤，可以在预先定义的大小的探索区域内对运动向量进行探索。
接下来，在步骤5603中，影像解码装置可以以在步骤5602中探索到的运动向量为基础生成上述当前区块的预测样本。
此外，图56中的影像解码方法，还可以包括对解码器侧运动向量推导(DMVD，Decoder-side Motion Vector Derivation)模式动作信息进行解码的步骤。上述步骤可以在步骤S2801之后执行，在解码器侧运动向量推导(DMVD)模式动作信息指示解码器侧运动向量推导(DMVD)模式动作的情况下，可以执行以初始运动向量为基础对当前区块的运动向量进行探索的步骤。
在图56中的影像解码方法中探索到的运动向量，可以在当前区块之后进行解码的区块的运动向量推导中使用。其中，探索到的运动向量可以是指通过解码器侧运动向量推导(DMVD)模式进行补正的运动向量。
图57是对适用本发明之一实施例的影像编码方法进行图示的流程图。
参阅图57，在步骤5701中，影像编码装置可以利用重建区域的运动向量决定当前区块的初始运动向量。
其中，初始运动向量可以包括历史方向的运动向量以及未来方向的运动向量。即，初始运动向量可以是双方向预测的运动信息。
此外，重建区域的运动向量，可以是合并(MERGE)模式的候选运动信息。其中，合并模式的候选运动信息，可以包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
接下来，在步骤5702中，影像编码装置可以以初始运动向量为基础对当前区块的最佳运动向量进行探索。
具体来讲，对最佳运动向量进行探索的步骤，可以利用历史方向的运动向量所指示的历史方向的预测区块以及未来方向的运动向量所指示的未来方向的预测区块之间的差异对最佳运动向量进行探索。
作为一实例，对最佳运动向量进行探索的步骤，可以以通过将历史方向的运动向量以及未来方向的预测区块之间的差异适用于绝对误差和(SAD，Sum of AbsoluteDifference)计算方法而生成的预测误差为基础对最佳运动向量进行探索。
此外，对最佳运动向量进行探索的步骤，可以在预先定义的大小的探索区域内对最佳运动向量进行探索。
接下来，在步骤5703中，影像编码装置可以通过对最佳运动向量的使用与否进行判定而对解码器侧运动向量推导(DMVD，Decoder-side Motion Vector Derivation)模式动作信息进行编码。
在图57中的影像编码方法中探索到的最佳运动向量，可以在当前区块之后进行编码的区块的运动向量推导中使用。其中，探索到的最佳运动向量可以是指通过解码器侧运动向量推导(DMVD)模式进行补正的运动向量。
通过图57中的影像编码方法生成的比特流(或编码数据)可以被存储到计算机可读的非暂时性记录介质中。此外，比特流还可以包括解码器侧运动向量推导(DMVD)模式动作信息。
图58是对影像编码装置进行图示的流程图。
参阅图58，影像编码装置是用于对影像进行编码的装置，可以包括区块分割部5801、预测部5802、变换部5803、量化部5804、熵编码部5805、逆量化部5806、逆变换部5807、加法运算部5808、环路滤波部5809、存储器部5810以及减法运算部5811。
图58中所图示的各个构成部为了表示影像编码装置中的不同的特征以及功能而单独进行了图示，并不代表各个构成部由相互分离的硬件或一个软件单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列说明，但是既可以将各个构成部中的至少两个构成部合并成一个构成部，也可以将一个构成部分割成多个构成部而使其执行对应的功能，而如上所述的各个构成部被整合的实施例以及被分离的实施例在不脱离本发明之本质的前提下包含于本发明的权利要求范围之内。
此外，一部分构成要素可能并不是在本发明中执行本质功能所必须的构成要素，而只是用于提升性能的可选择的构成要素。本发明既可以仅包括除只是用于提升性能的构成要素之外的实现本发明之本质所必须的构成部，而包括除只是用于提升性能的选择性构成要素之外的必备构成要素的结构也包含于本发明的权利要求范围之内。
区块分割部5801可以将所输入的影像分割成至少一个区块。此时，所输入的影像可以具有如图像、条带、并行区块、砖块或片段等多种不同的形态和大小。区块可以是指编码单位(CU)、预测单位(PU)或变换单位(TU)。上述分割可以以四叉树(Quad tree)、二叉树(Binary tree)以及三叉树分割(Ternary tree)中的至少一个为基础执行。
四叉树是指将当前的编码区块准确地分割成四个的分割方式。二叉树是指将编码区块沿着水平方向或垂直方向准确地分割成两个的分割方式。三叉树是指将上述区块分割成三个下级区块的分割方式。例如，上述三个下级区块可以通过将上述上级区块的宽度或高度按照1:2:1的比例进行分割而获得。通过执行以如上所述的二叉树为基础的分割，区块不仅可以具有正方形形态，还可以具有非正方形形态。此外，也可以采用同时利用多种分割方法进行分割的方法。
预测部5802可以利用在当前原始区块中当前需要进行预测的区块(以下称之为预测区块)的周边像素或之前已经完成编码/解码的参考图像内的像素生成预测区块。
作为预测区块，可以在编码区块内生成1个或多个预测区块。在编码区块内的预测区块为1个的情况下，预测区块可以是与编码区块相同的形态。
视频信号的预测技术，包括画面内预测以及画面间预测。
画面内预测，是利用当前区块的周边像素生成预测区块的方式。
画面间预测，是从之前已经完成编码/解码的参考图像中查找与当前区块最为类似的区块并生成预测区块的方式。
此外，预测部5802可以在生成预测区块之后在从原始区块减去预测区块的残差区块中利用如率失真优化(RDO：Rate-Distortion Optimization)等多种不同的技法决定预测区块的最佳预测模式。率失真优化(RDO)代价的计算式如数学式14所示。
【数学式14】
Figure BDA0002844894480000661
其中，D、R、J分别代表因为量化而导致的劣化、压缩流的码率以及率失真(RD)代价，Φ代表编码模式，λ代表拉格朗日乘数(Lagranginan multiplier)，可以作为用于匹配误差量以及比特量之间的单位的缩放补正用系数使用。为了可以在编码过程中选择作为最佳编码模式，适用相应模式时的J即率失真(RD)代价值应小于适用其他模式的情况，在计算率失真(RD)代价值的公式中，可以在同时考虑比特率以及误差的情况下进行计算。
图59是用于对影像编码装置的预测部进行说明的示意图。
在利用原始信息以及重建信息执行画面内预测5901的情况下，可以对各个预测模式分别利用率失真(RD)代价值决定最佳画面内预测模式5902并生成预测区块。
在利用原始信息以及重建信息执行画面间预测5903的情况下，可以对跳过(SKIP)模式、合并(MERGE)模式、高级运动向量预测(AMVP)模式计算率失真(RD)代价值。
在合并(MERGE)候选探索部5904中，可以构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组。此外，在相应的候选运动信息组中，可以利用率失真(RD)代价值决定最佳运动信息5905。
在高级运动向量预测(AMVP)候选探索部5906中，可以构成用于高级运动向量预测(AMVP)模式的候选运动信息组。此外，可以通过利用相应的候选运动信息组执行运动推测5907而决定最佳运动信息。
可以通过利用在各个模式中决定的最佳运动信息执行运动补偿5908而生成预测区块。
上述画面间预测可以由3种模式(跳过(SKIP)模式、合并(MERGE)模式以及高级运动向量预测(AMVP)模式)构成。可以根据各个预测模式对运动信息(预测方向信息、参考图像信息以及运动向量)进行编码。
跳过(SKIP)模式可以利用已重建区域的运动信息决定最佳预测信息。跳过(SKIP)模式可以在重建区域内构成运动信息候选组，并通过将相应候选组中的率失真(RD)代价值最小的候选作为预测信息使用而生成预测区块。其中，因为构成运动信息候选组的方法与下述说明的构成合并(MERGE)模式的运动信息候选组的方法相同，因此在本说明中将对其进行省略。
合并(MERGE)模式在利用已重建区域的运动信息决定最佳预测信息的方面，与跳过(SKIP)模式相同。但是，两者之间的差异在于，跳过(SKIP)模式是从运动信息候选组中探索预测误差为0的运动信息，而合并(MERGE)模式是从运动信息候选组中探索预测误差不为0的运动信息。与跳过(SKIP)模式相同，可以在重建区域内构成运动信息候选组，并通过将相应候选组中的率失真(RD)代价值最小的候选作为预测信息使用而生成预测区块。
高级运动向量预测(AMVP)模式可以通过对不同的预测方向的参考图像分别执行运动推测而决定最佳运动信息。其中，预测方向既可以是仅使用历史/未来中的某一个方向的单方向，也可以是同时使用历史以及未来方向的双方向。可以通过利用借助于运动推测决定的最佳运动信息执行运动补偿而生成预测区块。其中，可以对不同预测方向的参考图像分别推导出用于执行运动推测的运动信息候选组。相应的运动信息候选组可以作为运动推测的起始位置使用。
画面内预测为了最佳画面内预测模式的高效的编码/解码，可以使用最有可能模式(MPM，Most Probable Mode)。最有可能模式(MPM)是指利用当前区块周边的重建的画面内预测模式构成最有可能模式(MPM)候选列表，而在当前区块的最佳画面内预测模式为最有可能模式(MPM)候选列表中所包含的画面内预测模式中的某一个时，仅对最有可能模式(MPM)候选索引信息进行传送并对画面内预测模式进行编码的方法。其中，最有可能模式(MPM)候选列表可以用于对最佳亮度画面内预测模式进行编码。与此相反，在对色差画面内预测模式进行编码时，可以利用亮度画面内预测模式构成色差候选列表。在所构成的色差候选列表的模式中，可以通过率失真(RD)代价值的计算生成最佳色差画面内预测模式的预测区块。
变换部5803可以通过对原始区块以及预测区块之间的差异即残差区块进行变换而生成变换区块。变换区块是在变换以及量化过程中所使用的最小的单位。变换部5803可以通过将残差信号变换成频率区域而生成具有变换系数的变换区块。其中，作为将残差信号变换成频率区域的方法，可以使用如基于离散余弦变换(DCT：Discrete CosineTransform)的变换、离散正弦变换(DST：Discrete Sine Transform)、卡洛南-洛依变换(KLT：Karhunen Loeve Transform)等多种变换技法，借此可以将残差信号变换成频率区域并生成变换系数。为了方便地使用变换技法，将执行利用基向量(basis vector)的矩阵运算，而根据对预测区块进行编码时所使用的预测模式，可以在执行矩阵运算时混合使用多种不同的变换技法。例如，在执行画面内预测时可以根据预测模式在水平方向上使用离散余弦变换而在垂直方向上使用离散正弦变换。
量化部5804可以通过对变换区块进行量化而生成量化变换区块。即，量化部5804可以通过对从变换部5803生成的变换区块的变换系数进行量化而生成具有量化变换系数的量化变换区块(Quantized Transform Coefficient)。作为量化方法，可以使用如死区均匀阈值量化(DZUTQ：Dead Zone Uniform Threshold Quantization)或量化加权矩阵(Quantization Weighted Matrix)等，也可以使用如对其进行改良的量化等多种不同的量化方法。
此外，在上述内容中是对影像编码装置中包含变换部5803以及量化部5804的情况进行了图示和说明，但是变换部以及量化部也可以选择性地包含到影像编码装置中。即，影像编码装置可以通过对残差区块进行变换而生成变换区块但不执行量化过程，也可以不将残差区块变换成频率系数而仅执行量化过程，甚至也可以均不执行变换以及量化过程。即使是在影像编码装置中仅执行变换部或量化部中的一部分或没有执行所有过程的情况下，输入到熵编码部中的区块通常都会被称之为“量化变换区块”。
熵编码部5805可以对量化变换区块进行编码并输出比特流。即，熵编码部5805可以利用如熵编码(Entropy Encoding)等多种编码技法对从量化部5804输出的量化变换区块的系数进行编码，并生成和输出包含在后续说明的影像解码装置中对相应区块进行解码时所需要的附加信息(例如，与预测模式相关的信息、量化系数等)的比特流。
即，熵编码部2905可以利用如熵编码(Entropy Encoding)等多种编码技法对从量化部2904输出的量化变换区块的系数进行编码，并生成和输出包含在后续说明的影像解码装置中对相应区块进行解码时所需要的附加信息(例如，与预测模式相关的信息(与预测模式相关的信息可以包括在预测部中决定的运动信息或画面内预测模式信息等)、量化系数等)的比特流。
逆量化部5806可以通过对量化变换区块逆向执行在量化过程中所使用的量化技法而对逆量化变换区块进行重建。
逆变换部5807通过利用与在变换过程中所使用的方法相同的方法对逆量化变换区块执行逆变换而对残差区块进行重建，可以通过逆向执行在变换部中使用的变换技法而执行逆变换。
此外，上述的逆量化部以及逆变换部可以通过逆向使用在量化部以及变化不中使用的量化方式以及变换方式而执行逆量化以及逆变换。或者，在变换部以及量化部中仅执行量化而没有执行变换的情况下，可以仅执行逆量化而不执行逆变换。而且，在变换以及量化均没有执行的情况下，逆量化部以及逆变换部可以不执行逆变换以及逆量化，或不包含于影像编码装置中而直接省略。
加法运算部5808可以通过对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算而对当前区块进行重建。
滤波部5809是在对当前图像内的所有区块进行重建之后对图像整体追加执行滤波的过程，可以包括去块滤波以及样本自适应偏移(SAO，Sample Adaptive Offset)等。区块滤波是指用于减少在将影像以区块单位进行编码的过程中产生的区块失真的作业，而样本自适应偏移(SAO，Sample Adaptive Offset)是指通过在重建像素上利用特定值进行加法运算或减法运算而将重建影像以及原始影像之间的差异最小化的作业。
存储器5810对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算之后在环路滤波部中追加执行滤波的重建的当前区块进行存储，可以用于对下一个区块或下一个图像等进行预测。
减法运算部5811可以通过对当前原始区块与预测区块进行减法运算而生成残差区块。
图60是对预测信息的编码方法进行图示的流程图。
参阅图60，在步骤S6001中，将对跳过(SKIP)模式的动作信息进行编码。在步骤S6002中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S6002中判定跳过(SKIP)模式动作时，在步骤S6007中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。
当在步骤S6002中判定跳过(SKIP)模式不动作时，在步骤S6003中，将对预测模式进行编码。在步骤S6003中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S6004中判定预测模式为画面间预测模式时，在步骤S6005中，将对合并(MERGE)模式的动作信息进行编码。
在步骤S6006中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S6006中判定合并(MERGE)模式动作时，将跳转到步骤S6007并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行编码，然后结束本流程图。当在步骤S6006中判定合并(MERGE)模式不动作时，在步骤S6008中，将对预测方向进行编码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。
在步骤S6009中，将对预测方向是否为未来方向进行判定。当在步骤S6009中判定预测方向不为未来方向时，在步骤S6010中，将对历史方向的参考图像索引信息进行编码。
在步骤S6011中，将对历史方向的运动向量差值(MVD，Motion VectorDifference)信息进行编码。在步骤S6012中，将对历史方向的运动向量预测(MVP，MotionVector Predictor)信息进行编码。
当在步骤S6009中判定预测方向为未来方向或双方向时，在完成步骤S6012之后，在步骤S6013中，将对预测方向是否为历史方向进行判定。当在步骤S6013中判定预测方向不为历史方向时，在步骤S6014中，将对未来方向的参考图像索引信息进行编码。
在步骤S6015中，将对未来方向的运动向量差值(MVD)信息进行编码。在步骤S6016中，将对未来方向的运动向量预测(MVP)信息进行编码，然后结束本流程图。
当在S6004中判定预测模式为画面内预测模式时，在步骤S6017中，将对最有可能模式(MPM，Most Probable Mode)的动作信息进行编码。最有可能模式(MPM)是指，在利用当前区块周边的重建的画面内预测模式等构成最有可能模式(MPM)候选画面内预测模式之后，当最有可能模式(MPM)候选画面内预测模式中包括在影像编码装置中决定的当前区块的最佳画面内预测模式信息时对最有可能模式(MPM)候选画面内预测模式的索引信息进行传送的方法。
在步骤S6018中，将对最有可能模式(MPM)的动作与否进行判定。当在步骤S6018中判定最有可能模式(MPM)动作时，在步骤S6019中，将对最有可能模式(MPM)候选画面内预测模式的索引信息进行编码。当在步骤S6018中判定最有可能模式(MPM)不动作时，在步骤S6020中，将对除最有可能模式(MPM)候选画面内预测模式之外的剩余的画面内预测模式中亮度(Luma)的最佳画面内预测模式信息进行编码。
在步骤S6019以及步骤S6020结束之后，在步骤S6021中，将对色差(Chroma)的最佳画面内预测模式信息进行编码，然后结束本流程图。其中，用于执行步骤S6008至步骤S6016的部被称之为运动信息编码部601。此外，用于执行步骤S6017至步骤S6020的部被称之为亮度画面内预测模式编码部602。
图61是对影像解码装置进行图示的流程图。
参阅图61，影像解码装置是用于对影像进行解码的装置，可以包括熵解码部6101、逆量化部6102、逆变换部6103、预测部6104、加法运算部6105、环路滤波部6106以及存储器部6107。
图61中所图示的各个构成部为了表示影像解码装置中的不同的特征以及功能而单独进行了图示，并不代表各个构成部由相互分离的硬件或一个软件单位构成。即，虽然为了说明的便利而对各个构成部进行了罗列说明，但是既可以将各个构成部中的至少两个构成部合并成一个构成部，也可以将一个构成部分割成多个构成部而使其执行对应的功能，而如上所述的各个构成部被整合的实施例以及被分离的实施例在不脱离本发明之本质的前提下包含于本发明的权利要求范围之内。
此外，一部分构成要素可能并不是在本发明中执行本质功能所必须的构成要素，而只是用于提升性能的可选择的构成要素。本发明既可以仅包括除只是用于提升性能的构成要素之外的实现本发明之本质所必须的构成部，而包括除只是用于提升性能的选择性构成要素之外的必备构成要素的结构也包含于本发明的权利要求范围之内。
影像编码装置中的编码区块，在影像解码装置中可以被称之为解码区块或继续称之为编码区块。
熵解码部6101可以通过对从影像编码装置传送过来的比特流进行解析而对在对相应区块进行解码时所需要的各种信息以及量化变换系数进行读取。
逆量化部6102可以通过对在熵解码部中解码的量化系数逆向执行在量化过程中所使用的量化技法而对具有逆量化系数的逆量化区块进行重建。
逆变换部6103通过利用与在变换过程中所使用的方法相同的方法对逆量化变换区块执行逆变换而对具有差值信号的残差区块进行重建，可以通过逆向执行在变换部中使用的变换技法而执行逆变换。
预测部6104利用在熵解码部中解码的预测模式信息生成预测区块，此时可以使用与在影像编码装置的预测部中执行的预测方式相同的方式。
加法运算部6105可以通过对在逆变换部中重建的残差信号以及通过预测生成的预测区块进行加法运算而对当前区块进行重建。
滤波部6106是在对当前图像内的所有区块进行重建之后在图像整体区域上追加执行滤波的过程，可以包括去块滤波以及样本自适应偏移(SAO，Sample Adaptive Offset)等，详细的内容与对上述影像编码装置的环路滤波部进行说明的内容相同。
存储器6107对在逆变换部中生成的残差信号以及通过预测生成的预测区块进行加法运算之后在环路滤波部中追加执行滤波的重建的当前区块进行存储，可以用于对下一个区块或下一个图像等进行预测。
图62是用于对影像解码装置的预测部进行说明的示意图。
参阅图62，在预测模式为画面内预测时，可以决定最佳画面内预测模式信息6201，并通过执行画面内预测6202而生成预测区块。
在预测模式为画面间预测时，可以从跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)模式中决定最佳预测模式6203。接下来，在通过跳过(SKIP)模式或合并(MERGE)模式进行解码的情况下，可以在合并(MERGE)候选探索部6204中构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组。在相应的候选运动信息组中，可以决定最佳运动信息6205。
在通过高级运动向量预测(AMVP)进行解码的情况下，可以在高级运动向量预测(AMVP)候选探索部6206中构成用于高级运动向量预测(AMVP)模式的候选运动信息组。在相应的候选运动信息组中，可以利用所传送过来的运动向量预测(MVP)信息决定最佳运动信息6207。接下来，可以通过利用在各个模式中决定的最佳运动信息执行运动补偿6208而生成预测区块。
图63是对预测信息的解码方法进行图示的流程图。
参阅图63，在步骤S6301中，将对跳过(SKIP)模式的动作信息进行解码。在步骤S6302中，将对跳过(SKIP)模式的动作与否进行判定。当在步骤S6302中判定跳过(SKIP)模式动作时，在步骤S6307中，将对用于跳过(SKIP)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。
当在步骤S6302中判定跳过(SKIP)模式不动作时，在步骤S6303中，将对预测模式进行解码。在步骤S6303中，将对预测模式是画面间预测模式还是画面内预测模式进行判定。当在S6304中判定预测模式为画面间预测模式时，在步骤S6305中，将对合并(MERGE)模式的动作信息进行解码。
在步骤S6306中，将对合并(MERGE)模式的动作与否进行判定。当在步骤S6306中判定合并(MERGE)模式动作时，可以跳转到步骤S6307并对用于合并(MERGE)模式的合并(MERGE)候选索引信息进行解码，然后结束本流程图。当在步骤S6306中判定合并(MERGE)模式不动作时，在步骤S6308中，将对预测方向进行解码。其中，预测方向可以是历史方向、未来方向以及双方向中的某一个。在步骤S6309中，将对预测方向是否为未来方向进行判定。当在步骤S6309中判定预测方向不为未来方向时，在步骤S6310中，将对历史方向的参考图像索引信息进行解码。
在步骤S6311中，将对历史方向的运动向量差值(MVD，Motion VectorDifference)信息进行解码。在步骤S6312中，将对历史方向的运动向量预测(MVP，MotionVector Predictor)信息进行解码。
当在步骤S6309中判定预测方向为未来方向或双方向时，在完成步骤S6312之后，在步骤S6313中，将对预测方向是否为历史方向进行判定。当在步骤S6313中判定预测方向不为历史方向时，在步骤S6314中，将对未来方向的参考图像索引信息进行解码。
在步骤S6315中，将对未来方向的运动向量差值(MVD)信息进行解码。在步骤S6316中，将对未来方向的运动向量预测(MVP)信息进行解码，然后结束本流程图。
当在S6304中判定预测模式为画面内预测模式时，在步骤S6317中，将对最有可能模式(MPM)的动作信息进行解码。在步骤S6318中，将对最有可能模式(MPM)的动作与否进行判定。当在步骤S6318中判定最有可能模式(MPM)动作时，在步骤S6319中，将对最有可能模式(MPM)候选画面内预测模式的索引信息进行解码。当在步骤S6318中判定最有可能模式(MPM)不动作时，在步骤S6320中，将对除最有可能模式(MPM)候选画面内预测模式之外的剩余的画面内预测模式中亮度(Luma)的最佳画面内预测模式信息进行解码。
在步骤S6319以及步骤S6320结束之后，在步骤S6321中，将对色差(Chroma)的最佳画面内预测模式信息进行解码，然后结束本流程图。其中，用于执行步骤S6308至步骤S6316的部被称之为运动信息编码部631。此外，用于执行步骤S6317至步骤S6320的部被称之为亮度(Luma)画面内预测模式编码部632。
接下来，将结合附图对适用本发明的多种实施例进行更为详细的说明。
图64是用于对适用本发明之一实施例的影像编码装置的预测部进行说明的示意图。
在利用原始信息以及重建信息执行画面内预测6401的情况下，可以通过率失真(RD)代价值判定是否需要利用解码器侧帧内模式推导(DIMD，Decoder side Intraprediction Mode Derivation)模式决定画面内预测模式。在不使用解码器侧帧内模式推导(DIMD)模式的情况下，将决定亮度(Luma)画面内预测模式6402。此时，可以从画面内预测模式中决定率失真(RD)代价值最小的画面内预测模式。
与此相反，在使用解码器侧帧内模式推导(DIMD)模式的情况下，可以不对画面内预测模式信息进行传送，而是利用与影像解码装置相同的预测方法决定亮度(Luma)的画面内预测模式。关于解码器侧帧内模式推导(DIMD)预测方法，将参阅图72进行详细的说明。
接下来，可以利用亮度(Luma)画面内预测模式决定用于色差(Chroma)画面内预测模式的候选模式，并将相应的候选模式中率失真(RD)代价值最小的画面内预测模式决定为色差(Chroma)画面内预测模式6404。影像编码装置预测部6400可以利用所决定的亮度(Luma)、色差(Chroma)画面内预测模式生成当前区块的画面内预测区块。
在利用原始信息以及重建信息执行画面间预测6405的情况下，可以对跳过(SKIP)模式、合并(MERGE)模式、高级运动向量预测(AMVP)模式计算率失真(RD)代价值。
在合并(MERGE)候选探索部6406中，可以构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组6406。其中，在所构成的候选运动信息组中，可以利用率失真(RD)代价值决定最佳运动信息6407。
在高级运动向量预测(AMVP)候选探索部6408中，可以构成用于高级运动向量预测(AMVP)模式的候选运动信息组6408。其中，可以利用所构成的候选运动信息组执行运动推测6409并决定最佳运动信息。
在决定跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)模式的最佳运动信息之后，可以决定地区亮度补偿的适用与否6410。在跳过(SKIP)、合并(MERGE)模式中，可以直接适用决定通过最佳候选运动信息重建的预测区块的地区亮度补偿与否，也可以通过对适用地区亮度补偿的率失真(RD)代价值以及没有使用的率失真(RD)代价值进行比较而决定。在高级运动向量预测(AMVP)模式中，可以通过对适用地区亮度补偿的率失真(RD)代价值以及没有适用的率失真(RD)代价值进行比较而决定地区亮度补偿与否。
在决定最佳运动信息(包括运动向量精确度)、地区亮度补偿适用与否之后，可以利用所决定的信息执行运动补偿6411。影像编码装置的预测部6400可以通过运动补偿6411生成画面间预测区块。
图65是用于对适用本发明之一实施例的影像解码装置的预测部进行说明的示意图。
在利用重建信息执行画面内预测6501的情况下，可以决定是否需要利用解码器侧帧内模式推导(DIMD，Decoder side Intra prediction Mode Derivation)模式决定画面内预测模式。
此时，在不使用解码器侧帧内模式推导(DIMD)模式的情况下，可以通过重建信息决定亮度(Luma)画面内预测模式6502。而在使用解码器侧帧内模式推导(DIMD)模式的情况下，可以通过重建信息利用与影像编码装置相同的预测方法决定亮度(Luma)的画面内预测模式。
接下来，可以通过重建信息决定色差(Chroma)画面内预测模式6504。影像解码装置的预测部6500可以利用所决定的亮度(Luma)、色差(Chroma)画面内预测模式生成当前区块的画面内预测区块。
在利用重建信息执行画面间预测6505的情况下，需要决定画面间预测模式中的当前预测模式为跳过(SKIP)模式、合并(MERGE)模式还是高级运动向量预测(AMVP)模式。
在当前预测模式为跳过(SKIP)模式、合并(MERGE)模式中的某一个的情况下，可以在合并(MERGE)候选探索部6506中构成用于跳过(SKIP)模式以及合并(MERGE)模式的候选运动信息组。通过重建信息，可以从相应的候选运动信息组中决定最佳运动信息6507。
在高级运动向量预测(AMVP)候选探索部6508中，可以构成用于高级运动向量预测(AMVP)模式的候选运动信息组。通过重建信息，可以从相应的候选运动信息组中选择最佳候选，并通过重建的运动信息决定最佳运动信息6509。
在决定跳过(SKIP)、合并(MERGE)、高级运动向量预测(AMVP)模式的最佳运动信息之后，可以通过重建信息决定地区亮度补偿的适用与否6510。在决定最佳运动信息(包括运动向量精确度)、地区亮度补偿适用与否之后，可以利用所决定的信息执行运动补偿6511。影像解码装置的预测部6500可以通过运动补偿生成画面间预测区块。
图66是对适用本发明之一实施例的编解码信息的编码方法进行图示的流程图。
接下来，将参阅图66对适用本专利之一实施例的在影像编码装置的熵编码部中对各个编解码信息进行编码的方法进行详细的说明。对图66中的步骤S6601～S6607的说明可以与对图60中的步骤S6001～S6007的说明相同。
当在步骤S6606中判定合并(MERGE)模式不动作或在完成步骤S6607之后，在步骤S6608中，可以对地区亮度补偿动作信息进行编码。但是，在预测模式为跳过(SKIP)、合并(MERGE)模式且直接适用通过最佳候选运动信息重建的预测区块的地区亮度补偿与否的情况下，可以对本步骤进行省略。
在完成步骤S6608之后，可以通过运动信息编码部601(图60中的步骤S6008～S6016)对运动信息进行编码。
而当步骤S6604中的预测模式为画面内预测模式而非画面间预测模式时，在步骤S6609中，可以对解码器侧帧内模式推导(DIMD)模式动作信息进行编码。在步骤S6610中，将对解码器侧帧内模式推导(DIMD)模式动作与否进行判定。当解码器侧帧内模式推导(DIMD)模式动作时，可以不对追加的画面内预测模式信息进行编码。而当解码器侧帧内模式推导(DIMD)模式不动作时，可以通过亮度(Luma)画面内预测模式编码部602(图60中的步骤S6017～S6020)对亮度(Luma)的最佳画面内预测模式进行编码。
在步骤S6611中，可以对色差(Chroma)的最佳画面内预测模式进行编码。接下来，在步骤S6612中，可以对变换类型的固定适用与否信息进行编码。
在步骤S6613中，可以对变换类型是否为固定进行判定。在使用固定的变换类型时可以结束本流程图，而在自适应地决定变换类型时可以在对不同变换方向的变换类型信息进行编码之后结束本流程图。
图67是对适用本发明之一实施例的编解码信息的解码方法进行图示的流程图。
接下来，将参阅图67对适用本专利之一实施例的在影像解码装置的熵解码部中对各个编解码信息进行解码的方法进行详细的说明。对步骤S6701～S6707的说明可以与对图63中的步骤S6301～S6307的说明相同。
当在步骤S6706中判定合并(MERGE)模式不动作或在完成步骤S6707之后，在步骤S6708中，可以对地区亮度补偿动作信息进行解码。但是，在预测模式为跳过(SKIP)、合并(MERGE)模式且直接适用通过最佳候选运动信息重建的预测区块的地区亮度补偿与否的情况下，可以对本步骤进行省略。
在完成步骤S6708之后，可以通过运动信息解码部631(图63中的步骤S6308～S6316)对运动信息进行解码。而当步骤S6704中的预测模式为画面内预测模式时，在步骤S6709中，可以对解码器侧帧内模式推导(DIMD)模式动作信息进行解码。
在步骤S6710中，可以对解码器侧帧内模式推导(DIMD)模式动作与否进行判定。当解码器侧帧内模式推导(DIMD)模式动作时，可以不对追加的画面内预测模式信息进行解码。而当解码器侧帧内模式推导(DIMD)模式不动作时，可以通过亮度(Luma)画面内预测模式编码部632(图63中的步骤S6317～S6320)对最佳亮度(Luma)画面内预测模式进行解码。
在步骤S6711中，可以对最佳色差(Chroma)的最佳画面内预测模式进行解码。接下来，在步骤S6712中，可以对变换类型的固定适用与否信息进行解码。
在步骤S6713中，可以对变换类型是否为固定进行判定。在使用固定的变换类型时可以结束本流程图，而在自适应地决定变换类型时可以在对不同变换方向的变换类型信息进行解码之后结束本流程图。
接下来，将对在画面间预测模式中利用运动向量差值信息对运动向量差值(MVD：Motion Vector Difference)进行编码/解码的方法进行详细的说明。
接下来，运动向量差值可以是指用于对最终运动向量进行推导的向量值。例如，当前区块的运动向量差值可以与当前区块的初始运动向量相加，从而用于对与当前区块的最终运动向量进行推导。
运动向量差值信息可以是用于对当前区块的运动向量差值进行推导的信息。影像解码装置可以为了对当前区块的运动向量差值进行推导而对运动向量差值信息进行解码。
适用本实施例的画面间预测模式，可以是合并(MERGE)模式、高级运动向量预测(AMVP)模式、跳过(SKIP)模式中的某一个。
作为一实例，在当前区块的画面间预测模式为高级运动向量预测(AMVP)模式的情况下，运动向量差值可以与运动向量预测(MVP)相加，从而对当前区块的最终运动向量进行推导。
作为另一实例，在当前区块的画面间预测模式为合并(MERGE)模式的情况下，运动向量差值可以与通过合并(MERGE)模式推导出的初始运动向量相加，从而对当前区块的最终运动向量进行推导。即，运动向量差值可以是用于对通过合并(Merge)模式推导出的初始运动向量进行补正的向量值。例如，运动向量差值可以是指初始运动向量的精确度信息。在合并(MERGE)模式中，初始运动向量可以利用当前区块的合并候选列表进行推导。
图68是对在画面间预测模式中对运动向量差值信息进行编码/解码的方法进行说明的流程图。
在图68的方法6801以及方法6802中，分别对在运动信息编码部601、运动信息解码部631中对运动向量差值信息进行编码(步骤S6011、S6015)/解码(步骤S6311、S6315)的方法进行了详细图示。
作为另一实例，在图68的方法6801以及方法6802中，分别对合并(MERGE)模式动作信息编码(步骤S305)/合并(MERGE)模式动作信息解码(步骤S605)中的动作进行了详细图示。
作为一实例，运动向量差值信息中可以包括用于指示当前区块中是否有运动的运动向量差值存在的信息。与运动向量差值的存在与否相关的信息，可以利用标志(flag)值进行表达。
作为一实例，运动向量差值信息可以包括运动向量差值的X成分绝对值信息或Y成分绝对值信息中的至少一个。
在步骤S6803中，影像编码装置可以对运动向量差值的X成分的绝对值信息进行编码，而在步骤S6804中，可以对Y成分的绝对值信息进行编码。作为另一实例，影像编码装置可以首先对运动向量差值的Y成分的绝对值信息进行编码，然后再对运动向量差值的X成分的绝对值信息进行编码。
与此相反，在步骤S6807中，影像解码装置可以对运动向量差值的X成分的绝对值信息进行解码，而在步骤S6808中，可以对Y成分的绝对值信息进行解码。作为另一实例，影像解码装置可以首先对运动向量差值的Y成分的绝对值信息进行解码，然后再对运动向量差值的X成分的绝对值信息进行解码。
作为另一实例，影像编码装置/解码装置可以同时对运动向量差值的X成分以及Y成分的绝对值信息进行编码/解码。为了同时对运动向量差值的X成分以及Y成分进行编码/解码，运动向量差值信息可以包括由X成分绝对值或Y成分绝对值信息中的至少一个构成的运动向量绝对值组信息。
此外，运动向量差值信息可以包括由运动向量差值的X成分符号以及Y成分符号中的某一个构成的符号组信息。例如，符号组信息可以是用于指示由运动向量差值的X成分符号以及Y成分符号中的某一个构成的符号组中的某一个的信息。此时，可以为不同的符号组分别分配二进制信息，而符号组信息可以利用用于指示上述符号组中的某一个的索引(index)进行表达。
作为一实例，符号组信息可以是用于指示按照下述表2定义的符号组中的某一个的索引。
【表2】
Figure BDA0002844894480000791
Figure BDA0002844894480000801
在步骤S6805中，编码装置可以对运动向量差值的不同的符号组分别计算模板匹配代价值，并对运动向量差值的不同的符号组分别分配二进制信息或索引。
图69是对适用本发明之一实施例的在对运动向量差值信息进行编码时利用模板匹配代价值决定二进制信息的方法进行图示的表格。
作为一实例，在运动向量差值的X、Y成分的绝对值均不为0的情况下，可以按照图69中的6901为运动向量差值符号组分配二进制信息。此时，可以按照不同的运动向量差值符号组分别对模板匹配代价值进行计算。
作为另一实例，在运动向量差值的X、Y成分中的某一个的绝对值为0的情况下，可以按照6902、6903为运动向量差值符号组分配二进制信息。6902可以是运动向量差值的X成分的绝对值为0的情况，而6903可以是运动向量差值的Y成分的绝对值为0的情况。在如上所述的情况下，可以仅对2种符号组计算模板匹配代价值。
影像编码装置可以在不同的情况6901、6902、6903下，按照所计算出的模板匹配代价值从低到高的顺序高效地决定分配到各个符号组中的二进制信息，从而提升其编解码效率。在如6902、6903所示的情况下，所分配的二进制信息的二进制数在不同的运动向量差值符号组中均为1位数，但是通过在熵编码部、熵解码部中作为与各个二进制信息对应的基于上下文自适应的二进制算术编码(CABAC)概率信息使用模板匹配代价值较低的二进制信息的概率，可以提升其编解码效率。
图69的模板匹配代价值以及分配的二进制信息仅为例示内容，可以对其代价值进行变更，而且还可以对分配二进制信息的方法进行变更。
图70是用于对适用本发明之一实施例的在决定运动向量差值信息的二进制信息时的模板匹配技术进行说明的示意图。
接下来，将参阅图70对如上所述的模板匹配技术进行详细的说明。可以在当前图像内当前区块的重建区域内决定模板区域。模板区域如图70所示，可以在当前区块的(Lh×Lw，其中Lh以及Lw为大于0的整数)、上端(Aw×Ah，其中Aw以及Ah为大于0的整数)区域中决定。此时，模板区域可以决定为不同的形状、位置以及大小。
可以将从参考图像内的运动推测探索区域内探索到的与当前图像的模板最为类似的区域作为参考图像的模板区域。此时，可以将当前区块周边的模板区域以及运动推测探索区域内的模板区域之间的误差量决定为模板匹配代价值。其中，误差量可以通过如绝对误差和(SAD，Sum of Absolute Difference)、平方误差和(SSD，Sum of SquareDifference)等计算方法进行推导。下述数学式15以及数学式16分别是但对绝对误差和(SAD)、平放误差和(SSD)的计算方法进行描述的数学式。
【数学式15】
Figure BDA0002844894480000811
Diff(i，j)＝Template(i，j)-PredBlk(i，j)
【数学式16】
Figure BDA0002844894480000812
Diff(i，j)＝Template(i，j)-PredBlk(i，j)
其中，i、j代表像素的位置，Template(i,j)代表模板区块的像素，PredBlk(i,j)代表预测区块的像素。
接下来，在步骤S6806以及S6810中可以对所决定的运动向量差值的符号组的二进制信息或索引进行编码/解码。
接下来，将对在画面内预测模式中对最佳亮度(Luma)、色差(Chroma)画面内预测模式进行编码/解码的情况下，利用模板匹配技术决定二进制信息的方法进行详细的说明。
图71是用于对适用本发明之一实施例的利用适用于解码器侧帧内模式推导(DIMD)模式的模板匹配技术的模板匹配代价值为最有可能模式(MPM)候选模式列表中的各个候选分别分配二进制信息的方法以及为色差(Chroma)候选模式分配二进制信息的方法进行说明的示意图。
图71是在图60中的亮度(Luma)画面内预测模式编码部以及图63中的亮度(Luma)画面内预测模式解码部中的最有可能模式(MPM)动作的情况下，在步骤S6019中对最有可能模式(MPM)索引信息进行编码以及在步骤S6319中对最有可能模式(MPM)索引信息进行解码时，以模板匹配代价值为基础决定索引信息的二进制信息的方法进行图示的例示图。画面内预测模式中的模板匹配技术以及画面间预测模式中的模板匹配技术可以互不相同。
图72是用于对适用本发明之一实施例的解码器侧帧内模式推导(DIMD)模式的模板匹配技术进行说明的示意图。
接下来，将参阅图72对在画面内预测模式下在当前区块周边的重建区域中利用模板区域的模板匹配技术进行说明。如图72所示，可以从当前区块周边的重建区域决定模板区域。
其中，模板区域可以决定为不同的大小。接下来，可以从模板区域的周边决定模板区域的参考区域。可以利用上述参考区域的重建像素对模板区域进行画面内预测，并将所预测到的值以及模板区域的重建值之间的差异即预测误差量决定为模板匹配代价值。作为预测误差量的计算方法，可以使用如上所述的绝对误差和(SAD)以及平方误差和(SSD)等多种不同的方法。
在图71的7101中，在对最佳亮度(Luma)画面内预测模式进行编码的情况下，可以首先对包含于最有可能模式(MPM)候选列表中的画面内预测模式的模板匹配代价值进行计算。
接下来，可以按照模板匹配代价值从小到大的顺序为画面内预测模式分配较小的二进制信息。
例如，如表7101所示，在最有可能模式(MPM)候选列表中包括垂直(Ver)模式、均值(DC)模式、平面(Planar)模式、水平(Hor)模式以及角度(Angular)第20号模式且各个画面内预测模式的模板匹配代价值为100、120、80、140以及150的情况下，可以按照模板匹配代价值从小到大的顺序依次将所分配的二进制信息决定为0、10、110、1110以及1111。表7101中的模板匹配代价值以及分配的二进制信息仅为例示内容，可以对其代价值进行变更，而且还可以对分配二进制信息的方法进行变更。
在图71的7102中，在对最佳色差(Chroma)画面内预测模式进行编码的情况下，可以首先对色差(Chroma)候选模式列表中的画面内预测模式的模板匹配代价值进行计算。
接下来，可以按照模板匹配代价值从小到大的顺序为色差(Chroma)画面内预测模式分配较小的二进制信息。
作为色差(Chroma)候选模式列表的画面内预测模式，可以使用在亮度(Luma)区块中重建的画面内预测模式。在4:2:0格式的影像中，色差(Chroma)区块为亮度(Luma)区块的1/4大小。此外，因为在仅帧内(Intra only)图像中可以独立地执行亮度(Luma)区块以及色差(Chroma)区块的区块分割，因此如7102所示，亮度(Luma)区块以及色差(Chroma)区块的区块分割可以互不相同。
在构成色差(Chroma)候选模式列表时，可以利用从亮度(Luma)区块的互不相同的5个区块A1、A2、A3、A4、A5重建的画面内预测模式构成色差(Chroma)候选模式列表。在所构成的色差(Chroma)候选模式列表中，可以对A1、A2、A3、A4、A5区块的画面内预测模式的模板匹配代价值进行计算，并按照相应的代价值从小到大的顺序以如表7102所示的状态分配较小的二进制信息。表7102中的模板匹配代价值以及分配的二进制信息仅为例示内容，可以对其代价值进行变更，而且还可以对分配二进制信息的方法进行变更。
接下来，将对在画面间预测模式中执行地区亮度补偿过程时在当前区块周边重建区域中使用模板区域的方法进行详细的说明。
图73是用于对适用本发明之一实施例的在执行地区亮度补偿技术时根据在当前区块周边重建区域内的模板使用与否决定在预测区块周边重建区域内的模板使用与否的方法进行说明的示意图。
在执行地区亮度补偿的情况下，可以执行用于使最佳运动信息所指向的预测区块周边重建区域的模板区域以及当前区块的周边重建区域模板区域之间的差异最小化的补偿过程。上述补偿过程，可以是通过线性回归分析对可以使最小平方和最小化的参数α、β进行推导的过程。利用α、β的地区亮度补偿可以通过数学式17执行。
【数学式17】
FinalPred＝α*CurPred+β
在对α、β进行推导的情况下，可以按照如图73所示的方式对当前区块周边重建区域的模板区域进行限定。如上所述的限定，是为了设计出影像的高效并列处理结构。
在决定当前区块周边重建区域的模板区域的使用与否时，可以不将超出包含当前区块的最大编码区块的区域作为模板区域使用。此外，可以设定任意大小的窗口(K×L)并不使用超出相应窗口的模板区域。上述窗口的大小可以在上级报头(如视频参数等级、序列参数等级、图像参数等级以及条带等级等)中进行传送，也可以在影像编码/解码装置中使用预先设定的相同大小。
此外，模板区域的使用与否不得以侵犯如条带以及并行区块等分割边界的状态决定。
在预测区块周边重建区域的模板区域中，同样可以仅使用当前区块周边的可用的模板区域。
图73是用于对适用本发明之一实施例的在执行地区亮度补偿技术时根据在当前区块周边重建区域内的模板使用与否决定在预测区块周边重建区域内的模板使用与否的方法进行说明的示意图。
图73中的7301，是对因为当前区块周边重建区域的上端区域无法作为模板区域使用而导致同样无法使用预测区块上端区域的模板区域的情况进行图示的例示图。图73中的7302，是对因为当前区块周边重建区域的左侧区域无法作为模板区域使用而导致同样无法使用预测区块左侧区域的模板区域的状态进行图示的例示图。图73中的7303，是对因为当前区块周边重建区域的上端以及左侧区域均无法作为模板区域使用而导致同样均无法使用预测区块上端以及左侧区域的模板区域的情况进行图示的例示图。
在7303所例示的情况下可以不执行地区亮度补偿过程。在如上所述的情况下，在图66的步骤S6608中可以不对地区亮度补偿动作信息进行编码，而且在图67的步骤S6708中也可以不对地区亮度补偿动作信息进行解码。此时，可以将地区亮度补偿过程动作信息决定为假(false)。
接下来，将对在为了影像的区块单位变换而对变换类型进行编码/解码的情况下利用模板匹配技术决定变换类型的二进制信息的方法进行详细的说明。
图74是适用本发明之一实施例的影像编码装置的变换部。
影像编码装置的变换部7400可以通过将残差信息变换成频率域而对变换系数进行推导。在执行残差信息变换时，可以固定决定7410或自适应决定7402其变换类型。
在变换类型固定的情况下，可以通过在利用固定的变换类型对残差信号执行水平方向变换7404之后再执行垂直方向变换7405而获得变换系数。此时，作为变换类型可以固定使用如离散余弦变换-2(DCT-2)类型等多种不同的变换类型中的某一个。
与此相反，在自适应决定变换类型的情况下，其变换类型可以从多种不同的变换类型中自适应决定。例如，可以自适应地决定如离散余弦变换-2(DCT-2)、离散余弦变换-5(DCT-5)、离散余弦变换-8(DCT-8)、离散正弦变换-1(DST-1)、离散正弦变换(DST-7)类型中的某一个变换类型。此时，可以在不同的变换方向上决定变换类型7403。通过利用所决定的不同变换方向上的变换类型执行水平方向变换7404以及垂直方向变换7405，可以推导出变换系数。此时，不同方向上的变换类型可以在区块单位中进行传送，也可以在考虑变换区块的大小以及形状等的前提下在上级报头中事先设定并使用。
图75是适用本发明之一实施例的影像编码/解码装置的逆变换部。
在影像编码/解码装置的逆变换部7500中，可以通过将逆量化系数变换成像素域而推导出重建残差系数。在对逆量化系数执行逆变换时，可以固定决定7410或自适应决定7502其逆变换类型。
如果在影像编码装置的变换部7400中以固定变换类型的方式执行了变换，则在影像编码/解码装置的逆变换部7500中同样可以以固定逆变换类型的方式执行逆变换。作为逆变换类型，可以通过执行在变换部中决定的变换类型的垂直方向逆变换7504以及水平方向逆变换7505而推导出重建残差系数。
在自适应决定你变换类型的情况下，作为你变换类型，可以通过执行在变换部中决定的不同变换方向上的变换类型的垂直方向逆变换7504以及水平方向逆变换7505而推导出重建残差系数。
图76是用于对适用本发明之一实施例的为了在影像编码/解码装置的变换部/逆变换部中决定变换类型的二进制信息而使用模板匹配技术的方法进行说明的示意图。
接下来，将参阅图76对当在变换部中自适应决定不同变换方向上的变换类型的情况下对不同变换方向上的变换类型信息进行编码/解码时决定二进制信息的方法以及在决定二进制信息的过程中适用模板匹配技术时从当前区块周边重建区域决定模板区域的适用与否的方法进行详细的说明。
如7604中的例示，定义了5个变换类型组并对各个变换类型组决定了水平/垂直变换类型。此时，可以对各个变换组分别利用模板匹配技术计算出模板匹配代价值。
在变换部的模板匹配技术中为了计算出模板匹配代价值，可能只需要当前区块周边重建区域的模板区域。在7601～7603的例示中，可以利用各个变换类型组计算出当前区块的左侧、上端1行的重建像素值。在对与重建区域对应的残差值进行变换/量化之后再对逆量化/逆变换之后的预测值进行相加，就可以获得重建区域的重建像素值。模板匹配代价值可以利用重建区域以及模板区域通过下述数学式18进行计算。
【数学式18】
Figure BDA0002844894480000861
在数学式18中，TempDist代表模板匹配代价值。其中，i代表左侧模板区域的坐标，而j代表上端模板区域的坐标。Width、Height分别代表当前区块的水平、垂直长度。
通过数学式5，可以对不同的变换类型组分别计算出模板匹配代价值，并按照相应的代价值从小到大的顺序分配较小的二进制信息。表7604中的水平/垂直变换的变换类型、模板匹配代价值以及分配的二进制信息仅为例示内容，可以将变换类型变更为多种不同的组合并对其代价值进行变更，而且还可以对分配二进制信息的方法进行变更。
在对模板匹配代价值进行计算时，可以按照如7601、7602、7603中的例示对当前区块周边重建区域的模板区域进行限定。可以不将超出包含当前区块的最大编码区块的区域作为模板区域使用。此外，可以设定任意大小的窗口(K×L)并不使用超出相应窗口的模板区域。上述窗口的大小可以在上级报头中进行传送，也可以在影像编码/解码装置中使用预先设定的相同大小。
此外，无法决定为超出在如条带以及并行区块等上级报头中决定的分割边界的大小。
图76中的7601对当前区块周边重建区域中的上端区域无法作为模板区域使用的情况进行了例示。图76中的7602对当前区块周边重建区域中的左侧区域无法作为模板区域使用的情况进行了例示。图76中的7603对当前区块周边重建区域中的上端、左侧区域均无法作为模板区域使用的情况进行了例示。
在7603的例示中，可以固定使用变换类型。因此，在图66的步骤S6612中可以不对变换类型的固定适用与否信息进行编码，而是固定使用变换类型。在图67的步骤S6712中也可以不对变换类型的固定适用与否信息进行解码，而是固定使用变换类型。
图77是用于对适用本发明之一实施例的影像解码方法进行说明的流程图。
参阅图77，在步骤S7701中，影像解码装置可以对当前区块的初始运动向量进行推导。
其中，初始运动向量可以利用当前区块的合并候选列表进行推导。例如，初始运动向量可以通过利用合并(Merge)模式推导出的候选运动信息进行推导。合并候选列表可以利用当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个进行推导。
接下来，在步骤S7702中，影像解码装置可以对通过步骤S7701推导出的初始运动向量的运动向量差值信息进行解码，而在步骤S7703中，可以利用解码的运动向量差值信息对初始运动向量的运动向量差值进行推导。接下来，在步骤S7704中，影像解码装置可以对通过步骤S7701推导出的初始运动向量以及通过步骤S7703推导出的运动向量差值进行相加，从而推导出当前区块的最终运动向量。
其中，运动向量差值信息可以包括由运动向量差值的X成分符号以及Y成分符号中的某一个构成的符号组信息。此外，运动向量差值信息可以包括运动向量差值的X成分绝对值信息或Y成分绝对值信息中的至少一个。
此时，符号组信息可以指示由X成分符号以及Y成分符号中的某一个构成的符号组中的某一个，可以以索引的形态表达。
图78是用于对适用本发明之一实施例的影像编码方法进行说明的流程图。
参阅图78，在步骤S7801中，影像解码装置可以决定当前区块的最终运动向量。
此时，影像编码装置可以通过如率失真(RD)代价值比较等方式对当前区块的最终运动向量进行推导。
接下来，在步骤S7802中，影像编码装置可以决定在步骤S7801中决定的最终运动向量的运动向量差值。影像编码装置可以对在步骤S7801中决定的运动向量差值的运动向量差值信息进行编码。
其中，运动向量差值可以在影像解码装置中与当前区块的初始运动向量相加，从而用于对在步骤S7801中决定的最终运动向量进行推导。
其中，运动向量差值信息可以包括由运动向量差值的X成分符号以及Y成分符号中的某一个构成的符号组信息。此外，运动向量差值信息可以包括运动向量差值的X成分绝对值信息或Y成分绝对值信息中的至少一个。
此时，符号组信息可以指示由X成分符号以及Y成分符号中的某一个构成的符号组中的某一个，可以以索引的形态表达。
通过图78中的影像编码方法生成的比特流(或编码数据)可以被存储到计算机可读的记录介质中。此外，比特流中还可以包括初始运动向量信息以及初始运动向量的运动向量差值信息。
上述实施例可以在影像编码装置以及影像解码装置中以相同的方法或对应的方法执行。
可以利用上述实施例中的至少一个或至少一个的组合对影像进行编码/解码。
适用上述实施例的顺序在影像编码装置以及影像解码装置中可以互不相同，而适用上述实施例的顺序在影像编码装置以及影像解码装置中也可以相同。
可以分别对亮度以及色差信号分别执行上述实施例，也可以对亮度以及色差信号以相同的方式执行上述实施例。
本公开中的示例性方法为了说明的明确性而以动作序列的方式进行了描述，但这并不是为了对步骤的执行顺序进行限定，在必要时也可以同时或以不同的顺序执行各个步骤。为了实现本公开中的方法，也可以在示例的步骤基础上追加包含其他步骤，或只包含除一部分步骤之外的剩余步骤，或在排除一部分步骤之后追加包含其他步骤。
本公开的多种不同的实施例并不是对所有可能的组合进行罗列的结果，只是为了对本公开的代表性形态进行说明，在多种不同的实施例中进行说明的事项可以独立适用或以两种以上的组合方式适用。
此外，本公开中的多种不同的实施例可以通过硬件、固件(firmware)、软件或上述之结合等实现。在通过硬件实现时，可以通过一个或多个专用集成电路(ACICs，Application Specific Integrated Circuits)、数字信号处理器(DSPs，Digital SignalProcessors)、数字信号处理装置(DSPDs，Digital Signal Processing Devices)、可编程逻辑器件(PLDs，Programmable Logic Devices)、现场可编程门阵列(FPGAs，FieldProgrammable Gate Arrays)、通用处理器(general processor)、控制器、微控制器以及微处理器等实现。
本公开的范围包括可供适用多种不同实施例的方法中的动作在装置或计算机上执行的软件或设备可执行的指令(例如操作系统、应用程序、固件(firmware)、程序等)，以及存储有如上所述的软件或指令等的装置或计算机可执行的非暂时性计算机可读介质(non-transitory computer-readable medium)。
产业上的可利用性
本发明可以用于对影像进行编码/解码。

Claims (16)

1.一种影像解码方法，其特征在于，包括：
利用重建区域的运动向量决定当前区块的初始运动向量的步骤；
以上述初始运动向量为基础，对上述当前区块的运动向量进行探索的步骤；以及，
利用上述运动向量生成上述当前区块的预测样本的步骤；
其中，上述初始运动向量包括历史方向的运动向量以及未来方向的运动向量。
2.根据权利要求1所述的影像解码方法，其特征在于：
上述对运动向量进行探索的步骤，
是利用上述历史方向的运动向量所指示的历史方向的预测区块以及上述未来方向的运动向量所指示的未来方向的预测区块之间的差异对上述运动向量进行探索。
3.根据权利要求2所述的影像解码方法，其特征在于：
上述对运动向量进行探索的步骤，
是以通过将上述历史方向的运动向量以及上述未来方向的预测区块之间的差异适用于绝对误差和计算方法而生成的预测误差为基础对上述运动向量进行探索。
4.根据权利要求1所述的影像解码方法，其特征在于：
上述对运动向量进行探索的步骤，
是在预先定义的大小的探索区域内对上述运动向量进行探索。
5.根据权利要求1所述的影像解码方法，其特征在于：
上述重建区域的运动向量，
是合并模式的候选运动信息。
6.根据权利要求5所述的影像解码方法，其特征在于：
上述合并模式的候选运动信息，
包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
7.根据权利要求1所述的影像解码方法，其特征在于，还包括：
对解码器侧运动向量推导模式动作信息进行解码的步骤；
其中，在上述解码器侧运动向量推导模式动作信息指示解码器侧运动向量推导模式动作的情况下，以上述初始运动向量为基础执行对上述当前区块的运动向量进行探索的步骤。
8.根据权利要求1所述的影像解码方法，其特征在于：
上述所探索到的运动向量，
是在上述当前区块之后进行解码的区块的运动向量推导中使用。
9.一种影像编码方法，其特征在于，包括：
利用重建区域的运动向量决定当前区块的初始运动向量的步骤；
以上述初始运动向量为基础，对上述当前区块的最佳运动向量进行探索的步骤；以及，
通过对上述最佳运动向量的使用与否进行判定而对解码器侧运动向量推导模式动作信息进行解码的步骤；
其中，上述初始运动向量包括历史方向的运动向量以及未来方向的运动向量。
10.根据权利要求9所述的影像编码方法，其特征在于：
上述对最佳运动向量进行探索的步骤，
是利用上述历史方向的运动向量所指示的历史方向的预测区块以及上述未来方向的运动向量所指示的未来方向的预测区块之间的差异对上述最佳运动向量进行探索。
11.根据权利要求10所述的影像编码方法，其特征在于：
上述对最佳运动向量进行探索的步骤，
是以通过将上述历史方向的运动向量以及上述未来方向的预测区块之间的差异适用于绝对误差和计算方法而生成的预测误差为基础对上述最佳运动向量进行探索。
12.根据权利要求9所述的影像编码方法，其特征在于：
上述对最佳运动向量进行探索的步骤，
是在预先定义的大小的探索区域内对上述最佳运动向量进行探索。
13.根据权利要求9所述的影像编码方法，其特征在于：
上述重建区域的运动向量，
是合并模式的候选运动信息。
14.根据权利要求13所述的影像编码方法，其特征在于：
上述合并模式的候选运动信息，
包括当前区块的空间候选区块的运动信息以及时间候选区块的运动信息中的至少一个。
15.根据权利要求9所述的影像编码方法，其特征在于：
上述最佳运动向量，
是在上述当前区块之后进行编码的区块的运动向量推导中使用。
16.一种计算机可读的非暂时性记录介质，其特征在于：
在包含在影像解码中使用的比特流的计算机可读的非暂时性记录介质中，
上述比特流包括解码器侧运动向量推导模式动作信息，
在上述影像解码中，
在上述解码器侧运动向量推导模式动作信息指示解码器侧运动向量推导模式动作的情况下，以初始运动向量为基础执行对当前区块的运动向量的探索，
上述初始运动向量是利用重建区域的运动向量决定，
上述初始运动向量包括历史方向的运动向量以及未来方向的运动向量。
CN201980041236.0A 2018-06-18 2019-06-18 影像编码/解码方法及装置 Pending CN112292854A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20180069606 2018-06-18
KR20180069605 2018-06-18
KR10-2018-0069606 2018-06-18
KR10-2018-0069604 2018-06-18
KR10-2018-0069605 2018-06-18
KR20180069604 2018-06-18
PCT/KR2019/007328 WO2019245260A1 (ko) 2018-06-18 2019-06-18 영상 부호화/복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
CN112292854A true CN112292854A (zh) 2021-01-29

Family

ID=68984296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041236.0A Pending CN112292854A (zh) 2018-06-18 2019-06-18 影像编码/解码方法及装置

Country Status (4)

Country Link
US (2) US11647222B2 (zh)
EP (1) EP3809701A4 (zh)
CN (1) CN112292854A (zh)
WO (1) WO2019245260A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023044918A1 (zh) * 2021-09-27 2023-03-30 Oppo广东移动通信有限公司 帧内预测的方法、编码器、解码器和编解码系统
WO2023044916A1 (zh) * 2021-09-27 2023-03-30 Oppo广东移动通信有限公司 帧内预测的方法、编码器、解码器和编解码系统
WO2023193552A1 (en) * 2022-04-07 2023-10-12 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd intra prediction mode selection in a template area, and encoder/decoder including the same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956460B2 (en) * 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding
EP3709644A1 (en) * 2019-03-12 2020-09-16 Ateme Method for image processing and apparatus for implementing the same
EP4022922A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR COMBINED INTRA-INTER PREDICTION
US20230396805A1 (en) * 2020-09-28 2023-12-07 Interdigital Ce Patent Holdings , Sas Template matching prediction for versatile video coding
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
WO2023277535A1 (ko) * 2021-06-28 2023-01-05 주식회사 윌러스표준기술연구소 인트라 예측을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
CN117981299A (zh) * 2021-09-27 2024-05-03 Oppo广东移动通信有限公司 帧内预测的方法、编码器、解码器和编解码系统
US20230139186A1 (en) * 2021-10-28 2023-05-04 Tencent America LLC Template-matching based adaptive motion vector resolution (amvr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
CN107409225A (zh) * 2015-03-27 2017-11-28 高通股份有限公司 视频译码中运动信息推导模式确定
WO2018066990A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN107995489A (zh) * 2017-12-20 2018-05-04 北京大学深圳研究生院 一种用于p帧或b帧的帧内帧间组合预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3139605A4 (en) 2014-04-28 2017-05-17 Panasonic Intellectual Property Corporation of America Encoding method, decoding method, encoding apparatus, and decoding apparatus
SG11201703454XA (en) 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
CN117528108A (zh) 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
CN107409225A (zh) * 2015-03-27 2017-11-28 高通股份有限公司 视频译码中运动信息推导模式确定
WO2018066990A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN107995489A (zh) * 2017-12-20 2018-05-04 北京大学深圳研究生院 一种用于p帧或b帧的帧内帧间组合预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023044918A1 (zh) * 2021-09-27 2023-03-30 Oppo广东移动通信有限公司 帧内预测的方法、编码器、解码器和编解码系统
WO2023044916A1 (zh) * 2021-09-27 2023-03-30 Oppo广东移动通信有限公司 帧内预测的方法、编码器、解码器和编解码系统
WO2023193552A1 (en) * 2022-04-07 2023-10-12 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for dimd intra prediction mode selection in a template area, and encoder/decoder including the same

Also Published As

Publication number Publication date
WO2019245260A1 (ko) 2019-12-26
US11647222B2 (en) 2023-05-09
EP3809701A4 (en) 2022-06-22
US20230239496A1 (en) 2023-07-27
US20210274214A1 (en) 2021-09-02
EP3809701A1 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
CN112292854A (zh) 影像编码/解码方法及装置
RU2708359C1 (ru) Устройство кодирования движущегося изображения и способ кодирования движущегося изображения
CN113727101B (zh) 编码器、解码器及对应帧间预测方法
CN108353168B (zh) 对图像进行编/解码的方法和编/解码图像的装置
AU2016253621A1 (en) Method and apparatus for encoding image and method and apparatus for decoding image
US9743092B2 (en) Video coding with helper data for spatial intra-prediction
CN104768011A (zh) 图像编解码方法和相关装置
KR102500091B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN116828174A (zh) 对视频信号进行编解码的方法和发送方法
KR20210122854A (ko) 인터 예측을 위한 인코더, 디코더 및 대응하는 방법
KR102600670B1 (ko) 움직임 벡터 예측 방법 및 장치, 인코더, 그리고 디코더
CN109565588B (zh) 色度预测的方法及装置
KR20190142749A (ko) 영상 부호화/복호화 방법 및 장치
KR20240026141A (ko) 비디오 코딩에서의 하이브리드 인터 양방향-예측
KR20190142748A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP4266686A1 (en) Video compression using template-based determination of intra prediction mode
JP7444998B2 (ja) リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
EP4210328A1 (en) Video compression using boundary based template refinement
EP4383702A1 (en) Block vector signaling for reconstruction-reordered intra block copy
EP4383717A1 (en) Coding unit prediction using template matching costs
US20240129483A1 (en) Block Vector Difference (BVD) Indication with Reduced Overhead
TW202232956A (zh) 視訊譯碼中的範本匹配
EP4268452A1 (en) Bi-directional optical flow in video coding
IL301896A (en) Multicycle side-decoder motion vector refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination