CN111837386A - 图像解码装置、图像编码装置、图像处理系统和程序 - Google Patents

图像解码装置、图像编码装置、图像处理系统和程序 Download PDF

Info

Publication number
CN111837386A
CN111837386A CN201980018417.1A CN201980018417A CN111837386A CN 111837386 A CN111837386 A CN 111837386A CN 201980018417 A CN201980018417 A CN 201980018417A CN 111837386 A CN111837386 A CN 111837386A
Authority
CN
China
Prior art keywords
prediction
search range
motion vector
block
reference position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980018417.1A
Other languages
English (en)
Other versions
CN111837386B (zh
Inventor
海野恭平
河村圭
内藤整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of CN111837386A publication Critical patent/CN111837386A/zh
Application granted granted Critical
Publication of CN111837386B publication Critical patent/CN111837386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图像解码装置具备预测部，其根据运动矢量生成预测块中包含的预测信号。所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量。所述预测部在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。

Description

图像解码装置、图像编码装置、图像处理系统和程序
技术领域
本发明涉及一种图像解码装置、图像编码装置、图像处理系统和程序。
背景技术
以往，提出了一种生成由帧内预测(intra-frame prediction)或帧间预测(inter-frame prediction)生成的预测信号与输入图像信号之间的差分即预测残差信号，并且进行预测残差信号的变换处理及量化处理的技术(例如，H EVC：High EfficiencyVideo Coding)(例如，非专利文献1)。
在这样的图像处理技术中，还提出了一种图像解码装置对从图像解码装置接收的运动矢量进行精细化的技术(DMVR：Decoder-side Motion Vector Refinement)。具体而言，图像解码装置根据运动矢量确定参考位置，从根据所确定的参考位置而设定的搜索范围中确定规定成本最小的修正参考位置。图像解码装置根据修正参考位置来修正运动矢量(例如，非专利文献2)。
现有技术文献
非专利文献
非专利文献1：ITU-T H.265High Efficiency Video Coding
非专利文献2：Algorithm Description of Joint Exploration Test Model 7(JEM 7),JVET-G1001
发明内容
发明所要解决的问题
在上述图像处理技术中，从搜索范围中确定修正参考位置的处理负荷较大。因此，期望减轻运动矢量的修正所带来的处理负荷而不降低运动矢量的修正精度。
因此，本发明是为了解决上述问题而完成的，其目的在于提供一种能够减轻运动矢量的修正所带来的处理负荷而不降低运动矢量的修正精度的图像解码装置、图像编码装置、图像处理系统和程序。
用于解决问题的方案
第一特征涉及的图像解码装置具备预测部，其根据运动矢量生成预测块中包含的预测信号。所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量。所述预测部在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
第二特征涉及的图像编码装置具备预测部，其根据运动矢量生成预测块中包含的预测信号。所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量。所述预测部在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
第三特征涉及的图像处理系统具备图像编码装置和图像解码装置。所述图像编码装置和所述图像解码装置具备预测部，其根据运动矢量生成预测块中包含的预测信号。所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量。所述预测部在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
第四特征涉及的程序使计算机执行根据运动矢量生成预测信号的预测步骤。所述预测步骤包括如下步骤：执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量。在所述步骤中，在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
发明的效果
根据一个方面，可以提供一种能够减轻运动矢量的修正所带来的处理负荷而不降低运动矢量的修正精度的图像解码装置、图像编码装置、图像处理系统和程序。
附图说明
图1是示出实施方式涉及的图像处理系统10的图。
图2是示出实施方式涉及的图像编码装置100的图。
图3是示出实施方式涉及的帧间预测部111的图。
图4是用于说明实施方式涉及的第一处理的图。
图5是用于说明实施方式涉及的第二处理的图。
图6是用于说明实施方式涉及的第三处理的图。
图7是用于说明实施方式涉及的第三处理的图。
图8是示出实施方式涉及的图像解码装置200的图。
图9是示出实施方式涉及的帧间预测部241的图。
图10是用于说明变形例1涉及的第三处理的图。
图11是用于说明变形例2涉及的第三处理的图。
图12是用于说明变形例3涉及的目标搜索范围的确定方法的图。
具体实施方式
以下，参照附图对实施方式进行说明。此外，在下面的附图的记载中，对相同或者类似的部分标注相同或者类似的符号。
但是，应该留意的是，附图是示意性的，各尺寸的比例等有时与现实不同。因此，具体的尺寸等应该参考以下的说明进行判断。另外，当然，有时在附图之间也包含尺寸关系或比率相互不同的部分。
发明内容
发明内容涉及的图像解码装置具备预测部，其根据运动矢量生成预测块中包含的预测信号。所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量。所述预测部在所述精细化处理中执行第一处理和第二处理，所述第一处理为，针对用于界定构成所述搜索范围的至少一部分的目标搜索范围的外框的四个第一候选位置和所述参考位置计算出所述规定成本，所述第二处理为，根据所述四个第一候选位置中所述规定成本最小的基准第一候选位置和所述参考位置，确定用于界定分割所述目标搜索范围而得到的分割搜索范围的外框的两个第二候选位置，并针对所述两个第二候选位置计算出所述规定成本。
在发明内容涉及的图像解码装置中，执行第一处理和第二处理，所述第一处理为，针对用于界定目标搜索范围的外框的四个第一候选位置和参考位置计算出规定成本，所述第二处理为，确定用于界定分割目标搜索范围而得到的分割搜索范围的外框的两个第二候选位置，并针对两个第二候选位置计算出规定成本。即，通过从目标搜索范围的外侧搜索修正参考位置，可以在抑制要计算出规定成本的像素数的同时，适当地搜索修正参考位置。换句话说，可以减轻运动矢量的修正所带来的处理负荷而不降低运动矢量的修正精度。
发明内容涉及的图像编码装置具备预测部，其根据运动矢量生成预测块中包含的预测信号。所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量。所述预测部在所述精细化处理中执行第一处理和第二处理，所述第一处理为，针对用于界定构成所述搜索范围的至少一部分的目标搜索范围的外框的四个第一候选位置和所述参考位置计算出所述规定成本，所述第二处理为，根据所述四个第一候选位置中所述规定成本最小的基准第一候选位置和所述参考位置，确定用于界定分割所述目标搜索范围而得到的分割搜索范围的外框的两个第二候选位置，并针对所述两个第二候选位置计算出所述规定成本。
在发明内容涉及的图像编码装置中，执行第一处理和第二处理，所述第一处理为，针对用于界定目标搜索范围的外框的四个第一候选位置和参考位置计算出规定成本，所述第二处理为，确定用于界定分割目标搜索范围而得的分割搜索范围的外框的两个第二候选位置，针对两个第二候选位置计算出规定成本。即，通过从目标搜索范围的外侧搜索修正参考位置，可以在抑制要计算出规定成本的像素数的同时，适当地搜索修正参考位置。换句话说，可以减轻运动矢量的修正所带来处理负荷而不降低运动矢量的修正精度。
作为发明内容，可以提供与上述图像解码装置的动作相关的图像解码方法，也可以提供与上述图像编码装置的动作相关的图像编码方法。作为发明内容，也可以提供具有上述图像解码装置和图像编码装置的图像处理系统。作为发明内容，可以提供与上述图像解码装置的动作相关的程序，也可以提供与上述图像编码装置的动作相关的程序。
实施方式
(图像处理系统)
以下，对实施方式涉及的图像处理系统进行说明。图1是示出实施方式涉及的图像处理系统10的图。
如图1所示，图像处理系统10具有图像编码装置100和图像解码装置200。图像编码装置100通过对输入图像信号进行编码来生成编码数据。图像解码装置200通过对编码数据进行解码来生成输出图像信号。编码数据可以经由传输路径从图像编码装置100发送到图像解码装置200。编码数据也可以保存在存储介质中从图像编码装置100提供给图像解码装置200。
(图像编码装置)
以下，对实施方式涉及的图像编码装置进行说明。图2是示出实施方式涉及的图像编码装置100的图。
如图2所示，图像编码装置100具有帧间预测部111、帧内预测部112、减法器121、加法器122、变换和量化部131、逆变换和逆量化部132、编码部140、环路滤波处理部150以及帧缓冲器160。
帧间预测部111通过帧间预测(inter-frame prediction)来生成预测信号。具体而言，帧间预测部111通过对编码目标帧(以下，称为目标帧)与帧缓冲器160中保存的参考帧进行比较，来确定参考帧中包含的参考块，决定针对所确定的参考块的运动矢量。帧间预测部111根据参考块和运动矢量，为每个预测块生成预测块中包含的预测信号。帧间预测部111将预测信号输出到减法器121和加法器122。参考帧是与目标帧不同的帧。
帧内预测部112通过帧内预测(intra-frame prediction)来生成预测信号。具体而言，帧内预测部112确定目标帧中包含的参考块，根据所确定的参考块为每个预测块生成预测信号。帧内预测部112将预测信号输出到减法器121和加法器122。参考块是针对预测目标块(以下，称为目标块)而参考的块。例如，参考块是与目标块相邻的块。
减法器121从输入图像信号中减去预测信号，并且将预测残差信号输出到变换和量化部131。这里，减法器121生成由帧内预测或帧间预测生成的预测信号与输入图像信号之间的差分即预测残差信号。
加法器122将预测信号与从逆变换和逆量化部132输出的预测残差信号相加，并且将滤波处理前解码信号输出到帧内预测部112和环路滤波处理部150。滤波处理前解码信号构成帧内预测部112中使用的参考块。
变换和量化部131进行预测残差信号的变换处理，并且取得系数等级值。此外，变换和量化部131也可以对系数等级值进行量化。变换处理是将预测残差信号变换为频率分量信号的处理。在变换处理中，可以使用与离散余弦变换(DCT：Discrete CosineTransform)对应的基本模式(变换矩阵)，也可以使用与离散正弦变换(DST：Discrete SineTransform)对应的基本模式(变换矩阵)。
逆变换和逆量化部132对从变换和量化部131输出的系数等级值进行逆变换处理。这里，逆变换和逆量化部132也可以在逆变换处理之前，对系数等级值进行逆量化。逆变换处理和逆量化以与变换和量化部131进行的变换处理和量化相反的顺序进行。
编码部140对从变换和量化部131输出的系数等级值进行编码，并输出编码数据。例如，编码是根据系数等级值的发生概率来分配不同长度的代码的熵编码。
编码部140除了对系数等级值进行编码之外，还对解码处理中使用的控制数据进行编码。控制数据可以包括编码块尺寸、预测块尺寸、变换块尺寸等尺寸数据。
环路滤波处理部150对从加法器122输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器160。例如，滤波处理是减少在块(编码块、预测块或变换块)的边界部分产生的失真的去块滤波处理。
帧缓冲器160累积帧间预测部111中使用的参考帧。滤波处理后解码信号构成帧间预测部111中使用的参考帧。
(帧间预测部)
以下，对实施方式涉及的帧间预测部进行说明。图3是示出实施方式涉及的帧间预测部111的图。
如图3所示，帧间预测部111具有运动矢量搜索部111A、精细化部111B和预测信号生成部111C。帧间预测部111是根据运动矢量来生成预测块中包含的预测信号的预测部的一个示例。
运动矢量搜索部111A通过对目标帧与参考帧进行比较来确定参考帧中包含的参考块，搜索针对所确定的参考块的运动矢量。关于运动矢量的搜索方法，可以采用已知的方法，因此省略其详细说明。
精细化部111B执行精细化处理，即，以由运动矢量确定的参考位置为基准来设定搜索范围，从搜索范围中确定规定成本最小的修正参考位置，根据修正参考位置来修正运动矢量。
在满足规定条件的情况下，精细化部111B可以执行精细化处理。规定条件可以包括如下条件：预测块是进行双向预测的块，一个参考帧是相对于目标帧在时间上为过去的帧，另一个参考帧是相对于目标帧在时间上为未来的帧。规定条件也可以包括预测块的块尺寸小于预定尺寸的条件。块尺寸可以是预测块的水平方向的像素数，也可以是预测块的垂直方向的像素数。块尺寸也可以是水平方向和垂直方向上较小的一方的像素数。块尺寸还可以是块内的全部像素数(即，将水平方向的像素数与垂直方向的像素数相乘而得到的值)。
规定条件也可以包括运动矢量在合并模式下被编码的条件。合并模式是仅传送与预测块相邻的已编码块的运动矢量的索引的模式。规定条件还可以包括运动矢量不应用使用仿射变换的运动补偿预测的条件。
在实施方式中，精细化部111B按照以下的步骤进行精细化处理。这里，将举例说明在精细化处理中运动矢量在过去方向和未来方向上的位移相互联动的情况。换句话说，过去方向的位移的符号与未来方向的位移的符号相反。例如，在过去方向的位移为(-2，2)的情况下，未来方向的位移为(2，-2)。
在这样的前提下，规定成本是过去方向的参考块(已位移)中包含的像素的值与未来方向的参考块(已位移)中包含的像素的值的差分的绝对值和。差分是存在于相互对应的位置处的像素的值的差分。此外，这只不过是一个例子，只要是能够根据差分的平方和等过去方向的参考块中包含的像素的值和未来方向的参考块中包含的像素的值进行计算的指标(值)，则上述以外的指标也能够用作规定成本。
以下，将举例说明目标搜索范围与搜索范围相同并且目标搜索范围是在水平方向和垂直方向上±2的整数像素的范围的情况。目标搜索范围具有正方形形状。
第一，精细化部111B执行第一处理，即，针对用于界定构成搜索范围的至少一部分的目标搜索范围的外框(例如，四个角)的四个第一候选位置和参考位置计算出规定成本。
具体而言，如图4所示，精细化部111B根据运动矢量来确定参考位置(在图4中为P0)。精细化部111B以参考位置为基准来设定目标搜索范围。精细化部111B针对用于界定目标搜索范围的外框的四个第一候选位置(在图4中为P1～P4)和参考位置(在图4中为P0)计算出规定成本。
第二，精细化部111B执行第二处理，即，根据四个第一候选位置中规定成本最小的基准第一候选位置和参考位置，确定用于界定分割目标搜索范围而得到的分割搜索范围的外框(例如，四个角)的两个第二候选位置，针对两个第二候选位置计算出规定成本。
具体而言，举例说明P2的规定成本最小的情况。换句话说，P2是基准第一候选位置。如图5所示，精细化部111B根据基准第一候选位置(在图5中为P2)和参考位置(在图5中为P0)，确定分割目标搜索范围而得到的分割搜索范围。分割目标区域具有将从P0到P2的直线作为对角线的正方形形状。精细化部111B确定用于界定分割搜索范围的外框的两个第二候选位置(在图5中为P5、P6)，针对两个第二候选位置计算出规定成本。
这里，精细化部111B也可以将已算出候选位置(P0、P2、P5、P6)中规定成本最小的位置确定为修正参考位置，并根据修正参考位置修正(位移)运动矢量。但是，在实施方式中，精细化部111B继续进行以下处理。
第三，精细化部111B执行第三处理，即，界定分割搜索范围的外框(例如，四个角)的四个已算出候选位置中规定成本较小的基准第二候选位置来确定第三候选位置，针对第三候选位置计算出规定成本。这里，对选择两个基准第二候选位置作为基准第二候选位置且将配置在两个基准第二候选位置所夹的直线上的像素确定为第三候选位置的情况进行说明。
例如，如图6所示，对从界定分割搜索范围的外框的四个已算出候选位置(在图6中为P0、P2、P5、P6)中按规定成本从小到大的顺序选择两个基准第二候选位置(在图6中为P0、P2)的情况进行说明。在这样的情况下，精细化部111B将配置在两个基准第二候选位置所夹的直线上的像素(在图6中为P7、P8、P9)确定为第三候选位置。精细化部111B针对第三候选位置(在图6中为P7、P8、P9)计算出规定成本。这里，P7和P9是1/2像素，并且具有由整数像素进行插值的值。即，第三候选位置包括1/2像素。
或者，如图7所示，对从界定分割搜索范围的外框的四个已算出候选位置(在图7中为P0、P2、P5、P6)中按规定成本从小到大的顺序选择两个基准第二候选位置(在图7中为P0、P6)的情况进行说明。在这样的情况下，精细化部111B将配置在两个基准第二候选位置所夹的直线上的像素(在图7中为P7、P8、P9)确定为第三候选位置。精细化部111B针对第三候选位置(在图7中为P7、P8、P9)计算出规定成本。这里，P7和P9是1/2像素，并且具有由整数像素进行插值的值。即，第三候选位置包括1/2像素。
精细化部111B将已算出候选位置(P0、P2、P5～P9)中规定成本最小的位置确定为修正参考位置，并根据修正参考位置修正(位移)运动矢量。
预测信号生成部111C根据运动矢量生成预测信号。具体而言，预测信号生成部111C在运动矢量未被修正的情况下，根据从运动矢量检索部111A输入的运动矢量生成预测信号。另一方面，预测信号生成部111C在运动矢量被修正的情况下，根据从精细化部111B输入的已修正运动矢量生成预测信号。
(图像解码装置)
以下，对实施方式涉及的图像解码装置进行说明。图8是示出实施方式涉及的图像解码装置200的图。
如图8所示，图像解码装置200具有解码部210、逆变换和逆量化部220、加法器230、帧间预测部241、帧内预测部242、环路滤波处理部250以及帧缓冲器260。
解码部210对由图像编码装置100生成的编码数据进行解码，对系数等级值进行解码。例如，解码是与编码部140所进行的熵编码步骤相反的熵解码。
解码部210可以通过编码数据的解码处理来取得控制数据。如上所述，控制数据可以包括编码块尺寸、预测块尺寸、变换块尺寸等尺寸数据。控制数据也可以包括示出用于生成第二分量的预测样本的输入源的信息元素。
逆变换和逆量化部220对从解码部210输出的系数等级值进行逆变换处理。这里，逆变换和逆量化部220可以在逆变换处理之前，对系数等级值进行逆量化。逆变换处理和逆量化以与变换和量化部131进行的变换处理和量化相反的顺序进行。
加法器230将预测信号与从逆变换和逆量化部220输出的预测残差信号相加，并且将滤波处理前解码信号输出到帧内预测部262和环路滤波处理部250。滤波处理前解码信号构成帧内预测部262中使用的参考块。
帧间预测部241与帧间预测部111同样地，通过帧间预测(inter-frame prediction)来生成预测信号。具体而言，帧间预测部241根据从编码数据解码的运动矢量和参考帧中包含的参考信号，为每个预测块生成预测信号。帧间预测部241将预测信号输出到加法器230。
帧内预测部262与帧内预测部112同样地，通过帧内预测(intra-frame prediction)来生成预测信号。具体而言，帧内预测部262确定目标帧中包含的参考块，根据所确定的参考块为每个预测块生成预测信号。帧内预测部262将预测信号输出到加法器230。
环路滤波处理部250与环路滤波处理部150同样地，对从加法器230输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器260。例如，滤波处理是减少在块(编码块、预测块或变换块)的边界部分产生的失真的去块滤波处理。
帧缓冲器260与帧缓冲器160同样地，累积帧间预测部241中使用的参考帧。滤波处理后解码信号构成帧间预测部241中使用的参考帧。
(帧间预测部)
以下，对实施方式涉及的帧间预测部进行说明。图9是示出实施方式涉及的帧间预测部241的图。
如图9所示，帧间预测部241具有运动矢量解码部241A、精细化部241B和预测信号生成部241C。帧间预测部241是根据运动矢量来生成预测块中包含的预测信号的预测部的一个示例。
运动矢量解码部241A通过解码从图像编码装置100接收的控制数据来取得运动矢量。
精细化部241B与精细化部111B同样地，执行精细化处理，即，以由运动矢量确定的参考位置为基准来设定搜索范围，从搜索范围中确定规定成本最小的修正参考位置，根据修正参考位置来修正运动矢量。
预测信号生成部241C与预测信号生成部111C同样地，根据运动矢量生成预测信号。
(作用及效果)
在发明内容涉及的图像编码装置100和图像解码装置200中，执行第一处理和第二处理，所述第一处理为，针对用于界定目标搜索范围的外框的四个第一候选位置和参考位置计算出规定成本，所述第二处理为，确定用于界定分割目标搜索范围而得的分割搜索范围的外框的两个第二候选位置，针对两个第二候选位置计算出规定成本。即，通过从目标搜索范围的外侧搜索修正参考位置，可以在抑制要计算出规定成本的像素数的同时，适当地搜索修正参考位置。换句话说，可以减轻运动矢量的修正所带来的处理负荷而不降低运动矢量的修正精度。
在发明内容涉及的图像编码装置100和图像解码装置200中，继第一处理和第二处理之后，执行第三处理，即，根据界定分割搜索范围的外框(例如，四个角)的四个已算出候选位置中规定成本较小的基准第二候选位置来确定第三候选位置，针对第三候选位置计算出规定成本。第三候选位置是配置在两个基准第二候选位置所夹的直线上的像素。即，通过仅针对假定规定成本较小的位置计算出规定成本，可以在抑制要计算出规定成本的像素数的同时，适当地搜索修正参考位置。
[变形例1]
以下，对实施方式的变形例1进行说明。以下，主要对与实施方式的区别进行说明。
在实施方式中，第二处理的结果是，举例说明了选择两个基准第二候选位置作为基准第二候选位置的情况。与此相对，第二处理的结果是，对选择一个基准第二候选位置作为基准第二候选位置的情况进行说明。
具体而言，精细化部(精细化部111B和精细化部241B)在第三处理中，在选择参考位置作为基准第二候选位置的情况下，将在分割搜索范围内与参考位置相邻的像素确定为第三候选位置。
例如，如图10所示，在假定P0的规定成本小于P2、P5、P6各自的规定成本的代表值(最小值、最大值或平均值)的一定比例(例如，50％)的情况下，可以仅选择参考位置(在图9中为P0)作为基准第二候选位置。在这样的情况下，精细化部将在分割搜索范围内与参考位置相邻的像素(在图10中为P7、P8、P9)确定为第三候选位置。这里，P7～P9是1/2像素，并且具有由整数像素进行插值的值。即，第三候选位置包括1/2像素。
在图10中，举例说明了第三候选位置为1/2像素的情况，但变形例1并不限定于此。在分割搜索范围内与参考位置相邻的第三候选位置也可以是整数像素。
[变形例2]
以下，对实施方式的变形例2进行说明。以下，主要对与实施方式的区别进行说明。
在实施方式中，在第三处理中，也针对1/2像素(例如，图6所示的P7、P9)计算出规定成本。与此相对，在变形例2中，精细化部(精细化部111B和精细化部241B)仅针对整数像素计算出规定成本，而不针对1/2像素计算出规定成本。
例如，如图11所示，在P0和P2两者的规定成本小于P5、P6的规定成本的代表值(最小值、最大值或者平均值)的一定比例(例如，50％)的情况下，在从P0到P2的直线上，可以不计算出1/2像素的成本，而计算出整数像素(在图11中为P7)的规定成本。或者，在P5和P6两者的规定成本小于P0、P2的规定成本的代表值(最小值、最大值或平均值)的一定比例(例如，50％)的情况下，在从P5到P6的直线上，可以不计算出1/2像素的成本，而计算出整数像素(在图11中为P7)的规定成本。
[变形例3]
以下，对实施方式的变形例3进行说明。以下，主要对与实施方式的区别进行说明。
在实施方式中，举例说明了搜索范围与目标搜索范围相同的情况。与此相对，在变形例3中，对搜索范围(例如，在水平方向和垂直方向上±4的整数像素的范围)比目标搜索范围大的情况进行说明。在这样的情况下，精细化部(精细化部111B和精细化部241B)在精细化处理中，执行从搜索范围中确定目标搜索范围的处理。这样的处理在上述第一处理之前执行。
例如，如图12所示，精细化部可以将搜索范围分割为目标搜索范围A～目标搜索范围D，并且针对各个目标搜索范围进行与实施方式相同的处理。
或者，精细化部也可以从目标搜索范围A～目标搜索范围D中确定规定成本最小的目标搜索范围，并对所确定的目标搜索范围进行与实施方式相同的处理。目标搜索范围的规定成本可以是各个目标搜索范围的代表点(例如，中心点(P4、P5、P8、P9)，或者四个角(P1、P3、P10、P12))的规定成本。或者，目标搜索范围的规定成本也可以是各个目标搜索范围的两个以上的提取点(例如，如果是目标搜索范围A，则提取P0、P1、P2、P4、P6)的规定成本的总和。
如上所述，通过从搜索范围中确定目标搜索范围，能够在搜索范围比目标搜索范围大的情况下也应用上述实施方式。换句话说，即使在水平方向和垂直方向上±4以上的整数像素的范围是搜索范围，也能够应用上述实施方式。
[变形例4]
以下，对实施方式的变形例4进行说明。以下，主要对与实施方式的区别进行说明。
在预测块的块尺寸大于预定的块尺寸的情况下，可以将预测块分割为小于预定尺寸的子块组，并对每个子块进行运动矢量的精细化处理。作为分割方法，在正方形的情况下可以为4分割，在除此以外的情况下可以为2分割。
[其他实施方式]
通过上述实施方式对本发明进行了说明，但构成该公开的一部分的论述和附图不应该理解为限定本发明。根据这样的公开，本领域技术人员能够明确各种代替实施方式、实施例和应用技术。
在实施方式中，说明了目标搜索范围是在水平方向和垂直方向上±2的整数像素的范围的情况。但是，实施方式并非限定于此。目标搜索范围也可以是在水平方向和垂直方向上±1的整数像素的范围。在这样的情况下，通过第一处理和第二处理，计算出分割搜索范围中包含的全部整数像素的规定成本。通过第三处理，计算出从五个1/2像素的候选中选择的一个1/2像素的规定成本。或者，目标搜索范围也可以是在水平方向和垂直方向上±3的整数像素的范围。
在实施方式中，说明了在精细化处理中运动矢量在过去方向和未来方向上的位移相互联动的情况。但是，实施方式并非限定于此。运动矢量在过去方向和未来方向上的位移也可以不相互联动。
虽然在实施方式中没有特别提及，但可以提供使计算机执行图像编码装置100和图像解码装置200进行的各个处理的程序。另外，程序可以记录于计算机可读介质中。利用计算机可读介质，能够在计算机中安装程序。这里，记录了程序的计算机可读介质可以是非暂时性的记录介质。非暂时性的记录介质没有特别限定，例如可以是CD-ROM、DVD-ROM等记录介质。
或者，可以提供由存储器和处理器构成的芯片，所述存储器存储用于执行图像编码装置100和图像解码装置200进行的各个处理的程序，所述处理器执行存储于存储器的程序。
符号说明
10：图像处理系统；100：图像编码装置；111：帧间预测部；111A：运动矢量搜索部；111B：精细化部；111C：预测信号生成部；112：帧内预测部；121：减法器；122：加法器；131：变换和量化部；132：逆变换和逆量化部；140：编码部；150：环路滤波处理部；160：帧缓冲器；200：图像解码装置；210：解码部；220：逆变换和逆量化部；230：加法器；241：帧间预测部；241A：运动矢量解码部；241B：精细化部；241C：预测信号生成部；242：帧内预测部；250：环路滤波处理部；260：帧缓冲器

Claims (10)

1.一种图像解码装置，其具备：
预测部，其根据运动矢量生成预测块中包含的预测信号，
所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量，
所述预测部在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
2.根据权利要求1所述的图像解码装置，其中，
所述预测部在所述精细化处理中执行第三处理，即，
根据界定所述分割搜索范围的外框的四个已算出候选位置中所述规定成本较小的基准第二候选位置来确定第三候选位置，并针对所述第三候选位置计算出所述规定成本。
3.根据权利要求2所述的图像解码装置，其中，
所述预测部在所述第三处理中，在选择两个基准第二候选位置作为所述基准第二候选位置的情况下，将配置在所述两个基准第二候选位置所夹的直线上的像素确定为所述第三候选位置。
4.根据权利要求3所述的图像解码装置，其中，
所述第三候选位置包括1/2像素位置。
5.根据权利要求2所述的图像解码装置，其中，
所述预测部在所述第三处理中，在选择所述参考位置作为所述基准第二候选位置的情况下，将在所述分割搜索范围内与所述参考位置相邻的像素确定为所述第三候选位置。
6.根据权利要求5所述的图像解码装置，其中，
所述第三候选位置包括1/2像素位置。
7.根据权利要求1至5中任一项所述的图像解码装置，其中，
所述预测部在所述精细化处理中，在所述搜索范围大于所述目标搜索范围的情况下，执行从所述搜索范围中确定所述目标搜索范围的处理。
8.一种图像编码装置，其具备：
预测部，其根据运动矢量生成预测块中包含的预测信号，
所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量，
所述预测部在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
9.一种图像处理系统，其具备图像编码装置和图像解码装置，其中，
所述图像编码装置和所述图像解码装置具备：预测部，其根据运动矢量生成预测块中包含的预测信号，
所述预测部执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量，
所述预测部在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
10.一种程序，
其使计算机执行根据运动矢量生成预测信号的预测步骤，
所述预测步骤包括如下步骤：执行精细化处理，即，以由所述运动矢量确定的参考位置为基准来设定搜索范围，从所述搜索范围中确定规定成本最小的修正参考位置，根据所述修正参考位置来修正所述运动矢量，
在所述步骤中，在所述预测块的块尺寸大于预定的块尺寸的情况下，将所述预测块分割成子块组，并对每个所述子块进行所述精细化处理。
CN201980018417.1A 2018-09-21 2019-08-29 图像解码装置、图像编码装置、图像处理系统和程序 Active CN111837386B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-178101 2018-09-21
JP2018178101A JP6976916B2 (ja) 2018-09-21 2018-09-21 画像復号装置、画像符号化装置、画像処理システム及びプログラム
PCT/JP2019/034012 WO2020059459A1 (ja) 2018-09-21 2019-08-29 画像復号装置、画像符号化装置、画像処理システム及びプログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202411204881.9A Division CN118869986A (zh) 2018-09-21 2019-08-29 图像解码装置和编码装置、及处理系统和方法、程序产品
CN202411204885.7A Division CN118827973A (zh) 2018-09-21 2019-08-29 图像解码装置、图像编码装置、图像处理系统和程序产品
CN202411204883.8A Division CN118869987A (zh) 2018-09-21 2019-08-29 图像解码装置、图像编码装置、图像处理系统和程序产品

Publications (2)

Publication Number Publication Date
CN111837386A true CN111837386A (zh) 2020-10-27
CN111837386B CN111837386B (zh) 2024-09-20

Family

ID=69888732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980018417.1A Active CN111837386B (zh) 2018-09-21 2019-08-29 图像解码装置、图像编码装置、图像处理系统和程序

Country Status (5)

Country Link
US (4) US11438625B2 (zh)
EP (1) EP3855736A4 (zh)
JP (1) JP6976916B2 (zh)
CN (1) CN111837386B (zh)
WO (1) WO2020059459A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698509B (zh) 2019-03-11 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252766A1 (en) * 2003-06-11 2004-12-16 Daeyang Foundation (Sejong University) Motion vector search method and apparatus
US20100014588A1 (en) * 2008-07-16 2010-01-21 Sony Corporation, A Japanese Corporation Speculative start point selection for motion estimation iterative search
CN101699865A (zh) * 2009-10-28 2010-04-28 山东大学 一种块运动自适应的亚像素快速搜索方法
CN102835110A (zh) * 2010-02-09 2012-12-19 日本电信电话株式会社 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
CN102883159A (zh) * 2008-01-18 2013-01-16 松下电器产业株式会社 图像编码方法以及图像解码方法
US20160286232A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
US9967558B1 (en) * 2013-12-17 2018-05-08 Google Llc Adaptive motion search control for variable block size partitions in video coding
WO2018097693A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018110180A1 (ja) * 2016-12-15 2018-06-21 シャープ株式会社 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
EP3343924A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040106202A (ko) 2003-06-11 2004-12-17 학교법인 대양학원 움직임 벡터 탐색 방법 및 그 장치
US11575925B2 (en) * 2018-03-30 2023-02-07 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252766A1 (en) * 2003-06-11 2004-12-16 Daeyang Foundation (Sejong University) Motion vector search method and apparatus
CN102883159A (zh) * 2008-01-18 2013-01-16 松下电器产业株式会社 图像编码方法以及图像解码方法
US20100014588A1 (en) * 2008-07-16 2010-01-21 Sony Corporation, A Japanese Corporation Speculative start point selection for motion estimation iterative search
CN101699865A (zh) * 2009-10-28 2010-04-28 山东大学 一种块运动自适应的亚像素快速搜索方法
CN102835110A (zh) * 2010-02-09 2012-12-19 日本电信电话株式会社 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
US9967558B1 (en) * 2013-12-17 2018-05-08 Google Llc Adaptive motion search control for variable block size partitions in video coding
US20160286232A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
WO2018097693A2 (ko) * 2016-11-28 2018-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018110180A1 (ja) * 2016-12-15 2018-06-21 シャープ株式会社 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
EP3343924A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information

Also Published As

Publication number Publication date
EP3855736A1 (en) 2021-07-28
US20210203981A1 (en) 2021-07-01
JP2020053723A (ja) 2020-04-02
US20220345740A1 (en) 2022-10-27
US20240114165A1 (en) 2024-04-04
EP3855736A4 (en) 2022-08-03
US11627336B2 (en) 2023-04-11
US20230209086A1 (en) 2023-06-29
WO2020059459A1 (ja) 2020-03-26
CN111837386B (zh) 2024-09-20
US11438625B2 (en) 2022-09-06
JP6976916B2 (ja) 2021-12-08
US11882308B2 (en) 2024-01-23

Similar Documents

Publication Publication Date Title
JP6961115B2 (ja) 画像復号装置、画像復号方法及びプログラム
US20240114165A1 (en) Image decoding device, image encoding device, image processing system, and program
JP2024029090A (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP7026286B1 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP6914462B2 (ja) 画像復号装置、画像復号方法及びプログラム
CN118827973A (zh) 图像解码装置、图像编码装置、图像处理系统和程序产品
CN118869986A (zh) 图像解码装置和编码装置、及处理系统和方法、程序产品
CN118869987A (zh) 图像解码装置、图像编码装置、图像处理系统和程序产品
JP7034363B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP7061737B1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7083971B1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2020184262A1 (ja) 画像復号装置、画像復号方法及びプログラム
EP3989570A1 (en) Image decoding device, image decoding method, and program
US20210185344A1 (en) Image decoding device, image encoding device, program, and image processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant