CN113545082A - 图像解码装置、图像解码方法和程序 - Google Patents

图像解码装置、图像解码方法和程序 Download PDF

Info

Publication number
CN113545082A
CN113545082A CN202080019761.5A CN202080019761A CN113545082A CN 113545082 A CN113545082 A CN 113545082A CN 202080019761 A CN202080019761 A CN 202080019761A CN 113545082 A CN113545082 A CN 113545082A
Authority
CN
China
Prior art keywords
motion vector
block
thinning
prediction signal
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080019761.5A
Other languages
English (en)
Other versions
CN113545082B (zh
Inventor
海野恭平
河村圭
内藤整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to CN202310232278.0A priority Critical patent/CN116193144A/zh
Priority to CN202310256037.XA priority patent/CN116208776A/zh
Priority to CN202310231395.5A priority patent/CN116193143A/zh
Priority to CN202310232541.6A priority patent/CN116193145A/zh
Publication of CN113545082A publication Critical patent/CN113545082A/zh
Application granted granted Critical
Publication of CN113545082B publication Critical patent/CN113545082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像解码装置(200)，其具有：运动矢量解码部(241B)，其被配置为从编码数据中解码运动矢量；细化部(241C)，其被配置为进行修正解码出的运动矢量的细化处理；以及预测信号生成部(241D)，其被配置为基于从细化部(241C)输出的、修正的运动矢量来生成预测信号，预测信号生成部(241D)被配置为基于细化处理的过程中计算出的信息来判定是否对每个块应用BDOF处理。

Description

图像解码装置、图像解码方法和程序
技术领域
本发明涉及一种图像解码装置、图像解码方法和程序。
背景技术
以往，关于BODF(Bi-Directional Optical Flow：双向光流)技术，公开了如下技术：为了缩短软件的执行时间，在计算BDOF处理中使用的两个参考图像间的像素值的绝对值差分和，且这样的绝对值差分和小于预定阈值的情况下，跳过该块中的BDOF处理(例如，参照非专利文献1)。
另一方面，从减少硬件实现时的处理延迟的观点来看，还公开了一种删除基于上述绝对值差分和的计算的BDOF的跳过处理的技术(例如，参照非专利文献2)。
现有技术文献
非专利文献
非专利文献1：Versatile Video Coding(Draft 4)、JVET-M1001
非专利文献2：CE9-related：BDOF buffer reduction and enabling VPDU basedapplication、JVET-M0890
发明内容
发明要解决的课题
然而，例如，在非专利文献1所公开的技术中存在如下问题：当通过软件实现这样的技术时能够缩短执行时间，但当通过硬件实现时执行时间增加。
另一方面，在非专利文献2所公开的技术中存在如下问题：能够缩短硬件中的执行时间，但软件中的执行时间增加。
因此，在上述那样的现有技术中，存在无法在软件实现时和硬件实现时都缩短处理时间的问题。
因此，本发明是鉴于上述课题而完成的，其目的在于提供如下的图像解码装置、图像解码方法和程序：使用在BDOF处理之前进行的细化处理的过程中计算出的信息来控制BDOF处理的应用与否，由此，从硬件实现的观点来看，能够通过沿用已经计算出的值来减少处理量，且从软件实现的观点来看，能够通过减少应用BDOF处理的块数来缩短处理时间。
用于解决课题的手段
本发明的第一特征的主旨在于，一种图像解码装置，具有：运动矢量解码部，其被配置为从编码数据中解码运动矢量；细化部，其被配置为进行修正解码出的所述运动矢量的细化处理；以及预测信号生成部，其被配置为基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，所述预测信号生成部被配置为基于所述细化处理的过程中计算出的信息来判定是否对每个块应用BDOF处理。
本发明的第二特征的主旨在于，一种图像解码装置，具有：运动矢量解码部，其被配置为从编码数据中解码运动矢量；细化部，其被配置为进行修正解码出的所述运动矢量的细化处理；以及预测信号生成部，其被配置为基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，所述预测信号生成部被配置为在满足应用条件的情况下应用BDOF处理，所述应用条件是如下条件：所述运动矢量以Symmetric MVD模式被编码，且在所述Symmetric MVD模式下传输的差分运动矢量的大小在预先设定的阈值以内。
本发明的第三特征的主旨在于，具有：步骤A，从编码数据中解码运动矢量；步骤B，进行修正解码出的所述运动矢量的细化处理；以及步骤C，基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，在所述步骤C中，基于所述细化处理的过程中计算出的信息来判定是否对每个块应用BDOF处理。
本发明的第四特征的主旨在于，一种程序，其用在图像解码装置中，其使计算机执行以下步骤：步骤A，从编码数据中解码运动矢量；步骤B，进行修正解码出的所述运动矢量的细化处理；以及步骤C，基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，在所述步骤C中，基于所述细化处理的过程中计算出的信息来判定是否对每个块应用BDOF处理。
发明效果
根据本发明，能够提供一种在硬件实现时和软件实现时都能够减少与BDOF处理相关的处理量的图像解码装置、图像解码方法和程序。
附图说明
图1是示出一个实施方式的图像处理系统10的结构的一个示例的图。
图2是示出一个实施方式的图像编码装置100的功能块的一个示例的图。
图3是示出一个实施方式的图像编码装置100的帧间预测部111的功能块的一个示例的图。
图4是示出一个实施方式的运动图像解码装置30的帧间预测部111的细化部111C的处理过程的一个示例的流程图。
图5是示出一个实施方式的运动图像解码装置30的帧间预测部111的预测信号生成部111D的处理过程的一个示例的流程图。
图6是示出一个实施方式的图像编码装置100的环内滤波处理部150的功能块的一个示例的图。
图7是用于说明由一个实施方式的图像编码装置100的环内滤波处理部150的边界强度判定部153进行的判定的一个示例的图。
图8是示出一个实施方式的图像解码装置200的功能块的一个示例的图。
图9是示出一个实施方式的图像解码装置200的帧间预测部241的功能块的一个示例的图。
图10是示出一个实施方式的图像解码装置200的环内滤波处理部250的功能块的一个示例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。此外，以下的实施方式中的构成要素可以适当地与现有的构成要素等进行置换，另外，可以进行包括与其他现有的构成要素的组合在内的各种变形。因此，以下的实施方式的记载并非对权利要求书所记载的发明的内容的限定。
(第一实施方式)
以下，参照图1至图10对本发明的第一实施方式的图像处理系统10进行说明。图1是示出本实施方式的图像处理系统10的图。
如图1所示，图像处理系统10具有图像编码装置100和图像解码装置200。
图像编码装置100被配置为通过对输入图像信号进行编码来生成编码数据。图像解码装置200被配置为通过对编码数据进行解码来生成输出图像信号。
其中，这样的编码数据可以经由传输路径从图像编码装置100发送到图像解码装置200。另外，编码数据也可以在保存在存储介质后，从图像编码装置100提供至图像解码装置200。
(图像编码装置100)
以下，参照图2对本实施方式的图像编码装置100进行说明。图2是示出本实施方式的图像编码装置100的功能块的一个示例的图。
如图2所示，图像编码装置100具有帧间预测部111、帧内预测部112、减法器121、加法器122、变换和量化部131、逆变换和逆量化部132、编码部140、环内滤波处理部150和帧缓冲器160。
帧间预测部111被配置为通过帧间预测(inter-frame prediction)来生成预测信号。
具体地，帧间预测部111被配置为通过对编码目标帧(以下称为目标帧)与保存在帧缓冲器160中的参考帧进行比较，来确定参考帧中包含的参考块，决定针对所确定的参考块的运动矢量。
另外，帧间预测部111被配置为基于参考块和运动矢量为每个预测块生成预测块中包含的预测信号。帧间预测部111被配置为将预测信号输出到减法器121和加法器122。其中，参考帧是与目标帧不同的帧。
帧内预测部112被配置为通过帧内预测(intra-frame prediction)来生成预测信号。
具体地，帧内预测部112被配置为确定目标帧中包含的参考块，并且基于所确定的参考块为每个预测块生成预测信号。另外，帧内预测部112被配置为将预测信号输出到减法器121和加法器122。
其中，参考块是针对预测目标块(以下称为目标块)而参考的块。例如，参考块是与目标块相邻的块。
减法器121被配置为从输入图像信号中减去预测信号，并且将预测残差信号输出到变换和量化部131。其中，减法器121被配置为生成预测残差信号，该预测残差信号是通过帧内预测或帧间预测生成的预测信号与输入图像信号之间的差分。
加法器122被配置为将预测信号与从逆变换和逆量化部132输出的预测残差信号相加来生成滤波处理前解码信号，并且将这样的滤波处理前解码信号输出到帧内预测部112和环内滤波处理部150。
其中，滤波处理前解码信号构成帧内预测部112中使用的参考块。
变换和量化部131被配置为进行预测残差信号的变换处理，并且获取系数等级值。进一步地，变换和量化部131也可以被配置为进行系数等级值的量化。
其中，变换处理是将预测残差信号变换为频率分量信号的处理。在这样的变换处理中，可以使用与离散余弦变换(DCT：Discrete Cosine Transform)对应的基本模式(变换矩阵)，也可以使用与离散正弦变换(DST：Discrete Sine Transform)对应的基本模式(变换矩阵)。
逆变换和逆量化部132被配置为对从变换和量化部131输出的系数等级值进行逆变换处理。其中，逆变换和逆量化部132也可以被配置为在逆变换处理之前进行系数等级值的逆量化。
其中，逆变换处理和逆量化按照与由变换和量化部131进行的变换处理和量化相反的过程来进行。
编码部140被配置为对从变换和量化部131输出的系数等级值进行编码，并且输出编码数据。
其中，例如，编码是基于系数等级值的发生概率来分配不同长度的代码的熵编码。
另外，编码部140被配置为除了系数等级值之外，还对解码处理中使用的控制数据进行编码。
其中，控制数据可以包括编码块(CU：Coding Unit)尺寸、预测块(PU：PredictionUnit)尺寸、变换块(TU：Transform Unit)尺寸等尺寸数据。
环内滤波处理部150被配置为对从加法器122输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器160。
其中，例如，滤波处理是减少在块(编码块、预测块或变换块)的边界部分产生的失真的去块滤波处理。
帧缓冲器160被配置为累积帧间预测部111中使用的参考帧。
其中，滤波处理后解码信号构成帧间预测部111中使用的参考帧。
(帧间预测部111)
以下，参照图3对本实施方式的图像编码装置100的帧间预测部111进行说明。图3是示出本实施方式的图像编码装置100的帧间预测部111的功能块的一个示例的图。
如图3所示，帧间预测部111具有运动矢量搜索部111A、运动矢量编码部111B、细化部111C和预测信号生成部111D。
帧间预测部111是预测部的一个示例，该预测部被配置为基于运动矢量来生成预测块中包含的预测信号。
运动矢量搜索部111A被配置为通过对目标帧与参考帧进行比较，来确定参考帧中包含的参考块，搜索针对所确定的参考块的运动矢量。
另外，对多个参考帧候选进行上述搜索处理，并决定该预测块中用于预测的参考帧和运动矢量。针对一个块最多可以使用参考帧和运动矢量各两个。将针对一个块仅使用一组参考帧和运动矢量的情况称为单预测，将使用两组参考帧和运动矢量的情况称为双预测。以下，将第一组称为L0，将第二组称为L1。
进一步地，运动矢量搜索部111A被配置为决定参考帧和运动矢量的编码方法。除了分别传输参考帧和运动矢量的信息的通常的方法以外，编码方法还包括后述的合并模式、非专利文献2所记载的Symmetric MVD模式等。
此外，关于运动矢量的搜索方法、参考帧的决定方法、以及参考帧和运动矢量的编码方法的决定方法，可以采用已知的方法，因此省略其详细说明。
运动矢量编码部111B被配置为使用由运动矢量搜索部111A决定的编码方法对同样由运动矢量搜索部111A决定的参考帧和运动矢量的信息进行编码。
在该块的编码方法是合并模式的情况下，首先创建该块的合并列表。合并列表是列举了参考帧和运动矢量的多个组合的列表。各组合中分配有索引，代替分别对参考帧和运动矢量的信息进行编码，仅对上述索引进行编码，并将其向解码侧传输。在编码侧和解码侧共用合并列表的创建方法，由此，能够在解码侧仅从索引信息中解码出参考帧和运动矢量的信息。关于合并列表的创建方法，可以采用已知的方法，因此省略其详细说明。
Symmetric MVD模式是仅能够在该块中进行双预测的情况下使用的编码方法。在Symmetric MVD模式中，仅对要向解码侧传输的信息即两个(L0、L1)参考帧和两个(L0、L1)运动矢量中的L0的运动矢量(差分运动矢量)进行编码。通过预先决定的方法在编码侧和解码侧分别唯一地决定剩余的L1的运动矢量和两个参考帧的信息。
关于运动矢量信息的编码，首先生成编码目标运动矢量的预测值即预测运动矢量，对预测运动矢量与实际想要编码的运动矢量的差分值即差分运动矢量进行编码。
在Symmetric MVD模式中，作为L1的差分运动矢量，使用对编码后的L0的差分运动矢量的代码进行反转而获得的矢量。关于具体的方法，例如能够使用非专利文献2所记载的方法。
细化部111C被配置为进行修正由运动矢量编码部111B编码的运动矢量的细化处理(例如，DMVR)。
具体地，细化部111C被配置为进行如下细化处理：以通过由运动矢量编码部111B编码的运动矢量确定的参考位置为基准来设定搜索范围，从搜索范围中确定预定成本最小的修正参考位置，并且基于修正参考位置来修正运动矢量。
图4是示出细化部111C的处理过程的一个示例的流程图。
如图4所示，在步骤S41中，细化部111C判定用于应用细化处理的预定条件是否满足。在预定条件全部满足的情况下，本处理过程进入步骤S42。在预定条件中的任意一个未满足的情况下，本处理过程进入步骤S45，结束细化处理。
其中，预定条件包括该块是进行双预测的块的条件。
进一步地，预定条件也可以包括运动矢量以合并模式被编码的条件。
另外，预定条件也可以包括运动矢量以Symmetric MVD模式被编码的条件。
进一步地，预定条件也可以包括以下条件：运动矢量以Symmetric MVD模式被编码，且在Symmetric MVD模式下传输的差分运动矢量(L0的MVD)的大小在预先设定的阈值以内。
其中，差分运动矢量的大小例如可以用差分运动矢量的水平和垂直方向分量各自的绝对值来定义。
作为这样的阈值，可以对运动矢量的水平和垂直方向分量分别使用不同的阈值，也可以对水平和垂直方向分量使用共用的阈值。另外，也可以将阈值的值设定为0。在该情况下，意味着预测运动矢量和待编码的运动矢量是相同的值。另外，阈值也可以由最小值和最大值定义。在该情况下，作为预定条件，包括差分运动矢量的值或绝对值为预先决定的最小值以上且最大值以下的条件。
另外，预定条件也可以包括运动矢量以合并模式或Symmetric MVD模式被编码的条件。同样地，预定条件也可以包括如下条件：运动矢量以合并模式或Symmetric MVD模式被编码，且在以Symmetric MVD模式被编码的情况下传输的差分运动矢量的大小在预先设定的阈值以内。
在步骤S42中，细化部111C基于由运动矢量编码部111B编码的运动矢量和参考帧的信息来生成搜索用图像。
其中，在运动矢量指向非整数像素位置的情况下，细化部111C将滤波器应用于参考帧的像素值来内插非整数像素位置的像素。此时，细化部111C能够通过使用抽头数比后述的预测信号生成部111D中使用的内插滤波器少的内插滤波器来减少运算量。例如，细化部111C能够通过双线性插值来内插非整数像素位置的像素值。
在步骤S43中，细化部111C使用在步骤S42中生成的搜索用图像来进行整数像素精度下的搜索。其中，整数像素精度意味着以由运动矢量编码部111B编码的运动矢量为基准仅搜索成为整数像素间隔的点。
细化部111C通过步骤S42中的搜索来决定整数像素间隔位置处的修正后的运动矢量。作为搜索方法，可以使用已知的方法。例如，细化部111C也可以通过如下方法进行搜索：仅搜索成为仅对L0侧和L1侧的差分运动矢量的代码进行反转而获得的组合的点。其中，作为步骤S43中的搜索的结果，也有可能是与搜索前的运动矢量相同的值。
在步骤S44中，细化部111C将在步骤S43中决定的整数像素精度下的修正后的运动矢量作为初始值来进行非整数像素精度下的运动矢量搜索。作为运动矢量的搜索方法，可以使用已知的方法。
另外，细化部111C也可以实际上不进行搜索，而将步骤S43的结果作为输入，使用抛物线拟合等参数模型来决定非整数像素精度下的矢量。
细化部111C在步骤S44中决定非整数像素精度下的修正后的运动矢量，然后进入步骤S45并结束细化处理。在此，为了方便起见，使用了非整数像素精度的修正后运动矢量这样的表达，但根据步骤S44的搜索结果，结果也有可能是与步骤S43中求出的整数像素精度的运动矢量相同的值。
细化部111C也可以将比预先决定的阈值大的块分割为较小的子块，并对每个子块执行细化处理。例如，细化部111C能够将细化处理的执行单位预先设定为16×16个像素，并在块的水平方向或垂直方向上的尺寸大于16个像素的情况下，分别分割为16个像素以下。此时，作为成为细化处理的基准的运动矢量，对于同一块内的所有子块，使用由运动矢量编码部111B编码的该块的运动矢量。
在对每个子块进行处理的情况下，细化部111C可以对每个子块执行图4的所有过程。另外，细化部111C可以对每个子块仅进行图4的处理的一部分。具体地，细化部111C可以对每个块进行图4的步骤S41和S42的处理，对每个子块仅进行步骤S43和S44的处理。
预测信号生成部111D被配置为基于从细化部111C输出的、修正的运动矢量来生成预测信号。
其中，如后所述，预测信号生成部111D被配置为基于在上述细化处理的过程中计算出的信息(例如，搜索成本)来判定是否对每个块进行BDOF处理。
具体地，预测信号生成部111D被配置为在运动矢量未被修正的情况下，基于由运动矢量编码部111B编码的运动矢量来生成预测信号。另一方面，预测信号生成部111D被配置为在运动矢量被修正的情况下，基于由细化部111C修正的运动矢量来生成预测信号。
图5是示出预测信号生成部111D的处理过程的一个示例的流程图。
其中，在细化部111C以子块为单位进行了细化处理的情况下，预测信号生成部111D的处理也以子块为单位来执行。在该情况下，以下的说明中的块这样的单词能够适当地替换为子块。
如图5所示，在步骤S51中，预测信号生成部111D生成预测信号。
具体地，预测信号生成部111D将由运动矢量编码部111B编码的运动矢量或由细化部111C编码的运动矢量作为输入，并在这样的运动矢量所指向的位置是非整数像素位置的情况下，将滤波器应用于参考帧的像素值来内插非整数像素位置的像素。其中，关于具体的滤波器，可以应用非专利文献3所公开的最多8抽头的水平垂直可分离式的滤波器。
在该块是进行双预测的块的情况下，生成基于第一个(以后称为L0)参考帧和运动矢量的预测信号、以及基于第二个(以后称为L1)参考帧和运动矢量的预测信号这两者。
在步骤S52中，预测信号生成部111D确认是否满足后述的BDOF(Bi-DirectionalOptical Flow)应用条件。
作为这样的应用条件，可以应用非专利文献3所记载的条件。应用条件至少包括该块是进行双预测的块的条件。另外，应用条件也可以如非专利文献1所记载那样，包括该块的运动矢量未以Symmetric MVD模式被编码的条件。
另外，应用条件也可以包括如下条件：该块的运动矢量未以Symmetric MVD模式被编码、或者在以Symmetric MVD模式被编码的情况下传输的差分运动矢量的大小在预先设定的阈值以内。其中，差分运动矢量的大小能够通过与上述步骤S41同样的方法来判定。阈值的值也可以与上述步骤S41同样地设定为0。
在应用条件未满足的情况下，本处理过程转到步骤S55而结束处理。此时，预测信号生成部111D将在步骤S51中生成的预测信号作为最终的预测信号输出。
另一方面，在应用条件全部满足的情况下，本处理过程进入步骤S53。在步骤S53中，本处理过程对满足应用条件的块实际判定是否执行步骤S54的BDOF处理。
例如，预测信号生成部111D计算L0的预测信号与L1的预测信号的绝对值差分和，并在其值为预先决定的阈值以下的情况下判定不进行BDOF处理。
其中，对于由细化部111C执行了细化处理的块，预测信号生成部111D也可以将细化处理的结果用于BDOF的有无应用。
例如，实施了细化处理的结果是，在修正前后的运动矢量的差分为预先决定的阈值以下的情况下，预测信号生成部111D能够判断不应用BDOF。在针对水平和垂直方向分量将这样的阈值都设定为“0”的情况下，实施了细化处理的结果等同于在运动矢量与修正前相比未变化的情况下判定不应用BDOF处理。
预测信号生成部111D也可以使用在上述细化处理的过程中计算出的搜索成本(例如，L0侧的参考块的像素值与L1侧的参考块的像素值的绝对值差分和)来判定是否应用BDOF。
此外，以下，以使用绝对值差分和作为搜索成本的情况为例进行说明，但也可以使用其他指标作为搜索成本。例如，只要是用于判断图像信号之间的相似性的指标值即可，例如去除局部平均值后的信号之间的绝对值差分和、平方误差和。
例如，在步骤S43中的整数像素位置搜索中，在上述搜索成本(绝对值差分和)最小的搜索点的绝对值差分和小于预先决定的阈值的情况下，预测信号生成部111D可以判定不应用BDOF。
另外，预测信号生成部111D也可以组合如下方法来判定BFOF处理的应用与否：使用上述细化处理前后的运动矢量的变化的方法；以及使用上述细化处理的搜索成本的方法。
例如，在细化处理前后的运动矢量的差分为预先决定的阈值以下，且细化处理的搜索成本为预先决定的阈值以下的情况下，预测信号生成部111D可以判定不应用BDOF处理。
其中，在将细化处理前后的运动矢量的差分的阈值设为0的情况下，被判定为上述搜索成本的是细化处理前的运动矢量(＝细化处理后的运动矢量)所指向的参考块之间的绝对值差分和。
另外，预测信号生成部111D也可以在被执行了细化处理的块中通过基于细化处理的结果的方法来进行判断，而在除此以外的块中通过基于绝对值差分和的方法来进行判断。
另外，预测信号生成部111D也可以采用如下结构：如上所述，不进行重新计算L0侧的预测信号与L1侧的预测信号的绝对值差分和的处理，而仅使用从细化处理的结果获得的信息来判定BDOF的应用与否。在该情况下，在步骤S53中，预测信号生成部111D判断对未被执行细化处理的块始终应用BDOF。
根据这样的结构，在该情况下，不需要进行预测信号生成部111D中的绝对值差分和的计算处理，因此从硬件实现的观点来看能够减少处理量和处理延迟。
另外，根据这样的结构，从软件实现的观点来看，使用细化处理的结果以使得在推测为BDOF处理的效果较低的块中不执行BDOF处理，由此能够维持编码效率并且缩短整个图像的处理时间。
另外，使用上述细化处理的结果的判定处理自身在细化部111C的内部执行，表示其结果的信息传递到预测信号生成部111D，由此预测信号生成部111D也可以判定BDOF处理的应用与否。
例如，如上所述，判定细化处理前后的运动矢量、搜索成本的值，预先准备一个标志，该标志在符合不应用BDOF的条件的情况下为“1”，并且在不符合不应用BDOF的条件且未应用细化处理的情况下为“0”，由此预测信号生成部111D可以参考这样的标志的值来判定BDOF的应用与否。
另外，在此，为了方便起见，将步骤S52和步骤S53作为不同的步骤进行了说明，但也可以同时进行步骤S52和步骤S53中的判定。
在上述判定中，对于判定为不应用BDOF的块，本处理过程转到到步骤S55。对于除此以外的块，本处理过程进入步骤S54。
在步骤S54中，预测信号生成部111D执行BDOF处理。BDOF处理自身可以使用已知的方法，因此省略详细说明。在实施了BDOF处理之后，本处理过程进入步骤S55并结束处理。
(环内滤波处理部150)
以下，对本实施方式的环内滤波处理部150进行说明。图6是示出本实施方式的环内滤波处理部150的图。
如图6所示，环内滤波处理部150具有目标块边界检测部151、相邻块边界检测部152、边界强度判定部153、滤波器决定部154和滤波处理部155。
其中，在末尾附加有“A”的结构是与垂直方向的块边界的去块滤波处理相关的结构，在末尾附加有“B”的结构是与水平方向的块边界的去块滤波处理相关的结构。
以下，对进行垂直方向的块边界的去块滤波处理之后进行水平方向的块边界的去块滤波处理的情况进行例示。
如上所述，去块滤波处理可以应用于编码块，也可以应用于预测块，还可以应用于变换块。另外，也可以应用于将上述各块分割而成的子块。即，目标块和相邻块可以是编码块，也可以是预测块，也可以是变换块，还可以是将它们分割而成的子块。
子块的定义包括作为细化部111C和预测信号生成部111D的处理单位而说明的子块。在将去块滤波器应用于子块的情况下，能够适当地将以下说明中的块替换为子块。
由于垂直方向的块边界的去块滤波处理和水平方向的块边界的去块滤波处理是同样的处理，因此以下对垂直方向的块边界的去块滤波处理进行说明。
目标块边界检测部151A被配置为基于表示目标块的块尺寸的控制数据来检测目标块的边界。
相邻块边界检测部152A被配置为基于表示相邻块的块尺寸的控制数据来检测相邻块的边界。
边界强度判定部153A被配置为判定目标块与相邻块的块边界的边界强度。
另外，边界强度判定部153A也可以被配置为基于控制数据来判定块边界的边界强度，该控制数据表示目标块和相邻块是否为帧内预测块。
例如，如图7所示，边界强度判定部153A也可以被配置为在目标块和相邻块中的至少一个块为帧内预测块的情况下(即，在块边界的两侧的块中的至少一个为帧内预测块的情况下)，判定块边界的边界强度为“2”。
另外，边界强度判定部153A也可以被配置为基于控制数据来判定块边界的边界强度，该控制数据表示目标块和相邻块中是否包含非零(零)的正交变换系数、以及块边界是否为变换块的边界。
例如，如图7所示，边界强度判定部153A也可以被配置为在目标块和相邻块中的至少一个块包含非零的正交变换系数且块边界是变换块的边界的情况下(即，在块边界的两侧的块中的至少一个中存在非零的变换系数且为TU的边界的情况下)，判定块边界的边界强度为“1”。
另外，边界强度判定部153A也可以被配置为基于控制数据来判定块边界的边界强度，该控制数据表示目标块与相邻块的运动矢量的差的绝对值是否为阈值(例如1个像素)以上。
例如，如图7所示，边界强度判定部153A也可以被配置为在目标块与相邻块的运动矢量的差的绝对值为阈值(例如1个像素)以上的情况下(即，在块边界的两侧的块的运动矢量的差的绝对值为阈值(例如1个像素)以上的情况下)，判定块边界的边界强度为“1”。
另外，边界强度判定部153A也可以被配置为基于控制数据来判定块边界的边界强度，该控制数据表示目标块和相邻块的运动矢量的预测中参考的参考块是否不同。
例如，如图7所示，边界强度判定部153A也可以被配置为在目标块和相邻块的运动矢量的预测中参考的参考块不同的情况下(即，在块边界的两侧的块中参考图像不同的情况下)，判定块边界的边界强度为“1”。
边界强度判定部153A也可以被配置为基于控制数据来判定块边界的边界强度，该控制数据表示目标块和相邻块的运动矢量的数量是否不同。
例如，如图7所示，边界强度判定部153A也可以被配置为在目标块和相邻块的运动矢量的数量不同的情况下(即，在块边界的两侧的块中运动矢量的数量不同的情况下)，判定块边界的边界强度为“1”。
边界强度判定部153A也可以被配置为根据是否对目标块和相邻块应用了由细化部111C进行的细化处理来判定块边界的边界强度。
例如，如图7所示，边界强度判定部153A也可以被配置为在目标块和相邻块均为通过细化部111C应用了细化处理的块的情况下，判定块边界的边界强度为“1”。
其中，边界强度判定部153A也可以在图4的步骤S41中的预定条件全部满足时判断在该块中“应用了细化处理”。另外，预先准备了表示图4的步骤S41的判定结果的标志，边界强度判定部153A也可以被配置为根据标志的值来判断有无应用细化处理。
另外，边界强度判定部153A也可以被配置为在目标块或相邻块中的至少一个是应用了由细化部111C进行的细化处理的块的情况下，判定块边界的边界强度为“1”。
或者，边界强度判定部153A也可以被配置为在该边界是由细化部111C进行的细化处理中的子块边界的情况下，判定块边界的边界强度为“1”。
进一步地，边界强度判定部153A也可以被配置为在块边界的两侧的块中的至少一个应用了DMVR的情况下，判定块边界的边界强度为“1”。
例如，如图7所示，边界强度判定部153A也可以被配置为在上述条件均不满足的情况下，判定块边界的边界强度为“0”。
此外，边界强度的值越大，在块边界处产生的块失真大的可能性越高。
上述边界强度判定方法可以使用对亮度信号和色差信号共用的方法来进行判定，也可以使用部分不同的条件来进行判定。例如，可以将与上述细化处理相关的条件应用于亮度信号和色差信号两者，也可以仅应用于亮度信号或者仅应用于色差信号。
另外，被称为SPS(Sequence Parameter Set：序列参数集)、PPS(PictureParameter Set：图像参数集)的报头可以具备对在边界强度的判定时是否考虑细化处理的结果进行控制的标志。
滤波器决定部154A被配置为决定应用于块边界的滤波处理(例如，去块滤波处理)的种类。
例如，滤波器决定部154A也可以被配置为基于块边界的边界强度、目标块和相邻块中包含的量化参数等，来决定是否对块边界应用滤波处理、以及应用弱滤波处理和强滤波处理中的哪种滤波处理。
滤波器决定部154A也可以被配置为在块边界的边界强度为“0”的情况下，决定不应用滤波处理。
滤波处理部155A被配置为基于滤波器决定部154A的决定来进行对去块前图像的处理。对去块前图像的处理是无滤波处理、弱滤波处理、强滤波处理等。
(图像解码装置200)
以下，参照图8对本实施方式的图像解码装置200进行说明。图8是示出本实施方式的图像解码装置200的功能块的一个示例的图。
如图8所示，图像解码装置200具有解码部210、逆变换和逆量化部220、加法器230、帧间预测部241、帧内预测部242、环内滤波处理部250和帧缓冲器260。
解码部210被配置为对由图像编码装置100生成的编码数据进行解码，并且对系数等级值进行解码。
其中，例如，解码是与由编码部140进行的熵编码相反的过程的熵解码。
另外，解码部210也可以被配置为通过对编码数据进行解码处理来获取控制数据。
此外，如上所述，控制数据也可以包含编码块尺寸、预测块尺寸和变换块尺寸等尺寸数据。
逆变换和逆量化部220被配置为进行从解码部210输出的系数等级值的逆变换处理。其中，逆变换和逆量化部220也可以被配置为在逆变换处理之前进行系数等级值的逆量化。
其中，逆变换处理和逆量化按照与由变换和量化部131进行的变换处理和量化相反的过程来进行。
加法器230被配置为将预测信号与从逆变换和逆量化部220输出的预测残差信号相加来生成滤波处理前解码信号，并且将滤波处理前解码信号输出到帧内预测部242和环内滤波处理部250。
其中，滤波处理前解码信号构成帧内预测部242中使用的参考块。
帧间预测部241与帧间预测部111同样地，被配置为通过帧间预测(inter-frameprediction)来生成预测信号。
具体地，帧间预测部241被配置为基于从编码数据解码的运动矢量和参考帧中包含的参考信号，为每个预测块生成预测信号。帧间预测部241被配置为将预测信号输出到加法器230。
帧内预测部242与帧内预测部112同样地，被配置为通过帧内预测(intra-frameprediction)来生成预测信号。
具体地，帧内预测部242被配置为确定目标帧中包含的参考块，并基于所确定的参考块为每个预测块生成预测信号。帧内预测部242被配置为将预测信号输出到加法器230。
环内滤波处理部250与环内滤波处理部150同样地，被配置为对从加法器230输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器260。
其中，例如，滤波处理是减少在块(编码块、预测块、变换块、或者通过将这些块分割而成的子块)的边界部分产生的失真的去块滤波处理。
帧缓冲器260与帧缓冲器160同样地，被配置为累积帧间预测部241中使用的参考帧。
其中，滤波处理后解码信号构成帧间预测部241中使用的参考帧。
(帧间预测部241)
以下，参照图9对本实施方式的帧间预测部241进行说明。图9是示出本实施方式的帧间预测部241的功能块的一个示例的图。
如图9所示，帧间预测部241具有运动矢量解码部241B、细化部241C和预测信号生成部241D。
帧间预测部241是预测部的一个示例，该预测部被配置为基于运动矢量来生成预测块中包含的预测信号。
运动矢量解码部241B被配置为通过对从图像编码装置100接收的控制数据进行解码来获取运动矢量。
细化部241C与细化部111C同样地，被配置为执行修正运动矢量的细化处理。
预测信号生成部241D与预测信号生成部111D同样地，被配置为基于运动矢量来生成预测信号。
(环内滤波处理部250)
以下，对本实施方式的环内滤波处理部250进行说明。图10是示出本实施方式的环内滤波处理部250的图。
如图10所示，环内滤波处理部250具有目标块边界检测部251、相邻块边界检测部252、边界强度判定部253、滤波器决定部254和滤波处理部255。
其中，在末尾附加有“A”的结构是与垂直方向的块边界的去块滤波处理相关的结构，在末尾附加有“B”的结构是与水平方向的块边界的去块滤波处理相关的结构。
在此，对进行垂直方向的块边界的去块滤波处理之后进行水平方向的块边界的去块滤波处理的情况进行例示。
如上所述，去块滤波处理可以应用于编码块，也可以应用于预测块，还可以应用于变换块。另外，也可以应用于将上述各块分割而成的子块。即，目标块和相邻块可以是编码块，也可以是预测块，也可以是变换块，还可以是将它们分割而成的子块。
由于垂直方向的块边界的去块滤波处理和水平方向的块边界的去块滤波处理是同样的处理，因此以下对垂直方向的块边界的去块滤波处理进行说明。
目标块边界检测部251A与目标块边界检测部151A同样地，被配置为基于表示目标块的块尺寸的控制数据来检测目标块的边界。
相邻块边界检测部252A与相邻块边界检测部152A同样地，被配置为基于表示相邻块的块尺寸的控制数据来检测相邻块的边界。
边界强度判定部253A与边界强度判定部153A同样地，被配置为判定目标块与相邻块的块边界的边界强度。块边界的边界强度的判定方法如上所述。
滤波器决定部254A与滤波器决定部154A同样地，被配置为决定应用于块边界的去块滤波处理的种类。去块滤波处理的种类的决定方法如上所述。
滤波处理部255A与滤波处理部155A同样地，被配置为基于滤波器决定部254A的决定来进行对去块前图像的处理。对去块前图像的处理是无滤波处理、弱滤波处理、强滤波处理等。
根据本实施方式的图像编码装置100和图像解码装置200，在边界强度判定部153、253中，在决定边界强度时，考虑在与该边界相邻的块中是否应用了由细化部111C、241C进行的细化处理。
例如，如上所述，在与该边界相邻的两个块中的至少一个块中应用了细化处理的情况下，将该边界的边界强度设定为1。
对于边界强度为“1”以上的边界，在滤波器决定部154和254中，考虑量化参数等参数来决定是否对该块边界应用去块滤波器、以及去块滤波器的种类。
通过采用这种结构，即使在由于硬件实现的限制而无法在上述边界强度的判定中使用细化后的运动矢量的值的情况下，也能够在实施了细化处理的块的边界适当地应用去块滤波器，并且能够抑制块噪声来提高主观画质。
提出了多种去块滤波器的应用与否的判定、边界强度的决定方法。例如，专利文献1公开了一种基于该块是否处于跳过模式等语法的信息来省略去块滤波器的应用的技术。另外，例如，专利文献2公开了一种使用量化参数来省略去块滤波器的应用的技术。
然而，均未考虑细化处理的应用与否。本发明所要解决的课题之一是细化处理所特有的课题，即，在解码侧修正从语法解码出的运动矢量的值的细化处理中，在修正后的运动矢量的值无法用于去块滤波器的应用判定的情况下，无法适当地进行应用判定。
因此，通过未考虑细化处理的应用与否的专利文献1、专利文献2的方法，无法解决该课题。另一方面，可以将专利文献1、专利文献2的方法与本发明的去块滤波器的应用判定组合。
根据本实施方式的图像编码装置100和图像解码装置200，作为上述细化部111C、241C中的细化处理的执行条件，考虑成为该处理的基准的运动矢量是否以Symmetric MVD模式被编码。
在这样的细化处理中，在仅搜索L0侧和L1侧的差分运动矢量的绝对值相同且代码反转的点的情况下，能够获得与以Symmetric MVD模式传输运动矢量的情况同样的运动矢量。
因此，在通过上述细化处理获得原本传输的运动矢量的情况下，尽可能地减小以Symmetric MVD模式传输的差分运动矢量，由此能够减少与差分运动矢量相关的代码量。
特别地，在使用差分运动矢量为特定的值(0等)时只传输标志，而在除此以外的值时直接对差分值进行编码的编码方法的情况下，即使这样的细化处理中修正的运动矢量的差分是微小的，代码量的减少效果也可能较大。
另外，作为上述细化处理的执行条件，设定成为这样的细化处理的基准的运动矢量以Symmetric MVD模式被编码而且差分运动矢量的值为预先决定的阈值以下的条件，由此也可以根据差分运动矢量的值来隐式切换是否执行细化处理。
同样地，在预测信号生成部111D、241D中的BDOF处理的应用条件中，使用该块的运动矢量以Symmetric MVD模式被编码而且差分运动矢量的值为预先决定的阈值以下的条件，由此可以根据差分运动矢量的值来隐式切换是否应用BDOF处理。
根据本实施方式的图像编码装置100和图像解码装置200，在预测信号生成部111D、241D中是否执行BDOF处理的判定中，考虑上述细化处理的结果。在非专利文献3中使用L0和L1的预测信号的绝对值差分值来进行判定，但是相反，通过进行基于细化处理的结果的判定，能够减少计算上述绝对值差分的处理。
另外，上述图像编码装置100和图像解码装置200也可以通过使计算机执行各功能(各步骤)的程序来实现。
此外，在上述各实施方式中，以应用于图像编码装置100和图像解码装置200为例对本发明进行了说明，但本发明不仅限于此，同样也可以应用于具备编码装置和解码装置的各功能的编码/解码系统。
根据本发明，即使在细化后的运动矢量无法用于去块滤波器的应用判定的情况下，也能够适当地将去块滤波器应用于进行了细化处理的块的边界，并且抑制块噪声来提高主观画质。
符号说明
10…图像处理系统；100…图像编码装置；111、241…帧间预测部；111A…运动矢量搜索部；111B…运动矢量编码部；111C、241C…细化部；111D、241D…预测信号生成部；112、242…帧内预测部；121…减法器；122、230…加法器；131…变换和量化部；132、220…逆变换和逆量化部；140…编码部；150、250…环内滤波处理部；151、251…目标块边界检测部；152、252…相邻块边界检测部；153、253…边界强度判定部；154、254…滤波器决定部；155、255…滤波处理部；160、260…帧缓冲器；200…图像解码装置；210…解码部；241B…运动矢量解码部。

Claims (11)

1.一种图像解码装置，其特征在于，具有：
运动矢量解码部，其被配置为从编码数据中解码运动矢量；
细化部，其被配置为进行修正解码出的所述运动矢量的细化处理；以及
预测信号生成部，其被配置为基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，
所述预测信号生成部被配置为基于所述细化处理的过程中计算出的信息来判定是否对每个块应用BDOF处理。
2.根据权利要求1所述的图像解码装置，其特征在于：
所述预测信号生成部被配置为在所述细化处理中的搜索成本为预先决定的阈值以下的情况下，判定在各个所述块中不应用所述BDOF处理。
3.根据权利要求1或2所述的图像解码装置，其特征在于：
所述块是子块。
4.根据权利要求3所述的图像解码装置，其特征在于：
所述子块在水平方向和垂直方向上的尺寸分别为16个像素以下。
5.根据权利要求1至4中任一项所述的图像解码装置，其特征在于：
所述预测信号生成部被配置为判定是否对满足BDOF应用条件的所述块应用所述BDOF处理。
6.根据权利要求1至5中任一项所述的图像解码装置，其特征在于：
所述预测信号生成部被配置为判定对满足BDOF应用条件的所述块中的、未被执行所述细化处理的所述块始终应用所述BDOF处理。
7.根据权利要求1所述的图像解码装置，其特征在于：
所述预测信号生成部被配置为在所述细化处理前后的所述运动矢量的差分为预先决定的阈值以下的情况下，判定在各个所述块中不进行所述BDOF处理。
8.根据权利要求3所述的图像解码装置，其特征在于：
所述预测信号生成部被配置为在所述细化处理前后的所述运动矢量的差分为0，且由所述细化处理前和所述细化处理后的运动矢量所指示的参考块中的搜索成本为预先决定的阈值以下的情况下，判定在各个所述块中不进行所述BDOF处理。
9.一种图像解码装置，其特征在于，具有：
运动矢量解码部，其被配置为从编码数据中解码运动矢量；
细化部，其被配置为进行修正解码出的所述运动矢量的细化处理；以及
预测信号生成部，其被配置为基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，
所述预测信号生成部被配置为在满足应用条件的情况下应用BDOF处理，
所述应用条件是如下条件：所述运动矢量以Symmetric MVD模式被编码，且在所述Symmetric MVD模式下传输的差分运动矢量的大小在预先设定的阈值以内。
10.一种图像解码方法，其特征在于，具有：
步骤A，从编码数据中解码运动矢量；
步骤B，进行修正解码出的所述运动矢量的细化处理；以及
步骤C，基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，
在所述步骤C中，基于所述细化处理的过程中计算出的信息来判定是否对每个块应用BDOF处理。
11.一种程序，其用在图像解码装置中，其特征在于，其使计算机执行以下步骤：
步骤A，从编码数据中解码运动矢量；
步骤B，进行修正解码出的所述运动矢量的细化处理；以及
步骤C，基于从所述细化部输出的、修正的所述运动矢量来生成预测信号，
在所述步骤C中，基于所述细化处理的过程中计算出的信息来判定是否对每个块应用BDOF处理。
CN202080019761.5A 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序 Active CN113545082B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202310232278.0A CN116193144A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310256037.XA CN116208776A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310231395.5A CN116193143A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310232541.6A CN116193145A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019043966A JP6867611B2 (ja) 2019-03-11 2019-03-11 画像復号装置、画像復号方法及びプログラム
JP2019-043966 2019-03-11
PCT/JP2020/009245 WO2020184348A1 (ja) 2019-03-11 2020-03-04 画像復号装置、画像復号方法及びプログラム

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202310231395.5A Division CN116193143A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310256037.XA Division CN116208776A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310232541.6A Division CN116193145A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310232278.0A Division CN116193144A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序

Publications (2)

Publication Number Publication Date
CN113545082A true CN113545082A (zh) 2021-10-22
CN113545082B CN113545082B (zh) 2023-03-28

Family

ID=72427471

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202310231395.5A Pending CN116193143A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310232541.6A Pending CN116193145A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310232278.0A Pending CN116193144A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202080019761.5A Active CN113545082B (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310256037.XA Pending CN116208776A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202310231395.5A Pending CN116193143A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310232541.6A Pending CN116193145A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序
CN202310232278.0A Pending CN116193144A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310256037.XA Pending CN116208776A (zh) 2019-03-11 2020-03-04 图像解码装置、图像解码方法和程序

Country Status (5)

Country Link
US (2) US11627311B2 (zh)
EP (2) EP3941064B1 (zh)
JP (2) JP6867611B2 (zh)
CN (5) CN116193143A (zh)
WO (1) WO2020184348A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034363B2 (ja) * 2019-03-11 2022-03-11 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7378968B2 (ja) * 2019-06-07 2023-11-14 シャープ株式会社 予測画像生成装置、動画像復号装置および動画像符号化装置
KR20240029111A (ko) 2019-06-24 2024-03-05 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치
US11792423B2 (en) * 2019-11-22 2023-10-17 Qualcomm Incorporated Early termination of motion vector refinement process in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017200209A (ja) * 2017-06-12 2017-11-02 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3139605A4 (en) * 2014-04-28 2017-05-17 Panasonic Intellectual Property Corporation of America Encoding method, decoding method, encoding apparatus, and decoding apparatus
WO2017188566A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
BR112020000032A2 (pt) * 2017-07-03 2020-07-14 Vid Scale, Inc. dispositivo e método de codificação de dados de vídeo.
WO2019045427A1 (ko) * 2017-08-29 2019-03-07 에스케이텔레콤 주식회사 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
US10977809B2 (en) * 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
RU2020135518A (ru) * 2018-04-06 2022-04-29 Вид Скейл, Инк. Метод двунаправленного оптического потока с упрощенным выведением градиента
EP3834416A4 (en) * 2018-08-17 2022-08-17 HFI Innovation Inc. METHODS AND APPARATUS FOR VIDEO PROCESSING WITH BIDIRECTIONAL PREDICTION IN VIDEO CODING SYSTEMS
WO2020084465A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Simplified coding of generalized bi-directional index
BR112021007949A2 (pt) * 2019-01-02 2021-07-27 Huawei Technologies Co., Ltd. sistema e método de fácil utilização com hardware e software para refinamento de vetor de movimento do lado do decodificador com correção por pixel baseada em fluxo óptico bipreditivo no lado do decodificador para compensação de movimento bipreditivo
WO2020177704A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. In-loop filtering in video processing
MX2021010770A (es) * 2019-03-08 2021-09-28 Sharp Kk Aparato de decodificacion de video.

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017200209A (ja) * 2017-06-12 2017-11-02 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、画像復号プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS等: "Versatile Video Coding (Draft 4)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019》 *
HUANBANG CHEN等: "CE9-related: BDOF buffer reduction and enabling VPDU based application", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019》 *
SRIRAM SETHURAMAN: "Non-CE9: Co-existence analysis for DMVR with BDOF", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019》 *

Also Published As

Publication number Publication date
CN113545082B (zh) 2023-03-28
US20230224458A1 (en) 2023-07-13
CN116193144A (zh) 2023-05-30
CN116193145A (zh) 2023-05-30
WO2020184348A1 (ja) 2020-09-17
CN116208776A (zh) 2023-06-02
EP3941064A1 (en) 2022-01-19
EP3941064B1 (en) 2024-09-25
EP3941064A4 (en) 2023-01-11
US20220046233A1 (en) 2022-02-10
JP6961115B2 (ja) 2021-11-05
US11627311B2 (en) 2023-04-11
JP6867611B2 (ja) 2021-04-28
CN116193143A (zh) 2023-05-30
JP2020150313A (ja) 2020-09-17
EP4443882A2 (en) 2024-10-09
JP2021101578A (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
CN113545082B (zh) 图像解码装置、图像解码方法和程序
CN108353172B (zh) 动图的处理装置、处理方法以及计算机可读存储介质
CN114009033A (zh) 用于用信号通知对称运动矢量差模式的方法和装置
JP7076660B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP7026276B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP6914462B2 (ja) 画像復号装置、画像復号方法及びプログラム
WO2020184262A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7083971B1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7061737B1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7034363B2 (ja) 画像復号装置、画像復号方法及びプログラム
US20220312024A1 (en) Image decoding device, image decoding method, and program
JP7324899B2 (ja) 画像復号装置、画像復号方法及びプログラム
CN114270867B (zh) 图像解码装置、图像解码方法及程序
WO2011142221A1 (ja) 符号化装置、および、復号装置
WO2019187396A1 (ja) 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
CN112602325A (zh) 图像解码装置、图像编码装置、程序和图像处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant