CN110121883B - 在图像编码系统中对图像进行解码的方法和装置 - Google Patents

在图像编码系统中对图像进行解码的方法和装置 Download PDF

Info

Publication number
CN110121883B
CN110121883B CN201680091905.1A CN201680091905A CN110121883B CN 110121883 B CN110121883 B CN 110121883B CN 201680091905 A CN201680091905 A CN 201680091905A CN 110121883 B CN110121883 B CN 110121883B
Authority
CN
China
Prior art keywords
motion information
block
target block
reference picture
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680091905.1A
Other languages
English (en)
Other versions
CN110121883A (zh
Inventor
徐廷东
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202310707482.3A priority Critical patent/CN116527885A/zh
Priority to CN202310708056.1A priority patent/CN116527886A/zh
Priority to CN202310703397.XA priority patent/CN116527884A/zh
Publication of CN110121883A publication Critical patent/CN110121883A/zh
Application granted granted Critical
Publication of CN110121883B publication Critical patent/CN110121883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

根据本发明的由解码装置执行的图像解码方法包括以下步骤：通过比特流来获取关于目标块的帧间预测的信息；基于关于帧间预测的信息来推导目标块的运动信息；通过基于运动信息执行针对目标块的帧间预测来推导预测样本；基于预测样本来生成重构块；基于重构块来推导目标块的修正的运动信息；以及基于修正的运动信息来更新目标块的运动信息。根据本发明，可计算目标块的修正的运动信息，并且可基于修正的运动信息来更新目标块的运动信息，以使得总体编码效率可改进。

Description

在图像编码系统中对图像进行解码的方法和装置
技术领域
本发明涉及用于图像编码的技术，更具体地，涉及一种在图像编码系统中对图像进行解码的方法和设备。
背景技术
在各种领域中对高分辨率、高质量图像(例如，HD(高清晰度)图像和UHD(超高清晰度)图像)的需求不断增加。由于图像数据具有高分辨率和高质量，所以相对于传统图像数据，要发送的信息或比特的量增加。因此，当使用诸如传统有线/无线宽带线路的介质来发送图像数据或者使用现有存储介质来存储图像数据时，其传输成本和存储成本增加。
因此，需要一种高效图像压缩技术来有效地发送、存储和再现高分辨率和高质量图像的信息。
发明内容
技术问题
本发明提供了一种用于改进图像编码效率的方法和设备。
本发明还提供了一种用于帧间预测的方法和设备，其更新目标块的运动信息。
本发明还提供了一种用于在目标块的解码过程之后计算目标块的修正的运动信息并基于修正的运动信息来更新的方法和设备。
本发明还提供了一种针对与目标块邻近的下一块的运动信息使用目标块的更新的运动信息的方法和设备。
技术方案
在一方面，提供了一种由解码设备执行的图像解码方法。该图像解码方法包括以下步骤：通过比特流来获得关于目标块的帧间预测的信息；基于关于帧间预测的信息来推导目标块的运动信息；通过基于运动信息执行针对目标块的帧间预测来推导预测样本；基于预测样本来生成重构块；基于重构块来推导目标块的修正的运动信息；以及基于修正的运动信息来更新目标块的运动信息。
在另一方面，提供了一种用于执行图像解码的解码设备。该解码设备包括：熵解码器，其被配置为通过比特流来获得关于目标块的帧间预测的信息；预测器，其被配置为基于关于帧间预测的信息来推导目标块的运动信息，通过基于运动信息执行针对目标块的帧间预测来推导预测样本，基于预测样本来生成目标块的重构块，并且基于重构块来推导目标块的修正的运动信息；以及存储器，其被配置为基于修正的运动信息来更新目标块的运动信息。
在另一方面，提供了一种由编码设备执行的视频编码方法。该方法包括以下步骤：生成目标块的运动信息；通过基于运动信息执行针对目标块的帧间预测来推导预测样本；基于预测样本来生成重构块；基于重构块来生成目标块的修正的运动信息；以及基于修正的运动信息来更新目标块的运动信息。
在另一方面，提供了一种视频编码设备。该编码设备包括：预测单元，其被配置为生成目标块的运动信息，通过基于运动信息执行针对目标块的帧间预测来推导预测样本，基于预测样本来生成重构块，并且基于重构块来生成目标块的修正的运动信息；以及存储器，其被配置为基于修正的运动信息来更新目标块的运动信息。
有益效果
根据本发明，在目标块的解码过程之后，计算目标块的修正的运动信息，并且可更新为更准确的运动信息，由此，总体编码效率可改进。
根据本发明，与目标块邻近的下一块的运动信息可基于目标块的更新的运动信息来推导，并且可减小失真的传播，由此，总体编码效率可改进。
附图说明
图1是示出本公开适用于的视频编码装置的配置的示意图。
图2是示出本公开适用于的视频解码装置的配置的示意图。
图3示出基于单向运动信息执行帧间预测的情况以及基于应用于目标块的双向运动信息执行帧间预测的情况的示例。
图4示出包括更新目标块的运动信息的方法的编码过程的示例。
图5示出包括更新目标块的运动信息的方法的解码过程的示例。
图6示出由解码设备通过块匹配方法更新目标块的运动信息的方法的示例。
图7示出可用在修正的运动信息中的基准画面。
图8示出在目标块的运动信息被更新为目标块的修正的运动信息的情况下与目标块邻近的下一块的合并候选列表的示例。
图9示出在目标块的运动信息被更新为目标块的修正的运动信息的情况下与目标块邻近的下一块的合并候选列表的示例。
图10示出在基于目标块的修正的运动信息来更新目标块的运动信息的情况下与目标块邻近的下一块的运动矢量预测器候选列表的示例。
图11示出在基于目标块的修正的运动信息来更新目标块的运动信息的情况下与目标块邻近的下一块的运动矢量预测器候选列表的示例。
图12示意性地示出根据本发明的编码设备的视频编码方法。
图13示意性地示出根据本发明的解码设备的视频解码方法。
具体实施方式
本公开可按照各种形式来修改，其特定实施方式将在附图中描述和示出。然而，这些实施方式并非旨在限制本公开。以下描述中所使用的术语仅用于描述特定实施方式，而非旨在限制本公开。单数表达包括复数表达，只要其明显不同地解读。诸如“包括”和“具有”的术语旨在指示存在以下描述中所使用的特征、数量、步骤、操作、元件、组件或其组合，因此应该理解，不排除存在或添加一个或更多个不同特征、数量、步骤、操作、元件、组件或其组合的可能性。
另一方面，本公开中所描述的附图中的元件为了方便说明不同的特定功能而被独立地绘制，并非意指元件由独立硬件或独立软件具体实现。例如，元件中的两个或更多个元件可被组合以形成单个元件，或者一个元件可被分成多个元件。在不脱离本公开的构思的情况下，元件被组合和/或分割的实施方式属于本公开。
以下，将参照附图详细描述本公开的实施方式。另外，贯穿附图，相似的标号用于指示相似的元件，并且将省略关于相似元件的相同描述。
在本说明书中，通常，画面是指表示特定时间的图像的单元，切片是构成画面的一部分的单元。一个画面可由多个切片组成，并且必要时术语画面和切片可彼此混合。
像素可意指构成一个画面(或图像)的最小单元。此外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素的值，可仅表示亮度分量的像素(像素值)，并且可仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单位。单元可包括特定区域以及与该区域有关的信息中的至少一个。可选地，单元可与诸如块、区域等的术语混合。在典型情况下，M×N块可表示排列成M列和N行的样本或变换系数的集合。
图1简要示出本公开适用于的视频编码装置的结构。
参照图1，视频编码装置100包括画面分割器105、预测器110、减法器115、变换器120、量化器125、重排器130、熵编码器135、逆量化器140、逆变换器145、加法器150、滤波器255和存储器160。
画面分割器105可将输入画面分裂成至少一个处理单元。这里，处理单元可以是编码单元(CU)、预测单元(PU)或变换单元(TU)。编码单元是编码的单元块，最大编码单元(LCU)可根据四叉树结构被分裂为更深深度的编码单元。在这种情况下，最大编码单元可用作最终编码单元，或者编码单元可根据需要被递归地分裂为更深深度的编码单元并且可根据视频特性基于编码效率将具有最优尺寸的编码单元用作最终编码单元。当设定最小编码单元(SCU)时，编码单元无法被分裂为比最小编码单元更小的编码单元。这里，最终编码单元是指被分割或分裂为预测器或变换器的编码单元。预测单元是从编码单元块分割的块，并且可以是样本预测的单元块。这里，预测单元可被划分成子块。变换块可根据四叉树结构从编码单元块分裂，并且可以是推导变换系数的单元块和/或从变换系数推导残差信号的单元块。
以下，编码单元可被称为编码块(CB)，预测单元可被称为预测块(PB)，变换单元可被称为变换块(TB)。
预测块或预测单元可意指画面中具有块形状的特定区域，并且可包括预测样本的阵列。此外，变换块或变换单元可意指画面中具有块形状的特定区域，并且可包括变换系数或残差样本的阵列。
预测器110可对处理目标块(以下，当前块)执行预测，并且可生成包括当前块的预测样本的预测块。预测器110中执行的预测的单位可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可确定是否对当前块应用帧内预测或应用帧间预测。例如，预测器110可确定是否以CU为单位应用帧内预测或帧间预测。
在帧内预测的情况下，预测器110可基于当前块所属的画面(以下，当前画面)中当前块外侧的基准样本来推导当前块的预测样本。在这种情况下，预测器110可基于当前块的邻近基准样本的平均或插值来推导预测样本(情况(i))，或者可基于当前块的邻近基准样本当中关于预测样本存在于特定(预测)方向上的基准样本来推导预测样本(情况(ii))。情况(i)可被称为非定向模式或非角度模式，情况(ii)可被称为定向模式或角度模式。在帧内预测中，作为示例，预测模式可包括33个定向模式和至少两个非定向模式。非定向模式可包括DC模式和平面模式。预测器110可使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可基于基准画面上的运动矢量所指定的样本来推导当前块的预测样本。预测器110可通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任一个来推导当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式下不同，不发送预测样本与原始样本之间的差(残差)。在MVP模式的情况下，邻近块的运动矢量用作运动矢量预测器，因此用作当前块的运动矢量预测器以推导当前块的运动矢量。
在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于基准画面中的时间邻近块。包括时间邻近块的基准画面也可被称为同位画面(colPic)。运动信息可包括运动矢量和基准画面索引。诸如预测模式信息和运动信息的信息可被(熵)编码，然后输出为比特流的形式。
当在跳过模式和合并模式下使用时间邻近块的运动信息时，基准画面列表中的最高画面可用作基准画面。包括在基准画面列表中的基准画面可基于当前画面与对应基准画面之间的画面次序计数(POC)差而对齐。POC对应于显示次序并且可与编码次序相区别。
减法器115生成作为原始样本与预测样本之差的残差样本。当应用跳过模式时，可不如上所述生成残差样本。
变换器120以变换块为单位来变换残差样本，以生成变换系数。变换器120可基于对应变换块的尺寸以及应用于在空间上与变换块交叠的编码块或预测块的预测模式来执行变换。例如，当对与变换块交叠的编码块或预测块应用帧内预测并且变换块是4×4残差阵列时残差样本可使用离散正弦变换(DST)来变换，在其它情况下使用离散余弦变换(DCT)来变换。
量化器125可将变换系数量化以生成量化的变换系数。
重排器130对量化的变换系数进行重排。重排器130可通过系数扫描方法将块形式的量化的变换系数重排为一维矢量。尽管重排器130被描述为单独的组件，但是重排器130可以是量化器125的一部分。
熵编码器135可对量化的变换系数执行熵编码。熵编码可包括例如指数哥伦布(Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的编码方法。除了量化的变换系数之外，熵编码器135可对视频重构所需的信息(例如，句法元素值等)一起或单独地执行编码。熵编码的信息可按照比特流形式以网络抽象层(NAL)为单位发送或存储。
逆量化器140对量化器125所量化的值(变换系数)进行逆量化，逆变换器145对逆量化器140逆量化的值进行逆变换以生成残差样本。
加法器150将残差样本与预测样本相加以重构画面。残差样本可以块为单位与预测样本相加以生成重构块。尽管加法器150被描述为单独的组件，但是加法器150可以是预测器110的一部分。
滤波器155可对重构的画面应用解块滤波和/或样本自适应偏移。重构的画面中的块边界处的伪影或量化中的失真可通过解块滤波和/或样本自适应偏移来校正。可在解块滤波完成之后以样本为单位应用样本自适应偏移。滤波器155可对重构的画面应用自适应环路滤波器(ALF)。可对已应用解块滤波和/或样本自适应偏移的重构的画面应用ALF。
存储器160可存储重构的画面或编码/解码所需的信息。这里，重构的画面可以是由滤波器155滤波的重构的画面。所存储的重构的画面可用作用于其它画面的(帧间)预测的基准画面。例如，存储器160可存储用于帧间预测的(基准)画面。这里，可根据基准画面集合或基准画面列表来指定用于帧间预测的画面。
图2简要示出本公开适用于的视频解码装置的结构。
参照图2，视频解码装置200包括熵解码器210、重排器220、逆量化器230、逆变换器240、预测器250、加法器260、滤波器270和存储器280。
当输入包括视频信息的比特流时，视频解码装置200可与视频编码装置中对视频信息进行处理的过程关联来重构视频。
例如，视频解码装置200可使用视频编码装置中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是编码单元块、预测单元块或变换单元块。作为解码的单元块，编码单元块可根据四叉树结构从最大编码单元块来分裂。作为从编码单元块分割的块，预测单元块可以是样本预测的单元块。在这种情况下，预测单元块可被划分成子块。作为编码单元块，变换单元块可根据四叉树结构来分裂，并且可以是用于推导变换系数的单元块或者用于从变换系数推导残差信号的单元块。
熵解码器210可解析比特流以输出视频重构或画面重构所需的信息。例如，熵解码器210可基于诸如指数哥伦布编码、CAVLC、CABAC等的编码方法对比特流中的信息进行解码，并且可输出视频重构所需的句法元素的值以及关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可接收与比特流中的各个句法元素对应的bin，使用解码目标句法元素信息以及邻近和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率，并执行bin的算术解码以生成与各个句法元素值对应的符号。这里，CABAC熵解码方法可在确定上下文模型之后使用针对下一符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
熵解码器210中解码的信息当中关于预测的信息可被提供给预测器250，并且熵解码器210已执行熵解码的残差值(即，量化的变换系数)可被输入到重排器220。
重排器220可将量化的变换系数重排为二维块形式。重排器220可执行与编码装置所执行的系数扫描对应的重排。尽管重排器220被描述为单独的组件，但是重排器220可以是量化器230的一部分。
逆量化器230可基于(逆)量化参数对量化的变换系数进行逆量化以输出变换系数。在这种情况下，可从编码装置用信号通知用于推导量化参数的信息。
逆变换器240可对变换系数进行逆变换以推导残差样本。
预测器250可对当前块执行预测，并且可生成包括当前块的预测样本的预测块。预测器250中执行的预测的单位可以是编码块或者可以是变换块或者可以是预测块。
预测器250可基于关于预测的信息来确定是否应用帧内预测或帧间预测。在这种情况下，用于确定帧内预测和帧间预测之间将使用哪一个的单位可不同于用于生成预测样本的单位。另外，在帧间预测和帧内预测中，用于生成预测样本的单位也可不同。例如，帧间预测和帧内预测之间将应用哪一个可以CU为单位来确定。此外，例如，在帧间预测中，可通过以PU为单位确定预测模式来生成预测样本，在帧内预测中，可通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器250可基于当前画面中的邻近基准样本来推导当前块的预测样本。预测器250可通过基于当前块的邻近基准样本应用定向模式或非定向模式来推导当前块的预测样本。在这种情况下，可使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器250可基于根据运动矢量在基准画面中指定的样本来推导当前块的预测样本。预测器250可使用跳过模式、合并模式和MVP模式之一来推导当前块的预测样本。这里，可基于关于预测的信息来获取或推导视频编码装置所提供的当前块的帧间预测所需的运动信息(例如，运动矢量以及关于基准画面索引的信息)。
在跳过模式和合并模式下，邻近块的运动信息可用作当前块的运动信息。这里，邻近块可包括空间邻近块和时间邻近块。
预测器250可使用可用邻近块的运动信息来构造合并候选列表并使用合并候选列表上合并索引所指示的信息作为当前块的运动矢量。合并索引可由编码装置用信号通知。运动信息可包括运动矢量和基准画面。当在跳过模式和合并模式下使用时间邻近块的运动信息时，基准画面列表中的最高画面可用作基准画面。
在跳过模式的情况下，与合并模式相区分，不发送预测样本与原始样本之间的差(残差)。
在MVP模式的情况下，可使用邻近块的运动矢量作为运动矢量预测器来推导当前块的运动矢量。这里，邻近块可包括空间邻近块和时间邻近块。
当应用合并模式时，例如，可使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成合并候选列表。在合并模式下，选自合并候选列表的候选块的运动矢量用作当前块的运动矢量。上述关于预测的信息可包括指示选自包括在合并候选列表中的候选块的具有最佳运动矢量的候选块的合并索引。这里，预测器250可使用合并索引来推导当前块的运动矢量。
当作为另一示例应用MVP(运动矢量预测)模式时，可使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成运动矢量预测器候选列表。即，重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量可用作运动矢量候选。上述关于预测的信息可包括指示选自包括在列表中的运动矢量候选的最佳运动矢量的预测运动矢量索引。这里，预测器250可使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选选择当前块的预测运动矢量。编码装置的预测器可获得当前块的运动矢量与运动矢量预测器之间的运动矢量差(MVD)，对MVD进行编码，并以比特流的形式输出编码的MVD。即，可通过从当前块的运动矢量减去运动矢量预测器来获得MVD。这里，预测器250可获取包括在关于预测的信息中的运动矢量并通过将运动矢量差与运动矢量预测器相加来推导当前块的运动矢量。另外，预测器可从上述关于预测的信息获得或推导指示基准画面的基准画面索引。
加法器260可将残差样本与预测样本相加以重构当前块或当前画面。加法器260可通过以块为单位将残差样本与预测样本相加来重构当前画面。当应用跳过模式时，不发送残差，因此预测样本可变为重构样本。尽管加法器260被描述为单独的组件，但是加法器260可以是预测器250的一部分。
滤波器270可对重构的画面应用解块滤波、样本自适应偏移和/或ALF。这里，可在解块滤波之后以样本为单位应用样本自适应偏移。可在解块滤波和/或应用样本自适应偏移之后应用ALF。
存储器280可存储重构的画面或解码所需的信息。这里，重构的画面可以是由滤波器270滤波的重构的画面。例如，存储器280可存储用于帧间预测的画面。这里，用于帧间预测的画面可根据基准画面集合或基准画面列表来指定。重构的画面可用作其它画面的基准画面。存储器280可按照输出次序来输出重构的画面。
如上所述，在针对目标块执行帧间预测的情况下，目标块的运动信息可通过应用跳过模式、合并模式或自适应运动矢量预测(AMVP)模式来生成并被编码和输出。在这种情况下，在目标块的运动信息中，由于以块为单位编码的过程，可计算并包括失真，由此，可能没有完美反映表示目标块的重构块的运动信息。具体地，在对目标块应用合并模式的情况下，目标块的运动信息的准确性可能劣化。即，在通过目标块的运动信息推导的预测块与目标块的重构块之间存在巨大差异。在这种情况下，在与目标块邻近的下一块的解码过程中使用目标块的运动信息，并且失真可能传播，由此，总体编码效率可劣化。
因此，在本发明中，提出了一种方法，其中在目标块的解码过程之后基于推导的重构块来计算目标块的修正的运动信息，基于修正的运动信息来更新目标块的运动信息，使得与目标块邻近的下一块可推导更准确的运动信息。由此，总体编码效率可改进。
图3示出基于单向运动信息来执行帧间预测的情况以及基于应用于目标块的双向运动信息来执行帧间预测的情况的示例。双向运动信息可包括L0基准画面索引和L0运动矢量以及L1基准画面索引和L1运动矢量，单向运动信息可包括L0基准画面索引和L0运动矢量或L1基准画面索引和L1运动矢量。L0指示基准画面列表L0(列表0)，L1指示基准画面列表L1(列表1)。在图像编码过程中，用于帧间预测的方法可包括通过运动估计和运动补偿来推导运动信息。如图3所示，运动估计可在针对在包括目标块的目标画面的编码之前编码的基准画面推导与目标块匹配的块的过程中指示。与目标块匹配的块可被定义为基准块，通过假设目标画面中包括与目标块相同的基准块而推导的目标块与基准块之间的位置差可被定义为目标块的运动矢量。运动补偿可包括推导并使用一个基准块的单向方法以及推导并使用两个基准块的双向方法。
包括目标块的运动矢量和基准画面的信息的信息可被定义为目标块的运动信息。基准画面的信息可包括基准画面列表和指示包括在基准画面列表中的基准画面的基准画面索引。编码设备可针对在目标块被编码之后要接着目标块编码的与目标块邻近的下一块或者要接着目标画面编码的画面存储目标块的运动信息。所存储的运动信息可在表示要接着目标块编码的下一块或要接着目标块编码的画面的运动信息的方法中使用。该方法可包括：合并模式，对目标块的运动信息进行索引并发送与目标块邻近的下一块的运动信息作为索引的方法；以及AMVP模式，仅利用下一块的运动矢量与目标块的运动矢量之差来表示与目标块邻近的下一块的运动矢量的方法。
本发明提出了一种在目标画面或目标块的编码过程之后更新目标画面或目标块的运动信息的方法。当针对目标块执行帧间预测并编码时，可存储在帧间预测中使用的运动信息。然而，运动信息可包括在通过块匹配方法计算的过程期间发生的失真，并且由于运动信息可以是针对目标块通过率失真(RD)优化过程选择的值，所以可能难以完美地反映目标块的实际运动。由于目标块的运动信息可不仅用在目标块的帧间预测过程中，而且影响在包括在目标块的编码之后编码的与目标块邻近的下一块的目标画面的编码之后编码的画面以及包括下一块和目标块的目标画面，所以总体编码效率可劣化。
图4示出包括更新目标块的运动信息的方法的编码过程的示例。编码设备对目标块进行编码(步骤S400)。编码设备可通过针对目标块执行帧间预测来推导预测样本并且基于预测样本来生成目标块的重构块。编码设备可推导用于执行帧间预测的目标块的运动信息并且生成包括该运动信息的目标块的帧间预测的信息。运动信息可被称为第一运动信息。
在执行目标块的编码过程之后，编码设备计算基于目标块的重构块修正的运动信息(步骤S410)。编码设备可通过各种方法来计算目标块的修正的运动信息。修正的运动信息可被称为第二运动信息。包括诸如光流(OF)方法、块匹配方法、频域方法等的直接方法以及诸如奇点匹配方法、使用统计性质的方法等的间接方法的至少一个方法可应用于该方法。另外，直接方法和间接方法可同时应用。下面将描述块匹配方法和OF方法的详细内容。
由于目标块的运动信息计算的特性，编码设备可能难以仅利用目标块的编码的信息来计算更准确的运动信息，因此，例如，编码设备计算修正的运动信息的时间可在执行包括目标块的目标画面的编码过程之后，而不在目标块的编码过程之后。即，编码设备可执行目标画面的编码过程并且与紧接在执行目标块的编码过程之后相比基于更多信息来计算修正的运动信息。
此外，编码设备还可生成指示包括在(第一)运动信息中的现有运动矢量与修正的运动信息之间的差的运动矢量更新差信息并对其进行编码和输出。运动矢量更新差信息可以PU为单位发送。
编码设备确定是否更新目标块的运动信息(步骤S420)。编码设备可通过(第一)运动信息与修正的运动信息之间的准确性的比较来确定是否更新(第一)运动信息。例如，编码设备可使用通过运动补偿使用各个运动信息推导的图像与原始图像之间的差的量来确定是否更新(第一)运动信息。换言之，编码设备可通过比较基于各个运动信息推导的基准块与目标块的原始块之间的残差信号的数据量来确定是否更新。
在步骤S420中，在确定更新目标块的运动信息的情况下，编码设备基于修正的运动信息来更新目标块的运动信息并存储修正的运动信息(步骤S430)。例如，在基于修正的运动信息推导的特定基准块与原始块之间的残差信号的数据量小于基于(第一)运动信息推导的基准块与原始块之间的残差信号的数据量的情况下，编码设备可基于修正的运动信息来更新(第一)运动信息。在这种情况下，编码设备可通过将(第一)运动信息替换为修正的运动信息来更新目标块的运动信息并存储仅包括修正的运动信息的更新的运动信息。另外，编码设备可通过将修正的运动信息与(第一)运动信息相加来更新目标块的运动信息并存储包括(第一)运动信息和修正的运动信息的更新的运动信息。
此外，在步骤S420中，在确定不更新目标块的运动信息的情况下，编码设备存储(第一)运动信息(步骤S440)。例如，在基于修正的运动信息推导的特定基准块与原始块之间的残差信号的数据量不小于基于(第一)运动信息推导的基准块与原始块之间的残差信号的数据量的情况下，编码设备可存储(第一)运动信息。
另一方面，尽管未示出，在推导修正的运动信息而不通过帧间预测中使用的(第一)运动信息与修正的运动信息之间的比较确定更新的情况下，编码设备可基于修正的运动信息来更新目标块的运动信息。
此外，由于解码设备不可用于使用原始图像，所以解码设备可接收指示是否更新目标块的附加信息。即，编码设备可生成并编码指示是否更新的附加信息，并通过比特流输出它。例如，指示是否更新的附加信息可被称为更新标志。更新块为1的情况可指示运动信息被更新，更新块为0的情况可指示运动信息未更新。例如，更新标志可以PU为单位发送。另选地，更新标志可以CU为单位、以CTU为单位或者以切片为单位来发送，并且可通过诸如画面参数集(PPS)的单位或序列参数集(SPS)的单位的更高级别来发送。
另外，解码设备可基于目标块的重构块通过目标块的(第一)运动信息与修正的运动信息之间的比较来确定是否更新，而不接收更新标志，并且在确定目标块的运动信息被更新的情况下，解码设备可基于修正的运动信息来更新目标块的运动信息并存储更新的运动信息。另外，在推导修正的运动信息而不通过帧间预测中使用的运动信息与修正的运动信息之间的比较确定更新的情况下，解码设备可基于修正的运动信息来更新目标块的运动信息。在这种情况下，解码设备可通过将(第一)运动信息替换为修正的运动信息来更新目标块的运动信息并存储仅包括修正的运动信息的更新的运动信息。另外，解码设备可通过将修正的运动信息与(第一)运动信息相加来更新目标块的运动信息并存储包括(第一)运动信息和修正的运动信息的更新的运动信息。
在目标块的编码过程之后执行更新运动信息的过程的情况下，可执行目标块的下一编码次序的与目标块邻近的下一块的编码过程。
图5示出包括更新目标块的运动信息的方法的解码过程的示例。解码过程可按照与上述编码过程相似的方式来执行。解码设备对目标块进行解码(步骤S500)。在对目标块应用帧间预测的情况下，解码设备可通过比特流获得用于目标块的帧间预测的信息。解码设备可基于用于帧间预测的信息来推导目标块的运动信息并通过针对目标块执行帧间预测来推导预测样本。运动信息可被称为第一运动信息。解码设备可基于预测样本来生成目标块的重构块。
解码设备计算目标块的修正的运动信息(步骤S510)。解码设备可通过各种方法来计算修正的运动信息。修正的运动信息可被称为第二运动信息。包括诸如光流(OF)方法、块匹配方法、频域方法等的直接方法以及诸如奇点匹配方法、使用统计性质的方法等的间接方法的至少一个方法可应用于该方法。另外，直接方法和间接方法可同时应用。下面将描述块匹配方法和OF方法的详细内容。
由于目标块的运动信息计算的特性，解码设备可能难以仅利用目标块的解码的信息来计算更准确的运动信息，因此，例如，解码设备计算修正的运动信息的时间可在执行包括目标块的目标画面的解码过程之后，而不在目标块的解码过程之后。即，解码设备可执行目标画面的解码过程并且与紧接在执行目标块的解码过程之后相比基于更多信息来计算修正的运动信息。
此外，解码设备还可通过比特流来获得生成指示包括在(第一)运动信息中的现有运动矢量与修正的运动信息之间的差的运动矢量更新差信息。运动矢量更新差信息可以PU为单位发送。在这种情况下，解码设备可不通过上述直接方法和间接方法独立地计算修正的运动信息，而是通过对(第一)运动信息和所获得的运动矢量更新差信息求和来推导修正的运动信息。即，解码设备可利用修正的运动信息的运动矢量预测器(MVP)来推导现有运动矢量并通过将运动矢量更新差信息与现有运动矢量相加来推导修正的运动矢量。
解码设备确定是否更新目标块的运动信息(步骤S520)。解码设备可通过(第一)运动信息与修正的运动信息之间的准确性的比较来确定是否更新(第一)运动信息。例如，解码设备可使用通过运动补偿使用各个运动信息推导的基准块与目标块的重构块之间的差的量来确定是否更新(第一)运动信息。换言之，编码设备可通过比较基于各个运动信息推导的基准块与目标块的原始块之间的残差信号的数据量来确定是否更新。
此外，解码设备从编码设备接收指示是否更新的附加信息并基于附加信息来确定是否更新目标块的运动信息。例如，指示是否更新的附加信息可被称为更新标志。更新块为1的情况可指示运动信息被更新，更新块为0的情况可指示运动信息未更新。例如，更新标志可以PU为单位发送。
在步骤S520中，在确定更新目标块的运动信息的情况下，解码设备基于修正的运动信息来更新目标块的运动信息并存储更新的运动信息(步骤S530)。例如，在基于修正的运动信息推导的特定基准块与重构块之间的残差信号的数据量小于基于(第一)运动信息推导的基准块与重构块之间的残差信号的数据量的情况下，解码设备可基于修正的运动信息来更新(第一)运动信息。在这种情况下，解码设备可通过将(第一)运动信息替换为修正的运动信息来更新目标块的运动信息并存储仅包括修正的运动信息的更新的运动信息。另外，解码设备可通过将修正的运动信息与(第一)运动信息相加来更新目标块的运动信息并存储包括(第一)运动信息和修正的运动信息的更新的运动信息。
此外，在步骤S520中，在确定不更新目标块的运动信息的情况下，解码设备存储(第一)运动信息(步骤S540)。例如，在基于修正的运动信息推导的特定基准块与重构块之间的残差信号的数据量不小于基于(第一)运动信息推导的基准块与重构块之间的残差信号的数据量的情况下，解码设备可存储(第一)运动信息。
另一方面，尽管未示出，在推导修正的运动信息而不通过(第一)运动信息与修正的运动信息之间的比较确定更新的情况下，解码设备可基于修正的运动信息来更新目标块的运动信息。
此外，所存储的运动信息和用于传输的运动信息可具有不同的分辨率。换言之，修正的运动信息中所包括的运动矢量的单位和基于用于帧间预测的信息推导的运动信息中所包括的运动矢量的单位可不同。例如，基于用于帧间预测的信息推导的运动信息的运动矢量的单位可具有1/4部分样本的单位，解码设备中计算的修正的运动信息的运动矢量的单位可具有1/8部分样本或1/16部分样本的单位。解码设备可在计算修正的运动信息的处理中将分辨率调节为存储所需的分辨率，或者在存储修正的运动信息的处理中通过计算(例如，四舍五入、乘法等)来调节分辨率。在修正的运动信息的运动矢量的分辨率高于基于用于帧间预测的信息推导的运动信息的运动矢量的情况下，对于用于时间邻近运动信息计算的缩放操作，准确性可增加。另外，在用于传输运动信息和用于内部操作的分辨率不同的解码设备的情况下，存在可根据内部操作标准执行解码的效果。
此外，在用于计算修正的运动信息的方法当中应用块匹配方法的情况下，修正的运动信息可如下推导。块匹配方法可被表示为编码设备中使用的运动估计方法。
编码设备可通过根据目标块和基准块的相位累积样本之间的差值来测量失真程度并将这些用作成本函数，然后，推导与目标块最相似的基准块。即，编码设备可基于与目标块的重构块(或原始块)的残差最小的基准块来推导目标块的修正的运动信息。残差最小的基准块可被称为特定基准块。绝对差和(SAD)和均方误差(MSE)可用于表示样本之间的差值的函数。通过根据目标块和基准块的相位累积样本之间的差值的绝对值来测量失真程度的SAD可基于下式来推导。
[式1]
Figure SMS_1
本文中，Blockcur(i,j)表示目标块的重构块(或原始块)中的(i,j)坐标的重构样本(或原始样本)，Blockref(i,j)表示基准块中的(i,j)坐标的重构样本，width是重构块(或原始块)的宽度，height表示重构块(或原始块)的高度。
另外，通过根据目标块和基准块的相位累积样本之间的差值的平方值来测量失真程度的MSE可基于下式来推导。
[式2]
Figure SMS_2
本文中，Blockcur(i,j)表示目标块的重构块(或原始块)中的(i,j)坐标的重构样本(或原始样本)，Blockref(i,j)表示基准块中的(i,j)坐标的重构样本，width是重构块(或原始块)的宽度，height表示重构块(或原始块)的高度。
用于计算修正的运动信息的方法的计算复杂度可根据用于搜索特定基准块的搜索范围来灵活地改变。因此，在使用块匹配方法计算目标块的修正的运动信息的情况下，解码设备可仅搜索包括在距通过在目标块的解码过程中使用的(第一)运动信息推导的基准块为预定区域内的基准块，由此，可维持低计算复杂度。
图6示出由解码设备通过块匹配方法更新目标块的运动信息的方法的示例。解码设备对目标块进行解码(步骤S600)。在对目标块应用帧间预测的情况下，解码设备可通过比特流来获得用于目标块的帧间预测的信息。由于应用于编码设备的更新目标块的运动信息的方法应该按照相同的方式应用于解码设备，所以编码设备和解码设备可基于目标块的重构块来计算目标块的修正的运动信息。
解码设备使用重构块针对修正的运动信息在基准画面中执行运动估计(步骤S610)。解码设备可推导基于用于帧间预测的信息推导的运动信息的基准画面作为修正的运动信息的特定基准画面，并在基准画面中的基准块当中检测特定基准画面。特定基准块可以是基准块当中与重构块的样本之间的差值的绝对值的总和(即，绝对差和(SAD))最小的基准块。另外，解码设备可将用于检测特定基准块的搜索区域限制为距通过基于用于帧间预测的信息推导的运动信息表示的基准块的预定区域。换言之，解码设备可推导位于距基准块为预定区域内的基准块当中与重构块的SAD最小的基准块作为特定基准块。解码设备可仅在距基准块为预定区域内执行运动估计，由此，在减小计算复杂度的同时增加修正的运动信息的可靠性。
在目标块的重构块的大小大于特定大小的情况下，为了精心地计算修正的运动信息，解码设备将重构块分割成大小小于特定大小的小块并基于各个小块计算更详细的运动信息(步骤S620)。特定大小可预先配置，并且分割的块可被称为子重构块。解码设备可将重构块分割成多个子重构块并基于子重构块在修正的运动信息的基准画面内以各个子重构块为单位推导特定子基准块，并推导所推导的特定子基准块作为特定基准块。解码设备可基于特定基准块来计算修正的运动信息。
此外，在用于计算修正的运动信息的方法当中应用光流(OF)方法的情况下，修正的运动信息可如下推导。OF方法可基于这样的假设来计算：目标块中的对象的速度均匀并且表示该对象的样本的样本值在图像中不改变。在对象在时间δt内在x轴上移动δx并在y轴上移动δy的情况下，可建立下式。
[式3]
I(x,y,t)＝＝I(x+δx,y+δy,t+δt)
本文中，I(x,y,t)指示表示包括在目标块中的时间t的对象的(x,y)位置中的重构样本的样本值。
在式3中，当泰勒级数中展开右项时，可推导下式。
[式4]
Figure SMS_3
当满足式4时，可建立下式。
[式5]
Figure SMS_4
重写式5，可推导下式。
[式6]
Figure SMS_5
Figure SMS_6
本文中，vx是所计算的运动矢量在x轴上的矢量分量，vy是所计算的运动矢量在y轴上的矢量分量。解码设备可推导对象在x轴、y轴和t轴上的偏导值，并通过将所推导的偏导值应用于该式来推导当前位置(即，重构样本的位置)的运动矢量(vx,vy)。在这种情况下，例如，解码设备可将表示对象的目标块的重构块中的重构样本配置为包括在3×3大小的区域单位中的重构样本，并通过将该式应用于重构样本来计算左项接近0的运动矢量(vx,vy)。
由编码设备计算的目标块的修正的运动信息的存储格式可具有各种格式，由于其可用于在与目标块邻近的下一块或目标块中包括的目标画面的编码过程之后编码的画面，所以可能有益的是修正的运动信息可按照与用于预测目标块的运动信息相同的格式存储。用于预测的运动信息可包括关于是单预测还是双预测的信息、基准画面索引和运动矢量。修正的运动信息可被计算为具有与用于预测的运动信息相同的格式。
在仅存在目标画面的一个基准画面的情况下，即，除了目标画面的画面次序计数(POC)的值为1的情况之外，双预测可执行。通常，与编码设备执行单预测的情况相比，在编码设备执行双预测的情况下预测性能可较高。因此，在目标画面可用于执行双预测的情况下，为了通过传播准确运动信息来改进图像的总体编码效率，编码设备可通过上述方法利用双预测来计算并更新目标块的修正的运动信息。然而，即使在目标画面可用于执行双预测的情况下，即，即使在目标画面的POC的值不为1的情况下，也可发生遮挡并且可发生不可执行双预测的情况。当基于修正的运动信息补偿运动并且通过运动补偿基于修正的运动信息推导的预测样本的样本与目标块的重构块(或原始块)的样本的差的绝对值之和大于预定阈值时，可确定发生遮挡。例如，在目标块的修正的运动信息是双预测运动信息的情况下，当基于包括在修正的运动信息中的L0运动矢量推导的预测样本的样本与目标块的重构块(或原始块)的样本的差的绝对值之和大于预定阈值时，根据对L0的预测，可确定发生遮挡。另外，当基于包括在修正的运动信息中的L1运动矢量推导的预测样本的样本与目标块的重构块(或原始块)的样本的差的绝对值之和大于预定阈值时，根据对L1的预测，可确定发生遮挡。在通过对L0和L1中的任一个的预测发生遮挡的情况下，除了发生遮挡的列表的用于预测的信息之外，编码设备可推导修正的运动信息作为单预测运动信息。
在通过对L0和L1中的任一个的预测发生遮挡或者可用于计算修正的运动信息的情况下，可使用目标块的邻近块的运动信息来应用更新目标块的运动信息的方法，另选地，可基于修正的运动信息来应用不更新目标块的运动信息的方法。为了存储并传播准确的运动信息，在上述情况下，基于修正的运动信息不更新目标块的运动信息的方法可能更适当。
修正的运动信息的L0基准画面索引和L1基准画面索引可指示基准画面列表中的基准画面之一(L0或L1)。修正的运动信息的基准画面索引所指示的基准画面可被称为特定基准画面。选择基准画面列表中的若干基准画面之一的方法可如下所述。
例如，编码设备可选择包括在基准画面列表中的基准画面当中最近编码的基准画面。即，编码设备可生成包括在修正的运动信息中的基准画面索引，其指示包括在基准画面列表中的基准画面当中最近编码的基准画面。
另外，编码设备可选择基准画面列表中具有最接近当前画面的画面次序计数(POC)的POC的基准画面。即，编码设备可生成包括在修正的运动信息中的基准画面索引，其指示包括在基准画面列表中的基准画面当中POC与包括目标块的目标画面的POC的差的绝对值最小的基准画面。
此外，编码设备可选择基准画面列表中属于分层结构中的较低层的基准画面。属于较低层的基准画面可以是I切片或者通过应用低量化参数(QP)而编码的基准画面。
另外，编码设备可选择基准画面列表中运动补偿的可靠性最高的基准画面。即，编码设备可在位于基准画面列表中所包括的基准画面中的基准块当中推导目标块的重构块(或原始块)的特定基准块并生成包括在修正的运动信息中的基准画面索引，其指示包括所推导的特定基准块的基准画面。
上述生成修正的运动信息的基准画面索引的方法可独立地应用，或者这些方法可组合应用。
包括在修正的运动信息中的运动矢量可通过包括OF方法、块匹配方法、频域方法等的至少一种方法来推导，并且可能需要具有以至少最小块为单位的运动矢量。
图7示出可用在修正的运动信息中的基准画面。
参照图7，在目标画面是POC值为3的画面的情况下，可针对目标画面执行双预测，POC值为2的画面和POC值为4的画面可被推导作为目标画面的基准画面。目标画面的L0可包括POC值为2的画面和POC值为0的画面，L0基准画面索引的相应对应值可为0和1。另外，目标画面的L1可包括POC值为4的画面和POC值为8的画面，L1基准画面索引的相应对应值可为0和1。在这种情况下，编码设备可将目标画面的修正的运动信息的特定基准画面选择为各个基准画面列表中的基准画面当中POC与目标画面的差的绝对值最小的基准画面。此外，编码设备可在目标画面中以4×4大小的块为单位来推导修正的运动信息的运动矢量。OF方法可被应用于推导运动矢量的方法。基于POC值为2的基准画面推导的运动矢量可被存储在修正的运动信息中所包括的L0运动信息中，基于POC值为4的基准画面推导的运动矢量可被存储在修正的运动信息中所包括的L1运动信息中。
另外，参照图7，在目标画面是POC值为8的画面的情况下，目标画面可执行单预测，并且POC值为0的画面可被推导作为目标画面的基准画面。目标画面的L0可包括POC值为0的基准画面，并且与基准画面对应的L0基准画面索引的值可为0。在这种情况下，编码设备可将目标画面的修正的运动信息的特定基准画面选择为包括在L0中的基准画面当中POC与目标画面的POC的差的绝对值最小的基准画面。此外，编码设备可在当前画面中以4×4大小的块为单位推导修正的运动信息的运动矢量。OF方法可被应用于推导运动矢量的方法。块匹配方法可被应用于推导运动矢量的方法，基于POC值为0的基准画面推导的运动矢量可被存储在修正的运动信息中所包括的L0运动信息中。
参照上述实施方式，目标画面的修正的运动信息的基准画面可被推导为指示包括在基准画面列表中的基准画面当中POC与目标画面的POC的差的绝对值最小的基准画面，并且可以4×4大小的块为单位来计算修正的运动信息的运动矢量。在目标画面是POC为8的画面的情况下，由于目标画面是图7所示的画面当中首先执行帧间预测的画面，所以执行单预测，但是在目标画面是POC为3的画面的情况下，双预测可用并且目标画面的修正的运动信息可被确定为双预测运动信息。另外，即使在目标画面是POC为3的画面的情况下，在目标画面中以块为单位计算并更新修正的运动信息的情况下，编码设备可确定以块为单位选择包括双预测运动信息和单预测运动信息的一个运动信息格式。
另外，不同于上述实施方式，可生成修正的运动信息的基准画面索引以指示由分层结构选择的基准画面，而非包括在基准画面列表中的基准画面当中POC与目标画面的POC的差的绝对值最小的基准画面。例如，在目标画面是POC为5的画面的情况下，目标画面的修正的运动信息的L0基准画面索引可指示POC值为0的画面，而非POC值为4的画面。在执行目标画面的编码过程之后的定时，最近编码的基准画面的大部分可指示POC与目标画面的POC的差的绝对值最小的基准画面。然而，类似于POC值为6的画面的情况，最近编码的基准画面是POC值为2的基准画面，并且POC与目标画面的POC的差的绝对值最小的画面是POC值为4的画面，因此，可发生指示不同基准画面的情况。
在通过上述方法将目标块的运动信息更新为修正的运动信息的情况下，可使用修正的运动信息来执行与目标块邻近的下一块的帧间预测(目标块可被称为第一块，下一块可被称为第二块)。在下一块的帧间预测模式下使用修正的运动信息的方法可包括对修正的运动信息进行索引并发送的方法以及将下一块的运动矢量表示为目标块的运动矢量与下一块的运动矢量之间的差值的方法。对修正的运动信息进行索引并发送的方法可以是帧间预测模式当中对下一块应用合并模式的情况下的方法，将下一块的运动矢量表示为目标块的运动矢量与下一块的运动矢量之间的差值的方法可以是帧间预测模式当中对下一块应用AMVP模式的情况下的方法。
图8示出在目标块的运动信息被更新为目标块的修正的运动信息的情况下与目标块邻近的下一块的合并候选列表的示例。参照图8，编码设备可配置包括目标块的下一块的合并候选列表。编码设备可发送指示包括在合并候选列表中的块当中与下一块的运动信息最相似的块的合并索引。在这种情况下，目标块的更新的运动信息可用于下一块的空间邻近候选块的运动信息，或者另选地，用于时间邻近候选块的运动信息。目标块的运动信息可包括目标块的修正的运动信息。如图8所示，空间邻近候选块的运动信息可表示A1、B1、B0、A0和B2位置上与下一块邻近的块的所存储的运动信息当中的一个运动信息。可更新在下一块的编码之前编码的目标块的运动信息，并且更新的运动信息可影响下一块的编码过程。在包括错误的运动信息通过合并模式传播到下一块的情况下，该错误可能累积并传播，但是可通过经由上述方法更新各个块中的运动信息来减小传播的错误。
图9示出在目标块的运动信息被更新为目标块的修正的运动信息的情况下与目标块邻近的下一块的合并候选列表的示例。可存储用于预测与下一块邻近的目标块的(第一)运动信息和修正的运动信息。在这种情况下，编码设备可将指示下一块的合并候选列表中新计算的目标块的修正的运动信息的目标块配置为单独的合并候选块。如图9所示，指示目标块的修正的运动信息的目标块可被插入到合并候选列表，指示与下一块邻近的目标块的编码过程中应用的(第一)运动信息的目标块旁边。另外，可改变合并候选列表的优先级，并且可不同地配置插入位置的数量。
尽管作为推导修正的运动信息的目标块的示例示出了A1和B1，但是这仅是示例，甚至对于剩余A0、B0、B2、T0和T1，也可推导修正的运动信息，并且可基于其来配置合并候选列表。
例如，下一块可位于不同于目标块的画面上，并且下一块的时间邻近候选块可包括在合并候选列表中。可通过下一块的合并索引来选择时间邻近候选块的运动信息。在这种情况下，可通过上述方法将时间邻近候选块的运动信息更新为修正的运动信息，并且指示更新的运动信息的时间邻近候选块可被插入在下一块的合并候选列表中。另外，通过上述方法，可单独地存储时间邻近候选块的(第一)运动信息和修正的运动信息。在这种情况下，在生成下一块的合并候选列表的过程中，指示修正的运动信息的时间邻近候选块可作为合并候选列表的附加候选插入。
不同于图9所示的内容，可对下一块应用AMVP模式。在对下一块应用AMVP模式的情况下，编码设备可基于下一块的邻近块的运动信息来生成运动矢量预测器候选列表。
图10示出在基于目标块的修正的运动信息更新目标块的运动信息的情况下与目标块邻近的下一块的运动矢量预测器候选列表的示例。编码设备可在包括在运动矢量预测器候选列表中的运动信息当中根据特定条件选择运动信息，并发送与指示所选运动信息的索引的运动矢量差(MVD)值，所选运动信息的运动矢量是下一块的运动信息的运动矢量。与上述在合并模式下将指示邻近下一块的更新的运动信息的块插入在合并候选列表中空间或时间合并候选块中的方法类似，生成包括AMVP模式的邻近块的运动信息的列表的过程可被应用于将邻近块的更新的运动信息作为空间或时间运动矢量预测器(MVP)候选插入的方法。如图10所示，编码设备可按照箭头方向的次序检测邻近下一块的目标块A0和目标块A1的更新的运动信息是否依照预定义的特定条件，并且推导首先检测到的依照特定条件的更新的运动信息作为包括在运动预测器候选列表中的MVP A。
另外，编码设备可按照箭头方向的次序检测邻近下一块的目标块B0、目标块B1和目标块B2的更新的运动信息是否依照预定义的特定条件，并推导首先检测到的依照特定条件的更新的运动信息作为包括在运动预测器候选列表中的MVP B。
此外，下一块可位于不同于目标块的画面中，并且下一块的时间MVP候选可包括在运动矢量预测器候选列表中。如图10所示，编码设备可按照位于下一块的基准画面中的目标块T0的更新的运动信息到目标块T1的更新的运动信息的次序来检测是否依照预定义的特定条件，并推导首先检测到的依照特定条件的更新的运动信息作为包括在运动预测器候选列表中的MVP Col。在MVP A、MVP B和/或MVP Col通过由修正的运动信息替换而是更新的运动信息的情况下，更新的运动信息可用于下一块的运动矢量预测器候选。
此外，在所推导的运动预测器候选列表中的MVP候选的数量小于特定数量的情况下，编码设备推导零矢量作为MVP零并将其包括在运动预测器候选列表中。
图11示出在基于目标块的修正的运动信息更新目标块的运动信息的情况下与目标块邻近的下一块的运动矢量预测器候选列表的示例。在目标块的运动信息是包括修正的运动信息和现有运动信息的更新的运动信息的情况下，编码设备可按照箭头方向的次序检测邻近下一块的目标块A0和目标块A1的现有运动信息是否依照特定条件，并推导首先检测到的依照特定条件的现有运动信息作为包括在运动预测器候选列表中的MVP A。
另外，编码设备可按照箭头方向的次序检测目标块A0和目标块A1的修正的运动信息是否依照特定条件，并推导首先检测到的依照特定条件的修正的运动信息作为包括在运动预测器候选列表中的更新的MVP A。
此外，编码设备可按照箭头方向的次序检测邻近下一块的目标块B0、目标块B1和目标块B2的现有运动信息是否依照预定义的特定条件，并推导首先检测到的依照特定条件的现有运动信息作为包括在运动预测器候选列表中的MVP B。
另外，编码设备可按照箭头方向的次序检测目标块B0、目标块B1和目标块B2的修正的运动信息是否依照特定条件，并推导首先检测到的依照特定条件的更新的运动信息作为包括在运动预测器候选列表中的更新的MVP B。
此外，编码设备可按照位于下一块的基准画面中的目标块T0的现有运动信息到目标块T1的现有运动信息的次序检测是否依照特定条件，并推导首先检测到的依照特定条件的现有运动信息作为包括在运动预测器候选列表中的MVP Col。
另外，编码设备可按照位于下一块的基准画面中的目标块T0的修正的运动信息到目标块T1的修正的运动信息的次序检测是否依照特定条件，并推导首先检测到的依照特定条件的修正的运动信息作为包括在运动预测器候选列表中的MVP Col。
此外，在所推导的运动预测器候选列表中的MVP候选的数量小于特定数量的情况下，编码设备推导零矢量作为MVP零并将其包括在运动预测器候选列表中。
图12示意性地示出根据本发明的编码设备的视频编码方法。图12所示的方法可由图1所示的编码设备执行。在详细示例中，图12的步骤S1200至S1230可由编码设备的预测单元执行，步骤S1240可由编码设备的存储器执行。
编码设备生成目标块的运动信息(步骤S1200)。编码设备可对目标块应用帧间预测。在对目标块应用帧间预测的情况下，编码设备可通过应用跳过模式、合并模式和自适应运动矢量预测(AMVP)模式中的至少一个来生成目标块的运动信息。运动信息可被称为第一运动信息。在跳过模式和合并模式的情况下，编码设备可基于目标块的邻近块的运动信息来生成目标块的运动信息。运动信息可包括运动矢量和基准画面索引。运动信息可以是双预测运动信息或单预测运动信息。双预测运动信息可包括L0基准画面索引和L0运动矢量以及L1基准画面索引和L1运动矢量，单向运动信息可包括L0基准画面索引和L0运动矢量或L1基准画面索引和L1运动矢量。L0指示基准画面列表L0(列表0)，L1指示基准画面列表L1(列表1)。
在AMVP模式的情况下，编码设备可使用目标块的邻近块的运动矢量作为运动矢量预测器(MVP)来推导目标块的运动矢量，并生成包括运动矢量和运动矢量的基准画面索引的运动信息。
编码设备通过基于运动信息执行目标块的帧间预测来推导预测样本(步骤S1210)。编码设备可基于包括在运动信息中的基准画面索引和运动矢量来生成目标块的预测样本。
编码设备基于预测样本来生成重构块(步骤S1220)。编码设备可基于预测样本来生成目标块的重构块，或者生成目标块的残差信号并基于残差信号和预测样本来生成目标块的重构块。
编码设备基于重构块来生成目标块的修正的运动信息(步骤S1230)。编码设备可通过各种方法来计算指示修正的运动信息的特定基准画面的修正的基准画面索引和特定基准画面的修正的运动矢量。修正的运动信息可被称为第二运动信息。包括诸如光流(OF)方法、块匹配方法、频域方法等的直接方法以及诸如奇点匹配方法、使用统计性质的方法等的间接方法的至少一种方法可应用于该方法。另外，直接方法和间接方法可同时应用。
例如，编码设备可通过块匹配方法来生成修正的运动信息。在这种情况下，编码设备可通过根据目标块的重构块和基准块的相位累积样本之间的差值来测量失真程度并将这些用作成本函数，然后，检测重构块的特定基准块。编码设备可基于所检测的特定基准块来生成修正的运动信息。换言之，编码设备可生成修正的运动信息，其包括指示特定基准索引的修正的基准画面索引以及指示特定基准画面中的特定基准块的修正的运动矢量。编码设备可在特定基准画面中的基准块当中检测根据目标块的重构块的相位在样本之间的差的绝对值(或平方值)的总和最小的基准块作为特定基准块，并基于该特定基准块来推导修正的运动信息。作为表示差的绝对值的总和的方法，可使用绝对差和(SAD)。在这种情况下，可使用上述式1来计算差的绝对值的总和。另外，作为表示差的绝对值的总和的方法，可使用均方误差(MSE)。在这种情况下，可使用上述式2来计算差的绝对值的总和。
另外，修正的运动信息的特定基准画面可被推导为包括在(第一)运动信息中的基准画面索引所指示的基准画面，并且可将用于检测特定基准块的搜索区域限制为位于距基于(第一)运动信息中所包括的与基准画面有关的运动矢量在基准画面中推导的基准块为预定区域内的基准块。即，编码设备可推导位于距基于包括在(第一)运动信息中的与基准画面有关的运动矢量在基准画面中推导的基准块为预定区域内的基准块当中的与重构块的SAD最小的基准块作为特定基准块。
另外，在重构块的大小大于预定大小的情况下，重构块可被分割成多个子重构块，并且可在特定基准画面中以子重构块为单位推导特定子重构块。在这种情况下，编码设备可基于所推导的特定子重构块来推导特定基准块。
作为另一示例，编码设备可通过OF方法来生成修正的运动信息。在这种情况下，编码设备可基于这样的假设来计算目标块的修正的运动信息的运动矢量：目标块中的对象的速度均匀，并且表示该对象的样本的样本值在图像中不改变。可通过上述式6来计算运动矢量。指示包括在目标块中的对象的样本的区域可被配置为3×3大小的区域。
在通过上述方法计算修正的运动信息的情况下，编码设备可计算修正的运动信息以具有与(第一)运动信息相同的格式。即，编码设备可计算修正的运动信息以在双预测运动信息和单预测运动信息之间具有与运动信息相同的格式。双预测运动信息可包括L0基准画面索引和L0运动矢量以及L1基准画面索引和L1运动矢量，单向运动信息可包括L0基准画面索引和L0运动矢量或L1基准画面索引和L1运动矢量。L0指示基准画面列表L0(列表0)，L1指示基准画面列表L1(列表1)。
另外，双预测可用于在包括目标块的目标画面中执行，编码设备可通过上述方法来将修正的运动信息计算为双预测运动信息。然而，在修正的运动信息被计算为双预测运动信息之后，在通过双预测运动信息推导的特定基准块之一上发生遮挡的情况下，除了包括发生遮挡的特定基准块的特定基准画面的基准画面列表的运动信息之外，编码设备可将修正的运动信息推导为单预测运动信息。当根据基于修正的运动信息推导的基准块和目标块的重构块的相位的样本之间的差值大于特定阈值时，可确定是否发生遮挡。阈值可预先配置。
例如，编码设备将修正的运动信息计算为双预测运动信息，并且在根据基于修正的运动信息的L0运动矢量和L0基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下，编码设备可将修正的运动信息推导为包括L1运动矢量和L1基准画面索引的单预测运动信息。
又如，编码设备将修正的运动信息计算为双预测运动信息，并且在根据基于修正的运动信息的L1运动矢量和L1基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下，编码设备可将修正的运动信息推导为包括L0运动矢量和L0基准画面索引的单预测运动信息。
另外，在根据基于L0运动矢量和L0基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下并且在根据基于L1运动矢量和L1基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下，编码设备可推导目标块的邻近块的运动信息作为修正的运动信息，或者可不计算修正的运动信息。
此外，编码设备可通过各种方法选择包括在修正的运动信息中的修正的基准画面索引所指示的特定基准画面。
例如，编码设备可在包括在基准画面列表L0中的基准画面当中选择最近编码的基准画面并生成指示基准画面的修正的L0基准画面索引。另外，编码设备可在包括在基准画面列表L1中的基准画面当中选择最近编码的基准画面并生成指示基准画面的修正的L1基准画面索引。
又如，编码设备可在包括在L0基准画面索引中的基准画面当中选择画面次序计数(POC)与目标画面的POC的差的绝对值最小的基准画面，并生成指示基准画面的修正的L0基准画面索引。另外，编码设备可在包括在L1基准画面索引中的基准画面当中选择画面次序计数(POC)与目标画面的POC的差的绝对值最小的基准画面，并生成指示基准画面的修正的L1基准画面索引。
又如，编码设备可在包括在各个基准画面列表中的基准画面当中选择属于分层结构上的最低层的基准画面，并生成指示基准画面的修正的基准画面索引。属于最低层的基准画面可以是I切片或通过应用低量化参数(QP)编码的基准画面。
又如，编码设备可选择基准画面列表中包括运动补偿的可靠性最高的基准块的基准画面，并生成指示基准画面的修正的基准画面索引。换言之，编码设备可基于包括在基准画面列表中的基准画面来推导目标块的重构块的特定基准块，并生成指示包括所推导的特定基准块的特定基准画面的修正的基准画面索引。
上述生成修正的运动信息的修正的基准画面索引的方法可独立地应用，或者这些方法可组合应用。
另外，尽管未示出，编码设备可基于目标块的原始块来生成目标块的修正的运动信息。编码设备可在包括在基准画面中的基准块当中推导原始块的特定基准块，并生成指示所推导的特定基准块的修正的运动信息。
编码设备基于修正的运动信息来更新目标块的运动信息(步骤S1240)。编码设备可存储修正的运动信息并更新目标块的运动信息。编码设备可通过将用于预测目标块的运动信息替换为修正的运动信息来更新目标块的运动信息。另外，编码设备可通过存储用于预测目标块的所有运动信息和修正的运动信息来更新目标块的运动信息。更新的运动信息可用于与目标块邻近的下一块的运动信息。例如，对与目标块邻近的下一块应用合并模式，下一块的合并候选列表可包括目标块。在通过将用于预测目标块的运动信息替换为修正的运动信息来存储目标块的运动信息的情况下，下一块的合并候选列表可包括指示修正的运动信息的目标块。另外，用于预测目标块的所有运动信息和修正的运动信息被存储在目标块的运动信息中，下一块的合并候选列表可包括指示用于预测目标块的运动信息的目标块以及指示修正的运动信息的目标块。指示修正的运动信息的目标块可作为空间邻近候选块插入在合并候选列表中，或者作为时间邻近候选块插入在合并候选列表中。
又如，对与目标块邻近的下一块应用AMVP模式，类似于上述在合并模式下将与下一块邻近的目标块的更新的运动信息插入在合并候选列表中作为空间或时间邻近运动信息的方法，可应用将邻近块的更新的运动信息插入在上述下一块中的运动矢量预测器候选列表中作为空间或时间运动矢量预测器候选的方法。即，编码设备可生成包括与下一块邻近的目标块的更新的运动信息的运动矢量预测器候选列表。
例如，在与下一块邻近的目标块的更新的运动信息仅包括修正的运动信息的情况下，运动矢量预测器候选列表可包括修正的运动信息作为空间运动矢量预测器候选。
又如，在与下一块邻近的目标块的更新的运动信息包括目标块的修正的运动信息和现有运动信息的情况下，运动矢量预测器候选列表可包括在与下一块邻近的目标块的现有运动信息当中根据特定条件选择的现有运动信息以及在与下一块邻近的目标块的修正的运动信息当中根据特定条件选择的修正的运动信息，作为相应空间运动矢量预测器候选。
此外，下一块的运动矢量预测器候选列表可包括下一块的基准画面中与下一块的位置相同位置的同位块的更新的运动信息以及与时间运动矢量预测器候选列表相同位置块的邻近块的更新的运动信息。例如，在与下一块的位置相同位置的同位块的更新的运动信息以及相同位置块的邻近块的更新的运动信息仅包括各个块的修正的运动信息的情况下，运动矢量预测器候选列表可包括修正的运动信息作为时间运动矢量预测器候选列表。
又如，在更新的运动信息包括相同位置块、相同位置块的邻近块的相应修正的运动信息以及相同位置块的现有运动信息的情况下，运动矢量预测器候选列表可分别包括修正的运动信息当中根据特定条件选择的修正的运动信息以及现有运动信息当中根据特定条件选择的现有运动信息，作为单独的空间运动矢量预测器候选。
此外，所存储的运动信息和用于传输的运动信息可具有不同的分辨率。例如，编码设备对用于运动信息的信息进行编码并发送，并且针对与目标块邻近的运动信息存储修正的运动信息，包括在运动信息中的运动矢量的单位可具有1/4部分样本的单位，修正的运动信息的运动矢量的单位可表示1/8部分样本或1/16部分样本的单位。
此外，尽管未示出，编码设备可通过基于目标块的重构块执行(第一)运动信息与修正的运动信息之间的比较过程来确定是否更新目标块的(第一)运动信息。例如，编码设备可通过将基于修正的运动信息推导的特定基准块和目标块的重构块的残差信号的数据量与基于运动信息推导的基准块和重构块的残差信号的数据量进行比较来确定是否更新目标块。在这些数据量当中，在特定基准块和重构块的残差信号的数据量较小的情况下，编码设备可确定更新运动信息和目标块。另外，在这些数据量当中，在特定基准块和重构块的残差信号的数据量不小的情况下，编码设备可确定不更新运动信息和目标块。
另外，编码设备可通过基于目标块的原始块执行运动信息和修正的运动信息之间的比较过程来确定是否更新目标块的(第一)运动信息。例如，编码设备可通过将基于修正的运动信息推导的特定基准块和目标块的原始块的残差信号的数据量与基于运动信息推导的基准块和原始块的残差信号的数据量进行比较来确定是否更新目标块。在这些数据量当中，在特定基准块和原始块的残差信号的数据量较小的情况下，编码设备可确定更新运动信息和目标块。另外，在这些数据量当中，在特定基准块和原始块的残差信号的数据量不小的情况下，编码设备可确定不更新运动信息和目标块。
此外，编码设备可生成并编码指示是否更新的附加信息并通过比特流来输出它。例如，指示是否更新的附加信息可被称为更新标志。更新块为1的情况可指示运动信息被更新，更新块为0的情况可指示运动信息未更新。例如，更新标志可以PU为单位发送。另选地，更新标志可以CU为单位、以CTU为单位或以切片为单位发送，并且可通过诸如画面参数集(PPS)的单位或序列参数集(SPS)的单位的更高级别来发送。
此外，编码设备还可生成指示现有运动矢量与修正的运动信息之间的差的运动矢量更新差信息并将其编码和输出。运动矢量更新差信息可以PU为单位发送。
尽管未示出，编码设备可将关于目标块的残差样本的信息编码并输出。关于残差样本的信息可包括残差样本的变换系数。
图13示意性地示出根据本发明的解码设备的视频解码方法。图13所示的方法可由图2所示的解码设备执行。在详细示例中，图13的步骤S1300可由解码设备的熵解码单元执行，步骤S1310至S1340可由解码设备的预测单元执行，步骤S1350可由解码设备的存储器执行。
解码设备通过比特流获得用于目标块的帧间预测的信息(步骤S1300)。可对目标块应用帧间预测或帧内预测。在对目标块应用帧间预测的情况下，解码设备可通过比特流获得用于目标块的帧间预测的信息。另外，解码设备可通过比特流获得指示目标块的现有运动矢量与修正的运动信息之间的差的运动矢量更新差信息。此外，解码设备可通过比特流获得是否更新目标块的附加信息。例如，指示是否更新的附加信息可被称为更新标志。
解码设备基于关于帧间预测的信息来推导目标块的运动信息(步骤S1310)。运动信息可被称为第一运动信息。关于帧间预测的信息可表示跳过模式、合并模式和自适应运动矢量预测(AMVP)模式当中应用于目标块的模式。在跳过模式或合并模式应用于目标块的情况下，解码设备可生成包括目标块的邻近块的合并候选列表，并获得指示包括在合并候选列表中的邻近块当中的邻近块的合并索引。合并索引可包括在关于帧间预测的信息中。解码设备可推导合并索引所指示的邻近块的运动信息作为目标块的运动信息。
在AMVP模式应用于目标块的情况下，类似于合并模式，解码设备可基于目标块的邻近块来生成列表。解码设备可生成指示包括在所生成的列表中的邻近块当中的邻近块的索引以及索引所指示的邻近块的运动矢量与目标块的运动矢量之间的运动矢量差(MVD)。索引和MVD可被包括在关于帧间预测的信息中。解码设备可基于索引所指示的邻近块的运动矢量和MVD来生成目标块的运动信息。
运动信息可包括运动矢量和基准画面索引。运动信息可以是双预测运动信息或单预测运动信息。双预测运动信息可包括L0基准画面索引和L0运动矢量以及L1基准画面索引和L1运动矢量，单向运动信息可包括L0基准画面索引和L0运动矢量或L1基准画面索引和L1运动矢量。L0指示基准画面列表L0(列表0)，L1指示基准画面列表L1(列表1)。
解码设备通过基于运动信息执行对目标块的帧间预测来推导预测样本(步骤S1320)。解码设备可基于包括在运动信息中的基准画面索引和运动矢量来生成目标块的预测样本。
解码设备基于预测样本来生成重构块(步骤S1330)。在对目标块应用跳过模式的情况下，解码设备可基于预测样本来生成目标块的重构块。在对目标块应用合并模式或AMVP模式的情况下，解码设备可通过比特流来生成目标块的残差信号并基于残差信号和预测样本来生成目标块的重构块。
编码设备基于重构块来推导目标块的修正的运动信息(步骤S1340)。解码设备可通过各种方法来计算指示修正的运动信息的特定基准画面的修正的基准画面索引和特定基准画面的修正的运动矢量。修正的运动信息可被称为第二运动信息。包括诸如光流(OF)方法、块匹配方法、频域方法等的直接方法以及诸如奇点匹配方法、使用统计性质的方法等的间接方法的至少一种方法可应用于该方法。另外，直接方法和间接方法可同时应用。
例如，解码设备可通过块匹配方法来生成修正的运动信息。在这种情况下，解码设备可通过累积根据目标块的重构块和基准块的相位的样本之间的差值来测量失真程度并将这些用作成本函数，然后，检测重构块的特定基准块。解码设备可基于所检测的特定基准块来生成修正的运动信息。换言之，解码设备可生成修正的运动信息，其包括指示特定基准索引的修正的基准画面索引以及指示特定基准画面中的特定基准块的修正的运动矢量。解码设备可在特定基准画面中的基准块当中检测根据目标块的重构块的相位的样本之间的差的绝对值(或平方值)的总和最小的基准块作为特定基准块，并基于该特定基准块来推导修正的运动信息。作为表示差的绝对值的总和的方法，可使用绝对差和(SAD)。在这种情况下，差的绝对值的总和可使用上述式1来计算。另外，作为表示差的绝对值的总和的方法，可使用均方误差(MSE)。在这种情况下，差的绝对值的总和可使用上述式2来计算。
另外，修正的运动信息的特定基准画面可被推导为由包括在(第一)运动信息中的基准画面索引指示的基准画面，可将用于检测特定基准块的搜索区域限制为位于距基于包括在(第一)运动信息中的与基准画面有关的运动矢量在特定基准画面中推导的基准块为预定区域内的基准块。即，解码设备可推导位于距基于包括在运动信息中的与基准画面有关的运动矢量在特定基准画面中推导的基准块为预定区域内的基准块当中的与重构块的SAD最小的基准块作为特定基准块。
另外，在重构块的大小大于预定大小的情况下，重构块可被分割成多个子重构块，可在特定基准画面中以子重构块为单位特定子重构块。在这种情况下，解码设备可基于所推导的特定子重构块来推导特定基准块。
又如，解码设备可通过OF方法来生成修正的运动信息。在这种情况下，解码设备可基于这样的假设来计算目标块的修正的运动信息的修正的运动矢量：目标块中的对象的速度均匀，并且表示该对象的样本的样本值在图像中不改变。运动矢量可通过上述式6来计算。指示包括在目标块中的对象的样本的区域可被配置为3×3大小的区域。
在通过上述方法计算修正的运动信息的情况下，解码设备可计算修正的运动信息以具有与(第一)运动信息相同的格式。即，解码设备可计算修正的运动信息以在双预测运动信息与单预测运动信息之间具有与运动信息相同的格式。双预测运动信息可包括L0基准画面索引和L0运动矢量以及L1基准画面索引和L1运动矢量，单向运动信息可包括L0基准画面索引和L0运动矢量或L1基准画面索引和L1运动矢量。L0指示基准画面列表L0(列表0)，L1指示基准画面列表L1(列表1)。
另外，双预测可用于在包括目标块的目标画面中执行，解码设备可通过上述方法将修正的运动信息计算为双预测运动信息。然而，在修正的运动信息被计算为双预测运动信息之后，在通过双预测运动信息推导的基准块之一上发生遮挡的情况下，除了包括发生遮挡的特定基准块的特定基准画面的基准画面列表的运动信息之外，解码设备可将修正的运动信息推导为单预测运动信息。当根据基于修正的运动信息推导的特定基准块和目标块的重构块的相位的样本之间的差值大于特定阈值时，是否发生遮挡可被确定为发生。阈值可预先配置。
例如，解码设备将修正的运动信息计算为双预测运动信息，并且在根据基于修正的运动信息的L0运动矢量和L0基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下，编码设备可将修正的运动信息推导为包括L1运动矢量和L1基准画面索引的单预测运动信息。
又如，解码设备将修正的运动信息计算为双预测运动信息，并且在根据基于修正的运动信息的L1运动矢量和L1基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下，解码设备可将修正的运动信息推导为包括L0运动矢量和L0基准画面索引的单预测运动信息。
另外，在根据基于L0运动矢量和L0基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下并且在根据基于L1运动矢量和L1基准画面索引推导的特定基准块和目标块的重构块的相位的样本之间的差值大于预先配置的阈值的情况下，解码设备可推导目标块的邻近块的运动信息作为修正的运动信息，或者可不计算修正的运动信息。
此外，解码设备可通过各种方法来选择包括在修正的运动信息中的修正的基准画面索引所指示的特定基准画面。
例如，解码设备可在包括在基准画面列表L0中的基准画面当中选择最近编码的基准画面，并生成指示基准画面的修正的L0基准画面索引。另外，解码设备可在包括在基准画面列表L1中的基准画面当中选择最近编码的基准画面，并生成指示基准画面的修正的L1基准画面索引。
又如，解码设备可在包括在L0基准画面索引中的基准画面当中选择画面次序计数(POC)与目标画面的POC的差的绝对值最小的基准画面，并生成指示基准画面的修正的L0基准画面索引。另外，解码设备可在包括在L1基准画面索引中的基准画面当中选择画面次序计数(POC)与目标画面的POC的差的绝对值最小的基准画面，并生成指示基准画面的修正的L1基准画面索引。
又如，解码设备可在包括在各个基准画面列表中的基准画面当中选择属于分层结构上的最低层的基准画面，并生成指示基准画面的修正的基准画面索引。属于最低层的基准画面可以是I切片或者通过应用低量化参数(QP)来编码的基准画面。
又如，解码设备可在基准画面列表中选择包括运动补偿的可靠性最高的基准块的基准画面，并生成指示基准画面的修正的基准画面索引。换言之，解码设备可基于包括在基准画面列表中的基准画面来推导目标块的重构块的特定基准块，并生成指示包括所推导的特定基准块的特定基准画面的修正的基准画面索引。
上述生成修正的运动信息的修正的基准画面索引的方法可独立地应用，或者这些方法可组合应用。
此外，解码设备可通过比特流来获得指示目标块的现有运动矢量与修正的运动矢量之间的差的运动矢量更新差信息。在这种情况下，解码设备可通过对目标块的(第一)运动信息和运动矢量更新差信息求和来推导修正的运动信息。运动矢量更新差信息可以上述PU为单位发送。
解码设备基于修正的运动信息来更新目标块的运动信息(步骤S1350)。解码设备可存储修正的运动信息并更新目标块的运动信息。解码设备可通过将用于预测目标块的运动信息替换为修正的运动信息来更新目标块的运动信息。另外，解码设备可通过存储用于预测目标块的所有运动信息和修正的运动信息来更新目标块的运动信息。更新的运动信息可用于与目标块邻近的下一块的运动信息。
例如，对与目标块邻近的下一块应用合并模式，下一块的合并候选列表可包括目标块。在通过将用于预测目标块的运动信息替换为修正的运动信息来存储目标块的运动信息的情况下，下一块的合并候选列表可包括指示修正的运动信息的目标块。另外，用于预测目标块的所有运动信息和修正的运动信息被存储在目标块的运动信息中，下一块的合并候选列表可包括指示用于预测目标块的运动信息的目标块以及指示修正的运动信息的目标块。指示修正的运动信息的目标块可作为空间邻近候选块插入在合并候选列表中，或者作为时间邻近候选块插入在合并候选列表中。
又如，对与目标块邻近的下一块应用AMVP模式，类似于上述在合并模式下将与下一块邻近的目标块的更新的运动信息插入在合并候选列表中作为空间或时间邻近运动信息的方法，可应用将邻近块的更新的运动信息插入在上述下一块中的运动矢量预测器候选列表中作为空间或时间运动矢量预测器候选的方法。即，解码设备可生成包括与下一块邻近的目标块的更新的运动信息的运动矢量预测器候选列表。
例如，在与下一块邻近的目标块的更新的运动信息仅包括修正的运动信息的情况下，运动矢量预测器候选列表可包括修正的运动信息作为空间运动矢量预测器候选。
又如，在与下一块邻近的目标块的更新的运动信息包括目标块的修正的运动信息和现有运动信息的情况下，运动矢量预测器候选列表可包括与下一块邻近的目标块的修正的运动信息当中根据特定条件选择的修正的运动信息以及与下一块邻近的目标块的现有运动信息当中根据特定条件选择的现有运动信息，作为相应空间运动矢量预测器候选。
此外，下一块的运动矢量预测器候选列表可包括下一块的基准画面中与下一块的位置相同位置的同位块的更新的运动信息以及与时间运动矢量预测器候选列表相同位置块的邻近块的更新的运动信息。例如，在与下一块的位置相同位置的同位块的更新的运动信息以及相同位置块的邻近块的更新的运动信息仅包括各个块的修正的运动信息的情况下，运动矢量预测器候选列表可包括修正的运动信息作为时间运动矢量预测器候选列表。
又如，在更新的运动信息包括相同位置块、相同位置块的邻近块的相应修正的运动信息以及相同位置块的现有运动信息的情况下，运动矢量预测器候选列表可分别包括修正的运动信息当中根据特定条件选择的修正的运动信息以及现有运动信息当中根据特定条件选择的现有运动信息作为单独的空间运动矢量预测器候选。
此外，所存储的运动信息和用于传输的运动信息可具有不同的分辨率。例如，解码设备解码并发送用于运动信息的信息，并且针对与目标块邻近的运动信息存储修正的运动信息，包括在运动信息中的运动矢量的单位可具有1/4部分样本的单位，修正的运动信息的运动矢量的单位可表示1/8部分样本或1/16部分样本的单位。
此外，尽管未示出，解码设备可通过基于目标块的重构块执行(第一)运动信息和修正的运动信息之间的比较过程来确定是否更新目标块的(第一)运动信息。例如，解码设备可通过将基于修正的运动信息推导的特定基准块和目标块的重构块的残差信号的数据量与基于运动信息推导的基准块和重构块的残差信号的数据量进行比较来确定是否更新目标块。在这些数据量当中，在特定基准块和重构块的残差信号的数据量较小的情况下，解码设备可确定更新运动信息和目标块。另外，在这些数据量当中，在特定基准块和重构块的残差信号的数据量不小的情况下，解码设备可确定不更新运动信息和目标块。
此外，解码设备可通过比特流来获得指示是否更新目标块的附加信息。例如，指示是否更新的附加信息可被称为更新标志。更新块为1的情况可指示运动信息被更新，更新块为0的情况可指示运动信息未更新。例如，更新标志可以PU为单位来发送。另选地，更新标志可以CU为单位、以CTU为单位或以切片为单位发送，并且可通过诸如画面参数集(PPS)的单位或序列参数集(SPS)的单位的更高级别发送。
根据上述本发明，在目标块的解码过程之后，计算目标块的修正的运动信息，并且可将其更新为更准确的运动信息，由此，总体编码效率可改进。
另外，根据本发明，可基于目标块的更新的运动信息来推导与目标块邻近的下一块的运动信息，并且可减小失真的传播，由此，总体编码效率可改进。
在上述实施方式中，基于流程图将方法描述为一系列步骤或方框。然而，本公开不限于这些步骤次序。一些步骤可同时进行或者按照与上述步骤次序不同的次序进行。此外，本领域技术人员将理解，流程图中所示的步骤不是排他性的。将理解，在不影响本公开的范围的情况下，可包括其它步骤或者可删除流程图中的一个或更多个步骤。
根据上述本公开的方法可在软件中实现。根据本公开的编码装置和/或解码装置可包括在例如为TV、计算机、智能电话、机顶盒或显示装置执行图像处理的装置中。
当本公开的实施方式以软件实现时，上述方法可通过执行上述功能的模块(进程、函数等)来实现。这些模块可被存储在存储器中并由处理器执行。存储器可在处理器的内部或外部，并且存储器可使用各种熟知手段联接到处理器。处理器可包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括ROM(只读存储器)、RAM(随机存取存储器)、闪存、存储卡、存储介质和/或其它存储装置。

Claims (14)

1.一种由解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
推导第一目标块的运动信息；
基于所述第一目标块的所述运动信息和双预测来推导所述第一目标块的修正的运动信息；
当对第二目标块应用合并模式时，基于所述第二目标块的空间邻近块和时间邻近块来配置所述第二目标块的合并候选列表；
接收所述第二目标块的合并索引；
基于所述合并索引选择构成所述合并候选列表的合并候选之一；
基于所选择的合并候选来推导所述第二目标块的运动信息；以及
通过基于所述第二目标块的所述运动信息执行帧间预测来生成所述第二目标块的预测样本，
其中，所述合并候选包括空间运动信息候选和时间运动信息候选，其中，基于所述时间邻近块来推导所述时间运动信息候选，并且
其中，当所述第二目标块的所述时间邻近块对应于所述第一目标块时，基于所述第一目标块的所述修正的运动信息来推导所述第二目标块的所述时间运动信息候选。
2.根据权利要求1所述的图像解码方法，该图像解码方法还包括以下步骤：
确定是否更新所述第一目标块的所述运动信息，
其中，当确定更新所述第一目标块的所述运动信息时，基于所述第一目标块的所述修正的运动信息来更新所述第一目标块的所述运动信息。
3.根据权利要求1所述的图像解码方法，其中，更新的运动信息用于推导与所述第一目标块在空间上邻近的下一块的运动信息。
4.根据权利要求1所述的图像解码方法，其中，当包括在所述第一目标块的所述运动信息中的运动矢量的单位表示1/4部分样本的单位时，包括在所述第一目标块的所述修正的运动信息中的运动矢量的单位表示1/8部分样本的单位。
5.根据权利要求1所述的图像解码方法，其中，推导所述修正的运动信息的步骤包括以下步骤：
在基准画面当中推导所述修正的运动信息的特定基准画面；
在所述特定基准画面中的基准块当中检测特定基准块；以及
推导包括指示所述特定基准画面的修正的基准画面索引和指示所述特定基准块的修正的运动矢量的所述修正的运动信息。
6.根据权利要求5所述的图像解码方法，其中，所述特定基准块被推导为所述特定基准画面中的基准块当中的与重构块的差和SAD最小的基准块，其中，所述SAD基于下式来确定：
Figure FDA0004109325160000021
这里，Blockcur(i,j)表示所述重构块中的(i,j)坐标的重构样本，Blockref(i,j)表示所述基准块中的(i,j)坐标的重构样本，“width”表示所述重构块的宽度，并且“height”表示所述重构块的高度。
7.根据权利要求5所述的图像解码方法，其中，所述修正的运动信息的所述特定基准画面被推导为由包括在所述运动信息中的基准画面索引指示的基准画面，并且
其中，将包括在距基于包括在所述运动信息中的所述运动矢量从所述特定基准画面推导的基准块为预定区域内的基准块当中的与重构块的SAD最小的基准块推导为所述特定基准块。
8.根据权利要求1所述的图像解码方法，该图像解码方法还包括以下步骤：
当所述第一目标块的大小大于预先配置的大小时，将所述第一目标块分割成多个子块；以及
在基准画面中以各个子块为单位推导子基准块，
其中，基于所推导的子基准块来推导所述第一目标块中的所述子块的修正的运动信息。
9.根据权利要求1所述的图像解码方法，其中，通过基于包括在所述运动信息中的L0运动矢量和L1运动矢量执行的光流OF方法来推导所述第一目标块的所述修正的运动信息。
10.根据权利要求1所述的图像解码方法，其中，所述修正的运动信息是双预测运动信息，并且
其中，所述双预测运动信息包括L0运动矢量和L0基准画面索引以及L1运动矢量和L1基准画面索引。
11.根据权利要求10所述的图像解码方法，其中，所述修正的运动信息的所述L0基准画面索引指示包括在基准画面列表L0中的基准画面当中的画面次序计数POC与包括所述第一目标块的第一画面的POC的差的绝对值最小的基准画面，并且
其中，所述修正的运动信息的所述L1基准画面索引指示包括在所述基准画面列表L1中的基准画面当中的画面次序计数POC与包括所述第一目标块的所述第一画面的POC的差的绝对值最小的基准画面。
12.一种由编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
推导第一目标块的运动信息；
基于所述第一目标块的所述运动信息和双预测来推导所述第一目标块的修正的运动信息；
当对第二目标块应用合并模式时，基于所述第二目标块的空间邻近块和时间邻近块来配置所述第二目标块的合并候选列表；
选择构成所述合并候选列表的合并候选之一；
生成所述第二目标块的指示所选择的合并候选的合并索引；以及
对包括所述合并索引的图像信息进行编码，
其中，所述合并候选包括空间运动信息候选和时间运动信息候选，其中，基于所述时间邻近块来推导所述时间运动信息候选，并且
其中，当所述第二目标块的所述时间邻近块对应于所述第一目标块时，基于所述第一目标块的所述修正的运动信息来推导所述第二目标块的所述时间运动信息候选。
13.一种存储由图像编码方法生成的比特流的非暂时性计算机可读数字存储介质，所述图像编码方法包括以下步骤：
推导第一目标块的运动信息；
基于所述第一目标块的所述运动信息和双预测来推导所述第一目标块的修正的运动信息；
当对第二目标块应用合并模式时，基于所述第二目标块的空间邻近块和时间邻近块来配置所述第二目标块的合并候选列表；
选择构成所述合并候选列表的合并候选之一；
生成所述第二目标块的指示所选择的合并候选的合并索引；以及
对包括所述合并索引的图像信息进行编码，
其中，所述合并候选包括空间运动信息候选和时间运动信息候选，其中，基于所述时间邻近块来推导所述时间运动信息候选，并且
其中，当所述第二目标块的所述时间邻近块对应于所述第一目标块时，基于所述第一目标块的所述修正的运动信息来推导所述第二目标块的所述时间运动信息候选。
14.一种图像的数据的发送方法，所述发送方法包括以下步骤：
获得所述图像的比特流，其中，所述比特流是基于以下步骤生成的：推导第一目标块的运动信息；基于所述第一目标块的所述运动信息和双预测来推导所述第一目标块的修正的运动信息；当对第二目标块应用合并模式时，基于所述第二目标块的空间邻近块和时间邻近块来配置所述第二目标块的合并候选列表；选择构成所述合并候选列表的合并候选之一；生成所述第二目标块的指示所选择的合并候选的合并索引；以及对包括所述合并索引的图像信息进行编码；以及
发送包括所述比特流的所述数据，
其中，所述合并候选包括空间运动信息候选和时间运动信息候选，其中，基于所述时间邻近块来推导所述时间运动信息候选，并且
其中，当所述第二目标块的所述时间邻近块对应于所述第一目标块时，基于所述第一目标块的所述修正的运动信息来推导所述第二目标块的所述时间运动信息候选。
CN201680091905.1A 2016-12-05 2016-12-05 在图像编码系统中对图像进行解码的方法和装置 Active CN110121883B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310707482.3A CN116527885A (zh) 2016-12-05 2016-12-05 图像编解码方法、数字存储介质以及数据发送方法
CN202310708056.1A CN116527886A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备
CN202310703397.XA CN116527884A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/014167 WO2018105757A1 (ko) 2016-12-05 2016-12-05 영상 코딩 시스템에서 영상 디코딩 방법 및 장치

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202310703397.XA Division CN116527884A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备
CN202310707482.3A Division CN116527885A (zh) 2016-12-05 2016-12-05 图像编解码方法、数字存储介质以及数据发送方法
CN202310708056.1A Division CN116527886A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备

Publications (2)

Publication Number Publication Date
CN110121883A CN110121883A (zh) 2019-08-13
CN110121883B true CN110121883B (zh) 2023-07-04

Family

ID=62492214

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202310708056.1A Pending CN116527886A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备
CN201680091905.1A Active CN110121883B (zh) 2016-12-05 2016-12-05 在图像编码系统中对图像进行解码的方法和装置
CN202310703397.XA Pending CN116527884A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备
CN202310707482.3A Pending CN116527885A (zh) 2016-12-05 2016-12-05 图像编解码方法、数字存储介质以及数据发送方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310708056.1A Pending CN116527886A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310703397.XA Pending CN116527884A (zh) 2016-12-05 2016-12-05 解码设备、编码设备以及数据发送设备
CN202310707482.3A Pending CN116527885A (zh) 2016-12-05 2016-12-05 图像编解码方法、数字存储介质以及数据发送方法

Country Status (11)

Country Link
US (3) US10764598B2 (zh)
EP (3) EP4090025A1 (zh)
KR (4) KR102322128B1 (zh)
CN (4) CN116527886A (zh)
DK (2) DK3541073T3 (zh)
ES (2) ES2886871T3 (zh)
HU (2) HUE059684T2 (zh)
PL (2) PL3541073T3 (zh)
PT (1) PT3855745T (zh)
SI (1) SI3855745T1 (zh)
WO (1) WO2018105757A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615153A (zh) * 2017-08-29 2024-02-27 株式会社Kt 视频解码和编码方法及用于存储压缩视频数据的装置
US11470346B2 (en) 2018-05-09 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
US10965951B2 (en) 2018-06-22 2021-03-30 Avago Technologies International Sales Pte. Limited Memory latency management for decoder-side motion refinement
EP3791586A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
SG11202011714RA (en) 2018-06-29 2020-12-30 Beijing Bytedance Network Technology Co Ltd Partial/full pruning when adding a hmvp candidate to merge/amvp
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Ｌｕｔ更新条件
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
KR102646649B1 (ko) 2018-06-29 2024-03-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
TWI724442B (zh) 2018-06-29 2021-04-11 大陸商北京字節跳動網絡技術有限公司 用於查找表更新的編碼的運動信息的選擇
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
EP3811621A4 (en) * 2018-07-06 2022-04-06 HFI Innovation Inc. ACQUIRED MOTION INFORMATION TO DECODE A CURRENT ENCODER UNIT IN A VIDEO ENCODER SYSTEM
CN112585976A (zh) 2018-08-06 2021-03-30 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
CN111064959B (zh) 2018-09-12 2023-09-01 北京字节跳动网络技术有限公司 要检查多少个hmvp候选
WO2020060177A1 (ko) * 2018-09-18 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
GB2579763B (en) * 2018-09-21 2021-06-09 Canon Kk Video coding and decoding
GB2595053B (en) 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
JP7073501B2 (ja) 2018-12-12 2022-05-23 エルジー エレクトロニクス インコーポレイティド 履歴ベース動きベクトル予測に基づいてビデオ信号を処理するための方法及び装置
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
WO2021060905A1 (ko) * 2019-09-25 2021-04-01 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN112995669B (zh) * 2021-04-27 2021-08-03 浙江华创视讯科技有限公司 一种帧间预测方法、装置、电子设备及存储介质
US20230113104A1 (en) * 2021-10-11 2023-04-13 Tencent America LLC On intra mode propagation

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860690B1 (ko) * 2007-01-26 2008-09-26 삼성전자주식회사 외부 메모리 액세스를 최소화하는 움직임 탐색 방법 및장치
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
CN103039075B (zh) * 2010-05-21 2015-11-25 Jvc建伍株式会社 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
EP2716047A4 (en) * 2011-10-19 2015-03-18 Mediatek Inc METHOD AND DEVICE FOR DERIVING MOTION VECTOR PREVIEW CANDIDATE SETS
TWI597973B (zh) * 2011-10-31 2017-09-01 Jvc Kenwood Corp Video encoding device, video encoding method and recording medium
KR101934277B1 (ko) * 2011-11-28 2019-01-04 에스케이텔레콤 주식회사 개선된 머지를 이용한 영상 부호화/복호화 방법 및 장치
US20130188716A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Temporal motion vector predictor candidate
US9426498B2 (en) * 2012-07-10 2016-08-23 Broadcom Corporation Real-time encoding system of multiple spatially scaled video based on shared video coding information
US9124899B2 (en) * 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
JP6145002B2 (ja) * 2013-09-02 2017-06-07 株式会社日立ハイテクノロジーズ 自動分析装置
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US10484721B2 (en) * 2014-03-17 2019-11-19 Qualcomm Incorporated Method for motion estimation of non-natural video data
US10944983B2 (en) * 2014-04-01 2021-03-09 Mediatek Inc. Method of motion information coding
KR101590493B1 (ko) * 2014-06-12 2016-02-02 에스케이텔레콤 주식회사 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
US10200711B2 (en) * 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
KR20180085714A (ko) * 2015-12-17 2018-07-27 삼성전자주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
KR101691553B1 (ko) * 2016-02-24 2016-12-30 삼성전자주식회사 영상 복호화 방법 및 장치

Also Published As

Publication number Publication date
PL3855745T3 (pl) 2022-11-07
PL3541073T3 (pl) 2021-12-13
DK3541073T3 (da) 2021-09-20
EP4090025A1 (en) 2022-11-16
KR20190084271A (ko) 2019-07-16
CN116527885A (zh) 2023-08-01
KR20230129582A (ko) 2023-09-08
KR102322128B1 (ko) 2021-11-04
US20220264141A1 (en) 2022-08-18
EP3541073A1 (en) 2019-09-18
KR20210135347A (ko) 2021-11-12
PT3855745T (pt) 2022-09-19
KR20220093392A (ko) 2022-07-05
EP3855745A1 (en) 2021-07-28
KR102572286B1 (ko) 2023-08-29
WO2018105757A1 (ko) 2018-06-14
HUE055198T2 (hu) 2021-11-29
ES2927560T3 (es) 2022-11-08
SI3855745T1 (sl) 2022-11-30
EP3541073A4 (en) 2019-12-11
US10764598B2 (en) 2020-09-01
ES2886871T3 (es) 2021-12-21
HUE059684T2 (hu) 2022-12-28
CN116527886A (zh) 2023-08-01
DK3855745T3 (da) 2022-10-10
US20200366922A1 (en) 2020-11-19
CN116527884A (zh) 2023-08-01
EP3541073B1 (en) 2021-06-16
US20190297343A1 (en) 2019-09-26
EP3855745B1 (en) 2022-07-13
CN110121883A (zh) 2019-08-13
US11363289B2 (en) 2022-06-14
KR102414924B1 (ko) 2022-06-30

Similar Documents

Publication Publication Date Title
CN110121883B (zh) 在图像编码系统中对图像进行解码的方法和装置
JP7446297B2 (ja) デコーダ側動きベクトル改良
US20210344947A1 (en) Motion candidates derivation
CN113424525B (zh) 解码器侧细化工具的尺寸选择性应用
EP3635956A1 (en) Overlapped search space for bi-predictive motion vector refinement
CN110740327B (zh) 一种处理视频数据的方法、装置和可读介质
US20230217039A1 (en) Priority-based non-adjacent merge design
CN110858908B (zh) 使用空间邻居的重叠块运动补偿
US20200236389A1 (en) Memory access window and padding for motion vector refinement
CN113302917B (zh) 局部照明补偿的改进方法
CN113170185A (zh) 用于视频译码的空间-时间运动向量预测模式
US20220116588A1 (en) Method and apparatus for image encoding/decoding
US20190356922A1 (en) Inter-prediction method and apparatus in image coding system
US11949874B2 (en) Image encoding/decoding method and device for performing prof, and method for transmitting bitstream
CN110677650B (zh) 降低非相邻Merge设计的复杂度
CN114365485A (zh) 用于执行bdof的图像编码/解码方法和装置及用于发送比特流的方法
CN115699758A (zh) 图像解码方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant