CN107925760A - 基于间预测模式的图像处理方法及其装置 - Google Patents

基于间预测模式的图像处理方法及其装置 Download PDF

Info

Publication number
CN107925760A
CN107925760A CN201580082586.3A CN201580082586A CN107925760A CN 107925760 A CN107925760 A CN 107925760A CN 201580082586 A CN201580082586 A CN 201580082586A CN 107925760 A CN107925760 A CN 107925760A
Authority
CN
China
Prior art keywords
block
picture
prediction
unit
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580082586.3A
Other languages
English (en)
Inventor
朴婡利
徐廷东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN107925760A publication Critical patent/CN107925760A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种基于间预测模式的图像处理方法及其装置。具体地，基于间预测处理图像的方法可以包括以下步骤：基于当前图片的图片顺序计数(POC)与第一参考图片的POC之间的差和当前图片的POC和第二参考图片的POC之间的差的比率来调整当前块的运动矢量；并且基于当前块的调整后的运动矢量通过将基于像素单元的间预测应用于当前块的每个像素来导出当前块中的每个像素的预测因子。

Description

基于间预测模式的图像处理方法及其装置
技术领域
本发明涉及一种处理静止图像或运动图像的方法，并且更具体地，涉及基于间预测模式编码/解码静止图像或运动图像的方法和支持该方法的装置。
背景技术
压缩编码指的是经由通信线路发送数字化信息的一系列信号处理技术，或者以适用于存储介质的形式存储信息的技术。包括图片、图像、音频等等的介质可以是用于压缩编码的目标，并且具体地，对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容被假定为是具有高空间分辨率、高帧速率和场景表示的高维度的特征。为了处理这样的内容，将导致在存储器存储、存储器存取速率和处理功率方面的急剧的增长。
因此，需要设计一种有效率地处理下一代视频内容的编译工具。
发明内容
技术问题
在现有的静止图像或运动图像的压缩技术中，当执行间预测时，以预测块单元执行运动预测。虽然为了搜索当前块的最佳预测块支持各种尺寸或形状的预测块，但存在预测精度恶化的问题。
为了解决这个问题，本发明的目的是提出一种在执行间预测时通过在像素单元中执行运动补偿来处理图像的方法。
此外，本发明的目的是提出一种在执行间预测的运动补偿时通过应用光流导出方法来改善像素单元中的参考块的方法。
本发明要实现的技术目的不限于上述技术目的，并且从以下的描述，本发明所属领域的普通技术人员可以明显地理解以上未描述的其他技术目的。
技术方案
在本发明的一个方面中，一种基于间预测处理图像的方法可以包括以下步骤：基于当前图片的POC(图片顺序计数)与第一参考图片的POC之间的差和当前图片的POC与第二参考图片的POC之间的差的比率来调整当前块的运动矢量；以及基于当前块的调整后的运动矢量，通过对当前块内的每个像素应用像素单元的间预测来导出当前块内的每个像素的预测因子。
在本发明的一个方面中，一种基于间预测处理图像的装置可以包括：块单元运动矢量调整单元，其基于当前图片的图片顺序计数(POC)与第一参考图片的POC之间的差和当前图片的POC和第二参考图片的POC之间的差的比率来调整当前块的运动矢量；以及像素单元间预测处理单元，其基于当前块的调整后的运动矢量，通过对当前块内的每个像素应用像素单元的间预测来导出当前块内的每个像素的预测因子。
优选地，第一参考图片和第二参考图片可以基于当前图片在时间上位于相同方向或不同方向。
优选地，如果当前图片是应用了双向间预测的图片，并且当前图片的两个参考图片基于当前图片在时间上存在于相同方向上，则当前图片的两个参考图片中的一个可以被第二参考图片的参考块代替。
优选地，第二参考图片的参考块可以通过基于当前图片在时间上在不同方向上缩放当前图片的两个参考图片中的一个的运动矢量来导出第二参考图片的参考块。
优选地，如果当前图片的两个参考图片是不同的图片，则可以将当前图片的两个参考图片当中的并且具有比当前图片大的POC差的参考图片的参考块用第二参考图片的参考块代替。
优选地，如果当前图片是应用了单向间预测的图片，则可以使用当前图片的参考图片作为第一参考图片，并且使用第一参考图片的参考图片作为第二参考图片。
优选地，如果第一参考图片是应用了双向间预测的图片，则可以使用第一参考图片的两个参考图片当中的并且具有比当前图片小的POC差的参考图片作为第二参考图片。
优选地，可以通过每个像素的预测因子与针对当前块的基于块的间预测生成的预测因子的加权和来生成当前块的预测因子。
优选地，可以通过考虑当前图片与第一参考图片/第二参考图片之间的POC差、由基于块的间预测生成的两个预测因子之间的差以及第一参考图片的运动矢量与第二参考图片的运动矢量之间的相似度中的一个或多个来确定加权和的加权因子。
优选地，可以确定是否将像素单元的间预测应用于当前块。
优选地，如果针对当前块由基于块的间预测方法生成的两个预测因子之间的差超过阈值，则可以不将像素单元的间预测应用于当前块。
优选地，可以基于由编码器提供的信息来确定是否将像素单元的间预测应用于当前块。
优选地，像素单元的间预测可以是光流。
有益效果
根据本发明的实施例，通过像素单元的运动补偿可以使预测误差最小化。
此外，根据本发明的实施例，与现有的基于块的间预测相比添加的附加信息或附加的预测块的划分是不需要的。
此外，根据本发明的实施例，因为预测块以相对大的尺寸被分割的情况增加，所以分割标志减少，从而可以增加编译效率。
本发明的技术效果不局限于如上所述的技术效果，并且从以下的描述，本领域技术人员可以理解在此处没有提及的其他技术效果。
附图说明
附图作为用于帮助理解本发明的说明书的一部分被包括在此处，其提供了本发明的实施例，并且借助以下的说明来描述本发明的技术特征。
图1图示作为本发明应用于其的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
图2图示作为本发明应用于其的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
图3是用于描述可以应用于本发明的编译单元的分割结构的图。
图4是用于描述可以应用于本发明的预测单元的图。
图5是本发明可以应用于的实施例，并且图示具有稳定运动的图片的双向预测方法。
图6至图10是图示根据本发明的实施例的在像素单元中执行运动补偿的方法的图。
图11是更具体地图示根据本发明的实施例的间预测单元的图。
图12至图16是图示根据本发明的实施例的基于间预测处理图像的方法的图。
具体实施方式
在下文中，本发明的优选实施例将通过参考伴随的附图描述。在下面借助于伴随的附图描述的说明书将描述本发明示例性实施例，并且不意欲描述仅可以实现本发明的实施例。以下的描述包括特定细节以便提供对本发明的完全理解。但是，应该明白，对于本领域技术人员来说，无需特定细节，也可以实施本发明。
在一些情形中，为了防止本发明的技术概念不清楚，公知的结构或者设备可以被省略，或者可以围绕结构或者设备的核心功能将其描述为框图。
此外，虽然尽可能多地选择当前广泛地使用的常规的术语作为本发明的术语，但是在特定情形中使用了由申请人任意选择的术语。由于在这样的情况下，术语的含义将在说明书的相应的部分中被清楚地描述，因此，应该明白，本发明将不是简单地由仅在本发明的描述中使用的术语来解释，而是应该理解术语的含义。
在以下的描述中使用的特定术语可以被提供以帮助理解本发明。此外，特定术语可以被修改为本发明的技术概念范围内的其他形式。例如，信号、数据、采样、图片、帧和块等可以在每个编译过程中被适当地替换和解释。
在下文中，在本说明书中，“处理单元”指的是执行编码/解码处理过程(诸如预测、变换和/或量化)的单元。在下文中，为了描述的方便起见，处理单元也可以被称作“处理块”或者“块”。
处理单元可以被认为是具有包括用于亮度分量的单元和用于色度分量的单元的含义。例如，处理单元可以对应于编译树单元(CTU)、编译单元(CU)、预测单元(PU)或者变换单元(TU)。
此外，处理单元可以被认为是用于亮度分量的单元或者用于色度分量的单元。例如，处理单元可以对应于编译树块(CTB)、编译块(CB)、预测块(PB)或者用于亮度分量的变换块(TB)。可替选地，处理单元可以对应于编译树块(CTB)、编译块(CB)、预测块(PB)或者用于色度分量的变换块(TB)。此外，本发明不受限于此，并且处理单元可以被解释为包括用于亮度分量的单元和用于色度分量的单元的含义。
此外，处理单元基本上不局限于正方形块，并且可以以具有三个或更多顶点的多边形形式来构建。
图1图示作为本发明应用于其的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
参考图1，编码器100可以包括视频分割单元110、减法器115、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码的图片缓冲器(DPB)单元170、预测单元180和熵编码单元190。此外，预测单元180可以包括间预测单元(inter-predictionunit)181和内预测单元(intra-prediction unit)182。
视频分割单元110将输入给编码器100的输入视频信号(或者图片或者帧)分割为一个或多个处理单元。
减法器115通过从输入视频信号减去由预测单元180(即，由间预测单元181或者内预测单元182)输出的预测信号(或者预测块)来生成残差信号(或者残差块)。生成的残差信号(或者残差块)被发送给变换单元120。
变换单元120通过将变换方案(例如，离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或者卡南-洛伊夫变换(KLT))应用于残差信号(或者残差块)来生成变换系数。在这种情况下，可以通过使用应用于残差块的预测模式和基于残差块的尺寸所确定的变换方案执行变换，变换单元120生成变换系数。
量化单元130量化变换系数，并且将其发送给熵编码单元190，并且熵编码单元190执行量化信号的熵编码操作，以及将其作为比特流输出。
同时，由量化单元130输出的量化的信号可以用于生成预测信号。例如，可以通过经由去量化单元140和逆变换单元150将去量化和逆变换应用于量化信号来重建残差信号。可以通过将重建的残差信号增加给由间预测单元181或者内预测单元182输出的预测信号来生成重建的信号。
同时，在这样的压缩过程期间，邻近块通过不同的量化参数来量化。因此，显示块边的伪影(artifact)可能出现。这样的现象被称为块伪影，其是用于评估图像质量的重要因素的一个。为了减少这样的伪影，可以执行滤波过程。经由这样的滤波过程，块伪影被除去，并且当前图片的误差同时被降低，从而改善图像质量。
滤波单元160将滤波应用于重建的信号，并且经由回放设备将其输出，或者将其发送给解码的图片缓冲器170。发送给解码的图片缓冲器170的滤波的信号可以在间预测单元181中用作参考图片。如上所述，可以以图片间预测模式，使用滤波的图片作为参考图片来改善编码速率以及图像质量。
解码的图片缓冲器170可以存储滤波的图片，以便在间预测单元181中将其用作参考图片。
间预测单元181参考重建的图片来执行时间预测和/或空间预测，以便除去时间冗余和/或空间冗余。
具体地，根据本发明的间预测单元181可以通过应用运动矢量尺度自适应方法来导出运动参数。稍后对此进行详细的描述。
在这种情况下，块伪影或者环形伪影可能出现，因为用于执行预测的参考图片是变换的信号，当其被预先地编码/解码时，其在块单元中经历量化或者去量化。
因此，为了解决可归因于这样的信号或者量化的中断的性能退化，在像素之间的信号可以通过将低通滤波器应用于间预测单元181而在子像素单元中被内插。在这种情况下，子像素指的是通过应用内插滤波器生成的虚拟像素，并且整数像素指的是存在于重建的图片之中的实际的像素。线性内插、双线性内插、维纳滤波器等等可以作为内插方法被应用。
内插滤波器可以应用于重建的图片，并且可以改善预测的精确度。例如，间预测单元181可以通过将内插滤波器应用于整数像素生成内插像素并且通过使用包括内插像素的内插块作为预测块来执行预测。
内预测单元182参考邻近现在要编码的块的采样来预测当前块。内预测单元182可以执行以下的过程以便执行内预测。首先，内预测单元182可以准备生成预测信号所必需的参考采样。此外，内预测单元182可以使用准备的参考采样来生成预测信号。其次，内预测单元182可以对预测模式进行编码。在这种情况下，可以经由参考采样填充和/或参考采样滤波来准备参考采样。量化误差可能存在，因为参考采样经历预测和重建过程。因此，为了降低这样的误差，可以对用于内预测的每个预测模式执行参考采样滤波过程。
经由间预测单元181或者内预测单元182生成的预测信号(或者预测块)可以用于生成重建的信号(或者重建的块)，或者可以用于生成残差信号(或者残差块)。
图2图示作为本发明应用于的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
参考图2，解码器200可以包括熵解码单元210、去量化单元220、逆变换单元230、加法器235、滤波单元240、解码的图片缓冲器(DPB)250和预测单元260。此外，预测单元260可以包括间预测单元261和内预测单元262。
此外，经由解码器200输出的重建的视频信号可以经由回放设备来回放。
解码器200可以接收由在图1中示出的编码器100输出的信号(即，比特流)。熵解码单元210对接收的信号执行熵解码操作。
去量化单元220使用量化步长信息(quantization step size information)，从熵解码的信号获得变换系数。
逆变换单元230通过应用逆变换方案对变换系数进行逆变换来获得残差信号(或者残差块)。
加法器235将获得的残差信号(或者残差块)与由预测单元260(即，间预测单元261或者内预测单元262)输出的预测信号(或者预测块)相加，从而生成重建的信号(或者重建的块)。
滤波单元240将滤波应用于重建的信号(或者重建的块)，并且将滤波的信号输出给回放设备，或者将滤波的信号发送给解码的图片缓冲器250。发送给解码的图片缓冲器250的滤波的信号可以在间预测单元261中用作参考图片。
在本说明书中，在编码器100的滤波单元160、间预测单元181和内预测单元182中描述的实施例可以分别地同等地应用于解码器的滤波单元240、间预测单元261和内预测单元262。
具体地，按照本发明的间预测单元261可以还包括用于执行像素单元的间预测的配置。稍后对此进行详细描述。
通常，基于块的图像压缩方法被在静止图像或者视频的压缩技术(例如，HEVC)中使用。基于块的图像压缩方法是通过将其分割为特定块单元来处理图像的方法，并且可以降低存储器使用和计算的负载。
图3是描述可以应用于本发明的编译单元的分割结构的图。
编码器将单个图像(或者图片)分割为方格形式的编译树单元(CTU)，并且按照光栅扫描顺序逐个地编码CTU。
在HEVC中，CTU的尺寸可以确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或者输入视频信号的特征来选择和使用CTU的尺寸。CTU包括用于亮度分量的编译树块(CTB)和用于与其相对应的二个色度分量的CTB。
一个CTU可以以四叉树结构分割。也就是说，一个CTU可以被分割为每个具有正方形形式并且具有一半水平尺寸和一半垂直尺寸的四个单元，从而能够生成编译单元(CU)。四叉树结构的这样的分割可以递归地执行。也就是说，以四叉树结构从一个CTU分等级地分割CU。
CU指的是用于输入视频信号的处理过程(例如，执行内/间预测的编译)的基本单位。CU包括用于亮度分量的编译块(CB)和用于与亮度分量相对应的两个色度分量的CB。在HEVC中，CU尺寸可以被确定为64×64、32×32、16×16和8×8中的一个。
参考图3，四叉树的根节点与CTU有关。四叉树被分割，直到达到叶节点。叶节点对应于CU。
对此进行更详细地描述。CTU对应于根节点，并且具有最小的深度(即，深度＝0)值。根据输入视频信号的特征，CTU可能不能被分割。在这种情况下，CTU对应于CU。
CTU可以以四叉树形式分割。因此，生成下节点，也就是说，深度1(深度＝1)。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点a、b和j的CU(a)、CU(b)和CU(j)已经从CTU分割一次，并且具有深度1。
具有深度1的节点中的至少一个可以以四叉树形式分割。因此，生成具有深度1的下节点(即，深度＝2)。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点c、h和i的CU(c)、CU(h)和CU(i)已经从CTU分割两次，并且具有深度2。
此外，具有深度2的节点中的至少一个可以以四叉树形式再次分割。因此，生成具有深度3(即，深度＝3)的下节点。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点d、e、f和g的CU(d)、CU(e)、CU(f)和CU(g)已经从CTU分割三次，并且具有深度3。
在编码器中，CU的最大尺寸或者最小尺寸可以基于视频图像的特征(例如，分辨率)或者通过考虑编码速率来确定。此外，有关最大或者最小尺寸的信息或者能够得到该信息的信息可以被包括在比特流中。具有最大尺寸的CU被称为最大编译单元(LCU)，并且具有最小尺寸的CU被称为最小编译单元(SCU)。
此外，具有树结构的CU可以以预先确定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割的CU可以具有深度信息。由于深度信息表示分割计数和/或CU的程度，其可以包括有关CU尺寸的信息。
由于LCU被以四叉树形状分割，所以SCU的尺寸可以通过使用LCU的尺寸和最大深度信息来获得。或者，相反地，LCU的尺寸可以通过使用SCU的尺寸和树的最大深度信息来获得。
对于单个CU，表示是否相应的CU被分割的信息(例如，分割的CU标志(split_cu_flag))可以转发给解码器。这个分割的信息被包括在除了SCU之外的所有CU中。例如，当表示是否分割的标志的值是“1”时，相应的CU被进一步分割为四个CU，并且当表示是否分割的标志的值是“0”时，相应的CU不再分割，并且可以执行用于相应的CU的处理过程。
如上所述，CU是执行内预测或者间预测的编译的基本单位。HEVC在预测单元(PU)中分割CU，以更加有效地编译输入视频信号。
PU是用于生成预测块的基本单位，并且即使在单个CU中，预测块也可以以PU为单位以不同的方式生成。但是对于属于单个CU的PU不一起使用内预测和间预测，并且属于单个CU的PU通过相同的预测方法(即，内预测或者间预测)来编译。
PU不以四叉树结构分割，但是在单个CU中以预先确定的形状分割一次。这些将通过参考以下的附图来描述。
图4是描述可以应用于本发明的预测单元的图。
根据是否使用内预测模式或者间预测模式作为PU所属于的CU的编译模式，PU被不同地分割。
图4(a)图示使用内预测模式时的PU，并且图4(b)图示使用间预测模式时的PU。
参考图4(a)，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为两种类型(即，2N×2N或者N×N)。
在这种情况下，如果单个CU被分割为2N×2N形状的PU，则这指的是仅一个PU存在于单个CU中。
同时，如果单个CU被分割为N×N形状的PU，则单个CU被分割为四个PU，并且对于每个PU单元生成不同的预测块。但是，只有在用于CU的亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情形)时，可以执行这样的PU分割。
参考图4(b)，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为八个PU类型(即，2N×2N、N×N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD)。
像在内预测中一样，只有在用于CU的亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情形)时，可以执行N×N形状的PU分割。
间预测以在水平方向上分割的2N×N形状和以在垂直方向上分割的N×2N形状来支持PU分割。
此外，间预测以nL×2N、nR×2N、2N×nU和2N×nD形状来支持PU分割，其是不对称运动分割(AMP)。在这种情况下，“n”指的是2N的1/4值。但是，如果PU所属于的CU是最小尺寸的CU，则AMP可以不被使用。
为了在单个CTU中有效率地编码输入视频信号，可以经由如下的处理过程基于最小速率失真值来确定编译单元(CU)、预测单元(PU)和变换单元(TU)的最佳分割结构。例如，关于在64×64CTU中的最佳CU分割过程，可以经由从64×64尺寸的CU到8×8尺寸的CU的分割过程来计算速率失真成本。详细的过程如下。
1)生成最小速率失真值的PU和TU的最佳分割结构通过对64×64尺寸的CU执行间/内预测、变换/量化、去量化/逆变换和熵编码来确定。
2)PU和TU的最佳分割结构被确定以将64×64CU分割为32×32尺寸的四个CU，并且生成用于每个32×32CU的最小速率失真值。
3)PU和TU的最佳分割结构被确定以进一步将32×32CU分割为16×16尺寸的四个CU，并且生成用于每个16×16CU的最小速率失真值。
4)PU和TU的最佳分割结构被确定以进一步将16×16CU分割为8×8尺寸的四个CU，并且生成用于每个8×8CU的最小速率失真值。
5)通过将在过程3)中获得的16×16CU的速率失真值与在过程4)中获得的四个8×8CU的速率失真值的增加比较来确定在16×16块中的CU的最佳分割结构。也以相同的方式对于剩余的三个16×16CU来执行这个过程。
6)通过将在过程2)中获得的32×32CU的速率失真值与在过程5)中获得的四个16×16CU的速率失真值的增加比较来确定在32×32块中的CU的最佳分割结构。也以相同的方式对于剩余的三个32×32CU来执行这个过程。
7)最后，在64×64块中CU的最佳分割结构通过将在过程1)中获得的64×64CU的速率失真值与在过程6)中获得的四个32×32CU的速率失真值的增加比较来确定。
在内预测模式中，预测模式被选择为PU单元，并且在实际的TU单元中对选择的预测模式执行预测和重建。
TU指的是执行实际的预测和重建的基本单位。TU包括用于亮度分量的变换块(TB)和用于与亮度分量相对应的两个色度分量的TB。
在图3的示例中，像在一个CTU被以四叉树结构分割以生成CU的示例中一样，从要编译的一个CU以四叉树结构分等级地分割TU。
因为TU被以四叉树结构分割，所以从CU分割的TU可以被分割为更小和更低的TU。在HEVC中，TU的尺寸可以被确定为32×32、16×16、8×8和4×4中的一个。
返回参考图3，四叉树的根节点被假设为与CU相关。四叉树被分割，直到达到叶节点，并且叶节点对应于TU。
对比进行更详细地描述。CU对应于根节点，并且具有最小的深度(即，深度＝0)值。根据输入图像的特征，CU可能不能被分割。在这种情况下，CU对应于TU。
CU可以以四叉树形式分割。因此，生成具有深度1(深度＝1)的下节点。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点a、b和j的TU(a)、TU(b)和TU(j)已经从CU分割一次，并且具有深度1。
具有深度1的节点的至少一个可以再次以四叉树形式分割。因此，生成具有深度2(即，深度＝2)的下节点。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点c、h和i的TU(c)、TU(h)和TU(i)已经从CU分割两次并且具有深度2。
此外，具有深度2的节点的至少一个可以以四叉树形式再次分割。因此，生成具有深度3(即，深度＝3)的下节点。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点d、e、f和g的TU(d)、TU(e)、TU(f)和TU(g)已经从CU分割三次，并且具有深度3。
具有树结构的TU可以以预先确定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割的TU可以具有深度信息。该深度信息可以包括有关TU的尺寸的信息，因为其指示分割数目和/或TU的程度。
指示是否相应的TU已经相对于一个TU分割的信息(例如，分割的TU标记“split_transform_flag”)可以传送给解码器。分割信息被包括在除了最小尺寸的TU之外的所有TU中。例如，如果指示是否TU已经分割的标志的值是“1”，则相应的TU被分割为四个TU。如果指示是否TU已经分割的标志的值是“0”，则相应的TU不再分割。
通过像素单元间预测处理图像的方法
为了重建执行解码的当前单元(或当前块)，可以使用包括当前单元的当前图片或其它图片的解码部分。仅使用当前图像进行重建的(即，仅进行内预测)的图片(条带)可以被称为内图片(intra-picture)或I图片(条带)，最多使用一个运动矢量和参考索引的图片(条带)可以被称为预测图片或P图片(条带)，并且使用最多两个运动矢量和参考索引的图片(条带)可以被称为双预测图片或者B图片(条带)。
内预测单元执行内预测，其中从当前图片内的重建区域预测目标单元的像素值。例如，当前单元的像素值可以从位于当前单元的顶部、左边、左上和/或右上的单元的像素来预测。
可以根据用于像素值预测的参考像素所位于的参考区域的方向以及预测方法将内模式基本上分成垂直模式、水平模式、DC模式和角度模式。在垂直模式中，将与对象单元垂直相邻的区域的像素值用作当前单元的预测因子。在水平模式中，与对象单元水平相邻的区域的像素值被用作预测因子。在DC模式中，参考区域的像素的平均值被用作预测因子。同时，角度模式对应于参考区域是特定方向的情况，并且可以将相应方向指示为当前像素与参考像素之间的角度。为了方便起见，可以使用预定角度和预测模式编号，并且角度使用的数量可以根据目标单元的尺寸而不同。
可以定义和使用用于各种预测方法的一些特定模式。预测模式可以作为指示相应模式本身的值被发送，但是为了提高传输效率，可以使用应用当前单元的预测模式值的方法。在这种情况下，解码器可以基于指示是否使用预测模式的预测因子而没有任何改变的信息以及预测因子与实际值之间的差来获得当前单元的预测模式。
同时，间预测单元使用不是当前图片的其他重建图片的信息来执行用于预测目标单元的像素值的间预测。在这种情况下，属于存储在DPB中并用于间预测的重建图片的重建图片被称为参考图片。在间预测处理中，指示包括相应参考区域的参考图片的索引、运动矢量信息等可以被用于指示哪个参考区域被用于预测当前单元。
间预测可以包括正向预测、反向预测和双向预测。正向预测是使用暂时在当前图片之前显示(或输出)的单个参考图片的预测。反向方向预测是指使用暂时在当前图片之后显示(或输出)的单个参考图片的预测。为此，单条运动信息(例如，运动矢量和参考图片索引)可能是必要的。在双向预测方法中，可以使用最多两个参考区域。两个参考区域可以存在于相同的参考图片中，或者可以存在于不同的图片中。也就是说，在双向预测方法中，可以使用最多两条运动信息(例如，运动矢量和参考图片索引)。两个运动矢量可以具有相同的参考图片索引或者可以具有不同的参考图片索引。在这种情况下，所有参考图片可以在当前图片之前暂时显示(或输出)，或者可以在当前图片之后暂时显示(或输出)。
当前单元的运动信息可以包括运动矢量信息和参考图片索引。运动矢量信息可以包括运动矢量、运动矢量预测(MVP)或运动矢量差(MVD)，并且可以意指指定运动矢量预测因子的索引信息。运动矢量差值是指运动矢量与运动矢量预测因子之间的差。
编码器在间预测过程(即，运动估计)中搜索参考图片以寻找与当前单元最相似的参考单元，并向解码器提供参考单元的运动矢量和参考图片索引。编码器/解码器可以使用运动矢量和参考图片索引来获得当前单元的参考单元。参考单元存在于具有参考图片索引的参考图片内。此外，基于运动矢量，可以使用特定单元的像素值或者内插值作为当前单元的预测因子。即，使用运动信息来执行运动补偿，其中，根据先前解码的图片来预测当前单元的图像。
同时，参考图片列表可以使用用于针对当前图片的间预测的图片来配置。在B图像的情况下，两个参考图片列表是必要的。在下文中，为了便于描述，两个参考图片列表分别被表示为参考图片列表0(或L0)和参考图片列表1(或L1)。此外，将属于参考图片列表0的参考图片称为参考图片0(或L0参考图片)，并将属于参考图片列表1的参考图片称为参考图片1(或L1参考图片)。这样的参考图片可以使用如下方法，在该方法中，使用先前编码单元的运动信息获得运动矢量预测因子(mvp)且仅发送运动矢量预测因子(mvp)的差(mvd)以便减少与运动矢量相关的发送量。解码器使用其他解码单元的多条运动信息来计算当前单元的运动矢量预测因子，并使用所发送的差来获得当前单元的运动矢量值。在获得运动矢量预测因子时，可以使用已经编码的单元的运动信息来获得各种运动矢量候选值，并且可以获得各种运动矢量候选值中的一个作为运动矢量预测因子。
如上所述，通常，在静止图像或运动图像压缩技术(例如，HEVC)中，使用基于块的图像压缩方法。具体而言，当执行间预测时，以预测块单元执行运动预测。虽然为了搜索当前块的最佳预测块而支持各种尺寸或形状的预测块，但是仍有限制。其原因在于，当像素单元具有运动矢量或者具有各种形状的运动矢量时，可以使预测误差最小化。
然而，由于在像素单元中发送运动矢量或者支持附加预测块的尺寸或形状是指要被编码的附加信息的增加，所以难以期望性能提高。
因此，本发明提出一种在像素单元中执行运动补偿而不对附加信息或预测块进行分割的方法。通过应用根据本发明的像素单元(或图片元素单元)的运动补偿方法，由于像素单元的运动补偿，预测误差减少，并且以大尺寸执行分割的情况增加。因此，可以预期归因于分割标志的减少的编码效率的增加。
在下文中，在本发明的描述中，假定编码器已经确定了间预测索引、参考图片列表或运动矢量信息(例如，运动矢量、运动矢量预测因子或运动矢量差)，其指示参考图片列表0、参考图片列表1或双向预测(即，参考图片列表0和1)是否通过在前述的块单元(例如，PU单元)中执行运动估计而用于当前块，并将这些信息提供给解码器。
实施例1
光流是指运动模式，诸如对象或视图中的表面或边缘。也就是说，通过在特定时间和先前时间顺序地提取图像之间的差异来获得对象的运动模式。在这种情况下，与仅获得当前帧和先前帧之间的差异的情况相比，可以获得关于更多运动的信息。光流具有非常重要的作用，诸如在具有视觉感的动物的视觉识别功能中能够获得运动对象的目标点，并且有助于理解周围环境的结构。从技术上讲，可以使用光流来分析计算机视觉系统中的三维图像，或者可以用于图像压缩。已经提出了几种实现光流的方法。
根据采用光流的现有运动补偿方法，通过两个假设推导出以下等式，其中当对象在短时间内移动时，其在相应的像素值不改变的状态下以特定的速率移动。
详细的推导过程如下。
首先，假设当对象在短时间内移动时，相应的像素值不改变。假设在时间t的(x,y)坐标处的像素值是I(x,y,t)，并且当对象在δt时间内移动δx(＝Vx),δy(＝Vy)时的像素值是I(x+δx,y+δy,t+δt)。根据上述假设，建立下面的等式1。
[等式1]
I(x,y,t)＝I(x+δx,y+δy,t+δt)
如果等式1中的右边的项以泰勒级数展开，则其可以如等式2中那样排列。
[等式2]
其次，假设对象在短时间内以特定的速率移动。这将参考下面的图来描述。
图5是本发明可以应用于的实施例，并且图示了具有稳定运动的图片的双向预测方法。
图5图示了基于当前图片(Cur Pic)510存在双向参考图片(Ref)520和530。
在这种情况下，如上所述，假设对象具有稳定的运动，从当前图片(Cur Pic)310内的当前处理块511的坐标到参考图片0(Ref0)520内的参考块A位置的坐标的偏移(即，第一运动矢量)521以及从当前图片(Cur Pic)501内的当前处理块511的坐标到参考图片1(Ref1)530内的参考块B位置的坐标的偏移(即，第二运动矢量)531可被表示为对称值。也就是说，与参考块A位置相关的第一运动矢量521和与参考块B位置相关的第二运动矢量531可以被表示为具有相同的尺寸并且具有相反的方向。
参考块A位置和参考块B位置中的像素值之间的差根据上述两个假设如等式3中那样排列。
[等式3]
在等式3中，(i,j)指示当前处理块511内的特定像素的位置。
此外，和分别指示x轴(横轴)、y轴(纵轴)和t轴(时间轴)的偏微分。(i,j)位置处的x轴和y轴的梯度可以分别表示为Ix (k)[i,j]和Iy (k)[i,j](k＝0,1)。此外，t轴上的梯度，即预测像素值可以表示为P(k)[i,j](k＝0,1)。
已经假设当对象在短时间内移动时，相应的像素值不改变。因此，根据等式3可以获得使Δ2(i,j)最小化的像素单元的运动矢量Vx(i,j)和Vy(i,j)。
结果，目标是搜索其中A参考块的像素值和B参考块的像素值具有相同值(或者具有最小差的值)的运动矢量，但是像素之间的误差可能会很大。因此，可以搜索其中在特定窗口尺寸内像素值之间的差最小的运动矢量。因此，假设在窗口Ω内基于(i,j)存在局部稳定运动，如果窗口包括(2M+1)×(2M+1)，则窗口内的位置可以被表示为(i',j')。在这种情况下，(i',j')满足i-M≤i'≤i+M,j-M≤j'≤j+M。
相应地，搜索最小化∑ΩΔ2(i′,j′)的运动矢量。
[等式4]
Gx＝(Ix (0)[i’,j’]+Ix (1)[i’,j’])
Gy＝(Iy (0)[i’,j’]+Iy (1)[i’,j’])
δP＝(P(0)[i’,j’]-P(1)[i',j’])
Gx指示x轴上的梯度的和，Gy指示y轴上的梯度的和，δP指示t轴上的梯度的和，即预测像素值的和。
如果使用等式4来排列等式3的每个项，则其可以表达为等式5。
[等式5]
Δ2(i’,j’)＝(Vx∑ΩGx+Vy∑ΩGy+∑ΩδP)2
如果通过对Vx和Vy进行偏微分来排列等式5，则其表达为公式6。
[等式6]
Vx∑ΩG2x+Vy∑ΩGxGy+∑ΩGxδP＝0
Vx∑ΩGxGy+Vy∑ΩG2y+∑ΩGyδP＝0
如果s1＝∑ΩG2x,s2＝s4＝∑ΩGxGy,s3＝-∑ΩGxδP,s5＝∑ΩG2y,s6＝-∑ΩGyδP，则等式6中的Vx和Vy被排列为等式，诸如等式7。
[等式7]
因此，可以使用等式8中的Vx和Vy来计算预测因子。
[等式8]
P[i,j]＝((P(0)[i,j]+P(1)[i,j])+Vx[i,j](Ix (0)[i,j]-Ix (1)[i,j])+Vy[i,j](Iy (0)[i,j]-Iy (1)[i,j]))>>1
在等式8中，P[i,j]指示当前块内的每个像素[i,j]的预测因子。P^(0)[i,j]和P^(1)[i,j]分别指示属于L0参考块和L1参考块的各个像素值。
根据上述方法，可以使用光流来获得每个像素单元的运动矢量和参考值。
然而，只有当真双向预测(即，当前图片的图片顺序计数(POC))位于参考图片的POC之间并且假设双向地具有相同的Vx、Vy而不考虑当前图片与两个参考图片之间的距离时才可以应用运动矢量。因此，改善是必要的。
因此，本发明提出一种像素单元的运动补偿方法，当考虑了当前图片与两个参考图片之间的距离时其可以被应用而不考虑当前图片的POC是否位于两个参考图片的POC之间。也就是说，提出一种通过导出像素单元的运动矢量并且基于导出的像素单元的运动矢量导出像素单元中的预测因子来生成当前块的预测块的方法。
实施例2
根据本发明的实施例，通过考虑当前图片与两个参考图片之间的距离来导出缩放的运动矢量。这将参考下图来描述。
图6是图示根据本发明的实施例的在像素单元中执行运动补偿的方法的图。
图6图示了当前图片(Cur Pic)610和L0参考图片(Ref0)620之间的距离以及当前图片(Cur Pic)610和L1参考图片(Ref1)630之间的距离不同的情况。
假设当前图片610与L0参考图片620之间的距离(即短距离)为Tb，且当前图片610与L1参考图片630之间的距离(即长距离)为Td，将以图片之间的距离(即，Tb和Td)的比来缩放要获得的像素单元的运动矢量621和631。在这种情况下，图片之间的距离可以被确定为图片的POC值之间的差。
这被表达为等式9。
[等式9]
α·(Vx(0),Vy(0))＝-(Vx(1),Vy(1))
(Vx(0),Vy(0))指示当前块611的L0参考图片620的运动矢量621，并且(Vx(1),Vy(1))指示当前块611的L1参考图片630的运动矢量631。另外，在等式9中，缩放因子α＝Td/Tb。
如果将等式3应用于它们，则参考块A位置和参考块B位置处的像素值之间的差如等式10中那样排列。
[等式10]
可以使用与实施例1相同的方法来导出使Δ2(i,j)最小化的像素单元的运动矢量Vx(i,j)和Vy(i,j)。
此外，可以使用像素单元的运动矢量Vx(i,j)和Vy(i,j)，在当前块的每个像素单元中如等式11一样导出预测因子。
[等式11]
P[i,j]＝((P(0)[i,j]+P(1)[i,j])+Vx[i,j](Ix (0)[i,j]-α·Ix (1)[i,j])+Vy[i,j](Iy (0)[i,j]-α·Iy (1)[i,j]))>>1
实施例3
假设当前图片是一般化的B图片(即，应用了使用两个参考图片的双向预测的图片)，并且L0和L1参考图片基于当前图片在时间上在相同方向上存在。在这种情况下，如果DPB中存在相反方向上的参考图片L1'，则L0和L1参考图片内的参考块之一在时间上在相反方向上被参考图片L1'内的参考块代替。也就是说，通过缩放L0和L1参考图片内的任何一个参考块来生成在时间上在相反方向上的参考图片L1'内的参考块。例如，可以将L0和L1参考图片的参考图片用作相反方向上的参考图片。这将参考下图来描述。
图7是图示根据本发明实施例的在像素单元中执行运动补偿的方法的图。
图7图示了当前图片(Cur Pic)710是B图片并且L0参考图片(Ref0)720和L1参考图片(Ref1)730在时间上在相同方向上存在的情况。
在这种情况下，L1参考图片(Ref1)730可以被L1'参考图片(Ref1')740代替，使得L0参考图片720和L1参考图片730在时间上位于不同的方向上。换句话说，L1参考图片730内的参考块B可以被L1'参考图片(Ref1')740内的参考块B'代替。
为了导出参考块B'，通过缩放用于当前处理块711的L1参考图片(Ref1)730的运动矢量(Vx(1),Vy(1))来生成运动矢量(Vx(1),Vy(1))'以作为L1'参考图片(Ref1')740。也就是说，如在等式12中那样，可以通过缩放在时间上在相反方向上的当前处理块711的L1参考图片(Ref1)730的运动矢量(Vx(1),Vy(1))来导出参考块B'。
[等式12]
β·(Vx(1),Vy(1))＝-(Vx(1),Vy(1))'
在等式12中，比例因子α＝Tb/Td。
如果参考图片L1'、参考图片(Ref1')740存在于与L0参考图片(Ref0)720的方向相反的方向上更接近当前图片的距离中，则该方法更加有效。
如果L0参考图片(Ref0)720和L1参考图片(Ref1)730是相同的图片，则可以通过缩放在相反方向上的L1参考图片的运动矢量来导出参考块B'。
相反，如果L0参考图片(Ref0)720和L1参考图片(Ref1)730是不同的图片，则缩放远离当前图片710的参考图片(即，具有大POC差的参考图片)是有效的。
如果|POC(Cur)-POC(Ref0)|和|POC(Cur)-POC(Ref1')|是相同的，则参考块A位置与参考块B'位置处的像素值之间的差如等式13中那样被修改。
[等式13]
通过上述方法可以找到使Δ2(i,j)最小化的像素单元的运动矢量Vx(i,j)和Vy(i,j)。
此外，可以使用运动矢量如方程14中那样计算预测因子。
[等式14]
P[i,j]＝((P(0)[i,j]+P(1)[i,j]’)+Vx[i,j](Ix (0)[i,j]-Ix (1)[i,j])+Vy[i,j](Iy (0)[i,j]-Iy (1)[i,j]))>>1
相反，如果|POC(Cur)-POC(Ref0)|和|POC(Cur)-POC(Ref1')|不同，则可以应用实施例2的上述比例因子α。参考块A和参考块B'位置处的像素值之间的差如等式15中那样被修改。
[等式15]
通过上述方法可以找到使Δ2(i,j)最小化的像素单元的运动矢量Vx(i,j)和Vy(i,j)。
此外，可以使用运动矢量如等式16那样计算预测因子。
[等式16]
P[i,j]＝((P(0)[i,j]+P(1)[i,j]’)+Vx[i,j](Ix (0)[i,j]-α·Ix (1)[i,j])+Vy[i,j](Iy (0)[i,j]-α·Iy (1)[i,j]))>>1
实施例4
根据本发明的实施例，如果当前图片是一般化的B图片并且仅L0参考图片和L1参考图片存在于相同方向上，则可以使用L0参考图片和L1参考图片来计算像素单元的运动矢量和预测因子。这将参考下图来描述。
图8是图示根据本发明的实施例的在像素单元中执行运动补偿的方法的图。
图8图示当前图片(Cur Pic)810是B图片并且L0参考图片(Ref0)820和L1参考图片(Ref1)830存在于相同方向的情况。而且，假设实施例3的方法由于在不同的方向上没有参考图片而不能使用。
假设当前图片810与L0参考图片820之间的距离(即短距离)为Tb并且当前图片810与L1参考图片830之间的距离(即长距离)为Td，以图片之间的距离(即，Tb和Td)的比来缩放要计算的像素单元的运动矢量821和831。其被表达为等式17。
[等式17]
γ·(Vx(0),Vy(0))＝(Vx(1),Vy(1))
(Vx(0),Vy(0))指示当前处理块821的L0参考图片820的运动矢量821，并且(Vx(1),Vy(1))指示当前处理块821的L1参考图片830的运动矢量831。此外，在等式17中，比例因子γ＝Td/Tb。
如果将其应用于等式3，则参考块A位置和参考块B位置处的像素值之间的差如等式18中那样排列。
[等式18]
通过上述方法可以找到使Δ2(i,j)最小化的像素单元的运动矢量Vx(i,j)和Vy(i,j)。
此外，可以使用运动矢量如等式19中那样计算预测因子。
[等式19]
P[i,j]＝((P(0)[i,j]+P(1)[i,j])+Vx[i,j](Ix (0)[i,j]+γ·Ix (1)[i,j])+Vy[i,j](Iy (0)[i,j]+γ·Iy (1)[i,j]))>>1
实施例5
如果当前图片是P图片(即，应用了使用单个参考图片的单向预测的图片)，则可以使用当前块的参考块A和参考块A的参考块B'找到使像素值之间的差最小化的运动矢量。
图9是图示根据本发明的实施例的在像素单元中执行运动补偿的方法的图。
图9图示当前图片(Cur Pic)910是P图片并且存在L0参考图片(Ref0)920的情况。在这种情况下，可以找到使在L0参考图片(Ref0)920的参考块A的位置处的像素值与在L0'参考图片(Ref0)730的参考块B'的位置处的像素值之间的差最小化的运动矢量。
在这种情况下，可以根据L0'参考图片(Ref0)930的距离来应用比例因子γ，诸如实施例4的比例因子γ。
参考块A和参考块B'位置处的像素值之间的差，诸如在图9的示例中，可以如等式20中那样布置。
[等式20]
通过上述方法可以找到使Δ2(i,j)最小化的像素单元的运动矢量Vx(i,j)和Vy(i,j)。此外，可以使用运动矢量如等式21中那样计算预测因子。
[等式21]
P[i,j]＝((P(0)[i,j]+P(1)[i,j]’)+Vx[i,j](Ix (0)[i,j]+γ·Ix (1)[i,j])+Vy[i,j](Iy (0)[i,j]+γ·Iy (1)[i,j]))>>1
如果在当前块的参考块上执行双向预测，则可以使用两个参考块中的任何一个来执行当前块的像素单元运动补偿。这将参考下图来描述。
图10是图示根据本发明的实施例的在像素单元中执行运动补偿的方法的图。
在图10中，如果当前图片(Cur Pic)1010是P图片并且对当前块的L0参考图片(Ref0)1020的参考块A应用双向预测，则属于当前块的参考块A的L'参考图片(Ref0')1030和L1'参考图片(Ref1')1040并且更接近于当前图片(Cur Pic)1010的参考图片(在图10的情况下的L1'参考图片(Ref1')1040)被选择。相应的参考图片的参考块被设置为B'。
如果当前图片(Cur Pic)1010与L0'参考图片(Ref0')1030之间的距离以及当前图片(Cur Pic)1010与L1'参考图片(Ref1')1040之间的距离相同，可以选择在预定方向上的参考图片。
计算最小化A和B'的像素值的运动矢量。在这种情况下，根据L1'参考图片(Ref1')1040的距离，可以如实施例2中那样应用比例因子α。
参考块A和参考块B'位置处的像素值之间的差可以如等式22中那样排列。
[等式22]
通过上述方法可以找到使Δ2(i,j)最小化的像素单元的运动矢量Vx(i,j)和Vy(i,j)。
此外，可以使用运动矢量如等式23中那样计算预测因子。
[等式23]
P[i,j]＝((P(0)[i,j]+P(1)[i,j]’)+Vx[i,j](Ix (0)[i,j]-α·Ix (1)[i,j])+Vy[i,j](Iy (0)[i,j]-α·Iy (1)[i,j]))>>1
图11是更具体地图示根据本发明的实施例的间预测单元的图。
参考图11，间预测单元181(参照图1)和261(参照图2)实现了在实施例1至实施例5中提出的功能、过程和/或方法。具体地，间预测单元181、261可以被配置为包括块单元运动矢量调整单元1102、像素单元间预测处理单元1103、预测因子导出单元1104和块单元间预测处理单元1105。此外，间预测单元可以进一步包括像素单元间预测确定单元1101。
块单元间预测处理单元1105是用于处理在现有静止图像或运动图像压缩技术(例如，HEVC)中定义的间预测方法的元素并且是已知技术，因此省略其详细描述。
块单元运动矢量调整单元1102以当前图片与第一参考图片/第二参考图片的距离比来调整(从块单元间预测处理单元1105导出的)用于当前块的运动矢量。
块单元运动矢量调整单元1102可以基于当前块的运动矢量导出x轴(水平)方向上的梯度Ix和y轴(垂直)方向上的梯度Iy，并且可以将内插滤波器应用到当前块。
在这种情况下，当前图片与第一参考图片/第二参考图片之间的距离可以对应于当前图片的POC与第一参考图片/第二参考图片的POC之间的差。
像素单元间预测处理单元1103基于由块单元运动矢量调整单元1102调整的当前块的运动矢量导出当前块内的每个像素的像素单元的运动矢量，并基于像素单元的运动矢量导出当前块内的每个像素的预测因子。
预测因子导出单元1104导出当前块的预测因子。
在这种情况下，预测因子导出单元1104可以使用由像素单元间预测处理单元1103导出的当前块内的每个像素的预测因子或者由块单元间预测处理单元1105导出的当前块的预测因子作为当前块的预测因子。
可选地，预测因子导出单元1103可以通过对于由块单元间预测处理单元1105导出的当前块的第一预测因子和基于由像素单元运动矢量导出单元1103导出的像素单元的矢量运动导出的第二预测因子的加权和来生成当前块的预测因子。
像素单元间预测确定单元1101确定是否应用像素单元(例如，光流)的间预测。
例如，如果通过当前块的现有块单元的间预测导出的两个预测因子之间的差大于预定阀值，则像素单元间预测确定单元1101可以不将像素单元的间预测应用于当前块。如果如上所述不应用像素单元的间预测，则可以由块单元间预测处理单元1105导出用于当前块的预测因子。
可选地，从编码器的角度来看，像素单元间预测确定单元1101可以计算在应用当前块的块单元的间预测的情况和应用像素单元的间预测的情况之间的速率失真成本(RD成本)，并且可以确定是否应用像素单元的间预测。此外，像素单元间预测确定单元1101可以通过比特流将关于是否将像素单元的间预测应用于解码器的信息通知给解码器。相反，从解码器的观点来看，像素单元间预测确定单元1101可以从当前块的编码器接收关于是否应用像素单元的间预测的信息的信令，并且可以确定是否应用像素单元的间预测。
图12是图示根据本发明的实施例的基于间预测的处理图像的方法的图。
参考图12，编码器/解码器以当前图片与第一参考图片/第二参考图片的距离比来调整当前块的运动矢量(S1201)。
在这种情况下，在当前图片与第一参考图片/第二参考图片之间的距离可以对应于当前图片的POC与第一参考图片/第二参考图片的POC之间的差。
编码器/解码器基于在步骤S1201处调整的当前块的运动矢量，导出当前块内的每个像素的像素单元的运动矢量(S1202)。
此外，编码器/解码器基于在步骤S1202处导出的像素单元的运动矢量，导出当前块的预测因子(S1203)。
图13是图示根据本发明的实施例的基于间预测处理图像的方法的图。
参考图11，编码器/解码器以当前图片与第一参考图片/第二参考图片的距离比来调整当前块的运动矢量(S1101)。
在这种情况下，当前图片与第一参考图片/第二参考图片之间的距离可以对应于当前图片的POC与第一参考图片/第二参考图片的POC之间的差。
在这种情况下，在步骤S1101处，可以使用实施例1至实施例5的上述方法来确定第一参考图片和第二参考图片。
例如，第一参考图片和第二参考图片可以基于当前图片在时间上位于相同方向或不同方向。
此外，如果当前图片是应用了双向间预测的图片并且当前图片的两个参考图片基于当前图片在时间上位于相同的方向上，则两个参考图片的一个参考块可以被第二参考图片的参考块代替。在这种情况下，第二参考图片的参考块可以通过在不同方向上基于当前图片在时间上缩放当前图片的两个参考图片的任意一个运动矢量而导出。如果当前图片的两个参考图片是不同的图片，则属于当前图片的两个参考图片并且具有比当前图片大的POC差的参考图片的参考块可以被第二参考图片的参考块代替。
相反，如果当前图片是应用了单向间预测的图片，则当前图片的参考图片可以被用作第一参考图片，并且第一参考图片的参考图片可以被用作第二参考图片。在这种情况下，如果第一参考图片是应用了双向间预测的图片，则属于第一参考图片的两个参考图片并且具有比当前图片小的POC差的参考图片可以用作第二参考图片。
编码器/解码器基于在步骤S1101处调整的当前块的运动矢量，通过(或通过应用)当前块内的每个像素的像素单元的间预测来导出当前块内的每个像素的预测因子(S1202)。
也就是说，编码器/解码器基于当前块的调整后的运动矢量导出当前块内的每个像素的像素单元的运动矢量，并且基于该导出的像素单元的运动矢量导出当前块内的每个像素的预测因子。
步骤S1102和S1103可以使用前述的实施例1到实施例5的方法来执行。
而且，可以如下应用在实施例1至5中计算的预测因子。可以选择和使用以下方法中的一种，或者可以选择、组合和使用一种或多种方法。
在下文中，为了便于描述，与图11和图12的示例中的相同描述被省略。
-可以使用针对当前块计算的采用光流的预测因子而没有任何改变。这将参考下图来描述。
图13是图示根据本发明实施例的基于间预测的处理图像的方法的图。
编码器/解码器确定当前条带(或图片)是否是B条带(或图片)(S1301)。
如果作为步骤S1301处的确定的结果，当前条带(或图片)是B条带(或图片)，则编码器/解码器使用从基于块的间预测导出的当前块的运动矢量来计算(导出)梯度Ix和Iy(S1302)。
在这种情况下，在x tab滤波器的情况下(在图13的情况下，x＝4并且宽度W和高度H增加4个像素)，编码器/解码器可以计算(导出)内插参考图片中的梯度Ix和Iy。
编码器/解码器内插当前块(S1303)。如上所述，编码器/解码器可以将x tab内插滤波器(在图13的情况下，x＝4，并且宽度W和高度H增加4个像素)应用于当前块。
对L0参考图片和L1参考图片重复执行步骤S1302和S1303。
编码器/解码器计算当前块的运动矢量的调整(S1305)。
在这种情况下，编码器/解码器可以通过使用实施例2到5中描述的方法缩放从基于块的间预测导出的当前块的运动矢量来调整运动矢量。
编码器/解码器基于调整后的运动矢量通过对当前块内的每个像素的像素单元(例如，光流)的间预测来计算当前块内的每个像素的预测因子(S1306)。
在这种情况下，编码器/解码器可以使用实施例2到5中描述的方法来计算当前块内的每个像素的预测因子。
此外，编码器/解码器可以相同地使用通过像素单元的间预测导出的每个像素的预测因子作为当前块的预测因子。
同时，如果作为步骤S1301处的确定的结果，当前条带(或图片)不是B条带(或图片)，则编码器/解码器对当前块进行内插(S1304)。
对L0参考图片和L1参考图片重复执行步骤S1304。
编码器/解码器通过现有的基于块的间预测方法来计算当前块的预测因子(S1307)。
此外，编码器/解码器可以使用由基于块的间预测导出的预测因子作为当前块的预测因子。
图14是图示根据本发明的实施例的基于间预测的处理图像的方法的图。
参考图14，编码器/解码器对当前块进行内插(S1401)。
如上所述，编码器/解码器可以向当前块应用x tab内插滤波器(在图14的情况下，x＝4，宽度W和高度H增加4个像素)。
对L0参考图片和L1参考图片重复执行步骤S1401。
编码器/解码器通过现有的基于块的间预测方法来计算当前块的预测因子(S1402)。
编码器/解码器确定当前条带(或图片)是否是B条带(或图片)(S1403)。
如果作为在步骤S1403处的确定的结果，当前条带(或图片)是B条带(或图片)，则编码器/解码器使用从基于块的间预测导出的当前块的运动矢量计算(导出)梯度Ix和Iy(S1404)。
对L0参考图片和L1参考图片重复执行步骤S1404。
编码器/解码器计算当前块的运动矢量的调整(S1405)。
在这种情况下，编码器/解码器可以使用实施例2到5中描述的方法来调整从基于块的间预测导出的当前块的运动矢量。
编码器/解码器基于调整后的运动矢量通过对当前块内的每个像素的像素单元(例如，光流)的间预测来计算当前块内的每个像素的预测因子(S1406)。
在这种情况下，编码器/解码器可以使用实施例2至5中描述的方法来计算当前块内的每个像素的预测因子。
编码器/解码器通过在步骤S1402处由块单元间预测导出的当前块的第一预测因子和在步骤S1406处基于像素单元的运动矢量导出的第二预测因子的加权和来生成当前块的预测因子(S1407)。
在这种情况下，编码器/解码器可以执行作为由块单元间预测导出的当前块的P^(0)和P^(1)的平均值生成的第一预测因子和基于像素单元的运动矢量导出的第二预测因子的加权和。
在这种情况下，加权和的加权因子可以被不同地确定为条带(或图片)或块单元。
此外，加权和的加权因子可以通过考虑当前图片与第一参考图片/第二参考图片之间的距离(即，POC差)、由基于块的间预测生成的两个预测因子(即，P^(0)和P^(1))之间的差以及第一参考图片的运动矢量与第二参考图片的运动矢量之间的相似度中的一个或多个来确定。
而且，编码器/解码器可以根据相同的规则独立地确定加权和的加权因子，但是编码器可以确定加权和的加权因子并将其提供给解码器。
同时，如果作为在步骤S1403处的确定的结果，当前条带(或图片)不是B条带(或图片)，则编码器/解码器使用由基于块的间预测导出的预测因子作为当前块的预测因子。
图15是图示根据本发明的实施例的基于间预测的处理图像的方法的图。
参考图15，编码器/解码器对当前块进行内插(S1501)。
如上所述，编码器/解码器可以向当前块应用x tab内插滤波器(在图15的情况下，x＝4，并且宽度W和高度H增加4个像素)。
对L0参考图片和L1参考图片重复执行步骤S1501。
编码器/解码器通过现有的基于块的间预测方法来计算当前块的预测因子(S1502)。
编码器/解码器确定由块单元间预测(即，SAD(P^(0)-P^(1)))导出的当前块的参考块P^(0)和P^(1)之间的绝对差(SAD)的和是否大于预定阈值(S1503)。
如果作为在步骤S1503处的确定的结果，当前块的参考块P^(0)和P^(1)之间的SAD小于预定阈值，则编码器/解码器确定当前条带(或图片)是否是B条带(或图片)(S1504)。
如果作为在步骤S1504处的确定的结果，当前条带(或图片)是B条带(或图片)，则编码器/解码器使用从基于块的间预测导出的当前块的运动矢量来计算(导出)梯度Ix和Iy(S1505)。
对L0参考图片和L1参考图片重复执行步骤S1505。
编码器/解码器计算当前块的运动矢量的调整(S1506)。
在这种情况下，编码器/解码器可以通过使用实施例2至5中描述的方法缩放从基于块的间预测导出的当前块的运动矢量来调整运动矢量。
编码器/解码器基于调整后的运动矢量通过对当前块内的每个像素的像素单元(例如，光流)的间预测来计算当前块内的每个像素的预测因子(S1507)。
在这种情况下，编码器/解码器可以使用实施例2到5中描述的方法来计算当前块内的每个像素的预测因子。
同时，如果作为在步骤S1503处的确定的结果，当前块的参考块P^(0)和P^(1)之间的SAD大于预定阈值，或者如果作为结果在步骤S1504处的确定的结果，当前条带(或图片)是B条带(或图片)，则编码器/解码器使用由基于块的间预测导出的预测因子作为当前块的预测因子。
也就是说，如果参考块P^(0)和P^(1)之间的SAD大于阈值，则不使用已经应用光流的预测因子，因为当对象在短时间内移动时不改变相应值的假设被违反。
图16是图示根据本发明的实施例的基于间预测的处理图像的方法的图。
参考图16，编码器对当前块进行内插(S1601)。
如上所述，编码器可以向当前块应用x tab内插滤波器(在图16的情况下，x＝4，并且宽度W和高度H增加4个像素)。
对L0参考图片和L1参考图片重复执行步骤S1601。
编码器通过现有的基于块的间预测方法来计算当前块的预测因子(S1602)。
编码器确定当前条带(或图片)是否是B条带(或图片)(S1603)。
如果作为在步骤S1603处的确定的结果，当前条带(或图片)是B条带(或图片)，则编码器使用从基于块的间预测导出的当前块的运动矢量计算(导出)梯度Ix和Iy(S1604)。
对L0参考图片和L1参考图片重复执行步骤S1604。
编码器计算当前块的运动矢量的调整(S1605)。
在这种情况下，编码器可以通过使用实施例2到5中描述的方法缩放从基于块的间预测导出的当前块的运动矢量来调整运动矢量。
编码器基于调整后的运动矢量通过对当前块内的每个像素的像素单元(例如，光流)的间预测来计算当前块内的每个像素的预测因子(S1606)。
在这种情况下，编码器可以使用实施例2到5中描述的方法来计算当前块内的每个像素的预测因子。
编码器计算在已经应用当前块的块单元(例如，CU或PU单位)的间预测的情况和已经应用像素单元(例如，光流)的间预测的情况之间的比率失真成本(RD成本)，并且确定是否应用像素单元的间预测(S1607)。
此外，编码器可以通过比特流用信号通知关于是否将像素单元的间预测应用于解码器的信息。
同时，为了调整视图之间的预测因子，像素值可以被指示为I(x,y,v)并且根据实施例1至5的方法被应用。
在前述实施例中，本发明的要素和特征已经以特定形式组合。除非另外明确描述，否则每个要素或特征可以被认为是可选的。每个要素或特性可以以不与其他要素或特性组合的形式来实现。此外，一些要素和/或特征可以被组合以形成本发明的实施例。本发明的实施例中描述的操作顺序可以被改变。实施例的一些要素或特征可以被包括在另一个实施例中或者可以被替换为另一个实施例的对应的要素或特征。很明显，可以通过组合权利要求中的不具有明确引用关系的权利要求来配置实施例，或者可以在提交申请之后通过修改将其包括作为新的权利要求。
根据本发明的实施例可以通过各种手段来实现，例如硬件、固件、软件或它们的组合。在通过硬件实现的情况下，本发明的实施例可以使用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。
在通过固件或软件实现的情况下，本发明的实施例可以以用于执行前述功能或操作的模块、过程或函数的形式来实现。软件代码可以被存储在存储器中并由处理器驱动。存储器可位于处理器内部或外部，并可通过各种已知手段与处理器交换数据。
对于本领域技术人员而言显而易见的是，在不脱离本发明的基本特征的情况下，本发明可以以其他具体形式实现。因此，详细描述不应被解释为从所有方面进行限制，而应被解释为是说明性的。本发明的范围应该通过对所附权利要求的合理分析来确定，并且在本发明的等同范围内的所有变化都被包括在本发明的范围内。
工业实用性
为了说明的目的已经公开了本发明的上述优选实施例，并且不脱离所附权利要求中公开的本发明的技术精神和范围的情况下，本领域技术人员可以改进、改变、替换或添加各种其他实施例。

Claims (14)

1.一种基于间预测处理图像的方法，包括以下步骤：
基于在当前图片的POC(图片顺序计数)与第一参考图片的POC之间的差和在所述当前图片的POC与第二参考图片的POC之间的差的比率来调整当前块的运动矢量；以及
基于所述当前块的调整后的运动矢量，通过对所述当前块内的每个像素应用像素单元的间预测来导出所述当前块内的每个像素的预测因子。
2.根据权利要求1所述的方法，其中，所述第一参考图片和所述第二参考图片基于所述当前图片在时间上位于相同方向或不同方向。
3.根据权利要求1所述的方法，其中，如果所述当前图片是应用了双向间预测的图片，并且所述当前图片的两个参考图片基于所述当前图片在时间上存在于相同方向上，则所述当前图片的两个参考图片中的一个被所述第二参考图片的参考块代替。
4.根据权利要求3所述的方法，其中，通过基于所述当前图片在时间上在不同方向上缩放所述当前图片的两个参考图片中的一个的运动矢量来导出所述第二参考图片的参考块。
5.根据权利要求3所述的方法，其中，如果所述当前图片的两个参考图片是不同的图片，则将所述当前图片的两个参考图片当中的并且具有比所述当前图片大的POC差的参考图片的参考块用所述第二参考图片的参考块代替。
6.根据权利要求1所述的方法，其中，如果所述当前图片是应用了单向间预测的图片，则将所述当前图片的参考图片用作为所述第一参考图片，并且将所述第一参考图片的参考图片用作为所述第二参考图片。
7.根据权利要求6所述的方法，其中，如果所述第一参考图片是应用了双向间预测的图片，则使用所述第一参考图片的两个参考图片当中的并且具有比所述当前图片小的POC差的参考图片作为所述第二参考图片。
8.根据权利要求1所述的方法，还包括以下步骤：通过所述每个像素的预测因子与用于所述当前块的基于块的间预测生成的预测因子的加权和来生成所述当前块的预测因子。
9.根据权利要求8所述的方法，其中，通过考虑在所述当前图片与所述第一参考图片/第二参考图片之间的POC差、由所述基于块的间预测生成的两个预测因子之间的差以及在所述第一参考图片的运动矢量与所述第二参考图片的运动矢量之间的相似度中的一个或多个来确定所述加权和的加权因子。
10.根据权利要求1所述的方法，还包括确定是否将所述像素单元的间预测应用于所述当前块的步骤。
11.根据权利要求10所述的方法，其中，如果针对所述当前块由所述基于块的间预测方法生成的所述两个预测因子之间的差超过阈值，则不将所述像素单元的间预测应用于所述当前块。
12.根据权利要求10所述的方法，其中，基于由编码器提供的信息来确定是否将所述像素单元的间预测应用于所述当前块。
13.根据权利要求1所述的方法，其中，所述像素单元的间预测是光流。
14.一种基于间预测处理图像的装置，包括：
块单元运动矢量调整单元，所述块单元运动矢量调整单元基于在当前图片的图片顺序计数(POC)与第一参考图片的POC之间的差和所述当前图片的POC和第二参考图片的POC之间的差的比率来调整当前块的运动矢量；以及
像素单元间预测处理单元，所述像素单元间预测处理单元基于所述当前块的调整后的运动矢量，通过对所述当前块内的每个像素应用像素单元的间预测来导出所述当前块内的每个像素的预测因子。
CN201580082586.3A 2015-08-23 2015-12-04 基于间预测模式的图像处理方法及其装置 Withdrawn CN107925760A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562208809P 2015-08-23 2015-08-23
US62/208,809 2015-08-23
PCT/KR2015/013207 WO2017034089A1 (ko) 2015-08-23 2015-12-04 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
CN107925760A true CN107925760A (zh) 2018-04-17

Family

ID=58100545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580082586.3A Withdrawn CN107925760A (zh) 2015-08-23 2015-12-04 基于间预测模式的图像处理方法及其装置

Country Status (5)

Country Link
US (1) US20180242004A1 (zh)
EP (1) EP3340620A4 (zh)
KR (1) KR20180043787A (zh)
CN (1) CN107925760A (zh)
WO (1) WO2017034089A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557644A (zh) * 2019-03-11 2019-12-10 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020187198A1 (en) * 2019-03-17 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement based on optical flow
WO2021062684A1 (en) * 2019-09-30 2021-04-08 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods for inter prediction
CN113767638A (zh) * 2019-04-28 2021-12-07 北京字节跳动网络技术有限公司 对称运动矢量差编解码

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20153912A1 (it) * 2015-09-25 2017-03-25 Sisvel Tech S R L Metodi e apparati per codificare e decodificare immagini digitali mediante superpixel
US10778987B2 (en) * 2016-03-24 2020-09-15 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding video signal
KR102649234B1 (ko) * 2017-04-27 2024-03-20 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CA3065492C (en) 2017-05-17 2022-06-14 Kt Corporation Method and device for video signal processing
BR112020000032A2 (pt) 2017-07-03 2020-07-14 Vid Scale, Inc. dispositivo e método de codificação de dados de vídeo.
US11297344B2 (en) 2017-08-29 2022-04-05 SK Telecom., Ltd. Motion compensation method and device using bi-directional optical flow
CN110710214B (zh) 2017-09-21 2023-10-31 株式会社Kt 视频信号处理方法及装置
WO2019066202A1 (ko) * 2017-09-26 2019-04-04 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
WO2019111835A1 (en) * 2017-12-08 2019-06-13 Panasonic Intellectual Property Corporation Of America Image encoding device, image decoding device, image encoding method, and image decoding method
KR102368620B1 (ko) * 2018-02-28 2022-02-28 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN113923455B (zh) * 2018-03-30 2023-07-18 华为技术有限公司 一种双向帧间预测方法及装置
US11575925B2 (en) * 2018-03-30 2023-02-07 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
CN112166608A (zh) 2018-04-06 2021-01-01 Vid拓展公司 采用简化梯度推导的双向光流方法
WO2019216736A1 (ko) * 2018-05-11 2019-11-14 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020061082A1 (en) 2018-09-21 2020-03-26 Vid Scale, Inc. Complexity reduction and bit-width control for bi-directional optical flow
CN118042150A (zh) 2018-09-22 2024-05-14 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
JP7342118B2 (ja) * 2018-10-12 2023-09-11 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド 多重仮定予測を用いるビデオ信号処理方法及び装置
US20200160560A1 (en) * 2018-11-19 2020-05-21 Canon Kabushiki Kaisha Method, system and apparatus for stabilising frames of a captured video sequence
CN118175308A (zh) 2018-12-27 2024-06-11 Sk电信有限公司 双向预测设备、视频编码设备及比特流传输设备
DK3912352T3 (da) * 2019-02-22 2023-11-20 Huawei Tech Co Ltd Tidlig afslutning til forfinelse af optisk strøm
US11039150B2 (en) * 2019-04-19 2021-06-15 Tencent America LLC Method and apparatus for video coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267296A1 (en) * 2007-04-24 2008-10-30 Samsung Electronics Co., Ltd. Method and apparatus for concealing an error of an image using residual data
US20120189057A1 (en) * 2011-01-07 2012-07-26 Nokia Corporation Motion Prediction in Video Coding
CN103039075A (zh) * 2010-05-21 2013-04-10 Jvc建伍株式会社 图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像解码程序
US20140049605A1 (en) * 2012-08-16 2014-02-20 Qualcomm Incorporated Inter-view predicted motion vector for 3d video
WO2014150864A2 (en) * 2013-03-15 2014-09-25 Qualcomm Incorporated Device and method for scalable coding of video information
US20150003521A1 (en) * 2013-06-27 2015-01-01 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US20150229961A1 (en) * 2008-06-24 2015-08-13 Sk Telecom Co., Ltd. Intra prediction method and apparatus, and image encoding/decoding method and apparatus using same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
CN107925775A (zh) * 2015-09-02 2018-04-17 联发科技股份有限公司 基于双向预测光流技术的视频编解码的运动补偿方法及装置
CN107027040B9 (zh) * 2016-01-29 2020-08-28 华为技术有限公司 一种去除块效应的滤波方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267296A1 (en) * 2007-04-24 2008-10-30 Samsung Electronics Co., Ltd. Method and apparatus for concealing an error of an image using residual data
US20150229961A1 (en) * 2008-06-24 2015-08-13 Sk Telecom Co., Ltd. Intra prediction method and apparatus, and image encoding/decoding method and apparatus using same
CN103039075A (zh) * 2010-05-21 2013-04-10 Jvc建伍株式会社 图像编码装置、图像编码方法及图像编码程序、以及图像解码装置、图像解码方法及图像解码程序
US20120189057A1 (en) * 2011-01-07 2012-07-26 Nokia Corporation Motion Prediction in Video Coding
US20140049605A1 (en) * 2012-08-16 2014-02-20 Qualcomm Incorporated Inter-view predicted motion vector for 3d video
WO2014150864A2 (en) * 2013-03-15 2014-09-25 Qualcomm Incorporated Device and method for scalable coding of video information
US20150003521A1 (en) * 2013-06-27 2015-01-01 Qualcomm Incorporated Depth oriented inter-view motion vector prediction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ELENA ALSHINA等: "Bi-directional optical flow(JCTVC-C204)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 3RD MEETING: GUANGZHOU, CN, 7-15 OCTOBER, 2010》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557644A (zh) * 2019-03-11 2019-12-10 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112866702A (zh) * 2019-03-11 2021-05-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112866702B (zh) * 2019-03-11 2022-03-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11902563B2 (en) 2019-03-11 2024-02-13 Hangzhou Hikvision Digital Technology Co., Ltd. Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
WO2020187198A1 (en) * 2019-03-17 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement based on optical flow
US11343529B2 (en) 2019-03-17 2022-05-24 Beijing Bytedance Network Technology Co., Ltd. Calculation of predication refinement based on optical flow
US11973973B2 (en) 2019-03-17 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Prediction refinement based on optical flow
CN113767638A (zh) * 2019-04-28 2021-12-07 北京字节跳动网络技术有限公司 对称运动矢量差编解码
WO2021062684A1 (en) * 2019-09-30 2021-04-08 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods for inter prediction

Also Published As

Publication number Publication date
EP3340620A4 (en) 2019-04-17
EP3340620A1 (en) 2018-06-27
KR20180043787A (ko) 2018-04-30
WO2017034089A1 (ko) 2017-03-02
US20180242004A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
CN107925760A (zh) 基于间预测模式的图像处理方法及其装置
CN106105191B (zh) 用于处理多视图视频信号的方法和装置
KR102584349B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN111527752B (zh) 图像编码和解码的方法和装置以及存储比特流的记录介质
EP3648462B1 (en) Image processing method and device
KR20230135037A (ko) 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
KR102580910B1 (ko) 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
CN109804626A (zh) 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
CN109417628A (zh) 视频信号处理方法和装置
WO2018128379A1 (ko) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
JP2019535202A (ja) インター予測モードベースの画像処理方法及びそのための装置
CN110024394A (zh) 对图像编码/解码的方法和设备及存储比特流的记录介质
CN106105199B (zh) 基于多边形单元的编/解码图像的方法及其装置
CN104247427A (zh) 使用分区编码的有效预测
KR20060123561A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치,화상 복호 장치, 화상 부호화 프로그램 및 화상 복호프로그램
EP3664454A1 (en) Method and device for inter-prediction mode-based image processing
CN108141595A (zh) 图像编码/解码方法及其设备
EP3439303A1 (en) Inter prediction mode-based image processing method and apparatus therefor
KR20150020175A (ko) 비디오 신호 처리 방법 및 장치
CN107925774A (zh) 基于间预测模式的图像处理方法及其装置
CN110024402A (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
IL304953A (en) A method of encoding/decoding image signals and a device therefor
US20190349589A1 (en) Image processing method based on inter prediction mode, and apparatus therefor
EP3373584B1 (en) Content adaptive and art directable scalable video coding
CN104969556A (zh) 处理视频信号的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180417