CN108141595A - 图像编码/解码方法及其设备 - Google Patents

图像编码/解码方法及其设备 Download PDF

Info

Publication number
CN108141595A
CN108141595A CN201680055193.8A CN201680055193A CN108141595A CN 108141595 A CN108141595 A CN 108141595A CN 201680055193 A CN201680055193 A CN 201680055193A CN 108141595 A CN108141595 A CN 108141595A
Authority
CN
China
Prior art keywords
reference picture
current image
picture
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680055193.8A
Other languages
English (en)
Inventor
朴胜煜
张炯文
全勇俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108141595A publication Critical patent/CN108141595A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像编码/解码方法及其设备。具体地，图像解码方法可以包括以下步骤：确定是否当前图片和参考图片的属性不同；如果当前图片和参考图片的属性不同，则转换参考图片以具有与当前图片相同的属性；以及借助于转换的参考图片以预定块单位对当前图片执行间预测。

Description

图像编码/解码方法及其设备
技术领域
本发明涉及一种视频处理方法，并且更具体地，涉及一种使用间预测的视频编码/解码方法以及支持该方法的设备。
背景技术
压缩编码指的是经由通信线路发送数字化信息的一系列信号处理技术，或者以适用于存储介质的形式存储信息的技术。包括图片、图像、音频等等的媒体可以是用于压缩编码的目标，并且具体地，对图片执行压缩编码的技术被称为视频图像压缩。
下一代视频内容被假定为具有高空间分辨率、高帧速率和场景表示的高维度的特征。为了处理这样的内容，将导致在存储器存储、存储器存取速率和处理能力方面的急剧增长。
因此，需要设计一种有效率地处理下一代视频内容的编译工具。
发明内容
技术问题
本发明的目的是为了提出一种编码/解码由多个表示(representation)组成的图像的方法。
另外，本发明的目的是为了提出一种对具有不同属性的图片进行编码/解码的方法。
本发明要实现的技术目的不限于前述技术目的，并且本发明所属领域的普通技术人员显然可以从以下描述中理解上面未描述的其他技术目的。
技术方案
在本发明的一个方面中，视频解码方法可以包括：确定是否当前图片和参考图片具有不同的属性；在当前图片和参考图片具有不同的属性时，变换参考图片以具有与当前图片的属性相同的属性；以及使用变换的参考图片以预定块为单位对当前图片执行间预测。
在本发明的一个方面中，视频解码设备可以包括：属性确定单元，该属性确定单元用于确定是否当前图片和参考图片具有不同的属性；变换单元，该变换单元用于在当前图片和参考图片具有不同的属性时，变换参考图片以具有与当前图片的属性相同的属性；以及间预测单元，该间预测单元用于使用变换的参考图片以预定块为单位对当前图片执行间预测。
优选地，该属性可以包括分辨率、比特深度、颜色格式、动态范围和纵横比(aspectratio)中的至少一个。
优选地，在当前图片的宽度和/或高度与参考图片的宽度和/或高度的比率小于1时，参考图片可以在宽度和/或高度方向上按比率缩小。
优选地，在当前图片的宽度和/或高度与参考图片的宽度和/或高度的比率大于1时，可以在宽度和/或高度方向上按比率放大参考图片。
优选地，当使用以1/n分数像素(fractional-pel)为单位的运动信息时，在不缩小参考图片的情况下，可以通过n:1子采样从参考图片得到块的预测样本。
优选地，可以通过参考图片的缩小/放大的缩放因子来缩放参考图片的运动矢量，并且包括块的左上样本并且在参考图片中包括的预测块的运动矢量可以以具有能够具有运动矢量的最小尺寸的块为单位来分配。
优选地，当参考图片的动态范围和/或比特深度不同于当前参考图片的动态范围和/或比特深度时，可以使用预定的线性或非线性函数来变换参考图片的动态范围和/或比特深度。
优选地，当参考图片和当前图片具有不同的颜色格式时，参考图片的色度分量可以在水平和垂直方向上被放大/缩小。
有益效果
根据本发明的实施例，可以平滑地解码由多个表示组成的图像。
另外，根据本发明的实施例，可以平滑地解码具有不同属性的图片。
在本发明中可以获得的技术效果不限于上述的技术效果，并且本领域的技术人员可以从下面的描述中理解本文未提及的其他技术效果。
附图说明
附图作为用于帮助理解本发明的说明书的一部分被包括在此处，其提供本发明的实施例，并且借助以下的说明来描述本发明的技术特征。
图1图示作为本发明应用于的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
图2图示作为本发明应用于的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
图3是用于描述可以应用于本发明的编译单元的分割结构的图。
图4是用于描述可以应用于本发明的预测单元的图。
图5是本发明可以被应用于的实施例并且是图示间预测的方向的图。
图6是本发明可以被应用于的实施例并且图示用于1/4样本内插的整数和分数样本位置。
图7是本发明可以被应用于的实施例并且图示空间候选的位置。
图8是本发明可以被应用于的实施例并且是图示间预测方法的图。
图9是本发明可以被应用于的实施例并且是图示运动补偿过程的图。
图10是图示可应用本发明的自适应流方法的图。
图11和12是图示使用可应用本发明的多个表示的自适应流方法的图。
图13图示根据本发明的实施例的检测当前图片和参考图片是否具有不同属性/特征的方法。
图14图示根据本发明的实施例的在当前图片和参考图片具有不同分辨率时的参考图片管理过程。
图15是图14的参考图片管理过程的示意图。
图16是图示根据本发明的实施例的执行下采样预测的方法的图。
图17图示根据本发明的实施例的在当前图片和参考图片具有不同分辨率时缩放运动信息的方法。
图18图示根据本发明的实施例的用于校正当前图片和参考图片的比特深度或动态范围之间的差别的单应性矩阵(homography matrix)。
图19是图示根据本发明的实施例的视频解码方法的图。
图20是图示根据本发明的实施例的解码设备的图。
具体实施方式
在下文中，本发明的优选实施例将通过参考伴随的附图来描述。在下面将借助于伴随的附图描述的说明书将描述本发明示例性实施例，并且不旨在描述可以实现本发明的唯一实施例。以下的描述包括特定细节以便提供对本发明的完全理解。但是，应该明白，对于本领域技术人员来说，无需特定细节，也可以实施本发明。
在一些情形中，为了防止本发明的技术概念不清楚，公知的结构或者设备可以被省略，或者可以围绕结构或者设备的核心功能将其描述为框图。
此外，虽然尽可能多地选择当前广泛地使用的常规术语作为本发明的术语，但是在特定情形中使用了由申请人任意选择的术语。由于在这样的情况下，术语的含义将在说明书的相应的部分中被清楚地描述，因此，应该明白，本发明将不是简单地由仅在本发明的描述中使用的术语来解释，而是应当理解术语的含义。
在以下的描述中使用的特定术语可以被提供以帮助理解本发明。此外，特定术语可以被修改为本发明的技术概念范围内的其他形式。例如，信号、数据、样本、图片、帧和块等可以在每个编译过程中被适当地替换和解释。
在本说明书中，“块”或“单元”指的是执行诸如预测、变换和/或量化的编码/解码过程的单元，并且可以由样本(或像素)的多维排列组成。
“块”或“单元”可以指的是关于亮度分量的样本的多维排列或者关于色度分量的样本的多维排列。另外，“块”或“单元”通常可以指的是关于亮度分量的样本的多维排列以及关于色度分量的样本的多维排列。
例如，“块”或“单元”能够被解释为包括指的是要被编码/解码的样本的排列的编译块(CB)、由多个编译块组成的编译树块(CTB)、指的是应用相同预测的样本的排列的预测块(PB)(或预测单元(PU))以及指的是应用相同变换的样本的排列的变换块(TB)(或变换单元(TU))的含义。
此外，除非另外提及，否则“块”或“单元”可以被解释为包括在编码/解码关于亮度分量和/或色度分量的样本的排列的过程中使用的语法结构的含义。这里，语法结构指的是以特定顺序存在于比特流中的0个或更多个语法元素，并且语法元素指的是在比特流中表示的数据元素。
例如，可以将“块”或“单元”解释为包括编译块和被用于编译块的编码的语法结构的编译单元、由多个编译单元组成的编译树单元、包括预测块和被用于预测块的预测的语法结构的预测单元(PU)、以及包括变换块和被用于变换块的变换的语法结构的变换单元(TU)的含义。
另外，在本说明书中，“块”或“单元”不限于以正方形或矩形形式的样本(或像素)的排列，并且可以指的是以具有三个或更多个的顶点的多边形形式的样本(或像素)的排列。在这种情况下，其可以被称为多边形块或多边形单元。
图1图示作为本发明应用于的实施例的执行静止图像或者视频信号编码的编码器的示意性框图。
参考图1，编码器100可以包括视频分割单元110、减法器115、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码的图片缓冲器(DPB)单元170、预测单元180和熵编码单元190。此外，预测单元180可以包括间预测单元(inter-predictionunit)181和内预测单元(intra-prediction unit)182。
视频分割单元110将输入给编码器100的输入视频信号(或者图片或者帧)分割为一个或多个块。
减法器115通过从输入视频信号中减去由预测单元180(即，由间预测单元181或者内预测单元182)输出的预测信号(或者预测块)来生成残差信号(或者残差块)。生成的残差信号(或者残差块)被发送给变换单元120。
变换单元120通过将变换方案(例如，离散余弦变换(DCT)、离散正弦变换(DST)、基于图的变换(GBT)或者卡南-洛伊夫变换(KLT))应用于残差信号(或者残差块)来生成变换系数。在这种情况下，通过使用应用于残差块的预测模式和基于残差块的尺寸所确定的变换方案来执行变换，变换单元120可以生成变换系数。
量化单元130量化变换系数，并且将其发送给熵编码单元190，并且熵编码单元190执行量化信号的熵编码操作，以及将其作为比特流输出。
同时，由量化单元130输出的量化的信号可以用于生成预测信号。例如，可以通过经由去量化单元140和逆变换单元150将去量化和逆变换应用于量化信号来重建残差信号。可以通过将重建的残差信号与由间预测单元181或者内预测单元182输出的预测信号相加来生成重建的信号(或者重建的块)。
同时，在这样的压缩过程期间，邻近块通过不同的量化参数来量化。因此，显示块边缘的伪影(artifact)可能出现。这样的现象被称为块伪影，其是用于评估图像质量的重要因素中的一个。为了减少这样的伪影，可以执行滤波过程。经由这样的滤波过程，块伪影被除去，并且当前图片的误差同时被降低，从而改善图像质量。
滤波单元160将滤波应用于重建的信号，并且经由回放设备将其输出，或者将其发送给解码的图片缓冲器170。发送给解码的图片缓冲器170的滤波的信号可以在间预测单元181中用作参考图片。如上所述，可以以图片间预测模式，使用滤波的图片作为参考图片来改善编码速率以及图像质量。
解码的图片缓冲器170可以存储滤波的图片，以便在间预测单元181中将其用作参考图片。
间预测单元181参考重建的图片来执行时间预测和/或空间预测，以便除去时间冗余和/或空间冗余。
在这种情况下，块伪影或者环形伪影可能出现，因为用于执行预测的参考图片是变换的信号，当其被预先地编码/解码时，其在块单元中经历量化或者去量化。
因此，为了解决由这样的信号或者量化的不连续性而导致的性能退化，像素之间的信号可以通过将低通滤波器应用于间预测单元181而在子像素单元中被内插。在这种情况下，子像素指的是通过应用内插滤波器生成的虚拟像素，并且整数像素指的是存在于重建的图片之中的实际的像素。线性内插、双线性内插、维纳滤波器等等可以作为内插方法被应用。
内插滤波器可以应用于重建的图片，并且可以提高预测的精确度。例如，间预测单元181可以通过将内插滤波器应用于整数像素生成内插像素并且通过使用包括内插像素的内插块来执行预测。
内预测单元182参考邻近现在要编码的块的样本来预测当前块。内预测单元182可以执行以下的过程以便执行内预测。首先，内预测单元182可以准备生成预测信号(或预测块)所必需的参考样本。此外，内预测单元182可以使用准备的参考样本来生成预测信号。接下来，内预测单元182可以对预测模式进行编码。在这种情况下，可以经由参考样本填充和/或参考样本滤波来准备参考样本。量化误差可能存在，因为参考样本经历预测和重建过程。因此，为了降低这样的误差，可以对用于内预测的每个预测模式执行参考样本滤波过程。
通过间预测单元181或者内预测单元182生成的预测信号(或者预测块)可以用于生成重建的信号(或者重建的块)，或者可以用于生成残差信号(或者残差块)。
图2图示作为本发明应用于的实施例的执行静止图像或者视频信号解码的解码器的示意性框图。
参考图2，解码器200可以包括熵解码单元210、去量化单元220、逆变换单元230、加法器235、滤波单元240、解码的图片缓冲器(DPB)250和预测单元260。此外，预测单元260可以包括间预测单元261和内预测单元262。
此外，经由解码器200输出的重建的视频信号可以经由回放设备来回放。
解码器200可以接收由在图1中示出的编码器100输出的信号(即，比特流)。熵解码单元210对接收的信号执行熵解码操作。
去量化单元220使用量化步长信息(quantization step size information)从熵解码的信号获得变换系数。
逆变换单元230通过应用逆变换方案对变换系数进行逆变换来获得残差信号(或者残差块)。
加法器235将获得的残差信号(或者残差块)与由预测单元260(即，间预测单元261或者内预测单元262)输出的预测信号(或者预测块)相加，从而生成重建的信号(或者重建的块)。
滤波单元240将滤波应用于重建的信号(或者重建的块)，并且将滤波的信号输出给回放设备，或者将滤波的信号发送给解码的图片缓冲器250。发送给解码的图片缓冲器250的滤波的信号可以在间预测单元261中用作参考图片。
在本说明书中，在编码器100的滤波单元160、间预测单元181和内预测单元182中描述的实施例可以分别同等地应用于解码器的滤波单元240、间预测单元261和内预测单元262。
块分割结构
通常，基于块的图像压缩方法被在静止图像或者视频的压缩技术(例如，HEVC)中使用。基于块的图像压缩方法是通过将其分割为特定块单元来处理图像的方法，并且可以降低存储器使用和计算的负载。
图3是描述可以应用于本发明的编译单元的分割结构的图。
编码器将单个图像(或者图片)分割为方格形式的编译树单元(CTU)，并且按照光栅扫描顺序逐个地编码CTU。
在HEVC中，CTU的尺寸可以被确定为64×64、32×32和16×16中的一个。编码器可以基于输入视频信号的分辨率或者输入视频信号的特征来选择和使用CTU的尺寸。CTU包括用于亮度分量的编译树块(CTB)和用于与其相对应的两个色度分量的CTB。
一个CTU可以以四叉树结构分割。也就是说，一个CTU可以被分割为每个具有正方形形式并且具有一半水平尺寸和一半垂直尺寸的四个单元，从而能够生成编译单元(CU)。四叉树结构的这样的分割可以递归地执行。也就是说，以四叉树结构从一个CTU分等级地分割CU。
CU指的是用于输入视频信号的处理过程(例如，执行内/间预测的编译)的基本单位。CU包括用于亮度分量的编译块(CB)和用于与亮度分量相对应的两个色度分量的CB。在HEVC中，CU尺寸可以被确定为64×64、32×32、16×16和8×8中的一个。
参考图3，四叉树的根节点与CTU有关。四叉树被分割，直到达到叶节点。叶节点对应于CU。
对此进行更详细地描述。CTU对应于根节点，并且具有最小的深度(即，深度＝0)值。根据输入视频信号的特征，CTU可能不能被分割。在这种情况下，CTU对应于CU。
CTU可以以四叉树形式分割。因此，生成下节点，也就是说，深度1(深度＝1)。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点a、b和j的CU(a)、CU(b)和CU(j)已经从CTU分割一次，并且具有深度1。
具有深度1的节点中的至少一个可以以四叉树形式分割。因此，生成具有深度1的下节点(即，深度＝2)。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点c、h和i的CU(c)、CU(h)和CU(i)已经从CTU分割两次，并且具有深度2。
此外，具有深度2的节点中的至少一个可以以四叉树形式再次分割。因此，生成具有深度3(即，深度＝3)的下节点。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点d、e、f和g的CU(d)、CU(e)、CU(f)和CU(g)已经从CTU分割三次，并且具有深度3。
在编码器中，CU的最大尺寸或者最小尺寸可以基于视频图像的特征(例如，分辨率)或者通过考虑编码速率来确定。此外，有关最大或者最小尺寸的信息或者能够得到该信息的信息可以被包括在比特流中。具有最大尺寸的CU被称为最大编译单元(LCU)，并且具有最小尺寸的CU被称为最小编译单元(SCU)。
此外，具有树结构的CU可以以预定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割的CU可以具有深度信息。由于深度信息表示分割计数和/或CU的程度，其可以包括有关CU尺寸的信息。
由于LCU被以四叉树形状分割，所以SCU的尺寸可以通过使用LCU的尺寸和最大深度信息来获得。或者，相反地，LCU的尺寸可以通过使用SCU的尺寸和树的最大深度信息来获得。
对于单个CU，表示是否相应的CU被分割的信息(例如，分割的CU标志(split_cu_flag))可以转发给解码器。这个分割的信息被包括在除了SCU之外的所有CU中。例如，当表示是否分割的标志的值是“1”时，相应的CU被进一步分割为四个CU，并且当表示是否分割的标志的值是“0”时，相应的CU不再分割，并且可以执行用于相应的CU的处理过程。
如上所述，CU是执行内预测或者间预测的编译的基本单位。HEVC在预测单元(PU)中分割CU，以更加有效地编译输入视频信号。
PU是用于生成预测块的基本单位，并且即使在单个CU中，预测块也可以以PU为单位以不同的方式生成。但是，对于属于单个CU的PU不一起使用内预测和间预测，并且属于单个CU的PU通过相同的预测方法(即，内预测或者间预测)来编译。
PU不以四叉树结构分割，但是在单个CU中以预定的形状分割一次。这些将通过参考以下的附图来描述。
图4是描述可以应用于本发明的预测单元的图。
根据是使用内预测模式还是使用间预测模式作为PU所属于的CU的编译模式，PU被不同地分割。
图4(a)图示使用内预测模式时的PU，并且图4(b)图示使用间预测模式时的PU。
参考图4(a)，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为两种类型(即，2N×2N或者N×N)。
在这种情况下，如果单个CU被分割为2N×2N形状的PU，则这指的是仅一个PU存在于单个CU中。
同时，如果单个CU被分割为N×N形状的PU，则单个CU被分割为四个PU，并且对于每个PU单元生成不同的预测块。但是，只有在用于CU的亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情形)时，可以执行这样的PU分割。
参考图4(b)，假设单个CU的尺寸是2N×2N(N＝4、8、16和32)，单个CU可以被分割为八个PU类型(即，2N×2N、N×N、2N×N、N×2N、nL×2N、nR×2N、2N×nU和2N×nD)。
像在内预测中一样，只有在用于CU的亮度分量的CB的尺寸是最小尺寸(即，CU是SCU的情形)时，可以执行N×N形状的PU分割。
间预测以在水平方向上分割的2N×N形状和以在垂直方向上分割的N×2N形状来支持PU分割。
此外，间预测支持nL×2N、nR×2N、2N×nU和2N×nD形状的PU分割，其是不对称运动分割(AMP)。在这种情况下，“n”指的是2N的1/4值。但是，如果PU所属于的CU是最小尺寸的CU，则AMP可以不被使用。
为了在单个CTU中有效率地编码输入视频信号，可以经由如下的处理过程基于最小速率失真值来确定编译单元(CU)、预测单元(PU)和变换单元(TU)的最佳分割结构。例如，关于在64×64CTU中的最佳CU分割过程，可以经由从64×64尺寸的CU到8×8尺寸的CU的分割过程来计算速率失真成本。详细的过程如下。
1)生成最小速率失真值的PU和TU的最佳分割结构通过对64×64尺寸的CU执行间/内预测、变换/量化、去量化/逆变换和熵编码来确定。
2)PU和TU的最佳分割结构被确定以将64×64CU分割为32×32尺寸的四个CU，并且生成用于每个32×32CU的最小速率失真值。
3)PU和TU的最佳分割结构被确定以进一步将32×32CU分割为16×16尺寸的四个CU，并且生成用于每个16×16CU的最小速率失真值。
4)PU和TU的最佳分割结构被确定以进一步将16×16CU分割为8×8尺寸的四个CU，并且生成用于每个8×8CU的最小速率失真值。
5)通过将在过程3)中获得的16×16CU的速率失真值与在过程4)中获得的四个8×8CU的速率失真值的增加比较来确定在16×16块中的CU的最佳分割结构。也以相同的方式对于剩余的三个16×16CU来执行这个过程。
6)通过将在过程2)中获得的32×32CU的速率失真值与在过程5)中获得的四个16×16CU的速率失真值的增加比较来确定在32×32块中的CU的最佳分割结构。也以相同的方式对于剩余的三个32×32CU执行这个过程。
7)最后，在64×64块中CU的最佳分割结构通过将在过程1)中获得的64×64CU的速率失真值与在过程6)中获得的四个32×32CU的速率失真值的增加比较来确定。
在内预测模式中，预测模式被选择为PU单元，并且在实际的TU单元中对选择的预测模式执行预测和重建。
TU指的是执行实际的预测和重建的基本单位。TU包括用于亮度分量的变换块(TB)和用于与亮度分量相对应的两个色度分量的TB。
在图3的示例中，像在一个CTU被以四叉树结构分割以生成CU的示例中一样，从要编译的一个CU以四叉树结构分等级地分割TU。
因为TU被以四叉树结构分割，所以从CU分割的TU可以被分割为更小和更低的TU。在HEVC中，TU的尺寸可以被确定为32×32、16×16、8×8和4×4中的一个。
返回参考图3，四叉树的根节点被假设为与CU相关。四叉树被分割，直到达到叶节点，并且叶节点对应于TU。
对此进行更详细的描述。CU对应于根节点，并且具有最小的深度(即，深度＝0)值。根据输入图像的特征，CU可能不能被分割。在这种情况下，CU对应于TU。
CU可以以四叉树形式分割。因此，生成具有深度1(深度＝1)的下节点。此外，属于具有深度1的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点a、b和j的TU(a)、TU(b)和TU(j)已经从CU分割一次，并且具有深度1。
具有深度1的节点的至少一个可以再次以四叉树形式分割。因此，生成具有深度2(即，深度＝2)的下节点。此外，属于具有深度2的下节点并且不再分割的节点(即，叶节点)对应于TU。例如，在图3(b)中，对应于节点c、h和i的TU(c)、TU(h)和TU(i)已经从CU分割两次并且具有深度2。
此外，具有深度2的节点的至少一个可以以四叉树形式再次分割。因此，生成具有深度3(即，深度＝3)的下节点。此外，属于具有深度3的下节点并且不再分割的节点(即，叶节点)对应于CU。例如，在图3(b)中，对应于节点d、e、f和g的TU(d)、TU(e)、TU(f)和TU(g)已经从CU分割三次，并且具有深度3。
具有树结构的TU可以以预定的最大深度信息(或者最大等级信息)分等级地分割。此外，每个分割的TU可以具有深度信息。该深度信息可以包括有关TU的尺寸的信息，因为其指示分割数目和/或TU的程度。
指示是否相应的TU已经相对于一个TU被分割的信息(例如，分割的TU标记“split_transform_flag”)可以传送给解码器。分割信息被包括在除了最小尺寸的TU之外的所有TU中。例如，如果指示是否TU已经被分割的标志的值是“1”，则相应的TU被分割为四个TU。如果指示是否TU已经被分割的标志的值是“0”，则相应的TU不再分割。
预测
为了重建对其执行解码的当前块，可以使用包括当前块的当前图片或其他图片的已解码的部分。
仅使用当前图片用于重建(即，仅对其执行内预测)的图片(条带(slice))可被称作内图片(intra-picture)或I图片(条带)，为了预测每个块而使用最多一个运动矢量和参考索引的图片(条带)可以被称作预测图片或P图片(条带)，并且使用最多两个运动矢量和参考索引的图片(条带)可以被称作双向预测图片或者B图片(条带)。
内预测意指从同一解码的图片(或条带)的数据元素(例如，样本值)得到当前块的预测方法。也就是说，内预测意指参考当前图片内的重建区域来预测当前块的像素值的方法。
在下文中，对间预测进行更详细的描述。
间预测(inter-prediction)(或帧间预测(inter-frame prediction))
间预测意指基于除当前图片以外的图片的数据元素(例如，样本值或运动矢量)来得到当前块的预测方法。也就是说，间预测意指参考除当前图片以外的另一重建图片内的重建区域来预测当前块的像素值的方法。
间预测(或图片间预测)是用于去除存在于图片之间的冗余的技术，并且主要通过运动估计和运动补偿来执行。
图5是本发明可以被应用于的实施例并且是图示间预测的方向的图。
参考图5，间预测可以被划分成单向预测和双向预测，在所述单向预测中仅一个过去的图片或将来的图片被用作关于单个块的时间轴上的参考图片，而在所述双向预测中过去的和将来的图片均同时被参考。
此外，单向预测可以被划分成正向预测和后向预测，在所述正向预测中使用在当前图片之前暂时显示(或者输出)的单个参考图片，而在后向预测中使用在当前图片之后暂时显示(或者输出)的单个参考图片。
在间预测过程(即，单向或双向预测)中，用于指定在预测当前块时使用哪一个参考区域(或参考块)的运动参数(或信息)包括间预测模式(在这种情况下，间预测模式可以指示参考方向(即，单向或双向)以及参考列表(即，L0、L1或双向))、参考索引(或参考图片索引或参考列表索引)和运动矢量信息。运动矢量信息可以包括运动矢量、运动矢量预测器(MVP)或运动矢量差(MVD)。运动矢量差值意指运动矢量与运动矢量预测因子之间的差。
在单向预测中，使用单侧方向的运动参数。也就是说，可能需要一个运动参数来指定参考区域(或参考块)。
在双向预测中，使用两个方向的运动参数。在双向预测方法中，可以使用最多两个参考区域。两个参考区域可以存在于相同的参考图片中或者可以存在于不同的图片中。也就是说，在双向预测方法中，可以使用最多两个运动参数。两个运动矢量可以具有相同的参考图片索引或者可以具有不同的参考图片索引。在这种情况下，可以在当前图片之前暂时显示参考图片，或者可以在当前图片之后暂时显示(或者输出)参考图片。
编码器在间预测过程中执行在参考图片中搜索与当前块最相似的参考区域的运动估计。此外，编码器可以给解码器提供用于参考区域的运动参数。
编码器/解码器可以使用运动参数来获得当前块的参考区域。参考区域存在于具有参考索引的参考图片中。此外，由运动矢量指定的参考区域的像素值或内插值可以被用作当前块的预测因子。也就是说，使用运动信息来执行根据先前解码的图片预测当前块的图像的运动补偿。
为了减小与运动矢量信息有关的传送速率，可以使用利用先前解码的块的运动信息来获得运动矢量预测因子(mvp)并且仅发送相应的差(mvd)的方法。也就是说，解码器使用其他解码的块的运动信息来计算当前块的运动矢量预测因子并且使用与编码器的差异来获得当前处理块的运动矢量值。在获得运动矢量预测因子时，解码器可以使用其他已经解码的块的运动信息来获得各种运动矢量候选值，并且可以获得各种运动矢量候选值中的一个作为运动矢量预测因子。
-参考图片集和参考图片列表
为了管理多个参考图片，一组先前解码的图片被存储在解码的图片缓冲器(DPB)中以用于剩余图片的解码。
属于存储在DPB中的重建图片并且被用于间预测的重建图片被称作参考图片。换句话说，参考图片意指包括可以在解码序列的下一个图片的解码过程中被用于间预测的样本的图片。
参考图片集(RPS)意指与图片相关联的一组参考图片，并且包括解码序列中的所有先前关联的图片。参考图片集可以被用于解码序列中的关联图片或跟随图片的图片(apicture following a picture)的间预测。也就是说，保持在解码的图片缓冲器(DPB)中的参考图片可以被称作参考图片集。编码器可以在每个条带头(slice header)中给解码器提供序列参数集(SPS)(即，具有语法元素的语法结构)或参考图片集信息。
参考图片列表意指用于P图片(或条带)或B图片(或条带)的间预测的参考图片的列表。在这种情况下，参考图片列表可以被划分成两个参考图片列表，所述两个参考图片列表可以被称作参考图片列表0(或L0)和参考图片列表1(或L1)。此外，属于参考图片列表0的参考图片可以被称作参考图片0(或L0参考图片)，而属于参考图片列表1的参考图片可以被称作参考图片1(或L1参考图片)。
在P图片(或条带)的解码过程中，可以使用一个参考图片列表(即，参考图片列表0)。在B图片(或条带)的解码过程中，可以使用两个参考图片列表(即，参考图片列表0和参考图片列表1)。可以通过参考图片集信息将用于区分每个参考图片的此类参考图片列表的信息提供给解码器。解码器基于参考图片集信息将参考图片添加到参考图片列表0或参考图片列表1。
为了识别参考图片列表内的任何一个特定参考图片，使用参考图片索引(或参考索引)。
-分数样本内插
用于间预测的当前块的预测块的样本是从通过参考图片索引标识的参考图片内的相应参考区域的样本值获得的。在这种情况下，参考图片内的相应参考区域指示通过运动矢量的水平分量和垂直分量所指示的位置的区域。除了运动矢量具有整数值的情况之外，分数样本内插被用于针对非整数样本坐标生成预测样本。例如，可以支持样本之间的距离的1/4尺度的运动矢量。
在HEVC的情况下，亮度分量的分数样本内插在横向和纵向上应用8抽头滤波器。此外，色度分量的分数样本内插在横向和纵向上应用4抽头滤波器。
图6是本发明可以被应用于的实施例并且图示用于1/4样本内插的整数和分数样本位置。
参考图6，写入大写字母(A_i,j)的阴影块指示整数样本位置，而不具有写入小写字母(x_i,j)的阴影的块指示分数样本位置。
分数样本通过在水平方向和垂直方向上对整数样本值应用内插滤波器来生成。例如，在水平方向的情况下，可以基于要生成的分数样本将8抽头过滤器应用于在左侧的四个整数样本值和在右侧的四个整数样本值。
-间预测模式
在HEVC中，为了减少运动信息的量，可以使用合并模式和高级运动矢量预测(AMVP)。
1)合并模式
合并模式意指从空间或时间上的相邻块得到运动参数(或信息)的方法。
在合并模式下，一组可用候选包括空间邻近候选、时间候选和生成的候选。
图7是本发明可以被应用于的实施例并且图示空间候选的位置。
参考图7(a)，确定根据{A1、B1、B0、A0、B2}的顺序每个空间候选块是否可用。在这种情况下，如果在内预测模式下未对候选块进行编码并且存在运动信息或者如果候选块位于当前图片(或条带)之外，则不能使用相应候选块。
在确定了空间候选的有效性之后，可以通过从当前块的候选块中排除不必要的候选块来配置空间合并候选。例如，如果当前预测块的候选块是同一编码块内的第一预测块，则可以排除除了相应候选块以外的具有相同的运动信息的候选块。
当空间合并候选配置完成时，按照{T0、T1}的次序执行时间合并候选配置过程。
在时间候选配置中，如果参考图片的并置块的右下部块T0是可用的，则相应块被配置为时间合并候选。并置块意指存在于与选择的参考图片中的当前块相对应的位置中的块。相比之下，如果不是，则位于并置块的中心处的块T1被配置为时间合并候选。
可以在条带头中指定合并候选的最大数目。如果合并候选的数目大于最大数目，则维持具有比最大数目小的数目的空间候选和时间候选。如果不是，则通过组合迄今为止添加的候选来生成附加合并候选(即，组合双向预测合并候选)的数目，直到候选的数目变成最大数目为止。
编码器使用上述方法来配置合并候选列表，并且将通过执行运动估计在合并候选列表中选择的候选块信息作为合并索引(例如，merge_idx[x0][y0]')发信号通知给解码器。图7(b)图示已经从合并候选列表中选择了B1块的情况。在这种情况下，可以将“索引1(Index1)”作为合并索引发信号通知给解码器。
解码器像编码器一样配置合并候选列表，并且从合并候选列表中的与来自编码器的合并索引相对应的候选块的运动信息得到关于当前块的运动信息。此外，解码器基于所得到的运动信息(即运动补偿)来生成用于当前块的预测块。
2)高级运动矢量预测(AMVP)模式
AMVP模式意指从相邻块得到运动矢量预测值的方法。因此，水平和垂直运动矢量差(MVD)、参考索引和间预测模式被发信号通知给解码器。水平和垂直运动矢量值使用所得到的运动矢量预测值和编码器提供的运动矢量差(MVDP)来计算。
也就是说，编码器配置运动矢量预测因子候选列表，并且将通过执行运动估计在运动矢量预测器候选列表中选择的运动矢量预测器标志(即，候选块信息)(例如，mvp_lX_flag[x0][y0]')发信号通知给解码器。解码器像编码器一样配置运动矢量预测器候选列表，并且使用运动矢量预测因子候选列表中的通过从编码器接收到的运动矢量预测器标志所指示的候选块的运动信息来得到当前块的运动矢量预测因子。此外，解码器使用所得到的运动矢量预测因子和由编码器发送的运动矢量差来获得当前处理块的运动矢量值。此外，解码器基于所得到的运动信息(即，运动补偿)生成用于当前块的预测块(即，预测样本的阵列)。
在AMVP模式的情况下，图7中的五个可用候选中的两个空间运动候选被选择。第一空间运动候选是从位于左侧的{A0、A1}集合中选择的，而第二空间运动候选是从位于顶部的{B0、B1、B2}集合中选择的。在这种情况下，如果相邻候选块的参考索引与当前预测块不相同，则运动矢量被定标。
如果作为搜索空间运动候选的结果而选择的候选的数目是2，则终止候选配置。如果选择的候选的数目小于2，则增加时间运动候选。
图8是本发明被应用于的实施例并且是图示间预测方法的图。
参考图8，解码器(具体地，图2中的解码器的间预测单元261)对用于当前块(例如，预测块)的运动参数进行解码(S801)。
例如，如果已经对当前块应用了合并模式，则解码器可以对由编码器发信号通知的合并索引进行解码。此外，可以从通过合并索引所指示的候选块的运动参数得到当前块的运动参数。
此外，如果已经对当前块应用了AMVP模式，则解码器可以对由编码器发信号通知的水平和垂直运动矢量差(MVD)、参考索引以及间预测模式进行解码。此外，解码器可以从通过运动矢量预测器标志所指示的候选块的运动参数得到运动矢量预测因子，并且可以使用运动矢量预测因子和所接收到的运动矢量差来得到当前块的运动矢量预测器。
解码器使用经解码的运动参数(或信息)来对当前块执行运动补偿(S802)。
也就是说，编码器/解码器使用经解码的运动参数来执行根据先前解码的图片预测当前块的图像的运动补偿(即，生成当前块的预测块)。换句话说，编码器/解码器能够从先前解码的参考图片中的与当前块相对应的区域的样本中得到当前块的预测块(即，预测样本的排列)。
图9是本发明可以被应用于的实施例并且是图示运动补偿过程的图。
图9图示用于当前图片中的要编码的当前块的运动参数是单向预测、列表0内的第二图片、列表0以及运动矢量(-a,b)的情况。
在这种情况下，像在图9中一样，使用与列表0的第二图片中的当前块间隔开的位置(-a,b)的值(即，参考块的样本值)来预测当前块。
在双向预测的情况下，发送另一参考列表(例如，列表1)、参考索引和运动矢量差。解码器得到两个参考块并且基于这两个参考块预测当前块值(即，生成当前块的预测样本)。
用于多个表示应用的有效预测
本发明提出当由多个表示组成的内容被流化时的编码/解码方法。
图10是图示可应用本发明的自适应流方法的图。
多个表示指的是将单条内容作为诸如各种分辨率和各种质量的从低比特率到高比特率的各种版本的图像的产生。这是一种用于即使当网络状态改变时也使用流式服务以无缝地使用服务的用户的自适应流的内容产生方法，如图10中所示。
为自适应流产生的这样的多个表示能够被分割成用于表示之间的切换的片段。
这里，单个片段(segment)中的图片通常能够以封闭图片组(GOP)的形式被编码，使得其不能参考其他片段的图片以便防止在切换期间产生解码问题。但是，封闭式GOP不是强制性的，并且因此图片可以以开放式GOP的形式编码。
如果只有不同片段的质量不同，则图片质量可能会稍微恶化，但是解码器能够执行正常的解码过程。另一方面，当不同片段的图片具有不同的分辨率时，解码器可能不会对图片进行解码或可能发生相当大的图像质量恶化。
因此，本发明提出一种即使当具有不同属性/特征(例如，图片分辨率、比特深度、色彩格式、动态范围、纵横比等等)的图片时正常地(或者没有相当大的图片质量劣化)执行解码的方法。
下面将更详细地描述在前述自适应流服务中产生的问题。
图11和图12图示使用应用本发明的多个表示的自适应流方法。
图11图示封闭式GOP情况，并且图12图示开放式GOP情况。
作为典型的自适应流技术的MPEG(运动图像专家组)DASH(基于HTTP的动态自适应流)被描述为示例。因为所有片段被编码使得通常从IDR(瞬时解码刷新)图片(即，闭合的GOP结构)开始解码，如上所述，即使从片段R0N-1到片段R1N的切换发生，解码器也能够在没有问题的情况下执行解码。
这样的片段能够具有根据片段适应网络变化多快而变化的长度。例如，当片段长度为10秒时，即使每秒发生一次网络变化，表示也能够以10秒的间隔改变。
如果片段长度是5秒，则表示能够以5秒的间隔改变，并且因此能够更精确地应对网络中的变化。
然而，随着片段长度减小，每个表示的容量可能迅速增加。这是由IDR图片数量的增加引起的。通常，IDR图片的大小是非IDR图片大小的两倍到十倍。此外，当片段长度减小时，GOP大小减小并且图片间编译效率也降低，表示容量增加。
为了解决这样的问题(即，编译效率问题等)，允许在不同片段之间进行预测是可取的，如图12中所示。然而，虽然在同一表示中允许预测时不会产生问题，但是当发生切换时可能产生解码问题(例如，解码器崩溃、相当大的图像质量恶化等)，并且因此在不同表示的片段之间执行预测。
例如，假设表示0的图片大小是1280×720并且表示1的图片大小是1920×1080。如果发生片段R0N-1→片段R1N的切换，则1920×1080的当前图片根据存储在DPB中的1280×720的参考图片执行预测。这里，图像明显失真，因为使用具有与编码期间的尺寸完全不同的尺寸的参考图片执行预测。另外，在当前块的位置偏离x＝1280和y＝720的位置时，解码器停止或发生故障，因为没有对应于参考图像的图像。
这些问题能够在各种情况下产生，诸如其中表示具有不同比特深度的情况、其中表示具有不同动态范围的情况、其中表示具有不同颜色格式的情况、其中表示具有不同纵横比的情况以及其中表示具有不同分辨率的情况。
因此，本发明提出一种当在如上所述的具有不同属性/特征的两个图片之间执行预测时检测属性/特征差异的方法，以及用于当图片具有不同属性/特征时在没有解码器故障或相当大的图片质量劣化的情况下有效率地预测图片的各种预测方法。
在下文中，作为本发明的实施例，提出一种检测当前图片(或条带)和参考图片是否具有不同属性/特征的方法。
图13图示根据本发明的实施例的检测当前图片和参考图片是否具有不同属性/特征的方法。
参考图13，当开始当前图片(或条带)的解码时，解码器针对每个属性/特征将指示当前图片和参考图片是否具有不同属性/特征的参数的值设置为0(S1301)。
在图中，在图13中，指示分辨率是否不同的参数由“IsDiffResolution”表示，指示比特深度是否不同的参数由“IsDiffBitDepth”表示，指示颜色格式是否不同的参数由“IsDiffColorFormat”表示，指示动态范围是否不同的参数由“IsDiffDR”表示，并且指示纵横比是否不同的参数由“IsDiffAR”。也就是说，解码器将前述的参数的值设置为0。
解码器确定参考图片的宽度RefPicWidth是否等于当前图片的宽度CurPicWidth以及参考图片的高度RefPicHeight是否等于当前图片的高度CurPicHeight(S1302)。
也就是说，解码器确定当前图片和参考图片是否具有相同的分辨率。
在当前图片和参考图片不具有与步骤S1302中的确定结果相同的分辨率时，解码器将IsDiffResolution设置为1(S1303)。
在当前图片和参考图片具有与步骤S1302中的确定结果相同的分辨率时，解码器确定参考图片的比特深度RefPicBitDepth是否与当前图片的比特深度CurPicBitDepth相同(S1304)。
在当前图片和参考图片不具有与步骤S1304中的确定结果相同的比特深度时，解码器将IsDiffBitDepth设置为1(S1305)。
在当前图片和参考图片具有与步骤S1304中的确定结果相同的比特深度时，解码器确定参考图片的颜色格式RefPicColorFormat是否与当前图片的颜色格式CurPicColorFormat相同(S1306)。
在当前图片和参考图片不具有与步骤S1306中的确定结果相同的颜色格式时，解码器将IsDiffColorFormat设置为1(S1307)。
在当前图片和参考图片具有与步骤S1306中的确定结果相同的颜色格式时，解码器确定参考图片的动态范围RefPicDR是否与当前图片的动态范围CurPicDR相同(S1308)。
在当前图片和参考图片不具有与步骤S1308中的确定结果相同的动态范围时，解码器将IsDiffDR设置为1(S1309)。
在当前图片和参考图片具有与步骤S1308中的确定结果相同的动态范围时，解码器确定参考图片的纵横比是否与当前图片的参考比率相同(S1310)。
在当前图片和参考图片不具有与步骤S1310中的确定结果相同的纵横比时，解码器将IsDiffAR设置为1(S1311)。
在当前图片和参考图片具有与步骤S1310中的确定结果相同的纵横比时，解码器确定当前图片和参考图片是否具有相同的分辨率、比特深度、颜色格式、动态范围和纵横比((即，所有的IsDiffResolution、IsDiffBitDepth、IsDiffColorFormat、IsDiffDR和IsDiffAR都是0)或(任何一个都是1))(S1312)。
在当前图片的任何一个属性/特征不同于参考图片的属性/特征作为步骤S1312中的确定结果时，解码器执行参考图片管理过程(RPMP)(S1313)。
参考图片管理过程指的是修改参考图片使得参考图片具有与当前图片的属性相同的属性的操作，稍后将会更加详细地描述。
解码器基于通过参考图片管理过程得到的参考图片对当前图片执行间预测过程(S1314)。
在当前图片的所有属性/特征与参考图片的全部属性/特征相同作为步骤S1312中的确定结果时，解码器执行间预测过程(S1314)。也就是说，在这种情况下，解码器基于没有应用前述参考图片管理过程的参考图片对当前图片执行间预测过程。
然后，解码器重建当前图片并执行其他过程(例如，滤波等)(S1315)。
虽然图13图示分辨率、比特深度、颜色格式、动态范围和纵横比作为图片的属性/特征，但是本发明不限于此，并且可以使用它们中的一些或者除了图13中图示的属性/特征之外的属性/特征可以被另外使用。
而且，尽管图13图示顺序地比较当前图片和参考图片之间的分辨率、比特深度、颜色格式、动态范围和纵横比以确定当前图片和参考图片是否具有不同属性/特征的过程，但是本发明不限于此，并且当前图片和参考图片是否具有不同的属性/特征可以按照与图13中图示的顺序不同的顺序来确定。
在下文中，将更详细地描述参考图片管理过程。
作为参考图片管理过程的实施例，提出一种在当前图片的分辨率不同于参考图片的分辨率时有效率地解码当前图片的方法。
图14图示根据本发明的实施例的在当前图片和参考图片具有不同分辨率时的参考图片管理过程。
针对当前图片与参考图片之间的分辨率不同单独地考虑宽度和高度是可取的，因为图片纵横比在表示之间可能不同。
参考图14，解码器使用当前图片的宽度和参考图片的宽度来设置宽度缩放参数WidthScale，并使用当前图片的高度和参考图片的高度来设置高度缩放参数HeightScale(S1401)。
例如，能够将WidthScale设置为当前图片的宽度与参考图片的宽度的比率(WidthScale＝CurPicWidth/RefPicWidth)，并且HeightScale能够被设置为当前图片的高度与参考图片的高度的比率(Height＝CurPicHeight/RefPicHeight)。
解码器确定WidthScale是否小于1(S1402)。
也就是说，解码器确定在宽度方向(水平方向/轴)上参考图片的分辨率是否大于当前图片的分辨率。
当WidthScale小于1作为步骤S1402中的确定结果时，解码器在宽度方向上对参考图片执行缩小过程(downscaling process)(S1403)(即，RefPicWidth*WidthScale)。
例如，当WidthScale＝0.5时，解码器在宽度轴(水平轴)上对参考图片上执行1/2缩放。
当WidthScale不小于(或大于)1作为步骤S1402中的确定结果时，解码器在宽度方向上对参考图片执行放大过程(S1404)。
如果在宽度轴上参考图片的分辨率与当前图片的分辨率相同，则可以绕过放大过程。
解码器确定HeightScale是否小于1(S1405)。
也就是说，解码器确定在高度方向(垂直方向/轴)上参考图片的分辨率是否大于当前图片的分辨率。
当HeightScale小于1作为步骤S1405中的确定结果时，解码器在高度方向上对参考图片执行缩小过程(S1406)(即，RefPicHeight*HeightScale)。
当HeightScale不小于(或大于)1作为步骤S1405中的确定结果时，解码器在高度方向上对参考图片执行放大过程(S1407)。
如果在高度轴上参考图片的分辨率与当前图片的分辨率相同，则可以绕过放大过程。
图15是图14的参考图片管理过程的示意图。
图15图示在宽度轴(水平轴/方向)和高度轴(垂直轴/方向)两者上参考图片1501的分辨率大于当前图片1504的分辨率的情况。
解码器确定在宽度方向(水平方向)上参考图片1501的分辨率是否大于当前图片1504的分辨率。
因为图15图示其中在宽度方向上参考图片1501的分辨率大于当前图片1504的分辨率的情况，所以解码器在宽度方向(水平方向)上缩小参考图片1501以在宽度方向上生成被缩小的参考图片1502。
解码器确定在高度方向(垂直方向)上参考图片1501的分辨率是否大于当前图片1504的分辨率。
因为图15图示其中在高度方向上参考图片1501的分辨率大于当前图片1504的分辨率的情况，所以解码器在高度方向(垂直方向)上缩小在宽度方向上已经被缩小的参考图片1502以生成在宽度和高度方向上被缩小的参考图片1503。
另外，解码器基于已经应用参考图片管理过程的参考图片(即，在图15中的在宽度和高度方向上被缩小的参考图片1503)来预测当前图片。
虽然图14和15图示其中参考图片和当前图片的分辨率在宽度方向上进行比较并且然后在高度方向上进行比较的情况，但是本发明不限于此并且可以改变比较顺序。
此外，除了在图14和图15中所图示的方法之外，可以通过各种方法将RPMP设计为适应编解码器的环境。
图16是图示根据本发明的实施例的执行下采样预测的方法的图。
假设在宽度和高度轴上参考图片1601的分辨率是当前图片1602的分辨率的两倍(即，WidthScale＝HeightScale＝0.5)，如图16中所示。
在这种情况下，如果相应的编解码器使用半像素运动信息，则不需要对参考图片执行缩小过程，如图14和图15中所示。即，当预测期间通过2：1子采样从当前参考图片(具有当前图片的宽度和高度两倍的宽度和高度的图片)得到预测样本时，能够获得缩小效果。
这被如下地归一化。当在编解码器中使用以分数像素(1/n)(例如，半像素或四分之一像素)为单位的运动信息时，如果参考图片的分辨率是当前图片的分辨率的m倍，则能够在预测期间通过n:1子采样从当前参考图像得到预测样本，同时不缩小参考图片。
在下文中，将描述一种在当前图片和参考图片具有不同分辨率时有效地执行时间运动矢量预测的方法作为参考图片管理过程的实施例。
在图14的参考图片管理过程中的前述的放大/缩小过程(即，S1403、S1404、S1406和S1407)中，解码器能够通过放大/缩小比率(即，缩放因子)以及图片大小来对运动信息执行缩放过程。这将参考下面的附图进行描述。
图17图示根据本发明的实施例的在当前图片和参考图片具有不同分辨率时缩放运动信息的方法。
例如，解码器获得缩放的参考图片，并且然后通过缩放因子缩放参考图片中的所有运动信息。
另外，解码器可以以4×4块为单位重新获得并列的运动。这是因为根据缩放因子缩放的参考图片的4×4块(图10中的块A或块B)的单元可能不与原始预测单元对齐，如图17中所示。
换句话说，当参考图片中的并置块的运动信息被用作运动信息预测因子以便得到当前图片中的当前块的运动信息时，如果并置块是块A或块B，则参考图片中的哪个运动信息被用作当前块的运动信息预测因子是不明确的。
因此，如上所述，当4×4块与原始预测单元不对齐时，与4×4块的左上样本的位置重叠的经缩放的参考图片的原始预测单元的运动信息能够被用作4×4块的运动信息。
参考图17，因为块A的左上样本的位置被包括在预测单元A中，所以预测单元A的缩放运动矢量被分配作为块A的新运动矢量。因为块B的左上样本的位置被包括在预测单元B中，所以预测单元B的经缩放的运动矢量被分配作为块B的新的运动矢量。
尽管已经描述了缩放经缩放的参考图片中的所有预测块的运动矢量并且然后将包括每个块的左上样本的预测块的运动矢量以4×4块为单位分配作为相应块的运动矢量的方法，但是本发明不限于以4×4块为单位分配运动矢量的方法，并且能够以能够具有运动矢量的最小尺寸的块为单位分配经缩放的运动矢量。
在下文中，提出一种在当前图片的比特深度或动态范围不同于参考图片的比特深度或动态范围时有效率地解码当前图片的方法作为参考图片管理过程的实施例。
图18图示根据本发明的实施例的用于校正当前图片与参考图片之间的比特深度或动态范围差异的单应性矩阵。
例如，当从包括HDR(高动态范围)图片或编码成10个比特的图片的片段到包括SDR(标准动态范围)图片或编码成8个比特的图片的片段的切换发生时，将HDR图片变换成SDR图片或将10比特图片变换成8比特图片并且然后将该图片用作参考图片是必要的。
因此，能够通过RPMP执行这种变换过程。例如，解码器能够通过如图18中所示的各种曲线(即，各种线性/非线性函数)将原始参考图片(图18中的10比特输入)变换成新的参考图片(图18中的8比特输出)。
这里，能够使用通过色调映射信息SEI(补充增强信息)消息、膝功能信息SEI消息和色彩重新映射信息SEI消息发送的色调映射和动态范围信息执行最佳变换。也就是说，编码器能够向解码器用信号发送关于传递函数的信息。
当不存在相关的SEI消息时，编码器和解码器可以预先决定并使用作为默认的线性传递曲线的曲线B的技术、使用视频可用性信息(VUI)的传递函数、特征函数或默认曲线等将参考图片变换成不同动态范围的技术。
在下文中，提出一种在当前图片的颜色格式或色域不同于参考图片的颜色格式或色域时有效率地解码当前图片的方法作为参考图片管理过程的实施例。
例如，当参考图片的色彩格式是4:4:4并且当前图片的色彩格式是4:2:0时，解码器可以通过RPMP在水平方向(水平方向/轴)和垂直方向(垂直方向/轴)上将参考图片的色度分量Cr和Cb缩小1/2，以生成新的参考图片。即，参考图片的色度分量Cr和Cb在水平和垂直方向上被放大/缩小，使得参考图片的颜色格式变得与当前图片的颜色格式相同。
这里，可以使用色度重采样滤波器提示SEI，或者编码器和解码器可以决定并使用默认采样滤波器。
当不存在要参考的色度分量时，诸如其中参考图片的颜色格式是4：0：0并且当前图片的颜色格式是4：2：0的情况，或者放大/缩小(或上/下采样)是不可能时，可以使用编码器和解码器之间商定的默认色度分量值。
如果当前图片的色域与参考图片的色域不同(例如，参考图片的色域是BT2020并且当前图片的色域是BT209)，则使用通过VUI发送的color_primaries、transfer_characteristics和色彩重新映射信息SEI，可以将BT2020中编码的参考图片的色域转变成当前图片的色域。
图19是图示根据本发明的实施例的视频解码方法的图。
参考图19，解码器确定当前图片和参考图片是否具有不同的属性(S1901)。
在这种情况下，参考图13描述的方法可以被使用以便于确定当前图片和参考图片是否具有不同的属性。
这里，属性可以包括分辨率、比特深度、颜色格式、动态范围和纵横比中的至少一个。
在当前图片和参考图片具有不同的属性时，解码器变换参考图片使得参考图片具有与当前图片相同的属性(S1902)。
也就是说，解码器能够执行上述参考图片管理过程(RPMP)，并且能够使用根据上述各种实施例的方法。
例如，在当前图片的宽度和/或高度与参考图片的宽度和/或高度的比率(即，缩放因子)小于1时，解码器能够在宽度和/或高度方向上按比率缩小参考图片。
在当前图片的宽度和/或高度与参考图片的宽度和/或高度的比率大于1时，解码器能够在宽度和/或高度方向上按比率放大参考图片。
另外，解码器能够按照参考图片的缩小/放大的缩放因子缩放参考图片的运动矢量，并且能够以具有能够具有运动矢量的最小尺寸的块为单位分配包括块的左上样本并且被包括在参考图片中的预测块的运动矢量。
当参考图片的动态范围和/或比特深度与当前图片的动态范围和/或比特深度不同时，解码器可以使用预定的线性或非线性函数变换参考图片的动态范围和/或比特深度。
而且，当参考图片的颜色格式不同于当前图片的颜色格式时，解码器可以在水平和垂直方向中放大/缩小参考图片的色度分量。
解码器使用经变换的参考图片以预定块为单位对当前图片执行间预测(S1903)。
这里，当使用以1/n分数像素为单位的运动信息时，在不缩小参考图片的情况下，解码器能够通过n:1子采样以块为单位从参考图片得到预测采样。
另外，参照图5至图9所描述的方法可以被使用以便于执行间预测。
同时，上述步骤S1901和S1902可以在解码器中以图片(或条带)为单位执行。这里，步骤S1901和S1902可以在编译单元的解码之前执行。另外，可以在将参考图片存储在DPB中之前或之后执行这些步骤。
另外，可以在当前图片中以预定块(例如，预测块)为单位执行间预测的过程中在执行运动补偿之前执行步骤S1901和S1902。
图20是图示根据本发明的实施例的解码设备的图。
参考图20，根据本发明的解码设备实现在图5至图19中提出的功能、过程和/或方法。
解码设备可以包括属性确定单元2001、变换单元2002和间预测单元2003。图20中图示的解码设备仅是示例，并且可以进一步包括图20中未图示的组件(例如，图2中图示的解码器的组件)。
属性确定单元2001确定当前图片和参考图片是否具有不同的属性。
在这种情况下，参考图13描述的方法可以被使用以便于确定当前图片和参考图片是否具有不同的属性。
这里，属性可以包括分辨率、比特深度、颜色格式、动态范围和纵横比中的至少一个。
在当前图片和参考图片具有不同的属性时，变换单元2002变换参考图片使得参考图片具有与当前图片的属性相同的属性。
也就是说，变换单元2002能够执行上述参考图片管理过程(RPMP)，并且能够使用根据上述各种实施例的方法。
例如，在当前图片的宽度和/或高度与参考图片的宽度和/或高度的比率(即，缩放因子)小于1时，变换单元2002能够在宽度和/或高度方向上按比率缩小参考图片。
在当前图片的宽度和/或高度与参考图片的宽度和/或高度的比率大于1时，变换单元2002能够在宽度和/或高度方向上按比率放大参考图片。
另外，变换单元2002能够按照参考图片的缩小/放大的缩放因子缩放参考图片的运动矢量，并且以具有能够具有运动矢量的最小尺寸的块为单位分配包括块的左上样本的参考图片中的预测块的运动矢量。
当参考图片的动态范围和/或比特深度与当前图片的动态范围和/或比特深度不同时，变换单元2002可以使用预定的线性函数或非线性函数变换参考图片的动态范围和/或比特深度。
此外，当参考图片的颜色格式不同于当前图片的颜色格式时，变换单元2002可以在水平和垂直方向上放大/缩小参考图片的色度分量。
间预测单元2003使用变换的参考图片以预定块为单位对当前图片执行间预测。
这里，当使用以1/n分数像素为单位的运动信息时，间预测单元2003能够在不缩小参考图片的情况下通过n:1子采样以块为单位从参考图片得到预测样本。
另外，参照图5至图9描述的方法可以被使用以执行间预测。
同时，属性确定单元2001和变换单元2002可以以图片(或条带)为单位执行操作，或者可以在当前图片中以预定块(例如，预测块)为单位执行间预测的处理中在执行运动补偿之前执行操作。
在上面描述的实施例是本发明的要素和特征的组合。除非另外提到，否则要素或特征可以被认为是选择性的。可以在不与其他要素或特征组合的情况下实践每个要素或特征。此外，可以通过组合要素和/或特征的一部分来构造本发明的实施例。可以重新排列在本发明的实施例中所描述的操作顺序。任何一个实施例的一些构造都可以被包括在另一实施例中，并且可以用另一实施例的相应构造来替换。显而易见的是，在所附权利要求中未被明确彼此引用的权利要求可以以组合方式呈现为本发明的实施例，或者通过在本申请被提交之后的后续修改被包括作为新的权利要求。
可以通过例如硬件、固件、软件或其组合的各种手段来实现本发明的实施例。在硬件配置中，可以通过一个或多个ASIC(专用集成电路)、DSP(数字信号处理器)、DSPD(数字信号处理设备)、PLD(可编程逻辑器件)、FPGA(现场可编程门阵列)、处理器、控制器、微控制器、微处理器等来实现根据本发明实施例的方法。
在固件或软件配置中，可以以模块、过程、函数等的形式来实现根据本发明的实施例。例如，软件代码可以被存储在存储器单元中并且由处理器来执行。存储器单元可以位于处理器的内部或外部，并且可以经由各种已知的装置将数据发送到处理器和从处理器接收数据。
本领域的技术人员将会理解，在不脱离本发明的精神和本质特征的情况下，可以以除了在此阐述的特定方式以外的其他特定方式来执行本发明。因此上述实施例在所有方面都被解释成说明性的而不是限制性的。本发明的范围应该由所附权利要求和它们的合法等同物来确定，而不是由上述描述来确定，并且旨在将落入所附权利要求的含义和等同范围内的所有改变包括在其中。
工业实用性
本发明的上述优选实施例仅为说明性的，并且不旨在表示本发明的所有方面，并且本领域技术人员应理解，本发明将覆盖落入本发明的精神和范围内的所有修改、等同物和替代。

Claims (10)

1.一种视频解码方法，包括：
确定是否当前图片和参考图片具有不同的属性；
当所述当前图片和所述参考图片具有不同的属性时，变换所述参考图片以具有与所述当前图片相同的属性；以及
使用所述变换的参考图片，以预定块为单位对所述当前图片执行间预测。
2.根据权利要求1所述的视频解码方法，其中，所述属性包括分辨率、比特深度、颜色格式、动态范围和纵横比中的至少一个。
3.根据权利要求2所述的视频解码方法，其中，所述参考图片的变换包括：
当所述当前图片的宽度和/或高度与所述参考图片的宽度和/或高度的比率小于1时，在所述宽度和/或高度方向上按比率缩小所述参考图片。
4.根据权利要求3所述的视频解码方法，其中，所述参考图片的变换包括：
当所述当前图片的宽度和/或高度与所述参考图片的宽度和/或高度的比率大于1时，在所述宽度和/或高度方向上按比率放大所述参考图片。
5.根据权利要求4所述的视频解码方法，其中，执行间预测包括：
当使用以1/n分数像素为单位的运动信息时，在不缩小所述参考图片的情况下，通过n:1子采样从所述参考图片得到所述块的预测样本。
6.根据权利要求5所述的视频解码方法，其中，所述参考图片的变换包括：
通过所述参考图片的缩小/放大的缩放因子来缩放所述参考图片的运动矢量；以及
以具有能够具有运动矢量的最小尺寸的块为单位来分配包括所述块的左上样本并且在所述参考图片中包括的预测块的运动矢量。
7.根据权利要求2所述的视频解码方法，其中，所述参考图片的变换包括：
当所述参考图片的动态范围和/或比特深度不同于所述当前参考图片的动态范围和/或比特深度时，使用预定的线性或非线性函数来变换所述参考图片的动态范围和/或比特深度。
8.根据权利要求2所述的视频解码方法，其中，所述参考图片的变换包括：
当所述参考图片和所述当前图片具有不同的颜色格式时，在水平和垂直方向上放大/缩小所述参考图片的色度分量。
9.一种视频解码设备，包括：
属性确定单元，所述属性确定单元用于确定是否当前图片和参考图片具有不同的属性；
变换单元，所述变换单元用于当所述当前图片和所述参考图片具有不同的属性时，变换所述参考图片以具有与所述当前图片的属性相同的属性；以及
间预测单元，所述间预测单元用于使用所述变换的参考图片以预定块为单位对所述当前图片执行间预测。
10.根据权利要求9所述的视频解码设备，其中，所述属性包括分辨率、比特深度、颜色格式、动态范围和纵横比中的至少一个。
CN201680055193.8A 2015-09-23 2016-09-23 图像编码/解码方法及其设备 Pending CN108141595A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562222774P 2015-09-23 2015-09-23
US62/222,774 2015-09-23
PCT/KR2016/010622 WO2017052250A1 (ko) 2015-09-23 2016-09-23 영상의 부호화/복호화 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
CN108141595A true CN108141595A (zh) 2018-06-08

Family

ID=58386384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055193.8A Pending CN108141595A (zh) 2015-09-23 2016-09-23 图像编码/解码方法及其设备

Country Status (6)

Country Link
US (1) US10511839B2 (zh)
EP (1) EP3355581A4 (zh)
JP (1) JP2018533286A (zh)
KR (1) KR20180048713A (zh)
CN (1) CN108141595A (zh)
WO (1) WO2017052250A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3477949T3 (pl) * 2017-02-06 2024-02-19 Huawei Technologies Co., Ltd. Sposób i urządzenie do dekodowania obrazu z zastosowaniem informacji o podziale jednostki drzewa kodowania
US10841794B2 (en) * 2017-09-18 2020-11-17 Futurewei Technologies, Inc. Adaptive motion vector resolution
KR101956756B1 (ko) 2018-06-12 2019-03-11 광운대학교 산학협력단 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
WO2020142382A1 (en) 2018-12-31 2020-07-09 Futurewei Technologies, Inc. Support of adaptive resolution change in video coding
US11290734B2 (en) * 2019-01-02 2022-03-29 Tencent America LLC Adaptive picture resolution rescaling for inter-prediction and display
JP2022530172A (ja) * 2019-03-11 2022-06-28 アリババ・グループ・ホールディング・リミテッド 適応解像度ビデオ符号化のためのインター符号化
WO2020228835A1 (en) * 2019-05-16 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Adaptive color-format conversion in video coding
KR20220049018A (ko) 2019-09-19 2022-04-20 엘지전자 주식회사 Prof를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11539939B2 (en) * 2019-11-27 2022-12-27 Hfi Innovation Inc. Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems
US11438611B2 (en) 2019-12-11 2022-09-06 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US11445176B2 (en) * 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
EP4415360A1 (en) * 2021-10-04 2024-08-14 LG Electronics Inc. Image encoding/decoding method and device for adaptively changing resolution, and method for transmitting bitstream
JP2024057980A (ja) * 2022-10-13 2024-04-25 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR20240102818A (ko) * 2022-12-26 2024-07-03 광운대학교 산학협력단 이벤트 프레임을 이용한 비디오 화면 간 예측 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084923A (ko) * 2011-01-21 2012-07-31 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
CN104378632A (zh) * 2011-11-08 2015-02-25 株式会社Kt 对具有待被解码的当前块的视频信号进行解码的方法
CN104854866A (zh) * 2012-11-13 2015-08-19 英特尔公司 下一代视频的内容自适应、特性补偿预测

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5195032B2 (ja) * 2008-05-28 2013-05-08 富士通株式会社 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
KR20130056441A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9800884B2 (en) * 2013-03-15 2017-10-24 Qualcomm Incorporated Device and method for scalable coding of video information
US9813723B2 (en) 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
US10171821B2 (en) * 2013-07-16 2019-01-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus and scalable video decoding method and apparatus using up-sampling filter accompanied by conversion of bit depth and color format
KR20150027639A (ko) * 2013-09-04 2015-03-12 한국전자통신연구원 화질 개선 장치 및 방법
SG11201607282YA (en) * 2014-03-04 2016-09-29 Microsoft Technology Licensing Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
MX2017008774A (es) 2014-12-31 2018-02-13 Nokia Technologies Oy Prediccion inter-capa para codificacion y decodificacion de video escalable.
US9967577B2 (en) * 2015-08-31 2018-05-08 Microsoft Technology Licensing, Llc Acceleration interface for video decoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084923A (ko) * 2011-01-21 2012-07-31 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
CN104378632A (zh) * 2011-11-08 2015-02-25 株式会社Kt 对具有待被解码的当前块的视频信号进行解码的方法
CN104854866A (zh) * 2012-11-13 2015-08-19 英特尔公司 下一代视频的内容自适应、特性补偿预测

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MING LI等: "AHG18: Comments on the Implementations of Resolution Adaption on HEVC", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *

Also Published As

Publication number Publication date
KR20180048713A (ko) 2018-05-10
WO2017052250A1 (ko) 2017-03-30
JP2018533286A (ja) 2018-11-08
US10511839B2 (en) 2019-12-17
US20180278940A1 (en) 2018-09-27
EP3355581A1 (en) 2018-08-01
EP3355581A4 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
CN108141595A (zh) 图像编码/解码方法及其设备
JP6526292B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
US9872027B2 (en) Encoding device, decoding device, encoding method, and decoding method
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
KR102489735B1 (ko) 인트라 예측 방법 및 그 장치
CN106797479B (zh) 对于并行处理的帧内块复制预测限制
CN107295347B (zh) 用于解码合并模式下的运动信息的装置
CN105453568B (zh) 可扩展视频信号编码/解码方法及装置
CN109891883A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
WO2011125256A1 (ja) 画像符号化方法及び画像復号化方法
JP2019535202A (ja) インター予測モードベースの画像処理方法及びそのための装置
JP2022514160A (ja) 補間フィルタトレーニング方法及び装置、ビデオピクチャエンコーディング及びデコーディング方法、並びに、エンコーダ及びデコーダ
WO2014050948A1 (ja) 画像復号装置及び画像符号化装置
TW201143458A (en) Dynamic image encoding device and dynamic image decoding device
JPWO2009088038A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2022511637A (ja) ビデオピクチャ予測方法及び装置
CN107925774A (zh) 基于间预测模式的图像处理方法及其装置
CN113853791B (zh) 数字视频中的变换旁路编解码残差块
JP2021536710A (ja) ビデオ復号化方法及びビデオ・デコーダ
KR20140121022A (ko) 복수의 레이어를 지원하는 비디오의 부호화 및 복호화 방법 및 이를 이용하는 장치
CN106031173A (zh) 视频译码中的闪烁检测及缓解
KR102025413B1 (ko) 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
KR20230111256A (ko) 비디오 인코딩 및 디코딩 방법과 시스템, 비디오 인코더및 비디오 디코더
JP5367161B2 (ja) 画像符号化方法、装置、及びプログラム
JP5649701B2 (ja) 画像復号化方法、装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608

WD01 Invention patent application deemed withdrawn after publication