CN114513657B - 对视频进行解码的方法和设备以及对视频进行编码的方法 - Google Patents

对视频进行解码的方法和设备以及对视频进行编码的方法 Download PDF

Info

Publication number
CN114513657B
CN114513657B CN202210300828.3A CN202210300828A CN114513657B CN 114513657 B CN114513657 B CN 114513657B CN 202210300828 A CN202210300828 A CN 202210300828A CN 114513657 B CN114513657 B CN 114513657B
Authority
CN
China
Prior art keywords
prediction
block
current block
transform
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210300828.3A
Other languages
English (en)
Other versions
CN114513657A (zh
Inventor
李培根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KT Corp filed Critical KT Corp
Priority to CN202210300828.3A priority Critical patent/CN114513657B/zh
Publication of CN114513657A publication Critical patent/CN114513657A/zh
Application granted granted Critical
Publication of CN114513657B publication Critical patent/CN114513657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了对视频进行解码的方法和设备以及对视频进行编码的方法。根据本发明的视频解码方法可以包括以下步骤:从比特流获得当前块的残差系数;对所述当前块的残差系数执行逆量化;以及通过对经量化的残差系数执行逆变换来获得所述当前块的残差样本,其中,基于指示是否跳过所述逆变换的变换跳过标志来选择性地执行所述逆变换,其中,在所述当前块是通过基于二叉树划分对编码块进行划分而得到的两个分区之一的情况下,省略从所述比特流解码所述当前块的变换跳过标志。

Description

对视频进行解码的方法和设备以及对视频进行编码的方法
本申请为于2019年1月3日提交、申请号为201780041658.9、发明名称为“视频信号处理方法和设备”的中国专利申请的分案申请。所述母案申请的国际申请日为2017年6月30日,国际申请号为PCT/KR2017/006971,优先权日为2016年7月5日。
技术领域
本发明涉及用于处理视频信号的方法和设备。
背景技术
近来,在各种应用领域中对高分辨率和高质量图像例如高清晰度(HD)图像和超高清晰度(UHD)图像的需求已经增加了。然而,与常规图像数据相比,更高分辨率和质量的图像数据的数据量增加。因此,在通过使用介质例如常规的有线和无线宽带网络传输图像数据时,或者在通过使用常规的存储介质存储图像数据时,传输和存储的成本增加了。为了解决随着图像数据的分辨率和质量的提高而出现的这些问题,可以利用高效的图像编码/解码技术。
图像压缩技术包括各种技术,包括:根据当前图片的先前图片或后续图片来对包括在当前图片中的像素值进行预测的帧间预测技术;通过使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的帧内预测技术;将短代码分配给出现频率高的值并且将长代码分配给出现频率低的值的熵编码技术等。可以通过使用这样的图像压缩技术来有效地压缩图像数据,并且可以传输或存储图像数据。
同时,随着对高分辨率图像的需求的增加,对作为新的图像服务的立体图像内容的需求也在增加。正在讨论用于有效地提供具有高分辨率和超高分辨率的立体图像内容的视频压缩技术。
发明内容
技术问题
本发明的目的是意在提供一种用于在对视频信号进行编码/解码时对编码/解码目标块有效地执行帧间预测的方法和设备。
本发明的目的是意在提供一种用于在对视频信号进行编码/解码时可变地/自适应地针对每个参考图片确定权重并且基于多个预测块的加权和运算来执行双向预测的方法和设备。
本发明的目的是意在提供一种用于在对视频信号进行编码/解码时对用于确定要应用于两个参考图片的权重的加权预测参数有效地进行编码/解码的方法和设备。
本发明要实现的技术目的不限于上述技术问题。并且,本领域技术人员根据以下描述将明显地理解未提及的其他技术问题。
技术方案
根据本发明的用于对视频信号进行解码的方法和设备可以:获得当前块的加权预测参数;基于加权预测参数确定应用于基于第一参考图片而生成的第一预测块和基于第二参考图片而生成的第二预测块的权重;以及基于第一预测块和第二预测块的加权和来获得当前块的最终预测块。
根据本发明的用于对视频信号进行编码的方法和设备可以:基于当前块的加权预测参数确定应用于基于第一参考图片而生成的第一预测块的权重和基于第二参考图片而生成的第二预测块的权重;以及基于第一预测块和第二预测块的加权和来生成当前块的最终预测块。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,加权预测参数可以被确定为多个候选加权预测参数中的由索引信息指定的一个候选加权预测参数。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以通过截断一元二值化对索引信息进行二值化。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以基于第一参考图片和第二参考图片的时间顺序是否相同来确定索引信息的比特长度。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以基于第一参考图片与包括当前块的当前图片之间的距离和第二参考图片与当前图片之间的距离中的至少之一是否相同来确定索引信息的比特长度。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,加权预测参数可以被确定为包括在当前块的加权预测参数集中的候选预测参数之一。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以基于第一参考图片与包括当前块的当前图片之间的距离或者第二参考图片与当前图片之间的距离中的至少之一来确定加权预测参数集。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以基于第一参考图片和第二参考图片的时间方向是否相同来确定加权预测参数集。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以从邻近当前块的相邻块得到当前块的加权预测参数。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以基于当前图片与第一参考图片之间的时间顺序差以及当前图片与第二参考图片之间的时间顺序差来确定当前块的加权预测参数。
以上对本发明简要概述的特征仅是随后对本发明的详细描述的说明性方面,而不限制本发明的范围。
有益效果
根据本发明,可以对编码/解码目标块执行有效的帧间预测。
根据本发明,在执行双向预测时,可以针对每个参考图片可变地/自适应地确定权重。
根据本发明,可以有效地对用于确定应用于两个参考图片的权重的加权预测参数进行编码/解码。
能够通过本发明获得的效果不限于上述效果,并且本领域技术人员可以根据以下描述清楚地理解未提及的其他效果。
附图说明
图1是示出根据本发明的实施方式的用于对视频进行编码的装置的框图。
图2是示出根据本发明的实施方式的用于对视频进行解码的装置的框图。
图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
图4是示出根据本发明的实施方式的允许基于二叉树的划分的划分类型的图。
图5是示出根据本发明的实施方式的仅允许预定类型的基于二叉树的划分的示例的图。
图6是用于说明根据应用本发明的实施方式的对与可允许的二叉树划分次数有关的信息进行编码/解码的示例的图。
图7是示出根据本发明的实施方式的可应用于编码块的划分模式的图。
图8是示出根据应用本发明的实施方式的获得残差样本的处理的流程图。
图9是示出根据应用本发明的实施方式的帧间预测方法的流程图。
图10是示出在将合并模式应用于当前块时得到当前块的运动信息的处理的图。
图11是示出在将AMVP模式应用于当前块时得到当前块的运动信息的处理的图。
图12是根据本发明的实施方式的双向加权预测方法的流程图。
图13是用于说明双向加权预测的原理的图。
图14是示出相邻块之间的扫描顺序的图。
具体实施方式
可以对本发明进行各种修改,并且存在本发明的各种实施方式,现在将参照附图提供各种实施方式的示例,并且详细描述各种实施方式的示例。然而,本发明不限于此,并且示例性实施方式可以被解释为包括本发明的技术构思和技术范围内的所有修改、等同物或替代方案。在所描述的附图中,相似的附图标记指代相似的元件。
说明书中使用的术语“第一”、“第二”等可以用于描述各种部件,但是这些部件不被解释为限制于这些术语。这些术语仅用于区分一个部件与其他部件。例如,在不偏离本发明的范围的情况下,“第一”部件可以被称为“第二”部件,并且“第二”部件也可以类似地被称为“第一”部件。术语“和/或”包括多个项的组合或者多个术语中的任何一个术语。
应该理解的是,在本说明书中,在元件被简单地称为“连接至”或“耦接至”另一元件而不是“直接连接至”或“直接耦接至”另一元件时,该元件可以“直接连接至”或“直接耦接至”另一元件,或者该元件可以连接至或耦接至另一元件并且有其他元件介于在它们之间。相反地,应该理解的是,在元件被称为“直接耦接”或“直接连接”至另一元件时,不存在中间元件。
本说明书中使用的术语仅用于描述特定实施方式,而并不意在限制本发明。以单数形式使用的表述包含复数形式的表述,除非其在上下文中具有明显不同的含义。在本说明书中,应当理解的是,诸如“包括”、“具有”等的术语意在指示本说明书中公开的特征、数字、步骤、动作、元件、部分或其组合的存在,并且不意在排除可以存在或可以添加一个或更多个其他特征、数字、步骤、动作、元件、部分或其组合的可能性。
在下文中,将参照附图详细描述本发明的优选实施方式。在下文中,附图中的相同构成元件由相同的附图标记表示,并且将省略对相同元件的重复描述。
图1是示出根据本发明的实施方式的用于对视频进行编码的装置的框图。
参照图1,用于对视频进行编码的装置100可以包括:图片划分模块110、预测模块120和125、变换模块130、量化模块135、重排模块160、熵编码模块165、逆量化模块140、逆变换模块145、滤波器模块150以及存储器155。
图1中所示的构成部分被独立地示出,以表示在用于对视频进行编码的装置中的彼此不同的特征功能。因此,这并不意味着每个构成部分都是由单独的硬件或软件的构成单元构成。换言之,为了方便起见,每个构成部分包括所列举的构成部分中的每一个。因此,可以将每个构成部分的至少两个构成部分进行组合以形成一个构成部分,或者可以将一个构成部分划分成多个构成部分以执行每个功能。在不偏离本发明的实质的情况下,组合每个构成部分的实施方式和划分一个构成部分的实施方式也被包括在本发明的范围内。
此外,构成部分中的一些可能不是执行本发明的基本功能的必不可少的构成部分,而是仅用于改善本发明的性能的可选构成部分。可以通过排除用于改善性能的构成部分而仅包括用于实现本发明的实质的必不可少的构成部分来实现本发明。排除仅用于改善性能的可选构成部分而仅包括必不可少的构成部分的结构也被包括在本发明的范围内。
图片划分模块110可以将输入图片划分成一个或更多个处理单元。此处,处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。图片划分模块110可以将一个图片划分成多个编码单元、预测单元和变换单元的组合,并且可以通过使用预定准则(例如,成本函数)选择编码单元、预测单元和变换单元的一个组合来对图片进行编码。
例如,一个图片可以被划分成多个编码单元。可以使用递归树结构例如四叉树结构来将图片划分成编码单元。在一个图片或最大编码单元作为根的情况下被划分成其他编码单元的编码单元可以以子节点对应于所划分的编码单元的数目的方式进行划分。通过预定限制不能再划分的编码单元用作叶节点。即,当假设对于一个编码单元仅正方形划分可行时,一个编码单元可以最多被划分成四个其他编码单元。
在下文中,在本发明的实施方式中,编码单元可以意指执行编码的单元或者执行解码的单元。
预测单元可以是被划分成在单个编码单元中具有相同大小的正方形形状或矩形形状的划分中的之一,或者预测单元可以是被划分成使得在单个编码单元中具有不同的形状/大小的划分中的之一。
当基于编码单元生成要进行帧内预测的预测单元并且编码单元不是最小编码单元时,可以在不将编码单元划分成多个预测单元N×N的情况下执行帧内预测。
预测模块120和125可以包括执行帧间预测的帧间预测模块120和执行帧内预测的帧内预测模块125。可以确定对于预测单元是执行帧间预测还是帧内预测,并且可以确定根据每个预测方法的详细信息(例如,帧内预测模式、运动矢量、参考图片等)。此处,要进行预测的处理单元可以不同于针对其确定预测方法和详细内容的处理单元。例如,可以由预测单元确定预测方法、预测模式等,并且可以由变换单元执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块130。此外,用于预测的预测模式信息、运动矢量信息等可以与残差值一起由熵编码模块165进行编码,并且可以被传输至用于对视频进行解码的装置。在使用特定编码模式时,可以通过对原始块按其原样进行编码而不通过预测模块120和125生成预测块来向用于对视频进行解码的装置进行传输。
帧间预测模块120可以基于当前图片的先前图片或后续图片中的至少一个的信息来预测预测单元,或者在一些情况下,可以基于当前图片中的一些编码区域的信息来预测预测单元。帧间预测模块120可以包括参考图片插值模块、运动预测模块以及运动补偿模块。
参考图片插值模块可以从存储器155接收参考图片信息,并且可以根据参考图片来生成整像素或小于整像素的像素信息。在亮度像素的情况下,可以使用具有不同滤波器系数的基于DCT的8抽头插值滤波器来以1/4像素为单位生成整像素或小于整像素的像素信息。在色度信号的情况下,可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器来以1/8像素为单位生成整像素或小于整像素的像素信息。
运动预测模块可以基于由参考图片插值模块进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法,可以使用各种方法,例如,基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)和新三步搜索算法(NTS)等。基于插值像素,运动矢量可以具有以1/2像素或1/4像素为单位的运动矢量值。运动预测模块可以通过改变运动预测方法来预测当前预测单元。作为运动预测方法,可以使用各种方法,例如,跳过方法、合并方法、AMVP(高级运动矢量预测)方法、帧内块复制方法等。
帧内预测模块125可以基于与作为当前图片中的像素信息的当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是要进行帧间预测的块并且因此参考像素是要进行帧间预测的像素时,可以使用要进行帧内预测的相邻块的参考像素信息来替换包括在要进行帧间预测的块中的参考像素。即,在参考像素不可用时,可以使用可用参考像素中的至少一个参考像素来替换不可用的参考像素信息。
帧内预测中的预测模式可以包括依赖于预测方向使用参考像素信息的方向性预测模式和在执行预测时不使用方向信息的非方向性预测模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同,并且为了预测色度信息,可以利用用于预测亮度信息的帧内预测模式信息或者预测的亮度信号信息。
在执行帧内预测时,在预测单元的大小与变换单元的大小相同时,可以基于位于该预测单元的左侧、左上侧和顶部的像素对预测单元执行帧内预测。然而,在执行帧内预测时,在预测单元的大小与变换单元的大小不同时,可以使用基于变换单元的参考像素来执行帧内预测。此外,使用N×N划分的帧内预测可以仅用于最小编码单元。
在帧内预测方法中,可以在依赖于预测模式将AIS(自适应帧内平滑)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可以变化。为了执行帧内预测方法,可以根据与当前预测单元相邻的预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。在通过使用根据相邻预测单元预测到的模式信息来预测当前预测单元的预测模式中,在当前预测单元的帧内预测模式与相邻预测单元的帧内预测模式相同时,可以使用预定标志信息来传输指示当前预测单元的预测模式与相邻预测单元的预测模式彼此相同的信息。在当前预测单元的预测模式与相邻预测单元的预测模式不同时,可以执行熵编码以对当前块的预测模式信息进行编码。
此外,可以基于由预测模块120和125生成的预测单元来生成包括关于残差值的信息的残差块,残差值是要进行预测的预测单元与预测单元的原始块之间的差。可以将所生成的残差块输入到变换模块130。
变换模块130可以通过使用诸如离散余弦变换(DCT)、离散正弦变换(DST)和KLT的变换方法来对残差块进行变换,该残差块包括关于原始块与由预测模块120和125生成的预测单元之间的残差值的信息。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是应用DCT、DST还是KLT以对残差块进行变换。
量化模块135可以对由变换模块130变换到频域的值进行量化。量化系数可以依赖于图片的块或重要性而变化。可以将由量化模块135计算的值提供至逆量化模块140和重排模块160。
重排模块160可以对量化后的残差值的系数进行重排。
重排模块160可以通过系数扫描方法将二维块形式的系数改变成一维矢量形式的系数。例如,重排模块160可以使用锯齿形扫描方法从DC系数扫描至高频域的系数,以将系数改变成一维矢量形式。依赖于变换单元的大小和帧内预测模式,可以使用沿列方向扫描二维块形式的系数的竖直方向扫描或沿行方向扫描二维块形式的系数的水平方向扫描来代替锯齿形扫描。即,可以依赖于变换单元的大小和帧内预测模式来确定使用锯齿形扫描、竖直方向扫描和水平方向扫描中的哪种扫描方法。
熵编码模块165可以基于由重排模块160计算的值来执行熵编码。熵编码可以使用各种编码方法,例如指数哥伦布(Golomb)编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵编码模块165可以对来自重排模块160以及预测模块120和125的各种信息进行编码,各种信息例如编码单元的残差值系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息、变换单元信息、运动矢量信息、参考帧信息、块插值信息、滤波信息等。
熵编码模块165可以对从重排模块160输入的编码单元的系数进行熵编码。
逆量化模块140可以对由量化模块135量化的值进行逆量化,并且逆变换模块145可以对由变换模块130变换的值进行逆变换。可以将由逆量化模块140和逆变换模块145生成的残差值与由预测模块120和125的运动估计模块、运动补偿模块和帧内预测模块预测的预测单元进行组合,使得可以生成重构块。
滤波器模块150可以包括去块滤波器、偏移校正单元以及自适应环路滤波器(ALF)中的至少一个。
去块滤波器可以移除由于重构图片中的块之间的边界而出现的块失真。为了确定是否执行去块,包括在块的若干行或若干列中的像素可以是确定是否对当前块应用去块滤波器的基础。当去块滤波器被应用于块时,可以依赖于所需的去块滤波强度来应用强滤波器或弱滤波器。此外,在应用去块滤波器时,可以并行地处理水平方向滤波和竖直方向滤波。
偏移校正模块可以在要进行去块的图片中以像素为单位来校正与原始图片的偏移。为了对特定图片执行偏移校正,可以使用考虑每个像素的边缘信息来施加偏移的方法,或者可以使用下述方法:将图片的像素划分成预定数量的区域,确定要执行偏移的区域,并且对所确定的区域施加偏移。
可以基于通过将滤波后的重构图片与原始图片进行比较而获得的值来执行自适应环路滤波(ALF)。可以将包括在图片中的像素分成预定组,可以确定要应用于每个组的滤波器,并且可以针对每个组单独执行滤波。可以通过编码单元(CU)传输关于是否应用ALF和亮度信号的信息。用于ALF的滤波器的形状和滤波器系数可以依赖于每个块而变化。此外,无论应用目标块的特征如何,都可以应用用于ALF的相同形状(固定形状)的滤波器。
存储器155可以存储通过滤波器模块150计算的重构块或重构图片。可以在执行帧间预测时将所存储的重构块或重构图片提供至预测模块120和125。
图2是示出根据本发明的实施方式的用于对视频进行解码的装置的框图。
参照图2,用于对视频进行解码的装置200可以包括:熵解码模块210、重排模块215、逆量化模块220、逆变换模块225、预测模块230和235、滤波器模块240以及存储器245。
当从用于对视频进行编码的装置输入视频比特流时,可以根据用于对视频进行编码的装置的逆处理来对输入比特流进行解码。
熵解码模块210可以根据由用于对视频进行编码的装置的熵编码模块进行的熵编码的逆处理来执行熵解码。例如,对应于由用于对视频进行编码的装置执行的方法,可以应用各种方法,例如指数哥伦布编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵解码模块210可以对关于由用于对视频进行编码的装置执行的帧内预测和帧间预测的信息进行解码。
重排模块215可以基于在用于对视频进行编码的装置中使用的重排方法对由熵解码模块210进行熵解码的比特流执行重排。重排模块可以将一维矢量形式的系数重构和重排成二维块形式的系数。重排模块215可以接收与在用于对视频进行编码的装置中执行的系数扫描有关的信息,并且可以经由基于在用于对视频进行编码的装置中执行的扫描顺序对系数进行逆扫描的方法来执行重排。
逆量化模块220可以基于从用于对视频进行编码的装置接收的量化参数和重排后的块的系数来执行逆量化。
逆变换模块225可以执行逆变换,即,逆DCT、逆DST和逆KLT,这是由变换模块对用于对视频进行编码的装置的量化结果执行的变换即DCT、DST和KLT的逆过程。可以基于用于对视频进行编码的装置所确定的变换单元来执行逆变换。用于对视频进行解码的装置的逆变换模块225可以依赖于多条信息例如预测方法、当前块的大小、预测方向等来选择性地执行变换方案例如DCT、DST、KLT。
预测模块230和235可以基于从熵解码模块210接收到的关于预测块生成的信息和从存储器245接收到的先前解码的块或图片信息来生成预测块。
如上所述,类似于用于对视频进行编码的装置的操作,在执行帧内预测时,在预测单元的大小与变换单元的大小相同时,可以基于位于预测单元的左侧、左上侧和顶部的像素对预测单元执行帧内预测。在执行帧内预测时,在预测单元的大小与变换单元的大小不同时,可以使用基于变换单元的参考像素来执行帧内预测。此外,使用N×N划分的帧内预测可以仅用于最小编码单元。
预测模块230和235可以包括预测单元确定模块、帧间预测模块以及帧内预测模块。预测单元确定模块可以从熵解码模块210接收各种信息,例如预测单元信息、帧内预测方法的预测模式信息、关于帧间预测方法的运动预测的信息等,可以将当前编码单元分成预测单元,并且可以确定对预测单元执行帧间预测还是帧内预测。通过使用从用于对视频进行编码的装置接收的当前预测单元的帧间预测所需的信息,帧间预测模块230可以基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个的信息来对当前预测单元执行帧间预测。替选地,可以基于包括当前预测单元的当前图片中的一些预先重构区域的信息来执行帧间预测。
为了执行帧间预测,可以针对编码单元来确定跳过模式、合并模式、AMVP模式和帧间块复制模式中的哪一个模式用作包括在编码单元中的预测单元的运动预测方法。
帧内预测模块235可以基于当前图片中的像素信息来生成预测块。当预测单元是要进行帧内预测的预测单元时,可以基于从用于对视频进行编码的装置接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块235可以包括自适应帧内平滑(AIS)滤波器、参考像素插值模块以及DC滤波器。AIS滤波器对当前块的参考像素执行滤波,并且可以依赖于当前预测单元的预测模式来确定是否应用滤波器。可以通过使用从用于对视频进行编码的装置接收到的预测单元的预测模式和AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式时,可以不应用AIS滤波器。
在预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式时,参考像素插值模块可以对参考像素进行插值以生成整数像素或小于整数像素的参考像素。在当前预测单元的预测模式是在不对参考像素进行插值的情况下生成预测块的预测模式时,可以不对参考像素进行插值。在当前块的预测模式是DC模式时,DC滤波器可以通过滤波来生成预测块。
可以将重构块或重构图片提供至滤波器模块240。滤波器模块240可以包括去块滤波器、偏移校正模块以及ALF。
可以从用于对视频进行编码的装置接收关于是否将去块滤波器应用于相应的块或图片的信息以及关于在应用去块滤波器时应用强滤波器和弱滤波器中的哪个滤波器的信息。用于对视频进行解码的装置的去块滤波器可以从用于对视频进行编码的装置接收关于去块滤波器的信息,并且可以对相应的块执行去块滤波。
偏移校正模块可以基于在执行编码时应用于图片的偏移校正的类型和偏移值信息来对重构图片执行偏移校正。
可以基于从用于对视频进行编码的装置接收到的关于是否应用ALF的信息和ALF系数信息等来将AFL应用于编码单元。ALF信息可以被提供为被包括在特定参数集中。
存储器245可以存储重构图片或重构块以用作参考图片或参考块,并且可以将重构图片提供至输出模块。
如上面描述的,在本发明的实施方式中,为了便于说明,编码单元被用作表示用于编码的单元的术语,然而,编码单元可以用作执行解码以及编码的单元。
另外,当前块可以表示要进行编码/解码的目标块。并且,依赖于编码/解码步骤,当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)、预测块(或预测单元)等。
可以通过将图片划分成具有正方形或非正方形形状的基本块来对图片进行编码/解码。此时,基本块可以称为编码树单元。编码树单元可以被定义为序列或片内允许的最大大小的编码单元。可以通过序列参数集、图片参数集或片头(slice header)来用信号发送关于编码树单元是具有正方形形状还是具有非正方形形状的信息或者关于编码树单元的大小的信息。编码树单元可以被划分成更小大小的划分。此时,如果假设通过划分编码树单元而生成的划分深度是1,则通过划分具有深度1的划分而生成的划分深度可以被定义为2。即,通过划分编码树单元中的深度为k的划分而生成的划分可以被定义为具有深度k+1。
通过划分编码树单元而生成的任意大小的划分可以被定义为编码单元。编码单元可以被递归地划分或划分成用于执行预测、量化、变换或环路滤波等的基本单元。例如,通过划分编码单元而生成的任意大小的划分可以被定义为编码单元,或者可以被定义为变换单元或预测单元,该编码单元、变换单元或预测单元是用于执行预测、量化、变换或环路滤波等的基本单元。
可以基于竖直线和水平线中的至少之一来执行编码树单元或编码单元的划分。另外,划分编码树单元或编码单元的竖直线或水平线的数量可以是至少一个或更多个。例如,可以使用一个竖直线或一个水平线将编码树单元或编码单元划分成两个划分,或者可以使用两个竖直线或两个水平线将编码树单元或编码单元划分成三个划分。替选地,可以通过使用一个竖直线和一个水平线将编码树单元或编码单元划分成具有1/2的长度和宽度的四个划分。
在使用至少一个竖直线或至少一个水平线将编码树单元或编码单元划分为多个划分时,划分可具有统一的大小或不同的大小。替选地,任何一个划分可以具有与其余划分不同的大小。
在下面描述的实施方式中,假设编码树单元或编码单元被划分成四叉树结构或二叉树结构。然而,还可以使用更多数量的竖直线或更多数量的水平线来划分编码树单元或编码单元。
图3是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
以预定的块单元对输入视频信号进行解码。用于对输入视频信号进行解码的这样的默认单元是编码块。编码块可以是执行帧内/帧间预测、变换以及量化的块。另外,以编码块为单位确定预测模式(例如,帧内预测模式或帧间预测模式),并且包括在编码块中的预测块可以共享所确定的预测模式。编码块可以是具有在8×8至64×64范围内的任意大小的正方形块或非正方形块,或者可以是具有128×128、256×256或更大的大小的正方形块或非正方形块。
具体地,可以基于四叉树和二叉树中的至少一个来对编码块进行分层划分。此处,基于四叉树的划分可以意指将2N×2N的编码块划分成四个N×N的编码块,并且基于二叉树的划分可以意指将一个编码块划分成两个编码块。即使执行基于二叉树的划分,也可以在较低深度中存在正方形形状的编码块。
可以对称地或者非对称地执行基于二叉树的划分。基于二叉树划分的编码块可以是正方形块或非正方形块,例如长方形形状。例如,允许基于二叉树的划分的划分类型可以包括2N×N(水平方向非正方形编码单元)或N×2N(竖直方向非正方形编码单元)的对称类型、nL×2N、nR×2N、2N×nU或2N×nD的非对称类型中的至少之一。
可以将基于二叉树的划分限制地允许为对称类型划分或非对称类型划分中的之一。在这种情况下,使用正方形块构造编码树单元可以与四叉树CU划分对应,并且使用对称非正方形块构造编码树单元可以与二叉树划分对应。使用正方形块和对称非正方形块构造编码树单元可以与四叉树CU划分和二叉树CU划分对应。
可以对不再执行基于四叉树的划分的编码块执行基于二叉树的划分。可以不再对基于二叉树划分的编码块执行基于四叉树的划分。
此外,可以依赖于较高深度的划分类型来确定较低深度的划分。例如,如果在两个或更多个深度中允许基于二叉树的划分,则可以在较低深度中仅允许与较高深度的二叉树划分相同的类型。例如,如果使用2N×N类型执行较高深度中的基于二叉树的划分,则也使用2N×N类型执行较低深度中的基于二叉树的划分。替选地,如果使用N×2N类型执行较高深度中的基于二叉树的划分,则也使用N×2N类型执行较低深度中的基于二叉树的划分。
相比之下,也可以在较低深度中仅允许与较高深度的二叉树划分类型不同的类型。
可以限制仅特定类型的基于二叉树的划分被用于序列、片、编码树单元或编码单元。作为示例,对于编码树单元,可以仅允许2N×N类型或N×2N类型的基于二叉树的划分。可以在编码器或解码器中预定义可用划分类型。或者可以对关于可用划分类型的信息或关于不可用划分类型的信息进行编码,并且然后通过比特流用信号发送该信息。
图5是示出仅允许特定类型的基于二叉树的划分的示例的图。图5的上半部分示出了仅允许N×2N类型的基于二叉树的划分的示例,并且图5的下半部分示出了仅允许2N×N类型的基于二叉树的划分的示例。为了实现基于四叉树或二叉树的自适应划分,可以使用下述信息:指示基于四叉树划分的信息、关于允许基于四叉树的划分的编码块的大小/深度的信息、指示基于二叉树的划分的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息、关于不允许基于二叉树的划分的编码块的大小/深度的信息、关于是沿竖直方向还是沿水平方向执行基于二叉树的划分的信息等。
另外,可以针对编码树单元或特定编码单元获得以下信息:所述信息关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。可以以编码树单元或编码单元为单位对信息进行编码,并且可以通过比特流将该信息传输至解码器。
例如,可以通过比特流对指示允许二叉树划分的最大深度的语法“max_binary_depth_idx_minus1”进行编码/解码。在这种情况下,max_binary_depth_idx_minus1+1可以指示允许二叉树划分的最大深度。
参照图6中所示的示例,在图6中,已经针对深度为2的编码单元和深度为3的编码单元执行了二叉树划分。因此,可以通过比特流对指示编码树单元中的二叉树划分已经被执行的次数(即,2次)的信息、指示在编码树单元中已经允许二叉树划分的最大深度(即,深度3)或在编码树单元中已经执行二叉树划分的深度的数量(即,2个(深度2和深度3))的信息中的至少之一进行编码/解码。
作为另一示例,可以针对每个序列或每个片获得关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量的信息中的至少之一。例如,该信息可以以序列、图片或片单元为单位进行编码,并且通过比特流进行传输。因此,第一片中的二叉树划分的次数、第一片中允许二叉树划分的最大深度或第一片中执行二叉树划分的深度的数量中的至少之一可以与第二片不同。例如,在第一片中,可以仅针对一个深度允许二叉树划分,而在第二片中,可以针对两个深度允许二叉树划分。
作为另一示例,可以根据片或图片的时间水平标识符(TemporalID)不同地设置允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。此处,时间水平标识符(TemporalID)用于识别具有视图、空间、时间或质量中的至少之一的可扩展性的多个视频层中的每一个。
如图3中所示,可以基于四叉树将划分深度(拆分深度)为k的第一编码块300划分成多个第二编码块。例如,第二编码块310至340可以是具有第一编码块的一半宽度和一半高度的正方形块,并且第二编码块的划分深度可以增加至k+1。
划分深度为k+1的第二编码块310可以被划分成划分深度为k+2的多个第三编码块。可以通过依赖于划分方法选择性地使用四叉树和二叉树中的之一来执行第二编码块310的划分。此处,可以基于指示基于四叉树划分的信息和指示基于二叉树划分的信息中的至少之一来确定划分方法。
在基于四叉树对第二编码块310进行划分时,可以将第二编码块310划分成具有第二编码块的一半宽度和一半高度的四个第三编码块310a,并且第三编码块310a的划分深度可以增加至k+2。相比之下,在基于二叉树对第二编码块310进行划分时,可以将第二编码块310划分成两个第三编码块。此处,两个第三编码块中的每一个可以是具有第二编码块的一半宽度和一半高度中的一者的非正方形块,并且划分深度可以增加至k+2。可以依赖于划分方向将第二编码块确定为水平方向或竖直方向的非正方形块,并且可以基于关于是沿竖直方向还是沿水平方向执行基于二叉树的划分的信息来确定划分方向。
同时,第二编码块310可以被确定为不再基于四叉树或二叉树进行划分的叶编码块。在这种情况下,叶编码块可以被用作预测块或变换块。
类似于第二编码块310的划分,第三编码块310a可以被确定为叶编码块,或者可以基于四叉树或二叉树被进一步划分。
同时,可以基于二叉树将基于二叉树划分的第三编码块310b进一步划分成竖直方向的编码块310b-2或水平方向的编码块310b-3,相关编码块的划分深度可以增加至k+3。替选地,第三编码块310b可以被确定为不再基于二叉树进行划分的叶编码块310b-1。在这种情况下,编码块310b-1可以被用作预测块或变换块。然而,可以基于以下信息中的至少之一来限制性地执行上述划分处理:关于允许基于四叉树的划分的编码块的大小/深度的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息以及关于不允许基于二叉树的划分的编码块的大小/深度的信息。
表示编码块的大小的候选的数量可以被限制为预定数量,或者预定单元中的编码块的大小可以具有固定值。作为示例,序列或图片中的编码块的大小可以被限制为具有256×256、128×128或32×32。可以通过序列头或图片头来用信号发送指示序列中或图片中的编码块的大小的信息。
作为基于四叉树和二叉树的划分的结果,编码单元可以被表示为任意大小的正方形或矩形形状。
使用跳过模式、帧内预测、帧间预测或跳过方法中的至少之一来对编码块进行编码。一旦确定了编码块,就可以通过对编码块的预测划分来确定预测块。可以通过指示编码块的划分类型的划分模式(Part_mode)来执行对编码块的预测划分。可以根据编码块的划分模式来确定预测块的大小或形状。例如,根据划分模式确定的预测块的大小可以等于或小于编码块的大小。
图7是示出在通过帧间预测对编码块进行编码时可以应用于编码块的划分模式的图。
在通过帧间预测对编码块进行编码时,可以将8个划分模式中的之一应用于编码块,如图4中所示的示例。
在通过帧内预测对编码块进行编码时,可以将划分模式PART_2N×2N或划分模式PART_N×N应用于编码块。
在编码块具有最小大小时,可以应用PART_N×N。此处,可以在编码器和解码器中预定义编码块的最小大小。或者,可以经由比特流用信号发送关于编码块的最小大小的信息。例如,可以通过片头来用信号发送编码块的最小大小,使得可以针对每个片定义编码块的最小大小。
通常,预测块可以具有从64×64至4×4的大小。然而,在通过帧间预测对编码块进行编码时,可以限制预测块不具有4×4大小以在执行运动补偿时减小存储器带宽。
图8是示出根据应用本发明的实施方式的获得残差样本的处理的流程图。
首先,可以获得当前块的残差系数S810。解码器可以通过系数扫描方法获得残差系数。例如,解码器可以使用曲线(jig-zag)扫描、竖直扫描或水平扫描来执行系数扫描,并且可以获得二维块形式的残差系数。
可以对当前块的残差系数执行逆量化S820。
根据是否跳过对当前块的解量化的残差系数的逆变换来选择性地执行逆变换S830。具体地,解码器可以确定是否跳过在当前块的水平方向或竖直方向中的至少一个方向上的逆变换。在确定在当前块的水平方向或竖直方向中的至少一个方向上应用逆变换时,可以通过对当前块的解量化的残差系数进行逆变换来获得当前块的残差样本。此处,可以使用DCT、DST和KLT中的至少之一来执行逆变换。
在当前块的水平方向和竖直方向二者上均跳过逆变换时,不在当前块的水平方向和竖直方向上执行逆变换。在这种情况下,可以通过使用预定值对解量化的残差系数进行缩放来获得当前块的残差样本。
跳过在水平方向上的逆变换意味着不在水平方向上执行逆变换,而是在竖直方向上执行逆变换。此时,可以在水平方向上执行缩放。
跳过竖直方向上的逆变换意味着不在竖直方向上执行逆变换,而是在水平方向上执行逆变换。此时,可以在竖直方向上执行缩放。
可以依赖于当前块的划分类型来确定是否可以针对当前块使用逆变换跳过技术。例如,如果通过基于二叉树的划分生成当前块,则可以针对当前块限制逆变换跳过方案。因此,在通过基于二叉树的划分生成当前块时,可以通过对当前块进行逆变换来获得当前块的残差样本。另外,在通过基于二叉树的划分生成当前块时,可以省略对指示是否跳过逆变换的信息(例如,transform_skip_flag)进行的编码/解码。
替选地,在通过基于二叉树的划分生成当前块时,可以将逆变换跳过方案限制到水平方向或竖直方向中的至少一个方向。此处,可以基于从比特流解码的信息来确定逆变换跳过方案被限制的方向,或者可以基于当前块的大小、当前块的形状或当前块的帧内预测模式中的至少之一来自适应地确定逆变换跳过方案被限制的方向。
例如,在当前块是宽度大于高度的非正方形块时,可以仅在竖直方向上允许逆变换跳过方案并且在水平方向上限制逆变换跳过方案。即,在当前块是2N×N时,在当前块的水平方向上执行逆变换,并且可以在竖直方向上选择性地执行逆变换。
另一方面,在当前块是高度大于宽度的非正方形块时,可以仅在水平方向上允许逆变换跳过方案并且在竖直方向上限制逆变换跳过方案。即,在当前块是N×2N时,在当前块的竖直方向上执行逆变换,并且可以在水平方向上选择性地执行逆变换。
与上述示例相比,在当前块是宽度大于高度的非正方形块时,可以仅在水平方向上允许逆变换跳过方案,并且在当前块是高度大于宽度的非正方形块时,可以仅在竖直方向上允许逆变换跳过方案。
可以通过比特流用信号发送指示是否针对水平方向跳过逆变换的信息或者指示是否针对竖直方向跳过逆变换的信息。例如,指示是否跳过水平方向上的逆变换的信息是1比特标志“hor_transform_skip_flag”,并且指示是否跳过竖直方向上的逆变换的信息是1比特标志“ver_transform_skip_flag”。编码器可以根据当前块的形状对“hor_transform_skip_flag”或“ver_transform_skip_flag”中的至少之一进行编码。此外,解码器可以通过使用“hor_transform_skip_flag”或“ver_transform_skip_flag”中的至少之一来确定是否跳过水平方向或竖直方向上的逆变换。
可以设置成:依赖于当前块的划分类型跳过对当前块的任何一个方向的逆变换。例如,如果通过基于二叉树的划分生成当前块,则可以跳过水平方向或竖直方向上的逆变换。即,如果通过基于二叉树的划分生成当前块,则可以在不对指示是否跳过当前块的逆变换的信息(例如,transform_skip_flag、hor_transform_skip_flag、ver_transform_skip_flag)进行编码/解码的情况下,确定在水平方向或竖直方向中的至少一个方向上跳过当前块的逆变换。
图9是示出根据应用本发明的实施方式的帧间预测方法的流程图。
参照图9,确定当前块的运动信息S910。当前块的运动信息可以包括与当前块有关的运动矢量、当前块的参考图片索引或当前块的帧间预测方向中的至少之一。
可以基于通过比特流用信号发送的信息或邻近当前块的相邻块的运动信息中的至少之一来获得当前块的运动信息。
图10是示出在将合并模式应用于当前块时得到当前块的运动信息的处理的图。
如果将合并模式应用于当前块,则可从当前块的空间相邻块得到空间合并候选S1010。空间相邻块可以包括邻近当前块的左侧、顶部或拐角(例如,左上角、右上角或左下角中的至少之一)的块中的至少之一。
可以将空间合并候选的运动信息设置成与空间相邻块的运动信息相同。
可以从当前块的时间相邻块得到时间合并候选S1020。时间相邻块可以意指包括在并置图片中的块。并置图片具有与包括当前块的当前图片不同的图片顺序计数(POC)。并置图片可以被确定为参考图片列表中的具有预定义索引的图片,或者可以通过从比特流用信号发送的索引确定并置图片。时间相邻块可以被确定成包括并置图片中的与当前块具有相同位置的并置块中的坐标的块或者邻近并置块的块。例如,可以将包括并置块的中心坐标的块或者邻近并置块的左下边界的块中的至少之一确定为时间相邻块。
可以基于时间相邻块的运动信息来确定时间合并候选的运动信息。例如,可以基于时间相邻块的运动矢量来确定时间合并候选的运动矢量。另外,可以将时间合并候选的帧间预测方向设置成与时间相邻块的帧间预测方向相同。然而,时间合并候选的参考图片索引可以具有固定值。例如,时间合并候选的参考图片索引可以被设置成“0”。
此后,可以生成包括空间合并候选和时间合并候选的合并候选列表S1030。如果包括在合并候选列表中的合并候选的数量小于最大合并候选数量,则可以在合并候选列表中包括将两个或更多个合并候选进行组合的组合合并候选。
在生成了合并候选列表时,可以基于合并候选索引来指定包括在合并候选列表中的合并候选中的至少之一S1040。
可以将当前块的运动信息设置成与由合并候选索引指定的合并候选的运动信息相同S1050。例如,在通过合并候选索引选择了空间合并候选时,可以将当前块的运动信息设置成与空间相邻块的运动信息相同。替选地,在通过合并候选索引选择了时间合并候选时,可以将当前块的运动信息设置成与时间相邻块的运动信息相同。
图11是示出在将AMVP模式应用于当前块时得到当前块的运动信息的处理的图。
在将AMVP模式应用于当前块时,可以从比特流解码当前块的帧间预测方向或参考图片索引中的至少之一S1110。即,在应用AMVP模式时,可以基于通过比特流编码的信息来确定当前块的帧间预测方向或参考图片索引中的至少之一。
可以基于当前块的空间相邻块的运动矢量来确定空间运动矢量候选S1120。空间运动矢量候选可以包括从当前块的顶部相邻块得到的第一空间运动矢量候选和从当前块的左侧相邻块得到的第二空间运动矢量候选中的至少之一。此处,顶部相邻块可以包括邻近当前块的顶部或右上角的块中的至少一个块,并且当前块的左侧相邻块可以包括邻近当前块的左侧或左下角的块中的至少一个块。邻近当前块的左上角的块可以被视为顶部相邻块,或者被视为左侧相邻块。
在当前块与空间相邻块之间的参考图片彼此不同时,还可以通过缩放空间相邻块的运动矢量来获得空间运动矢量。
可以基于当前块的时间相邻块的运动矢量来确定时间运动矢量候选S1130。在当前块与时间相邻块之间的参考图片彼此不同时,还可以通过缩放时间相邻块的运动矢量来获得时间运动矢量。
可以生成包括空间运动矢量候选和时间运动矢量候选的运动矢量候选列表S1140。
在生成了运动矢量候选列表时,可以基于指定来自运动矢量候选列表中的至少之一的信息来指定包括在运动矢量候选列表中的运动矢量候选中的至少之一S1150。
可以将由信息指定的运动矢量候选设置为当前块的运动矢量预测值,并且可以将运动矢量差值加到运动矢量预测值以获得当前块的运动矢量S1160。此时,可以通过比特流解析运动矢量差值。
在获得了当前块的运动信息时,可以基于所获得的运动信息来执行对当前块的运动补偿S920。更具体地,可以基于帧间预测方向、参考图片索引和当前块的运动矢量来执行对当前块的运动补偿。
帧间预测方向可以指示N个方向。此处,N是自然数,并且可以是1、2或3或更大。如果帧间预测方向指示N个方向,则意味着基于N个参考图片或N个参考块来执行当前块的帧间预测。例如,在当前块的帧间预测方向指示单向时,可以基于一个参考图片来执行当前块的帧间预测。另一方面,在当前块的帧间预测指示双向时,可以使用两个参考图片或两个参考块来执行当前块的帧间预测。
还可以基于当前块的大小或形状中的至少之一来确定针对当前块是否允许多方向预测。例如,在编码单元具有正方形形状时,允许多方向预测用于对编码单元进行编码/解码。另一方面,在编码单元具有非正方形形状时,仅允许单向预测用于对编码单元进行编码/解码。与上述情况相比,还可以设置:在编码单元具有非正方形形状时,允许多方向预测用于对编码单元进行编码/解码,并且在编码单元具有正方形形状时,仅允许单向预测用于对编码单元进行编码/解码。替选地,还可以设置:在预测单元具有4×8或8×4等的非正方形形状时,不允许多方向预测用于对预测单元进行编码/解码。
参考图片索引可以指定要用于当前块的帧间预测的参考图片。具体地,参考图片索引可以指定包括在参考图片列表中的参考图片中的任何一个。例如,在当前块的帧间预测方向是双向时,包括在参考图片列表L0中的参考图片(参考图片L0)由参考图片索引L0指定,并且包括在参考图片列表L1中的参考图片(参考图片L1)由参考图片索引L1指定。
替选地,一个参考图片可以被包括在两个或更多个参考图片列表中。因此,即使包括在参考图片列表L0中的参考图片的参考图片索引和包括在参考图片列表L1中的参考图片的参考图片索引不同,两个参考图片的时间顺序(图片顺序计数,POC)也可以相同。
运动矢量可以用于指定参考图片中的与当前块的预测块对应的参考块的位置。可以基于参考图片中的由运动矢量指定的参考块来执行当前块的帧间预测。例如,可以生成包括在参考块中的整数像素或通过对整数像素进行插值而生成的非整数像素作为当前块的预测样本。由不同运动矢量指定的参考块也可以被包括在相同的参考图片中。例如,在选自参考图片列表L0的参考图片和选自参考图片列表L1的参考图片相同时,由运动矢量L0指定的参考块和由运动矢量L1指定的参考块可以被包括在相同的参考图片中。
如上面描述的,在当前块的帧间预测方向指示两个或更多个方向时,可以基于两个或更多个参考图片或者两个或更多个参考块来执行对当前块的运动补偿。
例如,在使用双向预测对当前块进行编码时,可以基于从两个参考图片获得的两个参考块来获得当前块的预测块。此外,在使用双向预测对当前块进行编码时,可以对指示原始块与基于两个参考块获得的预测块之间的差的残差块进行编码/解码。
在使用两个或更多个参考图片时,可以通过将相同或不同的权重应用于相应参考图片来执行对当前块的运动补偿。在下文中,在帧间预测方向指示两个或更多个方向时,将在以下实施方式中详细描述对当前块执行加权预测的方法。为了便于说明,假设当前块的帧间预测方向是双向的。然而,即使在当前块的帧间预测方向指示三个方向或更多个方向,下面的实施方式也可以被应用于应用。另外,使用两个预测图像对当前块的运动补偿将被称为双向预测方法或双向预测编码/解码方法。
在将双向预测应用于当前块时,用于当前块的双向预测的参考图片可以包括其时间顺序(图片顺序计数,POC)在当前图片之前的图片、其时间顺序在当前图片之后的图片或者当前图片。例如,两个参考图片中的一个参考图片可以是其时间顺序在当前图片之前的图片,并且另一个图片可以是其时间顺序在当前图片之后的图片。替选地,两个参考图片中的一个参考图片可以是当前图片,并且另一个图片可以是其时间顺序在当前块之前或者其时间顺序在当前图片之后的图片。替选地,两个参考图片二者均可以具有在当前图片之前的时间顺序,或者可以具有在当前图片之后的时间顺序。替选地,两个参考图片二者均可以是当前图片。
可以根据两个参考图片列表中的每一个生成两个预测块。例如,可以基于运动矢量L0生成基于参考图片L0的预测块,并且可以基于运动矢量L1生成基于参考图片L1的预测块。还可以基于相同的参考图片生成通过运动矢量L0生成的预测块和通过运动矢量L1生成的预测块。
可以根据基于两个参考图片生成的预测块的平均值来获得当前块的预测块。例如,式1示出了基于多个预测块的平均值来获得当前块的预测块的示例。
[式1]
P(x)=1/2*P0(x)+1/2*P1(x)
在式1中,P(x)表示当前块的最终预测样本或双向预测的预测样本,并且PN(x)表示基于参考图片LN生成的预测块LN的样本值。例如,P0(x)可以表示基于参考图片L0生成的预测块的预测样本,并且P1(x)可以表示基于参考图片L1生成的预测块的预测样本。即,根据式1,可以根据基于多个参考图片生成的多个预测块的加权和来获得当前块的最终预测块。此时,可以将在编码器/解码器中预定义的固定值的权重分配给每个预测块。
根据本发明的实施方式,基于多个预测块的加权和来获得当前块的最终预测块,并且可以可变地/自适应地确定被分配给每个预测块的权重。例如,在两个参考图片或两个预测块具有不同的亮度时,通过将不同的权重应用于每个预测块来对当前块执行双向预测比通过对预测块进行平均来对当前块执行双向预测更有效。在下文中,为了便于说明,在可变地/自适应地确定被分配给每个预测块的权重的情况下的双向预测方法将被称为“双向加权预测”。
还可以基于当前块的大小或形状中的至少之一来确定针对当前块是否允许双向加权预测。例如,如果编码单元具有正方形形状,则允许使用双向加权预测对编码单元进行编码/解码,而如果编码单元具有非正方形形状,则不允许使用双向加权预测对编码单元进行编码/解码。与上述情况相比,还可以设置:在编码块具有非正方形形状时,允许使用双向加权预测对编码块进行编码/解码,并且在编码块具有正方形形状时,不允许使用双向加权预测对编码块进行编码/解码。替选地,还可以设置:在预测单元是大小为4×8或8×4等的非正方形划分时,不允许双向加权预测用于对预测单元进行编码/解码。
图12是根据本发明的实施方式的双向加权预测方法的流程图。
为了执行双向加权预测,可以确定当前块的加权预测参数S1210。加权预测参数可以用于确定要应用于两个参考图片的权重。例如,如图13所描述的,可以将权重1-w应用于基于参考图片L0生成的预测块,并且可以将权重w应用于基于参考图片L1生成的预测块。基于加权预测参数,确定要应用于每个预测块的权重S1220,并且基于所确定的权重执行多个预测块的加权和运算以生成当前块的最终预测块S1230。例如,可以基于以下式2生成当前块的最终预测块。
[式2]
P(x)=(1-w)*P0(x)+w*P1(x)
在式2中,w表示加权预测参数。
如式2中所示,可以通过将权重1-w分配给预测块P0并将权重w分配给预测块P1来获得当前块的最终预测块P(x)。与式2中所示的相反,还可以将权重w分配给预测块P0并将权重1-w分配给预测块P1
可以基于参考图片之间的亮度差来确定加权预测参数,或者可以基于当前图片与参考图片之间的距离(即,POC差)来确定加权预测参数。替选地,还可以基于当前块的大小或形状来确定加权预测参数。
加权预测参数可以以块(例如,编码树单元、编码单元、预测单元或变换单元)为单位来确定,或者可以以片或图片为单位来确定。
此时,可以基于预定义的候选加权预测参数来确定加权预测参数。作为示例,加权预测参数可以被确定为预定义值如-1/4、1/4、3/8、1/2、5/8、3/4或5/4中的之一。
替选地,在确定了当前块的加权预测参数集之后,还可以根据包括在所确定的加权预测参数集中的候选加权预测参数中的至少之一来确定加权预测参数。加权预测参数集可以以块(例如,编码树单元、编码单元、预测单元或变换单元)为单位来确定,或者可以以片或图片为单位来确定。
例如,如果选择了加权预测参数集w0和w1中的之一,则可以将包括在所选择的加权预测参数集中的候选加权预测参数中的至少之一确定为当前块的加权预测参数。例如,假设为“w0={-1/4,1/4,3/8,1/2,5/8,3/4,5/4}”,并且“w1={-3/8,4,3/8,1/2,5/8,3/4}”。在选择了加权预测参数集w0时,可以将当前块的加权预测参数w确定为包括在w0中的候选加权预测参数-1/4、1/4、3/8、1/2、5/8、3/4和5/4中的之一。
可以根据用于双向预测的参考图片的时间顺序或时间方向来确定可用于当前块的加权预测参数集。时间顺序可以指示图片之间的编码/解码顺序,或者可以指示图片的输出顺序(例如,POC)。另外,时间方向可以指示参考图片的时间顺序是在当前图片之前还是之后。
作为示例,依赖于用于双向预测的两个参考图片是否具有相同的时间顺序,可以确定可用于当前图片的加权预测参数集。例如,依赖于参考图片L0和参考图片L1是否是相同的图片(即,图片的时间顺序相同)或者参考图片L0和参考图片L1是否彼此不同(即,图片的时间顺序不同),可以可变地确定可用于当前块的加权预测参数集。
不同的加权预测参数集可以意味着包括在每个加权预测参数集中的加权预测参数的绝对值、符号或数量中的至少之一是不同的。例如,在参考图片L0和参考图片L1的时间方向相同时,可以使用加权预测参数集w0={-1/4,1/4,3/8,1/2,5/8,5/4},并且在参考图片L0和参考图片L1的时间方向不同时,可以使用加权预测参数集w1={-3/8,-1/4,1/4,3/8,1/2,5/8,3/4}。
作为示例,依赖于在双向预测中使用的两个参考图片的时间方向是否相同,可以确定可用于当前图片的加权预测参数集。例如,可以在两个参考图片的时间方向相同时与在两个参考图片的时间方向不同时不同地确定可用于当前块的加权预测参数集。具体地,可以根据参考图片L0和参考图片L1二者是否均在当前图片之前、参考图片L0和参考图片L1二者是否均在当前图片之后或者参考图片L0和参考图片L1的时间方向是否不同,来不同地确定当前块的加权预测参数。
可以针对每个块、每个片或每个图片不同地设置可用候选加权预测参数的数量或可用加权预测参数集的数量。例如,可以以片为单位用信号发送可用候选加权预测参数的数量或可用加权预测参数集的数量。因此,对于每个片,可用候选加权预测参数的数量或可用加权预测参数集的数量可以不同。
可以从邻近当前块的相邻块得到加权预测参数。此处,邻近当前块的相邻块可以包括当前块的空间相邻块或时间相邻块中的至少之一。
作为示例,当前块的加权预测参数可以被设置成邻近当前块的相邻块的加权预测参数中的最小值或最大值,或者可以被设置成相邻块的加权预测参数的平均值。
作为示例,可以从邻近当前块的相邻块中的位于预定位置处的相邻块得到当前块的加权预测参数。此处,可以可变地或固定地确定预定位置。具体地,通过当前块(例如,编码单元、预测单元或变换单元)的大小、当前块在编码树单元中的位置、当前块的形状(例如,当前块的划分类型)或当前块的划分索引来确定相邻块的位置。替选地,可以在编码器/解码器中预定义相邻块的位置并且固定地确定相邻块的位置。
作为示例,可以从邻近当前块的相邻块中的应用双向加权预测的相邻块得到当前块的加权预测参数。具体地,在按照预定顺序扫描邻近当前块的相邻块时,可以从应用双向加权预测的第一检测到的相邻块的加权预测参数得到当前块的加权预测参数。图14是示出相邻块之间的扫描顺序的图。在图14中,按照左侧相邻块、上侧相邻块、右上相邻块、左下相邻块和左上相邻块的顺序执行扫描,但是本发明不限于所示示例。在遵循预定义顺序执行扫描时,可以将应用双向加权预测的第一检测到的相邻块的加权预测参数用作当前块的加权预测参数。
替选地,在遵循预定义顺序执行扫描时,还可以将应用加权双向预测的第一检测到的相邻块的加权预测参数设置为当前块的加权预测参数预测值。在这种情况下,可以通过使用加权预测参数预测值和加权预测参数残差值来获得当前块的加权预测参数。
作为示例,还可以从与当前块的运动信息合并的空间或时间相邻块或者从用于得到当前块的运动矢量预测值的空间或时间相邻块得到当前块的加权预测参数。
还可以通过比特流用信号发送用于确定加权预测参数的信息。例如,可以基于以下信息中的至少之一来确定当前块的加权预测参数:指示加权预测参数的值的信息、指定候选加权预测参数中的之一的索引信息或者指定加权预测参数集中的之一的集索引信息。
在对加权预测参数进行二值化和编码时,可以将最小二进制码字映射到在统计学上具有最高使用频率的加权预测参数。例如,如下面的表1中所示,可以对加权预测参数执行截断一元二值化。表1是cMax为6的情况下的示例。
[表1]
索引 加权预测参数 二进制码字
0 -1/4 111111
1 1/4 11110
2 3/8 110
3 1/2 0
4 5/8 10
5 3/4 1110
6 5/4 111110
表1中所示的截断一元二值化方法基本与一元二值化方法相同,除了预先在接收到输入的最大值(cMax)之后执行转换之外。表2示出了在cMax为13的情况下的截断一元二值化。
[表2]
二值化
0 0
1 1 0
2 1 1 0
3 1 1 1 0
...
12 1 1 1 1 1 1 1 1 1 1 1 1 0
13 1 1 1 1 1 1 1 1 1 1 1 1 1
在加权预测参数二值化期间,还可以依赖于用于双向预测的参考图片的时间方向是否相同来使用不同的二进制码字。例如,表3示出了根据参考图片L0和参考图片L1的时间方向是否相同的二进制码字。
[表3]
还可以根据当前图片与参考图片之间的时间顺序差来确定当前块的权重预测参数。此处,时间顺序差可以指示图片之间的编码/解码顺序差或图片之间的输出顺序差(例如,POC差值)。例如,可以基于当前图片与参考图片L0之间的POC差值(下文中被称为第一参考距离)以及当前图片与参考图片L1之间的POC差值(下文中被称为第二参考距离)中的至少之一,来确定当前图片的加权预测参数。
具体地,可以基于第一参考距离与第二参考距离之间的比率来确定当前块的加权预测参数。在第一参考距离是w并且第二参考距离是h时,w/(w+h)可以用作当前块的加权预测参数。例如,在第一参考距离和第二参考距离相同时,可以将当前块的加权预测参数确定为1/2。另外,在第一参考距离是1并且第二参考距离是3时,可以将当前块的加权预测参数确定为1/4。
替选地,在第一参考距离是w并且第二参考距离是h时,还可以使用候选加权预测参数中的与w/(w+h)具有最相似的值的候选加权预测参数作为当前块的加权预测参数。
替选地,还可以考虑第一参考距离和第二参考距离来对当前块的加权预测参数进行二值化。表4示出了基于第一参考距离和第二参考距离的二进制码字。
[表4]
在表4中所示的示例中,在第一参考距离和第二参考距离相同时,加权预测参数将被设置成1/2的概率为高。结果是,在第一参考距离和第二参考距离相同时,可以将最小码字分配给1/2。
在第一参考距离和第二参考距离不同时,可以将最小二进制码字映射到在统计学上最频繁使用的加权预测参数。例如,在第一参考距离大于第二参考距离时,较大权重将被分配给参考图片L1的概率为高。因此,可以将最小二进制码字映射到大于1/2的加权预测参数。另一方面,在第一参考距离小于第二参考距离时,较大权重将被分配给参考图片L0的概率为高。因此,将最小二进制码字映射到小于1/2的加权预测参数。
与表4中所示的示例相比,在第一参考距离大于第二参考距离时,还可以将最小二进制码字映射到小于1/2的加权预测参数,并且在第一参考距离小于第二参考距离时,将最小二进制码字映射到大于1/2的加权预测参数。
本公开还提供了以下技术方案:
1.一种用于对视频进行解码的方法,所述方法包括:
确定是否对当前块执行L0预测和L1预测两者;
获得所述当前块的加权预测参数;
基于所述加权预测参数,确定应用于基于属于L0参考图片列表的L0参考图片而生成的L0预测块和基于属于L1参考图片列表的L1参考图片而生成的L1预测块的权重;以及
通过基于所述权重执行所述L0预测块和所述L1预测块的加权和来获得所述当前块的最终预测块,
其中,从多个加权预测参数候选当中基于经由比特流明确地用信号发送的索引信息来确定所述加权预测参数,所述索引信息指定所述多个加权预测参数候选中的一个加权预测参数候选,
其中,所述加权预测参数候选的数量依赖于所述L0参考图片和所述L1参考图片的时间方向而变化,所述时间方向表示参考图片的输出顺序是在包括所述当前块的当前图片之前还是在所述当前图片之后,以及
其中,基于所述L0参考图片和所述L1参考图片的时间方向来确定所述索引信息的比特长度。
2.根据技术方案1所述的方法,其中,通过截断一元二值化对所述索引信息进行二值化。
3.根据技术方案1所述的方法,其中,基于所述索引信息来确定应用于所述L0参考图片的第一权重和应用于所述L1参考图片的第二权重中的一个权重,以及
其中,通过从常数值减去所述第一权重和所述第二权重中的通过所述索引信息确定的一个权重来确定另一个权重。
4.根据技术方案1所述的方法,其中,所述加权预测参数候选的数量在所述L0参考图片的时间方向和所述L1参考图片的时间方向两者都在所述当前图片之前或之后的情况与所述L0参考图片的时间方向和所述L1参考图片的时间方向彼此不同的情况之间不同。
5.一种用于对视频进行编码的方法,所述方法包括:
对关于是否对当前块执行L0预测和L1预测两者的信息进行编码;
基于所述当前块的加权预测参数,确定应用于基于属于L0参考图片列表的L0参考图片而生成的L0预测块和基于属于L1参考图片列表的L1参考图片而生成的L1预测块的权重;以及
通过基于所述权重执行所述L0预测块和所述L1预测块的加权和来生成所述当前块的最终预测块,
其中,将所述加权预测参数确定为多个加权预测参数候选中的一个加权预测参数候选,
其中,将指定所述多个加权预测参数候选中的所述一个加权预测参数候选的索引信息明确地编码为比特流,以及
其中,所述加权预测参数候选的数量依赖于所述L0参考图片和所述L1参考图片的时间方向而变化,所述时间方向表示参考图片的输出顺序是在包括所述当前块的当前图片之前还是在所述当前图片之后,以及
其中,基于所述L0参考图片和所述L1参考图片的时间方向来确定所述索引信息的比特长度。
6.根据技术方案5所述的方法,其中,通过截断的一元二值化对所述索引信息进行二值化。
7.根据技术方案5所述的方法,其中,基于所述索引信息来确定应用于所述L0参考图片的第一权重和应用于所述L1参考图片的第二权重中的一个权重,以及
其中,通过从常数值减去所述第一权重和所述第二权重中的通过所述索引信息确定的一个权重来确定另一个权重。
8.根据技术方案5所述的方法,其中,所述加权预测参数候选的数量在所述L0参考图片的时间方向和所述L1参考图片的时间方向两者都在当前图片之前或之后的情况与所述L0参考图片的时间方向和所述L1参考图片的时间方向彼此不同的情况之间不同。
尽管已经基于一系列步骤或流程图描述了上述实施方式,但是它们不限制本发明的时序顺序,并且可以根据需要同时或以不同顺序执行。此外,构成上述实施方式中的框图的部件(例如,单元、模块等)中的每一个可以由硬件装置或软件以及多个部件来实现。或者,可以通过单个硬件装置或软件来组合并实现多个部件。上述实施方式可以以程序指令的形式实现,所述程序指令可以通过各种计算机部件执行并被记录在计算机可读记录介质中。计算机可读记录介质可以包括程序命令、数据文件、数据结构等之一或其组合。计算机可读介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质、诸如光磁软盘的磁光介质、介质和专门被配置成存储和执行程序指令的硬件装置例如ROM、RAM、闪存等。硬件装置可以被配置成作为一个或更多个软件模块来进行操作以用于执行根据本发明的处理,反之亦然。
工业应用性
本发明可以应用于能够对视频进行编码/解码的电子装置。

Claims (8)

1.一种对视频进行解码的方法,所述方法包括:
从比特流获得当前块的残差系数;
对所述当前块的残差系数执行逆量化;以及
通过对经逆量化的残差系数执行逆变换来获得所述当前块的残差样本,
其中,基于指示是否跳过所述逆变换的变换跳过标志来选择性地执行所述逆变换,
其中,在所述当前块是通过基于二叉树划分对编码块进行划分而得到的两个分区之一的情况下,省略从所述比特流解码所述当前块的变换跳过标志。
2.根据权利要求1所述的方法,其中,在所述当前块是通过基于二叉树划分对所述编码块进行划分而得到的两个分区之一的情况下,不允许针对所述当前块跳过所述逆变换。
3.根据权利要求2所述的方法,其中,通过使用基于离散正弦变换的变换类型来执行所述逆变换。
4.根据权利要求3所述的方法,其中,所述编码块是基于关于所述编码块是被竖直划分还是水平划分的信息而沿竖直方向或水平方向之一划分的。
5.根据权利要求4所述的方法,其中,所述编码块被非对称地划分成所述两个分区。
6.根据权利要求5所述的方法,其中,所述两个分区中的一者具有所述编码块的1/4大小,并且所述两个分区中的另一者具有所述编码块的3/4大小。
7.一种对视频进行编码的方法,所述方法包括:
确定是否要对当前块的残差样本执行变换;
根据所述确定选择性地对所述当前块的残差样本执行所述变换;以及
对所述当前块的经变换的残差样本执行量化;
其中,通过确定是否要对所述当前块的残差样本执行所述变换来对指示是否跳过所述变换的变换跳过标志进行编码,
其中,在所述当前块是通过基于二叉树划分对编码块进行划分而得到的两个分区之一的情况下,省略将所述当前块的变换跳过标志编码为比特流。
8.一种对通过对视频进行编码而生成的比特流进行解码的设备,
其中,所述比特流包括当前块的残差系数,
其中,通过对所述残差系数执行逆量化和逆变换来获得所述当前块的残差样本,
其中,基于指示是否跳过所述逆变换的变换跳过标志来选择性地执行所述逆变换,
其中,在所述当前块是通过基于二叉树划分对编码块进行划分而得到的两个分区之一的情况下,省略从所述比特流解码所述当前块的变换跳过标志。
CN202210300828.3A 2016-07-05 2017-06-30 对视频进行解码的方法和设备以及对视频进行编码的方法 Active CN114513657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210300828.3A CN114513657B (zh) 2016-07-05 2017-06-30 对视频进行解码的方法和设备以及对视频进行编码的方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2016-0085013 2016-07-05
KR10-2016-0085011 2016-07-05
KR20160085011 2016-07-05
KR20160085013 2016-07-05
CN201780041658.9A CN109479149B (zh) 2016-07-05 2017-06-30 视频信号处理方法和设备
PCT/KR2017/006971 WO2018008904A2 (ko) 2016-07-05 2017-06-30 비디오 신호 처리 방법 및 장치
CN202210300828.3A CN114513657B (zh) 2016-07-05 2017-06-30 对视频进行解码的方法和设备以及对视频进行编码的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780041658.9A Division CN109479149B (zh) 2016-07-05 2017-06-30 视频信号处理方法和设备

Publications (2)

Publication Number Publication Date
CN114513657A CN114513657A (zh) 2022-05-17
CN114513657B true CN114513657B (zh) 2024-06-04

Family

ID=60912967

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210300828.3A Active CN114513657B (zh) 2016-07-05 2017-06-30 对视频进行解码的方法和设备以及对视频进行编码的方法
CN201780041658.9A Active CN109479149B (zh) 2016-07-05 2017-06-30 视频信号处理方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780041658.9A Active CN109479149B (zh) 2016-07-05 2017-06-30 视频信号处理方法和设备

Country Status (6)

Country Link
US (3) US11190770B2 (zh)
EP (1) EP3484158A4 (zh)
KR (1) KR102383105B1 (zh)
CN (2) CN114513657B (zh)
ES (3) ES2737843B2 (zh)
WO (1) WO2018008904A2 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2737845B2 (es) * 2016-07-05 2021-05-19 Kt Corp Metodo y aparato para procesar senal de video
WO2018034373A1 (ko) * 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
CN117221575A (zh) * 2016-10-04 2023-12-12 英迪股份有限公司 图像解码方法、图像编码方法以及发送比特流的方法
CN117528108A (zh) * 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
CN117336511A (zh) * 2017-07-06 2024-01-02 Lx 半导体科技有限公司 图像编码方法、图像解码方法、发送方法和数字存储介质
CN111656783B (zh) 2018-01-25 2024-03-08 三星电子株式会社 使用基于子块的运动补偿进行视频信号处理的方法和装置
CN112166612A (zh) * 2018-05-23 2021-01-01 株式会社Kt 用于处理视频信号的方法和设备
CN118803270A (zh) * 2018-06-29 2024-10-18 株式会社Kt 解码图像和编码图像的方法以及用于传送压缩视频数据的设备
WO2020060366A1 (ko) * 2018-09-22 2020-03-26 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
KR20210029819A (ko) 2018-11-16 2021-03-16 삼성전자주식회사 양방향 예측을 이용한 영상의 부호화 및 복호화 방법, 및 영상의 부호화 및 복호화 장치
US10855992B2 (en) * 2018-12-20 2020-12-01 Alibaba Group Holding Limited On block level bi-prediction with weighted averaging
US11134246B2 (en) * 2019-01-02 2021-09-28 Shumaker & Sieffert, P.A. Weighted prediction for video coding
WO2021054720A1 (ko) * 2019-09-16 2021-03-25 엘지전자 주식회사 가중 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20210034534A (ko) * 2019-09-20 2021-03-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11336913B2 (en) * 2019-11-22 2022-05-17 Apple Inc. Reference picture re-sampling
US20210392337A1 (en) 2020-06-10 2021-12-16 Kt Corporation Method and apparatus for encoding/decoding a video signal based on weighted prediction, and a recording medium storing a bitstream
WO2023200228A1 (ko) * 2022-04-12 2023-10-19 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023200242A1 (ko) * 2022-04-12 2023-10-19 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2024109650A1 (en) * 2022-11-21 2024-05-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110043407A (ko) * 2009-10-21 2011-04-27 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
CN102907098A (zh) * 2009-10-01 2013-01-30 Sk电信有限公司 使用可变尺寸宏块对图像进行编码/解码的方法和装置
CN104378637A (zh) * 2011-10-18 2015-02-25 株式会社Kt 视频信号解码方法
KR20150022939A (ko) * 2015-01-13 2015-03-04 삼성전자주식회사 영상 복호화 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881037B1 (ko) * 2004-05-04 2009-02-05 퀄컴 인코포레이티드 시간적 확장성을 위한 양방향 예측 프레임을 구성하는 방법 및 장치
WO2007092215A2 (en) 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
WO2008004940A1 (en) * 2006-07-07 2008-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
CN101491107B (zh) * 2006-07-07 2012-07-18 艾利森电话股份有限公司 一种对图像元素组进行解码的方法及其相关的编码器、解码器
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
KR20110069740A (ko) * 2009-12-17 2011-06-23 에스케이 텔레콤주식회사 영상 부호화/복호화 방법 및 장치
KR101813189B1 (ko) * 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
WO2012124961A2 (ko) * 2011-03-11 2012-09-20 삼성전자 주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101718954B1 (ko) * 2011-10-17 2017-03-22 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
KR101418096B1 (ko) * 2012-01-20 2014-07-16 에스케이 텔레콤주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
US9143781B2 (en) 2012-04-03 2015-09-22 Qualcomm Incorporated Weighted prediction parameter coding
US9307264B2 (en) * 2012-06-22 2016-04-05 Sharp Kabushiki Kaisha Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus
US10257520B2 (en) * 2012-06-26 2019-04-09 Velos Media, Llc Modified coding for transform skipping
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
KR20140089486A (ko) 2013-01-04 2014-07-15 삼성전자주식회사 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
WO2015053115A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
CN114401402B (zh) * 2016-07-05 2024-06-14 株式会社Kt 用于处理视频信号的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102907098A (zh) * 2009-10-01 2013-01-30 Sk电信有限公司 使用可变尺寸宏块对图像进行编码/解码的方法和装置
KR20110043407A (ko) * 2009-10-21 2011-04-27 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
CN104378637A (zh) * 2011-10-18 2015-02-25 株式会社Kt 视频信号解码方法
KR20150022939A (ko) * 2015-01-13 2015-03-04 삼성전자주식회사 영상 복호화 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ngoc-Mai Nguyen ; Xuan-Tu Tran ; Pascal Vivet ; Suzanne Lesecq.An efficient Context Adaptive Variable Length coding architecture for H.264/AVC video encoders.《The 2012 International Conference on Advanced Technologies for Communications》.2013,全文. *

Also Published As

Publication number Publication date
ES2699749R1 (es) 2019-06-21
US11805255B2 (en) 2023-10-31
ES2786077A2 (es) 2020-10-08
ES2737843R1 (es) 2020-05-08
CN114513657A (zh) 2022-05-17
US11190770B2 (en) 2021-11-30
CN109479149A (zh) 2019-03-15
EP3484158A2 (en) 2019-05-15
ES2737843A2 (es) 2020-01-16
ES2699749A2 (es) 2019-02-12
ES2699749B2 (es) 2020-07-06
WO2018008904A2 (ko) 2018-01-11
EP3484158A4 (en) 2019-12-25
ES2786077R1 (es) 2021-08-05
ES2786077B2 (es) 2023-01-09
KR102383105B1 (ko) 2022-04-06
ES2737843B2 (es) 2021-07-15
US20240015292A1 (en) 2024-01-11
WO2018008904A3 (ko) 2018-08-09
CN109479149B (zh) 2022-04-15
KR20180005119A (ko) 2018-01-15
US20210377534A1 (en) 2021-12-02
US20190158835A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
CN114513657B (zh) 对视频进行解码的方法和设备以及对视频进行编码的方法
CN114401402B (zh) 用于处理视频信号的方法和装置
CN113473122B (zh) 对视频进行解码或编码的方法和计算机可读介质
CN113873242B (zh) 用于对视频进行解码的方法和用于对视频进行编码的方法
US20230209080A1 (en) Video signal processing method and device
CN109644267B (zh) 视频信号处理方法和装置
CN109716775B (zh) 用于处理视频信号的方法和装置
CN109691112B (zh) 用于处理视频信号的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant