CN116668729A - 对图像进行解码和编码的方法、图像数据的发送方法 - Google Patents
对图像进行解码和编码的方法、图像数据的发送方法 Download PDFInfo
- Publication number
- CN116668729A CN116668729A CN202310796974.4A CN202310796974A CN116668729A CN 116668729 A CN116668729 A CN 116668729A CN 202310796974 A CN202310796974 A CN 202310796974A CN 116668729 A CN116668729 A CN 116668729A
- Authority
- CN
- China
- Prior art keywords
- block
- transform
- current block
- division
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000005192 partition Methods 0.000 claims abstract description 253
- 238000013139 quantization Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 description 137
- 238000010586 diagram Methods 0.000 description 24
- 239000000470 constituent Substances 0.000 description 19
- 238000001914 filtration Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
公开了对图像进行解码的方法、对图像进行编码的方法和图像数据的发送方法。对图像进行解码的方法包括:从比特流中获得当前块的残差系数;对当前块的残差系数执行逆量化,以获得量化的残差系数;通过对量化的残差系数执行逆变换,获得当前块的残差样本;以及基于残差样本重构当前块,其中,逆变换包括垂直逆变换和水平逆变换,其中,基于指示是否跳过逆变换的变换跳过标志选择性地执行逆变换,以及其中,当当前块是由沿水平方向或垂直方向分割编码块产生的多个划分之一时,不从比特流中解析当前块的变换跳过标志,并且对当前块执行垂直逆变换和水平逆变换两者。
Description
本发明申请为申请日为2017年11月8日、国际申请号为PCT/KR2017/012617、并于2019年5月7日进入中国国家阶段的发明名称为“视频信号处理方法和设备”的第201780068856.4号发明专利申请的分案申请。
技术领域
本发明涉及用于处理视频信号的方法和设备。
背景技术
近来,在各种应用领域中对高分辨率和高质量图像例如高清晰度(HD)图像和超高清晰度(UHD)图像的需求已经增加了。然而,与常规图像数据相比,更高分辨率和质量的图像数据的数据量增加。因此,在通过使用介质例如常规的有线和无线宽带网络传输图像数据时,或者在通过使用常规的存储介质存储图像数据时,传输和存储的成本增加了。为了解决随着图像数据的分辨率和质量的提高而出现的这些问题,可以利用高效的图像编码/解码技术。
图像压缩技术包括各种技术,包括:根据当前图片的先前图片或后续图片来对包括在当前图片中的像素值进行预测的帧间预测技术;通过使用当前图片中的像素信息对包括在当前图片中的像素值进行预测的帧内预测技术;将短代码分配给出现频率高的值并且将长代码分配给出现频率低的值的熵编码技术等。可以通过使用这样的图像压缩技术来有效地压缩图像数据,并且可以传输或存储图像数据。
同时,随着对高分辨率图像的需求的增加,对作为新的图像服务的立体图像内容的需求也在增加。正在讨论用于有效地提供具有高分辨率和超高分辨率的立体图像内容的视频压缩技术。
发明内容
技术问题
本发明的目的是提供一种用于在编码/解码视频信号时有效地拆分编码/解码目标块的方法和设备。
本发明的目的是提供一种用于在编码/解码视频信号时将编码/解码目标块拆分成对称类型的块或非对称类型的块的方法和设备。
本发明的目的是提供一种用于拆分编码/解码目标块以包括多边形划分的方法和设备。
本发明的目的是提供一种用于可变地选择编码/解码目标块的划分的数目的方法和设备。
本发明要实现的技术目的不限于上述技术问题。并且,本领域技术人员根据以下描述将明显地理解未提及的其他技术问题。
技术方案
根据本发明的用于对视频信号进行解码的方法和设备可以:确定是否用四叉树划分来分割当前块,并且在确定用四叉树划分来分割当前块的情况下,基于垂直线和水平线将当前块分割成四个划分。这里,垂直线和水平线中的至少一者可以非对称地分割当前块。
根据本发明的用于对视频信号进行编码的方法和设备可以:确定是否用四叉树划分来分割当前块,并且在确定用四叉树划分来分割当前块的情况下,基于垂直线和水平线将当前块分割成四个划分。这里,垂直线和水平线中的至少一者可以非对称地分割当前块。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以对指示垂直线或水平线中的至少一者是否用于非对称地划分的第一指示符进行解码/编码,并且在第一指示符指示垂直线或水平线用于非对称划分的情况下,可以对指定垂直线或水平线的位置的第二指示符进行解码/编码。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以通过两条水平线和一条垂直线将当前块分割成四个划分,其中所述一条垂直线对通过所述两条水平线分割的三个块之一进行分割,或者可以通过两条垂直线和一条水平线将当前块分割成四个划分,其中所述一条水平线对通过所述两条垂直线分割的三个块之一进行分割。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,在确定不用四叉树划分来分割当前块的情况下,可以确定是否用二叉树划分来分割当前块,以及在确定用二叉树划分来分割当前块的情况下,可以将当前块分割成两个划分。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以确定是否将多边形二叉树划分应用于当前块,并且在将多边形二叉树划分应用于当前块的情况下,可以将当前块分割成矩形形状的划分和多边形形状的划分。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以将多边形形状的划分分割成矩形形状的子划分,并且针对每个子划分来执行对多边形形状的划分的预测。
在根据本发明的用于对视频信号进行编码/解码的方法和设备中,可以通过将当前块分割成两个划分的垂直线或水平线来分割当前块,并且垂直线或者水平线可以非对称地分割当前块。
根据本申请的一个方面,提供了一种对图像进行解码的方法,包括:从比特流中获得当前块的残差系数;对所述当前块的残差系数执行逆量化,以获得量化的残差系数;通过对所述量化的残差系数执行逆变换,获得所述当前块的残差样本;以及基于所述残差样本重构所述当前块,其中,所述逆变换包括垂直逆变换和水平逆变换,其中,基于指示是否跳过所述逆变换的变换跳过标志选择性地执行所述逆变换,以及其中,当所述当前块是由沿水平方向或垂直方向分割编码块产生的多个划分之一时,不从所述比特流中解析所述当前块的变换跳过标志,并且对所述当前块执行所述垂直逆变换和所述水平逆变换两者。
根据本申请的另一个方面,提供了一种对图像进行编码的方法,包括:获得当前块的残差样本;确定是否对所述当前块的残差样本执行变换;通过对所述当前块的残差样本执行所述变换或跳过所述变换,获得变换系数;通过对所述当前块的变换系数执行量化,获得量化的变换系数;以及对所述量化的变换系数进行编码,其中,所述变换包括垂直变换和水平变换,其中,通过确定是否对所述当前块的残差样本执行所述变换,对指示是否跳过所述变换的变换跳过标志进行编码,以及其中,当所述当前块是由沿水平方向或垂直方向分割编码块产生的多个划分之一时,不将所述当前块的变换跳过标志编码到比特流中,并且对所述当前块执行所述垂直变换和所述水平变换两者。
根据本申请的另一个方面,提供了一种图像数据的发送方法,包括:获得当前块的残差样本;确定是否对所述当前块的残差样本执行变换;通过对所述当前块的残差样本执行所述变换或跳过所述变换,获得变换系数;通过对所述当前块的变换系数执行量化,获得量化的变换系数;以及对所述量化的变换系数执行编码,其中,所述变换包括垂直变换和水平变换,其中,通过确定是否对所述当前块的残差样本执行所述变换,对指示是否跳过所述变换的变换跳过标志进行编码,以及其中,当所述当前块是由沿水平方向或垂直方向分割编码块产生的多个划分之一时,不将所述当前块的变换跳过标志编码到比特流中,并且对所述当前块执行所述垂直变换和所述水平变换两者。
以上对本发明简要概述的特征仅是随后对本发明的详细描述的说明性方面,而不限制本发明的范围。
有益效果
根据本发明,可以通过有效地拆分编码/解码目标块来提高编码/解码效率。
根据本发明,可以通过将编码/解码目标块拆分成对称类型的块或非对称类型的块来提高编码/解码效率。
根据本发明,可以通过拆分编码/解码目标块以包括多边形划分来提高编码/解码效率。
根据本发明,可以通过可变地选择编码/解码目标块的划分的数目来提高编码/解码效率。
能够通过本发明获得的效果不限于上述效果,并且本领域技术人员可以根据以下描述清楚地理解未提及的其他效果。
附图说明
图1是示出根据本发明的实施方式的用于对视频进行编码的设备的框图。
图2是示出根据本发明的实施方式的用于对视频进行解码的设备的框图。
图3是示出在通过帧间预测对编码块进行编码的情况下可以应用于编码块的划分模式的图。
图4是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
图5是示出根据本发明的实施方式的允许基于二叉树的划分的划分类型的图。
图6是示出根据本发明的实施方式的仅允许预定类型的基于二叉树的划分的示例的图。
图7是用于说明根据应用本发明的实施方式的对与可允许的二叉树划分次数有关的信息进行编码/解码的示例的图。
图8示出了基于非对称二叉树划分的编码块的划分类型。
图9示出了使用QTBT和非对称二叉树划分将编码块分割成多个编码块的示例。
图10是示出可以应用于编码块的划分类型的图。
图11是示出编码块的四叉树划分类型的图。
图12是示出通过将多条垂直线/水平线和一条水平线/垂直线进行组合来分割编码块的示例的图。
图13是示出根据多边形二叉树划分的划分类型的图。
图14是示出将多边形划分分割成子划分的示例的图。
图15示出了基于三叉树来划分编码块的示例。
图16和图17示出了根据多叉树划分方法的编码块的划分类型。
图18是示出根据本发明的实施方式的编码块的划分过程的流程图。
图19是示出根据本发明的实施方式的确定四叉树划分的划分类型的过程的流程图。
图20是示出根据本发明的实施方式的确定二叉树划分的划分类型的过程的流程图。
图21是示出根据应用本发明的实施方式的获得残差样本的过程的流程图。
具体实施方式
可以对本发明进行各种修改,并且存在本发明的各种实施方式,现在将参照附图提供各种实施方式的示例,并且详细描述各种实施方式的示例。然而,本发明不限于此,并且示例性实施方式可以被解释为包括本发明的技术构思和技术范围内的所有修改、等同物或替代方案。在所描述的附图中,相似的附图标记指代相似的元件。
说明书中使用的术语“第一”、“第二”等可以用于描述各种部件,但是这些部件不被解释为限制于这些术语。这些术语仅用于区分一个部件与其他部件。例如,在不偏离本发明的范围的情况下,“第一”部件可以被称作“第二”部件,并且“第二”部件也可以类似地被称作“第一”部件。术语“和/或”包括多个项的组合或者多个术语中的任何一个术语。
应该理解的是,在本说明书中,在元件被简单地称作“连接至”或“耦接至”另一元件而不是“直接连接至”或“直接耦接至”另一元件时,该元件可以“直接连接至”或“直接耦接至”另一元件,或者该元件可以连接至或耦接至另一元件并且有其他元件介于在它们之间。相反地,应该理解的是,在元件被称作“直接耦接”或“直接连接”至另一元件时,不存在中间元件。
本说明书中使用的术语仅用于描述特定实施方式,而并不意在限制本发明。以单数形式使用的表述包含复数形式的表述,除非其在上下文中具有明显不同的含义。在本说明书中,应当理解的是,诸如“包括”、“具有”等的术语意在指示本说明书中公开的特征、数字、步骤、动作、元件、部分或其组合的存在,并且不意在排除可以存在或可以添加一个或更多个其他特征、数字、步骤、动作、元件、部分或其组合的可能性。
在下文中,将参照附图详细描述本发明的优选实施方式。在下文中,附图中的相同构成元件由相同的附图标记表示,并且将省略对相同元件的重复描述。
图1是示出根据本发明的实施方式的用于对视频进行编码的设备的框图。
参照图1,用于对视频进行编码的设备100可以包括:图片划分模块110、预测模块120和125、变换模块130、量化模块135、重排模块160、熵编码模块165、逆量化模块140、逆变换模块145、滤波器模块150以及存储器155。
图1中所示的构成部分被独立地示出,以表示在用于对视频进行编码的设备中的彼此不同的特征功能。因此,这并不意味着每个构成部分都是由单独的硬件或软件的构成单元构成。换言之,为了方便起见,每个构成部分包括所列举的构成部分中的每一个。因此,可以将每个构成部分的至少两个构成部分进行组合以形成一个构成部分,或者可以将一个构成部分分割成多个构成部分以执行每个功能。在不偏离本发明的实质的情况下,组合每个构成部分的实施方式和分割一个构成部分的实施方式也被包括在本发明的范围内。
此外,构成部分中的一些可能不是执行本发明的基本功能的必不可少的构成部分,而是仅用于改善本发明的性能的可选构成部分。可以通过排除用于改善性能的构成部分而仅包括用于实现本发明的实质的必不可少的构成部分来实现本发明。排除仅用于改善性能的可选构成部分而仅包括必不可少的构成部分的结构也被包括在本发明的范围内。
图片划分模块110可以将输入图片划分成一个或更多个处理单元。此处,处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。图片划分模块110可以将一个图片划分成多个编码单元、预测单元和变换单元的组合,并且可以通过使用预定准则(例如,成本函数)选择编码单元、预测单元和变换单元的一个组合来对图片进行编码。
例如,一个图片可以被划分成多个编码单元。可以使用递归树结构例如四叉树结构来将图片划分成编码单元。在一个图片或最大编码单元作为根的情况下被划分成其他编码单元的编码单元可以以子节点对应于所划分的编码单元的数目的方式进行划分。通过预定限制不能再划分的编码单元用作叶节点。即,当假设对于一个编码单元仅正方形划分可行时,一个编码单元可以最多被划分成四个其他编码单元。
在下文中,在本发明的实施方式中,编码单元可以意指执行编码的单元或者执行解码的单元。
预测单元可以是被划分成在单个编码单元中具有相同大小的正方形形状或矩形形状的划分中的之一,或者预测单元可以是被划分成使得在单个编码单元中具有不同的形状/大小的划分中的之一。
当基于编码单元生成要进行帧内预测的预测单元并且编码单元不是最小编码单元时,可以在不将编码单元划分成多个预测单元N×N的情况下执行帧内预测。
预测模块120和125可以包括执行帧间预测的帧间预测模块120和执行帧内预测的帧内预测模块125。可以确定对于预测单元是执行帧间预测还是帧内预测,并且可以确定根据每个预测方法的详细信息(例如,帧内预测模式、运动矢量、参考图片等)。此处,要进行预测的处理单元可以不同于针对其确定预测方法和详细内容的处理单元。例如,可以由预测单元确定预测方法、预测模式等,并且可以由变换单元执行预测。所生成的预测块与原始块之间的残差值(残差块)可以被输入至变换模块130。此外,用于预测的预测模式信息、运动矢量信息等可以与残差值一起由熵编码模块165进行编码,并且可以被传输至用于对视频进行解码的设备。在使用特定编码模式时,可以通过对原始块按其原样进行编码而不通过预测模块120和125生成预测块来向用于对视频进行解码的设备进行传输。
帧间预测模块120可以基于当前图片的先前图片或后续图片中的至少一个的信息来预测预测单元,或者在一些情况下,可以基于当前图片中的一些编码区域的信息来预测预测单元。帧间预测模块120可以包括参考图片插值模块、运动预测模块以及运动补偿模块。
参考图片插值模块可以从存储器155接收参考图片信息,并且可以根据参考图片来生成整像素或小于整像素的像素信息。在亮度像素的情况下,可以使用具有不同滤波器系数的基于DCT的8抽头插值滤波器来以1/4像素为单位生成整像素或小于整像素的像素信息。在色度信号的情况下,可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器来以1/8像素为单位生成整像素或小于整像素的像素信息。
运动预测模块可以基于由参考图片插值模块进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法,可以使用各种方法,例如,基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)和新三步搜索算法(NTS)等。基于插值像素,运动矢量可以具有以1/2像素或1/4像素为单位的运动矢量值。运动预测模块可以通过改变运动预测方法来预测当前预测单元。作为运动预测方法,可以使用各种方法,例如,跳过方法、合并方法、AMVP(高级运动矢量预测)方法、帧内块复制方法等。
帧内预测模块125可以基于与作为当前图片中的像素信息的当前块相邻的参考像素信息来生成预测单元。在当前预测单元的相邻块是要进行帧间预测的块并且因此参考像素是要进行帧间预测的像素时,可以使用要进行帧内预测的相邻块的参考像素信息来替换包括在要进行帧间预测的块中的参考像素。即,在参考像素不可用时,可以使用可用参考像素中的至少一个参考像素来替换不可用的参考像素信息。
帧内预测中的预测模式可以包括依赖于预测方向使用参考像素信息的方向性预测模式和在执行预测时不使用方向信息的非方向性预测模式。用于预测亮度信息的模式可以与用于预测色度信息的模式不同,并且为了预测色度信息,可以利用用于预测亮度信息的帧内预测模式信息或者预测的亮度信号信息。
在执行帧内预测时,在预测单元的大小与变换单元的大小相同时,可以基于位于该预测单元的左侧、左上侧和上部的像素对预测单元执行帧内预测。然而,在执行帧内预测时,在预测单元的大小与变换单元的大小不同时,可以使用基于变换单元的参考像素来执行帧内预测。此外,使用N×N划分的帧内预测可以仅用于最小编码单元。
在帧内预测方法中,可以在依赖于预测模式将AIS(自适应帧内平滑)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可以变化。为了执行帧内预测方法,可以根据与当前预测单元相邻的预测单元的帧内预测模式来预测当前预测单元的帧内预测模式。在通过使用根据相邻预测单元预测到的模式信息来预测当前预测单元的预测模式中,在当前预测单元的帧内预测模式与相邻预测单元的帧内预测模式相同时,可以使用预定标志信息来传输指示当前预测单元的预测模式与相邻预测单元的预测模式彼此相同的信息。在当前预测单元的预测模式与相邻预测单元的预测模式不同时,可以执行熵编码以对当前块的预测模式信息进行编码。
此外,可以基于由预测模块120和125生成的预测单元来生成包括关于残差值的信息的残差块,残差值是要进行预测的预测单元与预测单元的原始块之间的差。可以将所生成的残差块输入至变换模块130。
变换模块130可以通过使用诸如离散余弦变换(DCT)、离散正弦变换(DST)和KLT的变换方法来对残差块进行变换,该残差块包括关于原始块与由预测模块120和125生成的预测单元之间的残差值的信息。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是应用DCT、DST还是KLT以对残差块进行变换。
量化模块135可以对由变换模块130变换至频域的值进行量化。量化系数可以依赖于图片的块或重要性而变化。可以将由量化模块135计算的值提供至逆量化模块140和重排模块160。
重排模块160可以对量化后的残差值的系数进行重排。
重排模块160可以通过系数扫描方法将二维块形式的系数改变成一维矢量形式的系数。例如,重排模块160可以使用锯齿形扫描方法从DC系数扫描至高频域的系数,以将系数改变成一维矢量形式。依赖于变换单元的大小和帧内预测模式,可以使用沿列方向扫描二维块形式的系数的垂直方向扫描或沿行方向扫描二维块形式的系数的水平方向扫描来代替锯齿形扫描。即,可以依赖于变换单元的大小和帧内预测模式来确定使用锯齿形扫描、垂直方向扫描和水平方向扫描中的哪种扫描方法。
熵编码模块165可以基于由重排模块160计算的值来执行熵编码。熵编码可以使用各种编码方法,例如指数哥伦布(Golomb)编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵编码模块165可以对来自重排模块160以及预测模块120和125的各种信息进行编码,各种信息例如编码单元的残差值系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息、变换单元信息、运动矢量信息、参考帧信息、块插值信息、滤波信息等。
熵编码模块165可以对从重排模块160输入的编码单元的系数进行熵编码。
逆量化模块140可以对由量化模块135量化的值进行逆量化,并且逆变换模块145可以对由变换模块130变换的值进行逆变换。可以将由逆量化模块140和逆变换模块145生成的残差值与由预测模块120和125的运动估计模块、运动补偿模块和帧内预测模块预测的预测单元进行组合,使得可以生成重构块。
滤波器模块150可以包括去块滤波器、偏移校正单元以及自适应环路滤波器(ALF)中的至少一个。
去块滤波器可以移除由于重构图片中的块之间的边界而出现的块失真。为了确定是否执行去块,包括在块的若干行或若干列中的像素可以是确定是否对当前块应用去块滤波器的基础。当去块滤波器被应用于块时,可以依赖于所需的去块滤波强度来应用强滤波器或弱滤波器。此外,在应用去块滤波器时,可以并行地处理水平方向滤波和垂直方向滤波。
偏移校正模块可以在要进行去块的图片中以像素为单位来校正与原始图片的偏移。为了对特定图片执行偏移校正,可以使用考虑每个像素的边缘信息来施加偏移的方法,或者可以使用下述方法:将图片的像素划分成预定数量的区域,确定要执行偏移的区域,并且对所确定的区域施加偏移。
可以基于通过将滤波后的重构图片与原始图片进行比较而获得的值来执行自适应环路滤波(ALF)。可以将包括在图片中的像素分成预定组,可以确定要应用于每个组的滤波器,并且可以针对每个组单独执行滤波。可以通过编码单元(CU)传输关于是否应用ALF和亮度信号的信息。用于ALF的滤波器的形状和滤波器系数可以依赖于每个块而变化。此外,无论应用目标块的特征如何,都可以应用用于ALF的相同形状(固定形状)的滤波器。
存储器155可以存储通过滤波器模块150计算的重构块或重构图片。可以在执行帧间预测时将所存储的重构块或重构图片提供至预测模块120和125。
图2是示出根据本发明的实施方式的用于对视频进行解码的设备的框图。
参照图2,用于对视频进行解码的设备200可以包括:熵解码模块210、重排模块215、逆量化模块220、逆变换模块225、预测模块230和235、滤波器模块240以及存储器245。
当从用于对视频进行编码的设备输入视频比特流时,可以根据用于对视频进行编码的设备的逆处理来对输入比特流进行解码。
熵解码模块210可以根据由用于对视频进行编码的设备的熵编码模块进行的熵编码的逆处理来执行熵解码。例如,对应于由用于对视频进行编码的设备执行的方法,可以应用各种方法,例如指数哥伦布编码、上下文自适应变长编码(CAVLC)和上下文自适应二进制算术编码(CABAC)。
熵解码模块210可以对关于由用于对视频进行编码的设备执行的帧内预测和帧间预测的信息进行解码。
重排模块215可以基于在用于对视频进行编码的设备中使用的重排方法对由熵解码模块210进行熵解码的比特流执行重排。重排模块可以将一维矢量形式的系数重构和重排成二维块形式的系数。重排模块215可以接收与在用于对视频进行编码的设备中执行的系数扫描有关的信息,并且可以经由基于在用于对视频进行编码的设备中执行的扫描顺序对系数进行逆扫描的方法来执行重排。
逆量化模块220可以基于从用于对视频进行编码的设备接收的量化参数和重排后的块的系数来执行逆量化。
逆变换模块225可以执行逆变换,即,逆DCT、逆DST和逆KLT,这是由变换模块对用于对视频进行编码的设备的量化结果执行的变换即DCT、DST和KLT的逆过程。可以基于用于对视频进行编码的设备所确定的变换单元来执行逆变换。用于对视频进行解码的设备的逆变换模块225可以依赖于多条信息例如预测方法、当前块的大小、预测方向等来选择性地执行变换方案例如DCT、DST、KLT。
预测模块230和235可以基于从熵解码模块210接收到的关于预测块生成的信息和从存储器245接收到的先前解码的块或图片信息来生成预测块。
如上所述,类似于用于对视频进行编码的设备的操作,在执行帧内预测时,在预测单元的大小与变换单元的大小相同时,可以基于位于预测单元的左侧、左上侧和上部的像素对预测单元执行帧内预测。在执行帧内预测时,在预测单元的大小与变换单元的大小不同时,可以使用基于变换单元的参考像素来执行帧内预测。此外,使用N×N划分的帧内预测可以仅用于最小编码单元。
预测模块230和235可以包括预测单元确定模块、帧间预测模块以及帧内预测模块。预测单元确定模块可以从熵解码模块210接收各种信息,例如预测单元信息、帧内预测方法的预测模式信息、关于帧间预测方法的运动预测的信息等,可以将当前编码单元分割成预测单元,并且可以确定对预测单元执行帧间预测还是帧内预测。通过使用从用于对视频进行编码的设备接收的当前预测单元的帧间预测所需的信息,帧间预测模块230可以基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个的信息来对当前预测单元执行帧间预测。替选地,可以基于包括当前预测单元的当前图片中的一些预先重构区域的信息来执行帧间预测。
为了执行帧间预测,可以针对编码单元来确定跳过模式、合并模式、AMVP模式和帧间块复制模式中的哪一个模式用作包括在编码单元中的预测单元的运动预测方法。
帧内预测模块235可以基于当前图片中的像素信息来生成预测块。当预测单元是要进行帧内预测的预测单元时,可以基于从用于对视频进行编码的设备接收到的预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块235可以包括自适应帧内平滑(AIS)滤波器、参考像素插值模块以及DC滤波器。AIS滤波器对当前块的参考像素执行滤波,并且可以依赖于当前预测单元的预测模式来确定是否应用滤波器。可以通过使用从用于对视频进行编码的设备接收到的预测单元的预测模式和AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式时,可以不应用AIS滤波器。
在预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式时,参考像素插值模块可以对参考像素进行插值以生成整数像素或小于整数像素的参考像素。在当前预测单元的预测模式是在不对参考像素进行插值的情况下生成预测块的预测模式时,可以不对参考像素进行插值。在当前块的预测模式是DC模式时,DC滤波器可以通过滤波来生成预测块。
可以将重构块或重构图片提供至滤波器模块240。滤波器模块240可以包括去块滤波器、偏移校正模块以及ALF。
可以从用于对视频进行编码的设备接收关于是否将去块滤波器应用于相应的块或图片的信息以及关于在应用去块滤波器时应用强滤波器和弱滤波器中的哪个滤波器的信息。用于对视频进行解码的设备的去块滤波器可以从用于对视频进行编码的设备接收关于去块滤波器的信息,并且可以对相应的块执行去块滤波。
偏移校正模块可以基于在执行编码时应用于图片的偏移校正的类型和偏移值信息来对重构图片执行偏移校正。
可以基于从用于对视频进行编码的设备接收到的关于是否应用ALF的信息和ALF系数信息等来将AFL应用于编码单元。ALF信息可以被提供为被包括在特定参数集中。
存储器245可以存储重构图片或重构块以用作参考图片或参考块,并且可以将重构图片提供至输出模块。
如上面描述的,在本发明的实施方式中,为了便于说明,编码单元被用作表示用于编码的单元的术语,然而,编码单元可以用作执行解码以及编码的单元。
另外,当前块可以表示要进行编码/解码的目标块。并且,依赖于编码/解码步骤,当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)、预测块(或预测单元)等。在本说明书中,“单元”表示用于执行特定编码/解码处理的基本单元,“块”可表示具有预定大小的样本阵列。如果它们之间没有区别,则术语“块”和“单元”可以互换使用。例如,在下面描述的实施方式中,可以理解编码块和编码单元具有相互等同的含义。
可以通过将图片分割成具有正方形或非正方形形状的基本块来对图片进行编码/解码。此时,基本块可以称作编码树单元。编码树单元可以被定义为序列或片内允许的最大大小的编码单元。可以通过序列参数集、图片参数集或片头(slice header)来用信号发送关于编码树单元是具有正方形形状还是具有非正方形形状的信息或者关于编码树单元的大小的信息。编码树单元可以被分割成更小大小的划分。此时,如果假设通过分割编码树单元而生成的划分深度是1,则通过分割具有深度1的划分而生成的划分深度可以被定义为2。即,通过分割编码树单元中的深度为k的划分而生成的划分可以被定义为具有深度k+1。
通过分割编码树单元而生成的任意大小的划分可以被定义为编码单元。编码单元可以被递归地分割或分割成用于执行预测、量化、变换或环路滤波等的基本单元。例如,通过分割编码单元而生成的任意大小的划分可以被定义为编码单元,或者可以被定义为变换单元或预测单元,该编码单元、变换单元或预测单元是用于执行预测、量化、变换或环路滤波等的基本单元。
替选地,如果确定了编码块,则可以通过对编码块的预测划分来确定与编码块具有相同的大小或大小小于编码块的预测块。可以通过指示编码块的划分类型的划分模式(Part_mode)来执行对编码块的预测划分。可以根据编码块的划分模式来确定预测块的大小或形状。可以通过对划分候选中的任何一个进行指定的信息来确定编码块的划分类型。此时,取决于编码块的大小、形状、编码模式等,编码块可用的划分候选可以包括非对称划分类型(例如nL×2N、nR×2N、2N×nU、2N×nD)。例如,可以根据当前块的编码模式来确定编码块可用的划分候选。例如,图3示出了在通过帧间预测对编码块进行编码的情况下可以应用于编码块的划分模式。
在通过帧间预测对编码块进行编码的情况下,可以将8个划分模式中的一个应用于编码块,如图3示出的示例中那样。
另一方面,在通过帧内预测对编码块进行编码的情况下,可以将划分模式PART_2N×2N或PART_N×N应用于编码块。
在编码块具有最小大小的情况下,可以应用PART_N×N。这里,可以在编码器和解码器中预定义编码块的最小大小。替选地,可以经由比特流用信号发送关于编码块的最小大小的信息。例如,通过片头用信号发送编码块的最小大小,从而可以针对每个片定义编码块的最小大小。
在另一示例中,可以根据编码块的大小或形状中的至少一者来不同地确定编码块可用的划分候选。例如,可以根据编码块的大小或形状中的至少一者来不同地确定编码块可用的划分候选的数目或类型。
替选地,可以根据编码块的大小或形状来限制编码块可用的划分候选中的非对称划分候选的类型或数目。例如,可以根据编码块的大小或形状中的至少一者来不同地确定编码块可用的非对称划分候选的数目或类型。
通常,预测块可具有从64×64到4×4的大小。然而,在通过帧间预测对编码块进行编码时,可以防止预测块具有4×4大小,以在执行运动补偿时减小存储器带宽。
还可以使用划分模式来递归地分割编码块。也就是说,可以根据由划分索引指示的划分模式来分割编码块,并且可以将通过分割编码块生成的每个划分定义为编码块。
在下文中,将更详细地描述递归地分割编码单元的方法。为了便于说明,假设编码树单元也包括在编码单元的类别中。也就是说,在稍后描述的实施方式中,编码单元可以指编码树单元,或者可以指通过分割编码树单元而生成的编码单元。此外,在递归地分割编码块时,可以理解,通过分割编码块而生成的“划分”意指“编码块”。
可以通过至少一条线来分割编码单元。此时,分割编码单元的线可以具有预定角度。这里,预定角度可以是0度至360度的范围内的值。例如,0度的线可以意指水平线,90度的线可以意指垂直线,45度或135度的线可以意指对角线。
在通过多条线来分割编码单元时,多条线中的所有线都可以具有相同的角度。替选地,多条线中的至少一条线可以具有与其他线的角度不同的角度。替选地,分割编码树单元或编码单元的多条线可以被设置为具有预定义的角度差(例如,90度)。
可以对关于分割编码树单元或编码单元的线的信息进行定义并将其编码为划分模式。替选地,可以对关于线的数目、线的方向、线的角度、线在块中的位置等信息进行编码。
为了便于说明,在以下实施方式中假设使用垂直线和水平线中的至少一者将编码树单元或编码单元分割成多个编码单元。
如果假设基于垂直线和水平线中的至少一者来执行对编码单元的划分,则划分编码单元的垂直线或水平线的数目可以是至少一个或更多个。例如,可以使用一条垂直线或一条水平线将编码树单元或编码单元分割成两个划分,或者可以使用两条垂直线或两条水平线将编码单元分割成三个划分。替选地,可以通过使用一条垂直线和一条水平线将编码单元划分成具有1/2的长度和宽度的四个划分。
在使用至少一条垂直线或至少一条水平线将编码树单元或编码单元分割成多个划分时,划分可具有统一的大小。替选地,任何一个划分可以与其余划分具有不同的大小,或者每个划分可以具有不同的大小。
在下面描述的实施方式中,假设将编码单元分割成4个划分是基于四叉树的划分,并且将编码单元分割成2个划分是基于二叉树的划分。在下面的图中,假设使用预定数量的垂直线或预定数量的水平线来分割编码单元,但是以下情况也在本发明的范围内:使用图中示出的更多数目的垂直线或更多数目的水平线将编码单元分割成比图中示出的划分数目更多的划分,或者将编码单元分割成比图中示出的划分数目更少的划分。
图4是示出根据本发明的实施方式的基于树结构对编码块进行分层划分的示例的图。
以预定的块单元对输入视频信号进行解码。用于对输入视频信号进行解码的这样的默认单元是编码块。编码块可以是执行帧内/帧间预测、变换以及量化的块。另外,以编码块为单位确定预测模式(例如,帧内预测模式或帧间预测模式),并且包括在编码块中的预测块可以共享所确定的预测模式。编码块可以是具有在8×8至64×64范围内的任意大小的正方形块或非正方形块,或者可以是具有128×128、256×256或更大的大小的正方形块或非正方形块。
具体地,可以基于四叉树和二叉树中的至少一个来对编码块进行分层划分。此处,基于四叉树的划分可以意指将2N×2N的编码块划分成四个N×N的编码块,并且基于二叉树的划分可以意指将一个编码块划分成两个编码块。即使执行基于二叉树的划分,也可以在较低深度中存在正方形形状的编码块。
可以对称地或者非对称地执行基于二叉树的划分。另外,基于二叉树划分的编码块可以是正方形块或非正方形块,例如矩形形状。例如,作为图5中示出的示例,其中允许基于二叉树的划分的划分类型可以包括2N×N(水平方向非正方形编码单元)或N×2N(垂直方向非正方形编码单元)的对称类型、nL×2N、nR×2N、2N×nU或2N×nD的非对称类型中的至少之一。
可以将基于二叉树的划分限制地允许为对称类型划分或非对称类型划分中的之一。在这种情况下,使用正方形块构造编码树单元可以与四叉树CU划分对应,并且使用对称非正方形块构造编码树单元可以与二叉树划分对应。使用正方形块和对称非正方形块构造编码树单元可以与四叉树CU划分和二叉树CU划分对应。
可以对不再执行基于四叉树的划分的编码块执行基于二叉树的划分。可以不再对基于二叉树划分的编码块执行基于四叉树的划分。
此外,可以依赖于较高深度的划分类型来确定较低深度的划分。例如,如果在两个或更多个深度中允许基于二叉树的划分,则可以在较低深度中仅允许与较高深度的二叉树划分相同的类型。例如,如果使用2N×N类型执行较高深度中的基于二叉树的划分,则也使用2N×N类型执行较低深度中的基于二叉树的划分。替选地,如果使用N×2N类型执行较高深度中的基于二叉树的划分,则也使用N×2N类型执行较低深度中的基于二叉树的划分。
相比之下,也可以在较低深度中仅允许与较高深度的二叉树划分类型不同的类型。
可以限制仅特定类型的基于二叉树的划分被用于序列、片、编码树单元或编码单元。作为示例,对于编码树单元,可以仅允许2N×N类型或N×2N类型的基于二叉树的划分。可以在编码器或解码器中预定义可用划分类型。或者可以对关于可用划分类型的信息或关于不可用划分类型的信息进行编码,并且然后通过比特流用信号发送该信息。
图6是示出仅允许特定类型的基于二叉树的划分的示例的图。图6的(a)示出了仅允许N×2N类型的基于二叉树的划分的示例,并且图6的(b)示出了仅允许2N×N类型的基于二叉树的划分的示例。为了实现基于四叉树或二叉树的自适应划分,可以使用下述信息:指示基于四叉树划分的信息、关于允许基于四叉树的划分的编码块的大小/深度的信息、指示基于二叉树的划分的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息、关于不允许基于二叉树的划分的编码块的大小/深度的信息、关于是否沿垂直方向、沿水平方向等执行基于二叉树的划分的信息等。例如,quad_split_flag指示是否要将编码块分割成四个编码块,并且binary_split_flag指示是否要将编码块分割成两个编码块。在将编码块分割成两个编码块的情况下,可以用信号发送指示编码块的划分方向是垂直方向还是水平方向的is_hor_split_flag。
另外,可以针对编码树单元或特定编码单元获得以下信息:所述信息关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。可以以编码树单元或编码单元为单位对信息进行编码,并且可以通过比特流将该信息传输至解码器。
例如,可以通过比特流对指示允许二叉树划分的最大深度的语法“max_binary_depth_idx_minus1”进行编码/解码。在这种情况下,max_binary_depth_idx_minus1+1可以指示允许二叉树划分的最大深度。
参照图7中所示的示例,在图7中,已经针对深度为2的编码单元和深度为3的编码单元执行了二叉树划分。因此,可以通过比特流对指示编码树单元中的二叉树划分已经被执行的次数(即,2次)的信息、指示在编码树单元中已经允许二叉树划分的最大深度(即,深度3)或在编码树单元中已经执行二叉树划分的深度的数量(即,2个(深度2和深度3))的信息中的至少之一进行编码/解码。
作为另一示例,可以针对每个序列或每个片获得关于允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量的信息中的至少之一。例如,该信息可以以序列、图片或片单元为单位进行编码,并且通过比特流进行传输。因此,第一片中的二叉树划分的次数、第一片中允许二叉树划分的最大深度或第一片中执行二叉树划分的深度的数量中的至少之一可以与第二片不同。例如,在第一片中,可以仅针对一个深度允许二叉树划分,而在第二片中,可以针对两个深度允许二叉树划分。
作为另一示例,可以根据片或图片的时间水平标识符(TemporalID)不同地设置允许二叉树划分的次数、允许二叉树划分的深度或允许二叉树划分的深度的数量。此处,时间水平标识符(TemporalID)用于识别具有视图、空间、时间或质量中的至少之一的可扩展性的多个视频层中的每一个。
如图4中所示,可以基于四叉树将划分深度(拆分深度)为k的第一编码块300划分成多个第二编码块。例如,第二编码块310至340可以是具有第一编码块的一半宽度和一半高度的正方形块,并且第二编码块的划分深度可以增加至k+1。
划分深度为k+1的第二编码块310可以被划分成划分深度为k+2的多个第三编码块。可以通过依赖于划分方法选择性地使用四叉树和二叉树中的之一来执行第二编码块310的划分。此处,可以基于指示基于四叉树划分的信息和指示基于二叉树划分的信息中的至少之一来确定划分方法。
在基于四叉树对第二编码块310进行划分时,可以将第二编码块310划分成具有第二编码块的一半宽度和一半高度的四个第三编码块310a,并且第三编码块310a的划分深度可以增加至k+2。相比之下,在基于二叉树对第二编码块310进行划分时,可以将第二编码块310划分成两个第三编码块。此处,两个第三编码块中的每一个可以是具有第二编码块的一半宽度和一半高度中的一者的非正方形块,并且划分深度可以增加至k+2。可以依赖于划分方向将第二编码块确定为水平方向或垂直方向的非正方形块,并且可以基于关于是沿垂直方向还是沿水平方向执行基于二叉树的划分的信息来确定划分方向。
同时,第二编码块310可以被确定为不再基于四叉树或二叉树进行划分的叶编码块。在这种情况下,叶编码块可以被用作预测块或变换块。
类似于第二编码块310的划分,第三编码块310a可以被确定为叶编码块,或者可以基于四叉树或二叉树被进一步划分。
同时,可以基于二叉树将基于二叉树划分的第三编码块310b进一步划分成垂直方向的编码块310b-2或水平方向的编码块310b-3,相关编码块的划分深度可以增加至k+3。替选地,第三编码块310b可以被确定为不再基于二叉树进行划分的叶编码块310b-1。在这种情况下,编码块310b-1可以被用作预测块或变换块。然而,可以基于以下信息中的至少之一来限制性地执行上述划分处理:关于允许基于四叉树的划分的编码块的大小/深度的信息、关于允许基于二叉树的划分的编码块的大小/深度的信息以及关于不允许基于二叉树的划分的编码块的大小/深度的信息。
表示编码块的大小的候选的数量可以被限制为预定数量,或者预定单元中的编码块的大小可以具有固定值。作为示例,序列或图片中的编码块的大小可以被限制为具有256×256、128×128或32×32。可以通过序列头或图片头来用信号发送指示序列中或图片中的编码块的大小的信息。
作为基于四叉树和二叉树的划分的结果,编码单元可以被表示为任意大小的正方形或矩形形状。
作为基于四叉树和二叉树的分割的结果,可以将不被进一步划分的编码块用作预测块或变换块。也就是说,在基于四叉树和二叉树的QTBT划分方法中,编码块可以变为预测块,并且预测块可以变为变换块。例如,在使用QTBT划分方法时,可以以编码块为单位生成预测图像,并且以编码块为单位变换残差信号,该残差信号是原始图像与预测图像之间的差。这里,以编码块为单位生成预测图像可以意味着针对编码块确定运动信息或者针对编码块确定帧内预测模式。因此,可以使用跳过模式、帧内预测或帧间预测中的至少一者来对编码块进行编码。
作为另一示例,还可以通过分割编码块来使用大小小于编码块的变换块或预测块。
在QTBT划分方法中,可以设置在BT中仅允许对称划分。然而,如果仅允许对称二叉划分,即使在块边界处分割对象和背景也仅允许对称二叉划分,则可能会降低编码效率。因此,在本发明中,提出了一种非对称地划分编码块的方法,以提高编码效率。
非对称二叉树划分表示将编码块分割成两个较小的编码块。作为非对称二叉树树划分的结果,编码块可以被分割成非对称形式的两个编码块。为了便于说明,在以下实施方式中,将编码块分割成对称形式的两个划分将被称作二叉树划分(或二叉树划分),并且将编码块分割成非对称形式的两个划分将被称作非对称二叉树划分(或非对称二叉树划分)。
图8示出了基于非对称二叉树划分的编码块的划分类型。可以将2N×2N的编码块分割成宽度比为n:(1-n)的两个编码块或者高度比为n:(1-n)的两个编码块。其中n可以表示大于0且小于1的实数。
在图8中示出:通过将非对称二叉树划分应用于编码块来生成宽度比为1:3或3:1或者高度比为1:3或3:1的两个编码块。
具体地,当在垂直方向上划分W×H大小的编码块时,可以生成宽度为1/4W的左侧划分和宽度为3/4W的右侧划分。如上所述,其中左侧划分的宽度小于右侧划分的宽度的划分类型可以被称作nL×2N二叉划分。
当在垂直方向上划分W×H大小的编码块时,可以生成宽度为3/4W的左侧划分和宽度为1/4W的右侧划分。如上所述,其中右侧划分的宽度小于左侧划分的宽度的划分类型可以被称作nR×2N二叉划分。
当在水平方向上划分W×H大小的编码块时,可以生成高度为1/4H的上部划分和高度为3/4H的下部划分。如上所述,其中上部划分的高度小于下部划分的高度的划分类型可以被称作2N×nU二叉划分。
当在水平方向上划分W×H大小的编码块时,可以生成高度为3/4H的上部划分和高度为1/4H的下部划分。如上所述,其中下部划分的高度小于上部划分的高度的划分类型可以被称作2N×nD二叉划分。
在图8中,示出了两个编码块之间的宽度比或高度比是1:3或3:1。然而,通过非对称二叉树划分生成的两个编码块之间的宽度比或高度比不限于此。编码块可以被划分成具有与图8中示出的宽度比或高度比不同的宽度比或不同高度比的两个编码块。
在使用非对称二叉树划分时,可以基于经由比特流用信号发送的信息来确定编码块的非对称二叉划分类型。例如,可以基于指示编码块的划分方向的信息和指示通过分割编码块生成的第一划分是否具有比第二划分的大小更小的大小的信息来确定编码块的划分类型。
指示编码块的划分方向的信息可以是指示编码块是在垂直方向上被划分还是在水平方向上被划分的1比特的标志。例如,hor_binary_flag可以指示编码块是否在水平方向上被划分。如果hor_binary_flag的值是1,则其可以指示编码块在水平方向上被划分,并且如果hor_binary_flag的值是0,则其可以指示编码块在垂直方向上被划分。替选地,可以使用指示编码块是否在垂直方向上被划分的ver_binary_flag。
指示第一划分是否具有比第二划分的大小更小的大小的信息可以是1比特的标志。例如,is_left_above_small_part_flag可以指示通过分割编码块而生成的左侧划分或上部划分的大小是否小于右侧划分或下部划分的大小。如果is_left_above_small_part_flag的值为1,其意味着左侧划分或上部划分的大小小于右侧划分或下部划分的大小。如果is_left_above_small_part_flag的值为0,其意味着左侧划分或上部划分的大小大于右侧划分或下部划分的大小。替选地,可以使用指示右侧划分或下部划分的大小是否小于左侧划分或上部划分的大小的is_right_bottom_small_part_flag。
替选地,可以通过使用指示第一划分与第二划分之间的宽度比、高度比或面积比的信息来确定第一划分的大小和第二划分的大小。
在hor_binary_flag的值为0且is_left_above_small_part_flag的值为1时,其可以表示nL×2N二叉划分,并且在hor_binary_flag的值为0且is_left_above_small_part_flag的值为0时,其可以表示nR×2N二叉划分。另外,在hor_binary_flag的值为1且is_left_above_small_part_flag的值为1时,其可以表示2NxnU二叉划分,并且在hor_binary_flag的值为1且is_left_above_small_part_flag的值为0时,其可以表示2N×nD二叉划分。
作为另一示例,编码块的非对称二叉划分类型可以通过指示编码块的划分类型的索引信息来确定。这里,索引信息是要通过比特流用信号发送的信息,并且可以以固定长度(即,固定的比特数)编码,或者可以以可变长度编码。例如,下表1示出了针对每个非对称二叉划分的划分索引。
[表1]
非对称划分索引 | 二进制化 | |
nL×2N | 0 | 0 |
nR×2N | 1 | 10 |
2N×nU | 2 | 100 |
2N×nD | 3 | 111 |
可以根据QTBT划分方法使用非对称二叉树划分。例如,如果四叉树划分或二叉树划分不再适用于编码块,则可以确定是否将非对称二叉树划分应用于编码块。这里,可以经由通过比特流用信号发送的信息来确定是否将非对称二叉树划分应用于编码块。例如,该信息可以是1比特标志'asymmetric_binary_tree_flag',并且基于该标志,可以确定是否要将非对称二叉树划分应用于编码块。
替选地,在确定编码块被划分成两个块时,可以确定划分类型是二叉树划分还是非对称二叉树划分。这里,可以经由通过比特流用信号发送的信息来确定编码块的划分类型是二叉树划分还是非对称二叉树划分。例如,该信息可以是1比特标志'is_asymmetric_split_flag',并且基于该标志,可以确定编码块要被划分成对称形式还是非对称形式。
作为另一示例,分配给对称类型二叉划分和非对称类型二叉划分的索引可以是不同的,并且可以基于索引信息来确定编码块要以对称类型还是非对称类型划分。例如,表2示出了其中将不同的索引分配给对称二叉类型划分和非对称二叉类型划分的示例。
[表2]
二叉划分索引 | 二进制化 | |
2N×N(沿水平方向的二叉划分) | 0 | 0 |
N×2N(沿垂直方向的二叉划分) | 1 | 10 |
nL×2N | 2 | 110 |
nR×2N | 3 | 1110 |
2N×nU | 4 | 11110 |
2N×nD | 5 | 11111 |
可以通过四叉树划分、二叉树划分或非对称二叉树划分将编码树块或编码块分割成多个编码块。例如,图8示出了其中使用QTBT和非对称二叉树划分将编码块分割成多个编码块的示例。参照图9,可以看出,分别在第一图中的深度2划分、第二图中的深度3划分和第三图中的深度3划分中执行非对称二叉树划分。
可以限制不再对通过非对称二叉树划分而分割的编码块进行分割。例如,对于通过非对称二叉树划分生成的编码块,可以不对与四叉树、二叉树或非对称二叉树有关的信息进行编码/解码。也就是说,对于通过非对称二叉树划分生成的编码块,可以省略指示是否应用四叉树划分的标志、指示是否应用二叉树划分的标志、指示是否应用非对称二叉树划分的标志、指示二叉树划分或非对称二叉树划分的方向的标志、或者指示非对称二叉划分的索引信息等。
作为另一示例,可以根据是否允许QTBT来确定是否允许二叉树划分。例如,在不使用基于QTBT的划分方法的图片或片中,可以限制不使用非对称二叉树划分。
可以以块、片或图片为单位对指示是否允许非对称二叉树划分的信息进行编码并用信号发送该信息。这里,指示是否允许非对称二叉树划分的信息可以是1比特的标志。例如,如果is_used_asymmetric_QTBT_enabled_flag的值是0,则其可以指示不使用非对称二叉树划分。在在图片或片中不使用二叉树划分的情况下,也可以将is_used_asymmetric_QTBT_enabled_Flag设置为0而不用信号进行发送。
还可以基于编码块的大小、形状、划分深度或划分类型来确定编码块中允许的划分类型。例如,在通过四叉树划分生成的编码块和通过二叉树划分生成的编码块中允许的划分类型、划分形状或划分数目中的至少一个可以彼此不同。
例如,如果通过四叉树划分来生成编码块,则对于编码块可以允许所有四叉树划分、二叉树划分和非对称二叉树划分。也就是说,如果基于四叉树划分来生成编码块,则可以将图10中示出的所有划分类型应用于编码块。例如,2N×2N划分可以表示编码块不被进一步分割的情况,N×N可以表示用四叉树中划分编码块的情况,以及N×2N和2N×N可以表示用二叉树划分编码块的情况。另外,nL×2N、nR×2N、2N×nU和2N×nD可以表示用非对称二叉树划分编码块的情况。
另一方面,在通过二叉树划分生成编码块时,对于编码块可能不允许使用非对称二叉树划分。也就是说,在基于二叉树划分生成编码块时,可以限制不将在图10示出的划分类型中的非对称划分类型(nL×2N、nR×2N、2N×nU、2N×nD)应用于编码块。
如以上示例中所描述的,可以通过至少一条垂直线或水平线来递归地分割编码单元(或编码树单元)。例如,可以概括为,四叉树划分是使用水平线和垂直线来分割编码块的方法,二叉树划分是使用水平线或垂直线来分割编码块的方法。基于四叉树划分和二叉树划分的编码块的划分类型不限于图4至图10中示出的示例,并且可以使用除示出的类型之外的扩展划分类型。也就是说,可以用与图4和图10中示出的类型不同的类型来递归地分割编码块。在下文中,将对基于四叉树划分和二叉树划分的编码块的各种划分类型进行描述。
在当前块被四叉树划分的情况下,水平线或垂直线中的至少一者可以非对称地分割编码块。这里,非对称可以意指通过水平线分割的块的高度不相同,或者通过垂直线分割的块的宽度不相同。例如,水平线可以将编码块分割成非对称形状,而垂直线将编码块分割成对称形状,或者水平线可以将编码块分割成对称形状,而垂直线将编码块分割成非对称形状。替选地,水平线和垂直线都可以非对称地分割编码块。
图11是示出编码块的四叉树划分类型的图。在图11中,第一示例示出了其中水平线和垂直线都用于对称划分的示例。第二示例和第三示例示出了其中水平线用于对称划分而垂直线用于非对称划分的示例。第四示例和第五示例示出了其中垂直线用于对称划分而水平线用于非对称划分的示例。
为了指定编码块的划分类型,可以对与编码块的划分类型有关的信息进行编码。这里,该信息可以包括指示编码块的划分类型是对称还是非对称的第一指示符。该第一指示符可以以块为单位进行编码,或者可以针对每条垂直线或每条水平线对该第一指示符进行编码。例如,第一指示符可以包括指示是否将垂直线用于对称划分的信息和指示是否将水平线用于对称划分的信息。
替选地,可以仅针对垂直线或水平线来对第一指示符进行编码,并且可以通过第一指示符依赖地得到第一指示符未被编码的另一条线的划分类型。例如,第一指示符未被编码的另一条线的划分类型可以具有与第一指示符的值相反的值。也就是说,如果第一指示符指示将垂直线用于非对称划分,则与第一指示符相反地可以设置使用水平线进行对称划分。
在第一指示符指示非对称划分的情况下,还可以针对垂直线或水平线进一步对第二指示符进行编码。这里,第二指示符可以指示以下中的至少之一:用于非对称划分的垂直线或水平线的位置或者通过垂直线或水平线分割的块之间的比率。
可以使用多条垂直线或多条水平线来执行四叉树划分。例如,还可以通过对一条或更多条垂直线或者一条或更多条水平线中的至少一者进行组合来将编码块分割成四个块。
图12是示出通过组合多条垂直线/水平线和一条水平线/垂直线来分割编码块的示例的图。
参照图12,通过以下方式来执行四叉树划分:通过两条垂直线或两条水平线将编码块分割成三个块,然后将三个经分割的块中的一个分割成两个块。此时,如图12示出的示例,可以通过水平线或垂直线来对通过两条垂直线或两条水平线分割的块中的位于中央的块进行分割。还可以通过使用水平线或垂直线来分割位于编码块一侧的块。替选地,可以通过比特流用信号发送用于指定三个划分中要被分割的划分的信息(例如,划分索引)。
可以使用水平线或垂直线中的至少一者来非对称地分割编码块,并且可以使用其他线来对称地分割编码块。例如,可以使用多条垂直线或多条水平线将编码块分割成对称形状,或者可以使用一条水平线或一条垂直线将编码块分割成对称形状。替选地,水平线和垂直线都可以用于将编码块分割成对称形状,或者可以用于将编码块分割成非对称形状。
在组合多条垂直线/水平线和一条水平线/一条垂直线时,编码块可以被分割成由至少两个不同大小组成的四个划分(即,四个编码块)。将编码块分割成具有至少两个不同大小的四个划分的方法可以被称作三型(triple type)非对称四叉树划分(三型非对称四叉树CU划分)。
可以基于上述第一指示符或第二指示符中的至少一个来对关于三型非对称四叉树划分的信息进行编码。例如,第一指示符可以指示编码块的划分类型是对称的还是非对称的。第一指示符可以以块为单位进行编码,或者可以分别针对垂直线或水平线对第一指示符进行编码。例如,第一指示符可以包括指示是否将一条或更多条垂直线用于对称划分的信息以及指示是否将一条或更多条水平线用于对称划分的信息。
替选地,可以仅针对垂直线或水平线来对第一指示符进行编码,并且可以通过第一指示符得到第一指示符未被编码的另一条线的划分类型。
在第一指示符指示非对称划分的情况下,还可以针对垂直线或水平线进一步对第二指示符进行编码。这里,第二指示符可以指示以下中的至少之一:用于非对称划分的垂直线或水平线的位置或者通过垂直线或水平线分割的块之间的比率。
可以使用其中编码块被分割成矩形形状的划分和非矩形形状的划分的二叉树划分方法。其中将编码块递归地分割成矩形块和非矩形块的二叉树划分方法可以被称作多边形二叉树划分(多边形二叉树CU划分)。
图13是示出根据多边形二叉树划分的划分类型的图。
如在图13中示出的示例中那样,在基于多边形二叉树划分来分割编码块时,编码块可以被分割成正方形形状的划分和多边形形状的划分。
可以基于指定划分类型的索引来确定编码块的划分类型。例如,可以基于指示图13中示出的Poly 0至Poly 3中的任何一个的索引信息来确定编码块的划分类型。
替选地,可以基于指定正方形块在编码块中的位置的信息来确定编码块的划分类型。例如,在位置信息指示编码块中的正方形块相对于编码块的中央位于左上方的情况下,可以将编码块的划分类型确定为图13中示出的Poly 0。
还可以通过合并多个先前分割的编码块来生成多边形划分。例如,在2N×2N类型的编码块被分割成N×N类型的四个子编码块的情况下,可以通过将四个子编码块中的任何一个和与该子编码块相邻的子编码块合并来生成多边形类型划分。替选地,在2N×2N类型的编码块被分割成N×N类型的两个子编码块和2N×N类型或N×2N类型的一个子编码块的情况下,可以通过将N×N类型的子编码块与2N×N或Nx2N类型的子编码块合并来生成多边形类型划分。
在基于多边形二叉树划分来分割当前编码块时,可以用信号发送指示当前编码块的划分类型的索引或指示正方形块在当前编码块中的位置的信息,或者可以用信号发送用于构造当前编码块中的多边形形状的划分的信息。这里,用于构造多边形形状的划分的信息可以包括以下信息中的至少一个:指示经分割的块是否要与相邻块合并的信息、关于块的位置和/或要合并的块的数量的信息。可以根据特性通过视频参数集、序列参数集、图片参数集、片头或块级别中的至少一者来用信号发送用于指定划分类型的信息。
可以对基于多边形二叉树划分生成的经分割的编码块进行限制,以不被进一步分割。替选地,对于基于多边形二叉树划分生成的经分割的编码块,可以仅允许特定类型的划分。
可以通过视频参数集、序列参数集、图片参数集、片头或块级别中的至少一个来用信号发送关于是否允许多边形二叉树划分的信息。例如,通过序列头,可以用信号发送指示是否允许多边形二叉树划分的语法isUsePolygonBinaryTreeFlag。如果isUsePolygonBinaryTreeFlag等于1,则可以基于多边形二叉树划分来分割当前序列中的编码块。
可以根据是否要使用二叉树划分来确定是否要使用多边形二叉树划分。例如,如果不允许二叉树划分(例如,如果isUseBinaryTreeFlag为0),则可能不允许多边形二叉树划分。另一方面,如果允许二叉树划分,则可以根据指示是否允许多边形二叉树划分的语法isUsePolygonBinaryTreeFlag来确定是否要使用多边形二叉树划分。
可以根据划分的位置来确定通过多边形二叉树划分生成的划分的划分索引。例如,包括预定位置的划分可以具有在不包括预定位置的划分之前的划分索引。例如,如在图13中示出的示例中那样,可以设置:包括编码块的左上样本的位置的划分可以具有划分索引0,并且其他划分可以具有划分索引1。替选地,可以根据划分的大小确定每个划分的划分索引。
在通过多边形二叉树划分来分割编码块的情况下,每个划分的编码/解码顺序可以遵循划分索引。也就是说,在首先对划分0进行编码之后,在下一顺序中可以对划分1进行编码。替选地,可以对划分0和划分1并行进行编码/解码。
此时,在对多边形划分执行预测的情况下,可以将多边形划分分割成子划分,并且可以以子划分为单位执行预测。
图14是示出将多边形划分分割成子划分的示例的图。
在对多边形划分执行帧内预测的情况下,可以将多边形划分分割成矩形形状的子块,如图14示出的示例中那样。可以将多边形划分分割成正方形形状的划分和非正方形形状的划分,如图14示出的示例中那样,或者尽管未在图中示出,但可以将多边形划分分割成正方形形状的划分。
在多边形划分被分割成多个划分时,可以对每个经分割的划分执行帧内预测。例如,在图14示出的示例中,可以对Pred 0和Pred 1中的每个执行帧内预测。
虽然可以不同地确定Pred 0和Pred 1的帧内预测模式,但是可以基于多边形划分或编码块得到每个划分的参考样本。替选地,可以基于Pred 0的帧内预测模式来得到Pred1的帧内预测模式,或者可以基于Pred 1的帧内预测模式来得到Pred 0的帧内预测模式。
可以将上述非对称四叉树划分、多边形类型二叉树划分等定义为四叉树划分和二叉树划分的扩展类型。可以在序列单元、图片单元、片单元或块级别中确定是否要使用扩展划分类型,或者可以根据是否允许四叉树划分或是否允许二叉树划分来确定是否要使用扩展划分类型。
在以上示例中,假设编码块被分割成四个划分或两个划分。然而,还可以将编码块递归地分割成更多数量的划分或更少数量的划分。例如,可以调整垂直线或水平线的数量,并且可以仅使用垂直线(一条或更多条)或水平线(一条或更多条)将编码块分割成两个划分或三个划分。例如,如果使用一条水平线或一条垂直线,则可以将编码块分割成两个划分。此时,根据每个划分的大小是否相同,可以确定编码块的划分类型是非对称二叉划分还是对称二叉划分。作为另一示例,可以通过使用两条垂直线或两条水平线将编码块划分成三个划分。使用两条垂直线或两条水平线将编码块分割成三个划分可以被称作三叉树划分。
图15示出了基于三叉树划分编码块的示例。如在图15中示出的示例中那样,在通过两条水平线或两条垂直线分割编码块时,可以生成三个划分。
通过三叉树划分生成的编码块可以进一步被分割成子编码块,或者可以进一步被分割成更小的单元以用于预测或变换。
在另一示例中,可以限制通过三叉树划分生成的编码块,以不被进一步分割。替选地,可以限制通过三叉树划分生成的编码块,使得不会应用四叉树划分、三叉树划分或二叉树划分中的一些。
根据编码块的大小或形状,可以确定是否允许三叉树划分。例如,在编码块的大小是M×N的情况下,可以限制地允许三叉树划分。这里,N和M是自然数,并且N和M可以相同,或者可以彼此相同。例如,N和M可以具有4、8、16、32、64或更多的值。
可以对指示允许三叉树划分的块的大小或形状的信息进行编码并通过比特流发送该信息。此时,该信息可以表示最大值或最小值。替选地,允许三叉树划分的块的大小或形状可以具有在编码器/解码器中预先约定的固定值。
可以以图片、片或块为单位用信号发送指示是否允许三叉树划分的信息。只有在信息指示允许对预定单元进行三叉树划分时,才可以将指示是否应用三叉树划分的信息用信号发送至包括在预定单元中的块。
指示是否要应用三叉树划分的信息可以是1比特的标志。例如,triple_split_flag可以指示是否要基于三叉树来分割当前编码块。在基于三叉树来分割当前编码块时,可以另外用信号发送指示划分方向的信息或指示每个划分的大小/比率的信息。指示划分方向的信息可以用于确定是否要通过两条水平线分割编码块,或者是否要通过两条垂直线分割编码块。
在基于三叉树分割编码块时,包括在编码块中的划分可以根据编码块的大小或形状来共享运动信息、合并候选、参考样本或帧内预测模式。例如,如果基于三叉树划分来分割当前编码块并且当前编码块的大小或形状满足预定条件,则当前编码块中的编码块可以共享用于帧间预测的空间相邻块候选或时间相邻块候选、参考样本或用于帧内预测的帧内预测模式中的至少一个。替选地,仅当前编码块中的一些编码块可以共享该信息,并且其余的编码块不可以共享该信息。
使用四叉树划分、二叉树划分或三叉树划分中的至少一者来分割编码块的方法可以称作多叉树划分。根据多叉树划分方法,可以使用四叉树划分、二叉树划分或三叉树划分中的至少一者来将编码单元分割成多个划分。可以将通过分割编码块而生成的每个划分定义为编码单元。
图16和图17示出了根据多叉树划分方法的编码块的划分类型。在图16中示出了根据四叉树划分、二叉划分和三叉树划分的九种划分类型。
如果多边形类型二叉树划分包括在多叉树划分的类别中,则可以基于四叉树划分、二叉树划分、三叉树划分和多边形类型二叉树中的至少一个将编码块分割成多个划分。因此,编码块可以具有如图17示出的示例中的划分类型。
根据多叉树划分方法,仅在图16或图17的示例中示出的预定义的划分类型可以被设置为可用。然而,预定义的划分类型不限于图16或图17中示出的示例。
根据多叉树划分方法,可以以序列、图片或片为单位来确定是否使用四叉树划分、二叉树划分和三叉树划分中的每个。例如,可以基于指示是否要使用每个划分方法的标志信息来确定是否使用四叉树划分、二叉树划分和三叉树划分。根据该确定,可以使用所有四叉树划分、二叉树划分和三叉树划分来划分包括在预定单元(即序列、图片、片等)中的块,或者可以使用四叉树划分、二叉树划分和三叉树划分中的一个或两个来划分包括在预定单元中的块。
替选地,可以默认使用四叉树划分、二叉树划分和三叉树划分中的一些,并且可以选择性地确定是否使用其余划分方法。例如,默认使用四叉树划分,但是可以选择性地确定是否使用二叉树划分或三叉树划分。或者,默认使用四叉树划分和三叉树划分,但是可以选择性地确定是否使用二叉树划分。或者,默认使用四叉树划分和二叉树划分,但是可以选择性地确定是否使用三叉树划分。
指示是否使用二叉树划分方法或三叉树划分方法的指示符可以是1比特的标志。例如,isUseBinaryTreeFlag指示是否要使用二叉树划分,isUseTripleTreeFlag指示是否要使用三叉树划分。
可以通过序列头来用信号发送指示符。例如,如果isUseBinaryTreeFlag的值是1,则可以将二叉树划分用于当前序列中的编码单元。替选地,如果isUseTripleTreeFlag的值是1,则可以将三叉树划分用于当前序列中的编码单元。除了以上示例之外,还可以经由视频参数集、图片参数集、片头或块级别来用信号发送指示符。
可以限制当前编码块的划分类型,以不生成比上节点的划分类型数量更多的划分。例如,如果通过三叉树划分生成当前编码块,则对于当前编码块仅允许三叉树划分或二叉树划分,并且对于当前编码块不允许四叉树划分。
另外,可以根据作为划分的结果而生成的划分的数目来对指示是否要分割当前编码块的信息进行分层地编码/解码。例如,对指示是否要基于四叉树来分割当前编码块的信息进行编码/解码,并且如果确定不基于四叉树来分割当前块,则可以对是否基于三叉树进行分割的信息或者是否基于二叉树进行分割的信息进行编码/解码。
替代上述示例,还可以通过组合多条水平线和多条垂直线来将编码块分割成四个或更多个块。
图18是示出根据本发明的实施方式的编码块的划分过程的流程图。
首先,可以确定是否对当前块执行四叉树划分S1810。如果确定要对当前块执行四叉树划分,则可以将当前块分割成四个编码块S1820。
在将当前块分割成四个块时,可以另外执行图19的处理以确定当前块的划分类型。
首先,在将当前块分割成四个编码块时,可以确定是否将三型非对称四叉树划分应用于当前块S1910。如果将三型非对称四叉树划分应用于当前块,则可以基于分割当前块的垂直线/水平线的数目或位置来确定当前块的划分类型S1920。例如,如果将三型非对称四叉树划分应用于当前块,则可以通过两条垂直线和一条水平线或者两条水平线和一条垂直线将当前块分割成四个划分。
如果不应用三型非对称四叉树划分,则可以确定当前块的划分类型是正方形类型还是非正方形类型S1930。这里,可以基于对当前块进行分割的垂直线和水平线中的至少一者是否对称地分割当前块来确定当前块的划分类型是正方形类型还是非正方形类型。如果当前块被分割成非正方形类型,则可以基于对当前块进行分割的垂直线/水平线的位置来确定当前块的划分类型S1940。
另一方面,如果确定对于当前块不允许进行四叉树划分,则可以确定是否对当前块执行三叉树划分或二叉树划分S1830。
如果确定对当前块执行三叉树划分或二叉树划分,则可以确定当前块的划分类型。此时,可以基于指示当前块的划分方向的信息或指定划分类型的索引信息中的至少一个来确定当前块的三叉树划分类型或二叉树划分类型。
根据所确定的三叉树或二叉划分类型,可以将当前块分割成三个块或两个块S1840。
在上述示例中,示出了在确定是否应用四叉树划分之后选择性地确定是否应用三叉树划分或二叉树划分,但是本发明不限于所示出的实施方式。与所示出的示例不同,还可以分层地确定是否应用三叉树划分或是否应用二叉树划分。例如,可以预先确定是否要基于三叉树来分割当前块,并且如果确定不基于三叉树来分割当前块,则执行是否要基于二叉树分割当前块的确定。替选地,可以优先确定是否要基于二叉树分割当前块,并且如果确定不基于二叉树分割当前块,则执行是否要基于三叉树分割当前块的确定。
在将当前块分割成两个块时,可以另外执行图20的处理以确定当前块的划分类型。
首先,在将当前块分割成两个编码块时,可以确定是否将多边形二叉树划分应用于当前块S2010。如果将多边形二叉树划分应用于当前块,则可以基于指示当前块的划分类型的索引或矩形形状的划分的位置来确定当前块的划分类型S2020。例如,如果将多边形二叉树划分应用于当前块,则可以将当前块划分成一个矩形形状的划分和一个非矩形形状的划分。
如果不应用多边形二叉树划分,则可以确定当前块的划分类型是正方形类型还是非正方形类型S2030。这里,可以通过对当前块进行分割的垂直线或水平线中的至少一个是否将当前块分割成对称形式来确定当前块的划分类型是正方形类型还是非正方形类型。如果当前块被分割成非正方形块,则可以基于分割当前块的垂直线或水平线的位置来确定当前块的划分类型S2040。
作为图20中示出的示例,还可以顺序地确定是否对当前块执行二叉树划分以及是否对当前块执行非对称二叉树划分。例如,可以仅在确定不允许对当前块进行二叉树划分的情况下确定是否执行非对称二叉树划分。
已经对通过四叉树划分、二叉树划分或三叉树划分来递归地分割编码块的情况进行了以上描述。所描述的划分方法可以应用于将编码块分割成预测块或变换块,或者可以应用于递归地分割预测块或变换块。例如,可以通过四叉树划分、二叉树划分或三叉树划分将编码块分割成多个预测块或多个变换块。
图21是示出根据应用本发明的实施方式的获得残差样本的过程的流程图。
首先,可以获得当前块的残差系数S2110。解码器可以通过系数扫描方法获得残差系数。例如,解码器可以使用对角线扫描、Z字形(jig-zag)扫描、右上扫描、垂直扫描或水平扫描来执行系数扫描,并且可以获得二维块形式的残差系数。
可以对当前块的残差系数执行逆量化S2120。
可以确定是否跳过对当前块的解量化的残差系数的逆变换S2130。具体地,解码器可以确定是否跳过在当前块的水平方向或垂直方向中的至少一个方向上的逆变换。在确定在当前块的水平方向或垂直方向中的至少一个方向上应用逆变换时,可以通过对当前块的解量化的残差系数进行逆变换来获得当前块的残差样本S2140。此处,可以使用DCT、DST和KLT中的至少之一来执行逆变换。
在当前块的水平方向和垂直方向二者上均跳过逆变换时,不在当前块的水平方向和垂直方向上执行逆变换。在这种情况下,可以通过使用预定值对解量化的残差系数进行缩放来获得当前块的残差样本S2150。
跳过在水平方向上的逆变换意味着不在水平方向上执行逆变换,而是在垂直方向上执行逆变换。此时,可以在水平方向上执行缩放。
跳过垂直方向上的逆变换意味着不在垂直方向上执行逆变换,而是在水平方向上执行逆变换。此时,可以在垂直方向上执行缩放。
可以依赖于当前块的划分类型来确定是否可以针对当前块使用逆变换跳过技术。例如,如果通过基于二叉树的划分生成当前块,则可以针对当前块限制逆变换跳过方案。因此,在通过基于二叉树的划分生成当前块时,可以通过对当前块进行逆变换来获得当前块的残差样本。另外,在通过基于二叉树的划分生成当前块时,可以省略对指示是否跳过逆变换的信息(例如,transform_skip_flag)进行的编码/解码。
替选地,在通过基于二叉树的划分生成当前块时,可以将逆变换跳过方案限制到水平方向或垂直方向中的至少一个方向。此处,可以基于从比特流解码的信息来确定逆变换跳过方案被限制的方向,或者可以基于当前块的大小、当前块的形状或当前块的帧内预测模式中的至少之一来自适应地确定逆变换跳过方案被限制的方向。
例如,在当前块是宽度大于高度的非正方形块时,可以仅在垂直方向上允许逆变换跳过方案并且在水平方向上限制逆变换跳过方案。即,在当前块是2N×N时,在当前块的水平方向上执行逆变换,并且可以在垂直方向上选择性地执行逆变换。
另一方面,在当前块是高度大于宽度的非正方形块时,可以仅在水平方向上允许逆变换跳过方案并且在垂直方向上限制逆变换跳过方案。即,在当前块是N×2N时,在当前块的垂直方向上执行逆变换,并且可以在水平方向上选择性地执行逆变换。
与上述示例相比,在当前块是宽度大于高度的非正方形块时,可以仅在水平方向上允许逆变换跳过方案,并且在当前块是高度大于宽度的非正方形块时,可以仅在垂直方向上允许逆变换跳过方案。
可以通过比特流用信号发送指示是否针对水平方向跳过逆变换的信息或者指示是否针对垂直方向跳过逆变换的信息。例如,指示是否跳过水平方向上的逆变换的信息是1比特标志“hor_transform_skip_flag”,并且指示是否跳过垂直方向上的逆变换的信息是1比特标志“ver_transform_skip_flag”。编码器可以根据当前块的形状对“hor_transform_skip_flag”或“ver_transform_skip_flag”中的至少之一进行编码。此外,解码器可以通过使用“hor_transform_skip_flag”或“ver_transform_skip_flag”中的至少之一来确定是否跳过水平方向或垂直方向上的逆变换。
可以设置成:依赖于当前块的划分类型跳过对当前块的任何一个方向的逆变换。例如,如果通过基于二叉树的划分生成当前块,则可以跳过水平方向或垂直方向上的逆变换。即,如果通过基于二叉树的划分生成当前块,则可以在不对指示是否跳过当前块的逆变换的信息(例如,transform_skip_flag、hor_transform_skip_flag、ver_transform_skip_flag)进行编码/解码的情况下,确定在水平方向或垂直方向中的至少一个方向上跳过当前块的逆变换。
尽管已经基于一系列步骤或流程图描述了上述实施方式,但是它们不限制本发明的时序顺序,并且可以根据需要同时或以不同顺序执行。此外,构成上述实施方式中的框图的部件(例如,单元、模块等)中的每一个可以由硬件设备或软件以及多个部件来实现。或者,可以通过单个硬件设备或软件来组合并实现多个部件。上述实施方式可以以程序指令的形式实现,所述程序指令可以通过各种计算机部件执行并被记录在计算机可读记录介质中。计算机可读记录介质可以包括程序命令、数据文件、数据结构等之一或其组合。计算机可读介质的示例包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学记录介质、诸如光磁软盘的磁光介质、介质和专门被配置成存储和执行程序指令的硬件设备例如ROM、RAM、闪存等。硬件设备可以被配置成作为一个或更多个软件模块来进行操作以用于执行根据本发明的处理,反之亦然。
工业应用性
本发明可以应用于能够对视频进行编码/解码的电子设备。
本技术还可以配置如下。
(1)一种用于对视频进行解码的方法,所述方法包括:
确定是否用四叉树划分来分割当前块;以及
在确定用所述四叉树划分来分割所述当前块的情况下,基于垂直线和水平线将所述当前块分割成四个划分,
其中,所述垂直线和所述水平线中的至少一者非对称地分割所述当前块。
(2)根据(1)所述的方法,其中,所述方法包括:
对指示所述垂直线或所述水平线中的至少一者是否用于非对称划分的第一指示符进行解码;以及
在所述第一指示符指示所述垂直线或所述水平线用于所述非对称划分的情况下,对指定所述垂直线或所述水平线的位置的第二指示符进行解码。
(3)根据(1)所述的方法,其中,通过两条水平线和一条垂直线将所述当前块分割成四个划分,其中所述一条垂直线对通过所述两条水平线分割的三个块之一进行分割,或者通过两条垂直线和一条水平线将所述当前块分割成四个划分,其中所述一条水平线对通过所述两条垂直线分割的三个块之一进行分割。
(4)根据(1)所述的方法,其中,所述方法包括:
在确定不用所述四叉树划分来分割所述当前块的情况下,确定是否用二叉树划分来分割所述当前块;以及
在确定用所述二叉树划分来分割所述当前块的情况下,将所述当前块分割成两个划分。
(5)根据(4)所述的方法,其中,所述方法还包括:确定是否将多边形二叉树划分应用于所述当前块,并且
其中,在将所述多边形二叉树划分应用于所述当前块的情况下,将所述当前块分割成矩形形状的划分和多边形形状的划分。
(6)根据(5)所述的方法,其中,所述多边形形状的划分被分割成矩形形状的子划分,并且针对每个子划分来执行对所述多边形形状的划分的预测。
(7)根据(4)所述的方法,其中,通过将所述当前块分割成两个划分的垂直线或水平线来分割所述当前块,并且所述垂直线或所述水平线非对称地分割所述当前块。
(8)一种用于对视频进行编码的方法,所述方法包括:
确定是否用四叉树划分来分割当前块;以及
在确定用所述四叉树划分来分割所述当前块的情况下,基于垂直线和水平线将所述当前块分割成四个划分,
其中,所述垂直线和所述水平线中的至少一者非对称地分割所述当前块。
(9)根据(8)所述的方法,其中,所述方法包括:
对指示所述垂直线或所述水平线中的至少一者是否用于非对称划分的第一指示符进行编码;以及
在所述第一指示符指示所述垂直线或所述水平线用于所述非对称划分的情况下,对指定所述垂直线或所述水平线的位置的第二指示符进行编码。
(10)根据(8)所述的方法,其中,通过两条水平线和一条垂直线将所述当前块分割成四个划分,其中所述一条垂直线对通过所述两条水平线分割的三个块之一进行分割,或者通过两条垂直线和一条水平线将所述当前块分割成四个划分,其中所述一条水平线对通过所述两条垂直线分割的三个块之一进行分割。
(11)根据(8)所述的方法,其中,所述方法包括:
在确定不用所述四叉树划分来分割所述当前块的情况下,确定是否用二叉树划分来分割所述当前块;以及
在确定用所述二叉树划分来分割所述当前块的情况下,将所述当前块分割成两个划分。
(12)根据(11)所述的方法,其中,所述方法还包括:确定是否将多边形二叉树划分应用于所述当前块,并且
其中,在将所述多边形二叉树划分应用于所述当前块的情况下,将所述当前块分割成矩形形状的划分和多边形形状的划分。
(13)根据(12)所述的方法,其中,所述多边形形状的划分被分割成矩形形状的子划分,并且针对每个子划分来执行对所述多边形形状的划分的预测。
(14)根据(11)所述的方法,其中,通过将所述当前块分割成两个划分的垂直线或水平线来分割所述当前块,并且所述垂直线或所述水平线非对称地分割所述当前块。
(15)一种用于对视频进行解码的设备,所述设备包括:
图片划分单元,其用于:确定是否用四叉树划分来分割当前块,以及在确定用所述四叉树划分来分割所述当前块的情况下,基于垂直线和水平线将所述当前块分割成四个划分,
其中,所述垂直线和所述水平线中的至少一者非对称地分割所述当前块。
Claims (4)
1.一种对图像进行解码的方法,所述方法包括:
从比特流中获得当前块的残差系数;
对所述当前块的残差系数执行逆量化,以获得量化的残差系数;
通过对所述量化的残差系数执行逆变换,获得所述当前块的残差样本;以及
基于所述残差样本重构所述当前块,
其中,所述逆变换包括垂直逆变换和水平逆变换,
其中,基于指示是否跳过所述逆变换的变换跳过标志选择性地执行所述逆变换,以及
其中,当所述当前块是由沿水平方向或垂直方向分割编码块产生的多个划分之一时,不从所述比特流中解析所述当前块的变换跳过标志,并且对所述当前块执行所述垂直逆变换和所述水平逆变换两者。
2.根据权利要求1所述的方法,其中,所述水平逆变换和所述垂直逆变换中的每一个是通过使用基于DCT的变换类型和基于DST的变换类型中的至少一者来执行的。
3.一种对图像进行编码的方法,所述方法包括:
获得当前块的残差样本;
确定是否对所述当前块的残差样本执行变换;
通过对所述当前块的残差样本执行所述变换或跳过所述变换,获得变换系数;
通过对所述当前块的变换系数执行量化,获得量化的变换系数;以及
对所述量化的变换系数进行编码,
其中,所述变换包括垂直变换和水平变换,
其中,通过确定是否对所述当前块的残差样本执行所述变换,对指示是否跳过所述变换的变换跳过标志进行编码,以及
其中,当所述当前块是由沿水平方向或垂直方向分割编码块产生的多个划分之一时,不将所述当前块的变换跳过标志编码到比特流中,并且对所述当前块执行所述垂直变换和所述水平变换两者。
4.一种图像数据的发送方法,所述发送方法包括:
获得当前块的残差样本;
确定是否对所述当前块的残差样本执行变换;
通过对所述当前块的残差样本执行所述变换或跳过所述变换,获得变换系数;
通过对所述当前块的变换系数执行量化,获得量化的变换系数;以及
对所述量化的变换系数执行编码,
其中,所述变换包括垂直变换和水平变换,
其中,通过确定是否对所述当前块的残差样本执行所述变换,对指示是否跳过所述变换的变换跳过标志进行编码,以及
其中,当所述当前块是由沿水平方向或垂直方向分割编码块产生的多个划分之一时,不将所述当前块的变换跳过标志编码到比特流中,并且对所述当前块执行所述垂直变换和所述水平变换两者。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2016-0148180 | 2016-11-08 | ||
KR20160148180 | 2016-11-08 | ||
KR20160148179 | 2016-11-08 | ||
KR10-2016-0148179 | 2016-11-08 | ||
PCT/KR2017/012617 WO2018088805A1 (ko) | 2016-11-08 | 2017-11-08 | 비디오 신호 처리 방법 및 장치 |
CN201780068856.4A CN109923866B (zh) | 2016-11-08 | 2017-11-08 | 视频解码方法、编码方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780068856.4A Division CN109923866B (zh) | 2016-11-08 | 2017-11-08 | 视频解码方法、编码方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116668729A true CN116668729A (zh) | 2023-08-29 |
Family
ID=62109775
Family Applications (8)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310800262.5A Pending CN116582690A (zh) | 2016-11-08 | 2017-11-08 | 对图像进行解码和编码的方法、非暂态计算机可读介质 |
CN201780068856.4A Active CN109923866B (zh) | 2016-11-08 | 2017-11-08 | 视频解码方法、编码方法 |
CN202310796974.4A Pending CN116668729A (zh) | 2016-11-08 | 2017-11-08 | 对图像进行解码和编码的方法、图像数据的发送方法 |
CN202310799291.4A Pending CN116614647A (zh) | 2016-11-08 | 2017-11-08 | 对视频进行解码和编码的方法、发送压缩数据的方法 |
CN202310800158.6A Pending CN116600146A (zh) | 2016-11-08 | 2017-11-08 | 对图像进行解码和编码的方法、非暂态计算机可读介质 |
CN202310800400.XA Pending CN116668730A (zh) | 2016-11-08 | 2017-11-08 | 对图像进行解码和编码的方法、图像数据的发送方法 |
CN202310796792.7A Pending CN116668728A (zh) | 2016-11-08 | 2017-11-08 | 对视频进行解码和编码的方法、发送压缩数据的方法 |
CN202310800047.5A Pending CN116781936A (zh) | 2016-11-08 | 2017-11-08 | 对视频进行解码和编码的方法、发送压缩数据的方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310800262.5A Pending CN116582690A (zh) | 2016-11-08 | 2017-11-08 | 对图像进行解码和编码的方法、非暂态计算机可读介质 |
CN201780068856.4A Active CN109923866B (zh) | 2016-11-08 | 2017-11-08 | 视频解码方法、编码方法 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310799291.4A Pending CN116614647A (zh) | 2016-11-08 | 2017-11-08 | 对视频进行解码和编码的方法、发送压缩数据的方法 |
CN202310800158.6A Pending CN116600146A (zh) | 2016-11-08 | 2017-11-08 | 对图像进行解码和编码的方法、非暂态计算机可读介质 |
CN202310800400.XA Pending CN116668730A (zh) | 2016-11-08 | 2017-11-08 | 对图像进行解码和编码的方法、图像数据的发送方法 |
CN202310796792.7A Pending CN116668728A (zh) | 2016-11-08 | 2017-11-08 | 对视频进行解码和编码的方法、发送压缩数据的方法 |
CN202310800047.5A Pending CN116781936A (zh) | 2016-11-08 | 2017-11-08 | 对视频进行解码和编码的方法、发送压缩数据的方法 |
Country Status (4)
Country | Link |
---|---|
US (6) | US10904581B2 (zh) |
KR (2) | KR102664475B1 (zh) |
CN (8) | CN116582690A (zh) |
WO (1) | WO2018088805A1 (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116582690A (zh) * | 2016-11-08 | 2023-08-11 | 株式会社Kt | 对图像进行解码和编码的方法、非暂态计算机可读介质 |
KR102559063B1 (ko) | 2017-02-24 | 2023-07-24 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
CN118042129A (zh) * | 2017-11-16 | 2024-05-14 | 松下电器(美国)知识产权公司 | 图像编码装置、编码方法、图像解码装置、解码方法和非暂时性存储介质 |
WO2019151284A1 (ja) | 2018-01-30 | 2019-08-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
EP3782369B1 (en) * | 2018-05-30 | 2023-08-23 | Huawei Technologies Co., Ltd. | Multi-type tree depth extension for picture boundary handling |
WO2019234613A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Partition tree with partition into 3 sub-blocks by horizontal and vertical splits |
WO2019244116A1 (en) * | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Border partition in video coding |
WO2020003183A1 (en) * | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Partitioning of zero unit |
TWI714153B (zh) | 2018-06-29 | 2020-12-21 | 大陸商北京字節跳動網絡技術有限公司 | 零單元的定義 |
WO2020039323A1 (en) * | 2018-08-19 | 2020-02-27 | Beijing Bytedance Network Technology Co., Ltd. | Forced boundary partitioning when using tree partitions |
HUE064218T2 (hu) | 2018-08-28 | 2024-02-28 | Huawei Tech Co Ltd | Képfelosztási eljárás és eszköz |
TWI820195B (zh) * | 2018-08-28 | 2023-11-01 | 大陸商北京字節跳動網絡技術有限公司 | 分割方法的冗餘移除 |
WO2020084602A1 (en) * | 2018-10-26 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of partition information |
CN111107368B (zh) * | 2018-10-26 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 用于分割树决定的快速方法 |
CN111277828B (zh) * | 2018-12-04 | 2022-07-12 | 华为技术有限公司 | 视频编解码方法、视频编码器和视频解码器 |
CN115714861A (zh) | 2018-12-16 | 2023-02-24 | 华为技术有限公司 | 视频译码器及相应方法 |
CN112584161B (zh) | 2018-12-28 | 2022-05-31 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法及其设备 |
CN111416975B (zh) * | 2019-01-08 | 2022-09-16 | 华为技术有限公司 | 预测模式确定方法和装置 |
KR20240005108A (ko) | 2019-01-08 | 2024-01-11 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 이미지 예측 방법, 장치 및 시스템, 디바이스 및 저장 매체 |
CN113366855A (zh) * | 2019-02-03 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 基于条件的非对称四叉树分割 |
WO2020182207A1 (en) * | 2019-03-13 | 2020-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Partitions on sub-block transform mode |
WO2020197038A1 (ko) | 2019-03-22 | 2020-10-01 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인트라 서브 파티션 기반의 인트라 예측 방법 및 장치 |
CN112135147B (zh) * | 2019-06-24 | 2023-02-28 | 杭州海康威视数字技术股份有限公司 | 编码方法、解码方法及装置 |
US11190777B2 (en) * | 2019-06-30 | 2021-11-30 | Tencent America LLC | Method and apparatus for video coding |
CA3148299C (en) | 2019-07-26 | 2024-06-04 | Beijing Bytedance Network Technology Co., Ltd. | Determination of picture partition mode based on block size |
US11317090B2 (en) * | 2019-08-12 | 2022-04-26 | Tencent America LLC | Method and apparatus for video coding |
CN112532987A (zh) * | 2019-12-02 | 2021-03-19 | 腾讯科技(深圳)有限公司 | 视频编码方法、解码方法、装置 |
CN117296319A (zh) * | 2021-04-05 | 2023-12-26 | 抖音视界有限公司 | 基于邻居的分割约束 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9600421B2 (en) * | 2009-05-20 | 2017-03-21 | Conexant Systems, Inc. | Systems and methods for low-latency encrypted storage |
KR101452860B1 (ko) | 2009-08-17 | 2014-10-23 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
CN105959688B (zh) | 2009-12-01 | 2019-01-29 | 数码士有限公司 | 用于解码高分辨率图像的方法 |
KR20110061468A (ko) | 2009-12-01 | 2011-06-09 | (주)휴맥스 | 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치 |
KR101484280B1 (ko) * | 2009-12-08 | 2015-01-20 | 삼성전자주식회사 | 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치 |
KR101457396B1 (ko) | 2010-01-14 | 2014-11-03 | 삼성전자주식회사 | 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치 |
CN106131549B (zh) | 2010-04-13 | 2019-04-05 | 三星电子株式会社 | 执行去块滤波的对视频进行解码的设备 |
CN106060547B (zh) | 2010-06-07 | 2019-09-13 | 数码士有限公司 | 解码高分辨率图像的方法和装置 |
WO2012002785A2 (ko) | 2010-07-02 | 2012-01-05 | (주)휴맥스 | 화면내 예측 부호화를 위한 영상 부호화/복호화 장치 및 방법 |
AU2012278484B2 (en) * | 2011-07-01 | 2016-05-05 | Samsung Electronics Co., Ltd. | Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding |
MX337446B (es) | 2011-09-29 | 2016-03-07 | Sharp Kk | Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y dispositivo de codificacion de imagenes. |
JP5972888B2 (ja) | 2011-09-29 | 2016-08-17 | シャープ株式会社 | 画像復号装置、画像復号方法および画像符号化装置 |
US20130163664A1 (en) * | 2011-12-22 | 2013-06-27 | Qualcomm Incorporated | Unified partition mode table for intra-mode coding |
US11284103B2 (en) * | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
US9955187B2 (en) | 2014-03-28 | 2018-04-24 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
KR101603413B1 (ko) | 2014-03-28 | 2016-03-28 | 경희대학교 산학협력단 | 깊이 정보를 이용한 비디오 부호화 방법 및 장치 |
KR101564942B1 (ko) | 2014-10-29 | 2015-11-02 | 삼성전자주식회사 | 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치 |
US10382795B2 (en) * | 2014-12-10 | 2019-08-13 | Mediatek Singapore Pte. Ltd. | Method of video coding using binary tree block partitioning |
WO2016090568A1 (en) | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Binary tree block partitioning structure |
EP3270593A4 (en) * | 2015-03-13 | 2018-11-07 | LG Electronics Inc. | Method of processing video signal and device for same |
US10212444B2 (en) * | 2016-01-15 | 2019-02-19 | Qualcomm Incorporated | Multi-type-tree framework for video coding |
CN116582690A (zh) * | 2016-11-08 | 2023-08-11 | 株式会社Kt | 对图像进行解码和编码的方法、非暂态计算机可读介质 |
-
2017
- 2017-11-08 CN CN202310800262.5A patent/CN116582690A/zh active Pending
- 2017-11-08 CN CN201780068856.4A patent/CN109923866B/zh active Active
- 2017-11-08 CN CN202310796974.4A patent/CN116668729A/zh active Pending
- 2017-11-08 CN CN202310799291.4A patent/CN116614647A/zh active Pending
- 2017-11-08 CN CN202310800158.6A patent/CN116600146A/zh active Pending
- 2017-11-08 US US16/347,852 patent/US10904581B2/en active Active
- 2017-11-08 CN CN202310800400.XA patent/CN116668730A/zh active Pending
- 2017-11-08 CN CN202310796792.7A patent/CN116668728A/zh active Pending
- 2017-11-08 WO PCT/KR2017/012617 patent/WO2018088805A1/ko active Application Filing
- 2017-11-08 KR KR1020170148204A patent/KR102664475B1/ko active IP Right Grant
- 2017-11-08 CN CN202310800047.5A patent/CN116781936A/zh active Pending
-
2020
- 2020-12-18 US US17/127,260 patent/US11438636B2/en active Active
- 2020-12-18 US US17/127,108 patent/US11432020B2/en active Active
- 2020-12-18 US US17/126,922 patent/US11432019B2/en active Active
-
2022
- 2022-07-28 US US17/876,123 patent/US11843807B2/en active Active
-
2023
- 2023-09-25 US US18/372,274 patent/US20240015339A1/en active Pending
-
2024
- 2024-05-02 KR KR1020240058765A patent/KR20240064616A/ko active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20210105507A1 (en) | 2021-04-08 |
CN116668730A (zh) | 2023-08-29 |
KR20240064616A (ko) | 2024-05-13 |
CN116668728A (zh) | 2023-08-29 |
WO2018088805A1 (ko) | 2018-05-17 |
US20210105508A1 (en) | 2021-04-08 |
KR20180051424A (ko) | 2018-05-16 |
CN116600146A (zh) | 2023-08-15 |
US10904581B2 (en) | 2021-01-26 |
US11432020B2 (en) | 2022-08-30 |
US11438636B2 (en) | 2022-09-06 |
CN116614647A (zh) | 2023-08-18 |
CN109923866A (zh) | 2019-06-21 |
CN116781936A (zh) | 2023-09-19 |
KR102664475B1 (ko) | 2024-05-09 |
US11432019B2 (en) | 2022-08-30 |
US11843807B2 (en) | 2023-12-12 |
US20190313129A1 (en) | 2019-10-10 |
US20240015339A1 (en) | 2024-01-11 |
CN109923866B (zh) | 2023-07-21 |
US20210203999A1 (en) | 2021-07-01 |
CN116582690A (zh) | 2023-08-11 |
US20220368953A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109923866B (zh) | 视频解码方法、编码方法 | |
CN110024410B (zh) | 用于对视频进行编码和解码的方法 | |
CN113873242B (zh) | 用于对视频进行解码的方法和用于对视频进行编码的方法 | |
CN114513657B (zh) | 对视频进行解码的方法和设备以及对视频进行编码的方法 | |
CN109661819B (zh) | 用于处理视频信号的方法和设备 | |
CN109644267B (zh) | 视频信号处理方法和装置 | |
CN109983776B (zh) | 视频信号处理方法和设备 | |
CN109716775B (zh) | 用于处理视频信号的方法和装置 | |
CN117041561A (zh) | 对视频进行解码或编码的方法和存储视频数据的设备 | |
CN114363636A (zh) | 用于处理视频信号的方法和装置 | |
CN109691112B (zh) | 用于处理视频信号的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |