CN112136327A - 用于边界分割的方法和装置 - Google Patents

用于边界分割的方法和装置 Download PDF

Info

Publication number
CN112136327A
CN112136327A CN201980032105.6A CN201980032105A CN112136327A CN 112136327 A CN112136327 A CN 112136327A CN 201980032105 A CN201980032105 A CN 201980032105A CN 112136327 A CN112136327 A CN 112136327A
Authority
CN
China
Prior art keywords
boundary
block
current block
partition
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980032105.6A
Other languages
English (en)
Inventor
高晗
塞米赫·艾森力克
赵志杰
阿南德·梅赫·科特拉
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112136327A publication Critical patent/CN112136327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于对图像的当前块进行边界分割的方法。所述方法包括:解码器接收码流,其中,所述码流包括分割指示符;解析所述码流以获得所述分割指示符;根据所述分割指示符确定是否对所述当前块进行划分;当不对所述当前块进行划分时,确定所述当前块是否为边界块;当所述当前块为边界块时,对所述当前块进行边界分割。无论所述当前块是边界块(isB)还是非边界块(noB),都使用相同分割语法的分割指示符,有利于保持上下文自适应二进制算术编解码(context‑adaptive binary arithmetic coding,CABAC)引擎的连续性,从而提高编解码效率。

Description

用于边界分割的方法和装置
相关申请案交叉申请
本申请要求2018年5月30日提交的第62/678,242号美国临时专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及图像和/或视频编解码技术领域,尤其涉及用于边界分割的方法和装置。
背景技术
自从DVD光盘的兴起,数字视频得到广泛使用。在传输之前对视频进行编码,然后通过传输介质进行传输。观看者接收视频,并使用观看设备解码和显示视频。多年来,由于分辨率、色彩深度和帧率等的提高,视频质量得到了改善。这导致数据流更大,目前这些数据流通常通过互联网和移动通信网络传输。
然而,由于高分辨率视频包含的信息更多,通常需要更多带宽。为了降低带宽要求,引入了涉及视频压缩的视频编解码标准。对视频进行编码降低了带宽要求(或降低了存储时相应的内存要求)。降低带宽要求通常也降低了视频质量。因此,视频编解码标准试图在带宽要求和质量之间寻求平衡。
由于视频涉及图像序列,也可以通过更好地处理单个图像来获得结果。因此,一些方法和技术可以用于视频处理和单个或静止图像处理。
由于不断需要提高质量并降低带宽要求,因此一直在寻求在减少带宽要求的情况下保持质量或改善质量同时保持带宽要求的解决方案。此外,有时可以进行折衷。例如,如果质量改善明显,则可以提高带宽要求。
高效视频编码(High Efficiency Video Coding,HEVC)是本领域技术人员所熟知的视频编码标准示例。在HEVC中,将编码单元(coding unit,CU)划分为预测单元(prediction unit,PU)或变换单元(transform unit,TU)。通用视频编码(VersatileVideo Coding,VVC)下一代标准是ITU-T视频编码专家组(Video Coding Experts Group,VCEG)和ISO/IEC运动图像专家组(Moving Picture Experts Group,MPEG)最近的联合视频项目,这两个标准化组织共同合作,其伙伴关系被称为联合视频探索小组(Joint VideoExploration Team,JVET)。VVC也称为ITU-T H.266/下一代视频编码(Next GenerationVideo Coding,NGVC)标准。VVC中去掉了多种分割类型的概念,即不区分CU、PU和TU概念(除非CU的大小对于最大变换长度而言太大),并支持更灵活的CU分割形状。
随着视频的创作和使用越来越普遍,视频流量成为通信网络的最大负载,也驱动着数据存储需求增加。因此,大多数视频编解码标准的目标之一是与前一个标准相比,在不牺牲图像质量的情况下,提高编解码效率。
发明内容
本发明公开了用于边界分割的装置和方法。所述装置和方法使用边界分割处理来提高编解码效率。边界分割处理也称为图像边界处理。
根据本发明的第一方面,提供了一种用于对图像的当前块进行边界分割的方法。所述方法包括:解码器接收码流,其中,所述码流包括分割指示符;解析所述码流以获得所述分割指示符;确定所述分割指示符是否指示对所述当前块进行划分;当所述分割指示符指示不对所述当前块进行划分时,确定所述当前块是否为边界块;当所述当前块为边界块时,对所述当前块进行边界分割。
无论所述当前块是边界块还是非边界块,都使用相同分割语法的分割指示符,有利于保持上下文自适应二进制算术编解码(context-adaptive binary arithmeticcoding,CABAC)引擎的连续性,或换句话说,有利于避免在边界块和非边界块的不同分割语法之间切换,从而提高了编解码效率。
根据本发明的所述第一方面的一个示例,根据非边界块分割语法确定所述分割指示符是否指示对所述当前块进行划分。
根据本发明的所述第一方面的另一示例,当所述当前块为边界块时,所述非边界块分割语法的所述分割指示符指示对所述当前块进行所述边界分割。当所述当前块为非边界块(或换句话说,不是边界块)时,所述非边界块分割语法中的所述分割指示符指示不对所述当前块进行划分。
无论所述当前块是边界块还是非边界块,都使用所述非边界块分割语法,使得所述方法可以保持CABAC引擎的连续性,并获取图像边界,从而提高编解码效率。换句话说,获取所述图像边界意味着进行图像边界划分,直到所有叶节点都位于边界内。
根据本发明的所述第一方面的一个示例,当所述分割指示符指示对所述当前块进行划分时,所述方法还包括:不对所述当前块是否为边界块进行确定就对所述当前块进行划分。
在此类情况下,不对所述当前块是否为边界块进行确定可以进一步提高编解码效率。
根据本发明的第二方面,提供了一种用于对图像的当前块进行边界分割的方法。所述方法包括:编码器确定分割指示符,其中,所述分割指示符指示是否对所述当前块进行划分;当所述分割指示符指示不对所述当前块进行划分时,确定所述当前块是否为边界块;当所述当前块为边界块时,对所述当前块进行边界分割。
无论所述当前块是边界块还是非边界块,都使用相同分割语法的分割指示符,有利于保持上下文自适应二进制算术编解码(context-adaptive binary arithmeticcoding,CABAC)引擎的连续性,或换句话说,有利于避免在边界块和非边界块的不同分割语法之间切换,从而提高了编解码效率。
根据本发明的第三方面,提供了一种解码器,包括用于执行所述第一方面和所述第一方面的任一所述示例的方法的处理电路。
根据本发明的第四方面,提供了一种编码器,包括用于执行所述第二方面和所述第二方面的任一所述示例的方法的处理电路。
根据本发明的第五方面,提供了一种包括程序代码的计算机程序产品,当所述计算机程序在计算设备中运行时,所述程序代码用于执行所述第一方面和所述第一方面的任一所述示例的方法。
根据本发明的第六方面,提供了一种包括程序代码的计算机程序产品,当所述计算机程序在计算设备中运行时,所述程序代码用于执行所述第二方面和所述第二方面的任一所述示例的方法。
根据本发明的第七方面,提供了一种用于对图像的当前块进行边界分割的解码器。所述解码器包括:
一个或多个处理器;
非瞬时性计算机可读存储介质,与所述处理器耦合,并存储由所述处理器执行的程序,其中,所述程序在由所述处理器执行时使得所述解码器执行所述第一方面和所述第一方面的任一所述示例的方法。
根据本发明的第八方面,提供了一种用于对图像的当前块进行边界分割的编码器。所述编码器包括:
一个或多个处理器;
非瞬时性计算机可读存储介质,与所述处理器耦合,并存储由所述处理器执行的程序,其中,所述程序在由所述处理器执行时使得所述解码器执行所述第二方面和所述第二方面的任一所述示例的方法。
附图说明
下文结合附图对示例性实施例进行详细描述,其中:
图1为视频编解码系统100的示例的示意图;
图2为视频编码器200的示例的示意图;
图3为视频解码器300的示例的示意图;
图4A为本发明实施例提供的四叉树(quad-tree,QT)划分的示意图;
图4B为本发明实施例提供的垂直二叉树(binary tree,BT)划分的示意图;
图4C为本发明实施例提供的水平二叉树(binary tree,BT)划分的示意图;
图4D为本发明实施例提供的垂直三叉树(ternary tree,TT)划分的示意图;
图4E为本发明实施例提供的水平三叉树(ternary tree,TT)划分的示意图;
图5为用于对码流进行编码的方法的实施例500的流程图;
图6为用于对码流进行解码的方法的实施例600的流程图;
图7为实施例提供的非边界块分割语法的示例的示意图;
图8为实施例提供的边界分割的示例的示意图;
图9为图8所示分层划分的CTU的分割和编码树的实施例的示意图;
图10为图8的示例(标记为CU(810))的强制边界分割(forced boundarypartition,FBP)的实施例的示意图;
图11为装置的示例性结构的示意图。
具体实施方式
以下结合附图进行描述,所述附图形成本发明的一部分,并以说明的方式示出可以实施本发明的具体方面。
例如,应理解,结合所描述方法的公开内容可以对用于执行所述方法的对应设备或系统也同样适用,反之亦然。例如,如果描述了一个具体的方法步骤,对应的设备可以包括用于执行所描述的方法步骤的单元,即使此类单元未在图中详细阐述或说明。此外,应理解,除非另外具体指出,否则本文中描述的各种示例性方面的特征可彼此组合。
视频编解码通常指对构成视频或视频序列的图像序列进行处理。术语“图像(picture/image)”或“帧”可在视频编解码领域以及在本申请中作为同义词使用。每个图像通常被分割成一组不重叠的块。图像的编码/解码通常在块级别进行,例如,在块级别中,通过帧间预测或帧内预测生成预测块,以从当前块(当前处理的块/待处理的块)中减去预测块,获取残差块,进一步对所述残差块进行变换和量化以减少待传输(压缩)的数据量,而在解码器侧,对编码/压缩块进行逆处理以重建块(视频块)用于表示。
介绍了用于图像边界分割的传统方法,如自适应方法和强制方法等。对于自适应方法,边界定位块只能选择四叉树(quad-tree,QT)和二叉树(binary tree,BT)划分,不能选择其它划分模式。在自适应方法中,当编码单元(coding unit,CU)为边界CU时,使用边界语法;当CU为非边界CU时,使用非边界语法。因此,自适应方法需要改变边界CU或边界编码树单元(coding tree unit,CTU)的语法。这会破坏上下文自适应二进制算术编解码(context-adaptive binary arithmetic coding,CABAC)引擎的连续性,还会限制分割灵活性,从而可能降低编解码效率。强制方法会使用四叉树(quad-tree,QT)强制划分位于条带/图像边界上的CTU或CU,直到叶节点的右下像素点位于条带/图像边界内。强制QT分割不需要在码流中进行信号发送。强制边界分割是为了确保所有叶节点在边界内,以便编码器和解码器能够对这些叶节点进行处理。强制方法需要为边界CTU/CU定义特定规则(使得工程过度复杂),这会降低编解码效率。由于自适应方法和强制方法的编解码效率较低,因此它们都不是最佳的。
本发明涉及一种通用边界分割方法,例如可以在混合视频编解码中在多树分割结构顶部进行该通用边界分割方法。通用边界分割方法对边界块(例如,边界CTU或CU)使用非边界块分割语法。该方法可以保持CABAC引擎的连续性,并且可以提供更灵活的边界分割。因此,使用通用边界分割方法可以提高编解码效率。可以有利地使用这种边界分割,但其不限于静止视频图像编解码中。在下文中,术语“图像”将表示静止图像和视频图像。也可以使用术语“图像(image)”或“帧”代替术语“图像(picture)”。下文描述了能够实现本发明提供的通用边界分割的系统、编码器、解码器和对应方法的实施例。
图1为可使用本发明中所描述的技术(包括用于对边界分割进行编解码的技术)的视频编解码系统100的示例性框图。系统100不仅适用于视频编解码,还适用于图像编解码。如图1所示,系统100包括源设备102,所述源设备102生成稍后由目的设备104进行解码的编码视频数据。图2所示的视频编码器200为源设备102的视频编码器108的示例。图3所示的视频解码器300为目的设备104的视频解码器116的示例。源设备102和目的设备104可包括以下多种设备中的任一种,包括台式计算机、笔记本(即膝上型)电脑、平板电脑、机顶盒、如所谓的“智能”电话、所谓的“智能”平板等电话手机、电视、相机、显示设备、数字媒体播放器、视频游戏机、视频流设备等。在某些情况下,源设备102和目的设备104可用于无线通信。
目的设备104可通过链路112接收待解码的编码视频数据。链路112可包括能够将编码视频数据从源设备102移动到目的设备104的任何类型的介质或设备。在一个示例中,链路112可包括通信介质,以使源设备102能够将编码视频数据直接实时地传输到目的设备104。所述编码视频数据可根据无线通信协议等通信标准进行调制,并传输到目的设备104。通信介质可包括任何无线或有线通信介质,如射频(radio frequency,RF)频谱或一条或多条物理传输线。通信介质可以构成分组网络(如局域网、广域网或如互联网等全球网络)的一部分。通信介质可包括路由器、交换机、基站或任何其它可用于促进从源设备102到目的设备104进行通信的设备。
或者,可将编码数据从输出接口110输出到存储设备(图1中未示出)。类似地,可通过输入接口114从存储设备访问编码数据。目的设备104可通过流式传输或下载从存储设备中访问所存储的视频数据。本发明的技术不一定限于无线应用或设置。这些技术可用于视频编解码以支持各种多媒体应用中的任一种,如空中电视广播、有线电视传输、卫星电视传输、流视频传输(例如,通过互联网、通过对存储到数据存储介质中的数字视频进行编码、通过对存储在数据存储介质中的数字视频进行解码)或其它应用。在一些示例中,系统100可用于支持单向或双向视频传输,以支持如视频流式传输、视频播放、视频广播和/或视频电话等应用。
在图1的示例中,源设备102包括视频源106、视频编码器108和输出接口110。在某些情况下,输出接口110可包括调制器/解调器(调制解调器)和/或发射器。在源设备102中,视频源106可包括如视频捕获设备(例如,摄像机)、包含之前捕获的视频的视频存档、用于从视频内容提供者接收视频的视频馈送接口、和/或用于生成计算机图形数据作为源视频的计算机图形系统等源,或这些源的组合。例如,如果视频源106为摄像机,则源设备102和目的设备104可以形成所谓的拍照手机或视频手机。然而,本发明中描述的技术通常可用于视频编解码,也可用于无线和/或有线应用。
视频编码器108可以对所捕获、预捕获或计算机生成的视频进行编码。编码视频数据可通过源设备102的输出接口110直接传输到目的设备104。编码视频数据还可以(或可替代地)存储到存储设备中,以供目的设备104或其它设备稍后访问,以进行解码和/或播放。
目的设备104包括输入接口114、视频解码器116和显示设备118。在某些情况下,输入接口114可包括接收器和/或调制解调器。目的设备104的输入接口114通过链路112接收所述编码视频数据。通过链路112传送或在存储设备中提供的编码视频数据可包括由视频编码器108生成的供视频解码器(如视频解码器116)在对视频数据进行解码时使用的各种语法元素。此类语法元素可包含于在通信介质中传输、存储在存储介质中、或存储在文件服务器中的编码视频数据中。
显示设备118可与目的设备104集成在一起,或位于目的设备104的外部。在一些示例中,目的设备104可包括集成显示设备,还可用于与外部显示设备连接。在其它示例中,目的设备104可以为显示设备。通常,显示设备118将解码视频数据显示给用户。显示设备118可包括各种显示设备中的任一种,如液晶显示器(liquid crystal display,LCD)、等离子显示器、有机发光二极管(organic light emitting diode,OLED)显示器或其它类型的显示设备。
视频编码器108和视频解码器116可根据任何类型的视频压缩标准操作,这些标准包括但不限于MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频编码(Advanced Video Coding,AVC)、高效视频编码(High Efficiency Video Coding,HEVC)、ITU-T H.266/下一代视频编码(Next Generation Video Coding,NGVC)标准。
通常设想的是,源设备102的视频编码器108可用于根据这些当前或未来标准中的任何标准对视频数据进行编码。类似地,通常还设想目的设备104的视频解码器116可用于根据这些当前或未来标准中的任何标准对视频数据进行解码。
视频编码器108和视频解码器116可以各自实现为各种合适的编码器电路中的任一种,如一个或多个微处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(fieldprogrammable gate array,FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件形式实现时,设备可将软件的指令存储在合适的非瞬时性计算机可读介质中,并且使用一个或多个处理器以硬件形式执行所述指令,以执行本发明的技术。视频编码器108和视频解码器116都可以包括在一个或多个编码器或解码器中,其中任一者可作为组合式编码器/解码器(编解码器)的一部分集成在对应设备中。
在视频编解码规范中,视频序列通常包括一系列图像。然而,需要说明的是,在使用隔行扫描的情况下,本发明也适用于场。视频编码器108可输出包括比特序列的码流,所述比特序列组成编码图像和相关数据的表示。视频解码器116可接收由视频编码器108生成的码流。此外,视频解码器116可解析所述码流以从所述码流中获取语法元素。视频解码器116可至少部分地根据从所述码流中获得的语法元素重建视频数据的图像。重建视频数据的过程通常可与视频编码器108执行的过程相反。
图2为视频编码器200的示例的示意图;视频编码器200不仅适用于视频编码,还适用于图像编码。视频编码器200包括用于接收视频流的帧或图像的输入块的输入端,和用于生成编码视频码流的输出端。视频编码器200用于对视频流进行预测、变换、量化和熵编解码。变换单元201、量化单元202和编码单元203分别执行变换、量化和熵编解码,以生成编码视频码流作为输出。
视频流对应多个帧,其中每个帧被划分为一定大小的帧内编码块或帧间编码块。例如,视频流的第一帧的块由帧内预测单元209进行帧内编码。仅使用同一帧内的信息对帧内帧进行编码,使得该帧内帧可独立解码,并可在码流中提供用于随机访问的入口点。视频流的其它帧的块由帧间预测单元210进行帧间编码,其中,称为参考帧的编码帧中的信息用于减少时间冗余,从而可通过参考帧中相同大小的块预测出帧间编码帧的每个块。模式选择单元208用于选择由帧内预测单元209或帧间预测单元210来处理帧的块。
为执行帧间预测,编码参考帧由反量化单元204、逆变换单元205、滤波单元206(可选的)进行处理,以获得参考帧,随后将这些参考帧存储在帧缓冲器207中。特别地,这些单元可对参考帧的参考块进行处理,以获得重建参考块。然后,将重建参考块重新组合到参考帧中。
帧间预测单元210包括作为输入的待帧间编码的当前帧或图像以及来自帧缓冲器207的一个或多个参考帧或图像。帧间预测单元210进行运动估计和运动补偿。运动估计用于根据某个成本函数获取运动矢量和参考帧。然后,运动补偿根据参考帧的参考块到当前帧的变换来描述当前帧的当前块。帧间预测单元210输出当前块的预测块,其中,所述预测块将待编码当前块与其预测块之间的差值降到最低,即,使残差块最小化。例如,根据率失真优化过程最小化残差块。
然后,当前块与其预测块之间的差值(即,残差块)由变换单元201进行变换。变换系数由量化单元202和编码单元203进行量化和熵编解码。编码视频码流包括帧内编码块和帧间编码块。
图3为视频解码器300的示例的示意图;视频解码器300不仅适用于视频解码,还适用于图像解码。视频解码器300特别包括帧缓冲器307和帧间预测单元310。帧缓冲器307用于存储从编码视频码流中获取的至少一个参考帧。帧间预测单元310用于从参考帧的参考块中生成当前帧的当前块的预测块。
解码器300用于对视频编码器200生成的编码视频码流进行解码,解码器300和编码器200生成相同的预测值。帧缓冲器307、帧间预测单元310的特征与图2中的帧缓冲器207、帧间预测单元210的特征相似。
特别地,视频解码器300也包括视频编码器200中存在的单元,例如,反量化单元304、逆变换单元305、滤波单元306(可选的)和帧内预测单元309,分别对应视频编码器200的反量化单元204、逆变换单元205、滤波单元206和帧内预测单元209。解码单元303用于对接收的编码视频码流进行解码,并相应地获取量化残差变换系数。将量化残差变换系数发送到反量化单元304和逆变换单元305,以生成残差块。将残差块添加到预测块中,并将该添加发送到滤波单元306以获取解码视频。解码视频的帧可存储在帧缓冲器307中并用作帧间预测的参考帧。
视频编码器200可在编码之前将输入视频帧划分成块。本发明中的术语“块”表示任何类型的块或任何深度的块。例如,术语“块”包括但不限于根块、块、子块、叶节点等。待编码块的大小不一定相同。一个图像可包括不同大小的块,且视频序列中不同图像的块栅格也可以不同。图4A-图4E为VVC中编码树单元(Coding Tree Unit,CTU)/编码单元(CodingUnit,CU)的划分模式。
图4A为采用四叉树(quad-tree,QT)划分的块分割结构。QT是一种用于块分割的树结构,其中,大小为4M×4N的节点可以划分成四个大小为2M×2N的子节点。
图4B为采用垂直二叉树(binary tree,BT)划分的块分割结构。
图4C为采用水平二叉树(binary tree,BT)划分的块分割结构。BT是一种用于块分割的树结构,其中,大小为4M×4N的节点可以水平划分成两个大小为4M×2N的子节点,或垂直划分成两个大小为2M×4N的子节点。
图4D为采用垂直三叉树(ternary tree,TT)划分的块分割结构。
图4E为采用水平三叉树(ternary tree,TT)划分的块分割结构。TT是一种用于块分割的树结构,其中,大小为4M×4N的节点可以水平划分成三个大小分别为4M×N、4M×2N和4M×N的子节点,或垂直划分成三个大小分别为M×4N、2M×4N、M×4N的子节点。在图4D或图4E所示的三个子节点中,最大的节点位于中心。
四叉树结合二叉树(quad-tree plus binary tree,QTBT)是一种四叉树加二叉树结构,其中,首先使用四叉树划分来分割块,之后可以使用二叉树划分来进一步分割每个四叉树子节点。四叉树结合二叉树/三叉树(quad-tree plus binary tree or ternarytree,QT-BT/TT)是一种四叉树加二叉树或三叉树结构,其中,首先使用四叉树划分来分割块,之后可以使用二叉树或三叉树划分来进一步分割每个四叉树子节点。
对于与特定深度相关联的块,编码器200确定所使用的分割类型(包括不进一步划分),并且以显式或隐式方式(例如,分割类型可从预定规则导出)将确定的分割类型信号发送给解码器300。例如,编码器200可以通过检查使用不同分割类型时块的率失真成本来确定要使用的分割类型。
以下公开通用边界分割,涉及视频编解码(或视频图像编解码)以及静止图像编解码(still image coding/still picture coding)。
本发明中通用边界分割的实施例按照以下规则定义:
–无论块是边界块(isB或isBoundary)还是非边界块(换句话说,不是边界块(noB或noBoundary)),都使用非边界块分割语法(也可以称为传统非边界块分割语法、或常规块分割语法、或不变的常规块分割语法、或通用块分割语法),其中,isB或isBoundary表示CTU/CU位于图像边界处且仅部分位于图像内;noB或noBoundary表示CTU/CU完全位于图像内;
–如果针对边界CTU解析为不划分模式,则采用边界分割获取边界,其中,所述边界分割包括但不限于强制边界分割(forced boundary partition,FBP);
–在边界分割之后,不进行进一步分割(叶节点)。
在本发明中,isBoundary缩写为isB,noBoundary缩写为noB。
例如,通过将CTU的位置(特别是CTU中合适的像素位置)与边界的位置(或像素点中的垂直/水平图像大小)进行比较来确定CTU是否为边界CTU。在编码中,CTU具有固定的预定义大小,例如HEVC中的128×128或64×64。图像将划分成不重叠的CTU。在一个实施例中,编码器/解码器将检查CTU的左上像素,并将其与边界进行比较。如果左上像素位于图像边界内部,则CTU不是外部块(为非外部块)。如果左上像素不在图像边界内部,则CTU为外部块(在外部)。对于CTU不是外部块的情况,编码器/解码器将检查CTU的右下像素,并将其与边界进行比较。如果右下像素位于图像边界外部,则CTU为边界CTU(isB)。如果右下像素不在图像边界外部,则CTU为非边界CTU(noB)。在此示例中,编码器/解码器将首先检查左上像素,确定当前CTU是外部CTU还是非外部CTU。对于非外部CTU,编码器/解码器接着将检查右下像素,确定当前CTU是边界块(isB)还是非边界块(noB)。这种确定分割块是否为边界块的方式只是一个示例。还可以采用其它方法来确定分割块是否为边界块。
此外,这种确定分割块是否位于边界上的方式不仅适用于CTU,还可用于CU以及分割层次结构中划分CTU或某种块所产生的任何分割块。
FBP是一种非信号发送边界分割,因为FBP不需要进一步信号发送,例如,在强制边界分割情况下,编码器和解码器都用于执行相同的分割。执行强制分割(或划分)以便分割边界部分。强制划分不需要分割信息,可以进行预定义。
本发明中的术语“块”是广义术语,包括但不限于根块、块、子块、叶节点等。
通用边界分割可以采用伪码(例如解码器)解释如下:
Figure BDA0002775476560000081
split_indicator为分割指示符的示例。
上述内容适用于编码器200和解码器300。下文处理500和600对上述规则和伪码进行了详细解释。
图5为使用通用边界分割处理的方法的实施例500的图示,其中,该方法可以由图1所示的源设备102、图2所示的视频编码器200或任何其它编码器(例如静止图像编码器)执行。
在图5的方法中,在步骤502中启动该方法以开始分割。在步骤504中,编码器为当前块确定分割指示符,其中,所述分割指示符指示是否对当前块进行划分。可以根据非边界块分割语法确定所述分割指示符。图7示出了非边界块分割语法的实施例。所述分割指示符包括但不限于包括一个或多个比特的分割标志或split_indicator。编码器可以进行率失真优化(Rate-Distortion Optimization,RDO)成本估计以确定所述分割指示符。
例如,成本函数可以是当前块与候选块之间的差值度量,即当前块相对于候选块的残差度量。例如,成本函数可以是当前块的所有像素(像素点)与候选参考图像中候选块的所有像素之间的绝对差和(sum of absolute difference,SAD)。然而,通常可以使用任何相似性度量,如均方误差(mean square error,MSE)或结构相似性度量(structuralsimilarity metric,SSIM)。
然而,成本函数也可以是对此类帧间块进行编解码所必需的比特数和/或此类编解码导致的失真。因此,率失真优化过程可用于决定运动矢量选择和/或通常决定编码参数,如是对块使用帧间预测还是帧内预测,以及使用哪些设置。
在该通用边界分割处理中,无论当前块是边界块(isB)还是非边界块(noB),都使用相同分割语法的分割指示符,其中,isB表示块(例如,CTU/CU(即,CTU或CU))位于图像边界处且仅部分位于图像内;noB表示块(例如,CTU/CU)完全位于图像内,可以包括位于图像边界处但不伸出边界的非边界块。因此,编码器无需先确定当前块是否为边界块即可确定分割指示符。
当分割指示符指示不对当前块进行划分时,编码器在步骤506中确定当前块是否为边界块。可以对任何类型的块进行确定,所述块例如编码单元(coding unit,CU)、编码树单元(coding tree unit,CTU),包括已经分割、划分或以其它方式从编码树单元导出的任何类型的块(或任何其它类型的根块)。
当分割指示符指示对当前块进行划分时,编码器在步骤508中不对当前块是否为边界块进行确定就对当前块进行划分。然后,该流程返回步骤502以开始下一层次的分割。
当当前块为边界块时,非边界块分割语法的分割指示符指示对当前块进行边界分割。因此,当编码器确定当前块为边界块时,编码器在步骤510中对当前块进行边界分割(例如,强制边界分割(forced boundary partition,FBP)或任何其它非信号发送边界分割)。如果所有经边界分割的叶节点完全位于图像边界内,则该方法在步骤514中停止分割。这意味着在进行边界分割之后,不进行进一步分割(叶节点)。这样,将保留最大的可能叶节点,所有叶节点完全位于图像边界内。
当当前块不是边界块时,非边界块分割语法中的分割指示符指示不对当前块进行划分。因此,当编码器确定当前块不是边界块时,编码器在步骤512中不对当前块进行划分。在步骤512之后,所述方法在步骤514中可以在接收到指示不进一步划分的指示符之后停止分割。
在步骤504之后,编码器可以将分割指示符的值编码到码流中,并将码流发送给解码器(图5中未示出)。
如上所述,在该通用边界分割处理中,在步骤504中,块是边界块还是非边界块并不重要。因此,编码器可以使用常规(例如,非边界)块分割语法。方法500中的编码器可以使用不变的常规(例如,非边界)块分割语法以分割边界定位CTU/CU,其中,边界块和非边界块(例如CTU/CU)的分割语法语义可以(至少部分地)不同。可以使用码流中的一个或多个比特来指示分割指示符。以00为例:对于正常或非边界块(例如,CTU/CU),00表示不进行划分(不划分);对于边界块(例如,CTU/CU),00表示进行边界分割(例如,非信号发送边界分割)。由于使用了常规块分割语法,该通用边界分割可以保持CABAC引擎的连续性,并且可以实现更灵活的边界分割。
图6为使用通用边界分割处理的方法的实施例600的图示,其中,该方法可以由图1所示的目的设备104、图3所示的视频解码器300或任何其它解码器(例如静止图像解码器)执行。
在图6的方法600中,在步骤602中启动该方法以从编码器等接收码流,其中,所述码流包括分割指示符和图像数据。在步骤602中,解码器可以解析码流以获得分割指示符。在步骤604中,所述解码器确定所述分割指示符是否指示对当前块进行划分。所述解码器可以根据非边界块分割语法确定所述分割指示符是否指示对当前块进行划分。图7示出了非边界块分割语法的实施例。所述分割指示符包括但不限于包括一个或多个比特的分割标志。
在该通用边界分割处理中,无论当前块是边界块(isB)还是非边界块(noB),都使用相同分割语法的分割指示符,其中,isB表示块(例如,CTU/CU)位于图像边界处且仅部分位于图像内;noB表示块(例如,CTU/CU)完全位于图像内,可以包括位于图像边界处但不伸出边界的非边界块。因此,解码器无需先确定当前块是否为边界块即可确定分割指示符。
当分割指示符指示不对当前块进行划分时,解码器在步骤606中确定当前块是否为边界块。与步骤506中的边界块的处理类似。
当分割指示符指示对当前块进行划分时,解码器在步骤608中不对当前块是否为边界块进行确定就对当前块进行划分。然后,该流程返回步骤602。
当当前块为边界块时,非边界块分割语法的分割指示符指示对当前块进行边界分割。因此,当解码器确定当前块为边界块时,解码器在步骤610中对当前块进行边界分割(例如,强制边界分割(forced boundary partition,FBP)或任何其它非信号发送边界分割)。如果所有经边界分割的叶节点完全位于图像边界内,则该方法在步骤614中停止分割。这意味着在进行边界分割之后,不进行进一步分割(叶节点)。
当当前块不是边界块时,非边界块分割语法中的分割指示符指示不对当前块进行划分。因此,当解码器确定当前块不是边界块时,解码器在步骤612中不对当前块进行划分。在步骤612之后,所述方法在步骤616中可以在接收到指示不进一步划分的指示符之后停止分割。
如上所述,在该通用边界分割处理中,解码器确定分割指示符是否指示对当前块进行划分。因此,解码器可以解析并使用常规(例如,非边界)块分割语法。方法600中的解码器可以使用不变的常规块分割语法以分割边界定位块(例如,CTU/CU),其中,边界块和非边界块(例如CTU/CU)的块分割语法语义可以(至少部分地)不同。可以使用码流中的一个或多个比特来指示分割指示符。以00为例:对于正常或非边界块(例如,CTU/CU),00表示不进行划分(不划分);对于边界块(例如,CTU/CU),00表示进行边界分割(例如,非信号发送边界分割)。由于使用了常规块分割语法,该通用边界分割可以保持CABAC引擎的连续性,并且可以实现更灵活的边界分割。
图7为实施例提供的非边界块分割语法(也可以称为传统非边界块分割语法、或常规块分割语法、或不变的常规块分割语法、或通用块分割语法)的示例,其中,根据共同块分割语法确定分割指示符(如图5-图6所示)是否指示对当前块进行划分。该共同块分割语法对非边界块和边界块都适用,包括分割指示符(或分割指示符值),该分割指示符(或分割指示符值)具有如下含义:对于非边界块,该分割指示符指示不对当前块进行划分;对于边界块,该分割指示符指示对当前块进行边界分割。换句话说,根据(预定的)边界分割对当前块进行划分。换句话说,根据当前块是否为边界块(例如,当前块是边界块还是非边界块),相同的分割指示符(或分割指示符值,例如,图7中的00)具有两种不同的含义。将在每个层次和每个块处检查图7的决策树。如图7所示,如果为noB,则图7中的框702表示“不划分”;如果为isB,则图7中的框702表示“强制块分割(forced block partition,FBP)”。无论当前块是isB还是noB,语法都不变。节点上的标签1表示QT划分,节点上的标签0表示非QT划分。节点704中的水平划分包括水平TT(horizontal TT,HTT)和水平BT(horizontal BT,HBT)。节点706中的垂直划分包括垂直TT(vertical TT,VTT)和垂直BT(vertical BT,VBT)。
以分割指示符为分割标志为例,通用边界分割可以在下表1所示的伪码(例如解码器)中指定:
表1
Figure BDA0002775476560000111
特别地,在每个CTU/CU层,将命名为parse_splitting_flag的标志添加到码流中,指示是否对CTU/CU进行划分。如果不对CTU/CU进行划分,则检查另一个bBoundary,指示块是否为边界块。如果块在边界上,则进行FBP。如果块不在边界上,不进行划分。这种层次细分一直持续到所得到的块不再细分。阵列索引x0,y0表示所考虑编解码块的左上侧亮度像素点相对于图像的左上侧亮度像素点的位置(x0,y0)。在本发明中,bBoundary缩写为isB,splitting_flag为分割指示符的一个示例。
图8-图10为进一步描述编码器侧和解码器侧的通用边界分割的实施例。所述分割遵循四叉树结构,以适应各种局部特性。图8示出了底边界块分割的示例。图9为依照图8的四叉树结构分层划分的CTU的分割和编解码树的实施例的示意图。特别地,编解码树定义常规块分割语法,该常规块分割语法指定将CTU细分为CU。与CTU类似,CU由方形像素点块以及与这些像素点块相关联的语法组成。因此,如图9所示,从CTU(层次深度0,也可以称为根块)开始进行分层分割,可以但不一定必须将该CTU(按四叉树)细分为四个层次深度为1的CU。
图8示出了底边界块分割的示例。粗实线802表示图像边界。图8中的CTU 800为边界块,CTU的内部部分通过实线802示出,而CTU的外部部分通过虚线804示出。通过四叉树(quad-tree,QT)分割,将图8中的CTU 800划分成CU1、CU2、CU3和CU4,即第一CU、第二CU、第三CU和第四CU。CTU的内部部分包括CU1和CU2的一部分。CTU的外部部分包括CU1和CU2的一部分、CU3和CU4。在该示例中,点线806表示强制边界分割。图9-图10主要描述了灰色块810的信号发送和分割。这种编解码顺序也称为z扫描。确保对于每个CU,除了位于条带顶部或左边界的像素点之外,已对CU上方以及CU左侧的所有像素点进行编解码,使得对应的像素点可用于帧内预测,并且相关联的编解码参数可用于预测当前CU的编码参数。
在图9中,0表示对位元信号发送0;1表示对位元信号发送1;“-”表示没有信号发送。位元表示熵编解码之前的标志。比特表示熵编解码之后的位元。在熵编解码之前,标志用位元表示。在熵编解码之后,将位元编码为比特。0表示不进一步划分,或表示非QT划分;1表示进一步QT划分。IsB表示CTU/CU仅部分位于图像内,在边界处;noB表示CTU/CU完全位于图像内,不在边界处;外部表示CTU/CU完全位于图像外,换句话说,当当前块完全在图像外部时,该当前块为外部块。
根据图5或图6中的流程,在步骤504或604中,分割指示符指示对当前块CTU 800进行划分。在图8和图9中,在步骤508或608之后,将CTU 800(按四叉树)划分成第一层次深度的第一CU、第二CU、第三CU、第四CU(深度-1CU)。CTU 800位于边界上(isB)。
在图9中,第三CU和第四CU在边界外部,不对第三CU和第四CU进行处理。因此,第三CU或第四CU没有信号发送。系统根据分割指示符确定不对第一CU进行划分。第一CU位于边界上(isB),然后对第一CU进行强制块分割。针对第一CU信号发送00,表示FBP。作为边界分割中的一种,强制块分割并不依赖于分割指示符。强制块分割也称为强制边界分割(forcedboundary partition,FBP)。
将第二CU进一步划分(按四叉树)成层次深度为2的CU 21、CU 22、CU 23和CU 24(深度-2CU)。对于CU 21和CU 22,不进行进一步划分,且CU 21和CU 22都不位于边界上(noB)。因此,针对CU 21或CU 22信号发送00,表示不划分。CU 23或CU 24位于边界上(isB)。针对CU 23或CU 24信号发送00,表示FBP。
FBP有多种类型。图10为图8(标记为CU(810))和图9的示例的强制边界分割(forced boundary partition,FBP)的实施例的示意图。图10以CU 23作进一步描述。将CU23(按FBP)进一步划分成层次深度为3的CU 231和CU 232(深度-3CU)。不对CU 231进行进一步划分,CU 231不在边界上。CU 232在边界上,将CU 232(按HBT)进一步划分成层次深度为4的CU 2321和CU 2322(深度-4CU)。CU 2321不在边界上,不进行进一步划分。CU 2322在边界外部,不对CU 2322进行处理。图10中,执行FBP,因此不需要进一步信号发送。因此,进行强制划分以分割边界部分,从而保留最大可能的叶节点,所有叶节点完全位于图像边界内。强制划分不需要分割信息,可以进行预定义,如上所述。
图11为装置1100的框图,装置1100可用于实现各实施例,例如图4-图10所示的方法实施例。装置1100可以是图1所示的源设备102、或图2所示的视频编码器200、或图1所示的目的设备104、或图3所示的视频解码器300。此外,装置1100可包括一个或多个所描述的元件。在一些实施例中,装置1100配备有一个或多个输入/输出设备,如扬声器、麦克风、鼠标、触摸屏、小键盘、键盘、打印机、显示器等。装置1100可包括一个或多个中央处理单元(central processing unit,CPU)1110、存储器1120、大容量存储器1130、视频适配器1140和连接到总线的I/O接口1160。所述总线是任何类型的若干总线架构中的一种或多种,包括内存总线或内存控制器、外围总线、或视频总线等。
CPU 1110可具有任何类型的电子数据处理器。存储器1120可具有或者可以是任何类型的系统存储器,如静态随机存取存储器(static random access memory,SRAM)、动态随机存取存储器(dynamic random access memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、只读存储器(read-only memory,ROM)、或其组合等。在一个实施例中,存储器1120可包括在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。在实施例中,存储器1120是非瞬时的。大容量存储器1130包括存储数据、程序和其它信息并使数据、程序和其它信息能够通过总线进行访问的任何类型的存储设备。例如,大容量存储器1130包括固态硬盘、硬盘驱动器、磁盘驱动器、或光盘驱动器等中的一种或多种。
视频适配器1140和I/O接口1160提供接口以使外部输入和输出设备与装置1100耦合。例如,装置1100可向客户端提供SQL命令接口。如图所示,输入和输出设备的示例包括与视频适配器1140耦合的显示器1190和与I/O接口1160耦合的鼠标/键盘/打印机1170的任何组合。其它设备可与装置1100耦合,并且可使用更多的或更少的接口卡。例如,串行接口卡(图中未示出)可以用于为打印机提供串行接口。
装置1100还包括一个或多个网络接口1150,或一个或多个网络1180,其中,网络接口1150包括以太网线等有线链路,和/或用于接入节点的无线链路。网络接口1150允许装置1100通过网络1180与远程单元通信。例如,网络接口1150可用于与数据库的通信。在一个实施例中,装置1100与局域网或广域网耦合,以进行数据处理并与如其它处理单元、互联网、远程存储设施等远程设备进行通信。
如上所述,无论块是边界块还是非边界块,都在通用边界分割方法和装置(例如,编码器和解码器)中使用非边界块分割语法。非边界块分割语法保持不变,从而保持了CABAC引擎的连续性。位于CTU/CU上的边界分割更加灵活。此外,边界分割不需要扩展允许的最大二叉树和三叉树深度(maximum allowed binary and ternary tree depth,MaxBTTDepth)。从而提高了编解码效率。
本发明所描述的主题和操作可在数字电子电路中实现,也可在计算机软件、固件或硬件中实现,包括在本发明中公开的结构及其结构等同物中实现,或在其一个或多个的组合中实现。本发明所描述的主题可实现为一个或多个计算机程序,即计算机程序指令的一个或多个模块,所述一个或多个计算机程序被编码在计算机存储介质中,以由数据处理装置执行或控制数据处理装置的操作。或者或另外,所述程序指令可在人工生成的传播信号(例如,机器生成的电、光或电磁信号)上进行编码,生成所述信号以对信息进行编码以传输到合适的接收器装置,供数据处理装置执行。计算机存储介质,例如计算机可读介质,可以是或包含在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储阵列或设备,或其中一个或多个的组合中。此外,虽然计算机存储介质不是传播信号,但计算机存储介质可以是编码到人工生成的传播信号中的计算机程序指令的源或目标。计算机存储介质也可以是或包含在一个或多个单独的物理和/或非瞬时性组件或介质(例如,多个CD、磁盘或其它存储设备)中。
在一些实现方式中,本发明所描述的操作可实现为云计算网络中服务器中提供的托管服务。例如,可在云计算网络内对计算机可读存储介质进行逻辑分组和访问。云计算网络中的服务器可包括云计算平台,用于提供云服务。在不脱离本发明范围的情况下,术语“云”、“云计算”和“基于云”可酌情互换使用。云服务可以是托管服务,由服务器提供,并通过网络传送到客户端平台,以增强、补充或替换在客户端计算机上本地执行的应用。电路可使用云服务来快速接收软件升级、应用和其它资源,否则,这些资源需要很长的时间才能传送到所述电路。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以任何形式的编程语言编写,包括编译或直译语言、声明性语言或程序语言,并且可以任何形式进行部署,例如,作为独立程序或作为模块、组件、子例程、对象或适用于计算环境中的其它单元进行部署。计算机程序可(但不必)对应文件系统中的文件。程序可存储在包括其它程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于相关程序的单个文件中,或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。可将计算机程序部署在一台计算机中执行,或部署在位于一个站点或分布于多个站点并通过通信网络互连的多台计算机中执行。
本发明中描述的过程和逻辑流可由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作和生成输出来执行动作。所述过程和逻辑流也可由现场可编程门阵列(field programmable gate array,FPGA)或专用集成电路(application-specific integrated circuit,ASIC)等专用逻辑电路执行,且装置也可实现为所述专用逻辑电路。
例如,适合于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器从只读存储器或随机存取存储器或两者中接收指令和数据。计算机的基本元件为用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储设备。通常,计算机还包括一个或多个用于存储数据的大容量存储设备(例如磁盘、磁光盘或光盘),或与一个或多个用于存储数据的大容量存储设备可操作地耦合以从大容量存储设备接收数据和/或将数据传送给大容量存储设备。然而,计算机不必具有此类设备。此外,可将计算机嵌入到其它设备中,例如移动电话、个人数字助理(personal digital assistant,PDA)、移动音频或视频播放器、游戏机、全球定位系统(Global Positioning System,GPS)接收器或便携式存储设备(例如,通用串行总线(universal serial bus,USB)闪存驱动器)等。适合存储计算机程序指令和数据的设备包括各种形式的非易失性存储器、介质和存储设备,例如,包括EPROM、EEPROM和闪存设备等半导体存储设备;内置硬盘或可移动硬盘等磁盘;磁光盘;以及CD-ROM和DVD-ROM磁盘。处理器和存储器可由专用逻辑电路进行补充或并入专用逻辑电路。
虽然本发明包括许多具体实现方式的细节,但这些不应对任何实现方式的范围或所要求保护的范围造成限制,而应作为针对特定实现方式的特征的描述。在单独实现方式的上下文中,本发明中所描述的某些特征也可以在单个实现方式中组合实现。反之,在单个实现方式的上下文中描述的各种特征也可以在多个实现方式中单独实现或在任何合适的子组合中实现。此外,尽管上文可将特征描述为以某些组合来实现,甚至最初要求保护,但是在某些情况下,可从要求保护的组合中去除该组合中的一个或多个特征,且所要求保护的组合可针对子组合或子组合的变型。
同样,虽然附图以特定顺序描述操作,但这不应理解为要求此类操作按照所示的特定顺序或按顺序执行,或者要求执行所示的所有操作,以达到期望的结果。在某些情况下,可以有利地进行多任务处理和并行处理。此外,上述实现方式中的各种系统组件的分离不应理解为所有实现方式都要求这种分离。应理解,所描述的程序组件和系统通常可以一起集成到单个软件产品中或封装到多个软件产品中。
因此,已对本主题的特定实现方式进行了描述。其它实现方式在以上权利要求的保护范围之内。在一些情况下,可以以不同的顺序执行权利要求中所述的动作,并且仍可以达到期望的效果。此外,附图中描述的过程不一定要求按所示的特定顺序或按顺序执行才能达到期望的效果。在某些实现方式中,可以进行多任务处理和并行处理。

Claims (25)

1.一种用于对当前块进行边界分割的方法,其特征在于,所述方法由解码器(104、300)执行,所述方法包括:
接收码流(602),其中,所述码流包括分割指示符;
解析所述码流以获得所述分割指示符(602);
根据所述分割指示符确定是否对所述当前块(604)进行划分;
当不对所述当前块进行划分时(604),确定所述当前块是否为边界块(606);
当所述当前块为边界块时(606),对所述当前块进行边界分割(610)。
2.根据权利要求1所述的方法,其特征在于,无论所述当前块是边界块(isB)还是非边界块(noB),都使用非边界块分割语法,其中,非边界块分割语法包括所述分割指示符。
3.根据权利要求2所述的方法,其特征在于,当所述当前块为边界块时,所述非边界块分割语法的所述分割指示符指示对所述当前块进行所述边界分割。
4.根据权利要求2和3中任一项所述的方法,其特征在于,当所述当前块不是边界块时,所述非边界块分割语法中的所述分割指示符指示不对所述当前块进行划分。
5.根据权利要求1至3中任一项所述的方法,其特征在于,所述方法包括:
进行所述边界分割,直到所有叶节点完全位于图像边界内。
6.根据权利要求1至5中任一项所述的方法,其特征在于,当对所述当前块进行划分时,所述方法还包括:
不对所述当前块是否为边界块进行确定就对所述当前块进行划分(608)。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述边界分割为非信号发送边界分割。
8.根据权利要求1至7中任一项所述的方法,其特征在于,当所述当前块仅部分位于图像中时,所述当前块为边界块;当所述当前块完全位于所述图像中时,所述当前块为非边界块。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述分割指示符为包括在所述码流中的标志,所述标志指示是否对所述当前块进行划分。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述边界分割包括强制边界分割(forced boundary partition,FBP),所述强制边界分割不依赖于所述分割指示符。
11.一种用于对图像的当前块进行边界分割的方法,其特征在于,所述方法由编码器执行,所述方法包括:
确定分割指示符,其中,所述分割指示符指示是否对所述当前块进行划分(504);
当所述分割指示符指示不对所述当前块进行划分时(504),确定所述当前块是否为边界块(506);
当所述当前块为边界块时(506),对所述当前块进行边界分割(510)。
12.根据权利要求11所述的方法,其特征在于,无论所述当前块是边界块(isB)还是非边界块(noB),都使用非边界块分割语法,其中,非边界块分割语法包括所述分割指示符。
13.根据权利要求12所述的方法,其特征在于,当所述当前块为边界块时,所述非边界块分割语法的所述分割指示符指示对所述当前块进行所述边界分割。
14.根据权利要求12和13中任一项所述的方法,其特征在于,当所述当前块不是边界块时,所述非边界块分割语法中的所述分割指示符指示不对所述当前块进行划分。
15.根据权利要求11至14中任一项所述的方法,其特征在于,所述方法包括:
进行所述边界分割,直到所有叶节点完全位于图像边界内。
16.根据权利要求11至15中任一项所述的方法,其特征在于,当对所述当前块进行划分时,所述方法还包括:
不对所述当前块是否为边界块进行确定就对所述当前块进行划分(508)。
17.根据权利要求11至16中任一项所述的方法,其特征在于,所述边界分割为非信号发送边界分割。
18.根据权利要求11至17中任一项所述的方法,其特征在于,当所述当前块仅部分位于图像中时,所述当前块为边界块;当所述当前块完全位于所述图像中时,所述当前块为非边界块。
19.根据权利要求11至18中任一项所述的方法,其特征在于,所述分割指示符为包括在所述码流中的标志,所述标志指示是否对所述当前块进行划分。
20.根据权利要求11至19中任一项所述的方法,其特征在于,所述边界分割包括强制边界分割(forced boundary partition,FBP),所述强制边界分割不依赖于所述分割指示符。
21.一种解码器(104、300),其特征在于,包括用于执行根据权利要求1至10中任一项所述方法的处理电路。
22.一种编码器(102、200),其特征在于,包括用于执行根据权利要求11至20中任一项所述方法的处理电路。
23.一种包括程序代码的计算机程序产品,其特征在于,当所述计算机程序在计算设备中运行时,所述程序代码用于执行根据权利要求1至10中任一项所述的方法,或用于执行根据权利要求11至20中任一项所述的方法。
24.一种用于对图像的当前块进行边界分割的解码器,其特征在于,包括:
一个或多个处理器;
非瞬时性计算机可读存储介质,与所述处理器耦合,并存储由所述处理器执行的程序,其中,所述程序在由所述处理器执行时使得所述解码器执行根据权利要求1至10中任一项所述的方法。
25.一种用于对图像的当前块进行边界分割的编码器,其特征在于,包括:
一个或多个处理器;
非瞬时性计算机可读存储介质,与所述处理器耦合,并存储由所述处理器执行的程序,其中,所述程序在由所述处理器执行时使得所述编码器执行根据权利要求11至20中任一项所述的方法。
CN201980032105.6A 2018-05-30 2019-05-29 用于边界分割的方法和装置 Pending CN112136327A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862678242P 2018-05-30 2018-05-30
US62/678,242 2018-05-30
PCT/EP2019/064011 WO2019229146A1 (en) 2018-05-30 2019-05-29 Method and apparatus for boundary partition

Publications (1)

Publication Number Publication Date
CN112136327A true CN112136327A (zh) 2020-12-25

Family

ID=66690363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032105.6A Pending CN112136327A (zh) 2018-05-30 2019-05-29 用于边界分割的方法和装置

Country Status (4)

Country Link
US (1) US20210084298A1 (zh)
EP (1) EP3791582A1 (zh)
CN (1) CN112136327A (zh)
WO (1) WO2019229146A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019189279A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
CN112369022A (zh) * 2018-06-27 2021-02-12 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103563380A (zh) * 2011-05-27 2014-02-05 联发科技股份有限公司 减少用于视频处理的行缓冲的方法及装置
CN104040900A (zh) * 2011-11-08 2014-09-10 高通股份有限公司 用于上下文自适应二进制算术译码的上下文数目缩减
CN104365105A (zh) * 2012-06-01 2015-02-18 高通股份有限公司 视频译码中的外部图片
CN104581159A (zh) * 2013-10-18 2015-04-29 华为技术有限公司 视频编解码中的块分割方式确定方法及相关装置
KR20160087205A (ko) * 2015-01-13 2016-07-21 인텔렉추얼디스커버리 주식회사 영상 트랜스코더 및 트랜스코딩 방법
CN106454340A (zh) * 2010-12-28 2017-02-22 杜比国际公司 用于选择性地破坏视频编码中的预测的方法和系统
US20170208336A1 (en) * 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding
US20170347096A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
CN107431815A (zh) * 2015-03-13 2017-12-01 Lg 电子株式会社 处理视频信号的方法及其设备
CN107925773A (zh) * 2015-06-11 2018-04-17 英迪股份有限公司 使用自适应去块滤波编码和解码图像的方法及其装置
CN107979756A (zh) * 2016-09-14 2018-05-01 联发科技股份有限公司 一种视频编码系统所使用的视频编码方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454340A (zh) * 2010-12-28 2017-02-22 杜比国际公司 用于选择性地破坏视频编码中的预测的方法和系统
CN103563380A (zh) * 2011-05-27 2014-02-05 联发科技股份有限公司 减少用于视频处理的行缓冲的方法及装置
CN104040900A (zh) * 2011-11-08 2014-09-10 高通股份有限公司 用于上下文自适应二进制算术译码的上下文数目缩减
CN104365105A (zh) * 2012-06-01 2015-02-18 高通股份有限公司 视频译码中的外部图片
CN104581159A (zh) * 2013-10-18 2015-04-29 华为技术有限公司 视频编解码中的块分割方式确定方法及相关装置
KR20160087205A (ko) * 2015-01-13 2016-07-21 인텔렉추얼디스커버리 주식회사 영상 트랜스코더 및 트랜스코딩 방법
CN107431815A (zh) * 2015-03-13 2017-12-01 Lg 电子株式会社 处理视频信号的方法及其设备
CN107925773A (zh) * 2015-06-11 2018-04-17 英迪股份有限公司 使用自适应去块滤波编码和解码图像的方法及其装置
US20170208336A1 (en) * 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding
US20170347096A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
CN107979756A (zh) * 2016-09-14 2018-05-01 联发科技股份有限公司 一种视频编码系统所使用的视频编码方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIH-WEI HSU 等: "Description of SDR video coding technology proposal by MediaTek", 《JOINT VIDEO EXPERTSTEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 1 - 3 *

Also Published As

Publication number Publication date
EP3791582A1 (en) 2021-03-17
WO2019229146A1 (en) 2019-12-05
US20210084298A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
JP7368414B2 (ja) 画像予測方法および装置
CN112789863B (zh) 帧内预测方法及设备
US10097842B2 (en) Restriction of escape pixel signaled values in palette mode video coding
TWI688262B (zh) 用於視訊寫碼之重疊運動補償
RU2668723C2 (ru) Способ и оборудование для кодирования и декодирования видеосигналов
US11477484B2 (en) Video intra prediction using hybrid recursive filters
KR20210072064A (ko) 인터 예측 방법 및 장치
CN112789858A (zh) 帧内预测方法及设备
EP3896974A1 (en) Video encoder, video decoder, and corresponding method
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
US20210084298A1 (en) Method and apparatus for boundary partition
US11323706B2 (en) Method and apparatus for aspect-ratio dependent filtering for intra-prediction
US11539953B2 (en) Apparatus and method for boundary partition
CN112135135A (zh) 视频解码方法、装置、计算机设备及存储介质
KR20210018462A (ko) 인트라 예측 방법 및 장치
US11805250B2 (en) Performing intra-prediction using intra reference sample filter switching
CN112135149A (zh) 语法元素的熵编码/解码方法、装置以及编解码器
US20240179345A1 (en) Externally enhanced prediction for video coding
US20150092844A1 (en) Intra-prediction method for multi-layer images and apparatus using same
WO2023129680A1 (en) Methods and devices on probability calculation for context-based adaptive binary arithmetic coding
KR20230162801A (ko) 비디오 코딩을 위한 외부적으로 향상된 예측

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination