CN111328449B - 基于细分块的自动扫描顺序的视频信号处理系统和方法 - Google Patents

基于细分块的自动扫描顺序的视频信号处理系统和方法 Download PDF

Info

Publication number
CN111328449B
CN111328449B CN201880072730.9A CN201880072730A CN111328449B CN 111328449 B CN111328449 B CN 111328449B CN 201880072730 A CN201880072730 A CN 201880072730A CN 111328449 B CN111328449 B CN 111328449B
Authority
CN
China
Prior art keywords
sub
blocks
determined
scan order
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880072730.9A
Other languages
English (en)
Other versions
CN111328449A (zh
Inventor
T.波里尔
F.莱林内克
F.厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN111328449A publication Critical patent/CN111328449A/zh
Application granted granted Critical
Publication of CN111328449B publication Critical patent/CN111328449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了不同的实现方式，特别是在当前块由多个子块组成时，用于选择正被编码或解码的当前块的子块的扫描顺序的实现方式。在一个示例中，基于多个子块中的每个子块的对应帧内预测模式，确定对应依赖数，其指示每个子块用于进行空间预测的多个子块中的其他子块的数量。基于所确定的多个子块中的每个子块的对应依赖数，确定多个子块的扫描顺序。使用所确定的多个子块的扫描顺序来编码或解码当前块。

Description

基于细分块的自动扫描顺序的视频信号处理系统和方法
技术领域
本实施例中的至少一个一般地涉及例如用于视频编码或解码的方法或装置，并且更具体地涉及在当前块由多个子块组成时，用于选择正被编码或解码的当前块的子块的扫描顺序的方法或装置。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用预测(包括运动矢量预测)和变换来利用视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始图像和预测图像之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过与熵编码、量化、变换和预测相对应的逆过程对压缩数据进行解码。
高压缩技术的最近添加内容包括由联合视频探索组(JVET)开发的各种版本的参考软件和/或文档JEM(Joint Exploration Model，联合探索模型)。JEM的目的是改进现有的HEVC(High Efficiency Video Coding，高效视频编码)标准。在一个JEM版本(例如，“Algorithm Description of Joint Exploration Test Model 5(联合探索测试模型5的算法描述)”，文件JVET-E1001_v2，ISO/IEC JTC1/SC29/WG11联合视频探索组，第5次会议，2017年1月12日至20日，瑞士，日内瓦)中，支持一些其他运动模型以改进时间预测。为此，可以在空间上将PU(预测单元)划分为子PU，并且可以使用模型为每个子PU分配专用运动矢量。
在JEM的较近版本(例如，“Algorithm Description of Joint Exploration TestModel 2(联合探索测试模型2的算法描述)”，文件JVET-B1001_v3，ISO/IEC JTC1/SC29/WG11联合视频探索组，第2次会议，2016年2月20日至26日，美国，圣地亚哥)中，不再指定将CU(编码单元)划分为PU或TU(变换单元)。而是可以使用更灵活的CU尺寸，并将一些运动数据直接分配给每个CU。在JEM的较新版本下的这种新编解码器设计中，可以将CU划分为子CU，并且可以为所划分CU的每个子CU计算运动矢量。
发明内容
根据至少一个实施例的一般方面，提出了一种视频编码的方法，包括：对于图片中正被编码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式；基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数，所述对应的依赖数指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量；基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序；以及使用所确定的多个子块的扫描顺序来编码当前块。
根据至少一个实施例的另一一般方面，提出了一种视频解码的方法，包括：对于图片中正被解码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式；基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数，所述对应的依赖数指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量；基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序；以及使用所确定的多个子块的扫描顺序来解码当前块。
根据至少一个实施例的另一一般方面，提出了一种用于视频编码的装置，包括：用于对于图片中正被编码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式的部件；用于基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数的部件，所述对应的依赖数指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量；用于基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序的部件；以及用于使用所确定的多个子块的扫描顺序来编码当前块的部件。
根据至少一个实施例的另一一般方面，提出了一种用于视频解码的装置，包括：用于对于图片中正被解码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式的部件；用于基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数的部件，所述对应的依赖数指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量；用于基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序的部件；以及用于使用所确定的多个子块的扫描顺序来解码当前块的部件。
根据至少一个实施例的另一一般方面，提供了一种用于视频编码的装置，包括：一个或多个处理器，以及至少一个存储器；其中所述一个或多个处理器被配置为：对于图片中正被编码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式；基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数，所述对应的依赖数指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量；基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序；以及使用所确定的多个子块的扫描顺序来编码当前块。
根据至少一个实施例的另一一般方面，提供了一种用于视频解码的装置，包括：一个或多个处理器，以及至少一个存储器；其中所述一个或多个处理器被配置为：对于图片中正被解码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式；基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数，所述对应的依赖数指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量；基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序；以及使用所确定的多个子块的扫描顺序来解码当前块。
根据至少一个实施例的另一一般方面，通过在具有较高依赖数的另一个子块之前对具有较低依赖数的子块进行编码或解码来确定扫描顺序
根据至少一个实施例的另一一般方面，通过以下方式确定扫描顺序：如果多个子块中的两个子块具有相同的所确定的依赖数，则将z扫描顺序用于扫描所述两个子块。
根据至少一个实施例的另一一般方面，如果所选择的子块具有DC或平面的帧内预测模式，则将对所选择的子块所确定的依赖数设置为默认数。
根据至少一个实施例的另一一般方面，默认数是0、1、2或3。
根据至少一个实施例的另一一般方面，如果多个子块中的一个子块被进一步细分为多个进一步细分的子块，则将多个进一步细分的子块的扫描顺序设置为与所确定的多个子块的扫描顺序相同。
根据至少一个实施例的另一一般方面，在表示图片的比特流中用信号通知所确定的多个子块的扫描顺序。
根据至少一个实施例的另一一般方面，多个子块是预测块。
根据至少一个实施例的另一一般方面，当前块被帧内编码。
根据至少一个实施例的另一一般方面，提出了一种非暂时性计算机可读介质，包含根据前述描述中任一个的方法或装置生成的数据内容。
根据至少一个实施例的另一一般方面，提供了一种信号，包括根据前述描述中任一个的方法或装置生成的视频数据。
本实施例中的一个或多个还提供了一种计算机可读存储介质，其上存储有用于根据上述方法中的任一个对视频数据进行编码或解码的指令。本实施例还提供了一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本实施例还提供了一种用于发送根据上述方法生成的比特流的方法和装置。本实施例还提供了一种计算机程序产品，其包括用于执行所描述的方法中的任一个的指令。
附图说明
图1图示了HEVC(高效视频编码)视频编码器的实施例的框图。
图2A是描绘当前块的五个空间候选{a1,b1,b0,a0,b2}的位置的图示示例，并且图2B是描绘使用AMVP(高级运动矢量预测)的示例性运动矢量表示的图示示例。
图3图示了HEVC视频解码器的实施例的框图。
图4图示了编码树单元(CTU)和编码树(CT)概念的示例，以表示压缩的HEVC图片。
图5A图示了将编码树单元(CTU)划分为编码单元(CU)、预测单元(PU)和变换单元(TU)的示例。
图5B图示了不同的分区类型。
图6图示了用于HEVC的不同帧内预测模式。
图7图示了用于多个块的z扫描顺序的示例。
图8A和图8B图示了用于确定扫描顺序的现有技术。
图9图示了根据至少一个实施例的一般方面的示例方法。
图10图示了根据至少一个实施例的一般方面的另一示例方法。
图11图示了根据至少一个实施例的一般方面的另一示例方法。
图12还图示了根据至少一个实施例的一般方面的另一示例方法。
图13还图示了根据至少一个实施例的一般方面的另一示例方法。
图14图示了根据至少一个实施例的一般方面如何确定依赖数。
图15图示了根据至少一个实施例的一般方面的另一示例方法。
图16图示了根据至少一个实施例的一般方面的另一示例方法。
图17图示了根据至少一个实施例的一般方面的另一示例方法。
图18图示了根据至少一个实施例的一般方面的另一示例方法。
图19图示了根据至少一个实施例的一般方面的另一示例方法。
图20图示了根据至少一个实施例的一般方面的另一示例方法。
图21图示了根据至少一个实施例的一般方面的另一示例方法。
图22图示了根据至少一个实施例的一般方面的另一示例方法。
图23图示了其中可以实现实施例的各个方面的示例装置的框图。
具体实施方式
图1图示了示例性高效视频编码(HEVC)编码器100。HEVC是由视频编码联合协作组(JCT-VC)开发的压缩标准(例如，参见“ITU-T H.265ITU电信标准化部门(10/2014)，H系列：视听和多媒体系统，视听服务的基础设施-运动视频的编码，高效视频编码，ITU-T H.265建议书”)。
在HEVC中，为了对具有一个或多个图片的视频序列进行编码，将图片分区为一个或多个条带，其中每个条带可以包括一个或多个条带段。将条带段组织为编码单元、预测单元和变换单元。
在本申请中，术语“重建的”和“解码的”可以互换使用，术语“编码的(encoded)”或“编码的(coded)”可以互换使用，并且术语“图片”和“帧”可以互换使用。通常但并非必须地，术语“重建的”在编码器侧使用，而“解码的”在解码器侧使用。
HEVC规范在“块”和“单元”之间区分，其中“块”针对样本阵列(例如，亮度，Y)中的特定区域，而“单元”包括所有已编码颜色分量(Y、Cb、Cr或单色)的并置块、语法元素和与块相关联的预测数据(例如，运动矢量)。
为了编码，将图片分区为具有可配置尺寸的正方形的编码树块(CTB)，并将连续的一组编码树块分组为条带。编码树单元(CTU)包含已编码颜色分量的CTB。CTB是分区为编码块(CB)的四叉树的根，并且可以将编码块分区为一个或多个预测块(PB)，并形成分区为变换块(TB)的四叉树的根。与编码块、预测块和变换块相对应，编码单元(CU)包括预测单元(PU)和树状结构的变换单元(TU)集合，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可以用于指代例如CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，“块”也可以用于指代如H.264/AVC或其他视频编码标准中指定的宏块和分区，并且更一般地指代各种尺寸的数据阵列。
在示例性编码器100中，如下所述，由编码器元件对图片进行编码。要编码的图片以CU为单位进行处理。使用帧内或帧间模式对每个CU进行编码。当CU以帧内模式编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个对CU进行编码，并且通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测的块来计算预测残差。
根据同一条带内的重建的邻近样本来预测帧内模式中的CU。在HEVC中，35个帧内预测模式的集合可用，包括DC、平面和33个角度预测模式。从与当前块相邻的行和列重建帧内预测参考。使用来自先前重建的块的可用样本，参考在水平和垂直方向上延伸超过块尺寸的两倍。当角度预测模式用于帧内预测时，可以沿着由角度预测模式指示的方向复制参考样本。
图6图示了HEVC中的33个角度预测模式(从2到34编号)，其中角度定义对应于每个角度帧内预测模式。相关联的位移参数H和V分别用于指示水平和垂直方向性，而标识符的数字部分指代以1/32分数的样本网格位置为单位的样本位置位移。
可以使用两个不同的选项对当前块的适用亮度帧内预测模式进行编码。如果适用模式包含在三个最可能模式(MPM)的构建列表中，则通过MPM列表中的索引来用信号通知该模式。否则，通过模式索引的固定长度二值化来用信号通知该模式。从顶部和左侧邻近块的帧内预测模式中推导三个最可能模式。
对于帧间CU，将对应的编码块进一步分区为一个或多个预测块。在PB级别上执行帧间预测，并且对应的PU包含关于如何执行帧间预测的信息。可以以两种方法、即“合并(merge)模式”和“高级运动矢量预测(AMVP)”来用信号通知运动信息(即，运动矢量和参考图片索引)。
在合并模式中，视频编码器或解码器基于已编码块来组装候选列表，并且视频编码器用信号通知候选列表中候选之一的索引。在解码器侧，基于用信号通知的候选来重建运动矢量(MV)和参考图片索引。
合并模式中的可能候选的集合包括空间邻居候选、时间候选和生成的候选。图2A示出了当前块210的五个空间候选{a1,b1,b0,a0,b2}的位置，其中a0和a1在当前块的左侧，并且b1、b0、b2在当前块的顶部。对于每个候选位置，根据a1、b1、b0、a0、b2的顺序检查可用性，然后去除候选中的冗余。
参考图片中并置位置的运动矢量可以用于时间候选的推导。适用的参考图片在条带的基础上进行选择并在条带标头中指示，并且将时间候选的参考索引设置为iref＝0。如果并置PU的图片和从其预测并置PU的参考图片之间的POC距离(td)与当前图片和包含并置PU的参考图片之间的距离(tb)相同，则并置运动矢量mvcol可以直接用作时间候选。否则，将缩放的运动矢量tb/td*mvcol用作时间候选。取决于当前PU所处的位置，通过当前PU的右下或中心处的样本位置来确定并置PU。
在条带标头中指定合并候选的最大数量N。如果合并候选的数量大于N，则仅使用前N-1个空间候选和时间候选。否则，如果合并候选的数量小于N，则用作为已存在候选或空候选的组合的生成候选，将候选集合填充到最大数量N。在本申请中，在合并模式中使用的候选可以被称为“合并候选”。
如果CU指示跳过模式，则仅在合并候选列表大于1的情况下指示合并候选的适用索引，并且不为CU编码另外的信息。在跳过模式中，应用运动矢量而没有残差更新。
在AMVP中，视频编码器或解码器基于从已编码块中确定的运动矢量来组装候选列表。然后，视频编码器用信号通知候选列表中的索引以识别运动矢量预测器(MVP)，并用信号通知运动矢量差(MVD)。在解码器侧，运动矢量(MV)被重建为MVP+MVD。适用的参考图片索引也在AMVP的PU语法中显式编码。
在AMVP中仅选择两个空间运动候选。从左侧位置{a0,a1}中选择第一空间运动候选，并且从上方位置{b0，b1，b2}中选择第二空间运动候选，同时保持两个集合中指示的搜索顺序。如果运动矢量候选的数量不等于二，则可以包括时间MV候选。如果候选集合仍未完全填充，则使用零运动矢量。
如果空间候选的参考图片索引对应于当前PU的参考图片索引(即，使用相同的参考图片索引，或都使用长期参考图片，独立于参考图片列表)，则直接使用空间候选运动矢量。否则，如果两个参考图片都是短期参考图片，则根据当前图片和当前PU的参考图片之间的距离(tb)与当前图片和空间候选的参考图片之间的距离(td)，对候选运动矢量进行缩放。在本申请中，在AMVP模式中使用的候选可以被称为“AMVP候选”。
为了便于标记，将在编码器侧用“合并”模式测试的块或在解码器侧用“合并”模式解码的块称为“合并”块，而将在编码器侧用AMVP模式测试的块或在解码器侧用AMVP模式解码的块称为“AMVP”块。
图2B图示了使用AMVP的示例性运动矢量表示。对于要编码的当前块240，可以通过运动估计来获得运动矢量(MVcurrent)。使用来自左侧块230的运动矢量(MVleft)和来自上方块220的运动矢量(MVabove)，可以从MVleft和MVabove中选择运动矢量预测器，作为MVPcurrent。然后，可以将运动矢量差计算为MVDcurrent＝MVcurrent–MVPcurrent。
可以使用用于预测的一个或两个参考图片来执行运动补偿预测。在P条带中，仅单个预测参考可以用于帧间预测，使得能够对预测块进行单向预测。在B条带中，两个参考图片列表可用，并且可以使用单向预测或双向预测。在双向预测中，使用来自每个参考图片列表的一个参考图片。
在HEVC中，对于4∶2∶0配置，用于运动补偿的运动信息的精度是亮度分量的四分之一样本(也称为四分之一像素或1/4像素)和色度分量的八分之一样本(也称为1/8像素)。7抽头或8抽头插值滤波器用于分数样本位置的插值，即对于亮度可以处理水平和垂直方向上的全样本位置的1/4、1/2和3/4。
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器也可以跳过变换，并在4×4TU的基础上将量化直接应用于未变换的残差信号。编码器也可以绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接PCM编码中，不应用预测，并且将编码单元样本直接编码到比特流中。
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化的变换系数进行解量化(140)和逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测的块，来重建图像块。将环内滤波器(165)应用于重建的图片，以例如执行解块/SAO(样本自适应偏移)滤波来减少编码伪像。将滤波后的图像存储在参考图片缓冲器(180)。
图3图示了示例性HEVC视频解码器300的框图。在示例性解码器300中，如下所述，由解码器元件对比特流进行解码。视频解码器300通常执行与如图1中描述的编码通路相对的解码通路，该编码通路执行视频解码作为编码视频数据的一部分。
特别地，解码器的输入包括可以由视频编码器100生成的视频比特流。首先对比特流进行熵解码(330)以获得变换系数、运动矢量和其他编码信息。对变换系数进行解量化(340)和逆变换(350)以解码预测残差。组合(355)解码的预测残差和预测的块，来重建图像块。可以从帧内预测(360)或运动补偿预测(即，帧间预测)(375)获得(370)预测的块。如上所述，可以使用AMVP和合并模式技术来推导用于运动补偿的运动矢量，运动补偿可以使用插值滤波器来计算参考块的子整数样本的插入值。将环内滤波器(365)应用于重建的图像。将滤波后的图像存储在参考图片缓冲器(380)。
如所述，在HEVC中，采用运动补偿的时间预测来利用视频的连续图片之间存在的冗余。为此，将运动矢量与每个预测单元(PU)相关联。如上所述，每个CTU由压缩域中的编码树表示。这是CTU的四叉树划分，其中每个叶片称为编码单元(CU)，并且也在图4中针对CTU410和420图示出。然后，对每个CU给定一些帧内或帧间预测参数作为预测信息。为此，可以在空间上将CU分区为一个或多个预测单元(PU)，每个PU被分配一些预测信息。在CU级别上分配帧内或帧间编码模式。在图5A中针对示例性CTU 500和CU 510进一步图示了这些概念。
在图5B上图示了各种分区类型。它们包括正方形分区(2N×2N和N×N)(其为在帧内和帧间CU中都使用的仅有分区)、仅在帧内CU中使用的对称非正方形分区(2N×N，N×2N)和仅在帧间CU中使用的不对称分区(下面一行)。
CTU内部的CU以深度优先的顺序进行编码。编码顺序也称为z扫描顺序，并且在图7中图示。在图7中，z扫描顺序从1到16进行编号，其中1是正被编码或解码的第一个块。z扫描顺序确保除了位于条带顶部或左侧边界的那些CU之外，对于正被编码的每个CU，CU上方和CU左侧的所有样本都已被编码或解码，因此对应样本可以用于帧内预测，并且相关联的编码参数可以用于预测当前CU的编码参数。
在HEVC中，对每个PU分配一个运动矢量。该运动矢量用于所考虑PU的运动补偿的时间预测。因此，在HEVC中，将预测的块与其参考块链接的运动模型仅由基于参考块和对应的运动矢量的平移(translation)或计算构成。
如所述，与现有技术的视频编解码器相比，本原理旨在提高压缩效率。提高压缩效率意味着在给定的目标质量(PSNR，峰值信噪比)水平下降低平均比特率，或者在给定的比特率下提高目标质量。因此，本原理的一个示例性方面提高了帧内编码块的编码效率，其中帧内编码块编码涉及预测、残差计算、变换、量化和熵编码。在一个示例性实施例中，将正被编码的当前块进一步划分为多个子块。这些子块可以是子CU、预测块或变换块。
管理多个块或子块的扫描顺序的现有技术包括，根据与该预测单元相关联的帧内预测方向，推导在空间上被唯一预测单元覆盖的变换单元的扫描顺序。该技术在“Direction-dependent sub-TU scan order on intra prediction(帧内预测的方向相关的子TU扫描顺序)”(Shunsuke Iwamura，Atsuro Ichigaya(NHK)，文档：JVET-B0028，lTU-TSG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11联合视频探索组(JVET)，第二次会议：美国，圣地亚哥，2016年2月20日至26日)中描述。
图8A和图8B图示了该现有技术的概念。如图8A中所示，预测单元801的帧内预测模式具有如箭头802所指示的关联帧内预测方向。基于该方向802，确定变换单元803-0至803-3的扫描顺序。也就是说，扫描顺序(如数字0到3所指示)在向上和向右的方向上，与箭头802所指示的方向相同。同样，图8B示出了指示PU 806的帧内预测模式的方向的方向性箭头807。然后，将如方向箭头807所指示的该方向用作细分的变换单元808-1至808-3的扫描顺序方向(即，向下和向左)。
以上现有方法的好处在于，它增加了可用于在编码和解码过程期间以从TU到TU的闭环方式执行帧内预测的参考样本的数量。因此，提高了帧内预测的整体精度并且改进了编码效率。
相应地，所提出的解决方案包括，根据分别分配给所考虑CU中的每个PU的帧内预测方向，自动推导包含在给定块中的子块的扫描顺序。然后，可以以不同的方式使用该自动推导来提高编码效率。从分配给包含在所考虑块中的每个子块的对应的帧内预测模式或方向中系统地导出所使用的子块扫描顺序。所推导的子块扫描顺序用于改进先前提到的现有技术的扫描顺序的编码和解码。在一个示例性实施例中，所考虑的当前块可以是帧内预测的CU，并且子块可以是帧内预测的PU、TU或子CU。
相应地，图9图示了根据本原理的至少一个实施例的一般方面的示例性编码方法900。在910处，方法900对于图片中正被编码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式。在920处，方法900基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数，其指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量。在930处，方法900基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序。在940处，方法900使用所确定的多个子块的扫描顺序来编码当前块。
同样地，图10图示了根据本原理的至少一个实施例的一般方面的示例性解码方法1000。在1010处，方法1000对于图片中正被解码的当前块，对从当前块中细分的多个子块中的每个子块确定帧内预测模式。在1020处，方法1000基于对应的对多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数，其指示多个子块中的每个子块用于进行多个子块中的每个子块的空间预测的多个子块中的其他子块的数量。在1030处，方法1000基于对多个子块中的每个子块所确定的对应的依赖数，确定多个子块的扫描顺序。在1040处，方法1000使用所确定的多个子块的扫描顺序来解码当前块。
图11图示了处理/语法1100的实施例的细节，该处理/语法1100用于为从正被解码的CU中细分的多个PU推导有效扫描顺序。过程1100的输入是被分配帧内编码模式的CU，如图11的1110处所示。在1120处，过程1100确定并解码PU分区类型(即，如何将CU分区为如图7中所示的不同PU)。在1130处，过程1100验证CU是否已被分区或细分为多个PU。如果是，则在1140处，过程1100解析并解码与每个细分PU相关联的帧内预测模式。帧内预测模式可以是例如如先前已经描述的HEVC中的34个帧内预测模式中的一个。在1150处，方法1100根据分配给每个PU的帧内预测模式或关联方向，推导PU扫描顺序。稍后还将进一步详细描述该特定示例性方面。在1160处，鉴于该扫描顺序，方法1100能够连续地解码和重建CU。为此，对包含在CU中的每个变换单元进行解码和重建。根据所确定的PU扫描顺序，完成该TU重建过程，使得在解码器开始重建包含在下一个PU中的TU之前，重建在空间上位于给定PU中的所有TU。如前所述，TU重建涉及解码的变换系数的逆变换、它们的逆量化(其提供纹理残差TU)、帧内预测、所获得的预测器和残差的相加、以及最后的一个或多个后处理步骤(解块滤波器、样本自适应偏移、自适应环路滤波器)。如果如在1130处所确定的，当前CU没有被进一步分区为多个PU，则不需要用于任何细分的扫描顺序，并且在1135处对当前CU进行整体解码。
根据非限制性实施例，TU熵解码过程独立于PU扫描顺序(因此，仅重建过程按照所确定的PU扫描顺序)。根据另一个非限制性实施例，TU熵解码也按照所确定的PU扫描顺序。
图12图示了根据本原理的另一编码过程/语法1200的实施例的细节。该过程的输入是要被编码的帧内CU，如图12的1210处所示。在1220处，如果当前CU要被分区为多个PU，则过程1200选择最佳的PU分区类型和相关联的帧内预测模式。通常以速率失真(RD)优化的方式，对CU到一个或多个PU的最佳PU分区与PU的关联预测模式一起进行选择。
一个众所周知且常用的确定速率失真成本的示例定义如下：
RDcost＝D+λ×R
其中，D表示原始块和重建块之间的失真(通常为L2距离)，该重建块通过用所考虑的候选编码和解码当前CU而获得；R表示速率成本，例如通过用所考虑的候选编码当前块而生成的比特数；λ是拉格朗日参数，其表示视频序列被编码的速率目标。稍后还将参考例如图17和图18对RD选择进行进一步描述。
在图12的1230处，方法1200验证当前CU是否已被分区或细分为多个PU。如果在1230处的验证结果为是，则在1240处，与每个PU相关联的对应帧内预测模式被编码并输出到比特流。在1250处，过程1200基于与每个PU相关联的对应帧内预测模式来推导多个PU的扫描顺序。稍后还将进一步详细描述该特定示例性方面。在1260处，过程1200根据所推导的PU扫描顺序来压缩和熵编码当前CU。另一方面，如果如在1230处所确定的，当前CU没有被进一步分区为多个PU，则不需要用于任何细分的扫描顺序，并且在1235处对当前CU进行整体编码。
根据本原理，现在将提供对如何鉴于用于将帧内CU分区的PU集合及其各自的帧内预测模式来推导PU扫描顺序的进一步描述。图13示出了可以如何推导PU扫描顺序的示例性过程1300。如1310处所示，过程1300的输入是用于将给定帧内CU分区的多个PU的集合，及其对应的帧内预测模式。同样，这些帧内预测模式可以是HEVC中的模式1至模式34，如前所述。过程1300的输出是1393处的预测单元索引的有序列表，其指示在编码和解码过程期间将处理PU集合的顺序。
在图13的1320处，过程1300将输出列表初始化为预测单元索引的空集。在1330处，过程1300对依赖数n＝0到N(N是最大依赖数)进行迭代。依赖数n指示多个PU中的每个PU用于进行多个PU中的每个PU的空间预测的多个PU中的其他PU的数量。因此，在1340处，过程1300从空间预测的角度搜索依赖于所考虑CU中的n个其他PU的PU。为此，提供对当前PU所依赖的PU的数量进行计算的算法。同样，该数量称为当前PU的依赖数。
图14图示了当前块的每个子块的依赖数的概念。还在图15和图16中示出了表示用于推导这些依赖数的算法的过程/语法。鉴于分配给当前PU的定向帧内预测模式，该算法计算当前CU中的PU数量，这些PU用于当前所考虑的每个PU的空间预测。
图14象征性地图示了依赖概念。图14的每个PU内部提供的数字表示每个PU的依赖等级(即，1415-0至1415-3；1425-0至1425-3；1435-0至1435-1；1445-0至1445-1)。提供了所考虑CU的四元(即，1410和1420)和二元(1430和1440)分区的可视示例。每个所考虑PU中的每个相应箭头表示用于预测当前PU的帧内预测模式或定向箭头。相应地，例如，对于块1410的子块1480-3，帧内预测模式或定向箭头1490将指示需要当前块1410的所有三个子块1480-1、1480-2和1480-4用于当前子块1480-3的专用帧内预测。
注意，对于DC和平面预测模式，可以考虑到，这些模式可能将当前CU中当前PU的所有周围PU都用于预测当前PU，以使预测尽可能准确。根据变型，可以对DC和/或平面PU分配与该默认示例性方案不同的依赖等级，例如2或更少的依赖。
现在再次回到图13的1330至1380的迭代循环，一旦在当前帧内CU中识别了具有等于n的依赖等级的PU，并且它们所依赖的n个PU已被处理，则将它们添加到输出列表。如果未找到具有依赖等级n的PU，则将当前CU中尚未添加的第一个PU(根据众所周知的Z扫描顺序)添加到输出列表。如果至少2个PU具有等于n的依赖，则首先添加在经典Z扫描顺序中优先的第一个PU。根据变型，如果未找到具有依赖n且具有已被处理的相关PU的PU，则添加具有较少依赖的PU。通过增加依赖等级对该搜索和添加过程进行迭代，直到在1380处考虑最大依赖等级为止，然后在1390和1393处仍以众所周知的Z扫描顺序将尚未在输出列表中的剩余PU索引添加到输出列表。在1395处，过程1395结束。
图15和图16提供了示例性详细语法和过程，用于基于不同分区类型和不同帧内预测模式(例如，平面(＝0)，dc(＝1)，以及HEVC的角度预测模式2-34)来确定子块(例如，PU)的依赖数。
现在，在针对整个编解码器的本原理方面，解释如何将自动PU扫描顺序推导集成到编码器侧速率失真优化(RDO)过程中，该过程选择与所考虑的帧内CU相关联的编码参数。
图17描绘了用于选择帧内预测模式集合的示例性RDO过程，这些帧内预测模式分别与用于将整个帧内CU分区的候选PU集合中的每个PU相关联。该算法1700包括，对包含在所考虑CU中的所有PU联合地选择所有预测模式。为此，如图17的示例性过程1700所示，在知道他们的编码/解码是在所提出的自动PU扫描顺序推导之后执行的情况下，它对每个可以分配给PU的预测模式元组执行循环，并计算与该元组相关联的速率失真成本。因此，对于预测模式的每个候选集合(M0,…,Mn)，在多个PU的情况下导出相关联的扫描顺序(因此导出预测模式)。其根据如前所述的图13的算法来推导。接下来，根据该推导的扫描顺序对当前帧内CU进行完全编码和重建，以获得速率失真成本和与当前考虑的预测模式元组相关联的失真。计算与当前的帧内预测模式元组相关联的拉格朗日速率失真成本。最终选择具有最小速率失真成本的元组。
图18中示出了图17中所示的示例性算法的变型。如图18中所示，算法1800包括以下内容。鉴于帧内编码单元和针对该CU分区为多个PU(PU0,…,PUn)的候选，对CU的所有可能的扫描顺序执行循环。在固定了表示为Scani的当前候选扫描顺序的情况下，还执行以下内容。对于所考虑CU中的每个预测单元PUi，执行PUi的最佳预测模式的RD搜索。在对PU的该循环中，根据当前候选扫描顺序Scani连续对PU进行处理。
一旦完成了对PU的该循环，则对所获得的最佳预测模式(M0,…,Mn)与当前候选PU扫描顺序Scani的一致性进行检查。为此，调用图13的PU扫描顺序推导过程。如果所得到的扫描顺序等于当前候选PU扫描顺序Scani，则这意味着所获得的方向集合是有效的。如果不是，则Scani和所找到的帧内预测模式的组合无效，然后将速率失真成本设置为+∞，以确保编码器不会使用该组合。
图19示出了在图17中所示的示例性算法的又一示例性变型。如图19中所示，在算法的最后变型中，鉴于帧内编码单元和针对该CU分区为PU(PU0,…,PUn)的候选，通过算法1900对CU的所有可能的扫描顺序执行循环。在固定了表示为Scani的当前候选扫描顺序的情况下，执行以下内容。对于所考虑CU中的每个预测单元PUi，执行PUi的最佳预测模式的RD搜索，但是该RD搜索被限制到当前Scani所允许的预测模式。在图20中描述并示出了限制给定PU的预测模式的功能：对预测模式的限制依赖于给定的扫描顺序和先前PU的预测模式。在对PU的该循环中，根据当前候选扫描顺序Scani连续对PU进行处理。因此，不需要检查所获得的最佳预测模式(M0,…,Mn)与当前候选PU扫描顺序Scani的一致性。也就是说，由图20的算法2000提供的功能可以确保为当前CU中的所有PU(PU0，…,PUn)选择的所有模式(M0,…,Mn)都给出等于Scani的推导扫描顺序。
图21提供了又一示例性实施例，其中所提出的PU扫描推导过程可以结合到码本系统或方法中。如图21中所示，示例性过程2100使得将所有可能的扫描顺序作为所考虑的帧内CU的潜在候选进行测试，而不论CU内PU的依赖等级如何。接下来，一旦完成了对候选扫描顺序的循环，则具有最佳速率失真成本的扫描顺序被选择。这导致具有相关联的帧内模式(M0,…,Mn)和所选择的扫描顺序Scanbest的PU集合(PU0,…,PUn)。然后，鉴于当前考虑的候选分区类型，应用当前帧内CU的压缩及其熵编码。对于该分区类型，获得最佳帧内模式和扫描顺序。
根据另一示例性实施例，图22示出了过程2200，其提供了本文描述的改进扫描顺序的改进信令。图22中的过程2200包括，在2210处，计算从所选择的如前所述的方向模式中推导的PU扫描顺序。如果这样推导的PU扫描顺序与所选择的扫描顺序相同，则在2220处对标志进行编码并将其输出到指示该相等的比特流，并且该过程在2250处结束。在解码器侧，如果指示扫描顺序的标志是从帧内方向导出的(例如，设置为1)，则可以通过在解码器侧调用例如图13的过程来取得解码顺序。另一方面，如果两个扫描顺序不一致，则在知道所选择的最佳扫描顺序与所导出的扫描顺序不同的情况下，在2240处显式地用信号通知所选择的最佳扫描顺序。
图23图示了其中可以实现示例性实施例的各个方面的示例性系统2300的框图。系统2300可以实施为包括下述各种组件并被配置为执行上述过程的设备。这样的设备的示例包括但不限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连网家用电器和服务器。系统2300可以通信地耦接到其他类似系统，并且经由如图23中所示并且如本领域技术人员已知的通信信道耦接到显示器，以实现上述示例性视频系统的全部或部分。
系统2300的各种实施例包括至少一个处理器2310，处理器2310被配置为运行加载在其中的指令以实现如上所述的各种过程。处理器2310可以包括嵌入式存储器、输入输出接口以及本领域中已知的各种其他电路。系统2300还可以包括至少一个存储器2320(例如，易失性存储设备，非易失性存储设备)。系统2300可以另外包括存储设备2340，其可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备2340可以包括内部存储设备、附接存储设备和/或网络可访问的存储设备。系统2300还可以包括编码器/解码器模块2330，编码器/解码器模块2330被配置为处理数据以提供编码的视频和/或解码的视频，并且编码器/解码器模块2330可以包括其自己的处理器和存储器。
编码器/解码器模块2330表示可以被包括在设备中以执行编码和/或解码功能的模块。如已知那样，这样的设备可以包括编码模块和解码模块之一或两者。另外，编码器/解码器模块2330可以实现为系统2300的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合并入一个或多个处理器2310内。
要加载到一个或多个处理器2310上以执行上文描述的各种过程的程序代码可以存储在存储设备2340中，随后加载到存储器2320上以由处理器2310运行。根据示例性实施例，处理器2310、存储器2320、存储设备2340和编码器/解码器模块2330中的一个或多个可以在执行上文讨论的过程期间存储各种项目中的一个或多个，包括但不限于输入视频、解码视频、比特流、等式、公式、矩阵、变量、运算和运算逻辑。
系统2300还可以包括通信接口2350，通信接口2350使得能够经由通信信道2360与其他设备进行通信。通信接口2350可以包括但不限于被配置为从通信信道2360发送和接收数据的收发器。通信接口2350可以包括但不限于调制解调器或网卡，并且通信信道2350可以实现在有线和/或无线介质内。系统2300的各种组件可以使用各种合适的连接(包括但不限于内部总线、布线和印刷电路板)而连接或通信地耦接在一起(图23中未示出)。
示例性实施例可以由通过处理器2310实现的计算机软件执行或由硬件执行，或者由硬件和软件的组合来执行。作为非限制性示例，示例性实施例可以由一个或多个集成电路实现。存储器2320可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移除存储器。处理器2310可以是适合于技术环境的任何类型，并且可以包括作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
在此描述的实现方式可以例如以方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的背景下进行讨论(例如，仅作为方法进行讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以例如在诸如例如处理器的装置中实现，该装置通常涉及处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)，以及有助于终端用户之间进行信息通信的其他设备。
此外，本领域技术人员可以容易地理解，图1中所示的示例性HEVC编码器100以及图3中所示的示例性HEVC解码器可以根据本公开的以上教导进行修改，以便对现有的HEVC标准实现所公开的改进，以获得更好的压缩/解压缩。例如，图1的示例性编码器100中的熵编码145、运动补偿170和/或运动估计175以及图3的示例性解码器中的熵解码330和/或运动补偿375可以根据所公开的教导进行修改，以实现本原理的一个或多个示例性方面。
对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”及其其他变型的引用意指结合实施例描述的特定特征、结构、特性等包括在至少一个实施例中。因此，在整个说明书各处出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指代相同的实施例。
另外，本申请或其权利要求可以涉及“确定”各种信息。确定信息可以包括例如以下中的一项或多项：估计信息、计算信息、预测信息或从存储器中取回信息。
此外，本申请或其权利要求可以涉及“访问”各种信息。访问信息可以包括例如以下中的一项或多项：接收信息、(例如，从存储器中)取回信息、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息。
另外，本申请或其权利要求可以涉及“接收”各种信息。接收与“访问”一样，旨在为广义术语。接收信息可以包括例如以下中的一项或多项：访问信息或(例如，从存储器中)取回信息。此外，在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种或另一种方式涉及“接收”。
如对于本领域技术人员将明显的，实现方式可以产生各种信号，这些信号被格式化以承载例如可以被存储或发送的信息。信息可以包括例如用于执行方法的指令或由所描述的实现方式之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用编码的数据流来调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的那样，信号可以通过各种不同的有线或无线链路来发送。信号可以存储在处理器可读介质上。

Claims (35)

1.一种视频编码的方法，包括：
对于图片中正被编码的当前块，对从所述当前块中细分的多个子块中的每个子块确定帧内预测模式；
基于对所述多个子块中的所述每个子块所确定的帧内预测模式，确定对应的依赖数；
基于对所述多个子块中的所述每个子块所确定的对应的依赖数，确定所述多个子块的扫描顺序；以及
使用所确定的所述多个子块的扫描顺序来编码所述当前块，其特征在于所述对应的依赖数指示所述多个子块中的所述每个子块用于进行所述多个子块中的所述每个子块的空间预测的其他子块的数量。
2.根据权利要求1所述的方法，其中，通过在具有较高依赖数的另一个子块之前对具有较低依赖数的子块进行编码或解码来确定所述扫描顺序。
3.根据权利要求1所述的方法，其中，通过以下方式确定所述扫描顺序：如果所述多个子块中的两个子块具有相同的所确定的依赖数，则将z扫描顺序用于扫描所述两个子块。
4.根据权利要求1所述的方法，其中，如果所选择的子块具有DC或平面的帧内预测模式，则将对所选择的子块所确定的依赖数设置为默认数。
5.根据权利要求1所述的方法，其中，如果所述多个子块中的一个子块被进一步细分为多个进一步细分的子块，则将所述多个进一步细分的子块的扫描顺序设置为与所确定的所述多个子块的扫描顺序相似的顺序。
6.根据权利要求1所述的方法，其中，在表示所述图片的比特流中用信号通知所确定的所述多个子块的扫描顺序。
7.根据权利要求1所述的方法，其中，所述多个子块是预测块。
8.根据权利要求1所述的方法，其中，所述当前块被帧内编码。
9.一种视频解码的方法，包括：
对于图片中正被解码的当前块，对从所述当前块中细分的多个子块中的每个子块确定帧内预测模式；
基于对应的对所述多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数，所述对应的依赖数指示所述多个子块中的每个子块用于进行所述多个子块中的每个子块的空间预测的所述多个子块中的其他子块的数量；
基于对所述多个子块中的每个子块所确定的对应的依赖数，确定所述多个子块的扫描顺序；以及
使用所确定的所述多个子块的扫描顺序来解码所述当前块。
10.根据权利要求9所述的方法，其中，通过在具有较高依赖数的另一个子块之前对具有较低依赖数的子块进行编码或解码来确定所述扫描顺序。
11.根据权利要求9所述的方法，其中，通过以下方式确定所述扫描顺序：如果所述多个子块中的两个子块具有相同的所确定的依赖数，则将z扫描顺序用于扫描所述两个子块。
12.根据权利要求9所述的方法，其中，如果所选择的子块具有DC或平面的帧内预测模式，则将对所选择的子块所确定的依赖数设置为默认数。
13.根据权利要求9所述的方法，其中，如果所述多个子块中的一个子块被进一步细分为多个进一步细分的子块，则将所述多个进一步细分的子块的扫描顺序设置为与所确定的所述多个子块的扫描顺序相似的顺序。
14.根据权利要求9所述的方法，其中，在表示所述图片的比特流中用信号通知所确定的所述多个子块的扫描顺序。
15.根据权利要求9所述的方法，其中，所述多个子块是预测块。
16.根据权利要求9所述的方法，其中，所述当前块被帧内编码。
17.一种用于视频编码的装置，包括：
用于对于图片中正被编码的当前块，对从所述当前块中细分的多个子块中的每个子块确定帧内预测模式的部件；
用于基于对所述多个子块中的所述每个子块所确定的帧内预测模式，确定对应的依赖数的部件；
用于基于对所述多个子块中的所述每个子块所确定的对应的依赖数，确定所述多个子块的扫描顺序的部件；以及
用于使用所确定的所述多个子块的扫描顺序来编码所述当前块的部件，其特征在于所述对应的依赖数指示所述多个子块中的所述每个子块用于进行所述多个子块中的所述每个子块的空间预测的其他子块的数量。
18.根据权利要求17所述的装置，其中，通过在具有较高依赖数的另一个子块之前对具有较低依赖数的子块进行编码或解码来确定所述扫描顺序。
19.根据权利要求17所述的装置，其中，通过以下方式确定所述扫描顺序：如果所述多个子块中的两个子块具有相同的所确定的依赖数，则将z扫描顺序用于扫描所述两个子块。
20.根据权利要求17所述的装置，其中，如果所选择的子块具有DC或平面的帧内预测模式，则将对所选择的子块所确定的依赖数设置为默认数。
21.根据权利要求20所述的装置，其中，所述默认数是0、1、2或3。
22.根据权利要求17所述的装置，其中，如果所述多个子块中的一个子块被进一步细分为多个进一步细分的子块，则将所述多个进一步细分的子块的扫描顺序设置为与所确定的所述多个子块的扫描顺序相似的顺序。
23.根据权利要求17所述的装置，其中，在表示所述图片的比特流中用信号通知所确定的所述多个子块的扫描顺序。
24.根据权利要求17所述的装置，其中，所述多个子块是预测块。
25.根据权利要求17所述的装置，其中，所述当前块被帧内编码。
26.一种用于视频解码的装置，包括：
用于对于图片中正被解码的当前块，对从所述当前块中细分的多个子块中的每个子块确定帧内预测模式的部件；
用于基于对应的对所述多个子块中的每个子块所确定的帧内预测模式，确定对应的依赖数的部件，所述对应的依赖数指示所述多个子块中的每个子块用于进行所述多个子块中的每个子块的空间预测的所述多个子块中的其他子块的数量；
用于基于对所述多个子块中的每个子块所确定的对应的依赖数，确定所述多个子块的扫描顺序的部件；以及
用于使用所确定的所述多个子块的扫描顺序来解码所述当前块的部件。
27.根据权利要求26所述的装置，其中，通过在具有较高依赖数的另一个子块之前对具有较低依赖数的子块进行编码或解码来确定所述扫描顺序。
28.根据权利要求26所述的装置，其中，通过以下方式确定所述扫描顺序：如果所述多个子块中的两个子块具有相同的所确定的依赖数，则将z扫描顺序用于扫描所述两个子块。
29.根据权利要求26所述的装置，其中，如果所选择的子块具有DC或平面的帧内预测模式，则将对所选择的子块所确定的依赖数设置为默认数。
30.根据权利要求29所述的装置，其中，所述默认数是0、1、2或3。
31.根据权利要求26所述的装置，其中，如果所述多个子块中的一个子块被进一步细分为多个进一步细分的子块，则将所述多个进一步细分的子块的扫描顺序设置为与所确定的所述多个子块的扫描顺序相似的顺序。
32.根据权利要求26所述的装置，其中，在表示所述图片的比特流中用信号通知所确定的所述多个子块的扫描顺序。
33.根据权利要求26所述的装置，其中，所述多个子块是预测块。
34.根据权利要求26所述的装置，其中，所述当前块被帧内编码。
35.一种包括程序代码指令的非暂时性计算机可读介质，所述程序代码指令在由处理器执行时实现根据权利要求1至16中任一项所述的方法。
CN201880072730.9A 2017-11-09 2018-11-07 基于细分块的自动扫描顺序的视频信号处理系统和方法 Active CN111328449B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306551.7A EP3484148A1 (en) 2017-11-09 2017-11-09 Automated scanning order for sub-divided blocks
EP17306551.7 2017-11-09
PCT/US2018/059560 WO2019094423A1 (en) 2017-11-09 2018-11-07 Automated scanning order for sub-divided blocks

Publications (2)

Publication Number Publication Date
CN111328449A CN111328449A (zh) 2020-06-23
CN111328449B true CN111328449B (zh) 2022-08-19

Family

ID=60409257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072730.9A Active CN111328449B (zh) 2017-11-09 2018-11-07 基于细分块的自动扫描顺序的视频信号处理系统和方法

Country Status (4)

Country Link
US (1) US11240505B2 (zh)
EP (1) EP3484148A1 (zh)
CN (1) CN111328449B (zh)
WO (1) WO2019094423A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7412343B2 (ja) * 2018-09-21 2024-01-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
CN112291558B (zh) * 2019-07-23 2023-06-27 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610410A (zh) * 2003-10-24 2005-04-27 三星电子株式会社 帧内预测方法及装置
CN101277446A (zh) * 2007-03-30 2008-10-01 富士通株式会社 图像处理方法、编码器以及解码器
WO2010086548A1 (fr) * 2009-01-28 2010-08-05 France Telecom Procede et dispositif de codage d'une image, procede et dispositif de decodage, et programmes d'ordinateur correspondants

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311119B2 (en) 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
JP2008271127A (ja) 2007-04-19 2008-11-06 Nec Electronics Corp 符号化装置
US8619853B2 (en) 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
KR102187246B1 (ko) 2011-07-05 2020-12-04 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법
CN104094597B (zh) * 2011-10-17 2018-04-20 株式会社Kt 基于帧内预测的自适应变换方法及使用该方法的装置
GB2496194A (en) * 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
CN104853196B (zh) 2014-02-18 2018-10-19 华为技术有限公司 编解码方法和装置
US20180027236A1 (en) 2015-02-17 2018-01-25 Lg Electronics Inc. Method and device for encoding/decoding video signal by using adaptive scan order
US10623777B2 (en) * 2016-02-16 2020-04-14 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
CN116708776A (zh) * 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
KR102471208B1 (ko) * 2016-09-20 2022-11-25 주식회사 케이티 비디오 신호 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610410A (zh) * 2003-10-24 2005-04-27 三星电子株式会社 帧内预测方法及装置
CN101277446A (zh) * 2007-03-30 2008-10-01 富士通株式会社 图像处理方法、编码器以及解码器
WO2010086548A1 (fr) * 2009-01-28 2010-08-05 France Telecom Procede et dispositif de codage d'une image, procede et dispositif de decodage, et programmes d'ordinateur correspondants

Also Published As

Publication number Publication date
EP3484148A1 (en) 2019-05-15
US11240505B2 (en) 2022-02-01
US20200359027A1 (en) 2020-11-12
CN111328449A (zh) 2020-06-23
WO2019094423A1 (en) 2019-05-16
EP3707899A1 (en) 2020-09-16

Similar Documents

Publication Publication Date Title
CN110870314B (zh) 用于运动补偿的多个预测器候选
JP7474365B2 (ja) 動き補償用の改善されたプレディクタ候補
CN111418209B (zh) 用于视频编码和视频解码的方法和装置
JP7507279B2 (ja) ビデオ符号化および復号における適応的照度補償のための方法および装置
EP3422720A1 (en) Multiple predictor candidates for motion compensation
CN111328449B (zh) 基于细分块的自动扫描顺序的视频信号处理系统和方法
EP3707899B1 (en) Automated scanning order for sub-divided blocks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant