CN112567745A - 用于视频编码的候选变换集合的确定 - Google Patents

用于视频编码的候选变换集合的确定 Download PDF

Info

Publication number
CN112567745A
CN112567745A CN201980034404.3A CN201980034404A CN112567745A CN 112567745 A CN112567745 A CN 112567745A CN 201980034404 A CN201980034404 A CN 201980034404A CN 112567745 A CN112567745 A CN 112567745A
Authority
CN
China
Prior art keywords
transform
block
transforms
prediction
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980034404.3A
Other languages
English (en)
Inventor
米沙·斯科曼
乔恩·施泰伦贝格
克里斯蒂安·巴特尼克
塞巴斯蒂安·博塞
乔纳森·普法夫
菲利普·赫勒
杰基·马
马丁·温肯
德特勒夫·马尔佩
海科·施瓦茨
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN112567745A publication Critical patent/CN112567745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Paper (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本发明涉及变换系数编码，其中可使用预定变换集合。本发明的实施例提供用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中或从数据流(14)编码图片(12)的编码器(10)和解码器(20)，编码器(10)和解码器(20)支持用于基于区块的残差编码的变换集合(94)。编码器(10)和解码器(20)被配置为基于当前残差区块(84)的高度和宽度从变换集合(94)中确定用于当前残差区块(84)的变换的变换候选列表(98)，且使用可选变换列表(98)中的一个所选变换(102)对残差区块(84)内的预测残差(100)进行编码/解码，并选择性地在数据流(14)中/从数据流(14)用信号通知/导出所选变换(102)。

Description

用于视频编码的候选变换集合的确定
技术领域
本发明涉及图片和视频编码，具体而言涉及基于区块的图片和视 频编码。该图片可以是静态图像或动态图片序列中的连续顺序的图像。 本发明的一些特定示例和实施例涉及用于在视频编码的上下文中利用 用于变换的模式相关的变换候选集合以获得空间域中的相应残差信号 来进行残差编码的统一扩展方案。
背景技术
除了如在HEVC(高效率视频编码)中之类的一些标准中采用的 DCT-II及4×4DST-VII之外，其他标准，诸如JEM(联合探索测试模 型)，例如可定义两个额外的变换家族。即，自适应多核心变换(AMT) 及模式相关的不可分离次级变换(NSST)。
2.1自适应多核心变换[1,8]
AMT通过来自DCT/DST家族(亦即，DST-VII、DCT-VIII、DST-I 及DCT-V)的变换来扩展用于亮度分量的可用变换集合。如果设定相 应CU层级标志，则AMT适用，否则使用DCT-II。对于经帧间编码 的区块，两个另外的标志分别针对每个水平和竖直变换在DST-VII与DCT-VIII之间作出决定。如果区块被帧内编码，则取决于帧内预测模 式，来决定哪些变换可用。每个帧内模式映射到三个预定义集合中的 两个。针对每个水平和竖直变换各一个。每个集合由两个变换组成。 如果有效系数的数量大于预定义阈值，则针对每个方向用信号通知索 引，否则使用每个集合的第一变换。
2.2模式相关的不可分离次级变换[1,2]
NSST定义了应用于核心变换(初级变换)的系数的第二级变换。“如果变换系数区块的宽度和高度两者大于或等于8，则8×8不可分离次级变换被应用于变换系数区块的左上方8×8区域。否则，如果变换系数区块的W或H等于4，则应用4×4不可分离次级变换且对变换系数区块的左上方min(8,W)×min(8,H)区域执行4×4不可分离变换。以上变换选择规则适用于亮度分量及色度分量两者。”[1]
2.3具有高频置零的大区块大小变换
“在JEM中，能够进行大小高达128×128的大型区块大小变换，其主要用于较高分辨率视频，例如1080p及4K序列。针对大小(宽度或高度，或宽度和高度两者)大于或等于64的那些变换区块使高频变换系数归零，以便仅维持较低频率系数。例如，对于M×N变换区块，其中M作为区块宽度且N作为区块高度，当M大于或等于64 时，仅保持左32列的变换系数。类似地，当N大于或等于64时，仅保持顶32行的变换系数。在将变换跳过模式用于较大区块时，使用整个区块而无需使任何值归零。”[1]
然而，现有技术可能具有若干缺点。例如，随着图片大小增加，编码工作亦显著增加。因此，将需要提供具有提高的效率的编解码器。
因此，建议提供模式相关的变换候选集合。对用于获得空间域中的残差信号的变换的标识可采用利用已解码语法元素的候选列表。可以候选列表中的可用变换为条件来对残差区块的系数解码。由此，候选列表本身可通过移除与已获得的关于系数的信息相冲突的那些变换而以迭代方式减少。在所有系数被解码且多于一个变换候选被留下时，可用信号通知至候选列表的索引。
引入模式相关候选列表的创造性构思可允许对用于残差区块的变换的灵活且高效的测试及信令。例如，根据结构化变换的引起性约束对结构化变换的分类可允许采用所选择变换、所得系数及相邻变换区块之间的相关性。
发明内容
根据第一方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。该编码器可被配置为基于当前残差区块的高度和宽度从该变换集合中确定用于该当前残差区块的变换的变换候选列表。该编码器可进一步被配置为使用该可选变换列表中的一个所选变换对该残差区块内的预测残差进行编码，并选择性地在该数据流中用信号通知该所选变换。信令可选择性地指示以下事实：候选列表有可能仅包含一个候选变换，从而可以省略信令。
根据第一方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。该解码器可被配置为基于当前残差区块的高度和宽度从该变换集合中确定用于该当前残差区块的变换的变换候选列表，且在可选变换列表中的一个所选变换的域中对该残差区块内的预测残差进行解码，同时选择性地从该数据流导出该所选变换。导出可选择性地指示以下事实：候选列表有可能仅包含一个候选变换，从而可以省略信令/导出。
根据第二方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。该编码器可被配置为从变换集合确定用于当前残差区块的可选变换列表，且使用该可选变换列表中的一个所选变换将变换系数数据编码到数据流中，该变换系数数据表示残差区块内的预测残差。编码器可进一步被配置为以取决于变换系数数据或取决于变换系数数据的部分的方式，在数据流中用信号通知所选变换，和/或执行对可选列表的确定。
根据第二方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。该解码器可被配置为从变换集合中确定用于当前残差区块的可选变换列表，且使用该可选变换列表中的一个所选变换从数据流解码变换系数数据，该变换系数数据表示残差区块内的预测残差。解码器可进一步被配置为以取决于变换系数数据或取决于数据变换系数数据的部分的方式，从数据流导出所选变换，和/或执行对可选列表的确定。
根据第三方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。该编码器可被配置为从变换集合中确定用于当前残差区块的可选变换列表，且在数据流中信令所选变换。该编码器可进一步被配置为取决于所选变换或取决于可选变换列表的方式使用可选变换列表中的一个所选变换来编码变换系数，该变换系数表示残差区块内的预测残差。
根据第三方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。该解码器可被配置为从变换集合中确定用于当前残差区块的可选变换列表，且从数据流导出所选变换。该解码器可进一步被配置为取决于所选变换或可选变换列表的方式使用可选变换列表中的一个所选变换以从数据流解码变换系数，该变换系数表示残差区块内的预测残差。
根据第四方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。该编码器可被配置为从变换集合中确定用于当前残差区块的可选变换列表，且使用该可选变换列表中的一个所选变换编码残差区块内的预测残差。该编码器可进一步被配置为使用变换指示符在数据流中用信号通知所选变换，其中该变换指示符是使用具有一个或多个数位的代码在数据流中用信号通知的，其中该一个或多个数位的集合中的每个唯一地与相应变换属性相关联。
根据第四方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。解码器可被配置为从变换集合中确定用于当前残差区块的可选变换列表，且使用可选变换列表中的一个所选变换从数据流对残差区块内的预测残差解码。该解码器可进一步被配置为使用变换指示符从数据流导出所选变换，其中该变换指示符是使用具有一个或多个数位的代码从数据流导出，其中该一个或多个数位的集合中的每个唯一地与相应变换属性相关联。例如，该代码可包括经过二进制算术编码的变换指示符的数段或构成变换指示符且可从数据流解析的语法元素。
根据第五方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。该编码器可进一步被配置为通过将帧内预测区块的空间邻域应用到多个神经网络中的所选神经网络上来预测帧内预测区块，以获得帧内预测区块的预测，及基于所选神经网络和残差区块的区块大小从变换集合中确定用于覆盖帧内预测区块的残差区块的可选变换集合。该编码器可进一步被配置为使用该可选变换集合中的一个所选变换对残差区块内与帧内预测区块的预测相关联的预测残差进行编码，且在数据流中用信号通知所选变换。
根据第五方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。该解码器可被配置为通过将帧内预测区块的空间邻域应用至多个神经网络中的所选神经网络上来预测帧内预测区块，以获得帧内预测区块的预测，及基于所选神经网络和残差区块的区块大小从变换集合中确定用于覆盖帧内预测区块的残差区块的可选变换集合。该解码器可进一步被配置为通过从数据流导出可选变换集合中的一个所选变换，在所选变换的域中从数据流解码残差区块内与帧内预测区块的预测相关联的预测残差。
根据第六方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器。该编码器可被配置为通过将帧内预测区块的空间邻域应用至神经网络上来预测帧内预测区块，以在初级变换的域中获得帧内预测区块的预测，及使用可选变换集合中的一个所选变换对残差区块内与帧内预测区块的预测相关联的预测残差进行编码，并在数据流中信令所选变换，其中该可选变换集合由至少一个多级变换填充，该至少一个多级变换包括初级变换和被应用至该初级变换的初级变换系数的子群组上的次级变换。
根据第六方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差编码而从数据流解码图片的解码器。该解码器可被配置为通过将帧内预测区块的空间邻域应用至神经网络上来预测帧内预测区块，以在初级变换的域中获得帧内预测区块的预测，以及通过从数据流导出可选变换集合中的一个所选变换，在所选变换的另一域中从数据流解码残差区块内与帧内预测区块的预测相关联的预测残差，其中该可选变换集合由至少一个多级变换填充，该至少一个多级变换包括初级变换和被应用至该初级变换的初级变换系数的子群组上的次级变换。
根据第七方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。该编码器可被配置为使用帧内预测模式集合中的所选帧内预测模式，基于帧内预测区块的空间邻域来预测帧内预测区块以获得帧内预测区块的预测，及基于该所选帧内预测模式和残差区块的区块大小从变换集合中确定用于覆盖帧内预测区块的残差区块的可选变换集合。该编码器可进一步被配置为使用可选变换集合中的一个所选变换对残差区块内与帧内预测区块的预测相关联的预测残差进行编码，且在数据流中用信号通知所选变换。
根据第七方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。该解码器可被配置为使用帧内预测模式集合中的所选帧内预测模式，基于帧内预测区块的空间邻域来预测帧内预测区块以获得帧内预测区块的预测，及基于该所选帧内预测模式和残差区块的区块大小从变换集合中确定用于覆盖帧内预测区块的残差区块的可选变换集合。该解码器可进一步被配置为通过从数据流导出可选变换集合中的一个所选变换，在所选变换的域中从数据流解码残差区块内与帧内预测区块的预测相关联的预测残差。
根据第八方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。编码器可被配置为基于针对相邻残差区块选择的参考变换从变换集合中确定用于当前残差区块的可选变换列表，例如，为了对后者的预测残差编码而也从变换集合中进行确定。该编码器可进一步被配置为使用该可选变换列表中的一个所选变换对残差区块内的预测残差进行编码，并在数据流中用信号通知该所选变换。
根据第八方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码而从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。解码器可被配置为基于针对相邻残差区块选择的参考变换从变换集合中确定用于当前残差区块的可选变换列表，例如，为了对后者的预测残差编码而也从变换集合中进行确定。解码器可进一步被配置为通过从数据流导出可选变换列表中的一个所选变换在所选变换的域中解码残差区块内的预测残差。
根据第九方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。编码器可被配置为取决于当前区块的量化参数的方式从变换集合中确定用于当前残差区块的可选变换列表。如果量化参数对应于比特定阈值精细的量化，则用于当前残差区块的可选变换列表用至少一个多级变换填充，该至少一个多级变换包括被应用至当前残差区块内的预测残差上的初级变换和被应用至该初级变换的初级变换系数的子群组上的次级变换。然而，如果量化参数对应于比特定阈值粗糙的量化，则除了至少一个多级变换之外或代替至少一个多级变换，用于当前残差区块的可选变换列表可用至少一个多级变换的修改填充，超出子群组的初级变换系数根据该修改而被置零。在两种情况下，编码器可被配置为使用可选变换列表中的一个所选变换对残差区块内的预测残差进行编码且在数据流中用信号通知所选变换。
根据第九方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。解码器可被配置为取决于当前区块的量化参数的方式从变换集合中确定用于当前残差区块的可选变换列表。如果量化参数对应于比特定阈值精细的量化，则用于当前残差区块的可选变换列表用至少一个多级变换填充，该至少一个多级变换包括被应用至当前残差区块内的预测残差上的初级变换和被应用至该初级变换的初级变换系数的子群组上的次级变换。然而，如果量化参数对应于比特定阈值粗糙的量化，则除了至少一个多级变换之外或代替至少一个多级变换，用于当前残差区块的可选变换列表用至少一个多级变换的修改填充，其中将超出子群组的初级变换系数置零。在两种情况下，解码器可被配置为通过从数据流导出可选变换列表中的一个所选变换在所选变换的域中解码残差区块内的预测残差。
根据第十方面，本发明构思的实施例可提供用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，该编码器支持用于该基于区块的残差编码的变换集合。编码器可被配置为基于针对相邻残差区块选择的参考变换从变换集合中确定用于当前残差区块的可选变换列表，其方式取决于一个或多个相邻残差区块中的有效变换系数的数量或取决于该有效变换系数的总和。如果该数量或总和大于特定阈值，则用于当前残差区块的可选变换列表用至少一个多级变换填充，该至少一个多级变换包括被应用至当前残差区块的预测残差上的初级变换和被应用至该初级变换的初级变换系数的子群组上的次级变换。然而，如果该数量或总和小于特定阈值，则除了至少一个多级变换之外或代替至少一个多级变换，用于当前残差区块的可选变换列表用该至少一个多级变换的修改填充，其中超出子群组的初级变换系数被置零。在两种情况下，编码器可被配置为使用可选变换列表中的一个所选变换对残差区块内的预测残差进行编码且在数据流中用信号通知所选变换。
根据第十方面，本发明构思的其他实施例可提供用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，该解码器支持用于该基于区块的残差解码的变换集合。解码器可被配置为基于针对相邻残差区块选择的参考变换从变换集合中确定用于当前残差区块的可选变换列表，其方式取决于一个或多个相邻残差区块中的有效变换系数的数量或取决于该有效变换系数的总和。如果该数量或总和大于特定阈值，则用于当前残差区块的可选变换列表用至少一个多级变换填充，该至少一个多级变换包括被应用至当前残差区块的预测残差上的初级变换和被应用至初级变换的初级变换系数的子群组上的次级变换。然而，如果该数量或总和小于特定阈值，则除了至少一个多级变换之外或代替至少一个多级变换，用于当前残差区块的可选变换列表用该至少一个多级变换的修改填充，其中超出子群组的初级变换系数被置零。在两种情况下，解码器可进一步被配置为通过从数据流导出可选变换列表中的一个所选变换，在所选变换的域中解码残差区块内的预测残差。
根据另一方面，提供计算机程序，其中每个计算机程序被配置为在计算机或信号处理器上执行时实施上述编码和/或解码方法，以使得上述方法是通过计算机程序中的一个来实施。
附图说明
在下文中，参考附图更详细地描述本公开的实施例，在附图中
图1示出了可用于本发明的一个或多个实施例中的编码器的示意性框图，
图2示出了可用于本发明的一个或多个实施例中的解码器的示意性框图，
图3示出了可用于本发明的一个或多个实施例中的基于区块的编码方案的示意性框图，
图4示出了在采用变换后将残差区块分割成变换系数的群组和子群组的一些示例，
图5示出了在采用变换后将残差区块分割成变换系数的群组和子群组的其他示例，
图6示出了包括初级变换和次级变换的多级变换的不同级的一些示例，
图7示出了根据本发明的实施例的使用包括一个或多个神经网络的变换集合进行基于区块的残差编码的示意性框图，
图8示出了根据本发明的实施例的包括初级变换和次级变换的多级变换的概念，
图9示出了根据本发明的实施例的采用按行和列的编码顺序的包括空间域中的初级变换和次级变换的多级变换的概念，
图10示出了根据本发明的实施例的仅初级变换的概念，
图11示出了根据本发明的实施例的使用包括神经网络的多级变换的基于区块的残差编码方案的示意性框图，
图12示出了根据本发明的实施例的使用变换集合和可选变换集合的基于区块的残差编码方案的示意性框图，
图13示出了根据本发明的实施例的包括以预定编码顺序编码的多个有效和非有效变换系数的残差区块的示意性框图，
图14示出了根据本发明的实施例的使用变换集合和可选变换集合并使用变换信令的基于区块的残差编码方案的示意性框图，
图15示出了根据本发明的实施例的使用变换集合和可选变换集合并使用变换信令的基于区块的残差编码方案的示意性框图，
图16示出了根据本发明的实施例的其中一些变换系数被设定为零的基于区块的残差编码方案的示意性框图，
图17示出了根据本发明的实施例的示意性残差区块，残差区块包括多个初级系数，其中在对剩余非零值的初级系数进行次级变换之前，该多个初级系数中的一些被设定为零，
图18从解码器视角示出了根据实施例的其中一些变换系数可被置零的变换区块的示意性框图，以及
图19从解码器视角示出了根据另一实施例的其中一些变换系数可被置零的变换区块的示意性框图。
具体实施方式
相同或等效元件或具有相同或等效功能性的元件在以下描述中通过相同或等效附图标记来指示。
借助于框图描绘且参考所述框图描述的方法步骤也可以与所描绘和/或所描述的顺序不同的顺序执行。此外，关于设备的特定特征的方法步骤可被所述设备的所述特征取代，反之亦然。
术语“变换”在本文中也可以缩写为术语trafo。术语“变换”可同义地用于变换(transformation/transform)(亦即，变换的结果)。
对附图的以下描述开始于对用于编码视频的图片的、基于区块的预测式编解码器的视频编码器和视频解码器的描述的呈现，以便形成可以在其中构造本文描述的实施例的编解码框架的示例。关于图1至图3描述视频编码器和视频解码器。此后，关于附图来呈现本申请的其他实施例的描述。相同的被编号，且在上述小节中，参考指代下文所描述和要求保护的实施例的上述部分。尽管所有这些实施例可分别被构建至图1和图2的视频编码器和解码器中，但本文中描述的实施例，诸如关于后续附图所描述的那些，也可以用于形成并不根据图1 和图2的视频编码器和视频解码器下面的编码框架操作的视频编码器和视频解码器。
图1示出了用于将由图片12的序列构成的视频11预测性地编码为数据流14的装置。为此目的使用逐区块预测性编码。另外，示例性地使用基于变换的残差编码。使用附图标记10指示装置或编码器。
图2示出了对应的解码器20，亦即，被配置为从数据流14以图片区块来预测性地解码由图片12′构成的视频11′的装置20，此处亦示例性地使用基于变换的残差解码，其中单引号用于指示就由预测残差信号的量化引入的编码损失而言，如由解码器20重构的图片12′和视频11′分别偏离最初由装置10编码的图片12。
图1和图2示例性地使用基于变换的预测残差编码，尽管本申请的实施例不限于这种预测残差编码。对于关于图1和图2所描述的其他细节也是如此，如将在下文所概述。
编码器10被配置为对预测残差信号进行空间到频谱变换且将由此获得的预测残差信号编码到数据流14中。同样地，解码器20被配置为从数据流14解码预测残差信号且对由此获得的预测残差信号进行频谱到空间变换。
在内部，编码器10可包括预测残差信号形成器22，该预测残差信号形成器22产生预测残差24以便测量预测信号26与原始信号(亦即，视频11或当前图片12)的偏差。预测残差信号形成器22可例如是从原始信号(亦即，当前图片12)减去预测信号26的减法器。
编码器10还包括变换器28，该变换器28对预测残差信号24进行空间到频谱变换以获得谱域预测残差信号24′，该谱域预测残差信号 24′接着由编码器10所包括的量化器32进行量化。将因此经量化的预测残差信号24”编码成比特流14。
为此目的，编码器10可选择性地包括熵编码器34，该熵编码器 34将经变换和量化的预测残差信号熵编码到数据流14中14。预测残差24是由编码器10的预测级36基于被解码成数据流14且可从数据流解码的预测残差信号24”产生。
为此目的，如图1中所示，预测级36可以内部包括：解量化器 38，其对预测残差信号24”进行解量化以便获得谱域预测残差信号 24”′，该信号除量化损失以外对应于信号24′；解量化器38之后为逆变换器40，其使后一预测残差信号24”′经过逆变换，亦即，频谱到空间变换，以获得除量化损失以外对应于原始预测残差信号24的预测残差信号24””。预测级36的组合器42然后例如通过相加来重组合预测信号26和预测残差信号24””，以便获得经重构信号46，亦即，原始信号12的重构。经重构信号46可以对应于信号12′。
预测级36的预测模块44然后通过使用例如空间预测(亦即，帧内预测)和/或时间预测(亦即，帧间预测)基于信号46产生预测信号26。与此有关的细节在下文中描述。
同样地，在内部，解码器20可由对应于预测级36且以对应于预测级36的方式互连的组件构成。具体地，解码器20的熵解码器50 可对来自数据流的经量化的谱域预测残差信号24"进行熵解码，以上文关于预测级36的模块描述的方式互连和协作的解量化器52、逆变换器54、组合器56和预测模块58基于预测残差信号24"恢复经重构信号，以使得如图2中所示，组合器56的输出得到经重构信号，亦即视频11′或其当前图片12′。
虽然上文未具体描述，但容易清楚的是，编码器10可根据一些优化方案，诸如，以优化某个速率和失真相关标准(亦即，编码成本) 和/或使用某种速率控制的方式，来设定一些编码参数，包括例如预测模式、运动参数等。如下文更详细地描述的，编码器10和解码器20 以及对应模块44、58分别支持不同预测模式，诸如帧内编码模式和帧间编码模式或其中帧内编码模式形成原始预测模式的集合或池的模式，其中基于该原始预测模式构成对图片区块的预测。编码器和解码器在这些预测组成之间切换的粒度可对应于图片12和12′分别分成区块的细分。应注意，这些区块中的一些可以是仅经帧内编码的区块，且一些区块可以是仅经帧间编码的区块，且选择性地，甚至其他区块可以是使用帧内编码和帧间编码两者获得的区块，但细节在下文中进行阐述。
根据帧内编码模式，基于相应区块的空间已编码/解码邻域而获得区块的预测信号。可存在若干帧内编码子模式，在该帧内编码子模式中的选择近似地表示一种帧内预测参数。可存在方向性或角度帧内编码子模式，根据这些子模式，相应区块的预测信号通过将邻域的样本值沿着对于相应的方向性帧内编码子模式特定的某个方向外插至相应区块中来填充。帧内编码子模式例如还可包括：诸如DC编码模式的一个或多个其他子模式，根据该子模式，相应区块的预测信号将DC 值指派给相应区块内的所有样本；和/或平面帧内编码模式，根据该模式，相应区块的预测信号被近似或确定为通过二维线性函数所描述的样本值在相应区块的样本位置上的空间分布，其中基于相邻样本导出由二维线性函数定义的平面的倾斜和偏移。
与其相比较，根据帧间预测模式，可例如通过在时间上预测区块内部来获得区块的预测信号。对于帧间预测模式的参数化，可在数据流内用信号通知运动向量，该运动向量指示视频11的先前经编码图片的部分的空间位移，在该空间位移处对先前经编码/经解码图片进行采样以便获得相应区块的预测信号。这意味着，除由数据流14包括的诸如表示经量化谱域预测残差信号24”的经熵编码的变换系数水平的残差信号编码以外，数据流14还可以包括编码于其中的用于指派给区块预测模式的预测相关参数、用于所指派的预测模式的预测参数(诸如用于帧间预测模式的运动参数)、(及可选地)使用所指派的预测模式和预测参数控制区块的最终预测信号的组成的另外的参数，如下文将更详细地概述的。另外，数据流14可包括控制和用信号通知图片12 和12′分别分成区块的细分的参数。解码器20使用这些参数以与编码器10进行细分相同的方式来细分图片12，从而将相同预测模式和参数指派给区块并执行相同预测以产生相同预测信号。
图3示出了一方面经重构信号(亦即，经重构图片12′)与另一方面如在数据流14中用信号通知的预测残差信号24””和预测信号26的组合之间的关系。如上文已指示，该组合可以是相加。
预测信号26在图3中示出为图片区域被分成具有不同大小的区块 80的细分，但这仅仅是示例。该细分可以是任何细分，诸如，图片区域分成区块的行和列的常规细分，或图片12分成具有不同大小的叶区块的多元树细分，诸如，四叉树细分等，其中在图3中示出了该细分的混合，在图3中将图片区域首先细分为树根区块的行和列，接着进一步根据递归多元树细分来细分树根区块以产生区块80。
图3中的预测残差信号24””亦被示出为分成区块84的图片区域的细分。这些区块可被称作变换或残差区块，以便将其与编码区块80 区别。实际上，图3示出了编码器10和解码器20可分别使用将图片12和图片12′分成区块的两种不同的细分，即，分成编码区块80的一种细分和分成区块84的另一细分。两种细分可以相同，亦即，每个区块80可同时形成变换区块84，反之亦然，但图3示出了如下情况：例如分成变换区块84的细分形成分成区块80的细分的扩展，使得两个区块80之间的任何边界与两个区块84之间的边界重叠，或替代而言，每个区块80与变换区块84中的一个一致或与变换区块84的集群 (cluster)一致。
然而，也可以独立于彼此确定或选择细分，使得变换区块84备选地跨越区块80之间的区块边界。就分成变换区块84的细分而言，如关于分成区块80的细分所提出的那些叙述，类似叙述因此也是如此，亦即，区块84可以是图片区域分成按行和列排列的区块的常规细分的结果、图片区域的递归多元树细分的结果或其组合或任何其他种类的分割。
顺便指出，应注意，区块80和84不限于正方形、矩形或任何其他形状。另外，将当前图片12细分成区块80(在该区块处形成预测信号)及将当前图片12细分成区块84(在该区块处编码预测残差) 可能并非是用于编码/解码的仅有细分。这些细分形成执行预测信号确定和残差编码的粒度，但首先，残差编码备选地在无细分的情况下进行，且其次，以不同于这些细分的粒度，编码器10和解码器20可设定某些编码参数，其可包括前述参数中的一些，诸如预测参数、预测信号组成控制信号等。
图3示出了预测信号26与预测残差信号24””的组合直接产生经重构信号12′。然而，应注意，根据替代性实施例，多于一个预测信号 26可与预测残差信号24””组合以产生图片12′，诸如从其他视图或从其他编码层获得的预测信号，该预测信号例如在具有单独的DPB的单独的预测回路中被编码/解码。
在图3中，变换区块84应具有以下显著性。变换器28和逆变换器54以这些变换区块84为单位执行其变换。例如，许多编解码器将某一种DST或DCT用于所有变换区块84。一些编解码器允许跳过变换，使得对于变换区块84中的一些变换区块，直接在空间域中编码预测残差信号。然而，根据下文描述的实施例，编码器10和解码器20 以使得其支持若干变换的方式被配置。例如，由编码器10和解码器 20支持的变换可包括：
οDCT-II(或DCT-III)，其中DCT代表离散余弦变换
οDST-IV，其中DST代表离散正弦变换
οDCT-IV
οDST-VII
ο恒等变换(IT)
自然地，虽然变换器28将支持这些变换的所有正向变换版本，但解码器20或逆变换器54将支持其对应的后向版本或逆版本：
ο逆DCT-II(或逆DCT-III)
ο逆DST-IV
ο逆DCT-IV
ο逆DST-VII
ο恒等变换(IT)
在任何情况下，应注意，所支持变换的集合可以仅包括一种变换，诸如一种频谱到空间或空间到频谱变换。
如上文已概述，已呈现图1至图3作为示例，在该示例中可实施下文进一步描述的概念以便形成根据本申请的视频编码器和解码器的特定示例。就此而言，图1和图2的视频编码器和解码器分别表示下文所描述的视频编码器和解码器的可能实现。
关于权利要求，应注意，“不可分离”是指在竖直和水平方向上的分离性。
3.结构化多级变换
一般而言，大小为D＝W*H的残差区块的任意线性变换可由D*D 个参数定义。此处，将这些种类的变换称为完全相连的变换。虽然这些变换大部分是灵活的，但就所需操作的数量及要求的参数储存而言，其复杂度随着大小D而二次方地增加。
因此，完全相连的变换仅适用于较小的变换大小。为了降低复杂度，变换可被限制为具有特定结构，其允许高效实施并降低了变换参数的数量。一种方法需要变换以便因式分解为多个变换，其中每个变换级本身分离成独立子群组。那些多级变换的复杂度可通过选择变换级的数量、独立子群组的尺寸以及也可以通过限制子群组变换来进行调节。
示例：由于分割成子块而减少乘法数量
考虑具有宽度W和高度H的数据区块。此数据区块可由H×W矩阵B表示，其被序列化至(H*W)×1向量b以供进一步处理。
使数据区块通过完全相连的变换进行变换。变换是通过计算变换矩阵T与序列化的数据区块向量b之间的矩阵向量乘积T*b来完成。变换矩阵形状为(H*W)×(H*W)，导致每输出系数需要数量为H*W 的乘法。因此，对于H*W输出系数，需要总数为(H*W)2的乘法。
对于H＝8和W＝8，其得到变换系数计算所必需的4096个乘法。现在，使数据区块被细分成H/4*W/4个子区块，其可由4x4矩阵Bi表示，假定H和W两者均可被4整除。每个子块再次被序列化至16×1 向量bi以供进一步处理。现在计算变换系数，通过完全相连的变换对每个子块进行变换并拼接结果。通过计算子块变换矩阵Ti与序列化子块bi之间的矩阵向量乘积Ti*bi来再次完成变换。由于变换矩阵形状在此情况下为16×16，每输出系数需要总数为16的乘法。因此，为了计算单个子块的变换系数，需要16*16＝256个乘法。由于具有H/4*W/4 个子区块，所有子区块的必需乘法数量为H/4*W/4*256＝H*W*16。再次观察H＝8、W＝8的情况，由于分割成子区块和独立地变换每个子区块，乘法数量从4096到1024减少75％。通过将另一变换级与不同分割相加，也可以考虑区块间相关性。假定复杂度与第一级相同，则乘法的总数量为2048，因此复杂度仅为完全相连的8×8变换的一半。
可通过允许非双射变换实现复杂度的进一步降低。更精确地，此处的这些变换被定义为假定变换级的某些子群组全部为零且由此减小残差信号的尺寸的变换。这些变换被称为具有尺寸减小的变换并且是具有如上文所描述的高频置零的变换的概括。此处，系数置零可与任何先前变换级和任意大小结合应用。这包括系数置零被应用于第一级的情况。这些变换不仅允许高效实施，而且允许非有效系数的高效信令，如稍后所描述的。
为了充分描述如上文所介绍的多级变换，每个变换级需要通过分成子群组的独特分割及应用于这些子群组的变换来给定。
如上文所描述的多级变换的复杂度降低源自以下事实：每个子群组变换可彼此独立地应用，具有受限尺寸和/或可使用高效算法来应用。因此，每个子群组变换为以下类型中的一个：
子群组变换：
·(恒等)
·来自DCT/DST家族的变换
·完全相连的变换，其用于大小高达64的子群组
·(置换+)成对吉文斯(Givens)旋转
·(置换+)成对提升方案变换
·多级变换本身
分割成子群组可通过以下规则中的任一个给定，其中该规则中的一些被描绘于图4和图5中，用以下小写字母表示：
a)对于每个级和位置，标签被储存在ROM中，该ROM将唯一子群组指派给该标签。
b)对于每个位置，标签被储存在Rom中，该Rom将唯一子群组指派给该标签。该分割用于所有级的变换。
c)鉴于位置的唯一扫描顺序和子群组大小列表D＝{d0,d1,dN}，通过沿着此扫描将连续位置分组完成分割，其中每个群组的大小由D的相关联元素给定。
d)鉴于位置的唯一扫描顺序，前d0个连续位置被视为一个子群组，剩余位置被视为第二子群组。
e)在水平或竖直方向上完成分割，使得每行或每列定义子群组。
f)在水平方向上完成分割，使得每行进一步分割成大小在{2,4,8, 16,24,48,32,64}中的子群组
g)在竖直方向上完成分割，使得每列进一步分割成大小在{2,4,8, 16,24,48,32,64}中的子群组
h)通过将包含第一位置(左上方)并具有形状{4×4,4×8,4×12, 4×16,8×4,8×8,12×4,16×4}中的任一个的子区块视为一个子群组来完成分割。剩余位置形成第二群组。
i)通过将包含第一位置(左上方)并具有形状{4×4,4×8,4×12, 4×16,8×4,8×8,12×4,16×4}中的任一个的子区块视为一个子群组来完成分割。剩余位置被分割成大小{1×2,2×1,2×2,4×4}的群组。
j)完成被分成具有形状4×4和/或2×2的子群组的分割。
k)具有在{2,4,8,16}中的尺寸的子群组变换
l)具有在{24,32,48,64}中的尺寸的子群组变换
m)完成被分成具有在{2×2,4×4,4×8,4×12,4×16,8×4,8×8, 12×4,16×4}中的形状大小的子群组的分割
n)分割是通过将包含第一位置的大小为min(8,宽度)×min(8, 高度)的子群组视为一个群组而从残差区块的宽度和高度导出，剩余位置形成第二群组。
o)分割是通过采用包含第一位置和大小在{4×4,4×8,4×12,4×16, 8×4,8×8,12×4,16×4}中的子群组，通过应用以下规则而从残差区块的宽度(W)和高度(H)导出：如果W＝＝H，则子群组的形状为D×D，其中D＝min(W,8)。如果W>H，则子群组的高度被设定为4。其宽度是通过采用{8,12,16}中的最大大小来选择，该宽度不大于W。如果H>W，则子群组的宽度被设定为4。其高度是通过采用{8,12,16} 中的最大大小来选择，该高度不大于H。
p)储存在ROM中的置换+成对分割。
q)从预测模式导出
r)层次结构：
1)N个水平变换(完全相连：dim M)
2)M个竖直变换(完全相连：dim N)
3)
变换类别：
结构化变换有助于一方面降低复杂度，而且允许通过其引起性的限制将变换分组。此分类可有益于比较变换和定义用于量化和/或熵编码级的相关性模型。
作为一类变换，如图6中示例性地示出的，考虑因式分解为此后分别被称作初级变换和次级变换的两个变换的多级变换。命名源自编码器视角，这是因为初级变换被直接应用于空间域中的预测残差从而得到初级变换系数，而次级变换被应用于初级变换系数的子集。
应注意，初级变换和次级变换本身可被定义为多级变换，且次级变换相比初级变换尺寸减小。
如果变换不因式分解为两个变换，使得第二变换仅应用于第一变换的系数的子集，则此变换被称为仅初级变换。
另一变换类别是通过以下事实给定：变换可因式分解成竖直和水平变换，并被称作可分离变换。其为多级变换的尤其简单的形式。在第一级中，逐列且在第二级中应用变换，将变换逐列应用于第一变换级的输出(系数)(或反之亦然)。典型地，每个级中，相同的变换被应用于每行(列)。
变换的特殊类别是通过其尺寸减少特性给出，亦即，如果尺寸通过变换明确减少且在该情况下假定该精确系数位置为零。
假定从比特流中所编码的系数重构残差信号包含逆变换作为熵编码阶段的部分，该逆变换在解量化之前被应用于系数(可能属于不同残差区块)，则有必要具有未引入舍入误差的无损变换。变换是否无损也可以是分类属性。
变换的进一步分类可通过区分经分析构造的变换(诸如来自 DCT/DST家族的变换和在特定示例集合上训练的那些变换)来完成。对于分析变换，分类可通过其构造规则来精确完成。此构造规则可适用于不同变换大小，因此这也允许变换之间的比较，即使其大小不同。其可有助于探索区块间相关性，例如，有助于取决于相邻区块的变换决策导出上下文模型。
并且，数据驱动的变换可取决于其专业化而得以进一步分类。具体地，更普遍的是训练用于帧内预测残差的变换，而精确训练用于例如由精确帧内方向给出的一个特定帧内模式的变换得到更专业变换。此专业化可甚至通过针对给定预测模式集群数据而进一步提高。
3.1初级变换和次级变换的示例性实施例
用于初级变换和次级变换的一些示例和实施例可列出于以下非穷尽性列表中：
初级变换：
A)
1.级：分割成行，用于每行的专用变换
2.级：分割成列，用于每列的专用变换。
其中每个子群组变换可以是任何类型，如上文所提及。
具体地：
A.1)
1.级：分割成行，用于每个子群组(行)的同一变换。
2.级：分割成列，用于每个子群组(列)的同一变换。
A.2)
1.级：分割成行，用于每个子群组(行)的同一DCT/DST变换。
2.级：分割成列，用于每个子群组(列)的同一DCT/DST变换。
A.3)
1.级：分割成行，用于每个子群组(行)的具有尺寸减小的同一 DCT/DST变换。
2.级：分割成列，用于每个子群组(列)的同一DCT/DST变换。
A.4)
1.级：分割成行，用于每个子群组(行)的同一DCT/DST变换。
2.级：分割成列，用于每个子群组(列)的具有尺寸减小的同一 DCT/DST变换。
A.5)
1.级：分割成行，用于每个子群组(行)的具有尺寸减小的同一 DCT/DST变换。
2.级：分割成列，用于每个子群组(列)的具有尺寸减小的同一 DCT/DST变换。
A.6)
1.级：分割成行，用于每个子群组(行)的恒等“变换”。
2.级：分割成列，用于每个子群组(列)的同一DCT/DST变换。
A.7)
1.级：分割成行，用于每个子群组(行)的同一DCT/DST变换。
2.级：分割成列，用于每个子群组(列)的恒等“变换”。
A.8)
1.级：分割成行，用于每个子群组(行)的恒等“变换”。
2.级：分割成列，用于每个子群组(列)的恒等“变换”。
(等效于完全不应用任何变换。)
A.9)
1.级：分割成行，用于每个子群组(行)的同一完全相连的变换。
2.级：分割成列，用于每个子群组(列)的同一完全相连的变换。
A.10)
1.级：分割成行，用于每个子群组(行)的专用完全相连的变换。
2.级：分割成列，用于每个子群组(列)的专用完全相连的变换。
B)
1.级：沿行分割成具有大小S(例如8)的子群组
2.级：沿列分割成具有大小S(例如8)的子群组
其中每个子群组变换可以是任何类型，如上文所提及。
尤其：
B.1)
1.级：沿行分割成具有大小S的子群组，该大小S为区块宽度的一半。
2.级：分割成列，用于每个子群组(列)的同一变换。
B.2)
1.级：分割成行，用于每个子群组(列)的同一变换。
2.级：沿列分割成具有大小S的子群组，该大小S为区块高度的一半。
B.3)
1.级：沿行分割成具有大小S的子群组，该大小S为区块宽度的一半。
2.级：沿列分割成具有大小S的子群组，该大小S为区块高度的一半。
B.4)
1.级：沿行分割成具有大小S的子群组。
2.级：沿列分割成具有大小S的子群组。
第一子群组变换为DCT/DST类型，第二子群组被设定为零。
B.5)
1.级：沿行分割成具有大小S的子群组。
2.级：沿列分割成具有大小S的子群组。
第一子群组被设定为零，第二子群组变换为DCT/DST类型。
C)
1.级：沿行分割成具有大小S(例如8)的子群组
2.级：沿列分割成具有大小S(例如8)的子群组
3.级：具有旁路的层次结构(等效于具有恒等变换的子群组)
其中每个子群组变换可以是任何类型，如上文所提及。
尤其：
C.1)
1.级：分割成行，用于每个子群组(行)的同一变换。
2.级：分割成列，用于每个子群组(列)的同一变换。
3.级：具有尺寸减小的变换。
C.2)
1.级：分割成行，用于每个子群组(行)的同一DCT/DST变换。
2.级：分割成列，用于每个子群组(列)的同一DCT/DST变换。
3.级：具有尺寸减小的变换。
次级变换：
A)
初级系数的子群组，其用于从min(8,W),min(8,H)导出的次级变换。次级变换是完全相连的变换类型。
A.1)
初级系数的子群组，其用于从min(8,W),min(8,H)导出的次级变换。次级变换为具有尺寸减小的完全相连的变换类型。
B)
将初级系数分割成4×4个子群组。完全相连的变换应用于子群组的子集并被组合在层次结构中。
B.1)
将初级系数分割成4×4个子群组。具有尺寸减小的完全相连的变换被应用于子群组的子集并被组合在层次结构中。
C)
将初级系数分割成子群组。次级变换应用于那些子群组的子集。次级变换的变换类型(亦即，连通性)取决于子群组在完整变换区块内的位置。
4.候选变换集合
所选变换的解码过程可由以下步骤组成：
第一，可利用已解码语法元素来构造候选列表。
关于所选变换的知识可支持从比特流解码系数的过程。因此，如果候选列表包含多于一个变换，则可能有益的是通过在系数解码过程之前明确用信号通知关于所选变换的信息来减少候选列表(或甚至标识所选候选列表)。
另一方面，关于系数的已解码信息可用于在候选当中确定所选变换。在系数解码过程期间，可通过移除与已获得的关于系数的信息相冲突的那些变换以迭代方式减少候选列表。在所有系数被解码且多于一个变换候选留下时，必须用信号通知到剩余候选列表中的索引。
4.1候选列表的构造
通过利用已解码语法元素来构造用于残差区块的变换候选列表。这些语法元素可包括变换区块参数，诸如其总大小、形状(宽度和高度)和色彩通道类型(亮度或色度)，而且还包括关于用于当前区块的预测方法的信息。可以通过小节3中的复杂度考虑来有动机地使不同变换类型用于不同变化大小。
图12示出了用于编码具有多个残差区块84、84′、84”的图片12 的非限制性示例。如针对残差区块84示例性示出的，每个残差区块包括可由相应区块84的宽度和高度定义的特定区块尺寸96。根据此非限制性示例，例如可参考相应区块尺寸96来描述变换候选列表的构造。
因此，可提供编码器10和解码器20，其用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14中/从数据流14 解码图片12，该编码器10和解码器20支持用于基于区块的残差编码的变换集合94。编码器10和解码器20可被配置为基于当前残差区块 84的大小96(例如高度和宽度)从该变换集合94确定122用于当前残差区块84的变换的变换候选列表98。编码器10可被配置为使用来自可选变换列表98的一个所选变换102对残差区块84内的预测残差 100进行编码，并选择性地在数据流14中用新号通知该所选变换102。解码器20还可以被配置为选择性地从数据流14导出所选变换102在来自可选变换列表98的一个所选变换102的域中对残差区块84内的预测残差100进行解码。
关于术语“域”及“陪域”，应参考图16，其示出了包括多个样本105的上述残差区块84的详细描绘。样本105的数量可确定区块尺寸96，例如，残差区块84(例如4×4、8×8区块等等)的宽度和高度。可对残差区块84或样本105分别进行初级变换，其中区块尺寸 96和样本105对应于初级变换的域。样本105被变换成初级变换系数 114，其中一个或多个初级变换系数114可包括在初级变换系数的子群组112中。初级变换的输出，亦即，初级变换的陪域(codomain)，对应于由初级变换系数114的数量定义的子群组112的大小。
在图16中所示出的非限制性示例中，子群组112可以包括一个或多个零值初级变换系数114和一个或多个有效(亦即，非零值)初级变换系数114。稍迟将在以下小节5中描述其中一个或多个初级变换可被设定成零的一些特定示例。
目前，应继续参考图16来进一步描述一般原理。可以看出，在此非限制性示例中，子群组112为倒“L”形，亦即，保持包括有效系数114的左边一列和上面一行，而至少从编码器视角来看，超出倒“L”范围的剩余初级变换系数114可被设定成零。在亦适用于解码器的更普遍术语中，次级变换的域相比初级变换的域有所减少。
初级变换系数114的子群组112接着可经过次级变换，从而得到次级变换系数134的次级子群组138。子群组112的大小，亦即，初级变换系数114的数量(其对应于次级变换的域)，可大于次级子群组138的大小，亦即，次级变换系数119的数量(其对应于次级变换的陪域)。
图16示出了第一替代方案A，其中只有有效初级变换系数114是通过次级变换来进行变换且零值初级变换系数隐式地减少并未用信号通知，亦即，只有经变换的有效变换系数(次级子群组138)可在此情况下被编码。图16(以短划线)示出了第二替代方案B，其中包括次级子群组138和在该子群组138之外的零值系数的整个子区块 117可存在，亦即，所有系数在此情况下被编码。
亦如图16中所示出的，编码器10和解码器20可对次级变换系数 134进行逆变换，其中逆变换的域可对应于次级变换的陪域。
如上文所提及，可通过利用已解码语法元素，例如变换区块参数，诸如其总大小、形状(宽度和高度)，或换言之，基于相应变换的域/ 陪域，来构造用于残差区块的变换候选列表98。
因此，此方面的编码器10可支持多个区块尺寸96(亦即，高度和宽度)。对于每个区块尺寸，变换集合94可包括变换子集，该变换的域对应于相应区块尺寸96。对于变换集合94中的每个变换，编码器10可支持逆变换(应注意，诸如对于具有尺寸减小的那些变换T 而言，不是必须T*T-1＝1)，该逆变换的域与相应变换的陪域一致，其中编码器10可使用逆变换来填充对其选择相应变换的残差区块处的经解码的图片缓冲器。编码器10还可被配置为在确定变换候选列表 98时排他地用来自变换子集的变换来填充变换，该变换的域对应于当前残差区块84的高度和宽度。
因此，此方面的解码器20可支持多个区块尺寸(亦即，高度和宽度)。对于每个区块大小，变换集合94包括变换子集，该变换的陪域对应于相应区块尺寸。应注意，此处所提及的变换是相对于在编码器 10处发生的变换的逆变换。解码器20可进一步被配置为在确定变换候选列表98时排他地用来自变换子集的变换来填充变换，该变换的陪域对应于当前残差区块84的高度和宽度。
概括而言，每个变换(初级或次级变换)可包括与其输入可比的域和与其输出可比的域，其中第一变换及次级变换的相应陪域可彼此不同。可例如通过将一些初级和/或次级系数设定为零来实现减少的陪域，其将在下文更详细地解释。
如上文最初所提及，计算复杂度可随着变换大小而增加。因此，有助于将大小在阈值以上的变换区块的变换候选限定于更简单的变换类型作为回报。目前，通过考虑由一个水平和一个竖直变换类型定义的可分离变换给出简单示例。由于高效算法采用其蝶形结构，紧接着无附加计算复杂度的恒等”变换”的DCT-II被视为计算简单变换类型。
如小节3中所陈述，每个变换类型的复杂度可通过引入变换候选降低，该变换候选通过强制特定系数为零而隐式地降低维数且由此减小所需乘法的数量。
在下文中，将描述编码器10和解码器20的一些示例性实施例，编码器10和解码器20被配置为将初级变换系数中的一个或多个和/ 或次级变换中的一个或多个设定为零，这也将被称作“置零”。可在编码器端应用将系数设定为零，而解码器可避免解码为零的系数。
例如，定义三个阈值(T1，T2，T3)。T1按照小节2.3，且由大小(宽度或高度)定义，使得只有在区块的高度(宽度)小于T1时， DCT-II才是区块的竖直(水平)变换的候选。否则，具有尺寸减小的 DCT-II为候选，其中最后的高度(宽度)-T1高频系数被设定成零。除此之外，T2定义用于其他变换类型(如DST-VII、DCT-III，等等) 的阈值大小，使得只有在其大小小于T2时，完全大小变换才是候选。否则，其相对应的具有尺寸减小的变换为候选。最后，T3定义用于恒等“变换”的阈值大小，该变换只有在其大小小于T3时才是候选。
根据示例，编码器10可被配置为在确定变换候选列表98时进行：
如果当前残差区块84的高度和宽度满足第一标准(例如T1 和T2)，则用来自变换子集的一个或多个变换填充变换候选列表 98，该一个或多个变换的域对应于当前残差区块84的高度和宽度，且该一个或多个变换的陪域小于其域(例如，具有“宽度尺寸减小”的变换)，或
如果当前残差区块84的高度和宽度不满足第一标准，则从变换候选列表98中排除来自变换子集的一个或多个变换，该一个或多个变换的域对应于当前残差区块84的高度和宽度，且该一个或多个变换的陪域小于其域。
解码器20又可被配置为在确定变换候选列表98时进行：
如果当前残差区块84的高度和宽度满足第一标准(例如T1和 T2)，则用来自变换子集的一个或多个变换填充变换候选列表98，该一个或多个变换的陪域对应于当前残差区块84的高度和宽度，且该一个或多个变换的域小于其陪域(亦即，具有“宽度尺寸减小”的变换的逆变换)(例如包括更少样本/系数)，或者
如果当前残差区块84的高度和宽度不满足第一标准，则从变换候选列表98中排除来自变换子集的一个或多个变换，该一个或多个变换的陪域对应于当前残差区块84的高度和宽度，且该一个或多个变换的域小于其域。
上述一个或多个变换可以是以下中的一个或多个：DCT-II、DST-VII和DCT-III。
根据另一示例，编码器10和解码器20可被配置为在确定变换候选列表98时进行：
如果当前残差区块84的高度和宽度满足第二标准(例如T3)，则用来自变换子集的恒等变换填充变换候选列表98，该恒等变换的域对应于当前残差区块84的高度和宽度，或
如果当前残差区块84的高度和宽度不满足第二标准，则从变换候选列表98中排除来自变换子集的恒等变换，该恒等变换的域对应于当前残差区块84的高度和宽度。
编码器10和解码器20可被配置为通过检查高度、宽度、高度和宽度两者，和/或高度与宽度的乘积是否超出特定阈值来检查第一标准和/或第二标准。
除了通过残差区块的宽度和高度独立地定义限制以外，可通过检查相对形状来应用规则。例如，如果其宽度或高度中的任一个超过另一个，则允许仅有候选。对于可分离变换候选，这可通过将一个变换类型指派给较大变换尺寸和将另一变换类型指派给较小方向完成。对于具有尺寸减小的变换，此信息可用于决定哪些系数被设定成零。
根据又一示例，编码器10和解码器20可被配置为在确定变换候选列表时进行：
如果当前残差区块的高度和宽度满足第三标准(例如高度与宽度的比超出特定阈值？)，则用来自变换子集的可分离频谱分解变换来填充变换候选列表，该变换的域对应于当前残差区块(84)的大小，
如果当前残差区块的高度和宽度不满足第三标准，则从变换候选列表中排除来自变换子集的可分离频谱分解变换，该变换的域对应于当前残差区块(84)的大小。
根据此示例，编码器10和解码器20可被配置为通过检查高度与宽度的比是否超出特定阈值来检查第三标准。对于次级变换，残差区块的宽度和高度可用于决定哪些系数在另一变换步骤中变换。根据上文的复杂度论证，亦应限制(相比可分离变换)更灵活的变换结构，其取决于变换区块大小。虽然较小区块大小的变换级可被定义为使得前一变换级的完整结果(所有系数)在以下阶段中(在被称作仅初级变换的小节3中)被进一步变换，但由初级+次级变换构成的多级变换可用于较大区块大小。
通过假定例如次级变换适用于高达64的尺寸(初级变换系数)，用于次级输入的构造规则可被公式化为由min(8,宽度)×min(8,高度)定义的子群组。为了减少所定义变换的总数量，可限定次级变换子群组的形状。例如，通过仅定义用于形状8×8及4×4的次级变换，次级变换子群组被适用于给定变换区块大小的较大形状(宽度*高度) 选择。
为了例示，在此情况下，大小(4×32)的变换区块具有次级变换形状(4×4)，而具有大小(8×16)的变换区块具有次级变换形状(8×8)。此外，次级变换本身的结构应以复杂度限制来定义，该复杂度限制取决于其自身大小和或完整变换区块的大小。例如，4×4次级变换可通过完全相连的变换定义，而较大次级变换在其复杂度方面应受到如小节3中所描述的任何方法限制，例如通过限制其他变换级的数量或通过强制特定系数为零来缩减其尺寸来进行限制。
因此，编码器10和解码器20可被配置为在确定变换候选列表(98) 时用取决于区块大小和形状的变换来填充变换候选列表(98)，其中可使用区块的缩放，如上一段中所示例性地描述的。如上文所提及，例如，具有大小(4×32)的第一变换区块具有次级变换形状(4×4)，而具有大小(8×16)的第二变换区块具有次级变换形状(8×8)。亦即，第一和第二变换区块的行可包括1∶2的缩放比率，而第一和第二变换区块的列可包括2∶1的缩放比率。
因此，如果当前残差区块84的高度和宽度对应于第一预定区块尺寸，则编码器10和解码器20可被配置为用变换子集中的第一一个或多个变换来填充变换候选列表98，该一个或多个变换的陪域对应于当前残差区块84的高度和宽度且编码器10和解码器20反转多级变换 106，该多级变换106包括被应用至当前残差区块84内的预测残差100 上的初级变换108，以及被应用至初级变换108的初级变换系数114 的第一子群组112上的次级变换110。
备选地，如果当前残差区块84的高度和宽度对应于第二预定区块尺寸，则编码器10和解码器20可被配置为用变换子集中的第二一个或多个变换来填充变换候选列表98，该一个或多个变换的陪域对应于当前残差区块84的高度和宽度且编码器10和解码器20反转多级变换 106，该多级变换106包括被应用至当前残差区块84内的预测残差100 上的初级变换108，和被应用至初级变换108的初级变换系数114的第一子群组112上的次级变换110。
在任一情况下，将第一一个或多个变换的初级变换108的第一陪域映射到第一一个或多个变换的初级变换108的第二陪域上的缩放不会将第一陪域内的第一子群组的外周(circumference))映射到第二陪域内的第二子群组的外周上。
就经过初级变换和次级变换的区块的上述高度/宽度比而言，有可能的是，第一陪域内的第一子群组112的外周不会映射在第二子群组的外周上，例如，即使初级变换的陪域的高度/宽度比(高宽比)与第一预定尺寸和第二预定尺寸的高度/宽度比相同。
因此，编码器10和解码器20可被配置为在确定变换候选列表时：如果当前残差区块的高度和宽度对应于第一预定区块尺寸，则用变换子集中的一个或多个变换来填充变换候选列表，该一个或多个变换的域对应于当前残差区块84的高度和宽度，且该一个或多个变换为多级变换106，该多级变换106包括被应用至当前残差区块内的预测残差 100上的初级变换108和被应用至初级变换的初级变换系数114的第一子群组112上的次级变换110。备选地，如果当前残差区块的高度和宽度对应于第二预定区块尺寸，则编码器10和解码器20可被配置为用变换子集中的第二一个或多个变换来填充变换候选列表，该一个或多个变换的域对应于当前残差区块84的高度和宽度，且该一个或多个变换为多级变换106，该多级变换106包括被应用至当前残差区块内的预测残差100上的初级变换108和被应用至初级变换的初级变换系数114的第二子群组112上的次级变换110。在此示例中，将第一一个或多个变换的初级变换的第一陪域映射到第一一个或多个变换的初级变换的第二陪域上的缩放可能不会将第一陪域内的第一子群组的外周映射到第二陪域内的第二子群组的外周上。
考虑到变换级到其完整变换区块大小的相对复杂度开销(例如，通过对完整变换区块中的每像素的乘法计数)，变换级的结构应受到其相对大小的进一步限制。此处，最坏的情况适用于仅初级多级变换，其中按照定义(参考小节3)，前一变换级的所有系数(或所有子群组) 被输入至下一变换级。此外，小节3的所有方法是可适用的。
除变换区块形状之外，用于获得残差区块的预测方法也深入了解残差信号的特性且由此可用于选择适当变换候选。
通过具有针对色度和亮度残差区块定义的不同变换候选，变换候选列表也可以适于色彩通道。虽然具有专用色度变换集合给出了较高灵活性，但这也增加储存附加变换核心所需的存储器的量。因此，期望具有变换结构/核心的联合集合以从其选择候选。如果色度残差区块与亮度变换区块(例如属于同一CU，无二元树)相关联，还期望共享同一变换索引(必须仅被用信号通知一次)或期望从所选亮度变换导出所选色度变换。为了允许唯一的标识，色度候选列表必须被小心选择并适于亮度候选列表。主要地，色度子采样用于视频编码中，因此色度残差区块大小且因此色度变换大小也不同于所选亮度变换大小。为了标识色度候选，所选亮度变换的特性必须与色度区块的候选列表中的变换类别相匹配。在具有来自DCT/DST类别的变换的情况下，这是直接的，因为该变换是针对不同大小定义。因此，色度变换区块的候选列表可被填充有与相关联亮度区块相同但大小更小的变换类型(DCT/DST)，且所选变换可被唯一地标识，从而知晓所选亮度候选。通过允许例如仅一个候选具有次级+变换，此属性还允许唯一的标识。此外，尺寸减小的属性可用于标识相关联色度变换候选。如果通过将预定义系数位置设定为零而使所选亮度变换缩减尺寸，则可通过采用强制相同的相对位置为零的候选来标识色度变换。此处，相对位置例如是指区块的第一半或区块的第一行等。如果亮度和色度列表中的相同数量的候选之间共享相同属性，则该列表内的顺序和所选亮度变换索引可用于标识色度变换。
这可有助于在量化参数处于特定范围内的情况下仅将特定变换添加到候选列表。这尤其有助于具有尺寸减小的变换，而且可取决于量化参数来训练特殊化变换。
鉴于这些属性，变换候选列表可通过构造规则导出或通过查找表获得。此处，针对所有可能的属性组合具有变换候选列表的查找表是最灵活的且因此是优选变型。
以下小节提供用于构造变换候选列表的规则。
4.1.1大残差区块
宽度或高度大于64的大残差区块可使用如以上小节2.3中所描述的具有高频置零的DCT-II进行变换。
4.1.2经帧间预测的残差区块
对于经帧间预测的残差区块，可使用AMT的变换和信令方案，亦即，候选列表可包括：
{[DCT-II,DCT-II],[DST-VII,DST-VII],[DST-VII,DCT-VIII], [DCT-VIII,DST-VII],[DCT-VIII,DCT-VIII]}
其中：[竖直变换，水平变换]
4.1.3经帧内NN预测的残差区块
帧内NN变换
对于帧内NN(神经网络)，提供用于帧内NN预测区块的专用变换集合。在下文中，这些变换被称为帧内NN变换。
参考图7，可提供编码器10(类似于上文参考图1所描述的编码器)和解码器20(类似于上文参考图2所描述的解码器)，其用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14 中/从数据流14解码图片12。编码器10和解码器20支持用于基于区块的残差编码的变换集合94，其中一个或多个不同变换可在集合94 内获得。编码器10和解码器20被配置为通过将帧内预测区块80的空间邻域90应用至多个神经网络92中的所选神经网络上来预测帧内预测区块80，从而获得帧内预测区块80的预测104。编码器10和解码器20可基于所选神经网络和基于残差区块84的区块大小96针对覆盖帧内预测区块80的残差区块84而从变换集合94确定可选变换集合 98。编码器10可进一步使用可选变换集合98中的一个所选变换102 对残差区块84内与帧内预测区块80的预测相关联的预测残差100进行编码，并在数据流14中用新号通知所选变换。解码器20又可在可选变换集合98中的一个所选变换102的域中从数据流14对残差区块 84内与帧内预测区块80的预测104相关联的预测残差100进行解码，同时从数据流14导出所选变换。
因此，可提供变换集合94，其包括一个或多个可选自该集合94 的可选集合98。可选集合98可包括一个或多个变换102，其中一个变换102可选自可选集合98。编码器10可使用一个所选变换102对预测残差100进行编码。解码器20可使用一个所选变换102对预测残差 100进行解码。
在以不同帧内NN模式为条件时，针对预测残差的特定特性来训练这些变换。帧内NN变换集合98包括用于小区块大小(例如在预定阈值以下的区块大小)的仅初级变换和用于较大区块大小(例如在在预定阈值以上的区块大小)的初级+次级变换。
例如，图7至图10示出了包括多个样本105的残差区块84。残差区块84可包括可分别被编码和解码的预测残差100。样本105可经过一个或多个变换，例如仅初级变换118(图10)或包括初级变换 108和后续次级变换110的多级变换106(图8)。
样本105可经过初级变换108，使得样本105可从空间域变换到变换域中。因此，经变换区块可包括一个或多个初级变换系数114。多个初级变换系数114可一起排列在初级变换系数114的初级子群组 112中。如例如在图9中可见，初级变换108可将残差区块84的一行或多行从空间域变换到变换域中，而残差区块84的列未被变换且因此仍保持在空间域中。
在一些示例中，初级变换系数114可借助于次级变换110而进一步变换，使得初级变换系数114可被变换到相应次级变换的域中。因此，再次变换的区块117(由于次级变换110)可包括一个或多个次级变换系数134。多个次级变换系数134可一起排列在次级变换系数 134的次级子群组138中。如例如图9中可见，次级变换110可将区块的一列或多列从空间域变换到变换的域中。如上文所提及，区块的行可能已借助于初级变换108被变换。因此，行和列可能已借助于多级变换(亦即，通过应用初级变换和后续次级变换)而被变换。然而，变换系数不受限于行和列，因为这仅是一个非限制性示例。
如先前所提及，预定变换集合94可用于编码器10和解码器20 可从其中进行选择。例如，参考图7和图8，编码器10和解码器20 可被配置为执行对可选集合98的确定，使得对于在预定阈值以上的区块大小，可选变换集合98通过第一数量的一个或多个多级变换106填充，每个多级变换包括被应用至预测残差100上的初级变换108和被应用至初级变换108的初级变换系数114的子群组112上的次级变换110，该次级变换110是不可分离的且取决于所选神经网络。子群组112表示初级变换108的低频部分。
例如，对于在S＝{4,8,16,32}×{4,8,16,32}中的每个区块大小和每个帧内NN预测模式，存在4个帧内NN变换的集合。更一般而言，多级变换的数量可以是2至6，包括2和6。对于除S中的那些区块大小以外的区块大小，使用用于导出大小s′的帧内NN变换。大小s′是通过采用S中的大小获得的，针对其中的每个，竖直和水平尺寸是S中的最小者，但至少具有区块大小。
参考图10，另外或备选地，编码器10和解码器20可被配置为执行对可选集合98的确定，使得针对在预定阈值以下的区块大小，可选变换集合98是通过第二数量的一个或多个不可分离变换118填充。多级变换106(图8)的第一数量与不可分离变换118(图10)的第二数量可相等。
对于区块高度(H)和区块宽度(W)均不大于8的大小的帧内 NN变换被定义为仅初级变换。出于复杂度原因，较大变换被定义为初级+次级变换，具有低复杂度可分离初级变换和仅应用于初级系数子区块的次级变换，该初级系数子区块包含第一系数并具有大小(8, W)×min(8,H)。
版本1：
参考图9，且进一步除帧内NN变换以外或替代帧内NN变换，编码器10和解码器20可被配置为执行对可选集合98的确定，使得可选变换集合98通过第三数量(例如1或5个)的一个或多个可分离二维变换116进一步填充，亦即，用于帧内NN预测的残差区块的变换候选列表可包括来自DCT/DST家族的以下5个可分离(仅初级)变换：
{[DCT-II,DCT-II],[DST-VII,DST-VII],[DST-VII,DCT-VIII], [DCT-VIII,DST-VII],[DCT-VIII,DCT-VIII]}
其中：[竖直变换，水平变换]
版本2：
此外除帧内NN变换以外或替代帧内NN变换，用于帧内NN预测的残差区块的变换候选列表可包括可分离(仅初级) {DCT-II,DCT-II}变换。
版本3：
帧内NN预测可被定义为使得在变换的域表示中而非在空间域表示中给出预测。因此，给出预测残差作为特定变换级的系数。在此情况下，有效地应用的变换的第一级已由所用预测明确定义。
例如，编码器10和解码器20可被配置为执行预测，使得在初级变换108的域118中获得帧内预测区块80的预测。编码器10和解码器20可被进一步配置为执行对可选集合98的确定，使得可选变换集合98通过第四数量的一个或多个多级变换106填充，每个多级变换包括初级变换108和被应用至初级变换108的初级变换系数114的子群组112上的次级变换110，其中次级变换110可以是不可分离的且取决于所选神经网络。
作为示例，可给出预测残差作为DCT-II域中的系数，亦即，初级变换108可以是可分离二维变换116(图9)。在初级+次级变换的情况下，初级变换被视为由预测模式定义的变换(此处为DCT-II)。因此，在DCT-II系数的子集上定义次级变换。此处，这是在具有大小min(8,W)×min(8,H)的最低频率的系数子集上定义的，亦即，子群组112表示初级变换108的低频部分。
在此版本中，帧内NN预测的残差区块的所有变换候选具有由帧内模式明确给出的相同第一变换级。除了在给出的变换级的顶部上构造的4个(例如介于2个与6个之间)的经过训练的帧内NN变换之外，明确给出的变换本身也被添加到候选列表作为仅初级变换(在此为用于所有帧内NN模式的DCT-II)，亦即，可选变换集合98可通过初级变换108进一步填充。
用于帧内NN变换的编码器10和解码器20的另一示例示出在图 11中。此示例可类似于上文参考图7和图10描述的示例，该附图也用于描述以下示例。
此示例的编码器10可被配置为通过将帧内预测区块80的空间邻域90应用至神经网络NN#上来预测帧内预测区块80，从而在初级变换108的域118(图10、图11)中获得帧内预测区块80的预测104。编码器10可被配置为使用可选变换集合98中的一个所选变换102对残差区块84内与帧内预测区块80的预测104相关联的预测残差100 进行编码，且在数据流14中用信号通知所选变换102。在此示例中，可选变换集合98通过至少一个多级变换106填充，该至少一个多级变换包括初级变换108和被应用至初级变换108的初级变换系数114的子群组112(图8)上的次级变换110。
对应的解码器20可被配置为通过将帧内预测区块80的空间邻域 90应用至神经网络NN#上来预测帧内预测区块80，从而在初级变换 108的域118(图10、图11)中获得帧内预测区块80的预测104。解码器20可被配置为通过从数据流14导出一个所选变换102在可选变换集合98中的一个所选变换102的另一域119中从数据流14解码残差区块84内与帧内预测区块80的预测104相关联的预测残差100。可选变换集合98通过至少一个多级变换106填充，该至少一个多级变换包括初级变换108和被应用至初级变换108的初级变换系数114的子群组112(图8)上的次级变换110。
编码器10和解码器20可被配置为通过多个多级变换106填充可选变换集合98，该多个多级变换各包括初级变换108和被应用至初级变换108的初级变换系数114的子群组112上的次级变换110，该次级变换110是不可分离的。
多级变换的数量可介于2与6之间，包括2和6。另外或备选地，初级变换108可以是可分离二维变换。另外或备选地，子群组112可表示初级变换的低频部分。
编码器10和解码器20可被配置为执行对可选集合98的确定，使得可选变换集合98通过初级变换进一步填充。
4.1.4经帧内预测的残差区块(DC、平面、角度)
对于经帧内预测的残差区块，在给出其实际应用的帧内模式和区块大小时，针对残差信号的特定特性定义、训练专用变换集合。这些变换包括仅初级变换，且出于复杂度原因，还包括初级+次级变换，其中初级变换具有尤其低复杂度的实施。
再次参考图7，可提供编码器10(类似于上文参考图1所描述的编码器)和解码器20(类似于上文参考图2所描述的解码器)，其用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14中/从数据流14解码图片12。编码器10和解码器20可被配置为使用帧内预测模式集合120中的所选帧内预测模式基于帧内预测区块80的空间邻域90来预测帧内预测区块80，从而获得帧内预测区块 80的预测104。编码器10和解码器20可进一步被配置为基于所选帧内预测模式和残差区块84的区块大小96从变换集合94确定用于覆盖帧内预测区块80的残差区块84的可选变换集合98。编码器10可进一步被配置为使用可选变换集合98中的一个所选变换102对残差区块 84内与帧内预测区块80的预测104相关联的预测残差100进行编码，且在数据流14中用信号通知所选变换102。解码器20又可被配置为在可选变换集合98中的一个所选变换102的域中从数据流14对残差区块84内与帧内预测区块80的预测104相关联的预测残差100进行解码，同时从数据流(14)导出所选变换102。
如由AMT定义的DCT/DST家族的变换在初级变换当中，该变换可与由NSST定义的变换组合以分别构造仅初级变换和初级+次级变换。换言之，初级变换108可取决于所选帧内预测模式且可以是可分离二维变换116。因此，且再次参考图8，编码器10和解码器20可被配置为执行对可选集合98的确定，使得对于预定区块大小的第一预定集合中的区块大小，可选变换集合98通过一定数量的一个或多个多级变换106填充，每个多级变换包括被应用至预测残差100上的初级变换108和被应用至初级变换108的初级变换系数114的子群组112上的次级变换110，该次级变换110是不可分离的且取决于所选帧内预测模式。
附加变换可能已被训练，其包括高达尺寸64的完全相连的变换级和变换级系数(尤其是初级变换系数)的帧内模式相关分割(例如，子群组112可取决于所选帧内预测模式)。这些变换中取决于其已解码语法元素而适合于残差区块的变换已在实验中发现，且通过查找表连同用于候选列表的以下构造规则给出。
因此，且再次参考图10，编码器10和解码器20可被配置为执行对可选集合98的确定，使得对于小于预定区块大小的第一预定集合的预定区块大小的第二预定集合中的区块大小，可选变换集合98通过第二数量的一个或多个不可分离变换118填充。
在以要求子群组为矩形、密集和低维的复杂度限制来构造多级变换时，仍具有选择子群组的形状的自由。确切而言，形状可以是正方形或在竖直或水平方向上具有主要尺寸。如果那些中的任一个是优选的，则该形状取决于所选初级变换和实际帧内预测模式。例如，如果 DCT-II是初级变换且用水平方向模式中的一个预测残差区块，则预期残差初级系数集中在区块的左侧上，因此子群组可被选择为高度大于宽度。可针对竖直帧内方向选择相反情况。
亮度分量
版本1
为产生用于经帧内预测的亮度残差区块的变换候选列表，可使用查找表。此表保存针对S3＝{64×64}+{4,，8,，16，32}×{4，8,，16,，32}+{4x12,，12x4}中的大小的组合和I0＝{0，…，34}中的帧内模式索引的变换候选列表。如上文所提及，编码器10和解码器20可被配置为基于所选帧内预测模式和基于残差区块84的区块大小96而从变换集合94中确定用于覆盖帧内预测区块80的残差区块84的可选变换集合98。
用于获得残差区块的候选列表的实际规则如下：
鉴于帧内模式由{DC，平面}+33个方向模式}中的帧内方向中的一个指定，此帧内方向用作到LUT中的帧内模式索引。
鉴于帧内模式由{DC，平面}+65个方向模式}中的帧内方向中的一个指定，到LUT中的帧内模式索引通过以下映射获得：
Figure BDA0002791037120000391
对于大小在S3中的残差区块，此大小用作到LUT的输入，否则使用第二查找表，其针对I0中的每个帧内模式索引定义一个固定变换候选集合。
因此，编码器10和解码器20可被配置为使得次级变换110取决于所选帧内预测模式的方式包括帧内预测模式聚合，例如，帧内预测模式索引的量化或帧内预测模式集合120当中的角度帧内预测模式的帧内预测方向的量化。
另外或备选地，编码器10和解码器20可被配置为使得初级变换 108取决于所选帧内预测模式的方式包括帧内预测模式聚合，例如，帧内预测模式索引的量化或帧内预测模式集合120当中的角度帧内预测模式的帧内预测方向的量化。
版本2
与版本1的差异在于用于大小未处于S3中的残差区块的变换候选的偏差。此处，大小s′用于对查找表寻址。其中，s′为S3中的最小大小，其中每个尺寸大于s的对应尺寸或与其相等。
色度分量(无色度二元树)
版本1
用于色度残差区块的变换候选是与亮度变换候选从同一变换集合获得的。此处，每个变换键(key)可定义两个分开的色度变换候选。如果色度分量的预测模式等于亮度模式，则采用第一候选。否则，采用第二候选。
版本2
用于色度残差区块的变换候选是与亮度变换候选一样从同一变换集合获得的。此处，每个变换键可定义两个分开的色度变换候选。如果如此，则将两个变换添加到色度候选列表。
4.1.5取决于相邻变换区块的变换决策而添加/替换和重排序候选
除了从变换区块自身的属性(诸如预测模式、区块大小等)导出的变换候选以外，候选也可以从相邻变换区块导出。一些示例应在下文中讨论：
例如，图12示出了图片12经分割成当前残差区块84和可紧邻当前残差区块84或在空间上与当前残差区块84相隔的空间相邻残差区块84′、84”。假定相邻残差区块84′、84”在各种属性(诸如残差能量和信号结构)方面类似，则可通过使所选相邻变换的信息包括到当前区块84的候选的偏差过程中而利用此相似性。
参考图12，可提供编码器10(类似于上文参考图1所描述的编码器)和解码器20(类似于上文参考图2所描述的解码器)，其用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流 14中/从数据流14解码图片12。
编码器10和解码器20可被配置为基于针对相邻残差区块84′、84”选择的参考变换从变换集合94中确定122用于当前残差区块84的可选变换列表98。编码器10可被配置为使用该可选变换列表98中的一个所选变换102对残差区块84内的预测残差100进行编码，并在数据流14中用信号通知所选变换102。解码器20又可被配置为通过从数据流14导出可选变换列表98中的一个所选变换102，在可选变换列表98中的所选变换102的域中对残差区块84内的预测残差100进行解码。
一般而言，如果相邻变换区块84′、84”与当前区块84具有相同大小和预测模式，则相邻变换区块84′、84”的所选变换也是当前区块84 的候选，条件是列表是如上文所描述而构造的。在这种情况下，当前候选列表可被重新排序，使得之前已选择的候选被放置在候选列表中的多个第一位置中的一个。因此，编码器10和解码器20可被配置为使用参考变换对可选列表98进行排序122。
例如，编码器10和解码器20可被配置为通过以与最可能的选择 (例如，第一位置，或与索引124的最低索引值相关联或具有与最短 VLC相关联的索引值的位置)相关联的顺位(“n#”中的#)对参考变换或与该参考变换相对应的变换(例如，针对1级，通过高变换索引124用信号通知且因此有可能为极特殊化变换，即用于大小不同的相邻区块的分析变换类型)进行定位，来对可选列表98进行排序122。备选地，编码器10和解码器20可通过以与第二最可能选择相关联的顺位(”n#”中的#)对参考变换或与该参考变换相对应的变换进行定位，来对可选列表98进行排序122。
这可改善候选的信令且还通过跳过以下候选的测试来允许用于测试编码器处的变换候选的高效快速搜寻模式。
如果多于一个相邻区块84′、84”的变换决策可用，则每个候选在当前列表中的实际位置通过将已更频繁选择的候选置于列表的前面，以在相邻区块84′、84”中选择其的频率为条件。可能有益的是保持列表中的第一候选不变且将最频繁选择的候选置于第二位置，这是是因为第一变换通常是最有可能的，即使是当以相邻决策为条件时。
因此，编码器10和解码器20可被配置为基于针对相邻残差区块 84′、84”的集合选择的参考变换而从变换集合94确定122用于当前残差区块84的可选变换列表98。
此外，编码器10和解码器20可被配置为通过以与针对相邻残差区块84’、84”的集合选择参考变换的频率相对应的顺序来互相定位参考变换而对可选列表98进行排序122。
当相邻残差区块84′、84”在预测模式或区块大小方面有所不同时，所选相邻变换不一定已经是当前区块84的候选。在这种情况下，如果已针对当前区块大小定义所选变换，则可将所选变换添加到当前变换列表。因此，编码器10和解码器20可被配置为用参考变换填充122 可选列表98。
如果将变换实际上添加到候选列表，则应以两个区块的所选预测模式的相似性为条件。例如，如果使用方向模式预测两个区块且其方向索引的不同之处大于2，且相邻区块的所选变换为针对那个模式具体训练的变换，则此变换不太可能是当前区块的有前景的候选。如果另一方面两个预测模式类似或已选择通用变换(诸如DCT或DST)，则也可以将其添加到当前候选列表。如果两个区块的不同之处仅在于其大小且已经已知的所选变换是来自分析定义变换(诸如来自 DCT/DST家族)，则可将用于当前区块大小的对应变换直接导出且添加到候选列表。
因此，编码器10和解码器20可被配置为执行填充，前提是与相邻区块84′、84”和当前残差区块84相关联的一个或多个特定特性足够类似，和/或参考变换是可分离频谱分解变换。该一个或多个特性可例如包括帧内预测模式的一个或多个。
另外或备选地，参考变换可以是可分析定义的可分离频谱分解变换(诸如DCT、DST、FFT等)，且编码器10和解码器20可被配置为用通过使参考变换适于当前残差区块84的区块大小96导出的另一变换来填充122可选列表98。
即使在相邻区块的所选变换并非当前列表的候选时，也知道变换可有助于预测当前列表的最佳候选，且因此对候选的排序可以该变换为条件。例如，令相邻区块的初级变换来自DCT/DST家族，可将具有当前大小的对应初级变换的所有候选置于候选列表的前面，如上文所提及。
此外，假定相邻区块的能量是相关的，当相邻残差区块具有大量有效系数时，当前区块的有效系数的数量将很可能较高。可针对极少系数的相反情况假定相同相关性。
因此，编码器10和解码器20可被配置为通过根据在一个或多个特定特性方面与参考变换的相似性对可选变换集合98中的变换进行排位来对可选列表98排序122，和/或以从可选列表98中排除超出在一个或多个特定特性方面与参考变换的特定不相似性的变换的方式来确定可选变换列表98。例如，所述一个或多个特性可包括初级变换的一个或多个(例如，需要初级变换的等同性)。
此信息可用于对候选进行重新排序或甚至用于从列表移除不太可能的变换。例如，如果相邻残差区块84′、84”具有已远小于k个有效系数，存在变换候选具有在k个系数的子群组上定义的次级变换，此候选可被移除或置于最后位置。此外，如果预期仅极少系数是有效的，则较不可能受益于具有共享相同初级变换而不同之处仅在于其次级变换的变换候选。如果此类变换在候选当中，则在这种情况下可通过仅保持那些变换的第一个或甚至通过用对应的仅初级变换替代这些变换来减少列表。
根据示例，编码器10可被配置为基于针对相邻残差区块选择的参考变换从变换集合确定122用于当前残差区块的可选变换列表98，其方式取决于一个或多个相邻残差区块84′、84”中的有效变换系数的数量或该有效变换系数的总和。如果该数量或总和大于特定阈值，则用于当前残差区块的可选变换列表98用至少一个多级变换填充，该至少一个多级变换包括被应用至当前残差区块的预测残差100上的初级变换和被应用至初级变换的初级变换系数的子群组上的次级变换。如果该数量或总和小于特定阈值，则除了至少一个多级变换之外或代替至少一个多级变换，用于当前残差区块的可选变换列表用该至少一个多级变换的修改填充，其中超出子群组的初级变换系数被置零。在任一情况下，编码器10可被配置为使用可选变换列表中的一个所选变换对残差区块内的预测残差进行编码且在数据流中用信号通知所选变换。
对应的编码器20可被配置为基于针对相邻残差区块84′、84”选择的参考变换从变换集合确定122用于当前残差区块的可选变换列表 98，其方式取决于一个或多个相邻残差区块84′、84”中的有效变换系数的数量或取决于该有效变换系数的总和。如果该数量或总和大于特定阈值，则用于当前残差区块的可选变换列表98用至少一个多级变换填充，该至少一个多级变换包括被应用至当前残差区块的预测残差 100上的初级变换和被应用至初级变换的初级变换系数的子群组上的次级变换。如果该数量或总和小于特定阈值，则除了至少一个多级变换之外或代替至少一个多级变换，用于当前残差区块的可选变换列表用该至少一个多级变换的修改填充，其中超出子群组的初级变换系数被置零。在任一情况下，解码器20可被配置为通过从数据流导出一个所选变换，在可选变换列表中的所选变换的域中对残差区块内的预测残差进行解码。
另外或备选地，编码器10和解码器20可被配置为通过根据相邻区块84′的一个或多个特定特性对可选变换集合98中的变换进行排位来对可选列表98排序122，和/或根据相邻区块84’的一个或多个特定特性以从可选列表98中排除变换的方式来确定可选变换列表98。例如，所述一个或多个特性可包括有效变换系数的一定数量的一个或多个。
另外或备选地，所述一个或多个特性可包括有效变换系数的一定数量的一个或多个，其中如果有效变换系数的数量在特定阈值以下(例如，取决于子群组112中的系数的数量)，则较不可能对变换进行排位或排除属于多级类型的具有经过次级变换的初级变换系数的子群组 112的变换。
4.1.6提供适于量化参数的变换候选
可针对量化级的不同重构点(且由此针对不同量化参数(QP)) 对变换优化。如果针对预测模式而定义QP自适应变换集合，则通过以下规则中的一个来构造候选列表：
如果针对当前QP而定义变换，则将此变换添加到候选列表。
将针对最接近当前QP的QP而定义的变换添加到候选列表。
将两个变换添加到候选列表。首先是针对比当前QP更小的下一 QP而定义的变换，其次是针对比当前QP更大的下一QP而定义的变换。
因此，参考图7，编码器10和解码器20可被配置为检查残差区块84的量化参数是否包括在一个或多个预定量化参数的集合中。如果答案为“是”，则编码器10和解码器20可执行对可选集合98的确定，以便用与该一个或多个预定量化参数的集合相关联的一个或多个预定变换集合进一步填充可选变换集合98。
另外或备选地，编码器10和解码器20可被配置为检查经帧内预测的区块的量化参数是否包括在一个或多个预定量化参数的集合中。如果答案是“是”，则编码器10和解码器20可执行可选集合98的确定，以便用与该一个或多个预定量化参数的集合相关联的一个或多个预定变换集合进一步填充可选变换集合98。
进一步另外或备选地，编码器10和解码器20可被配置为检查残差区块84的量化参数是否包括在一个或多个预定量化参数的集合中。如果答案是“是”，则编码器10和解码器20可执行可选集合98的确定，以便用与该一个或多个预定量化参数的集合相关联的一个或多个预定变换集合进一步填充可选变换集合98。
再另外或备选地，编码器10和解码器20可被配置为检查当前区块的量化参数是否包括在一个或多个预定量化参数的集合中。如果答案是“是”，则编码器10和解码器20可执行可选集合98的确定，以便用与该一个或多个预定量化参数的集合相关联的一个或多个预定变换集合进一步填充可选变换集合98。
用具有尺寸减小的变换添加/替代候选
取决于变换区块大小和量化参数(QP)，可能有益的是包括明确缩减预测残差的尺寸的变换候选，且由此允许对系数进行高效编码和以降低的复杂度实施。根据定义，这些变换仅产生针对残差信号的特定子类别的无误差表示。另一方面，这与系数量化为零相似且可允许对非有效系数位置进行高效编码。
可应用以下规则中的一个：
如果候选列表包含至少一个初级+次级变换且当前QP大于阈值 Tqp，则初级+次级变换由具有尺寸减小特性的对应变换替代。
通过强制不属于通过次级变换进一步变换的系数的子群组的那些系数为零，根据列表中的对应初始候选来构造这些变换。
如果候选列表包含至少一个初级+次级变换且当前QP大于阈值 Tqp，则针对每个初级+次级变换将具有尺寸减小的变换添加到列表。通过强制不属于通过次级变换进一步变换的系数的子群组的那些系数为零，根据列表中的初始候选来构造这些变换。
如果候选列表包含至少一个初级+次级变换且相邻变换区块的有效系数的总和小于阈值T，则初级+次级变换被对应的具有尺寸减小特性的变换替代。通过强制不属于通过次级变换进一步变换的系数的子群组的那些系数为零，根据列表中的对应初始候选来构造这些变换。
如果候选列表包含至少一个初级+次级变换且相邻变换区块的有效系数的总和小于阈值T，则针对每个初级+次级变换将具有尺寸减小的变换添加到列表。通过强制不属于通过次级变换进一步变换的系数的子群组的那些系数为零，根据列表中的初始候选来构造这些变换。
根据示例，编码器10可被配置为用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14中，该编码器支持用于该基于区块的残差编码的变换集合94。编码器10可被配置为取决于当前区块的量化参数的方式从变换集合确定用于当前残差区块84的可选变换列表98，以使如果量化参数对应于比特定阈值精细的量化，则用于当前残差区块的可选变换列表98用至少一个多级变换106填充，该至少一个多级变换包括被应用至当前残差区块内的预测残差100上的初级变换108和被应用至该初级变换的初级变换系数114的子群组 112上的次级变换110。如果量化参数对应于比特定阈值粗糙的量化，则除了至少一个多级变换106之外或代替至少一个多级变换106，用于当前残差区块的可选变换列表用该至少一个多级变换的修改填充，其中超出子群组112的初级变换系数114被置零。在任一情况下，编码器10可被配置为使用可选变换列表98中的一个所选变换102对残差区块84内的预测残差100进行编码且在数据流14中用信号通知所选变换。
此外，可提供对应的解码器20，其用于使用基于区块的预测和基于区块的残差解码从数据流14对图片12进行解码，该解码器支持用于基于区块的残差解码的变换集合94。解码器20可被配置为以取决于当前区块的量化参数的方式从变换集合确定用于当前残差区块84 的可选变换列表98，以使如果量化参数对应于比特定阈值精细的量化，则用于当前残差区块的可选变换列表98用至少一个多级变换106 填充，该至少一个多级变换包括被应用至当前残差区块内的预测残差 100上的初级变换108和被应用至该初级变换的初级变换系数114的子群组112上的次级变换110。如果量化参数对应于比特定阈值粗糙的量化，则除了至少一个多级变换106之外或代替至少一个多级变换 106，用于当前残差区块的可选变换列表用该至少一个多级变换的修改填充，其中超出子群组112的初级变换系数114被置零。在任一情况下，解码器20可被配置为通过从数据流14导出所选变换在可选变换列表98中的一个所选变换的域中对残差区块84内的预测残差100进行解码。
4.2变换候选列表的缩减
如果新获得的信息不符合列表中的特定变换的约束条件，则在残差系数的解码过程期间可随后缩减变换候选列表。这有助于降低所选候选的编码成本且还允许根据剩余变换候选的特定属性调节以下语法元素，且由此提高编码效率。可能有益的是通过对关于先前所选变换的信息进行明确编码增加受缩减的候选列表影响的语法元素的数量。
参考图14，可设置编码器10和解码器20，该编码器和该解码器用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14中/从数据流14解码图片12。编码器10和解码器20可以与如上所解释类似的方式支持用于基于区块的残差编码的变换集合94。然而，根据此示例，编码器10和解码器20可被配置为从变换集合94 确定130用于当前残差区块的可选变换列表98。编码器10可被配置为使用可选变换列表98中的一个所选变换102将变换系数数据126 编码到数据流14中，该数据流表示残差区块84内的预测残差100。编码器10可进一步被配置为在数据流14中用信号通知128所选变换 102，和/或以取决于变换系数数据126或取决于变换系数数据126的部分的方式执行对可选列表98的确定130。解码器20又可被配置为使用可选变换列表98中的一个所选变换102对来自数据流14的变换系数数据126进行解码，该数据流表示残差区块84内的预测残差100。解码器20可进一步被配置为从数据流14导出128所选变换102，和/ 或以取决于变换系数数据126或取决于数据变换系数数据126的部分的方式执行对可选列表98的确定130。
例如，编码器10和解码器20可被配置为通过以变换集合94中的多个变换(其数量取决于变换系数数据126或变换系数数据的部分) 对可选列表98进行填充来确定130可选变换列表98，且可被配置为以使得数量愈低，在数据流14中用于用信号通知所选变换102所花费的码率就愈低的方式在数据流14中执行用信号通知128所选变换 102。
另外或备选地，编码器10和解码器20可被配置为通过根据变换系数数据126或变换系数数据126的部分而对可选变换列表98进行排序来确定130可选变换列表98，且可被配置为使用可变长度码在数据流14中执行用新号通知128所选变换102，可变长度码的码字根据可选变换列表98中的变换的顺序而被指派给可选变换列表98中的变换。
图15示出了用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14中/从数据流14解码图片12的编码器10和解码器20的其他示例，编码器10和解码器20两者支持用于基于区块的残差编码的变换集合。此示例的编码器10和解码器20可被配置为从变换集合确定130用于当前残差区块的可选变换列表98。编码器10 可被配置为以取决于所选变换102或可选变换列表98的方式在数据流 14中用新号通知128所选变换且可被配置为使用可选变换列表中的一个所选变换对变换系数进行编码140，该变换系数表示残差区块内的预测残差。解码器20又可被配置为从数据流14导出128所选变换，以取决于所选变换102或取决于可选变换列表98的方式，使用可选变换列表中的一个所选变换从数据流14解码140变换系数，该变换系数表示残差区块内的预测残差。
例如，图14示出了具有所选变换的变换系数134的多个值的区块 114，该所选变换的变换系数134的值可以预定扫描顺序136遍历。在图13中以“x”标记一个示例性有效(亦即，非零值的)变换系数位置132，该变换系数位置可以是此示例中的最后的有效变换系数位置。
对变换候选列表的有可能的约束条件可包括需要至少特定数量的有效(亦即，非零值的)系数134以便补偿变换候选的附加信令成本。虽然可通过在已获得有效系数134的准确数量之后缩减候选列表来满足此约束条件，但也有可能的是移除由最后的有效系数132的位置所指示的变换候选。由于通常预先编码最后的位置，因此这增加了有可能受缩减的列表影响的语法元素的数量。
根据示例(参考图13和图14)，编码器10和解码器20可被配置为使得变换系数数据126包括所选变换102的有效变换系数位置132 的指示和所选变换的变换系数134的值，该值是以顺序地遍历所选变换的系数位置的预定扫描顺序136从有效变换系数位置132向前遍历，其中可选列表98的确定130取决于该指示，亦即该指示是变换系数数据126的“部分”。
根据另一示例，编码器10和解码器20可被配置为对所选变换102 的有效变换系数134的数量计数，其中可选列表98的确定130取决于该计数。
针对仅将另一变换级应用于其初级变换系数的特定子集的多级变换候选，可基于子集定义约束条件。这包括至少特定数量的有效位置必须落入此子集内。此约束可能已被最大数量的可能的有效位置违反，该最大数量在对最后的有效位置进行解码之后已知或一旦已知有效位置的准确数量则已知。一旦违反约束，则从列表移除对应的变换候选且以下解码过程可受益于缩减的候选变换集合。
因此，编码器10和解码器20可被配置为关于所选变换102的变换系数134的子群组138(图13)内的所选变换102的有效变换系数 134的数量是否超出特定阈值来评估变换系数数据126，且可取决于计数(亦即，取决于有效变换系数134的数量)来如下执行对可选列表 98的确定130：
1)如果数量大于特定阈值，则当前残差区块84的可选变换列表98用至少一个多级变换106填充，该至少一个多级变换包括被应用至当前残差区块的预测残差100上的初级变换和被应用至初级变换 106的初级变换系数114的子群组112上以得到所选变换102的变换系数的子群组138的次级变换。
2)如果数量小于特定阈值，则当前残差区块的可选变换列表不用任何多级变换106填充，该任何多级变换包括被应用至当前残差区块的预测残差100上的初级变换和被应用至初级变换的初级变换系数的子群组上的次级变换。
此外，色度候选列表的缩减可取决于亮度分量的实际变换决策。不同候选列表(例如亮度和色度)也可以共享一个变换索引，在这种情况下，将第二列表缩减至通过已针对第一列表被解码的变换索引所给定的所选变换。
示例性实施例：
在下文中，给出一些示例性实施例以便使上述一般描述具体化：
如果有效系数的数量小于阈值T0(例如，3)，则将变换候选列表缩减至其前两个条目。
如果有效系数的数量小于阈值T1(例如，3)，则将变换候选列表缩减至其第一条目。
如果亮度和色度共享相同编码结构且(CU中的所有TU的)有效系数(包括亮度和色度分量)的总数量小于阈值T0，则将CU中的所有TU的候选列表缩减至其第一条目。
如果(CU中的所有TU的)有效系数(包括亮度和色度分量)的总数量小于阈值T0，则将CU中的所有TU的候选列表缩减至其前两个条目。否则，如果单个TU的有效亮度系数的总数量小于阈值T1，则将候选列表缩减至其前5条目。
鉴于有效系数的数量和将阈值映射到要保持的候选数量的表，因此将候选列表缩减至其第一条目。
鉴于有效系数的数量以及将阈值和预测模式映射到要保持的候选数量的表，因此将候选列表缩减至其第一条目。
鉴于有效系数的数量以及将阈值和QP映射到要保持的候选数量的表，因此将候选列表缩减至其第一条目。
如果亮度和色度共享相同编码结构且未针对亮度分量编码残差信号，则将对准的色度分量的候选列表缩减至其第一条目。
如果亮度和色度共享相同编码结构且包括变换单元的亮度和色度分量的有效系数的总和小于阈值T3(例如，3)，则将CU中的所有 TU的候选列表缩减至其第一候选。
如果亮度和色度共享相同编码结构且亮度变换已经被解码，则仅当色度变换候选与亮度变换是相同类别时才保持该色度变换候选。
如果亮度和色度共享相同编码结构且亮度变换已经解码，则仅当色度变换候选与亮度变换是相同类别或如果该色度变换候选在列表中是第一个时才保持该色度变换候选。
鉴于变换区块的有效系数的位置，如果到次级变换的输入包括至少K个有效系数，则针对每个多级变换候选进行检查。否则，从候选列表移除该变换。
鉴于最后的有效位置的位置，对多少系数有可能是有效的进行计数。鉴于将阈值映射到要保持的该数量的候选的表，因此将候选列表缩减至其第一条目。
鉴于变换区块的最后的有效位置的位置和扫描顺序，针对每个多级变换候选检查对次级变换的输入是否包括可能是有效的至少K位置。否则，从候选列表移除该变换。
鉴于变换区块的最后的有效位置的位置和扫描顺序，针对每个次级变换对有可能有效的输入系数的数量计数。
保持具有最大值的变换，移除所有其他次级变换。
所有实施例可以以预测模式和QP为条件。
4.3信令
如上文所提及，通过利用关于变换区块系数的已经解码信息来缩减变换候选列表降低了用于用信号通知实际所选变换所需的成本。另一方面，也可以通过根据所选变换的属性调节系数解码过程来采用此依赖性。两种方法要求语法元素的特定编码顺序且可以交错方式联合地应用。作为特殊情况，当所有系数已经已知时，可在变换区块的编码过程的开始或在结束时完整地用信号通知到候选列表中的变换索引。在后者情况下，可将关于所有系数的信息用于缩减候选列表，而在前者情况下，无法预先缩减候选，但对每个系数的解码可受益于关于所使用变换的全部知识。
虽然显而易见的是缩减候选列表也降低用于所选候选的实际信令成本，但如果其可以合理的复杂度受益，则关于所选变换对系数的条件性编码更不直接且其取决于实际所选变换、候选列表和残差信号自身。
如果所选候选是具有尺寸减小的变换，则根本不存在用信号通知系数的整个子群组的有效性信息的需要。这还允许高效用信号通知在剩余位置的更小集合上的最后的位置，甚至可通过将有可能的最后的有效位置设定为由变换给定的最后的位置来完全省略该信令。在这种情况下，可针对如通过变换所定义的每个可能的有效位置编码有效性标志，而此处也可以应用针对位置的整个群组首先用信号通知有效性群组标志的构思。为了利用此依赖性，可以有益的是在编码系数之前检查具有尺寸减小的变换是否在候选当中，且如果如此，则首先用信号通知是否选择那些候选以及在必要的情况下用信号通知选择那些候选中的哪个候选。
作为示例，且再次参考图13和图15，可选变换列表可包括不同数量的变换系数134的变换。编码器10和解码器20可被配置为编码/ 解码该不同数量的变换系数134，其中编码/解码变换系数134的步骤包括编码所选变换102的有效变换系数位置132的指示和该所选变换的变换系数134的值，该值以顺序地遍历所选变换的系数位置的预定扫描顺序136从有效变换系数位置向前遍历。此示例的编码器10和解码器20可被配置为以以下方式编码/解码变换系数134：使得所选变换的变换系数134的数量愈低，那么在数据流14中用于编码指示所花费的码率愈低。
作为另一示例，编码器10和解码器20可被配置为取决于是否可使用具有或不具有尺寸减小的变换(亦即，可选变换列表是否包括第一数量的变换系数134的变换(例如，具有尺寸减小的变换)和大于第一数量的第二数量的变换系数134的变换)来选择性地编码/解码变换系数134。
在所选变换的变换系数134的数量为第二数量的情况下，编码器 10和解码器20可被配置为编码/解码所选变换的有效变换系数位置 132的指示和该所选变换的变换系数134的值，该值以顺序地遍历该所选变换的系数位置的预定扫描顺序136从有效变换系数位置132向前遍历。
在所选变换的变换系数134的数量为第一数量的情况下，编码器 10和解码器20可被配置为编码/解码所选变换的第一数量的变换系数 134中的全部的值。
其中可将所选变换的了解用于更高效地编码系数的另一示例是其中由初级+次级变换定义超过一个变换候选而次级变换所应用的位置的子群组不同的情况。在这种情况下，可能有益的是首先编码所选变换，或至少编码所使用的分割。利用此了解，可将专用上下文模型集合用于编码仅经历初级变换的位置处的那些系数，和通过次级变换变换的那些系数。
此了解也可以用于如下编码最后的有效位置：
首先，解码指示最后的有效位置是否处于被输入到次级变换的位置内的标志，接着将确切位置编码为与如由变换所定义的最后的可能的有效位置或与特定子群组的第一系数的位置的差值。
在更一般性术语中，且仍参考图13和图15，可选变换列表134 可包括至少一个多级变换，每个多级变换包括被应用至当前残差区块上的初级变换和被应用至初级变换系数134的初级变换系数134的子群组138上的次级变换，其中子群组138不同于至少一个多级变换中的不同多级变换。
根据第一备选方案，编码器10和解码器20可被配置为通过编码/ 解码所选变换的有效变换系数位置132的指示和该所选变换的变换系数134的值来编码/解码变换系数134，该值以顺序地遍历该所选变换的系数位置的预定扫描顺序136从有效变换系数位置132向前遍历。该指示可取决于所选变换是否是多级变换。如果所选变换是多级变换，则指示包括有效变换系数位置132是否在变换系数134的子群组138 内的标志，且如果变换系数位置132在变换系数134的子群组138内，该指示相对于按预定扫描顺序136在所选变换的所有变换系数134当中最后遍历的位置来指示有效变换系数位置132，且如果变换系数位置132不在变换系数134的子群组138内，该指示相对于按预定扫描顺序136不在子群组138内的所有变换系数134当中最后遍历的位置来指示有效变换系数位置132，其中在已经遍历不在子群组138内的所有变换系数134之后，按预定扫描顺序136遍历子群组138内的所有变换系数134。
根据第二备选方案，编码器10和解码器20可被配置为：如果所选变换为多级类型，则通过使用利用概率估计的熵编码对所选变换的变换系数134的值进行编码来编码/解码变换系数134，该概率估计取决于变换系数134是否在所选变换的变换系数134的子群组138内。
根据第三备选方案，编码器10和解码器20可被配置为：如果所选变换为多级类型，则以取决于变换系数134是否在所选变换的变换系数134的子群组138内的方式通过使用利用概率估计的熵编码对所选变换的变换系数134的值进行编码来编码/解码变换系数134，该概率估计取决于一个或多个相邻变换系数134。
假定到变换候选列表中的索引被编码以使得候选的信令成本取决于其在列表中的位置，其中成本根据位置上升。这可通过利用截断一元代码对变换索引进行编码来进行。
另外，以根据候选的专业化将该候选分类的方式构造变换候选列表。例如，第一变换是跟随着[DST-VII,DST-VII]且接着跟随着尤其针对当前残差区块的特定帧内模式进行训练的变换的最普遍的可分离变换[DCT-II,DCT-II]。用附加变换填满列表，其中每个附加变换专用于可以该帧内模式出现的残差信号的特定属性。此专门化可通过将集群方法包括(诸如拟合高斯混合模型)在数据示例且针对每个所获得的集群来训练分离变换而被训练。在这种分类候选列表的假设下，知晓所选变换深入了解实际残差信号的特性且由此深入了解预期的系数分布。尤其，针对较小变换索引，由于更高的编码成本而预期低信号能量，不可通过使用更专用的变换通过编码增益而调整变换索引。
这可通过取决于变换索引自身而导出用于编码系数的上下文模型而被采用。当使用哥伦布-莱斯码用于编码系数水平时，也可以从所选变换索引导出实际莱斯参数。
根据示例，编码器10可被配置为使用索引来用新号通知所选变换，且可被配置为通过使用二值化和二进制熵编码对所选变换的变换系数134的值进行编码来编码变换系数134，其中用于二进制熵编码的概率估计取决于索引，和/或其中二值化取决于索引。
相应解码器20可被配置为使用索引导出所选变换，通过使用二值化和二进制熵编码对所选变换的变换系数134的值进行解码来解码变换系数134，其中用于二进制熵编码的概率估计取决于索引，和/或其中二值化取决于索引。
索引可以是可变长度编码(VLC)索引。
将来自所选变换的信息用于系数编码的更复杂示例，假定存在可通过变换系数的方差的相关性来模型化的变换系数的剩余依赖性。取两个系数且假定其均值为零，方差的相关性仅仅假定知晓系数中的一个较大，选择另一个的概率模型具有较高方差，且由此第二系数有效的概率也增大。此假定的方差相关性模型可包括在训练变换的过程中以使得给定变换，在解码器处假定特定相关性模型。实际相关性模型也可以取决于实际系数位置或多级变换的子群组。一个特定模型定义哪些系数被假定具有方差相关性且此相关性有多强。这可用于使上下文模型选择适于已经解码的系数上的特定系数位置。更精确而言，当解码特定位置处的系数时，检查已通过所选变换针对该位置定义哪个相关性模型。如果已经解码的系数在由模型给定的能量相关位置当中，则将那些系数的水平分划到也是由该模型定义的给定阈值，且导出特定上下文模型集合，以用于对有效性标志和当前系数的水平进行解码。
可从相邻变换系数导出上述相关性。作为示例，编码器10和解码器20可被配置为通过使用熵编码对所选变换的变换系数134的值进行编码来编码/解码变换系数134，其中以取决于所选变换的方式熵编码取决于一个或多个相邻变换系数134。
作为另一示例，编码器10和解码器20可被配置为通过使用熵编码对所选变换的变换系数134的值进行编码/解码来编码/解码变换系数134，该熵编码是通过以下进行：以取决于所选变换中的变换系数的位置的方式来选择一个或相邻变换系数134的局部模板，进一步使用一个或相邻变换系数134的可能值的域到用于变换系数134的一个或多个上下文集合的映射来确定用于变换系数134的所选上下文，及使用与所选上下文相关联的概率估计对变换系数134的值进行熵编码，其中局部模板的选择和映射中的至少一个取决于所选变换。
作为一个具体示例，假定已经已知在解码器处使用了初级+次级变换和哪些位置经历次级变换。此外，假定两个不同方差相关性模型，一个用于仅初级变换系数且一个用于剩余系数位置。针对两个模型，给定4个上下文模型集合和3个阈值。当对系数进行解码时，首先检查两个上下文模型群组中的哪个适用于当前位置。接着，取最后4个已经解码的系数水平的平均值且与阈值进行比较。结果唯一地定义用于解码当前系数的上下文模型集合。
可以看出，通过所提供示例，关于所选变换的不同信息可有益于系数的解码过程的特定部分。这有动机将标识候选当中的所选变换所需的信息拆分成特定变换属性且有动机用信号通知其分别与系数编码交错。由此，可将已经解码的关于变换的信息用于解码关于系数的信息，而可将新获得的关于系数的信息用于缩减变换候选列表，从而需要用信号通知的用于标识所选候选的信息较少。
应以哪个顺序编码哪些变换属性也取决于列表中的可用候选和已获得的关于残差信号的信息，且可自适应地选择。例如，仅当具有尺寸减小的变换在候选当中时才预先编码变换索引。此外，一旦最后的位置的至少一个坐标已经解码，则可以坐标为条件进一步解码所选变换。已了解，一个坐标给出在残差信号中预期的最大能量的一些证据，且通过例如对有可能的有效位置的最大数量计数来给出。仅当此预期值高于阈值时，接下来才解码变换索引，且可以所选变换的结构为条件来解码第二坐标。
根据此示例，编码器10和解码器20可被配置为以下方式执行在数据流14中用信号通知所选变换：使得关于变换系数数据用信号通知所选变换的信令的相对定位，和/或到语法元素的信令的分解取决于可选变换列表。
否则，一旦有效位置的实际数量已知且违反最小系数的约束条件，则变换的解码被推迟或甚至可能被跳过。
在任一情况下，无论在变换区块的开始、交错或在结束处用信号通知变换索引，将关于所选变换的信息拆分成其属性且分别用信号通知该属性在这些属性的依赖性存在于相邻变换区块之间时可以是有益的。接着，可通过使用针对每个变换属性的专用上下文模型集合来利用此依赖性。由此，所选上下文模型也可以取决于已经解码的相邻残差区块的所选变换。根据这一方面，且参考图13和图14，提供编码器10和解码器20，其用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14中/从数据流14解码图片12，该编码器10和解码器20支持用于基于区块的残差编码的变换集合94。编码器 10和解码器20可被配置为从变换集合94中确定122用于当前残差区块84的可选变换列表98，且可被配置为使用可选变换列表中的一个所选变换编码/解码残差区块内的预测残差。编码器10可被配置为使用变换指示符124在数据流14中用信号通知128所选变换，且解码器 20可被配置为通过使用变换指示符124从数据流14导出所选变换。可使用具有一个或多个数位的代码在数据流14中用信号通知所述变换指示符124，其中该一个或多个数位的集合中的每个数位唯一地与相应变换属性相关联。该代码可包括经过二进制算术编码的变换指示符124的数段或构成变换指示符124且可从数据流14解析的语法元素。
一般而言，仅知晓相邻区块的已选择变换候选的索引无法深入了解当前区块的所选变换。一个例外是，对候选进行排序以使得高索引指示高专门化或高残差能量。此外，如果实际所选相邻变换高度专用于其预测模式，则仅当该相邻变换共享相同模式时对当前候选的比较才有意义。另一方面，知晓例如来自DCT/DST家族的主要变换已在邻域中选择，可通过首先用信号通知当前变换是否来自相同家族且由此缩减候选列表来利用此信息。
根据示例，每个变换属性可以是所选变换是否是多级变换或所选变换是否是具有比预定数量的变换系数更少的变换系数的变换中的一个。
拆分所选候选的编码且通过用信号通知变换属性逐步地显式缩减候选列表的另一益处在于有可能简化对列表中的不同候选之间的依赖性的利用。例如，变换索引的二值化和上下文模型偏差可如下取决于列表中的变换候选。假定候选中的一个(优选地假定第一候选)与最高概率相关联，则首先编码指示此变换是否被使用的标志，否则从列表移除该标志。如果剩余变换候选是不同变换类别，则可首先解码变换类别。这允许变换类别取决于针对剩余变换索引信令的上下文模型偏差。
假定将列表中的(剩余)候选关于其预期概率进行排序，其中最可能的候选在列表中位于第一个。则可使用上下文模型化截断一元代码以使变换索引二值化。
根据示例，编码器10和解码器20可被配置为使用利用了概率估计的熵编码对至少一个数位的集合中的至少一个数位进行编码/解码，概率估计取决于相邻残差区块的变换指示符124。
4.3.1例示性实施例
在下文中，给定一些具体但非限制性示例以便通过一个或多个示例性实施例使以上一般性描述具体化。
编码顺序：
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经被解码且其等于一时，可首先解码到候选列表中的索引，接着解码实际变换系数。
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经被解码且其等于一时，可首先解码该区块的所有系数。如果候选列表具有超过一个变换时，则在移除所有违反经解码的系数的候选之后，可编码到候选列表中的索引。
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经被解码且其等于一，且候选列表包含具有不同初级变换类别的变换(诸如不可分离变换和来自DCT/DST家族的变换) 时，可首先解码初级变换类别且候选列表可因此减少。可随后完成对该区块的所有变换系数的解码。如果候选列表具有多于一个变换，则在移除所有违反经解码的系数的候选之后，可解码到候选列表中的索引。
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经解码且其等于一，且候选列表包含仅初级和初级+ 次级变换时，可首先用信号通知是否应用次级变换。可随后完成对该区块的所有变换系数的解码。如果候选列表具有多于一个变换，则在移除所有违反经解码的系数的候选之后，可解码到候选列表中的索引。
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经被解码且其等于一，且候选列表包含至少一个具有尺寸减小的变换时，可首先解码是否使用具有尺寸减小的变换。如果出现该情况且多于一个候选具有尺寸减小属性，其中不同位置被设定为零，则可接着用信号通知索引，以便唯一地定义哪些位置被设定成零。可随后完成对该区块的所有变换系数的解码。如果候选列表具有多于一个变换，则在移除所有违反经解码的系数的候选之后，可解码到候选列表中的索引。
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经被解码且其等于一时，可首先解码最后的有效系数的位置。如果具有尺寸减小的变换在候选当中，则在其与最后的有效位置冲突时被移除。根据量化参数(QP)，其中由最后的有效位置给定的可能的其他变换系数的数量小于阈值，也具有次级变换的变换被移除或进一步放回候选列表中。如果多于一个变换候选被留下，则解码到列表中的索引。随后解码系数。
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经被解码且其等于一时，则可首先解码所有有效系数的位置。如果具有尺寸减小的变换在候选当中，则在其与有效位置冲突时可被移除。根据量化参数(QP)，其中由最后的有效位置给定的可能的其他变换系数的数量小于阈值，也具有次级变换的变换可被移除或进一步放回候选列表中。如果多于一个变换候选被留下，则可解码到列表中的索引。可随后解码剩余系数水平和符号。
当已知针对区块的残差信号被编码时，出现以下情况，当编码区块标志(CBF)已经被解码且其等于一，且候选列表包含不同类别的变换，使得每个类别给出预期最后的有效位置位于不同区域中的证据时，可首先解码此变换类别，接着解码最后的有效位置。在必要时，可接着用信号通知变换索引，接着用信号通知系数。例如，尤其对于高QP，具有次级变换的变换给出了预期最后的位置处于通过次级变换进一步变换的系数区域内的证据。
变换索引的信令：
变换索引可使用截断一元代码来编码，其中每个数段(bin)可使用专用上下文模型。不同的上下文模型集合可根据剩余变换候选的数量来使用。
变换索引可使用截断一元代码来编码，其中每个数段可使用专用上下文模型。针对每个数段的上下文模型选择可取决于相邻残差区块的变换决策。取决于剩余变换候选的数量，可以选择用于截断一元代码的每个数段的由k个上下文模型组成的上下文模型集合。可总计相邻区块的变换索引，且可将总和与k-1阈值进行比较，该阈值定义待使用的实际上下文模型。
变换索引可通过首先编码标志来编码，该标志可指示是否选择第一候选。针对此标志的上下文模型选择可取决于相邻残差区块的变换决策。取决于剩余变换候选的数量，可选择由k个上下文模型集合成的上下文模型集合。可总计相邻区块的变换索引，且可将总和与k-1 个阈值进行比较，其中阈值定义待使用的实际上下文模型。索引的剩余部分可通过固定长度代码来编码。
变换索引通过首先编码标志来编码，该标志指示是否选择第一候选。否则固定长度代码可用于剩余部分。标志可使用由残差区块的大小所选择的专用上下文模型来编码。
鉴于分割成区块包括划分成编码单元(CU)，该编码单元可进一步划分成变换区块(TU)，且至少一个残差可被编码以使得其编码区块标志为1，一个额外标志可在CU层级处编码。如果此标志为零，则所有残差区块可在其列表中取第一候选。否则，每个列表的第一候选可放置在列表结束处且可编码每个残差区块的变换索引。
变换候选的数量可以是5。可首先编码标志，该标志指示是否选择第一候选。否则，可编码第二标志，该第二标志指示第二或第三候选被选择。最终决策可通过第三标志来编码。所有标志可使用专用上下文模型来编码。
变换索引可通过首先编码标志来编码，该标志指示是否选择第一候选。如果剩余变换候选与不同变换类别相关联，则截断一元代码可用于编码变换类别。此处，仅初级变换可形成一个类别，且初级+次级变换可形成第二类别。最终，如果必要的话，截断一元代码可用于通过利用取决于变换类别的专用上下文模型集合来编码剩余索引。
变换索引通过首先编码标志来编码，该标志指示是否选择第一候选。如果剩余变换候选与不同变换类别相关联，则截断一元代码可用于编码变换类别。此处，仅初级变换可形成一个类别，且初级+次级变换可形成第二类别。上下文模型可通过对已解码相邻变换的变换类别的出现进行计数来选择。如果第一类别更频繁地出现，则可使用第一上下文模型，如果第二类别更频繁地出现，则可使用第二上下文模型，如果每个类别的数量相等，则可使用第三上下文模型。最终，在必要时，截断一元代码可用于通过利用取决于已解码变换类别的专用上下文模型集合来编码剩余索引。
变换索引通过首先编码标志来编码，该标志指示是否选择第一候选。如果剩余变换候选与不同变换类别相关联，则截断一元代码可用于编码变换类别。此处，DCT/DST家族的变换形成第一类别，不可分离仅初级变换形成第二类别且初级+次级变换形成第三类别。最终，在必要时，截断一元代码可用于通过利用取决于变换类别的专用上下文模型集合来编码剩余索引。
鉴于最后的有效位置的一个坐标已被解码，且该坐标至少为2，可接着解码变换索引，另外当系数已经已知且候选列表已被减少时，对变换索引的解码(在必要时)可推迟到最后的步骤。如果在解码最后的位置的第二坐标时该变换已经已知且其是初级+次级变换，则针对截断一元代码部分的上下文模型选择可使得与位于次级变换区域中的位置相关联的数段可使用与其他不同的上下文模型集合。
针对系数编码的上下文模型偏差：
(参考图13、图14、图15)
假定到候选列表中的变换索引与残差信号的预期能量直接相关，因此其用于针对编码最后的有效位置的上下文模型选择。每个变换索引值定义其自身专用上下文模型集合。
假定到候选列表中的变换索引与残差信号的预期能量直接相关，因此其用于针对编码最后的有效位置的上下文模型选择。变换索引0 和1具有其自身专用上下文模型集合，而剩余索引共享一个上下文模型集合。
鉴于变换类别已经已知，系数编码利用每个变换类别的专用上下文模型集合。利用专用上下文模型集合的可能变换类别是来自 DCT/DST家族的变换和不可分离变换。
鉴于对系数位置的分割由变换定义，且该分割是已知的，系数编码利用每个子群组的专用上下文模型集合。一个可能的分割由通过次级变换进一步变换的系数给出。另一分割由后续变换级的数量给出。
每个定义的变换与一个上下文模型集合相关联且解码器已知。
鉴于变换已经被唯一地标识，变换到上下文模型集合的映射用于导出用于系数解码的上下文模型集合。
鉴于系数编码包括基于已经解码的系数的上下文模型选择，使得 (已知)系数水平取决于其相对位置被加权且累积。实际使用的上下文模型集合通过将总和相对于预定义的阈值进行比较来选择。所使用的权重和阈值由所选变换给出。
特殊编码模式
可首先编码列表中的第一候选是否被使用，如果没有，则可检查剩余变换候选中的至少一个是否是具有尺寸减小的变换。在此情况下，可编码所选变换是否是那些变换中的一个。如果出现该情况且已从列表移除所有其他候选，则可检查剩余变换在被明确地设定成零的位置中是否不同。必要时，可用信号通知唯一地标识已经选择哪个尺寸减小的索引。因此，即使仍多于一个候选留下，也准确地知道哪些系数位置保持可能有效。在必要时，可在已经解码系数之后解码针对所选择变换的索引。
鉴于具有尺寸减小的变换被使用且已知被明确地设定成零的位置，可跳过用信号通知最后的有效系数位置。给定系数的扫描顺序，最后的位置可设定成可能有效且在扫描顺序中为最后的位置。在此情况下，还应针对最后的位置用信号通知有效标志。
鉴于具有尺寸减小的变换被使用且已知通过变换被明确地设定成零的位置，所有剩余系数组有效标志可设定成一，且因此不需要被编码。
鉴于具有尺寸减小的变换被使用且已知被设定成零的位置，专用上下文模型集合可用于解码剩余系数。
鉴于具有尺寸减小的变换被使用且已知被设定成零的位置，专用上下文模型集合可用于解码区块中的最后一个系数位置。
鉴于具有尺寸减小的变换被使用，可使用用于编码系数水平的莱斯参数的专用偏差。
鉴于具有尺寸减小的变换被使用，可使用基于相邻系数的用于上下文选择的专用模板。
所有实施例可以关于预测模式和QP进行调节。
5.设定成零的初级变换
在小节4.1中，给出了一般描述，其中在下文中给出了一些示例，其中一个或多个仅初级系数被置零，亦即设定成零(参见以下小节 5.1)。给出了其他示例，其中某些位置处的一个或多个系数被置零，亦即设定成零(参见以下小节5.2)。可具有要经过置零的可能性的系数也可以称作置零的“候选”。
一般而言，参考图12，本发明的该方面提供了用于使用基于区块的预测和基于区块的残差编码将图片12编码到数据流14中或从数据流14解码图片12的编码器10和解码器20，该编码器10和该解码器 20支持用于基于区块的残差编码的变换集合94。编码器10和解码器 20可被配置为基于当前残差区块84的大小96(例如高度和宽度)从变换集合94确定122用于当前残差区块84的变换的变换候选列表98。编码器10可被配置为使用可选变换列表98中的一个所选变换102对残差区块84内的预测残差100进行编码，并选择性地在数据流14中用信号通知所选变换102。解码器20又使用从数据流14选择性地导出所选变换102在可选变换列表98中的一个所选变换102的域中对残差区块84内的预测残差100进行解码。
5.1仅初级系数的置零
使多级变换包括初级和次级变换，将仅初级变换系数(亦即，未进一步变换的系数)设定成零。
a.次级变换是完全大小变换
b.次级变换是具有尺寸减小的变换(可能有效系数的数量进一步减少)
例如，使得变换候选包括针对宽度和高度>＝8的残差区块的初级 (可分离)变换(例如[DCT-II、DCT-II]…)，此变换与输入大小为(8×8) 的次级变换的组合也可以是候选。应用次级变换暗指未经次级变换进行进一步变换的所有系数被强制为零。
例如，使得变换候选包括针对宽度或高度(但非两者)等于4的残差区块的初级(可分离)变换(例如[DCT-II、DCT-II]…)，此变换与输入大小为(4×4)的次级变换的组合也可以是候选。应用次级变换暗指未经次级变换进行进一步变换的所有系数被强制为零。
例如，使得变换候选包括针对宽度和高度>＝8的残差区块的初级 (可分离)变换(例如[DCT-II、DCT-II]…)，此变换与输入尺寸为48 和输出尺寸为16的次级变换(其被应用于大小为(4×4)的3个最左边/最上方系数子群组)的组合也可以是候选。应用次级变换暗指将未经次级变换进行进一步变换的所有系数设定成零，因此，附加地，次级变换是尺寸减小到16个系数的变换，最后的有效系数位置是(3,3)。
5.2特定位置处的系数的置零
使得多级变换包括初级变换和次级变换，将位置X>Tx或Y>Ty 的系数设定成零(例如Tx＝Ty＝8)。
a.次级变换是完全大小变换
b.次级变换是具有尺寸减小的变换(可能有效系数的数量被进一步减少)
图17示出了已经经过初级变换的具有大小(例如，宽度和高度>8) 的残差区块的示例。因此，可以存在具有多个初级系数114的子群组112。在此示例中，子群组112可包括大小为4×4的初级系数114。此处示出了大小为4×4的三个最左边/最上方系数子群组。因此，那些三个子群组112一起包括48个初级系数114。其可经过尺寸为48×16的次级变换110，亦即，系数从48减少到16，其中一些初级系数可以是用于置零的候选。
例如，使得变换候选包括针对宽度和高度>＝8的残差区块的初级 (可分离)变换(例如[DCT-II、DCT-II]…)，此变换与被应用于大小为 (4×4)的三个最左边/最上方系数子群组112的尺寸为(48×16)的次级变换的组合也是候选。应用次级变换暗指最后的有效系数位置可位于最大值(7,7)处，因此将剩余的仅初级系数(阴影线)设定成零。
例如，使得变换候选包括针对宽度和高度>＝8的残差区块的初级 (可分离)变换(例如[DCT-II、DCT-II]…)，此变换与被应用于大小为 (4×4)的3个最左边/最上方系数子群组的尺寸为(48×16)的次级变换的组合也是候选。应用次级变换暗指最后的有效系数位置可位于最大值(3,3)处，因此将剩余的仅初级系数设定成零。
针对1+2的信令
a)首先用信号通知所选初级变换和系数。如果系数在将验证由具有次级变换的变换候选给出的约束条件的位置处是有效的(不为零)，则显然未使用次级变换，因此可从候选列表中移除且不需要额外信令)
b)如果对应的初级+次级变换在候选当中，则首先用信号通知所选初级变换，如果次级变换被应用则用信号通知。如果次级变换被应用，潜在地通过使用专用上下文模型集合相应地设定允许的最大的最后位置且用信号通知最后的位置，接着为剩余的系数信息。
与现有技术的最新比较：
c)在最后一个位置之前/与最后一个位置交错地用信号通知次级变换/索引
d)根据最后一个位置而非最小有效位置的数量的次级变换限制。 (显式地lastPosX+lastPosY>＝T,例如1或2)
e)取决于次级变换标志的系数sig标志的上下文建模
因此，编码器10和解码器20可被配置为确定变换候选列表以使得变换候选列表的变换在陪域中一致，亦即变换系数的数量和排列相同。
变换候选列表的变换可包括在陪域中一致(亦即变换系数的数量和排列相同)的第一变换和第二变换。第二变换对应于被应用至第一变换108的初级变换系数114的子群组112上的次级变换，其中在第一变换108的初级变换系数的子群组112之外的第一变换108的其他初级变换系数114被设定成零。
在此情况下，编码器10可被配置为通过将在第一变换108的初级变换系数的子群组112之外的第一变换108的其他初级变换系数114 设定成零来测试关于第二变换对当前残差区块进行编码。
另外或备选地，编码器10和解码器20可被配置为决定是否用至少一个多级变换106填充变换候选列表，或从变换候选排除至少一个多级变换106，该至少一个多级变换106包括被应用至当前残差区块的预测残差100上的初级变换和被应用于初级变换108的初级变换系数114的子群组112上以得到所选变换102的变换系数的子群组138 的次级变换，或其中至少一个多级变换106将被放置在变换候选列表中的位置，其取决于根据变换系数数据126有效变换系数被定位的位置。
另外或备选地，编码器10和解码器20可被配置为决定是否用至少一个多级变换106填充变换候选列表，或从变换候选列表排除至少一个多级变换106，该至少一个多级变换106包括被应用至当前残差区块的预测残差100上的初级变换和被应用至初级变换108的初级变换系数114的子群组112上以得到所选变换102的变换系数的子群组 138的次级变换，或其中至少一个多级变换106将被放置在变换候选列表中的位置，其取决于根据变换系数数据126在变换系数的子群组 138之外的任何变换系数是否有效。
另外或备选地，编码器10和解码器20可被配置为通过使用二值化和二进制熵编码对所选变换的变换系数的值进行编码/解码来编码/ 解码变换系数，其中用于二进制熵编码的概率估计取决于所选变换，和/或其中二值化取决于所选变换。
对所选变换的该依赖性可以是对所选变换是否是多级变换的依赖性。
又另外或备选地，编码器10和解码器20可被配置为决定是否用至少一个多级变换106填充变换候选列表98，或从变换候选列表98 排除至少一个多级变换106，该至少一个多级变换106包括被应用至当前残差区块84的预测残差100上的初级变换和被应用至初级变换 106的初级变换系数114的子群组112上以得到所选变换102的变换系数的子群组138的次级变换，或其中至少一个多级变换106将位于变换候选列表98中的位置，这取决于根据变换系数数据126在子群组 112内但在变换系数的子群组138之外的任何变换系数是否是有效的。
又另外或备选地，编码器10和解码器20可被配置为决定是否用至少一个多级变换106填充变换候选列表98，或从变换候选列表98 排除至少一个多级变换106，该至少一个多级变换106包括被应用至当前残差区块84的预测残差100上的初级变换和被应用至初级变换 106的初级变换系数114的子群组112上以得到多级变换106的变换系数的次级变换，该变换系数的数量低于当前残差区块84的预测残差 100内的残差样本，且其变换系数位置对应于变换候选列表98中的等效于初级变换的另一变换的变换系数的子集138，其中初级变换106 的初级变换系数114等于当前残差区块84的预测残差100内的样本 105，或其中初级变换106的初级变换系数114在数量上大于多级变换 106的变换系数。另外或备选地，编码器10和解码器20可被配置为决定至少一个多级变换106将相对于另一变换被放置在变换候选列表 98中的位置，其中该决定取决于：
a)根据变换系数数据126，有效变换系数被定位的位置，或
b)根据变换系数数据126，有效变换系数是否定位在变换系数的子群组138外，或
c)根据变换系数数据126，有效变换系数是否定位在初级变换系数114的子群组112外。
一些示例应参考图8、图18和图19来解释。
例如，如上文所描述，信令可取决于有效变换系数位置132。图 18和图19从解码器视角示例性地示出了变换系数114、134和变换系数114、134的子群组112、138。
图18示出了具有置零的多级变换的一个非限制性示例，其中初级变换可产生初级变换系数114的初级子群组112，该初级子群组可经过可产生次级变换系数134的次级子群组138的次级变换。一些初级变换系数114和/或一些次级变换系数134可例如基于有效变换系数位置132来置零。
例如，如图18中所描绘的，如果已应用次级变换，则在次级子群组138外的变换系数134和因此在初级子群组138外的变换系数114 可以是零。
图19示出了也时从解码器视角观察的其中次级变换系数134可被置零的另一示例。所概述的8×8区域表示初级变换系数114的初级子群组112，如上文所解释。在用交叉影线(在最初提交的申请中为绿色)标记的区域内的变换系数可表示仅初级变换系数。在用阴影线(在最初提交的申请中为蓝色)从左上到右下标记的区域内的变换系数可表示在应用次级变换的情况下将必须为零的变换系数位置。这又意味着，如果在(蓝色)左上到右下阴影区域中存在有效(非零值)系数，则解码器20知道不需要执行次级变换，这是因为否则这些位置将由于次级变换而必须为零。因此，不需要用信号通知索引。
关于信令，如上文所提及的一些示例允许无论信令(例如索引的信令)是必要的或可省略的，该信令可从有效系数位置132导出。然而，一些示例可提供信令可不依赖于有效系数位置132但可总是用信号通知索引的可能性。在后一情况中，如果次级变换被应用于初级子群组112，则在初级子群组112外的初级变换系数114将必须为零(例如图19)。
因此，解码器20可被配置为应用具有初级变换和次级变换的多级变换，其中初级变换可通过置零实施达到仅初级子群组112的尺寸。亦即，例如针对8×8(初级子群组112)及16×16变换区块，水平和竖直初级变换都可通过置零来实施：
nonZeroW＝8if block has secondary transform index set(如果区块具有次级变换索引集合)；
else 16(否则16)
nonZeroH＝8if block has secondary transform index set(如果区块具有次级变换索引集合)；
else 16(否则16)
5.3变换候选列表的缩减/限制对次级变换的应用
最小的最后的位置：
如果CBF标志被设置为以下：
a.首先(通过粗糙信令)来用信号通知最后的位置是否至少(例如，X+Y>T,lastposition！＝(0,0))
b.首先用信号通知具有最大值的位置(亦即，直到T 的确切位置，因此要么确切地知道要么T要么> T)
如果满足次级变换的条件，则用信号通知具有尺寸缩减的次级变换 /变换是否是
a.具有尺寸(尺寸缩减初级变换强制为零的次级变换)缩减的变换，必要时对确切的最后位置进行编码(＝细化)，同时根据强制为零的位置设置最大最后的位置
I.调整有效位置编码的上下文模型
II.调整grX编码的上下文模型
III.调整哥伦布莱斯参数
否则，可以推断出无置零，必要时继续编码确切的最后位置。
因此，且参考图13至图16，编码器10和解码器20可被配置为编码或解码所选变换102的有效变换系数位置132的指示的粗糙版本。如果候选列表98不包括多级变换，则可编码准确的最后的位置，亦即该指示的粗糙版本的细化且所有系数被编码或解码(图16，情况B)。如果候选列表98包括多级变换，则可进一步决定实际变换是否是多级变换。如果如此，可编码准确的最后的位置，亦即该指示的粗糙版本的细化且仅初级变换系数112被编码/解码(图16，情况A)。否则，可编码准确的最后的位置，亦即该指示的粗糙版本的细化且所有系数被编码/解码。
因此，编码器10和解码器20可被配置为在数据流14中用信号通知128所选变换102或从数据流14导出所选变换102之前将指示的粗糙版本编码到数据流14中或从数据流14解码指示的粗糙版本，其中可选列表98的确定130取决于指示的粗糙版本。编码器10和解码器20可进一步被配置为在用信号通知/导出之后且取决于所选变换102 将指示的粗糙版本的细化编码到数据流14中或从数据流14解码指示的粗糙版本的细化。
另外或备选地，编码器10和解码器20可被配置为将提示编码/ 解码为粗糙版本，该提示揭示有效变换系数位置132是否在子群组138 内。编码器10和解码器20可进一步被配置为将相对位置信息编码/ 解码为细化，该相对位置信息在有效变换系数位置132在子群组138 内的情况下在子群组138内的位置中区分有效变换系数位置132，并在有效变换系数位置132在子群组138之外的情况下在子群组138之外的位置中区分有效变换系数位置132。
又另外或备选地，在提示揭示有效变换系数位置132在子群组138 内的情况下，编码器10和解码器20可被配置为确定可选列表98包括至少一个多级变换106，该至少一个多级变换106包括被应用至当前残差区块的预测残差100上的初级变换和被应用至初级变换106的初级变换系数114的子群组112上以得到所选变换102的变换系数的子群组138的次级变换。在提示揭示有效变换系数位置132不在子群组 138内的情况下，编码器10和解码器20可被配置为确定可选列表98 不包括至少一个多级变换106。
在提示揭示有效变换系数位置132在子群组138内的情况下，编码器10和解码器20可被配置为使用可变长度编码VLC利用与子群 138内的系数的数量相对应的第一最大数量的代码来编码/解码相对位置信息。在提示揭示有效变换系数位置132不在子群组138内的情况下，编码器10和解码器20可被配置为编码/解码与子群组138之外的系数的数量相对应的第二最大数量的代码。
在提示揭示有效变换系数位置132在子群组138内的情况下，编码器10和解码器20可被配置为在粗糙版本之后但在细化之前编码/ 解码次级变换指示符，该次级变换指示符指示所选变换是否在至少一个多级变换106当中和/或至少一个多级变换106当中的哪个是所选变换。
在提示揭示有效变换系数位置132在子群组138内的情况下，编码器10和解码器20可被配置为使用取决于次级变换指示符的上下文以便对子群组138内的变换系数进行上下文自适应熵编码。
在提示揭示有效变换系数位置132不在子群组138内的情况下，编码器10和解码器20可被配置为对子群组138之内和之外的变换系数进行上下文自适应熵编码。
5.4如果次级变换在不具有尺寸减小的已测试变换的最后位置上被测试，调节编码器(仅编码器)
5.5色度：
针对亮度分量和两个色度分量仅用信号通知一次：
a)用信号通知亮度+两个色度分量一次：
-在满足条件的第一分量中用信号通知(lastPosX>0或 lastPosY>0)
-(仅当两个分量都满足条件时才允许(需要两个分量的最后一个位置的交错编码…)
b)针对每个分量用信号通知(如果满足条件的话)
可以通过以下实施例进一步实现本发明，这些实施例可以与本文描述和要求保护的任何示例和实施例相组合：
1、一种用于使用基于区块的预测和基于区块的残差编码将图片 (12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至多个神经网络中的所选神经网络上来预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)及
基于所述所选神经网络和所述残差区块(94)的区块大小(96) 从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)
使用所述可选变换集合(98)中的一个所选变换(102)对所述残差区块(84)内与所述帧内预测区块(80)的所述预测相关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换。
2、根据实施例1所述的编码器，被配置为
执行所述确定，使得
针对在预定阈值以上的区块大小，
所述可选变换集合(98)是通过第一数量的一个或多个多级变换 (106)填充，每个多级变换(106)包括被应用至所述预测残差(100) 上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110) 是不可分离的且取决于所述所选神经网络。
3、根据实施例2所述的编码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所述所选神经网络(102)且是可分离2D变换(116)。
4、根据实施例3所述的编码器，其中所述子群组(112)表示所述初级变换(108)的低频部分。
5、根据实施例2至4中任一项所述的编码器，其中所述第一数量介于2与6之间，包括2和6。
6、根据实施例2至5中任一项所述的编码器，被配置为
执行所述确定，使得
针对在所述预定阈值以下的区块大小，
所述可选变换集合(98)是通过第二数量的一个或多个不可分离变换(118)填充。
7、根据实施例6所述的编码器，当从属于实施例4时，其中所述第一数量和所述第二数量相等。
8、根据实施例2至7中任一项所述的编码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过第三数量的一个或多个可分离2D变换(116)进一步填充。
9、根据实施例8所述的编码器，其中所述第三数量为1或5。
10、根据实施例1至9中任一项所述的编码器，被配置为
执行所述预测，使得在初级变换(108)的域(118)中获得所述帧内预测区块(80)的所述预测，
执行所述确定，使得
所述可选变换集合(98)是通过第四数量的一个或多个多级变换(106)填充，每个多级变换包括所述初级变换(108)和被应用至所述初级变换(108)的所述初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所述所选神经网络。
11、根据实施例10所述的编码器，被配置为
执行所述确定，使得所述初级变换(108)为可分离2D变换(116)。
12、根据实施例10或11所述的编码器，其中所述子群组(112) 表示所述初级变换(108)的低频部分。
13、根据实施例10至13中任一项所述的编码器，其中所述第一数量介于2与6之间，包括2和6。
14、根据实施例10至14中任一项所述的编码器，被配置为执行所述确定，使得所述可选变换集合(98)通过所述初级变换 (108)进一步填充。
15、根据实施例1至14中任一项所述的编码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
21、一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至多个神经网络(92)中的所选神经网络上来预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，及
基于所选神经网络和残差区块(84)的区块大小(96)从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
通过从所述数据流(14)导出所述可选变换集合(98)中的一个所选变换，在所述所选变换(102)的域中从所述数据流(14)解码所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)。
22、根据实施例21所述的解码器，被配置为
执行所述确定，使得
针对在预定阈值以上的区块大小，
所述可选变换集合(98)是通过第一数量的一个或多个多级变换(106)填充，每个多级变换(106)包括被应用至所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所选神经网络。
23、根据实施例22所述的解码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所选神经网络(102)且是可分离2D变换(116)。
24、根据实施例23所述的解码器，其中所述子群组(112)表示所述初级变换(108)的低频部分。
25、根据实施例22至24中任一项所述的解码器，其中所述第一数量介于2与6之间，包括2和6。
26、根据实施例22至25中任一项所述的解码器，被配置为
执行所述确定，使得
针对在所述预定阈值以下的区块大小，
所述可选变换集合(98)是通过第二数量的一个或多个不可分离变换(118)填充。
27、根据实施例26所述的解码器，当从属于实施例24时，其中所述第一数量和所述第二数量相等。
28、根据实施例22至27中任一项所述的解码器，被配置为
执行所述确定，使得所述可选变换集合(98)是通过第三数量的一个或多个可分离2D变换(116)进一步填充。
29、根据实施例28所述的解码器，其中所述第三数量为1或5。
30、根据实施例21至29中任一项所述的解码器，被配置为
执行所述预测，使得在初级变换(108)的域(118)中获得所述帧内预测区块(80)的所述预测(104)，
执行所述确定，使得
所述可选变换集合(98)是通过第四数量的一个或多个多级变换(106)填充，每个多级变换(106)包括所述初级变换(108) 和被应用至所述初级变换(108)的所述初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所选神经网络。
31、根据实施例30所述的解码器，被配置为
执行所述确定，使得所述初级变换(108)为可分离2D变换(116)。
32、根据实施例30或31所述的解码器，其中所述子群组(112) 表示所述初级变换(108)的低频部分。
33、根据实施例30至33中任一项所述的解码器，其中所述第一数量介于2与6之间，包括2和6。
34、根据实施例30至34中任一项所述的解码器，被配置为
执行所述确定，使得所述可选变换集合(98)是通过所述初级变换(108)进一步填充。
35、根据实施例21至34中任一项所述的解码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
41、一种用于使用基于区块的预测和基于区块的残差编码将图片 (12)编码到数据流(14)中的编码器，所述编码器被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至神经网络(NN#) 上来预测所述帧内预测区块(80)，从而在初级变换(108)的域(118) 中获得所述帧内预测区块(80)的预测(104)，及
使用所述可选变换集合(98)中的一个所选变换(102)对残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换(102)，
其中所述可选变换集合(98)通过至少一个多级变换通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114) 的子群组(112)上的次级变换(110)。
42、根据实施例41所述的编码器，其中
所述可选变换集合(98)是通过一定数量的多级变换(106)填充，每个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的。
43、根据实施例41或42所述的编码器，其中数量介于2与6之间，包括2和6。
44、根据实施例41或43中任一项所述的编码器，其中所述初级变换(108)为可分离2D变换。
45、根据实施例41至44中任一项所述的编码器，其中所述子群组 (112)表示所述初级变换的低频部分。
46、根据实施例41至45中任一项所述的编码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过所述初级变换进一步填充。
47、根据实施例41至46中任一项所述的编码器，被配置为
检查所述帧内预测区块的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
51、一种用于使用基于区块的预测和基于区块的残差编码从数据流(14)解码图片(12)的解码器，所述解码器被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至神经网络(NN#) 上来预测所述帧内预测区块(80)，从而在初级变换(108)的域(118) 中获得所述帧内预测区块(80)的预测(104)，及
通过从所述数据流(14)导出一个可选变换集合(98)中的所选变换(102)，在所述所选变换(102)的另一域(119)[如实施例56 中所描述的，其可以获得与域118相同的域]中从所述数据流(14)解码残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)，
其中所述可选变换集合(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)。
52、根据实施例51所述的解码器，其中
所述可选变换集合(98)是通过一定数量的多级变换(106)填充，每个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的。
53、根据实施例51或52所述的解码器，其中数量介于2与6之间，包括2和6。
54、根据实施例51至53中任一项所述的解码器，其中所述初级变换(108)为可分离2D变换。
55、根据实施例51至54中任一项所述的解码器，其中所述子群组 (112)表示所述初级变换的低频部分。
56、根据实施例51至55中任一项所述的解码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过所述初级变换进一步填充。
57、根据实施例51至56中任一项所述的解码器，被配置为
检查所述帧内预测区块的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
61、一种用于使用基于区块的预测和基于区块的残差编码将图片 (12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
使用帧内预测模式集合(120)中的所选模式，基于帧内预测区块 (80)的空间邻域(90)预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，及
基于所述所选帧内预测模式及残差区块的区块大小，从所述变换集合(94)确定用于覆盖所述帧内预测区块(80)的所述残差区块(84) 的可选变换集合(98)，
使用所述可选变换集合(98)中的一个所选变换(102)对所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换(102)。
62、根据实施例61所述的编码器，被配置为
执行所述确定，使得
对于预定区块大小的第一预定集合中的区块大小，
所述可选变换集合(98)是通过一定数量的一个或多个多级变换(106)填充，每个多级变换(106)包括被应用至所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所述所选帧内预测模式。
63、根据实施例62所述的编码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所述所选帧内预测模式且是可分离2D变换(116)。
64、根据实施例62或63所述的编码器，其中所述子群组(138) 取决于所选帧内预测模式。
65、根据实施例62至63中任一项所述的编码器，被配置为
执行所述确定，使得
对于小于预定区块大小的所述第一预定集合的预定区块大小的第二预定集合的区块大小，
所述可选变换集合(98)是通过第二数量的一个或多个不可分离变换(118)填充。
66、根据实施例62至65中任一项所述的编码器，被配置为使得所述次级变换(110)取决于所述所选帧内预测模式的方式包括帧内预测模式聚合(例如，帧内预测模式索引的量化或者帧内预测模式的集合 120中的角度帧内预测模式的帧内预测方向的量化)。
66a、根据实施例63所述的编码器，被配置为使得所述初级变换 (108)取决于所述所选帧内预测模式的方式包括帧内预测模式聚合 (例如，帧内预测模式索引的量化或者帧内预测模式的集合120中的角度帧内预测模式的帧内预测方向的量化)。
67、根据实施例61至66中任一项所述的编码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
71、一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
使用帧内预测模式集合(120)中的所选模式，基于帧内预测区块 (80)的空间邻域(90)预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，及
基于所述所选帧内预测模式和所述残差区块(84)的区块大小 (96)，从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80) 的所述残差区块(84)的可选变换集合(98)，
通过从所述数据流(14)导出一个所述可选变换集合(98)中的所选变换(102)，在所述所选变换(102)的域中从所述数据流(14) 解码所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104) 相关联的预测残差(100)。
72、根据实施例71所述的解码器，被配置为
执行所述确定，使得
对于预定区块大小的第一预定集合的区块大小，
所述可选变换集合(98)是通过一定数量的一个或多个多级变换(106)填充，每个多级变换(106)包括被应用至所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所述所选帧内预测模式。
73、根据实施例72所述的解码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所述所选帧内预测模式且是可分离2D变换(116)。
74、根据实施例72或73所述的解码器，其中所述子群组(112) 取决于所述所选帧内预测模式。
75、根据实施例72至74中任一项所述的解码器，被配置为
执行所述确定，使得
对于小于预定区块大小的所述第一预定集合的预定区块大小的第二预定集合的区块大小，
所述可选变换集合(98)通过第二数量的一个或多个不可分离变换(116)填充。
76、根据实施例72至75中任一项所述的解码器，被配置为使得所述次级变换(110)取决于所述所选帧内预测模式的方式包括帧内预测模式聚合(例如，帧内预测模式索引的量化或者帧内预测模式的集合 120中的角度帧内预测模式的帧内预测方向的量化)。
77、根据实施例71至76中任一项所述的解码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
81、一种用于使用基于区块的预测和基于区块的残差编码将图片 (12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
基于针对相邻残差区块(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(84)的可选变换列表 (98)[例如，为了对后者的预测残差进行编码，也来自集合94]，
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的预测残差(100)进行编码，并在所述数据流(14) 中用信号通知所选变换(102)。
82、根据实施例81所述的编码器，被配置为使用所述参考变换对所述可选列表(98)排序(122)。
83、根据实施例81或82所述的编码器，被配置为
通过将所述参考变换或对应于所述参考变换的变换以排位(“n#”中的#)进行定位来对所述可选列表(98)排序[例如，关于一级，通过高变换索引124用信号通知，因此可能是非常专门的变换，不同大小的相邻区块的分析变换类型]，所述排位与以下相关联：
最可能的选择[例如，第一位置]，或[与索引124的最低索引值相关联的部分或者与最短VLC相关联的索引值关联的部分]
第二最可能的选择。
84、根据实施例81至83中任一项所述的编码器，被配置为
基于针对相邻残差区块集合(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(80)的可选变换列表(98)。
85、根据实施例84所述的编码器，被配置为
通过以与针对所述相邻残差区块集合(84’，84”)选择所述参考变换的频率相对应的顺序来互相定位所述参考变换，对所述可选列表 (98)排序。
86、根据实施例81至85中任一项所述的编码器，被配置为用所述参考变换填充(122)所述可选列表(98)。
87、根据实施例86所述的编码器，其中所述参考变换为可分析定义的可分离频谱分解变换[例如，DCT、DST、FFT等]，且所述编码器被配置为：
用通过使所述参考变换适于所述当前残差区块(84)的区块大小 (96)而导出的另一变换填充所述可选列表(98)。
88、根据实施例86或87中任一项所述的编码器，被配置为
在以下情况下，执行所述填充，
与所述相邻区块(84’，84”)和所述当前残差区块(84)相关联的一个或多个特定特性充分相似，和/或
所述参考变换是可分离频谱分解变换。
89、根据实施例88所述的编码器，其中所述一个或多个特性包括帧内预测模式的一个或多个。
90、根据实施例81至89中任一项所述的编码器，被配置为
通过根据与所述参考变换在一个或多个特定特性中的相似性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序，和/或
以从所述可选列表(98)中对超出在一个或多个特定特性中与所述参考变换的特定不相似性的变换进行排除的方式来确定所述可选变换列表(98)。
91、根据实施例90所述的编码器，其中所述一个或多个特性包括初级变换中的一个或多个初级变换[例如，要求初级变换相等]。
92、根据实施例81至91中任一项所述的编码器，被配置为
通过取决于所述相邻区块(84’)的一个或多个特定特性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序(122)，和/或
以取决于所述相邻区块(84’)的一个或多个特定特性从所述可选列表(98)中排除变换的方式来确定所述可选变换列表(98)。
93、根据实施例93所述的编码器，其中所述一个或多个特性包括有效变换系数的数量的一个或多个。
94、根据实施例93或92所述的编码器，其中所述一个或多个特性包括以下中的一个或多个：
有效变换系数的数量，其中如果有效变换系数的数量在特定阈值以下，则较不可能对变换进行排位或排除属于多级类型的具有经过次级变换的初级变换系数的子群组(112)的变换(例如，取决于子群组 112中的系数的数量)。
95、根据实施例81至94中任一项所述的编码器，被配置为
检查当前区块的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合(98)是通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
101、一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
基于针对相邻残差区块(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(84)的可选变换列表(98)[例如，为了对后者的预测残差进行编码，也来自集合94]，
通过从所述数据流(14)导出所述可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84) 内的预测残差(100)进行解码。
102、根据实施例101所述的解码器，被配置为使用所述参考变换对所述可选列表(98)排序(122)。
103、根据实施例101或102所述的解码器，被配置为
通过将所述参考变换或对应于所述参考变换的变换以排位(“n#”中的#)进行定位来对所述可选列表(98)排序(122)[例如，关于一级，通过高变换索引124用信号通知，因此可能是非常专门的变换，不同大小的相邻区块的分析变换类型]，所述排位与以下相关联：
最可能的选择[例如，第一位置，或与索引124的最低索引值相关联的部分或者与最短VLC相关联的索引值关联的部分]，或
第二最可能的选择。
104、根据实施例101至103中任一项所述的解码器，被配置为
基于针对相邻残差区块集合(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(80)的可选变换列表(98)。
105、根据实施例104所述的解码器，被配置为
通过以与针对所述相邻残差区块集合(84’，84”)选择所述参考变换的频率相对应的顺序来互相定位所述参考变换，对所述可选列表 (98)排序(122)。
106、根据实施例101至105中任一项所述的解码器，被配置为用所述参考变换填充(122)所述可选列表(98)。
107、根据实施例106所述的解码器，其中所述参考变换为可分析定义的可分离频谱分解变换[例如，DCT、DST、FFT等]，且所述解码器被配置为：
用通过使所述参考变换适于所述当前残差区块(84)的区块大小 (96)而导出的另一变换来填充(122)所述可选列表(98)。
108、根据实施例106或107所述的解码器，被配置为
在以下情况下，执行所述填充，
与所述相邻区块(84’，84”)和所述当前残差区块(84)相关联的一个或多个特定特性充分相似，和/或
所述参考变换是可分离频谱分解变换。
109、根据实施例108所述的解码器，其中所述一个或多个特性包括帧内预测模式中的一个或多个。
110、根据实施例101至109中任一项所述的解码器，被配置为
通过根据与所述参考变换在一个或多个特定特性中的相似性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序(122)，和/或
以从所述可选列表(98)中对超出在一个或多个特定特性中与所述参考变换的特定不相似性的变换进行排除的方式来确定所述可选变换列表(98)。
111、根据实施例100所述的解码器，其中所述一个或多个特定特性包括初级变换的一个或多个初级变换[例如，要求初级变换相等]。
112、根据实施例101至111中任一项所述的解码器，被配置为
通过取决于所述相邻区块(84”)的一个或多个特定特性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序 (122)，和/或
以取决于所述相邻区块(84’)的一个或多个特定特性从所述可选列表(98)中排除变换的方式确定所述可选变换列表(98)。
113、根据实施例112所述的解码器，其中所述一个或多个特性包括有效变换系数的数量的一个或多个。
114、根据实施例113或112所述的解码器，其中所述一个或多个特性包括以下中的一个或多个：
有效变换系数的数量，其中如果有效变换系数的数量在特定阈值以下，则较不可能对变换进行排位或排除属于多级类型的具有经过次级变换的初级变换系数的子群组(112)的变换(例如，取决于子群组 112中的系数的数量)。
115、根据实施例101至114中任一项所述的解码器，被配置为
检查当前区块的量化参数是否包括在一个或多个预定量化参数的集合中，
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
121、一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
以取决于当前区块的量化参数的方式，从所述变换集合中确定用于所述当前残差区块(84)的变换的可选变换列表(98)，使得
如果所述量化参数对应于比特定阈值精细的量化，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106) 包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)和被应用至所述初级变换的初级变换系数(114) 的子群组(112)上的次级变换(110)，及
如果所述量化参数对应于比特定阈值粗糙的量化，
则除了所述至少一个多级变换(106)之外或代替所述至少一个多级变换(106)，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组(112)的所述初级变换系数(114)被置零，及
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的所述预测残差(100)进行编码，并在所述数据流(14) 中用信号通知所选变换。
122、一种用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
以取决于一个或多个相邻残差区块(84’，84”)中的有效变换系数的数量或其总和的方式，基于针对相邻残差区块选择的参考变换从所述变换集合中确定(122)用于当前残差区块的可选变换列表(98)，使得
如果数量或总和大于特定阈值，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换填充，所述至少一个多级变换包括被应用至所述当前残差区块的预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，及如果数量或总和小于所述特定阈值，
则除了所述至少一个多级变换之外或代替所述至少一个多级变换，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组的初级变换系数被置零，及
使用所述可选变换列表中的一个所选变换对所述残差区块内的预测残差进行编码，且在所述数据流中用信号通知所选变换。
123、一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
以取决于当前区块的量化参数的方式，从所述变换集合中确定用于当前残差区块(84)的可选变换列表(98)，使得
如果所述量化参数对应于比特定阈值精细的量化，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106) 包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)和被应用至所述初级变换的初级变换系数(114) 的子群组(112)上的次级变换(110)，及
如果所述量化参数对应于比特定阈值粗糙的量化，
则除了所述至少一个多级变换(106)之外或代替所述至少一个多级变换(106)，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组(112)的所述初级变换系数(114)被置零，及
通过从所述数据流(14)导出所述可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84) 内的所述预测残差(100)进行解码。
124、一种用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合且被配置为：
以取决于一个或多个相邻残差区块(84’，84”)中的有效变换系数的数量或其总和的方式，基于针对相邻残差区块选择的参考变换从所述变换集合中确定(122)用于当前残差区块的可选变换列表(98)，使得
如果数量或总和大于特定阈值，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换填充，所述至少一个多级变换包括被应用至所述当前残差区块的预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，及如果数量或总和小于所述特定阈值，
则除了所述至少一个多级变换之外或代替所述至少一个多级变换，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组的初级变换系数被置零，及
通过从所述数据流导出所述可选变换列表中的一个所选变换，在所述所选变换的域中对所述残差区块内的预测残差进行解码。
131、一种用于使用基于区块的预测和基于区块的残差编码将图片 (12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)将变换系数数据(126)编码到所述数据流(14)中，所述变换系数数据(126) 表示所述残差区块(84)内的预测残差(100)；
以取决于所述变换系数数据(126)或取决于所述数据变换系数数据(126)的部分的方式，在所述数据流(14)中用信号通知(128) 所选变换(102)和/或执行对所述可选列表(98)的确定。
132、根据实施例21所述的编码器，被配置为
通过用所述变换集合(94)中的一定数量的变换填充所述可选列表(98)来确定(130)所述可选变换列表(98)，数量取决于所述变换系数数据(126)或所述变换系数数据的部分，
以使得数量愈低则在所述数据流(14)中针对用信号通知所选变换(102)所花费的码率愈低的方式在所述数据流(14)中执行用信号通知所选变换(102)。
133、根据实施例131所述的编码器，被配置为
通过取决于所述变换系数数据(126)或所述变换系数数据(126) 的部分对所述可选变换列表(98)进行排序来确定(130)所述可选变换列表(98)，
使用可变长度码在所述数据流中执行用信号通知(128)所选变换 (102)，所述可变长度码的码字取决于所述可选变换列表(98)中的变换的顺序被指派给所述可选变换列表(98)中的变换。
134、根据实施例132或133所述的编码器，被配置为
使得所述变换系数数据包括所选变换的有效变换系数位置(132) 的指示和所选变换(102)的变换系数(134)的值，所述值按顺序地遍历所选变换的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；
其中所述确定(130)取决于所述指示。
135、根据实施例132或133或134所述的编码器，被配置为
对所选变换(102)的有效变换系数(134)的数量进行计数；
其中所述确定(130)取决于所述计数。
136、根据实施例134或135所述的编码器，被配置为
关于所选变换(102)的所述变换系数(134)的子群组(138) 内的所选变换(102)的有效变换系数(134)的数量是否超出特定阈值，来评估所述变换系数数据(126)；
执行取决于所述计数的所述确定(130)，使得
如果数量大于所述特定阈值，
则用至少一个多级变换(106)来填充所述当前残差区块(84) 的所述可选变换列表(98)，所述至少一个多级变换(106)包括被应用至所述当前残差区块的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，以及
如果数量小于所述特定阈值，
则不用任何多级变换(106)来填充用于当前残差区块的所述可选变换列表，所述多级变换(106)包括被应用至所述当前残差区块的所述预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的所述子群组上的次级变换。
201、一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
从所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码变换系数数据(126)，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；
以取决于所述变换系数数据(126)或取决于所述数据变换系数数据(126)的部分的方式，从所述数据流(14)导出(128)所选变换 (102)和/或执行对所述可选列表(98)的所述确定(130)。
202、根据实施例201所述的解码器，被配置为
通过用所述变换集合(94)中的一定数量的变换填充所述可选列表(98)来确定(130)所述可选变换列表(98)，数量取决于所述变换系数数据(126)或所述变换系数数据的部分，
以使得数量愈低则在所述数据流(14)中针对用信号通知所选变换(102)所花费的码率愈低的方式在所述数据流(14)中执行用信号通知所选变换(102)。
203、根据实施例201所述的解码器，被配置为
通过取决于所述变换系数数据(126)或所述变换系数数据(126) 的部分对所述可选变换列表(98)进行排序来确定(130)所述可选变换列表(98)，
使用可变长度码在所述数据流(14)中执行用信号通知(128)所选变换(102)，所述可变长度码的码字是取决于所述可选变换列表(98) 中的所述变换的顺序而指派给所述可选变换列表(98)中的变换。
204、根据实施例202或203所述的解码器，被配置为
使得所述变换系数数据包括所选变换(102)的有效变换系数位置 (132)的指示和所选变换的变换系数(134)的值，所述值按顺序地遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；
其中所述确定(130)取决于所述指示。
205、根据实施例202或203或204所述的解码器，被配置为
对所选变换(102)的有效变换系数(134)的数量进行计数；
其中所述确定(130)取决于所述计数。
206、根据实施例204或205所述的解码器，被配置为
关于所选变换(102)的所述变换系数(134)的子群组(138)内的所选变换(106)的有效变换系数(134)的数量是否超出特定阈值，评估所述变换系数数据(126)；
执行取决于所述计数的所述确定(130)，使得
如果数量大于所述特定阈值，
则用至少一个多级变换(106)来填充所述当前残差区块(84) 的所述可选变换列表(98)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114) 的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，及
如果数量小于所述特定阈值，
则不用任何多级变换(106)来填充用于当前残差区块的所述可选变换列表所述多级变换(106)包括被应用至所述当前残差区块的所述预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的所述子群组上的次级变换。
141、一种用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合且被配置为：
从所述变换集合中确定(130)用于当前残差区块(84)的可选变换列表(98)；
在所述数据流中用信号通知(128)所选变换，
以取决于所选变换或所述可选变换集合(98)的方式，使用所述可选变换列表中的一个所选变换(102)来编码(140)变换系数，所述变换系数(134)表示所述残差区块内的预测残差。
142、根据实施例141所述的编码器，
其中所述可选变换列表包括不同数量的变换系数的变换，
以使得所选变换的变换系数的数量愈低则在所述数据流(14)中针对所述变换系数的所述编码所花费的码率愈低的方式执行所述变换系数的所述编码。
143、根据实施例141或142所述的编码器，其中所述可选变换列表包括不同数量的变换系数(134)的变换，
其中所述变换系数的所述编码包括编码所选变换(102)的有效变换系数位置(132)的指示和所选变换的变换系数(134)的值，所述值是按顺序地遍历所选变换的系数位置的预定扫描顺序(136)从所述有效变换系数位置向前遍历；
其中所述编码器被配置为以实现以下的方式来编码所述变换系数 (134)：
所选变换的变换系数的数量愈低则在所述数据流中用于所述指示的所述编码所花费的码率愈低。
144、根据实施例141或142所述的编码器，
其中所述可选变换列表包括第一数量的变换系数(134)的变换和大于所述第一数量的第二数量的变换系数(134)的变换，
其中所述变换系数的编码包括：
在所选变换的变换系数的数量为所述第二数量的情况下，
编码所选变换的有效变换系数位置的指示和所选变换的变换系数的值，所述值按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历；
在所选变换的变换系数的数量为所述第一数量的情况下，
编码所选变换的全部的所述第一数量的变换系数的值。
145、根据实施例141至144中任一项所述的编码器，
其中所述可选变换列表包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块上的初级变换和被应用至所述初级变换系数的初级变换系数的子群组上的次级变换，其中对于所述至少一个多级变换中的不同多级变换，所述子群组有所不同，
其中所述编码器被配置为通过以下方式来编码所述变换系数：
编码所选变换的有效变换系数位置的指示和所选变换的变换系数的值，所述值按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历，其中如果所选变换为多级变换，则所述指示包括指示所述有效变换系数位置是否在变换系数的所述子群组内的标志，且如果所述变换系数位置在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在所选变换的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置，且如果所述变换系数位置不在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在不处于所述子群组内的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置，其中在已经遍历不在所述子群组内的所有变换系数之后，所述预定扫描顺序遍历所述子群组内的所有变换系数，和/或
如果所选变换是所述多级类型，则使用利用概率估计的熵编码对所选变换的变换系数的值进行编码，所述概率估计取决于所述变换系数是否在所选变换的变换系数的所述子群组内，
如果所选变换为所述多级类型，则使用利用概率估计的熵编码，以取决于所选变换的变换系数是否在所选变换的变换系数的所述子群组内的方式，对所述所选变换的变换系数的值进行编码，其中所述概率估计取决于一个或多个相邻变换系数。
145a、根据实施例141至145中任一项所述的编码器，
其中所述可选变换列表包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，其中所述可选列表包括仅初级变换类型的至少一个变换，
其中所述编码器被配置为通过以下方式来编码所述变换系数：
编码所选变换的有效变换系数位置的指示和所选变换的变换系数的值，所述值是按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历，其中在所选变换是所述仅初级变换类型的情况下，所述指示相对于按所述预定扫描顺序在所选变换的所有变换系数当中最后遍历的位置，或在所选变换为多级变换的情况下，所述指示相对于按所述预定扫描顺序在不处于所述子群组内的所有变换系数当中最后遍历的位置，和/ 或
通过编码所选的有效变换系数位置的指示和所选变换的变换系数的值，所述值按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历，其中如果所选变换为多级变换，所述指示则包括指出所述有效变换系数位置是否在变换系数的所述子群组内的标志，且如果所述变换系数位置在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在所选变换的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置，且如果所述变换系数位置不在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在不处于所述子群组内的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置，其中在遍历不处于所述子群组内的所有变换系数之后，所述预定扫描顺序遍历所述子群组内的所有变换系数，和/或
如果所选变换为所述多级类型，则使用利用概率估计的熵编码对所选变换的变换系数的值进行编码，所述概率估计取决于所述变换系数是否在所选变换的变换系数的所述子群组内，
如果所选变换为所述多级类型，则使用利用概率估计的熵编码，以取决于所选变换的变换系数是否在所选变换的变换系数的所述子群组内的方式，对所述所选变换的变换系数的值进行编码，其中所述概率估计取决于一个或多个相邻变换系数。
146、根据实施例141至145中任一项所述的编码器，
被配置为使用可变长度编码索引来用信号通知所述所选变换
被配置为通过使用二值化和二进制熵编码对所选变换的变换系数的值进行编码来编码所述变换系数，其中
用于二进制熵编码的概率估计取决于所述VLC索引，和/或所述二值化取决于所述VLC索引。
147、根据实施例141至146中任一项所述的编码器，被配置为
通过使用熵编码对所选变换的变换系数的值进行编码来编码所述变换系数，其中
以取决于所选变换的方式熵编码取决于一个或多个相邻变换。
148、根据实施例147所述的编码器，
被配置为通过使用熵编码对所选变换的变换系数的值进行编码来编码所述变换系数，所述熵编码是通过以下方式进行：
以取决于所选变换中的所述变换系数的位置的方式来选择一个或多个相邻变换系数的局部模板，
使用所述或相邻变换系数的可能值的域到用于所述变换系数的组一个或多个上下文的映射来确定用于所述变换系数的所选上下文，
使用与所选上下文相关联的概率估计对所述变换系数的值进行熵编码，
其中所述局部模板的所述选择和所述映射中的至少一个取决于所选变换。
149、根据实施例148所述的编码器，被配置为
使用二进制熵编码所述值的二值化，来执行对所选变换的所述变换系数的值的所述编码，其中与所选上下文相关联的所述概率估计被用于指示所述值是否为零的所述二值化的数段。
150、根据实施例141至149中任一项所述的编码器，被配置为以使得以下方式在所述数据流中执行用信号通知所选变换，
用信号通知所选变换的信令关于所述变换系数数据的相对定位和/或所述信令至语法元素的分解
取决于所述可选变换列表。
161、一种用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合且被配置为：
从所述变换集合(94)确定(130)用于当前残差区块的可选变换列表(98)；
从所述数据流导出(128)所选变换，
以取决于所选变换(102)或取决于所述可选变换集合(98)的方式，使用所述可选变换列表中的一个所选变换从所述数据流解码变换系数，所述变换系数表示所述残差区块内的预测残差。
162、根据实施例161所述的解码器，
其中所述可选变换列表包括不同数量的变换系数的变换，
以使得所选变换的变换系数的数量愈低，则在所述数据流中针对所述变换系数所花费的码率愈低的方式执行所述变换系数的所述解码。
163、根据实施例161或162所述的解码器，
其中所述可选变换列表包括不同数量的变换系数(134)的变换，
其中所述变换系数的所述解码包括解码所选变换(102)的有效变换系数位置(132)的指示和所选变换的变换系数(134)的值，所述值是按顺序地遍历所选变换的系数位置的预定扫描顺序(136)从所述有效变换系数位置向前遍历；
其中所述解码器被配置为使得以下的方式解码所述变换系数，
所选变换的变换系数(134)的数量愈低，在所述数据流中针对所述指示所花费的码率愈低。
164、根据实施例161或162所述的解码器，
其中所述可选变换列表包括第一数量的变换系数(134)的变换和大于所述第一数量的第二数量的变换系数(134)的变换，
其中所述变换系数的所述解码包括
在所选变换的变换系数的数量为所述第二数量的情况下，
解码所选变换的有效变换系数位置的指示和所选变换的变换系数的值，所述值是按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历；或在所选变换的变换系数的数量为所述第一数量的情况下，
解码所选变换的全部的所述第一数量的变换系数的值。
165、根据实施例161至164中任一项所述的解码器，
其中所述可选变换列表包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，其中对于所述至少一个多级变换中的不同变换，所述子群组有所不同，
其中所述解码器被配置为通过以下方式来编码所述变换系数：
通过解码所选变换的有效变换系数位置的指示和所选变换的变换系数的值，所述值是按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历，其中如果所选变换为多级变换，所述指示则包括指出所述有效变换系数位置是否在变换系数的所述子群组内的标志，且如果所述有效变换系数位置在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在所选变换的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置，且如果所述变换系数位置不在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在不处于所述子群组内的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置，其中在遍历不在所述子群组内的所有变换系数之后，所述预定扫描顺序遍历所述子群组内的所有变换系数，和/或
如果所选变换为所述多级类型，则通过使用利用概率估计的熵编码对所选变换的变换系数的值进行解码，所述概率估计取决于所述变换系数是否在所选变换的变换系数的所述子群组内，
如果所选变换为所述多级类型，则使用利用概率估计的熵编码，以取决于所选变换的变换系数是否在所选变换的变换系数的所述子群组内的方式，对所述所选变换的变换系数的值进行解码，其中所述概率估计取决于一个或多个相邻变换系数。
165a、根据实施例161至165中任一项所述的解码器，
其中所述可选变换列表包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，其中所述可选列表包括仅初级变换类型的至少一个变换，
其中所述解码器被配置为通过以下方式编码所述变换系数：
解码所选变换的有效变换系数位置的指示和所选变换的变换系数的值，所述值是按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历，其中在所选变换为仅初级变换类型的情况下，所述指示相对于按所述预定扫描顺序在所选变换的所有变换系数当中最后遍历的位置，或在所选变换为多级变换的情况下，所述指示相对于按所述预定扫描顺序在不处于所述子群组内的所有变换系数当中最后遍历的位置，和/或
解码所选变换的有效变换系数位置的指示和所选变换的变换系数的值，所述值是按顺序地遍历所选变换的系数位置的预定扫描顺序从所述有效变换系数位置向前遍历，其中如果所选变换为多级变换，所述指示则包括指出所述有效变换系数位置是否在变换系数的所述子群组内的标志，且如果所述有效变换系数位置在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在所选变换的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置，且如果所述有效变换系数位置不在变换系数的所述子群组内，所述指示相对于按所述预定扫描顺序在不处于所述子群组内的所有变换系数所述子群组当中最后遍历的位置来指示所述有效变换系数位置，其中在已经遍历不在所述子群组内的所有变换系数之后，所述预定扫描顺序遍历所述子群组内的所有变换系数，和/或
如果所选变换为所述多级类型，则通过使用利用概率估计的熵编码对所选变换的变换系数的值进行解码，所述概率估计取决于所述变换系数是否在所选变换的变换系数的所述子群组内，和/ 或
如果所选变换为所述多级类型，则使用利用概率估计的熵编码，以取决于所选变换的变换系数是否在所选变换的变换系数的所述子群组内的方式，对所述所选变换的变换系数的值进行解码，其中所述概率估计取决于一个或多个相邻变换系数。
166、根据实施例161至165中任一项所述的解码器，
被配置为使用可变长度编码索引来导出所述所选变换
被配置为通过使用二值化和二进制熵解码对所选变换的变换系数的值进行解码来解码所述变换系数，其中
用于二进制熵编码的概率估计取决于所述VLC索引，和/或所述二值化取决于所述VLC索引。
167、根据实施例161至166中任一项所述的解码器，被配置为
通过使用熵解码对所选变换的变换系数的值进行解码来解码所述变换系数，其中
熵编码以取决于所选变换的方式取决于一个或多个相邻变换系数。
168、根据实施例167所述的解码器，
被配置为通过使用熵解码对所选变换的变换系数的值进行解码来解码所述变换系数，所述熵解码通过以下来进行：
以取决于所选变换中的所述变换系数的位置的方式来选择一个或相邻变换系数的局部模板，
使用所述一个或相邻变换系数的可能值的域到用于所述变换系数的一个或多个上下文的集合的映射来确定用于所述变换系数的所选上下文，
使用与所选上下文相关联的概率估计对所述变换系数的值进行熵解码，
其中所述局部模板的所述选择和所述映射中的至少一个取决于所选变换。
169、根据实施例168所述的解码器，
被配置为使用二进制熵解码所述值的二值化，来执行对所选变换的所述变换系数的值的所述解码，其中与所选上下文相关联的所述概率估计是用于指示所述值是否为零的所述二值化的数段。
170、根据实施例161至169中任一项所述的解码器，被配置为
以实现以下的方式在所述数据流中执行用信号通知所选变换
用信号通知所选变换的信令关于所述变换系数数据的相对定位，和/或所述信令至语法元素的分解
取决于所述可选变换列表。
181、一种用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合且被配置为：
从所述变换集合中确定用于当前残差区块的可选变换列表；
使用所述可选变换列表中的一个所选变换对所述残差区块内的预测残差进行编码；
使用变换指示符在所述数据流中用信号通知(128)所选变换，
其中所述变换指示符是使用具有一个或多个数位的代码在所述数据流中用信号通知的，其中所述一个或多个数位的集合中的每个数位唯一地与相应变换属性相关联。
182、根据实施例181所述的编码器，其中每个变换属性为以下中的一个：
所选变换是否为多级变换，及
所选变换是否为变换系数少于预定数量的变换系数的变换。
183、根据实施例181或182所述的编码器，被配置为
使用取决于相邻残差区块的变换指示符的概率估计，使用熵编码对至少一个数位的所述集合中的至少一个数位进行编码。
191、一种用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合且被配置为：
从所述变换集合中确定用于当前残差区块的可选变换列表；
使用所述可选变换列表中的一个所选变换从所述数据流(14)解码所述残差区块内的预测残差；
使用变换指示符(124)从所述数据流导出(128)所选变换(102)，
其中所述变换指示符是使用具有一个或多个数位的代码[例如， 124的数段经过二进制算术编码或由124组成或可从14解析的语法元素]从所述数据流导出，其中所述一个或多个数位的集合中的每个唯一地与相应变换属性相关联。
192、根据实施例191所述的解码器，其中每个变换属性是以下中的一个：
所选变换是否为多级变换，及
所选变换是否为变换系数少于预定数量的变换系数的变换。
193、根据实施例191或192所述的解码器，被配置为
使用取决于相邻残差区块的变换指示符的概率估计，使用熵解码对至少一个数位的所述集合中的至少一个数位进行解码。
由以上任何一个编码器/解码器执行的方法，
用于执行该方法的计算机程序，
根据本发明的编码方法生成的数据流。
尽管已在装置的上下文中描述一些方面，但显然，这些方面也表示对应方法的描述，其中区块或设备对应于方法步骤或方法步骤的特征。类似地，方法步骤的上下文中所描述的方面也表示对应区块或项目或对应装置的特征的描述。
可由(或使用)硬件装置(比如微处理器、可编程计算机或电子电路)执行方法步骤中的一些或全部。在一些实施例中，可由这种装置执行最重要的方法步骤中的一个或多个。
取决于某些实施要求，本发明的实施例可以硬件或软件或至少部分以硬件或至少部分以软件实施。可使用数位存储介质来执行该实施，该介质例如软盘、DVD、Blu-Ray、CD、ROM、PROM、EPROM、 EEPROM或闪存，该介质上存储有电子可读控制信号，该电子可读控制信号与可编程计算机协作(或能够协作)以使得执行相应方法。因此，数位存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机协作，使得执行本文中所描述的方法中的一个。
一般而言，本发明的实施例可实施为具有程序代码的计算机程序产品，当计算机程序产品在计算机上执行时，程序代码操作性地用于执行该方法中的一个。程序代码可例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上，用于执行本文中所描述的方法中的一个的计算机程序。
换言之，本发明方法的实施例因此是计算机程序，其具有当计算机程序在计算机上执行时用于执行本文中所描述的方法中的一个的程序代码。
因此，本发明方法的另一实施例是数据载体(或数位存储介质，或计算机可读介质)，该数据载体包括记录在其上的用于执行本文中所描述的方法中的一个的计算机程序。数据载体、数位存储介质或记录介质通常是有形的和/或非暂时性的。
因此，本发明的方法的另一实施例是表示用于执行本文中所描述的方法中的一个的计算机程序的数据流或信号序列。数据流或信号序列可例如被配置为经由数据通讯连接(例如，经由因特网)而被传送。
另一实施例包括处理装置，例如被配置或被适配以执行本文中所描述的方法中的一个的计算机或可编程逻辑器件。
另一实施例包括计算机，该计算机具有安装在其上的用于执行本文中所描述的方法中的一个的计算机程序。
根据本发明的另一实施例包括被配置为向接收器(例如，电子地或光学地)传送用于执行本文中所描述的方法中的一个的计算机程序的装置或系统。例如，接收器可以是计算机、移动设备、存储器设备等。装置或系统可例如包括用于向接收器传送计算机程序的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列) 可用于执行本文中所描述的方法的功能性中的一些或全部。在一些实施例中，现场可编程门阵列可与微处理器协作，以便执行本文中所描述的方法中的一个。一般而言，优选由任何硬装置来执行该方法。
本文中所描述的装置可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来实施。
本文中所描述的方法可使用硬件装置或使用计算机或使用硬件装置与计算机的组合来执行。
虽然已参考例示性实施例描述了本公开，但不应在限制性意义上理解本说明书。本领域技术人员在参考本说明书后将显而易知本公开的例示性实施例以及其他实施例的各种修改和组合。因此，预期所附权利要求涵盖任何此类修改或实施例。
参考文献
[1]J.Chen,E.Alshina,G.J.Sullivan,J.-R.Ohm,J.Boyce(JEM editors)“Algorithm description of Joint Exploration Test Model 7”, JVET-G1001,Torino,Jul.2017.
[2]X.Zhao,J.Chen,M.Karczewicz,“Mode-dependent non-separable secondarytransform”,ITU-T SG16/Q6 Doc.COM16-C1044,Oct.2015.
[3]C.Lan,J.Xu and F.Wu,“Enhancement of HEVC using Signal DependentTransform(SDT)”,MPEG doc.m37503,Oct.2015 and ITU-T SG16/Q6 Doc.VCEG-AZ08,Jun.2015.
[4]E.Alshina,A.Alshin,J.-H.Min,K.Choi,A.Saxena,M.Budagavi, “Knowntools performance investigation for next generation video coding”, ITU-T SG16Doc.VCEG-AZ05,Jun.2015.
[5]J.Chen,Y.Chen,M.Karczewicz,X.Li,H.Liu,L.Zhang,X.Zhao, “Codingtools investigation for next generation video coding”,ITU-T SG16 Doc.COM16-C806,Feb.2015.
[6]B.Li,O.G.Guleryuz,J.Ehmann and A.Vosough, “LAYERED-GIVENSTRANSFORMS：TUNABLE COMPLEXITY, HIGH-PERFORMANCE APPROXIMATION OF OPTIMAL NON-SEPARABLE TRANSFORMS”,ICIP,2017.
[7]Said,Amir,et al."Highly efficient non-separable transforms fornext generation video coding."Picture Coding Symposium(PCS),2016. IEEE,2016.
[8]De Luxan Hernadez,Marpe,et al.“Predictive Picture Coding usingTransform-Based Residual Coding”,PCT/EP2017/067708,2018。

Claims (205)

1.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定(122)用于所述当前残差区块(84)的变换的变换候选列表(98)，以及
使用可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的预测残差(100)进行编码，并在所述数据流(14)中选择性地用信号通知所述所选变换(102)。
2.根据权利要求1所述的编码器，其中
所述编码器支持多个区块尺寸，
对于每个区块尺寸，所述变换集合(94)包括变换子集，所述变换的域对应于相应区块尺寸，
对于所述变换集合(94)中的每个变换，所述编码器支持逆变换，所述逆变换的域与相应变换的陪域一致，且所述编码器使用所述逆变换来填充残差区块处的经解码图片缓冲器，针对所述残差区块已经选择所述相应变换，
其中所述编码器被配置为在确定所述变换候选列表(98)时排他地用所述变换子集中的变换来填充所述变换候选列表(98)，所述变换的域对应于所述当前残差区块(84)的高度和宽度。
3.根据权利要求1或2所述的编码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度满足第一标准，则用所述变换子集中的一个或多个变换来填充所述变换候选列表(98)，所述一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的陪域小于所述一个或多个变换的域，或
如果所述当前残差区块(84)的高度和宽度不满足第一标准，则从所述变换候选列表中排除所述变换子集中的所述一个或多个变换，所述一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的陪域小于所述一个或多个变换的域。
4.根据权利要求3所述的编码器，其中所述一个或多个变换是以下中的一个或多个：DCT-II、DST-VII和DCT-III。
5.根据权利要求1至4中任一项所述的编码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度满足第二标准，则用所述变换子集中的恒等变换来填充所述变换候选列表(98)，所述恒等变换的域对应于所述当前残差区块(84)的高度和宽度，或
如果所述当前残差区块(84)的高度和宽度不满足第二标准，则从所述变换候选列表中排除所述变换子集中的所述恒等变换，所述恒等变换的域对应于所述当前残差区块(84)的高度和宽度。
6.根据权利要求1至5中任一项所述的编码器，被配置为通过检查所述高度、所述宽度、所述高度和所述宽度两者、和/或高度与宽度的乘积是否超出特定阈值来检查所述第一标准和/或所述第二标准。
7.根据权利要求1至6中任一项所述的编码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度满足第三标准，则用所述变换子集中的可分离频谱分解变换来填充所述变换候选列表(98)，所述可分离频谱分解变换的域对应于所述当前残差区块(84)的大小，或
如果所述当前残差区块(84)的高度和宽度不满足第三标准，则从所述变换候选列表(98)中排除所述变换子集中的所述可分离频谱分解变换，所述可分离频谱分解变换的域对应于所述当前残差区块(84)的大小。
8.根据权利要求7所述的编码器，被配置为通过检查所述高度与所述宽度的比是否超出特定阈值来检查所述第三标准。
9.根据权利要求1至8中任一项所述的编码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度对应于第一预定区块尺寸，则用所述变换子集中的第一一个或多个变换来填充所述变换候选列表(98)，所述第一一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度且所述第一一个或多个变换是多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块(84)内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第一子群组(112)上的次级变换(110)，或
如果所述当前残差区块(84)的高度和宽度对应于第二预定区块尺寸，则用所述变换子集中的第二一个或多个变换来填充所述变换候选列表(98)，所述第二一个或多个变换的域对应于所述当前残差区块(84)的高度和宽度且所述第二一个或多个变换是多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第二子群组(112)上的次级变换(110)，
其中将所述第一一个或多个变换的所述初级变换(108)的第一陪域映射到所述第一一个或多个变换的所述初级变换(108)的第二陪域上的缩放不会将所述第一陪域内的所述第一子群组的外周映射到所述第二陪域内的所述第二子群组的外周上。
10.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定用于所述当前残差区块(84)的变换的变换候选列表(98)，且
通过选择性地从所述数据流(14)导出可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84)内的预测残差(100)进行解码。
11.根据权利要求10所述的解码器，其中
所述解码器支持多个区块尺寸(96)，
针对每个区块尺寸(96)，所述变换集合(94)包括变换子集，所述变换的陪域对应于相应区块尺寸(96)，
其中所述解码器被配置为在确定所述变换候选列表(98)时排他地用所述变换子集中的变换来填充所述变换候选列表(98)，所述变换的所述陪域对应于所述当前残差区块(84)的高度和宽度。
12.根据权利要求10或11所述的解码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度满足第一标准，则用所述变换子集中的一个或多个变换来填充所述变换候选列表(98)，所述一个或多个变换的陪域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的域小于所述一个或多个变换的陪域，
如果所述当前残差区块(84)的高度和宽度不满足第一标准，则从所述变换候选列表(98)中排除所述变换子集中的所述一个或多个变换，所述一个或多个变换的陪域对应于所述当前残差区块(84)的高度和宽度，且所述一个或多个变换的域小于所述一个或多个变换的域。
13.根据权利要求12所述的解码器，其中所述一个或多个变换是以下中的一个或多个：逆DCT-II、逆DST-VII和逆DCT-III。
14.根据权利要求10至13中任一项所述的解码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度满足第二标准，则用所述变换子集中的恒等变换来填充所述变换候选列表(98)，所述恒等变换的陪域对应于所述当前残差区块(84)的高度和宽度，
如果所述当前残差区块(84)的高度和宽度不满足第二标准，则从所述变换候选列表(98)中排除所述变换子集中的所述恒等变换，所述恒等变换的陪域对应于所述当前残差区块(84)的高度和宽度。
15.根据权利要求10至14中任一项所述的解码器，被配置为通过检查所述高度、所述宽度、所述高度和所述宽度两者，和/或高度与宽度的乘积是否超出特定阈值来检查所述第一标准和/或所述第二标准。
16.根据权利要求10至15中任一项所述的解码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度满足第三标准，则用所述变换子集中的可分离频谱分解变换来填充所述变换候选列表(98)，所述可分离频谱分解变换的陪域对应于所述当前残差区块(84)的大小，或
如果所述当前残差区块(84)的高度和宽度不满足第三标准，则从所述变换候选列表(98)中排除所述变换子集中的所述可分离频谱分解变换，所述可分离频谱分解变换的陪域对应于所述当前残差区块(84)的大小。
17.根据权利要求16所述的解码器，被配置为通过检查所述高度与所述宽度的比是否超出特定阈值来检查所述第三标准。
18.根据权利要求10至17中任一项所述的解码器，被配置为在确定所述变换候选列表(98)时：
如果所述当前残差区块(84)的高度和宽度对应于第一预定区块尺寸，则用所述变换子集中的第一一个或多个变换来填充所述变换候选列表(98)，所述第一一个或多个变换的陪域对应于所述当前残差区块(84)的高度和宽度且第一一个或多个变换反转多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块(84)内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第一子群组(112)上的次级变换(110)，或
如果所述当前残差区块(84)的高度和宽度对应于第二预定区块尺寸，则用所述变换子集中的第二一个或多个变换来填充所述变换候选列表(98)，所述第二一个或多个变换的陪域对应于所述当前残差区块(84)的高度和宽度且第二一个或多个变换反转多级变换(106)，所述多级变换(106)包括被应用至所述当前残差区块(84)内的预测残差(100)上的初级变换(108)以及被应用至所述初级变换(108)的初级变换系数(114)的第二子群组(112)上的次级变换(110)，
其中将所述第一一个或多个变换的所述初级变换(108)的第一陪域映射到所述第一一个或多个变换的所述初级变换(108)的第二陪域上的缩放不会将所述第一陪域内的所述第一子群组的外周映射到所述第二陪域内的所述第二子群组的外周上。
19.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：
基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定(122)用于当前残差区块(84)的变换的变换候选列表(98)，及
使用可选变换列表(98)中的一个所选变换(102)对所述残差区块内(84)的预测残差(100)进行编码，并在所述数据流(14)中选择性地用信号通知所述所选变换(102)。
20.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：
基于当前残差区块(84)的高度和宽度从所述变换集合(94)中确定(122)用于所述当前残差区块(84)的变换的变换候选列表(98)，及
通过选择性地从所述数据流(14)导出可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84)内的预测残差(100)进行解码。
21.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
从所述变换集合(94)中确定用于当前残差区块(84)的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)将变换系数数据(126)编码到所述数据流(14)中，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；
以取决于所述变换系数数据(126)或取决于所述变换系数数据(126)的一部分的方式，在所述数据流(14)中用信号通知(128)所选变换(102)，和/或执行对所述可选列表(98)的确定。
22.根据权利要求21所述的编码器，被配置为
通过用所述变换集合(94)中的一定数量的变换填充所述可选列表(98)来确定(130)所述可选变换列表(98)，数量取决于所述变换系数数据(126)或所述变换系数数据(126)的一部分，
以使得所述数量愈低则在所述数据流(14)中针对用信号通知所选变换(102)所花费的码率愈低的方式在所述数据流(14)中执行用信号通知所选变换(102)。
23.根据权利要求21所述的编码器，被配置为
通过取决于所述变换系数数据(126)或所述变换系数数据(126)的一部分对所述可选变换列表(98)进行排序来确定(130)所述可选变换列表(98)，
使用可变长度码在所述数据流(14)中执行用信号通知(128)所选变换(102)，所述可变长度码的码字取决于所述可选变换列表(98)中的变换的顺序而指派给所述可选变换列表(98)中的变换。
24.根据权利要求22或23所述的编码器，被配置为
使得所述变换系数数据(126)包括所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；
其中所述确定(130)取决于所述指示。
25.根据权利要求24所述的编码器，被配置为
在所述数据流(14)中用信号通知所选变换(102)之前将所述指示的粗糙版本编码到所述数据流(14)中，其中所述确定(130)取决于所述指示的所述粗糙版本，以及
在所述用信号通知之后且取决于所选变换(102)，将所述指示的粗糙版本的细化编码到所述数据流(14)中。
26.根据权利要求25所述的编码器，被配置为
将提示编码为所述粗糙版本，所述提示揭示所述有效变换系数位置(132)是否在变换系数(134)的子群组(138)内，
以及将相对位置信息编码为所述细化，所述相对位置信息在所述有效变换系数位置(132)处于所述子群组(138)内的情况下判别在所述子群组(138)内的位置当中的所述有效变换系数位置(132)，并在所述有效变换系数位置(132)在所述子群组(138)之外的情况下判别在所述子群组(138)之外的位置当中的所述有效变换系数位置(132)。
27.根据权利要求26所述的编码器，其中所述编码器被配置为
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，确定可选列表(98)以包括至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，
以及在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，确定可选列表(98)以便不包括所述至少一个多级变换(106)。
28.根据权利要求27所述的编码器，其中所述编码器被配置为
使用可变长度编码VLC以以下方式来编码所述相对位置信息：
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用与所述子群组(138)内的系数的数量相对应的第一最大数量的代码来进行编码，和/或
在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，使用与所述子群组(138)之外的系数的数量相对应的第二最大数量的代码来进行编码。
29.根据权利要求26至28中任一项所述的编码器，其中所述编码器被配置为
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，在所述粗糙版本之后且在所述细化之前编码次级变换指示符，所述次级变换指示符指示所选变换是否在所述至少一个多级变换(106)当中和/或所述至少一个多级变换(106)当中的哪个是所选变换。
30.根据权利要求26至29中任一项所述的编码器，其中所述编码器被配置为
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用取决于所述次级变换指示符的上下文以便对所述子群组(138)内的所述变换系数进行上下文自适应熵编码。
31.根据权利要求29或30所述的编码器，其中所述编码器被配置为
在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，对在所述子群组(138)之内和之外的变换系数进行上下文自适应熵编码。
32.根据权利要求21至31中任一项所述的编码器，被配置为
对所选变换(102)的有效变换系数(134)的数量进行计数；
其中所述可选列表(98)的确定(130)取决于所述计数。
33.根据权利要求21至32中任一项所述的编码器，被配置为
关于所选变换(102)的所述变换系数(134)的子群组(138)内的所选变换(102)的有效变换系数的数量是否超出特定阈值，来评估所述变换系数数据(126)；
执行取决于所述计数的所述确定(130)，使得
如果数量大于所述特定阈值，
则用至少一个多级变换(106)来填充用于所述当前残差区块(84)的所述可选变换列表(98)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，以及
如果数量小于所述特定阈值，
则不用任何多级变换(106)来填充用于当前残差区块(84)的所述可选变换列表(98)，所述多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数(114)的所述子群组(138)上的次级变换。
34.根据权利要求21至33中任一项所述的编码器，被配置为确定所述变换候选列表(98)，使得所述变换候选列表(98)中的变换在陪域中一致。
35.根据权利要求21至34中任一项所述的编码器，其中所述变换候选列表(98)中的所述变换包括第一变换和第二变换，所述第一变换和所述第二变换在陪域中一致，
其中所述第二变换对应于被应用至所述第一变换(108)的初级变换系数(114)的子群组(112)上的次级变换，其中在所述第一变换(108)的初级变换系数的所述子群组(112)之外的所述第一变换(108)的其他初级变换系数(114)被设定为零。
36.根据权利要求35所述的编码器，被配置为通过将在所述第一变换(108)的初级变换系数的所述子群组(112)之外的所述第一变换(108)的其他初级变换系数(114)设定为零，关于所述第二变换对所述当前残差区块(84)进行测试编码。
37.根据权利要求21至36中任一项所述的编码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或
取决于有效变换系数根据所述变换系数数据(126)而定位的位置，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。
38.根据权利要求21至37中任一项所述的编码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或
取决于根据所述变换系数数据(126)在所述变换系数的所述子群组(138)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。
39.根据权利要求21至38中任一项所述的编码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或
取决于根据所述变换系数数据(126)在所述子群组(112)内但在所述变换系数的所述子群组(138)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。
40.根据权利要求21至39中任一项所述的编码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所述多级变换(106)的变换系数(134)的次级变换(110)，所述变换系数(134)的数量低于所述当前残差区块(84)的所述预测残差(100)内的残差样本(105)的数量，且其变换系数位置对应于所述变换候选列表(98)中的等效于所述初级变换(108)的另一变换的变换系数(134)的子集(138)，其中所述初级变换(108)的所述初级变换系数(114)的数量大于所述多级变换(106)的所述变换系数(134)的数量，或
取决于以下方式决定所述至少一个多级变换(106)将相对于所述另一变换被放置在所述变换候选列表(98)中的位置：
有效变换系数根据所述变换系数数据(126)而定位的位置，或
根据所述变换系数数据(126)有效变换系数是否定位在变换系数的所述子群组(138)外，或
根据所述变换系数数据(126)有效变换系数是否定位在初级变换系数(114)的所述子群组(112)外。
41.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
从所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码变换系数数据(126)，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；
以取决于所述变换系数数据(126)或取决于所述数据变换系数数据(126)的一部分的方式，从所述数据流(14)导出(128)所选变换(102)，和/或执行对所述可选列表(98)的所述确定(130)。
42.根据权利要求41所述的解码器，被配置为
通过用所述变换集合(94)中的一定数量的变换填充所述可选列表(98)来确定(130)所述可选变换列表(98)，所述数量取决于所述变换系数数据(126)或取决于所述变换系数数据的一部分，
以使得所述数量愈低则在所述数据流(14)中针对用信号通知所选变换(102)所花费的码率愈低的方式在所述数据流(14)中执行用信号通知所选变换(102)。
43.根据权利要求41所述的解码器，被配置为
通过取决于所述变换系数数据(126)或取决于所述变换系数数据(126)的一部分对所述可选变换列表(98)进行排序来确定(130)所述可选变换列表(98)，
使用可变长度码在所述数据流(14)中执行用信号通知(128)所选变换(102)，所述可变长度码的码字取决于所述可选变换列表(98)中的所述变换的顺序而指派给所述可选变换列表(98)中的变换。
44.根据权利要求42或43所述的解码器，被配置为
使得所述变换系数数据(126)包括所选变换(102)的有效变换系数位置(132)的指示和所选变换的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；
其中所述确定(130)取决于所述指示。
45.根据权利要求44所述的解码器，被配置为
在从所述数据流(14)导出所选变换(102)之前从所述数据流(14)解码所述指示的粗糙版本，其中所述确定(130)取决于所述指示的所述粗糙版本，以及
在所述导出之后且取决于所选变换(102)，从所述数据流(14)解码所述指示的所述粗糙版本的细化。
46.根据权利要求45所述的解码器，被配置为
将提示解码为所述粗糙版本，所述提示揭示所述有效变换系数位置(132)是否在变换系数(134)的子群组(138)内，
以及将相对位置信息解码为所述细化，所述相对位置信息在所述有效变换系数位置(132)处于所述子群组(138)内的情况下判别在所述子群组(138)内的位置当中的所述有效变换系数位置(132)，并在所述有效变换系数位置(132)在所述子群组(138)之外的情况下判别在所述子群组(138)之外的位置当中的所述有效变换系数位置(132)。
47.根据权利要求46所述的解码器，其中所述解码器被配置为
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，确定所述可选列表(98)以包括至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，及
在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，确定所述可选列表(98)以便不包括所述至少一个多级变换(106)。
48.根据权利要求47所述的解码器，其中所述解码器被配置为
使用可变长度编码VLC以以下方式来解码所述相对位置信息：
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用与所述子群组(138)内的系数的数量相对应的第一最大数量的代码来进行解码，和/或
在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，使用与所述子群组(138)之外的系数的数量相对应的第二最大数量的代码来进行解码。
49.根据权利要求46至48中任一项所述的解码器，其中所述解码器被配置为
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，在所述粗糙版本之后但在所述细化之前解码次级变换指示符，所述次级变换指示符指示所选变换是否在所述至少一个多级变换(106)当中和/或所述至少一个多级变换(106)当中的哪个是所选变换。
50.根据权利要求46至49中任一项所述的解码器，其中所述解码器被配置为
在所述提示揭示所述有效变换系数位置(132)在所述子群组(138)内的情况下，使用取决于所述次级变换指示符的上下文以便对所述子群组(138)内的所述变换系数进行上下文自适应熵解码。
51.根据权利要求49或50的解码器，其中所述解码器被配置为
在所述提示揭示所述有效变换系数位置(132)不在所述子群组(138)内的情况下，对在所述子群组(138)之内和之外的变换系数进行上下文自适应熵解码。
52.根据权利要求41至51中任一项所述的解码器，被配置为
对所选变换(102)的有效变换系数(134)的数量进行计数；
其中所述确定(130)取决于所述计数。
53.根据权利要求41至52所述的解码器，被配置为
关于所选变换(102)的所述变换系数(134)的子群组(138)内的所选变换(106)的有效变换系数(134)的数量是否超出特定阈值，来评估所述变换系数数据(126)；
执行取决于所述计数的所述确定(130)，使得
如果数量大于所述特定阈值，
则用至少一个多级变换(106)来填充用于所述当前残差区块(84)的所述可选变换列表(98)，所述至少一个多级变换(106)包括被应用至所述当前残差区块的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，以及
如果数量小于所述特定阈值，
则不用任何多级变换(106)来填充用于当前残差区块(84)的所述可选变换列表(98)，所述多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的所述子群组(138)上的次级变换。
54.根据权利要求41至53中任一项所述的编码器，被配置为确定变换候选列表(98)，使得所述变换候选列表(98)中的变换在陪域中一致。
55.根据权利要求41至54中任一项所述的解码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或
取决于有效变换系数根据所述变换系数数据(126)而定位的位置，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。
56.根据权利要求41至55中任一项所述的解码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或
取决于根据所述变换系数数据(126)在所述变换系数的所述子群组(112)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。
57.根据权利要求41至56中任一项所述的解码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(106)的初级变换系数(114)的子群组(112)上以得到所选变换(102)的所述变换系数的所述子群组(138)的次级变换，或
取决于根据所述变换系数数据(126)在所述子群组(112)内但在所述变换系数的所述子群组(138)之外的任何变换系数是否有效，决定所述至少一个多级变换(106)将被放置在所述变换候选列表(98)中的位置。
58.根据权利要求41至57中任一项所述的解码器，被配置为
决定是否用至少一个多级变换(106)来填充所述变换候选列表(98)或从所述变换候选列表(98)排除所述至少一个多级变换(106)，所述至少一个多级变换(106)包括被应用至所述当前残差区块(84)的所述预测残差(100)上的初级变换和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上以得到所述多级变换(106)的变换系数(134)的次级变换(110)，所述变换系数(134)的数量低于所述当前残差区块(84)的所述预测残差(100)内的残差样本(105)的数量，且其变换系数位置对应于所述变换候选列表(98)中的等效于所述初级变换(108)的另一变换的变换系数(134)的子集(138)，其中所述初级变换(108)的所述初级变换系数(114)的数量大于所述多级变换(106)的所述变换系数(134)的数量，或
取决于以下方式决定所述至少一个多级变换(106)将相对于所述另一变换被放置在所述变换候选列表(98)中的位置：
根据所述变换系数数据(126)有效变换系数定位的位置，或
根据所述变换系数数据(126)有效变换系数是否定位在变换系数的所述子群组(138)外，或
根据所述变换系数数据(126)有效变换系数是否定位在初级变换系数(114)的所述子群组(112)外。
59.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：
从所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)将变换系数数据(126)编码到所述数据流(14)中，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；
以取决于所述变换系数数据(126)或取决于所述变换系数数据(126)的一部分的方式，在所述数据流(14)中用信号通知(128)所选变换(102)，和/或执行对所述可选列表(98)的所述确定(130)。
60.一种用于使用基于区块的预测和基于区块的残差解码从数据流中(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：
从所述变换集合(94)中确定(130)用于当前残差区块的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码变换系数数据(126)，所述变换系数数据(126)表示所述残差区块(84)内的预测残差(100)；
以取决于所述变换系数数据(126)或取决于所述数据变换系数数据(126)的一部分的方式，从所述数据流(14)导出(128)所选变换，和/或执行对所述可选列表(98)的所述确定(130)。
61.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
从所述变换集合(94)中确定用于当前残差区块(84)的可选变换列表(98)；
在所述数据流(14)中用信号通知(128)所选变换，
以取决于所选变换(102)或所述可选变换列表(98)的方式，使用所述可选变换列表(98)中的一个所选变换(102)来编码(140)变换系数(134)，所述变换系数(134)表示所述残差区块(84)内的预测残差(100)。
62.根据权利要求61所述的编码器，
其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，
且其中所述编码器被配置为以使得所选变换(102)的变换系数(134)的数量愈低则在所述数据流(14)中针对所述变换系数(134)的所述编码所花费的码率愈低的方式执行所述变换系数(134)的所述编码。
63.根据权利要求61或62所述的编码器，
其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，
其中所述变换系数(134)的所述编码包括编码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；
其中所述编码器被配置为以实现以下的方式来编码所述变换系数(134)：
所选变换(102)的变换系数(134)的数量愈低则在所述数据流(14)中用于所述指示的所述编码所花费的码率愈低。
64.根据权利要求61或62所述的编码器，
其中所述可选变换列表(98)包括第一数量的变换系数(134)的变换和大于所述第一数量的第二数量的变换系数(134)的变换，
其中所述变换系数(134)的编码包括：
在所选变换(102)的变换系数(134)的数量为所述第二数量的情况下，
编码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；
在所选变换(102)的变换系数(134)的数量为所述第一数量的情况下，
编码所选变换(102)的全部的所述第一数量的变换系数(134)的值。
65.根据权利要求61至64中任一项所述的编码器，
其中所述可选变换列表(98)包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中对于所述至少一个多级变换中的不同的多级变换，所述子群组(138)有所不同，
其中所述编码器被配置为通过以下操作来编码所述变换系数(134)：
编码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换为多级变换，则所述指示包括表示所述有效变换系数位置(132)是否在变换系数(134)的所述子群组(138)内的标志，且如果所述变换系数位置在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述变换系数位置不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，其中在已经遍历不在所述子群组(138)内的所有变换系数(134)之后，所述预定扫描顺序(136)遍历所述子群组(138)内的所有变换系数(134)，和/或
如果所选变换是多级类型，则使用利用概率估计的熵编码对所选变换(102)的变换系数(134)的值进行编码，所述概率估计取决于所述变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内，和/或
如果所选变换(102)为多级类型，则使用利用概率估计的熵编码，以取决于所选变换(102)的变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内的方式，对所述所选变换(102)的变换系数(134)的值进行编码，其中所述概率估计取决于一个或多个相邻变换系数。
66.根据权利要求61至65中任一项所述的编码器，
其中所述可选变换列表(98)包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中所述可选列表(98)包括仅初级变换类型的至少一个变换，
其中所述编码器被配置为通过以下操作来编码所述变换系数(134)：
编码所选变换(102)的有效变换系数位置(132)的指示和所选变换的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中在所选变换是所述仅初级变换类型的情况下，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置，或在所选变换为多级变换(106)的情况下，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置，和/或
编码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换(102)为多级变换，所述指示则包括表示所述有效变换系数位置(132)是否在变换系数(134)的所述子群组(138)内的标志，且如果所述变换系数位置(132)在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述变换系数位置(132)不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置(132)，其中在已经遍历不在所述子群组(138)内的所有变换系数(134)之后，所述预定扫描顺序(136)遍历所述子群组(138)内的所有变换系数(134)，和/或
如果所选变换(102)为多级类型，则使用利用概率估计的熵编码对所选变换(102)的变换系数(134)的值进行编码，所述概率估计取决于所述变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内，和/或
如果所选变换(102)为多级类型，则使用利用概率估计的熵编码，以取决于所选变换(102)的变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内的方式，对所述所选变换(102)的变换系数(134)的值进行编码，其中所述概率估计取决于一个或多个相邻变换系数。
67.根据权利要求61至66中任一项所述的编码器，
被配置为通过使用二值化和二进制熵编码对所选变换(102)的变换系数(134)的值进行编码来编码所述变换系数(134)，其中
用于二进制熵编码的概率估计取决于所选变换(102)，和/
或
其中所述二值化取决于所选变换(102)。
68.根据权利要求66或67所述的编码器，其中对所选变换(102)的依赖性是对所选变换(102)是否为多级变换的依赖性。
69.根据权利要求61至68中任一项所述的编码器，被配置为
使用索引来用信号通知所选变换(102)，
通过使用二值化和二进制熵编码对所选变换(102)的变换系数(134)的值进行编码来编码所述变换系数(134)，其中
用于二进制熵编码的概率估计取决于所述索引，和/或
其中所述二值化取决于所述索引。
70.根据权利要求69所述的编码器，其中所述索引为可变长度码VLC索引。
71.根据权利要求61至70中任一项所述的编码器，
被配置为通过使用熵编码对所选变换的变换系数(134)的值进行编码来编码所述变换系数(134)，其中
以取决于所选变换(102)的方式，所述熵编码取决于一个或多个相邻变换系数。
72.根据权利要求71所述的编码器，
被配置为通过使用熵编码对所选变换(102)的变换系数(134)的值进行编码来编码所述变换系数(134)，所述熵编码通过以下进行：
以取决于所选变换(102)中的所述变换系数的位置的方式来选择一个或多个相邻变换系数(134)的局部模板，
使用所述一个或相邻变换系数的可能值的域到用于所述变换系数的一个或多个上下文的集合的映射来确定用于所述变换系数(134)的所选上下文，
使用与所选上下文相关联的概率估计对所述变换系数(134)的值进行熵编码，
其中所述局部模板的所述选择和所述映射中的至少一个取决于所选变换(102)。
73.根据权利要求72所述的编码器，被配置为
使用二进制熵编码所述值的二值化，来执行对所选变换(102)的所述变换系数(134)的值的所述编码，其中与所选上下文相关联的所述概率估计被用于指示所述值是否为零的所述二值化的数段。
74.根据权利要求61至73中任一项所述的编码器，被配置为
以实现以下方式在所述数据流(14)中执行用信号通知所选变换(134)：
用信号通知所选变换(102)的信令关于所述变换系数数据(126)的相对定位，和/或所述信令至语法元素的分解
取决于所述可选变换列表(98)。
75.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
从所述变换集合(94)确定用于当前残差区块(84)的可选变换列表(98)；
从所述数据流(14)导出(128)所选变换，
以取决于所述可选变换列表(98)中的所选变换(102)或取决于所述可选变换列表(98)的方式，使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码变换系数(134)，所述变换系数(134)表示所述残差区块(84)内的预测残差(100)。
76.根据权利要求75所述的解码器，
其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，
以使得所选变换(102)的变换系数(134)的数量愈低，则在所述数据流(14)中针对所述变换系数(134)所花费的码率愈低的方式执行所述变换系数(134)的所述解码。
77.根据权利要求75或76所述的解码器，
其中所述可选变换列表(98)包括不同数量的变换系数(134)的变换，
其中所述变换系数的所述解码包括解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；
其中所述解码器被配置为以实现以下的方式解码所述变换系数(134)：
所选变换(102)的变换系数(134)的数量愈低，在所述数据流(14)中针对所述指示所花费的码率愈低。
78.根据权利要求75或76所述的解码器，
其中所述可选变换列表(98)包括第一数量的变换系数(134)的变换和大于所述第一数量的第二数量的变换系数(134)的变换，
其中所述变换系数(134)的所述解码包括：
在所选变换(102)的变换系数(134)的数量为所述第二数量的情况下，
解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历；或
在所选变换(102)的变换系数(134)的数量为所述第一数量的情况下，
解码所选变换(102)的全部的所述第一数量的变换系数(134)的值。
79.根据权利要求75至78中任一项所述的解码器，
其中所述可选变换列表(98)包括至少一个多级变换，每个多级变换包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中对于所述至少一个多级变换中的不同的多级变换，所述子群组(138)有所不同，
其中所述解码器被配置为通过以下操作来解码所述变换系数(134)：
解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换(102)为多级变换，所述指示则包括表示所述有效变换系数位置(132)是否在变换系数(134的所述子群组(138)内的标志，且如果所述有效变换系数位置(132)在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述变换系数(134)位置不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，其中在已经遍历不在所述子群组(138)内的所有变换系数(134)之后，所述预定扫描顺序(136)遍历所述子群组(138)内的所有变换系数(134)，和/或
如果所选变换(102)是多级类型，则使用利用概率估计的熵编码对所选变换(102)的变换系数(134)的值进行解码，所述概率估计取决于所述变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内，和/或
如果所选变换(102)为多级类型，则使用利用概率估计的熵编码，以取决于所选变换(102)的变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内的方式，对所述所选变换(102)的变换系数(134)的值进行解码，其中所述概率估计取决于一个或多个相邻变换系数。
80.根据权利要求75至79中任一项所述的解码器，
其中所述可选变换列表(98)包括至少一个多级变换，每个包括被应用至所述当前残差区块(84)上的初级变换和被应用至所述初级变换的初级变换系数(134)的子群组(138)上的次级变换，其中所述可选列表(98)包括仅初级变换类型的至少一个变换，
其中所述解码器被配置为通过以下操作来解码所述变换系数(134)：
解码所选变换(102)的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置(134)的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中在所选变换(102)是所述仅初级变换类型的情况下，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置，或在所选变换(102)为多级变换(106)的情况下，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数(134)当中最后遍历的位置，和/或
解码所选变换的有效变换系数位置(132)的指示和所选变换(102)的变换系数(134)的值，所述值以按顺序遍历所选变换(102)的系数位置的预定扫描顺序(136)从所述有效变换系数位置(132)向前遍历，其中如果所选变换(102)为多级变换，所述指示则包括表示所述有效变换系数位置(132)是否在变换系数的所述子群组(138)内的标志，且如果所述有效变换系数位置(132)在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在所选变换(102)的所有变换系数(134)当中最后遍历的位置来指示所述有效变换系数位置(132)，且如果所述有效变换系数位置(132)不在变换系数(134)的所述子群组(138)内，所述指示相对于按所述预定扫描顺序(136)在不处于所述子群组(138)内的所有变换系数当中最后遍历的位置来指示所述有效变换系数位置(132)，其中在已经遍历不在所述子群组(138)内的所有变换系数(134)之后，所述预定扫描顺序(136)遍历所述子群组(138)内的所有变换系数(134)，和/或
如果所选变换(102)为多级类型，则利用使用概率估计的熵编码对所选变换(102)的变换系数(134)的值进行解码，所述概率估计取决于所述变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内，和/或
如果所选变换(102)为多级类型，则使用利用概率估计的熵编码，以取决于所选变换(102)的变换系数(134)是否在所选变换(102)的变换系数(134)的所述子群组(138)内的方式，对所述所选变换(102)的变换系数(134)的值进行编码，其中所述概率估计取决于一个或多个相邻变换系数。
81.根据权利要求75至80中任一项所述的解码器，
被配置为通过使用二值化和二进制熵编码对所选变换(102)的变换系数(134)的值进行解码来解码所述变换系数(134)，其中
用于二进制熵编码的概率估计取决于所选变换(102)，和/或
其中所述二值化取决于所选变换(102)。
82.根据权利要求81所述的解码器，其中对所选变换(102)的所述依赖性是对所选变换(102)是否为多级变换的依赖性。
83.根据权利要求75至82中任一项所述的解码器，被配置为
使用索引导出所选变换(102)，
通过使用二值化和二进制熵解码对所选变换(102)的变换系数(134)的值进行解码来解码所述变换系数(134)，其中
用于二进制熵编码的概率估计取决于所述索引，和/或
其中所述二值化取决于所述索引。
84.根据权利要求83所述的解码器，其中所述索引为可变长度码VLC索引。
85.根据权利要求75至84中任一项所述的解码器，
被配置为通过使用熵解码对所选变换(102)的变换系数(134)的值进行解码来解码所述变换系数(134)，其中
以取决于所选变换(102)的方式，所述熵解码取决于一个或多个相邻变换系数。
86.根据权利要求85所述的解码器，
被配置为通过使用熵解码对所选变换(102)的变换系数(134)的值进行解码来解码所述变换系数(134)，所述熵解码通过以下进行：
以取决于所选变换(102)中的所述变换系数的位置的方式来选择一个或相邻变换系数的局部模板，
使用所述一个或相邻变换系数的可能值的域到用于所述变换系数(134)的一个或多个上下文的集合的映射来确定用于所述变换系数(134)的所选上下文，
使用与所选上下文相关联的概率估计对所述变换系数(134)的值进行熵解码，
其中所述局部模板的所述选择和所述映射中的至少一个取决于所选变换(102)。
87.根据权利要求86所述的解码器，
被配置为使用二进制熵解码所述值的二值化，来执行对所选变换(102)的所述变换系数(134)的值的所述解码，其中与所选上下文相关联的所述概率估计被用于指示所述值是否为零的所述二值化的数段。
88.根据权利要求75至87中任一项所述的解码器，被配置为
以实现以下方式在所述数据流(14)中执行用信号通知所选变换(134)：
用信号通知所选变换(102)的信令关于所述变换系数数据(134)的相对定位，和/或所述信令至语法元素的分解
取决于所述可选变换列表(98)。
89.一种用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的方法，所述方法支持用于所述基于区块的残差编码的变换集合，其中所述方法包括以下步骤：
从所述变换集合确定(130)用于当前残差区块的可选变换列表(98)；
在所述数据流中用信号通知(128)所选变换，
以取决于所选变换(102)或所述可选变换列表(98)的方式，使用所述可选变换列表中的一个所选变换来编码(140)变换系数，所述变换系数表示所述残差区块内的预测残差。
90.一种用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的方法，所述方法支持用于所述基于区块的残差解码的变换集合，其中所述方法包括以下步骤：
从所述变换集合确定(130)用于当前残差区块的可选变换列表(98)；
从所述数据流导出(128)所选变换，
以取决于所选变换(102)或取决于所述可选变换列表(98)的方式，使用所述可选变换列表中的一个所选变换从所述数据流解码(140)变换系数，所述变换系数表示所述残差区块内的预测残差。
91.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
从所述变换集合(94)中确定用于当前残差区块(84)的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的预测残差(100)进行编码；
使用变换指示符(124)在所述数据流(14)中用信号通知所选变换(102)，
其中所述变换指示符(124)是使用具有一个或多个数位的代码在所述数据流(14)中用信号通知的，其中所述一个或多个数位的集合中的每个数位唯一地与相应变换属性相关联。
92.根据权利要求91所述的编码器，其中每个变换属性是以下中的一个：
所选变换(102)是否为多级变换，及
所选变换(102)是否为变换系数(134)少于预定数量的变换系数(134)的变换。
93.根据权利要求91或92所述的编码器，被配置为
使用利用概率估计的熵编码对至少一个数位的所述集合中的至少一个数位进行编码，其中所述概率估计取决于相邻残差区块(84’)的变换指示符(124)。
94.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
从所述变换集合(94)中确定用于当前残差区块(84)的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码所述残差区块(84)内的预测残差(100)；
使用变换指示符从所述数据流(14)导出所选变换，
其中所述变换指示符(124)是使用具有一个或多个数位的代码从所述数据流(14)导出的，其中所述一个或多个数位的集合中的每个数位唯一地与相应变换属性相关联。
95.根据权利要求94所述的解码器，其中每个变换属性是以下中的一个：
所选变换(102)是否为多级变换，及
所选变换(102)是否为变换系数(134)少于预定数量的变换系数(134)的变换。
96.根据权利要求94或95所述的解码器，被配置为
使用利用概率估计的熵解码对至少一个数位的所述集合中的至少一个数位进行编码，其中所述概率估计取决于相邻残差区块(84’)的变换指示符(124)。
97.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：
从所述变换集合(94)中确定用于当前残差区块(84)的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的预测残差(100)进行编码；
使用变换指示符(124)在所述数据流(14)中用信号通知所选变换(102)，
其中所述变换指示符(124)是使用具有一个或多个数位的代码在所述数据流(14)中用信号通知的，其中所述一个或多个数位的集合中的每个数位唯一地与相应变换属性相关联。
98.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：
从所述变换集合(94)中确定用于当前残差区块的可选变换列表(98)；
使用所述可选变换列表(98)中的一个所选变换(102)从所述数据流(14)解码所述残差区块(84)内的预测残差(100)；
使用变换指示符(124)从所述数据流(14)导出(128)所选变换，
其中所述变换指示符(124)是使用具有一个或多个数位的代码从所述数据流(14)导出的，其中所述一个或多个数位的集合中的每个数位唯一地与相应变换属性相关联。
99.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至多个神经网络(92)中的所选神经网络上来预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，以及
基于所述所选神经网络和所述残差区块(84)的区块大小(96)从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
使用所述可选变换集合(98)中的一个所选变换(102)对所述残差区块(84)内与所述帧内预测区块(80)的所述预测相关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换。
100.根据权利要求99所述的编码器，被配置为
执行所述确定，使得
针对在预定阈值以上的区块大小，
所述可选变换集合(98)通过第一数量的一个或多个多级变换(106)填充，每个多级变换(106)包括被应用至所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所述所选神经网络。
101.根据权利要求100所述的编码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所述所选神经网络(102)且是可分离二维变换(116)。
102.根据权利要求101所述的编码器，其中所述子群组(112)表示所述初级变换(108)的低频部分。
103.根据权利要求100至102中任一项所述的编码器，其中所述第一数量介于2与6之间，包括2和6。
104.根据权利要求100至103中任一项所述的编码器，被配置为
执行所述确定，使得
针对在所述预定阈值以下的区块大小，
所述可选变换集合(98)通过第二数量的一个或多个不可分离变换(118)填充。
105.根据权利要求104所述的编码器，当从属于权利要求102时，其中所述第一数量和所述第二数量相等。
106.根据权利要求100至105中任一项所述的编码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过第三数量的一个或多个可分离二维变换(116)进一步填充。
107.根据权利要求106所述的编码器，其中所述第三数量为1或5。
108.根据权利要求99至107中任一项所述的编码器，被配置为
执行所述预测，使得在初级变换(108)的域(118)中获得所述帧内预测区块(80)的所述预测，
执行所述确定，使得
所述可选变换集合(98)通过第四数量的一个或多个多级变换(106)填充，每个多级变换包括所述初级变换(108)和被应用至所述初级变换(108)的所述初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所述所选神经网络。
109.根据权利要求108所述的编码器，被配置为
执行所述确定，使得所述初级变换(108)是可分离二维变换(116)。
110.根据权利要求108或109所述的编码器，其中所述子群组(112)表示所述初级变换(108)的低频部分。
111.根据权利要求108至110中任一项所述的编码器，其中所述第四数量介于2与6之间，包括2和6。
112.根据权利要求110至111中任一项所述的编码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过所述初级变换(108)进一步填充。
113.根据权利要求99至112中任一项所述的编码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
114.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至多个神经网络(92)中的所选神经网络上来预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，及
基于所选神经网络和残差区块(84)的区块大小(96)从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
通过从所述数据流(14)导出所述可选变换集合(98)中的一个所选变换(102)，在所述所选变换(102)的域中从所述数据流(14)解码所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)。
115.根据权利要求114所述的解码器，被配置为
执行所述确定，使得
针对在预定阈值以上的区块大小，
所述可选变换集合(98)通过第一数量的一个或多个多级变换(106)填充，每个多级变换(106)包括被应用至所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所选神经网络。
116.根据权利要求115所述的解码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所选神经网络(102)且是可分离二维变换(116)。
117.根据权利要求116所述的解码器，其中所述子群组(112)表示所述初级变换(108)的低频部分。
118.根据权利要求115至117中任一项所述的解码器，其中所述第一数量介于2与6之间，包括2和6。
119.根据权利要求115至118中任一项所述的解码器，被配置为
执行所述确定，使得
针对在所述预定阈值以下的区块大小，
所述可选变换集合(98)通过第二数量的一个或多个不可分离变换(118)填充。
120.根据权利要求119所述的解码器，当从属于权利要求117时，其中所述第一数量和所述第二数量相等。
121.根据权利要求115至120中任一项所述的解码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过第三数量的一个或多个可分离二维变换(116)进一步填充。
122.根据权利要求121所述的解码器，其中所述第三数量为1或5。
123.根据权利要求114至122中任一项所述的解码器，被配置为
执行所述预测，使得在初级变换(108)的域(118)中获得所述帧内预测区块(80)的所述预测(104)，
执行所述确定，使得
所述可选变换集合(98)通过第四数量的一个或多个多级变换(106)填充，每个多级变换包括所述初级变换(108)和被应用至所述初级变换(108)的所述初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所选神经网络。
124.根据权利要求123所述的解码器，被配置为
执行所述确定，使得所述初级变换(108)是可分离二维变换(116)。
125.根据权利要求123或124所述的解码器，其中所述子群组(112)表示所述初级变换(108)的低频部分。
126.根据权利要求123至125中任一项所述的解码器，其中所述第四数量介于2与6之间，包括2和6。
127.根据权利要求123至126中任一项所述的解码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过所述初级变换(108)进一步填充。
128.根据权利要求114至127中任一项所述的解码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
129.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：
通过将帧内预测区块(80)的空间邻域(90)应用至多个神经网络(92)中的所选神经网络上来预测所述帧内预测区块，从而获得所述帧内预测区块(80)的预测(104)，
基于所选神经网络和所述残差区块(84)的区块大小(96)从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
使用所述可选变换集合(98)中的一个所选变换(102)对所述残差区块(84)内与所述帧内预测区块(80)的所述预测相关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换。
130.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：
通过将帧内预测区块(80)的空间邻域(90)应用至多个神经网络(92)中的所选神经网络上来预测所述帧内预测区块，从而获得所述帧内预测区块(80)的预测(104)，
基于所选神经网络和所述残差区块(94)的区块大小(96)从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
通过从所述数据流(14)导出所述可选变换集合(98)中的一个所选变换(102)，在所述所选变换(102)的域中从所述数据流解码所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)。
131.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至神经网络(NN#)上来预测所述帧内预测区块(80)，从而在初级变换(108)的域(118)中获得所述帧内预测区块(80)的预测(104)，以及
使用可选变换集合(98)中的一个所选变换(102)对残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换(102)，
其中所述可选变换集合(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)。
132.根据权利要求131所述的编码器，其中
所述可选变换集合(98)通过一定数量的多级变换(106)填充，每个多级变换包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的。
133.根据权利要求132中任一项所述的编码器，其中所述一定数量介于2与6之间，包括2和6。
134.根据权利要求131或133中任一项所述的编码器，其中所述初级变换(108)为可分离二维变换。
135.根据权利要求131至134中任一项所述的编码器，其中所述子群组(112)表示所述初级变换的低频部分。
136.根据权利要求131至135中任一项所述的编码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过所述初级变换进一步填充。
137.根据权利要求131至136中任一项所述的编码器，被配置为
检查所述帧内预测区块的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
138.一种用于使用基于区块的预测和基于区块的残差编码从数据流(14)解码图片(12)的解码器，所述解码器被配置为：
通过将帧内预测区块(80)的空间邻域(90)应用至神经网络(NN#)上来预测所述帧内预测区块(80)，从而在初级变换(108)的域(118)中获得所述帧内预测区块(80)的预测(104)，以及
通过从所述数据流(14)导出可选变换集合(98)中的一个所选变换(102)，在所述所选变换(102)的另一域(119)中从所述数据流(14)解码残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)，
其中所述可选变换集合(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)。
139.根据权利要求138所述的解码器，其中
所述可选变换集合(98)通过一定数量的多级变换(106)填充，每个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的。
140.根据权利要求139中任一项所述的解码器，其中所述一定数量介于2与6之间，包括2和6。
141.根据权利要求138或140中任一项所述的解码器，其中所述初级变换(108)为可分离二维变换。
142.根据权利要求138至141中任一项所述的解码器，其中所述子群组(138)表示所述初级变换的低频部分。
143.根据权利要求138至142中任一项所述的解码器，被配置为
执行所述确定，使得所述可选变换集合(98)通过所述初级变换进一步填充。
144.根据权利要求138至143中任一项所述的解码器，被配置为
检查所述帧内预测区块的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
145.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，其中所述方法包括以下步骤：
通过将帧内预测区块(80)的空间邻域(90)应用至神经网络(NN#)上来预测所述帧内预测区块(80)，从而在初级变换(108)的域(118)中获得所述帧内预测区块(80)的预测(104)，以及
使用可选变换集合(98)中的一个所选变换(102)对残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换(102)，
其中所述可选变换集合(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)。
146.一种用于使用基于区块的预测和基于区块的残差编码从数据流(14)解码图片(12)的方法，所述方法包括以下步骤：
通过将帧内预测区块(80)的空间邻域(90)应用至神经网络(NN#)上来预测所述帧内预测区块(80)，从而在初级变换(108)的域(118)中获得所述帧内预测区块(80)的预测(104)，以及
通过从所述数据流(14)导出可选变换集合(98)中的一个所选变换(102)，在所述所选变换(102)的另一域(119)中从所述数据流(14)解码残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)，
其中所述可选变换集合(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括所述初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)。
147.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
使用帧内预测模式集合(120)中的所选帧内预测模式，基于帧内预测区块(80)的空间邻域(90)预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，以及
基于所述所选帧内预测模式及残差区块(84)的区块大小(96)，从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
使用所述可选变换集合(98)中的一个所选变换(102)对所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所述所选变换(102)。
148.根据权利要求147所述的编码器，被配置为
执行所述确定，使得
对于预定区块大小的第一预定集合中的区块大小，
所述可选变换集合(98)通过一定数量的一个或多个多级变换(106)填充，每个多级变换(106)包括被应用至所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所述所选帧内预测模式。
149.根据权利要求148所述的编码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所述所选帧内预测模式且是可分离二维变换(116)。
150.根据权利要求148或149所述的编码器，其中所述子群组(138)取决于所选帧内预测模式。
151.根据权利要求148至150中任一项所述的编码器，被配置为
执行所述确定，使得
对于比预定区块大小的所述第一预定集合小的预定区块大小的第二预定集合的区块大小，
所述可选变换集合(98)通过第二数量的一个或多个不可分离变换(118)填充。
152.根据权利要求148至151中任一项所述的编码器，被配置为使得所述次级变换(110)取决于所述所选帧内预测模式的方式包括帧内预测模式聚合。
153.根据权利要求148至152中任一项所述的编码器，被配置为使得所述初级变换(108)取决于所述所选帧内预测模式的方式包括帧内预测模式聚合。
154.根据权利要求147至153中任一项所述的编码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
155.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
使用帧内预测模式集合(120)中的所选帧内预测模式，基于帧内预测区块(80)的空间邻域(90)预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，以及
基于所述所选帧内预测模式和所述残差区块(84)的区块大小(96)，从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
通过从所述数据流(14)导出所述可选变换集合(98)中的一个所选变换(102)，在所述所选变换(102)的域中从所述数据流(14)解码所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)。
156.根据权利要求155所述的解码器，被配置为
执行所述确定，使得
对于预定区块大小的第一预定集合的区块大小，
所述可选变换集合(98)通过一定数量的一个或多个多级变换(106)填充，每个多级变换(106)包括被应用至所述预测残差(100)上的初级变换(108)和被应用至所述初级变换(108)的初级变换系数(114)的子群组(112)上的次级变换(110)，所述次级变换(110)是不可分离的且取决于所述所选帧内预测模式。
157.根据权利要求156所述的解码器，被配置为
执行所述确定，使得所述初级变换(108)取决于所述所选帧内预测模式且是可分离二维变换(116)。
158.根据权利要求156或157所述的解码器，其中所述子群组(112)取决于所述所选帧内预测模式。
159.根据权利要求156至158中任一项所述的解码器，被配置为
执行所述确定，使得
对于比预定区块大小的所述第一预定集合小的预定区块大小的第二预定集合的区块大小，
所述可选变换集合(98)通过第二数量的一个或多个不可分离变换(116)填充。
160.根据权利要求156至159中任一项所述的解码器，被配置为使得所述次级变换(110)取决于所述所选帧内预测模式的方式包括帧内预测模式聚合。
161.根据权利要求155至160中任一项所述的解码器，被配置为
检查所述残差区块(84)的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
162.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：
使用帧内预测模式集合(120)中的所选帧内预测模式，基于帧内预测区块(80)的空间邻域(90)预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，
基于所述所选帧内预测模式和所述残差区块(84)的区块大小(96)，从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
使用所述可选变换集合(98)中的一个所选变换(102)对所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换(102)。
163.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：
使用帧内预测模式集合(120)中的所选帧内预测模式，基于帧内预测区块(80)的空间邻域(90)预测所述帧内预测区块(80)，从而获得所述帧内预测区块(80)的预测(104)，
基于所述所选帧内预测模式和所述残差区块(84)的区块大小(96)，从所述变换集合(94)中确定用于覆盖所述帧内预测区块(80)的所述残差区块(84)的可选变换集合(98)，
通过从所述数据流(14)导出所述可选变换集合(98)中的一个所选变换(102)，在所述所选变换(102)的域中从所述数据流(14)对所述残差区块(84)内与所述帧内预测区块(80)的所述预测(104)相关联的预测残差(100)进行解码。
164.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
基于针对相邻残差区块(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(84)的可选变换列表(98)，
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的预测残差(100)进行编码，并在所述数据流(14)中用信号通知所选变换(102)。
165.根据权利要求164所述的编码器，被配置为使用所述参考变换对所述可选列表(98)排序(122)。
166.根据权利要求164或165所述的编码器，被配置为
通过将所述参考变换或对应于所述参考变换的变换以排位(“n#”中的#)进行定位来对所述可选列表(98)排序(122)，所述排位与以下相关联：
最可能的选择，或
第二最可能的选择。
167.根据权利要求164至166中任一项所述的编码器，被配置为基于针对相邻残差区块集合(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(80)的可选变换列表(98)。
168.根据权利要求167所述的编码器，被配置为
通过以与针对所述相邻残差区块集合(84’，84”)选择所述参考变换的频率相对应的顺序来互相定位所述参考变换，对所述可选列表(98)排序。
169.根据权利要求164至168中任一项所述的编码器，被配置为用所述参考变换填充(122)所述可选列表(98)。
170.根据权利要求169中任一项所述的编码器，其中所述参考变换为可分析定义的可分离频谱分解变换，且所述编码器被配置为：
用通过使所述参考变换适于所述当前残差区块(84)的区块大小(96)而导出的另一变换填充(122)所述可选列表(98)。
171.根据权利要求169或170中任一项所述的编码器，被配置为在以下情况下，执行所述填充：
与所述相邻区块(84’，84”)和所述当前残差区块(84)相关联的一个或多个特定特性充分相似，和/或
所述参考变换是可分离频谱分解变换。
172.根据权利要求171所述的编码器，其中所述一个或多个特性包括帧内预测模式的一个或多个。
173.根据权利要求164至172中任一项所述的编码器，被配置为
通过根据与所述参考变换在一个或多个特定特性中的相似性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序(122)，和/或
以从所述可选列表(98)中对超出在一个或多个特定特性中与所述参考变换的特定不相似性的变换进行排除的方式来确定所述可选变换列表(98)。
174.根据权利要求173所述的编码器，其中所述一个或多个特性包括初级变换的一个或多个。
175.根据权利要求164至174中任一项所述的编码器，被配置为
通过取决于所述相邻区块(84’)的一个或多个特定特性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序(122)，和/或
以取决于所述相邻区块(84’)的一个或多个特定特性从所述可选列表(98)中排除变换的方式来确定所述可选变换列表(98)。
176.根据权利要求175所述的编码器，其中所述一个或多个特性包括有效变换系数的数量的一个或多个。
177.根据权利要求175或176所述的编码器，其中所述一个或多个特性包括以下中的一个或多个：
有效变换系数的数量，其中如果有效变换系数的数量在特定阈值以下，则较不可能对变换进行排位或排除属于多级类型的具有经过次级变换的初级变换系数的子群组(112)的变换。
178.根据权利要求164至177中任一项所述的编码器，被配置为
检查当前区块的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
179.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
基于针对相邻残差区块(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(84)的可选变换列表(98)，
通过从所述数据流(14)导出所述可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84)内的预测残差(100)进行解码。
180.根据权利要求179所述的解码器，被配置为使用所述参考变换对所述可选列表(98)排序(122)。
181.根据权利要求179或180所述的解码器，被配置为
通过将所述参考变换或对应于所述参考变换的变换以排位(“n#”中的#)进行定位来对所述可选列表(98)排序(122)，所述排位与以下相关联：
最可能的选择，或
第二最可能的选择。
182.根据权利要求179至181中任一项所述的解码器，被配置为
基于针对相邻残差区块集合(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(80)的可选变换列表(98)。
183.根据权利要求182所述的解码器，被配置为
通过以与针对所述相邻残差区块集合(84’，84”)选择所述参考变换的频率相对应的顺序来互相定位所述参考变换，对所述可选列表(98)排序(122)。
184.根据权利要求179至183中任一项所述的解码器，被配置为用所述参考变换填充(122)所述可选列表(98)。
185.根据权利要求184所述的解码器，其中所述参考变换为可分析定义的可分离频谱分解变换，且所述解码器被配置为：
用通过使所述参考变换适于所述当前残差区块(84)的区块大小(96)而导出的另一变换填充(122)所述可选列表(98)。
186.根据权利要求184或185所述的解码器，被配置为
在以下情况下，执行所述填充：
与所述相邻区块(84’，84”)和所述当前残差区块(84)相关联的一个或多个特定特性充分相似，和/或
所述参考变换是可分离频谱分解变换。
187.根据权利要求186所述的解码器，其中所述一个或多个特性包括帧内预测模式中的一个或多个帧内预测模式。
188.根据权利要求179至187中任一项所述的解码器，被配置为
通过根据与所述参考变换在一个或多个特定特性中的相似性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序(122)，和/或
以从所述可选列表(98)中对超出在一个或多个特定特性中与所述参考变换的特定不相似性的变换进行排除的方式来确定所述可选变换列表(98)。
189.根据权利要求188所述的解码器，其中所述一个或多个特定特性包括初级变换的一个或多个。
190.根据权利要求179至189中任一项所述的解码器，被配置为
通过取决于所述相邻区块(84”)的一个或多个特定特性对所述可选变换集合(98)中的变换进行排位来对所述可选列表(98)排序(122)，和/或
以取决于所述相邻区块(84’)的一个或多个特定特性从所述可选列表(98)中排除变换的方式确定所述可选变换列表(98)。
191.根据权利要求190所述的解码器，其中所述一个或多个特性包括有效变换系数的数量的一个或多个。
192.根据权利要求190或191所述的解码器，其中所述一个或多个特性包括以下中的一个或多个：
有效变换系数的数量，其中如果有效变换系数的数量在特定阈值以下，则较不可能对变换进行排位或排除属于多级类型的具有经过次级变换的初级变换系数的子群组(112)的变换。
193.根据权利要求179至192中任一项所述的解码器，被配置为
检查当前区块的量化参数是否包括在一个或多个预定量化参数的集合中，以及
如果是，则执行所述确定，使得
所述可选变换集合(98)通过与所述一个或多个预定量化参数的集合相关联的一个或多个预定变换的集合进一步填充。
194.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：
基于针对相邻残差区块(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(84)的可选变换列表(98)，
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换(102)。
195.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：
基于针对相邻残差区块(84’，84”)选择的参考变换，从所述变换集合(94)中确定(122)用于当前残差区块(84)的可选变换列表(98)，
通过从所述数据流(14)导出所述可选变换列表(98)中的一个所选变换(102)，在所述所选变换(102)的域中对所述残差区块(84)内的预测残差(100)进行解码。
196.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
以取决于当前区块的量化参数的方式，从所述变换集合中确定用于当前残差区块(84)的可选变换列表(98)，使得
如果所述量化参数对应于比特定阈值精细的量化，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)和被应用至所述初级变换的初级变换系数(114)的子群组(112)上的次级变换(110)，以及
如果所述量化参数对应于比特定阈值粗糙的量化，
则除了所述至少一个多级变换(106)之外或代替所述至少一个多级变换(106)，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组(112)的所述初级变换系数(114)被置零，以及
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的所述预测残差(100)进行编码，并在所述数据流(14)中用信号通知所选变换。
197.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合(94)且被配置为：
以取决于当前区块的量化参数的方式，从所述变换集合中确定用于当前残差区块(84)的可选变换列表(98)，使得
如果所述量化参数对应于比特定阈值精细的量化，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)和被应用至所述初级变换的初级变换系数(114)的子群组(112)上的次级变换(110)，以及
如果所述量化参数对应于比特定阈值粗糙的量化，
则除了所述至少一个多级变换(106)之外或代替所述至少一个多级变换(106)，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组(112)的所述初级变换系数(114)被置零，以及
通过从所述数据流(14)导出所述可选变换列表(98)中的一个所选变换，在所述所选变换(102)的域中对所述残差区块(84)内的所述预测残差(100)进行解码。
198.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的方法，所述方法支持用于所述基于区块的残差编码的变换集合(94)，其中所述方法包括以下步骤：
以取决于当前区块的量化参数的方式，从所述变换集合(94)中确定用于当前残差区块的可选变换列表(98)，使得
如果所述量化参数对应于比特定阈值精细的量化，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)和被应用至所述初级变换的初级变换系数(114)的子群组(112)上的次级变换(110)，以及
如果所述量化参数对应于比特定阈值粗糙的量化，
则除了所述至少一个多级变换(106)之外或代替所述至少一个多级变换(106)，用于当前残差区块的所述可选变换列表(98)通过所述至少一个多级变换(106)的修改填充，其中超出所述子群组(112)的所述初级变换系数(114)被置零，以及
使用所述可选变换列表(98)中的一个所选变换(102)对所述残差区块(84)内的所述预测残差(100)进行编码，且在所述数据流(14)中用信号通知所选变换。
199.一种用于使用基于区块的预测和基于区块的残差解码从数据流(14)解码图片(12)的方法，所述方法支持用于所述基于区块的残差解码的变换集合(94)，其中所述方法包括以下步骤：
以取决于当前区块的量化参数的方式，从所述变换集合中确定用于当前残差区块(84)的可选变换列表(98)，使得
如果所述量化参数对应于比特定阈值精细的量化，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换(106)填充，所述至少一个多级变换(106)包括被应用至所述当前残差区块内的预测残差(100)上的初级变换(108)和被应用至所述初级变换的初级变换系数(114)的子群组(112)上的次级变换(110)，以及
如果所述量化参数对应于比特定阈值粗糙的量化，
则除了所述至少一个多级变换(106)之外或代替所述至少一个多级变换(106)，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组(112)的所述初级变换系数(114)被置零，以及
通过从所述数据流(14)导出可选变换列表(98)中的一个所选变换，在所述所选变换(102)的域中对所述残差区块(84)内的所述预测残差(100)进行解码。
200.一种用于使用基于区块的预测和基于区块的残差编码将图片(12)编码到数据流(14)中的编码器，所述编码器支持用于所述基于区块的残差编码的变换集合(94)且被配置为：
以取决于一个或多个相邻残差区块(84’，84”)中的有效变换系数的数量或其总和的方式，基于针对相邻残差区块选择的参考变换从所述变换集合中确定(122)用于当前残差区块的可选变换列表(98)，使得
如果数量或总和大于特定阈值，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换填充，所述至少一个多级变换包括被应用至所述当前残差区块的预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，以及
如果数量或总和小于所述特定阈值，
则除了所述至少一个多级变换之外或代替所述至少一个多级变换，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组的初级变换系数被置零，以及
使用所述可选变换列表中的一个所选变换对所述残差区块内的预测残差进行编码，且在所述数据流中用信号通知所选变换。
201.一种用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的解码器，所述解码器支持用于所述基于区块的残差解码的变换集合且被配置为：
以取决于一个或多个相邻残差区块(84’，84’)中的有效变换系数的数量或其总和的方式，基于针对相邻残差区块选择的参考变换从所述变换集合中确定(122)用于当前残差区块的可选变换列表(98)，使得
如果数量或总和大于特定阈值，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换填充，所述至少一个多级变换包括被应用至所述当前残差区块的预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，以及
如果数量或总和小于所述特定阈值，
则除了所述至少一个多级变换之外或代替所述至少一个多级变换，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组的初级变换系数被置零，以及
通过从所述数据流导出所述可选变换列表中的一个所选变换，在所述所选变换的域中对所述残差区块内的预测残差进行解码。
202.一种用于使用基于区块的预测和基于区块的残差编码将图片编码到数据流中的方法，所述方法支持用于所述基于区块的残差编码的变换集合，其中所述方法包括以下步骤：
以取决于一个或多个相邻残差区块(84’，84”)中的有效变换系数的数量或其总和的方式，基于针对相邻残差区块选择的参考变换从所述变换集合中确定(122)用于当前残差区块的可选变换列表(98)，使得
如果数量或总和大于特定阈值，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换填充，所述至少一个多级变换包括被应用至所述当前残差区块的预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，以及
如果数量或总和小于所述特定阈值，
则除了所述至少一个多级变换之外或代替所述至少一个多级变换，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组的初级变换系数被置零，以及
使用所述可选变换列表中的一个所选变换对所述残差区块内的预测残差进行编码，且在所述数据流中用信号通知所选变换。
203.一种用于使用基于区块的预测和基于区块的残差解码从数据流解码图片的方法，所述方法支持用于所述基于区块的残差解码的变换集合，其中所述方法包括以下步骤：
以取决于一个或多个相邻残差区块(84’，84”)中的有效变换系数的数量或其总和的方式，基于针对相邻残差区块选择的参考变换从所述变换集合中确定(122)用于当前残差区块的可选变换列表(98)，使得
如果数量或总和大于特定阈值，
则用于当前残差区块的所述可选变换列表(98)通过至少一个多级变换填充，所述至少一个多级变换包括被应用至所述当前残差区块的预测残差(100)上的初级变换和被应用至所述初级变换的初级变换系数的子群组上的次级变换，以及
如果数量或总和小于所述特定阈值，
则除了所述至少一个多级变换之外或代替所述至少一个多级变换，用于当前残差区块的所述可选变换列表通过所述至少一个多级变换的修改填充，其中超出所述子群组的初级变换系数被置零，以及
通过从所述数据流导出所述可选变换列表中的一个所选变换，在所述所选变换的域中对所述残差区块内的预测残差进行解码。
204.一种计算机程序，用于在计算机或信号处理器上执行时实施根据权利要求19、20、59、60、89、90、97、98、129、130、145、146、162、163、194、195、198、199、202或203中至少一项的方法。
205.一种数据流，能够通过根据权利要求19、20、59、60、89、90、97、98、129、130、145、146、162、163、194、195、198、199、202或203中至少一项的方法获得。
CN201980034404.3A 2018-03-29 2019-03-29 用于视频编码的候选变换集合的确定 Pending CN112567745A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18165242 2018-03-29
EP18165242.1 2018-03-29
EP19163314 2019-03-15
EP19163314.8 2019-03-15
PCT/EP2019/058043 WO2019185883A1 (en) 2018-03-29 2019-03-29 Determination of set of candidate transforms for video encoding

Publications (1)

Publication Number Publication Date
CN112567745A true CN112567745A (zh) 2021-03-26

Family

ID=65904458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034404.3A Pending CN112567745A (zh) 2018-03-29 2019-03-29 用于视频编码的候选变换集合的确定

Country Status (7)

Country Link
US (2) US11882284B2 (zh)
EP (1) EP3777165A1 (zh)
JP (2) JP2021519546A (zh)
KR (1) KR20200138804A (zh)
CN (1) CN112567745A (zh)
TW (2) TWI731322B (zh)
WO (1) WO2019185883A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016915A (zh) * 2019-11-21 2023-04-25 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11128866B2 (en) 2018-10-18 2021-09-21 Qualcomm Incorporated Scans and last coefficient position coding for zero-out transforms
CA3224700A1 (en) 2018-12-19 2020-06-25 Lg Electronics Inc. Video coding method on basis of secondary transform, and device for same
WO2020145582A1 (ko) * 2019-01-07 2020-07-16 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
US11218735B2 (en) * 2019-04-02 2022-01-04 Qualcomm Incorporated Context derivation for last position coding for video coding
US11032572B2 (en) 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
WO2020237011A1 (en) * 2019-05-23 2020-11-26 Cognizant Technology Solutions U.S. Corporation Quantifying the predictive uncertainty of neural networks via residual estimation with i/o kernel
US11218728B2 (en) * 2019-06-04 2022-01-04 Tencent America LLC Method and apparatus for video coding
US11695960B2 (en) 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
WO2021086022A1 (ko) 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 색상 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11375220B2 (en) 2019-11-27 2022-06-28 Tencent America LLC Method and apparatus for video decoding using a nominal directional mode and an angular offset
US20230054294A1 (en) * 2020-01-10 2023-02-23 Lg Electronics Inc. Transform-based image coding method and device for same
JP7400114B2 (ja) 2020-02-24 2023-12-18 バイトダンス インコーポレイテッド ビデオコーディングでのピクチャレベルスライスインデックスの使用
CN115211044A (zh) 2020-03-03 2022-10-18 字节跳动有限公司 使用条带头信令通知控制缩放处理
US20210326710A1 (en) * 2020-04-16 2021-10-21 Tencent America LLC Neural network model compression
US11683490B2 (en) * 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
US20220201334A1 (en) * 2020-12-23 2022-06-23 Tencent America LLC Method and apparatus for video coding
CN117296325A (zh) * 2021-04-12 2023-12-26 Lg电子株式会社 用于设计低频不可分离变换的方法和设备
WO2023046463A1 (en) * 2021-09-23 2023-03-30 Interdigital Vc Holdings France, Sas Methods and apparatuses for encoding/decoding a video
CN114339230B (zh) * 2022-03-03 2022-09-02 杭州未名信科科技有限公司 用于视频编码的变换核选择方法、装置、存储介质及终端
WO2024054689A1 (en) * 2022-09-10 2024-03-14 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus for transform training and coding
WO2024080784A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2024080797A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008675A1 (en) * 2010-07-09 2012-01-12 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
CN105120272A (zh) * 2011-10-18 2015-12-02 株式会社Kt 图像编码方法、图像解码方法、图像编码器及图像解码器
US20160219290A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US20170094314A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US20180020218A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018011345A1 (en) * 2016-07-14 2018-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Predictive picture coding using transform-based residual coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855203B2 (en) * 2009-04-08 2014-10-07 Sharp Kabushiki Kaisha Video encoding apparatus and video decoding apparatus
EP2904803A1 (en) * 2012-10-01 2015-08-12 GE Video Compression, LLC Scalable video coding using derivation of subblock subdivision for prediction from base layer
CN110419218B (zh) * 2017-03-16 2021-02-26 联发科技股份有限公司 编码或解码视频数据的方法和装置
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
KR20200015885A (ko) * 2017-07-04 2020-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102030384B1 (ko) * 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008675A1 (en) * 2010-07-09 2012-01-12 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
CN105120272A (zh) * 2011-10-18 2015-12-02 株式会社Kt 图像编码方法、图像解码方法、图像编码器及图像解码器
US20160219290A1 (en) * 2015-01-26 2016-07-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US20170094314A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
WO2018011345A1 (en) * 2016-07-14 2018-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Predictive picture coding using transform-based residual coding
US20180020218A1 (en) * 2016-07-15 2018-01-18 Qualcomm Incorporated Look-up table for enhanced multiple transform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: TORINO, IT, 13–21 JULY 2017》, pages 1 - 58 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016915A (zh) * 2019-11-21 2023-04-25 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置
CN116016915B (zh) * 2019-11-21 2024-04-23 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置

Also Published As

Publication number Publication date
TWI731322B (zh) 2021-06-21
TWI791222B (zh) 2023-02-01
JP2023062181A (ja) 2023-05-02
KR20200138804A (ko) 2020-12-10
US20240114138A1 (en) 2024-04-04
TW201946460A (zh) 2019-12-01
JP2021519546A (ja) 2021-08-10
EP3777165A1 (en) 2021-02-17
WO2019185883A1 (en) 2019-10-03
US20210084301A1 (en) 2021-03-18
US11882284B2 (en) 2024-01-23
TW202137762A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US20240114138A1 (en) Determination of set of candidate transforms for video encoding
KR102595069B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102559421B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102595070B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN112438050B (zh) 使用二次变换的视频信号处理方法及装置
US20230188708A1 (en) Image encoding/decoding method and apparatus and recording medium for storing bitstream
CN111131818B (zh) 对视频信号进行解码的方法和对视频信号进行编码的方法
KR20240065222A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102661759B1 (ko) 종속 스칼라 양자화를 사용하거나 이와 조합하는 데에 적합한 변환 계수의 효율적인 코딩
JP7170669B2 (ja) 最後の有意係数フラグのコーディング
US20150117546A1 (en) Method and apparatus for entropy coding video and method and apparatus for entropy decoding video
CN110679148A (zh) 用于代码化视频数据块的方法和装置
CN108028942A (zh) 编码方法、解码方法及其装置
CN112425164B (zh) 多个可分离变换选择的变换变体
KR20210114386A (ko) 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
KR20200007671A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN112823526A (zh) 通过使用交叉分量线性模型来处理视频信号的方法和设备
CN113170209A (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
KR20200025171A (ko) 다중 변환 선택을 사용하는 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination