CN107925763B - 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备 - Google Patents

等级分割中的块级别变换选择和隐式信令的编码变换方法和设备 Download PDF

Info

Publication number
CN107925763B
CN107925763B CN201580082446.6A CN201580082446A CN107925763B CN 107925763 B CN107925763 B CN 107925763B CN 201580082446 A CN201580082446 A CN 201580082446A CN 107925763 B CN107925763 B CN 107925763B
Authority
CN
China
Prior art keywords
information
transform
transform coefficients
hidden
quantized transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580082446.6A
Other languages
English (en)
Other versions
CN107925763A (zh
Inventor
阿列克谢·康斯坦丁诺维奇·菲利波夫
瓦西里·亚历斯维奇·拉夫特斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107925763A publication Critical patent/CN107925763A/zh
Application granted granted Critical
Publication of CN107925763B publication Critical patent/CN107925763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及方法(700)，用于使用量化的变换系数(112)将源图像(101)编码为输出比特流(114)，包括：从源图像(101和301)获得(701)位于变换单元(transform unit，简称TU)中的输入数据(303)；根据从一组变换类型(305和310)中选择的变换类型，将输入数据(303)变换(702)为变换系数(110、306和311)；量化(703)变换系数(110、306和311)以生成量化的变换系数(112、308和313)；生成(704)用于识别所述一组变换类型(305和310)中的所选变换类型的索引信息；确定(705)待隐藏信息，其中所述待隐藏信息为索引信息的至少一部分；隐藏(706)待隐藏在量化变换系数(112、308和313)中的信息。

Description

等级分割中的块级别变换选择和隐式信令的编码变换方法和 设备
技术领域
本发明大体涉及对静止图像或视频图像的图像进行编码和解码的领域，具体涉及使用量化变换系数将源图像编码为输出比特流，并使用逆变换的变换系数将输入比特流解码为解码图像。本发明还涉及用于对源图像进行编码的编码器和用于使用逆变换的变换系数对输入比特流进行解码的解码器。最后，本发明涉及一种具有用于执行这种方法的程序代码的计算机程序。
背景技术
数字视频通信和存储应用由各种各样的数字设备来实现，例如数码相机、蜂窝无线电话、笔记本电脑、广播系统、视频会议系统等。这些应用中最重要和最具挑战性的任务之一为视频压缩。视频压缩的任务复杂，并且受到两个相互冲突的参数的限制：压缩效率和计算复杂度。ITU-T H.264/AVC或ITU-T H.265/HEVC等视频编码标准提供了良好的参数折衷。出于这一原因，支持视频编码标准是几乎所有视频压缩应用的强制性要求。
现有视频编码标准基于源图像分块。这些块的处理取决于它们的尺寸、空间位置和编码器指定的编码模式。编码模式可根据预测类型分为两类：帧内预测模式和帧间预测模式。帧内预测模式使用相同图片的像素来产生参考样本，以计算被重构块的像素的预测值。帧内预测也可以称为空间预测。帧间预测模式设计用于时间预测，并使用先前或后续图像的参考样本来预测当前图像的块的像素。在预测阶段之后，针对作为原始信号与其预测之间的差异的预测误差或残差进行变换编码。然后，使用熵编码器来编码变换系数和辅助信息，例如上下文自适应二进制算术编码CABAC，用于AVC/H.264和HEVC/H.265。
显然，对于不同的预测模式，预测误差数据不同，并强烈依赖于待预测的内容。因此，不同情况下，从压缩性能方面来看，不同的变换是有利的。为提高变换编码阶段的编码效率，可以针对不同的特定情况使用具有不同能量压缩的多种变换。
根据第一个例子，2013年11月，在ISO/IEC 23008-2：2013中定义的众知的最近通过的ITU-T H.265/HEVC标准“信息技术—异构环境中的高效编码和媒体传送—第2部分：高效率视频编码”宣布了一套最先进的视频编码工具，提供了编码效率和计算复杂度之间的合理折衷。关于ITU-T H.265/HEVC标准的概述在Gary J.Sullivan的文章“高效率视频编码(Overview of the High Efficiency Video Coding，简称HEVC)标准概述”(IEEE视频技术电路和系统汇刊，2012年12月，第22卷，第12期)中给出，其全部内容通过引用并入本文。
HEVC/H.265视频编码标准提供源图像分块，例如编码单元(coding unit，简称CU)。每个CU可以进一步分为更小的CU或预测单元(prediction unit，简称PU)。PU可以根据应用于PU的像素的处理类型进行帧内或帧间预测。在帧间预测的情况下，PU表示通过使用为PU指定的运动向量的运动补偿进行处理的像素的面积区域。对于帧内预测，PU指定一组变换单元(transform unit，简称TU)。TU可具有不同尺寸，例如，4×4、8×8、16×16和32×32像素，并且可以以不同方式进行处理。对于正在执行TU变换的编码，即正使用离散余弦变换(discrete cosine transform，简称DCT)或HEVC/H.265中的离散正弦变换(discretesine transform，简称DST)对预测误差进行变换和量化，将其应用于帧内编码块，并量化。因此，重构的像素包括量化噪声和阻碍人为因素，可能会影响预测的准确性。
与仅使用一种变换以保持简单设计的现有众知视频编码标准相比，HEVC/H.265标准规定了用于帧内编码的两种变换：用于4×4块的DST和用于其他块的DCT。DST选择用于4×4块，因为该变换为小的帧内预测块提供更好的能量压缩。
根据另一个例子，在JM/KTA中，众知模式相关定向变换(mode-dependentdirectional transform，简称MDDT)被提出来压缩帧内预测产生的残差，因为沿着预测的方向残差通常具有高能量，且因为边缘比光滑区域更难以预测。它由一系列预定义的可分离变换组成。每种变换在一个预测方向上进行有效的压缩能量，因此有利于其中一个帧内模式。MDDT的类型与所选的帧内预测模式耦合，所以没有显式地发送信号通知。
对于也包含方向信息的帧间预测误差，除非边缘方向被显式地检测和传送，否则不能使用MDDT。然而，由此引入的附带信息是明显的，并且影响整体性能改善。因此，MDDT仅针对帧内编码宏块提出。
针对22个帧内预测模式预先定义了22种可分离变换。每个由用于水平和垂直变换的两个变换矩阵组成。存储所有MDDT矩阵的内存约为1.5Kb。变换矩阵基于一大组视频序列，都为帧内编码。根据相关的帧内预测模式，将所有的块分为22类。对于每种类别的块，计算水平和垂直相关矩阵的预测误差，其中特征向量分别用于构建水平和垂直变换矩阵。MDDT的矩阵获取过程类似于卡-洛变换(Karhunen-Loève-Transform，简称KLT)的矩阵获取过程，但MDDT并非最佳，因为MDDT是基于总体统计数据分离和设计的，可能不符合某些视频序列的局部统计。此外，仅包含整数的MDDT的基向量是特征向量的缩放和舍入版本，并且彼此不是正交的。
众所周知，可分离变换有效地处理水平和垂直边缘，因为基础图像只包括水平和垂直边缘，像棋盘。MDDT虽然是一种可分离变换，但被用来沿任意方向压缩能量，看起来似乎十分矛盾。对不同帧内预测模式下MDDT的基础图像进行了研究。据发现，虽然基础图像也有棋盘图案，但零点交叉的位置与DCT或整数余弦变换(integer cosine transform，简称ICT)的位置不同。
在MDDT中，根据观察，由于每个帧内模式在统计上具有不同的方向信息，因此每个帧内模式采用一个变换矩阵。虽然这不需要额外的信令信息或率失真搜索，但在每个帧内模式内，由于图像内容的多样性，一个变换矩阵可能不能适应残差特性的潜在可变性。
根据另一个例子，在众知的率失真优化变换(rate-distortion-optimizedtransform，简称RDOT)中，预测残差用不同的基函数进行变换，并且根据率失真(rate-distortion，简称R-D)性能选择最佳的一个。在RDOT中，对于每个帧内方向，存在不同的K对离线训练的垂直和水平变换候选对，每个帧内模式产生总共K个不同的变换路径。编码器尝试所有候选项，并选择最小R-D成本值的最佳路径。变换索引在比特流中显式地用信号通知。与MDDT相比，RDOT通过强加模式和数据依赖性来进一步细化变换，从而在变换域中实现更好的能量压缩。尽管RDOT可以通过提供更多的变换矩阵来扩展MDDT，但是对于每个变换路径，编码器必须执行变换、量化、熵编码、去量化、逆变换和重构，这给编码器带来了大的计算负担。
根据这一限制，也可以采用几种快速的RDOT方案来协同地加速编码过程，见X.Zhao、L.Zhang、S.Ma和W.Wao的“率失真优化变换的视频编码”(IEEE视频技术用电路与系统汇刊，2012年1月，第22卷，第1期，138-151页)。一种方法是采用DCT的编码结果来跳过不必要的RDOT踪迹。具体地，DCT在RDOT之前执行，若DCT的R-D成本低于阈值，则执行RDOT。这表明只有当DCT也可以实现良好的编码性能时才执行RDOT，因为最佳的基于DCT和RDOT的编码模式高度相关。另一种方法是在RDOT中应用亮度编码加速(luminance coding speedup，简称LCS)技术。在LCS中，针对其余模式恢复用于色度的DC帧内预测模式的亮度编码结果。
与基于训练的方法不同，受图像编码中可分离定向二维DCT的启发，在R.A.Cohen、S.Klomp、A.Vetro和H.Sun的“方向自适应变换编码预测残差”中提出了一种新的方向自适应残差变换(direction-adaptive residual transform，简称DART)结构(IEEE国际会议会刊(Proc.IEEE Int.Conf.Image Process，简称ICIP)，2010年，185-188页)。DART包含主要变换和辅助变换。在DART的主变换阶段，沿每个方向的每个定向路径采用不同的1-D变换。然后，在辅助变换阶段，只有第一阶段产生的DC系数采用DCT处理。在某些情况下，观察到短DCT路径，这可能会限制DCT的性能。为解决这一问题，通过组合来自相邻扫描的像素来执行路径折叠。与现有的基于KLT的模式相关的定向变换相比，这种方法更加灵活，因为无须进行训练。DART方案在H.264/KTA软件中已实现，并且据观察，与MDDT相比，具有更好的编码性能。
根据另一示例，提高残差变换编码效率的另一种方式是使用自适应多重变换(adaptive multiple transform，简称AMT)，也称为增强多重变换(enhanced multipletransform，简称EMT)，参见Gary Sullivan、Gill Boyce、Jianle Chen和Elena Alshina的“未来视频编码：未来视频编码调查的联合探索模型1(Joint Exploration Model 1，简称JEM1)”，ITU-T SG16Q6，TD 213(WP 3/16)。除了在高效视频编码(high-efficiency videocoding，简称HEVC)中使用的DCT-II和4×4DST-VII之外，还使用AMT对帧间和帧内编码块进行残差编码。除了HEVC中的当前变换之外，还利用来自DCT/DST系列的多个选择的变换。新引入的变换矩阵为DST-VII、DCT-VIII、DST-I和DCT-V。
图9示出了根据ATM的变换编码的信令。AMT适用于小于64×64的CU，并且是否应用AMT由CU内的所有TU的CU层级别控制。对于启用AMT的CU中的每个TU，要使用的水平或垂直变换通过索引用信号通知给选择的变换集。每个变换集合通过从上述变换矩阵中选择两个变换而形成。
如图9所示，在CU级别，标志emtCuFlag用于选择两个选项中的一个。第一种选择是将DCT-II(DCT2_EMT)应用于不需要附加比特的残差变换编码。第二种选择在于应用包括在图9中的表示为EMT变换的变换集合中的一个变换。
根据第一种选择，给定CU中包括的所有TU都使用DCT-II进行分解。根据第二种选择，每个TU需要两个额外的信令位，所谓的emtTuIdx。对于帧内编码，使用查找表来将帧内预测模式映射到仅包括两个变换的变换集合。对于帧间编码，总是使用变换集合{DCT-VIII、DST-VII}。因此，两个位足以对垂直和水平变换的选择进行编码。所有上面列出的位都使用CABAC进行上下文建模编码。
对于帧内预测残差，变换集是基于帧内预测模式预定义的，因此每个帧内预测模式具有其自身的变换集。例如，一个变换集可以为{DCT-VIII、DST-VII}。注意，即使对于相同的帧内预测模式，对于水平变换设置的变换可能不同于对于垂直变换设置的变换。然而，所有帧内预测模式的不同变换集合的总数以及新引入的变换的数量是有限的。然而，对于帧间预测残差，只有一个变换集用于所有帧间模式以及水平和垂直变换。
对于任意应该选择多个变换其中之一的变换过程来说，一个重要方面是信令，因为信令可能会显着影响编码性能。在HEVC/H.265中，不需要信令，因为可以通过解析帧内预测模式和块尺寸来检测变换类型。类似地，MMDT不需要任何信令，因为定向变换被显式地映射到帧内预测模式。在RDOT情况下，由于在率失真优化(rate-distortion optimization，简称RDO)过程中选择变换，并且在没有附加信息(即没有信令)的情况下不能在解码器侧检测到信令，所以需要信令。AMT也需要信令。
Orange实验室的Gordon Clare、Félix Henry和
Figure GDA0001578735980000041
Jung对JCT-VC会议(JCTVC-G273，日内瓦，2011年11月)的投稿中描述了“符号数据隐藏”形式的数据隐藏技术。经过细微修改，已采用到HEVC/H.265标准中作为符号位隐藏(sign bit hiding，简称SBH)。在视频压缩的情况下，量化变换系数的矩阵可以被分成系数组(coefficient group，简称CG)，并根据系数扫描顺序变换成一维阵列，因此这些系数可以由熵编码器有效地编码。例如，ITUT H.265/HEVC标准规定了水平、垂直和对角扫描顺序。根据这个标准选择扫描顺序取决于块预测模式，因此取决于残差信号的统计特性。
TU可以被分成几个CG，并且在每个CG中指定第一个和最后一个非零量化变换系数的位置。这些位置只能在特定扫描顺序的上下文中指定，因为可以仅为有序集合确定第一个和最后一个元素。
符号数据隐藏技术假定在给定的一组值或可修改的系数内隐藏仅一个符号标志，其被定义为由最后和第一个非零量化变换系数界定的区间。这种技术并非在所有情况下都有益，因此，对给定的CG内是否应用隐式或显式的符号编码作出特别的决定。
在解码器侧有一个符号隐藏状态校验程序。具体来说，这一决定基于变换系数或可修改系数的数目。若该数目大于阈值，则从残差总和的奇偶性中推断出第一变换系数的第一个符号。否则，执行系数符号的正常显式解码，如可以从US20130272424A1中获得。
在EP2675159A1中，公开了使用重叠子集的多比特信息隐藏方法。CG内的变换系数的初始集合被分成部分重叠的子集，使得可以通过修改重叠区域内的值来控制两个部分重叠子集的隐藏符号的值。第一符号位基于使用第一子集确定的奇偶校验值，第二符号位基于使用第二子集确定的奇偶校验值。第一子集和第二子集在两个子集的一部分系数上重叠。
发明内容
认识到上述缺点和问题，本发明旨在改进现有技术。具体而言，本发明的目的在于提供一种用于改进图像编码和解码的编码器、解码器、编码方法和解码方法。
本发明特别旨在改善编码和解码中量化变换系数的使用。本发明还旨在信令机制方面改进编码和解码，以保持较低的信令开销。
上述提到的本发明的目标是由所附独立权利要求提供的解决方案实现的。本发明的有益实施均在各自附属权利要求中进一步定义。
本发明第一方面提供了一种使用量化变换系数将源图像编码为输出比特流的编码器。所述编码器包括获取装置，用于从源图像获得位于变换单元中的输入数据。所述编码器包括变换装置，用于根据从一组变换类型中选择的变换类型将所述输入数据变换为变换系数。所述编码器包括量化装置，用于量化所述变换系数以生成量化的变换系数。所述编码器包括计算装置，用于生成用于识别所述一组变换类型中所选择的变换类型的索引信息，并确定待隐藏信息，其中所述待隐藏信息为索引信息的至少一部分。所述编码器包括隐藏装置，用于隐藏待隐藏在量化的变换系数中的信息。
因此，提出隐藏关于所选变换类型的信息，即隐藏用于至少部分地标识变换类型集合中的所选变换类型的信息。计算装置的优点在于可能不需要在输出比特流中添加索引信息的显式信令。可以有利地至少减少索引信息的显式信令。输出比特流的比特率因此可以被降低。
根据第一方面，在所述编码器的第一种实现方式中，待隐藏信息为索引信息，使得从该组变换类型中选择的变换类型可基于隐藏信息识别。
因此，隐藏用于识别所选变换类型的所有索引信息是有利的，因为不需要其他信息来识别所选变换类型。输出比特流内的附加显式信令则不是必需的。
根据第一方面，在所述编码器的第二种实现方式中，所述编码器包括信令装置。待隐藏信息为索引信息的一部分。信令装置用于在输出比特流中添加作为索引信息的另一部分的信令信息，使得在该组变换类型中选择的变换类型可基于隐藏的信息和信令信息识别。
因此，仅由部分索引信息组成的隐藏信息是有利的，因为可以减少识别所选变换类型所需的显式信令的数量。换言之，隐藏用于识别包含所选变换类型的子集的信息是有利的。输出比特流可以包括，例如量化变换系数中的隐藏信息以及作为显式信令传送的信令信息，除了量化变换系数之外，还将所述信令信息添加到输出比特流。然后隐藏信息允许识别包括所选变换类型的子集，且附加信令信息允许识别子集内的所选变换类型。由于信令信息不需要在整个变换类型集合内标识选择的变换类型，因此可以减少信令信息的大小或量。
根据第一方面，在所述编码器的第三种实现方式中，所述隐藏装置用于根据隐藏条件隐藏待隐藏在量化的变换系数和中的信息。
根据第一方面，在所述编码器的第四种实现方式中，所述隐藏条件包括将取决于量化变换系数的参数与阈值进行比较。所述隐藏装置用于校验隐藏条件，并用于仅当隐藏条件满足时隐藏待隐藏在量化变换系数中的信息。
根据第一方面，在所述编码器的第五种实现方式中，若隐藏条件不满足，则信令装置用于在输出比特流中添加作为索引信息的信令信息。
根据第一方面，在所述编码器的第六种实现方式中，所述编码器包括：分割装置，用于根据等级分层数据结构对所述源图像进行递归分割，其中所述数据结构的一层为所述变换单元。在第一个可选的实现方式中，所述隐藏装置用于隐藏待隐藏在数据结构的第一层中的信息的第一部分，和待隐藏在数据结构第二层中的信息的第二部分，其中所述第二层不同于与所述第一层。在第二个可选的实现方式中，所述待隐藏信息为索引信息的一部分，所述隐藏装置用于隐藏待隐藏在数据结构的第一层中的信息，所述信令装置用于在所述输出比特流中添加与第一层不同的所述数据结构的第二层中作为所述索引信息的另一部分的信令信息。
根据第一方面，在所述编码器的第七种实现方式中，所述编码器包括：分割装置，用于根据等级分层数据结构对所述源图像进行递归分割，其中所述数据结构的一层为所述变换单元。所述分割装置用于将变换单元分割成多个系数组。所述隐藏装置用于隐藏待隐藏在位于多个系数组中的至少一个中的量化变换系数中的信息。
根据第一方面，在所述编码器的第八种实现方式中，所述计算装置用于对量化变换系数应用校验函数以获得校验函数的结果。所述计算装置用于确定校验函数的结果是否对应于待隐藏信息。若校验函数的结果不对应于待隐藏信息，则所述计算装置用于修改量化变换系中的至少一个，使得校验函数的结果对应于待隐藏信息。
根据第一方面，在所述编码器的第九种实现方式中，待隐藏信息包括具有第一和第二值的标志。所述第一值标识该组变换类型的默认变换类型为所标识的变换类型。所述第二值指示所选择的变换类型包括在由所述一组变换类型组成的子集中，而没有默认变换类型。
本发明的第二方面提供一种解码器，用于使用逆变换的变换系数将输入比特流解码成解码图像。所述解码器包括获取装置，用于从输入比特流获得位于变换单元中的量化变换系数。所述解码器包括去量化装置，用于对量化的变换系数进行去量化以生成变换系数。所述解码器包括计算装置，用于从所述量化变换系数重构隐藏信息，其中所述隐藏信息为索引信息的至少一部分。所述解码器包括逆变换装置，用于根据借助于索引信息从一组变换类型中识别的变换类型将变换系数逆变换为逆变换的变换系数。
根据第二方面，在所述解码器的第一种实现方式中，待隐藏信息为索引信息，从而基于隐藏信息从变换类型集合中识别变换类型。
根据第二方面，在所述解码器的第二种实现方式中，所述解码器包括提取装置。所述待隐藏的信息为索引信息的一部分。所述提取装置用于从输入比特流提取作为索引信息的另一部分的信令信息，从而基于隐藏信息和信令信息从变换类型集合中识别变换类型。
根据第二方面，在所述解码器的第三种实现方式中，所计算装置用于根据隐藏条件从量化变换系数重构隐藏信息。
根据第二方面，在所述解码器的第四种实现方式中，所述隐藏条件包括将取决于量化变换系数的参数与阈值进行比较。所述计算装置用于校验隐藏条件，并且用于仅当隐藏条件满足时从量化变换系数重构隐藏信息。
根据第二方面，在所述解码器的第五种实现方式中，若隐藏条件不满足，则所述提取装置用于从输入比特流中提取作为索引信息的信令信息。
根据第二方面，在所述解码器的第六种实现方式中，所述解码器包括：逆分割装置，用于通过对等级分层数据结构进行逆分割来获得解码图像，其中所述数据结构的一层为变换单元。在第一个可选的实现方式中，所述计算装置用于从所述数据结构的第一层重构所述隐藏信息的第一部分，并从所述数据结构的第二层重构所述隐藏信息的第二部分，其中所述第二层不同于所述第一层。在第二个可选的实现方式中，待隐藏信息为索引信息的一部分，所述计算装置用于重构数据结构的第一层中的隐藏信息，所述提取装置用于从所述输入比特流中提取与第一层不同的所述数据结构的第二层中作为所述索引信息的另一部分的信令信息。
根据第二方面，在所述解码器的第七种实现方式中，所述解码器包括：逆分割装置，用于通过对等级分层数据结构进行逆分割来获得解码图像，其中所述数据结构的一层为变换单元。所述逆分割装置用于通过对多个系数组进行逆分割来获得变换。所述计算装置用于从位于多个系数组中至少一个的量化变换系数重构隐藏信息。
根据第二方面，在所述解码器的第八种实现方式中，所述计算装置用于对量化变换系数应用校验函数以获得校验函数的结果，其中校验函数的结果对应于隐藏信息。
根据第二方面，在所述解码器的第九种实现方式中，待隐藏信息包括具有第一和第二值的标志，所述第一值标识该组变换类型的默认变换类型为所标识的变换类型，所述第二值指示所标识的变换类型包括在由所述一组变换类型组成的子集中，而没有默认变换类型。
根据第一方面的编码器的功能和根据第二方面的解码器的功能，以及它们的任一实现方式的任一功能都可以由处理器或计算机执行，且它们的任一装置可以作为该处理器或计算机中的软件和/或硬件实现。
本发明第三方面提供了一种使用量化变换系数将源图像编码为输出比特流的方法。该方法包括：从源图像获得位于变换单元中的输入数据。该方法包括：根据从一组变换类型中选择的变换类型，将输入数据变换为变换系数。该方法包括：量化变换系数以生成量化的变换系数。该方法包括：生成用于识别所述一组变换类型中的所选变换类型的索引信息。该方法包括：确定待隐藏信息，其中所述待隐藏信息为索引信息的至少一部分。该方法包括：隐藏待隐藏在量化变换系数中的信息。
根据本发明第三方面的使用量化的变换系数将源图像编码成输出比特流的方法的其他特征或实现可用于执行根据本发明第一方面的编码器的功能及其不同的实现方式。
本发明的第四方面提供一种用于使用逆变换的变换系数将输入比特流解码成解码图像的方法。该方法包括：从输入比特流获得位于变换单元中的量化变换系数。该方法包括：对量化变换系数进行逆量化以生成变换系数。该方法包括：从量化变换系数重构隐藏信息，其中隐藏信息为索引信息的至少一部分。该方法包括：根据通过索引信息从一组变换类型中识别的变换类型，将变换系数逆变换为逆变换的变换系数。
根据第三或第四方面或其任何实现方式中的方法可以由处理器或计算机执行。
根据本发明第四方面的使用逆变换的变换系数将输入比特流解码成解码图像的方法的其他特征或实现方式可用于执行根据本发明的第二方面及其不同实现方式的解码器的功能。
本发明第五方面提供了一种具有程序代码的计算机程序，所述程序代码用于计算机程序在计算设备上运行时，执行根据本发明第三方面的源图像编码方法或根据本发明第四方面的输入比特流解码方法。
本发明的一个重要方面是：在解码器一侧，通过应用校验函数，例如奇偶性校验函数，检索应该选择的逆变换的全部或部分信息，以解析量化变换系数。本发明涉及所选变换类型的信令。具体地，在解码器一侧，通过应用校验函数，例如奇偶校验函数，检索应该选择的逆变换的全部或部分信息，以解析量化变换系数(quantized transform coefficient，简称QTC)。该类型的隐式信令可称为隐藏。
需要说明的是，本申请中所描述的所有设备、元件、单元和装置可以以软件或硬件元件或其任何种类的组合来实现。本申请中所描述的各种实体执行的所有步骤以及所描述的由各种实体执行的功能旨在表示相应的实体用于或执行相应的步骤和功能。即使在以下特定实施例的描述中，外部实体完全形成的特定功能或步骤未反映在执行该特定步骤或功能的该实体的特定详细元件的描述中，技术人员应知，这些方法和功能可在相应的软件或硬件元件或其任何组合中实施。
附图说明
结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现方式，其中：
图1示出了根据本发明实施例的编码器；
图2示出了根据本发明实施例的解码器；
图3示出了根据本发明另一实施例的编码器；
图4示出了根据本发明实施例的解码方法的流程图；
图5示出了根据本发明另一实施例的解码方法的流程图；
图6示出了根据本发明又一实施例的解码方法的流程图；
图7示出了根据本发明实施例的源图像编码方法；
图8示出了根据本发明另一实施例的输入比特流解码方法；
图9示出了根据现有技术的变换编码的信令。
具体实现方式
图1示出了根据本发明实施例的编码器100，具体为用于使用量化变换系数112将源图像101编码成输出比特流114的编码器100。
所述编码器100包括获取装置102、104和106，用于从源图像101获得位于变换单元(transform unit，简称TU)中的输入数据。
所述编码器100包括变换装置109，用于根据从一组变换类型中选择的变换类型将所述输入数据变换为变换系数110。
所述编码器100包括量化装置111，用于量化所述变换系数110，以生成量化的变换系数112。所述编码器100包括计算装置，用于生成用于识别所述一组变换类型中所选择的变换类型的索引信息，并确定待隐藏信息，其中所述待隐藏信息为索引信息的至少一部分。
所述编码器100包括隐藏装置，用于隐藏待隐藏在量化的变换系数112中的信息。
图3示出了根据本发明实施例的编码器，具体为用于使用量化变换系数308和313将源图像301编码成输出比特流318的编码器300。
所述编码器300包括获取装置302，用于从源图像301获得位于变换单元(transform unit，简称TU)中的输入数据303。
所述编码器300包括变换装置305和310，用于根据从一组变换类型305和310中选择的变换类型将所述输入数据303变换为变换系数306和311。
所述编码器300包括量化装置307和312，用于量化所述变换系数306和311，以生成量化的变换系数308和313。
所述编码器300包括计算装置315，用于生成用于识别所述一组变换类型305和310中所选择的变换类型的索引信息，并确定待隐藏信息，其中所述待隐藏信息为索引信息的至少一部分。
所述编码器300包括隐藏装置319，用于隐藏待隐藏在量化的变换系数308和313中的信息。具体地，源图片可以是静止图片或视频图片。
具体地，编码器可以包括分割装置。分割装置在图1中由参考标识102标识。分割装置用于根据等级分层数据结构对源图像101进行递归分割。数据结构的一层为变换单元。分割装置可以特别用于对源图像101进行四叉树分割。
等级分层数据结构可包括定义编码树单元(coding tree unit，简称CTU)、编码单元(coding unit，简称CU)、预测单元(prediction unit，简称PU)或变换单元(transformunit，简称TU)中至少一个的其它层。CTU为预定义大小的视频序列的编码结构的根，包含图片的一部分，例如64×64像素。CTU可分割成CU。CU为预定义大小的视频序列的基本编码结构，包括图像的一部分，属于CTU。CU可进一步分割成PU。PU为CU分割的结果的编码结构。PU可以根据应用于PU的像素的处理类型进行帧内或帧间预测。PU可以被分割为几个TU或者与一个TU重合。TU为变换单元的一个例子。
具体地，获取装置102、104、106和302可用于从预测块的残差数据获得变换单元的输入数据303，PU为预测块的示例。输入数据303可以为残差数据的子部分，即变换单元(transform unit，简称TU)可以为预测块(prediction unit，简称PU)的子块。这样，编码器可用于编码视频的源图像101。
在图1中，残差数据对应于参考105和107。获得装置包括预测装置104和106，用于建立源图像101的像素数据(即，位于预测块中的像素的数据)和用于所述像素的预测数据之差，以获得残差数据105和107。预测装置优先支持帧内预测模式和帧间预测模式，并相应地包括帧内预测装置104和帧间预测装置106。图1中的参考103示出了源图像101可以通过帧内或帧间预测来处理。
具体地，获取装置可以可选地用于获取作为源图像101的像素的数据的输入数据303，例如根据等级分层数据结构的一层来获得。这样，编码器不包括预测阶段，并且可用于对作为静止图片的源图片101进行编码。
具体地，所述编码器可以包括切换器304，以将输入数据303发送到变换类型集合305和310，从而基于输入数据执行几个候选变换。输入数据可以由几个并行排列的变换装置305和310来处理，每个变换装置用于于根据变换类型其中之一变换输入数据。该组变换类型可以包括N个不同类型，其中N个变换类型在图3中被标识为“变换1”和“变换N”。
每个变换装置305和310生成变换系数306和311，以及标识用于获取变换系数306和311的相应变换类型的索引信息309和314。变换系数306和311由量化装置307和312进行量化，以获得量化的变换系数。
隐藏装置319用于于隐藏待隐藏在量化变换系数308，和313中的信息。计算装置315用于于选择量化变换系数308和313，以及提供最小率失真(rate-distortion，简称RD)成本的相关索引信息309和314。计算装置315相应地输出选择的量化变换系数316，然后优先通过熵装置317对其进行熵编码。熵装置在图1中通过参考113来识别。
图1和图3的实施例的不同特征可以结合在一起。
具体地，所述隐藏装置319用于隐藏待隐藏在量化变换系数112、308和313中的信息。
具体地，所述隐藏装置319用于根据隐藏条件隐藏待隐藏在量化的变换系数112、308和313中的信息。所述隐藏条件包括将取决于量化变换系数112、308和313的参数与阈值进行比较。所述隐藏装置319用于校验隐藏条件，并用于仅当隐藏条件满足时隐藏待隐藏在量化变换系数112、308和313中的信息。
隐藏条件可以为量化变换系数112、308和313与阈值限制的比较。例如，隐藏条件可以包括以下条件或其他已知隐藏条件。
-非零量化变换系数(quantized transform coefficient，简称QTC)的数量大于阈值。这种情况下，对TU或CG中存在的非零QTC的数量进行计数。若数量高于阈值，则隐藏条件满足。
-阈值低于QTC扫描内的重要QTC位置之间的最大差值。这种情况下，根据扫描模式或扫描顺序扫描TU或CG或多个CG的QTC。从所扫描的QTC中选择显着QTC，重要QTC为例如非零系数或高于给定值的系数。计算根据扫描模式或扫描顺序的重要QTC的位置之间的差值。若该差值高于阈值，则隐藏条件满足。
-TU的尺寸大于阈值。这种情况下，若TU的尺寸高于阈值，则隐藏条件满足。
具体地，所述计算装置315用于：对量化变换系数112、308和313应用校验函数以获得校验函数的结果；确定校验函数的结果是否对应于待隐藏信息；若否，则修改量化变换系数112、308和313中的至少一个，使得校验函数的结果对应于待隐藏信息。
例如，校验可以为以下函数之一或其他众知的校验函数：
-使用二进制模式从TU中选择的一些QTC的最低有效位所应用的奇偶校验函数；
-最后或第一非零QTC位置索引或者最后和第一非零QTC位置索引的线性组合所应用的奇偶校验函数。
应用于给定QTC的这种奇偶校验函数包括校验给定QTC的奇偶性值。由于待隐藏信息包括一个或几个比特，所以可以通过给定QTC的奇偶性值来隐藏一个这样的比特。具体地，若给定QTC的奇偶性值与待隐藏比特的奇偶性值匹配，则在编码器处不需要进行额外处理。这表明给定的QTC在比特流中以未修改的形式编码。另一方面，若给定QTC的奇偶性值与待隐藏比特的奇偶性值不匹配，则编码器用于修改给定QTC，使其奇偶性匹配待隐藏比特的奇偶性。这可以通过，例如修改给定QTC其中之一的值来获得奇偶性匹配。例如，可以修改给定QTC其中之一的最低有效位(least significant bit，简称LSB)。
一般而言，为了隐藏变换类型的信息，可以使用不同的已知机制，例如隐藏在非重叠变换系数集合中的单层数据，根据US20130272424A1对多个符号位完成隐藏，或者根据EP2675159A1隐藏在变换系数的重叠集合中的单层数据，或者根据Alexey Filippov、Vasily Rufitskiy和Vladimir Potapov的“基于标量量化的多层数据隐藏用于视频编码应用”(IEEE视觉通信与图像处理会议，2014年12月，瓦莱塔，马耳他，262-265页)隐藏在等级结构编码单元中的多层数据。
图2示出了根据本发明实施例的解码器200，具体为用于使用逆变换的变换系数将输入比特流201解码为解码图像212的解码器200。
所述解码器包括获取装置202、204和206，用于从输入比特流201获得位于变换单元(transform unit，简称TU)中的量化变换系数。
所述解码器包括去量化装置209，用于对量化的变换系数进行去量化以生成变换系数210。所述解码器包括计算装置208，用于从所述量化变换系数重构隐藏信息，其中所述隐藏信息为索引信息的至少一部分。
所述解码器包括逆变换装置211，用于根据借助于索引信息从一组变换类型中识别的变换类型将变换系数210逆变换为逆变换的变换系数212。
图2的解码器200是图1的编码器100的对应部件，因为获取部件包括用于处理输入比特流的熵解码部件202。它还包括分别用于帧内预测模式和帧间预测模式的预测装置204和206，其中参考203示出了帧内预测和帧间预测之间的选择。预测装置204和206的各个输出205和207由去量化装置209处理。
图4示出了根据本发明实施例的解码方法的流程图。
该实施例依赖于众知的增强型多重变换(enhanced multiple transform，简称EMT)技术，在例如Gary Sullivan、Gill Boyce、Jianle Chen和Elena Alshina的“未来视频编码：未来视频编码调查的联合探索模型1(Joint Exploration Model 1，简称JEM1)”，ITU-T SG16Q6，TD213(WP 3/16)中使用在解码器侧显式地指示选择的变换类型得比特流语法中的特定信令标志emtCuFlag和emtTuIdx描述。
现在，在图4的实施例中，根据本发明的编码方案，在CU或PU级别显式地编码emtCuFlag，并在QTC内的TU级别隐式编码emtTuFlag。换言之，emtTuFlag为编码器隐藏在QTC中的信息以及解码器从QTC重构的信息。
在该方法的开始(401)之后，从输入比特流解析emtCuFlag。然后校验emtCuFlag(403)的值。若该emtCuFlag不满足，则第一变换类型，例如DCT-II应用于CU或PU级别，即，逆变换装置211根据该第一变换类型针对包括emtCuFlag的CU或PU的每个TU应用逆变换。该第一种变换类型为例如默认变换类型。若该emtCuFlag满足，则逆变换装置211使用另一个变换类型。这种情况下，针对给定CU或PU的所有TU启用不同的变换类型。在该实施例和所有进一步实施例中，emtCuFlag非强制性。
若emtCuFlag标志设置为满足，则在TU上的循环内执行进一步处理。在循环中处理的当前TU的索引称为“idx”，并且从0扫描到N-1，其中N表示正被处理的CU或PU中的TU的数量。在初始化步骤405，将每个TU索引的变换索引emtTuIdx(idx)设置为零。TU循环从隐藏条件校验(410)开始，指示当前处理的TU的QTC中是否存在隐藏标志。
若隐藏条件(410)不满足，则从比特流中解析(412)能够为处理的TU(emtTuFlag)启用选择变换的标志的值。否则，通过应用校验函数，从QTC重构或获取(411)该标志的值。
因此，计算装置208用于将校验函数应用于QTC以获得校验函数的结果，其中校验函数的结果对应于隐藏信息。该隐藏信息可以直接作为待选择或识别的变换类型的索引。
或者，如图4所示，该隐藏信息“emtTuFlag(idx)＝checkFunc()”用于识别所选择的变换类型，其中弱emtTuFlag(420)值满足，则下一步骤为解析(422)来自比特流的指示水平和垂直变换类型的变换类型索引emtTuIdx。否则，若emtTuFlag(420)值不满足，则通过将emtTuIdx分配给零来选择默认的变换类型。
另一实施例包括与图4所描述的相同的处理步骤，但不同之处在于，在隐藏条件(410)不满足的情况下，emtTuFlag值被设置为不满足。具体地，通过将emtTuIdx分配给零来选择默认的变换类型。
图5示出了根据本发明另一实施例的解码方法的流程图。
相对于图4的实施例，该实施例中有不同的默认变换，所述变换中的每一个都应用于垂直和水平方向，并分别根据两种情况来进行选择：
-隐藏条件不满足；
-隐藏条件满足，但emtTuIdx为零。
例如，当隐藏条件(510)不满足时，emtTuIdx(513)为-1，DCT2应用于水平和垂直方向。在另一种情况下，若隐藏条件(510)满足，但emtTuFlag为零(523)，则在水平和垂直两个方向上都应用DST2。图5的其余步骤对应于图4的步骤。
图6示出了根据本发明又一实施例的解码方法的流程图。
该实施例中引入了额外的条件校验。这个实施例的理念依赖于在编码和解码期间以相同顺序处理TU。若在处理顺序内连续处理的几个TU被指示具有默认变换类型，则假定其余的TU具有相同的默认变换类型，并且禁用其余TU的信令，从而减少开销。可禁止TU级别信令的这些连续处理的TU的数目由阈值TZC定义。
下面详细描述图6实施例相对于图4实施例的修改。在步骤605中，保持当前数量的emtTuFlag等于零的连续处理的TU的计数器变量“zero_counter”初始化为“0”。在步骤606中，将“zero_counter”值与阈值TZC进行比较。若“zero_counter”大于或等于阈值TZC，则假定其余的TU具有相同的默认变换类型，并且emtTuIdx设置为“0”(607)。否则，执行对应于图4中的参考的410的隐藏条件(610)校验。从图6的流程图可以看出，“zero_counter”和TZC之间的比较结果控制给定CU或PU中的其余TU的处理。相对于图4的另一个修改为：若TU具有非零emtTuFlag，则将“zero_counter”重置为零(621)。否则，若TU具有零emtTuFlag，则“zero_counter”递增(624)。
图5和图6的实施例也可以结合。
在可选实施例中，emtCUFlag可被移除。通过去除这样的CU级别标志进行变换所带来的最重要的好处是，当考虑到两个不同变体的RD成本，即标志值为0和1时，由于避免双程方案而可能降低计算复杂度。另一方面，若CU中的一个变换比其他变换更频繁地被选择，则CU级别标志的存在可以最大程度减小信令成本。因此，这两种选择都可用于各自的优化目标，即降低复杂度或增加编码增益。
本发明解决了当所有变换，包括DCT-II(DCT2_EMT)在TU级别上可用时减少信令开销的问题。这是通过使用数据隐藏来发送信号通知是否使用DCT-II(或其他预测模式的变换，预测块的尺寸等)来实现的。本发明在其多媒体编码实施例中具有以下优势：
-可用于与下一代视频编码标准的基础的JEM兼容的混合视频编码框架中的许多潜在应用。
-与使用CABAC编码该标志相比，它提供了与JEM1相比更低的BD率和主观质量改进。
-每个TU都可以单独处理而不需要在CU级别上作出决定。
-可以避免冗余信令(语法)，如emtCuFlag。
图7示出了根据本发明实施例的用于使用量化变换系数112将源图像101编码成输出比特流114的方法700。
该方法包括：从源图像(101和301)获得(701)位于变换单元(transform unit，简称TU)中的输入数据(303)。
该方法包括：根据从一组变换类型(305和310)中选择的变换类型，将输入数据(303)变换(702)为变换系数(110、306和311)。
该方法包括：量化(703)变换系数(110、306和311)以生成量化的变换系数(112、308和313)。
该方法包括：生成(704)用于识别所述一组变换类型(305和310)中的所选变换类型的索引信息。
该方法包括：确定(705)待隐藏信息，其中所述待隐藏信息为索引信息的至少一部分。
该方法包括：隐藏(706)待隐藏在量化变换系数(112、308和313)中的信息。
图8示出根据本发明另一实施例的用于使用逆变换的变换系数将输入比特流(201)解码成解码图像(212)的方法800。
该方法包括：从输入比特流(201)获得(801)位于变换单元(transform unit，简称TU)中的量化变换系数。
该方法包括：对量化变换系数进行逆量化(802)以生成变换系数(210)。
该方法包括：从量化变换系数重构(803)隐藏信息，其中隐藏信息为索引信息的至少一部分。该方法包括：根据通过索引信息从一组变换类型中识别的变换类型，将变换系数(210)逆变换(804)为逆变换的变换系数(212)。
已经结合作为实例的不同实施例以及实施方案描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其他变体。在权利要求以及描述中，术语“包括”不排除其他元件或步骤，且“一个”并不排除复数可能。单个元件或其他单元可满足权利要求书中所叙述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的组合不能在有利的实现方式中使用。

Claims (22)

1.编码器(100和300)，用于使用量化的变换系数(112、308和313)将源图像(101和301)编码为输出比特流(114和318)，其特征在于，包括：
-获取装置(102、104、106和302)，用于从源图像(101和301)获得位于变换单元(transform unit，简称TU)中的输入数据(303)；
-变换装置(109、305和310)，用于根据从一组变换类型(305和310)中选择的变换类型将所述输入数据(303)变换为变换系数(110、306和311)；
-量化装置(111、307和312)，用于量化所述变换系数(110、306和311)，以生成量化的变换系数(112、308和313)；
-计算装置(315)，用于生成用于识别所述一组变换类型(305和310)中所选择的变换类型的索引信息，并确定待隐藏信息，其中所述待隐藏信息为索引信息的一部分；
-隐藏装置(319)，用于隐藏待隐藏在量化的变换系数(112、308和313)中的信息；
-信令装置(320)，用于在输出比特流(114和318)中添加作为索引信息的另一部分的信令信息，使得在该组变换类型(305和310)中选择的变换类型可基于隐藏的信息和信令信息识别。
2.根据权利要求1所述的编码器，其特征在于，
所述隐藏装置(319)用于根据隐藏条件隐藏待隐藏在量化的变换系数(112、308和313)中的信息。
3.根据权利要求2所述的编码器，其特征在于，
所述隐藏条件包括将取决于量化变换系数(112、308和313)的参数与阈值进行比较；
所述隐藏装置(319)用于校验隐藏条件，并用于仅当隐藏条件满足时隐藏待隐藏在量化变换系数(112、308和313)中的信息。
4.根据权利要求3所述的编码器，其特征在于，
若隐藏条件不满足，则信令装置(320)用于在输出比特流(114和318)中添加作为索引信息的信令信息。
5.根据权利要求1至4任一项所述的编码器，其特征在于，包括：
分割装置(102)，用于根据等级分层数据结构对所述源图像(101)进行递归分割，其中所述数据结构的一层为所述变换单元(transform unit，简称TU)，其中，
-所述隐藏装置(319)用于隐藏待隐藏在数据结构的第一层中的信息的第一部分，和待隐藏在数据结构第二层中的信息的第二部分，其中所述第二层不同于与所述第一层；或
-待隐藏信息为索引信息的一部分，所述隐藏装置(319)用于隐藏待隐藏在数据结构的第一层中的信息，所述信令装置(320)用于在所述输出比特流(114和318)中添加与第一层不同的所述数据结构的第二层中作为所述索引信息的另一部分的信令信息。
6.根据权利要求1至4任一项所述的编码器，其特征在于，包括：
分割装置(102)，用于根据等级分层数据结构对所述源图像(101)进行递归分割，其中所述数据结构的一层为所述变换单元(transform unit，简称TU)，其中，
所述分割装置(102)用于将变换单元(transform unit，简称TU)分割成多个系数组(coefficient group，简称CG)；
所述隐藏装置(319)用于隐藏待隐藏在位于多个系数组(coefficient group，简称CG)中的至少一个中的量化变换系数(112、308和313)中的信息。
7.根据权利要求1至4任一项所述的编码器，其特征在于，
所述计算装置(315)用于：
-对量化变换系数(112、308和313)应用校验函数以获得校验函数的结果；
-确定校验函数的结果是否对应于待隐藏信息；
-若否，则修改量化变换系数(112、308和313)中的至少一个，使得校验函数的结果对应于待隐藏信息。
8.根据权利要求1至4任一项所述的编码器，其特征在于，
待隐藏信息包括具有第一和第二值的标志；
所述第一值标识该组变换类型(305和310)的默认变换类型为所选变换类型；
所述第二值指示所选择的变换类型包括在由所述一组变换类型(305和310)组成的子集中，而没有默认变换类型。
9.解码器(200)，用于使用逆变换的变换系数将输入比特流(201)解码为解码图像(212)，其特征在于，包括：
-获取装置(202、204和206)，用于从输入比特流(201)获得位于变换单元(transformunit，简称TU)中的量化变换系数；
-去量化装置(209)，用于对量化的变换系数进行去量化以生成变换系数(210)；
-计算装置(208)，用于从所述量化变换系数重构隐藏信息，其中所述隐藏信息为索引信息的一部分；
-逆变换装置(211)，用于根据借助于索引信息从一组变换类型中识别的变换类型将变换系数(210)逆变换为逆变换的变换系数(212)；
-提取装置，用于从输入比特流(201)提取作为索引信息的另一部分的信令信息，从而基于隐藏信息和信令信息从变换类型集合中识别变换类型。
10.根据上述权利要求9所述的解码器，其特征在于，
所述计算装置(208)用于根据隐藏条件从量化变换系数重构隐藏信息。
11.根据权利要求10所述的解码器，其特征在于，
所述隐藏条件包括将取决于量化变换系数的参数与阈值进行比较；
所述计算装置(208)用于校验隐藏条件，并且用于仅当隐藏条件满足时从量化变换系数重构隐藏信息。
12.根据权利要求11所述的解码器，其特征在于，
若隐藏条件不满足，则所述提取装置用于从输入比特流(201)中提取作为索引信息的信令信息。
13.根据权利要求9至12任一项所述的解码器，其特征在于，包括：
逆分割装置，用于通过对等级分层数据结构进行逆分割来获得解码图像(212)，其中所述数据结构的一层为变换单元(transform unit，简称TU)，
其中：
-所述计算装置(208)用于从所述数据结构的第一层重构所述隐藏信息的第一部分，并从所述数据结构的第二层重构所述隐藏信息的第二部分，其中所述第二层不同于所述第一层；或
-待隐藏信息为索引信息的一部分，所述计算装置(208)用于重构数据结构的第一层中的隐藏信息，所述提取装置用于从所述输入比特流(201)中提取与第一层不同的所述数据结构的第二层中作为所述索引信息的另一部分的信令信息。
14.根据权利要求9至12任一项所述的解码器，其特征在于，包括：
逆分割装置，用于通过对等级分层数据结构进行逆分割来获得解码图像(212)，其中所述数据结构的一层为变换单元(transform unit，简称TU)，其中，
所述逆分割装置用于通过对多个系数组(coefficient group，简称CG)进行逆分割来获得变换单元(transform unit，简称TU)；
所述计算装置(208)用于从位于多个系数组(coefficient group，简称CG)中至少一个的量化变换系数重构隐藏信息。
15.根据上述权利要求9至12任一项所述的解码器，其特征在于，
所述计算装置(208)用于：
-对量化变换系数应用校验函数以获得校验函数的结果，其中，
校验函数的结果对应于隐藏信息。
16.根据上述权利要求9至12任一项所述的解码器，其特征在于，
待隐藏信息包括具有第一和第二值的标志；
所述第一值标识该组变换类型的默认变换类型为所标识的变换类型；
所述第二值指示所标识的变换类型包括在由所述一组变换类型组成的子集中，而没有默认变换类型。
17.编码方法(700)，用于使用量化的变换系数(112)将源图像(101)编码为输出比特流(114)，其特征在于，包括：
-从源图像(101和301)获得(701)位于变换单元(transform unit，简称TU)中的输入数据(303)；
-根据从一组变换类型(305和310)中选择的变换类型，将输入数据(303)变换(702)为变换系数(110、306和311)；
-量化(703)变换系数(110、306和311)以生成量化的变换系数(112、308和313)；
-生成(704)用于识别所述一组变换类型(305和310)中的所选变换类型的索引信息；
-确定(705)待隐藏信息，其中所述待隐藏信息为索引信息的一部分；
-隐藏(706)待隐藏在量化变换系数(112、308和313)中的信息；
-在输出比特流(114和318)中添加作为索引信息的另一部分的信令信息，使得在该组变换类型(305和310)中选择的变换类型可基于隐藏的信息和信令信息识别。
18.解码方法(800)，用于使用逆变换的变换系数将输入比特流(201)解码为解码图像(212)，其特征在于，包括：
-从输入比特流(201)获得(801)位于变换单元(transform unit，简称TU)中的量化变换系数；
-对量化变换系数进行逆量化(802)以生成变换系数(210)；
-从量化变换系数重构(803)隐藏信息，其中隐藏信息为索引信息的一部分；
-根据通过索引信息从一组变换类型中识别的变换类型，将变换系数(210)逆变换(804)为逆变换的变换系数(212)；
-从输入比特流(201)提取作为索引信息的另一部分的信令信息，从而基于隐藏信息和信令信息从变换类型集合中识别变换类型。
19.根据权利要求18所述的方法，其特征在于，所述从量化变换系数重构(803)隐藏信息，包括：
-根据隐藏条件从量化变换系数重构隐藏信息；其中，所述隐藏条件包括将取决于量化变换系数的参数与阈值进行比较。
20.根据权利要求18或19所述的方法，其特征在于，所述从量化变换系数重构(803)隐藏信息，包括：
-对量化变换系数应用校验函数以获得校验函数的结果，其中，校验函数的结果对应于隐藏信息。
21.根据权利要求20所述的方法，其特征在于，所述校验函数为：使用二进制模式从TU中选择的一些非零量化变换系数QTC的最低有效位所应用的奇偶校验函数。
22.根据权利要求20所述的方法，其特征在于，所述校验函数为：最后或第一非零量化变换系数QTC位置索引或者最后和第一非零量化变换系数QTC位置索引的线性组合所应用的奇偶校验函数。
CN201580082446.6A 2015-12-23 2015-12-23 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备 Active CN107925763B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2015/000921 WO2017111648A1 (en) 2015-12-23 2015-12-23 Method and apparatus for transform coding with block-level transform selection and implicit signaling within hierarchical partitioning

Publications (2)

Publication Number Publication Date
CN107925763A CN107925763A (zh) 2018-04-17
CN107925763B true CN107925763B (zh) 2020-01-10

Family

ID=56464267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580082446.6A Active CN107925763B (zh) 2015-12-23 2015-12-23 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备

Country Status (10)

Country Link
US (1) US20180262777A1 (zh)
EP (1) EP3335422B1 (zh)
JP (1) JP6595711B2 (zh)
KR (1) KR102143908B1 (zh)
CN (1) CN107925763B (zh)
AU (1) AU2015417837B2 (zh)
CA (1) CA2998468C (zh)
MY (1) MY188166A (zh)
RU (1) RU2682838C1 (zh)
WO (1) WO2017111648A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10623777B2 (en) * 2016-02-16 2020-04-14 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
WO2018011345A1 (en) * 2016-07-14 2018-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Predictive picture coding using transform-based residual coding
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10728548B2 (en) 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US10750181B2 (en) 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
JP7334730B2 (ja) * 2018-03-30 2023-08-29 ソニーグループ株式会社 画像処理装置および方法
US10986340B2 (en) * 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
US10666981B2 (en) 2018-06-29 2020-05-26 Tencent America LLC Method, apparatus and medium for decoding or encoding
US10687081B2 (en) 2018-06-29 2020-06-16 Tencent America LLC Method, apparatus and medium for decoding or encoding
JP7127160B2 (ja) * 2018-07-02 2022-08-29 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 依存スカラー量子化に好適な変換係数のエントロピーコーディング
US11259052B2 (en) * 2018-07-16 2022-02-22 Qualcomm Incorporated Transform variations of multiple separable transform selection
CN115379211B (zh) * 2018-09-02 2024-06-04 Lg电子株式会社 对视频信号进行解码/编码的方法和计算机可读存储介质
BR112021005238A2 (pt) * 2018-09-20 2021-06-15 Nokia Technologies Oy um método e um aparelho para codificação e decodificação de material de imagem/vídeo digital
WO2020073882A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Video decoder and corresponding methods
US10893286B2 (en) * 2018-10-09 2021-01-12 Tencent America LLC Methods and apparatus for low-complexity MTS
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
EP4447442A2 (en) * 2018-12-21 2024-10-16 Samsung Electronics Co., Ltd Video encoding method and device, and video decoding method and device
KR20240052873A (ko) 2019-03-03 2024-04-23 후아웨이 테크놀러지 컴퍼니 리미티드 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법
US11363306B2 (en) * 2019-04-05 2022-06-14 Comcast Cable Communications, Llc Methods, systems, and apparatuses for processing video by adaptive rate distortion optimization
CN110072109B (zh) * 2019-04-25 2021-04-09 四川大学 宏块级最小化失真的h.264/avc视频信息隐藏方法
CN113994666A (zh) * 2019-06-06 2022-01-28 北京字节跳动网络技术有限公司 隐式选择变换候选
JP6912522B2 (ja) * 2019-06-24 2021-08-04 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7381722B2 (ja) 2019-09-02 2023-11-15 北京字節跳動網絡技術有限公司 カラーフォーマットに基づいたコーディングモード決定
KR102302755B1 (ko) * 2019-12-30 2021-09-16 재단법인 경주스마트미디어센터 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
EP4087253A4 (en) * 2019-12-30 2023-01-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. TRANSFORMATION PROCESS, ENCODER, DECODER, AND STORAGE MEDIA
WO2021137633A2 (ko) * 2019-12-30 2021-07-08 재단법인 경주스마트미디어센터 Drm 콘텐츠 병렬 패키징 장치 및 이를 포함하는 drm 콘텐츠 병렬 패키징 시스템 및 drm 콘텐츠 병렬 패키징 방법
CN114079772B (zh) * 2020-08-21 2023-04-07 腾讯科技（深圳）有限公司 视频解码方法、装置、计算机可读介质及电子设备
CN113824957B (zh) * 2020-09-27 2022-10-28 腾讯科技（深圳）有限公司 视频编解码方法、装置及电子设备
CN112533000B (zh) * 2020-10-16 2022-08-05 腾讯科技（深圳）有限公司 视频解码方法、装置、计算机可读介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223540A (zh) * 2011-07-01 2011-10-19 宁波大学 一种面向h.264/avc视频的信息隐藏方法
CN104683811A (zh) * 2013-11-29 2015-06-03 中国科学院声学研究所 一种基于整数dct系数调制的信息隐藏及提取方法
CN105075270A (zh) * 2013-03-25 2015-11-18 高通股份有限公司 在视频译码中停用正负号数据隐藏

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2219152B1 (en) * 1999-01-25 2018-07-04 Nippon Telegraph And Telephone Corporation Digital watermark embedding and detecting method
MXPA05002002A (es) * 2002-08-21 2005-04-28 Thomson Licensing Sa Datos digitales de marca de agua en un dispositivo del usuario.
JP4124366B2 (ja) * 2004-09-17 2008-07-23 大日本印刷株式会社 電子透かしの埋め込み方法および抽出方法
US8149451B2 (en) * 2007-07-18 2012-04-03 Ricoh Company, Ltd. Information processing device, information embedding method, and program
KR101571573B1 (ko) * 2007-09-28 2015-11-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 부가적인 정보 역량을 이용한 멀티미디어 코딩 및 디코딩
KR20110106402A (ko) * 2009-01-27 2011-09-28 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
US9313498B2 (en) 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
EP2675159B1 (en) 2012-06-15 2018-08-08 BlackBerry Limited Multi-bit information hiding using overlapping subsets
WO2014084656A1 (ko) * 2012-11-29 2014-06-05 엘지전자 주식회사 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
CN106063274B (zh) * 2014-04-01 2020-02-14 华为技术有限公司 多层结构化编码单元中数据隐藏的方法和装置
US9208534B2 (en) * 2014-05-07 2015-12-08 Cisco Technology Inc. System and method for embedding data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223540A (zh) * 2011-07-01 2011-10-19 宁波大学 一种面向h.264/avc视频的信息隐藏方法
CN105075270A (zh) * 2013-03-25 2015-11-18 高通股份有限公司 在视频译码中停用正负号数据隐藏
CN104683811A (zh) * 2013-11-29 2015-06-03 中国科学院声学研究所 一种基于整数dct系数调制的信息隐藏及提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Description of video coding technology proposal by France Telecom，NTT，NTT DOCOMO，Panasonic and Technicolor;AMONOU(FT) I ET AL;《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16》;20100413;第1-4节，附图1 *
Scalar-quantization-based Multi-layer Data Hiding for Video Coding Applications;FILIPPOV ALEXEY ET AL;《2014 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING CONFERENCE，IEEE》;20141207;第3节，附图3 *

Also Published As

Publication number Publication date
KR20180048809A (ko) 2018-05-10
EP3335422A1 (en) 2018-06-20
KR102143908B1 (ko) 2020-08-28
US20180262777A1 (en) 2018-09-13
WO2017111648A1 (en) 2017-06-29
AU2015417837B2 (en) 2019-07-18
AU2015417837A1 (en) 2018-03-22
CN107925763A (zh) 2018-04-17
BR112018008131A2 (pt) 2018-11-06
RU2682838C1 (ru) 2019-03-21
CA2998468C (en) 2021-02-16
MY188166A (en) 2021-11-24
EP3335422B1 (en) 2021-12-01
JP6595711B2 (ja) 2019-10-23
JP2018530970A (ja) 2018-10-18
CA2998468A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN107925763B (zh) 等级分割中的块级别变换选择和隐式信令的编码变换方法和设备
CN110024398B (zh) 针对屏幕远程处理场景的局部的基于散列的运动估计
CN109089117B (zh) 编码或解码视频数据的方法及装置
CN107710759B (zh) 转换系数编解码的方法及装置
CN108605132B (zh) 选择扫描顺序的方法和装置
CN111819853A (zh) 变换域中预测的信令残差符号
KR101855542B1 (ko) 예제 기반 데이터 프루닝을 이용한 비디오 부호화
US8285064B2 (en) Method for processing images and the corresponding electronic device
US20190238843A1 (en) Devices and methods for video coding
US20110243220A1 (en) Method and apparatus for encoding and decoding image and method and apparatus for decoding image using adaptive coefficient scan order
US20060251177A1 (en) Error concealment and scene change detection
CN115104308A (zh) 视频编解码的方法和装置
CN108605133B (zh) 选择扫描顺序的方法和装置
KR102553665B1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US20190191166A1 (en) Method for processing video signal on basis of arbitrary partition transform
US20140092982A1 (en) Scan pattern determination from base layer pixel information for scalable extension
US11647228B2 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
US20240127488A1 (en) Image transmisstion method based on accumulation of region of interest
BR112018008131B1 (pt) Codificador para codificação de uma imagem de fonte, e decodificador e método para decodificar um fluxo de bits de entrada

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant