CN109451311B - 视频数据编码、解码装置以及方法 - Google Patents

视频数据编码、解码装置以及方法 Download PDF

Info

Publication number
CN109451311B
CN109451311B CN201811267447.XA CN201811267447A CN109451311B CN 109451311 B CN109451311 B CN 109451311B CN 201811267447 A CN201811267447 A CN 201811267447A CN 109451311 B CN109451311 B CN 109451311B
Authority
CN
China
Prior art keywords
array
data values
video data
skip mode
transform skip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811267447.XA
Other languages
English (en)
Other versions
CN109451311A (zh
Inventor
詹姆斯·亚历山大·戈梅
卡尔·詹姆斯·沙曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109451311A publication Critical patent/CN109451311A/zh
Application granted granted Critical
Publication of CN109451311B publication Critical patent/CN109451311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了视频数据编码、解码装置以及方法。一种视频数据解码装置包括：去量化器，通过将去量化参数应用于每个数据值来去量化编码视频数据值的阵列以生成去量化数据值；逆频率变换器，将逆频率变换应用于去量化的数据值；以及检测器，检测变换跳过模式是否能应用于编码视频数据值的阵列；并且控制逆频率变换器以将逆频率变换应用于去量化的数据值；并且如果检测到变换跳过模式能应用于编码视频数据值的阵列，控制量化器以应用去量化参数，对于每个编码数据值的阵列，该去量化参数独立于阵列内的每个数据值的位置，并且控制逆频率变换器以将逆频率变换应用于去量化的数据值。

Description

视频数据编码、解码装置以及方法
本申请的原专利申请是国际申请日2014年9月24日、国际申请号PCT/GB2014/052902的国际申请于2016年3月24日进入国家阶段的申请号为201480052828.X、发明名称为“数据编码和解码”的分案申请，其全部内容结合于此作为参考。
相关申请的交叉引用
本申请要求于2013年9月25日在英国知识产权局提交的GB1317041.0的在先提交日的权益，通过引用将其全部内容结合于本文中。
技术领域
本公开涉及数据编码和解码。
背景技术
本文中提供的“背景技术”的描述是为了概括地呈现本公开内容的背景。就在该背景技术部分描述的程度而言，目前署名的发明人的工作以及申请时未以其他方式视为现有技术的说明方面，既没有明确地也没有隐含地承认作为相对于本发明的现有技术。
存在若干种视频数据压缩和解压缩系统，其涉及将视频数据变换成频域表示，量化频域系数，并且然后将熵编码的一些形式应用到量化系数。
在编码器侧至空间频域的变换对应于在解码器侧的逆变换。示例性变换包括所谓的离散余弦变换(DCT)和所谓的离散正弦变换(DST)。在一些实例中，通过使输入采样的阵列(从待编码的视频数据得到的)矩阵与变换系数的矩阵进行矩阵相乘以产生频率变换的数据来进行变换。通过使频率变换的数据的阵列与逆变换系数的矩阵进行矩阵相乘，频率变换的数据被转换回采样数据，从采样数据可以得到输出视频数据。
诸如所谓的高效率视频编码(HEVC)标准的一些标准和操草拟标准限定了实际上不使用空间频率变换的编码和解码模式。有时这些称为“变换跳过”或者“变换-量化跳过”(“trans-quant”是“变换和量化”的缩写)模式。
发明内容
本公开的一方面提供一种视频数据解码装置，所述视频数据解码装置被配置为对编码视频数据值的阵列进行解码，所述视频数据解码装置包括：
去量化器，被配置为通过将去量化参数应用于每个数据值来去量化所述编码视频数据值的阵列，从而生成相应的去量化数据值；
逆频率变换器，被配置为将逆频率变换应用于所述去量化数据值；以及
检测器，被配置为检测变换跳过模式是否能应用于所述编码视频数据值的阵列；其中：
如果所述检测器检测到所述变换跳过模式不能应用于所述编码视频数据值的阵列，所述检测器控制所述去量化器以应用能根据所述阵列内的每个数据值的位置在编码数据值的阵列中的数据值之间变化的去量化参数，并且所述检测器控制所述逆频率变换器以将逆频率变换应用于所述去量化数据值；以及
如果所述检测器检测到所述变换跳过模式能应用于所述编码视频数据值的阵列，所述阵列是4×4阵列，所述检测器控制所述去量化器以应用对于编码数据值的4×4阵列而独立于所述阵列内的每个数据值的位置的去量化参数，并且所述检测器控制所述逆频率变换器不将逆频率变换应用于所述去量化数据值；以及
如果所述检测器检测到所述变换跳过模式能应用于所述编码视频数据值的阵列，该阵列是以下中的一个：8×8阵列、16×16阵列以及32×32阵列，所述检测器控制所述去量化器以应用对于编码数据值的8×8阵列、16×16阵列或32×32阵列而独立于所述阵列内的每个数据值的位置的去量化参数，并且所述检测器控制所述逆频率变换器不将逆频率变换应用于所述去量化数据值。
应当理解，前述一般性描述和以下具体实施方式是示例性的而不是对本公开的限制。
附图说明
将容易获得本公开的更全面理解以及本公开伴随的许多优点，因为参照在结合附图进行考虑时对实施方式的以下描述，这些将变得更好理解，其中：
图1示意性地示出了使用视频数据压缩和解压缩的音频/视频(A/V)数据传输和接收系统；
图2示意性地示出了利用视频数据解压缩的视频显示系统；
图3示意性地示出了利用视频数据压缩和解压缩的音频/视频存储系统；
图4A示意性地示出使用视频数据压缩的摄影机；
图4B示意性地更详细示出了示例性摄影机；
图4C示意性地示出另一示例性摄像机；
图4D和图4E示意性地示出数据载体；
图5提供视频数据压缩和解压缩装置的示意图；
图6示意性地示出了预测图像的生成；
图7示意性地示出了最大编码单元(LCU)；
图8示意性地示出了四个编码单元(CU)的集合；
图9和图10示意性地示出了图8的编码单元被细分成更小编码单元；
图11示意性地示出了预测单元(PU)的阵列；
图12示意性地示出了变换单元(TU)的阵列；
图13示意性地示出了缩放列表的使用；
图14示意性地示出了编码器和/或解码器的部分；
图15示意性地示出了采样的阵列；
图16示意性地示出频率分离的系数的阵列；
图17示意性地示出了图16的阵列内的趋势；
图18示意性地示出了反向扫描；
图19示意性地示出缩放列表内的趋势；
图20示意性地示出了图像像差；
图21是示出了编码操作的部分的示意性流程图；
图22是示出了解码操作的部分的示意性流程图；
图23示意性地示出了编码器和/或解码器的部分；
图24是示出了编码和/或解码操作的部分的示意性流程图；
图25示意性地示出了编码器和/或解码器的部分；以及
图26是示出了编码和/或解码操作的部分的示意性流程图。
具体实施方式
现在参考附图，图1至图4E被提供以给出利用压缩及/或解压缩装置的装置或系统的示意图，以下结合实施方式对压缩及/或解压缩装置进行描述。
下面将要描述的所有数据压缩和/或解压缩装置可以以硬件、运行在诸如通用计算机、如专用集成电路(ASIC)或者现场可编程门阵列(FPGA)或者其组合的可编程硬件的通用数据处理装置上的软件实施。在由软件和/或固件实现实施方式的情况下，应当理解，这样的软件和/或固件以及存储有或以另外的方式提供这样的软件和/或固件的非临时性机器可读数据存储介质被视为实施方式。
图1示意性地示出了利用视频数据压缩和解压缩的音频/视频数据传输和接收系统。
输入的音频/视频信号10被提供给视频数据压缩装置20，视频数据压缩装置压缩音频/视频信号10的至少视频成分以用于沿着诸如电缆、光纤、无线链路等传输路径30进行传输。压缩信号被解压缩装置40处理以提供输出音频/视频信号50。对于返回路径，压缩装置60压缩音频/视频信号以沿着传输路径30传输到解压缩装置70。
压缩装置20和解压缩装置70由此能够形成传输链路的一个节点。解压缩装置40和压缩装置60能够形成传输链路的另一节点。当然，在传输链路为单向的情况下，一个节点仅需要压缩装置并且另一节点仅需要解压缩装置。
图2示意性地示出了使用视频数据解压缩的视频显示系统。具体地，压缩的音频/视频信号100被解压缩装置110处理，以提供能够在显示器120上显示的解压缩信号。解压缩装置110可以实施为显示器120的组成部分，例如，与显示设备设置在同一壳体内。可替换地，解压缩装置110可被提供为(例如)所谓的机顶盒(STB)，注意：表述「机上」并非暗示机盒需相对于显示器120设置在任何特定方位或位置；其仅为本技术中所使用的、用以指示可连接至显示器以当作外围设备的设备的术语。
图3示意性地示出了使用视频数据压缩和解压缩的音频/视频存储系统。输入的音频/视频信号130被提供给压缩装置140，压缩装置140生成用于被诸如磁盘设备、光盘设备、磁带设备、诸如半导体存储器的固态存储设备或者其他存储设备等存储设备150存储的压缩信号。在重放时，从存储设备150读取压缩数据并且将其传送到解压缩装置160以进行解压缩从而提供输出音频/视频信号170。
应当理解，压缩或者编码信号以及存储该信号的存储介质或者数据载体被视为实施方式。参考如下所述的图4D和图4E。
图4A示意性地示出使用视频数据解压缩的摄影机。在图4A中，诸如电荷耦合器件(CCD)图像传感器及相关的控制和读出电子设备等图像捕获设备180生成传送给压缩装置190的视频信号。麦克风(或者多个麦克风)200生成被传送给压缩装置190的音频信号。压缩装置190生成将被存储和/或传输(通常示出为示意性阶段220)的压缩的音频/视频信号210。
下面描述的技术主要涉及视频数据压缩。应当理解，许多现有技术可结合将要描述的视频数据压缩技术来用于音频数据压缩，以生成压缩的音频/视频信号。因此，将不提供对音频数据压缩的单独讨论。还应理解，与视频数据相关联的数据速率(尤其是广播质量视频数据)通常比与(无论是压缩或者未压缩的)音频数据相关联的数据速率高很多。因此，应当理解，未压缩的音频数据可与压缩的视频数据一起形成压缩的音频/视频信号。应当进一步理解，尽管本实例(图1至图4E中示出)涉及音频/视频数据，然而，下面将要描述的技术可以发现在只处理(即，压缩、解压缩、存储、显示和/或传输)视频数据的系统中使用。即，实施方式能够应用于视频数据压缩，而不必具有任何相关的音频数据处理。
图4B示意性地更详细地示出了示例性摄影机装置182。将不会进一步描述编号与图4A相同的那些特征。图4B是图4A的照相机的实例(在图4A的单元220提供存储能力的情况下)，其中压缩数据首先被缓冲器221缓冲并且然后存储在诸如磁盘、光盘、闪存、所谓的固态光盘驱动器(SSD)等的存储介质222中。应注意，图4B的配置可以实现为单个(物理)单元182。
图4C示意性地示出了另一示例性摄影机，在该摄影机中，代替图4B的存储器配置，提供网络接口223以便允许压缩数据被传输到另一单元(未示出)。网络接口223也可以允许输入数据(诸如，控制数据)被摄像机接收。应注意，图4C的配置可以实现为单个(物理)单元183。
图4D和图4E示意性地示出数据载体，例如，用作存储介质222并且携带根据在本申请中描述的压缩技术压缩的压缩数据。图4D示出了被实现为诸如闪存的固态存储器的可移除非易失性存储介质225的示意性实例。图4E示出实现为诸如光盘的磁盘介质的可移除非易失性存储介质226的示意性实例。
图5提供视频数据压缩和解压缩装置的示意图。
输入的视频信号300的连续图像被提供给加法器310和图像预测器320。下面将参考图6更详细地描述图像预测器320。事实上，加法器310执行减法(负相加)运算，即，在“+”输入端接收输入视频信号300并且在“-”输入端接收图像预测器320的输出，这样使得从输入图像中减去预测图像。结果是生成表示实际图像与预测图像之间差的所谓残差图像信号330。
生成残差图像信号的原因之一如下。将要描述的数据编码技术(即将要应用于残差图像信号的技术)趋向于在待编码的图像中存在较少“能量”时更有效地工作。此处，术语“有效地”指生成少量的编码数据；对于特定的图像质量水平，期望(并且视为“有效地”)实际上生成尽可能少的数据。提及的残差图像中的“能量”涉及包含在残差图像中的信息量。如果预测图像与实际图像一致，两者之间的差(即，残差图像)将包含零信息(零能量)，并且非常容易编码成少量的编码数据。通常，如果预测过程工作得相当好，则可预期，残差图像数据将包含比输入图像更少的信息(更少能量)并且因此更容易编码成少量的编码数据。
残差图像数据330被提供给变换单元340，其用于生成残差图像数据的离散余弦变换(DCT)表示。DCT技术本身是公知的并且此处将不作详细描述。然而，下面将更详细地描述在本装置中使用的技术的方面。
应注意，在一些实施方式中，使用离散正弦变换(DST)来代替DCT。在其他实施方式中，可不使用变换。这可有选择地进行，使得例如在“变换跳过”命令或模式的控制下变换阶段实际上被避开。
变换单元340的输出(亦即，针对图像数据的各变换块的一组变换系数)被供应至量化器350。各种量化技术在视频数据压缩的领域中是公知的，从简单乘以量化比例因子至在量化参数的控制下应用复杂查找表。总的目标是双重的。首先，量化过程减少了变换数据的可能值的数目。其次，量化过程能够增加变换数据的值为零的可能性。这两者可以使熵编码过程在生成少量压缩视频数据中更有效地工作。
根据下面进一步讨论的技术，控制器345控制变换单元340以及量化器350(以及它们相应的逆单元)的操作。应注意，控制器345还可以控制图5的装置的操作的其他方面。
通过扫描单元360应用数据扫描过程。扫描过程的目的是对量化变换数据重新排序，从而使尽可能多的非0量化变换系数聚集在一起，当然，由此使尽可能多的0值系数聚集在一起。这些特征能够允许所谓的行程长度编码或类似的技术被有效地应用。因此，扫描过程涉及从量化变换数据选择系数，具体地，根据“扫描顺序”从对应于经变换和量化的图像数据的块的系数块中选择系数，使得：(a)一次选择所有系数作为扫描的一部分；以及(b)扫描趋向于提供期望的重新排序。能够趋于给出有用结果的一个示例扫描顺序是所谓的Z字形扫描顺序。然后，扫描系数被传送给熵编码器(EE)370。再次，可使用各种类型的熵编码。两个实例是所谓的CABAC(上下文自适应二进制算法编码)系统的变形和所谓的CAVLC(上下文自适应可变长度编码)系统的变形。总体而言，对于与CAVLC相比可相当的图像质量，CABAC被视为提供更佳的效率，并且在一些研究中被示出以提供编码输出数据的量减少10％-20％。然而，CAVLC被视为代表(在其实施方面)比CABAC低很多的复杂度。
应注意，扫描过程和熵编码过程被示出为单独的过程，但事实上，可以进行组合或者一起处理。即，读入到熵编码器的数据(或熵编码器进行数据处理)可以以扫描顺序来进行。相应的考虑因素应用于相应逆过程。
熵编码器370的输出以及额外数据(例如限定其中预测器320产生预测图像的方式)提供经压缩的输出视频信号380。
然而，因为预测器320自身的操作取决于压缩的输出数据的解压缩版本，所以还提供返回路径。
该特征的原因如下。在解压缩过程的合适阶段，生成残差数据的解压缩版本。此解压缩的残差数据被添加到预测图像中以生成输出图像(因为原始残差数据为输入图像与预测图像之间的差)。为了使该过程在压缩侧与解压缩侧之间具有可比较性，在压缩过程期间和在解压缩过程期间由预测器320生成的预测图像应当相同。当然，在解压缩时，该装置并不访问原始输入图像，而仅访问解压缩图像。因此，在压缩时，预测器320基于压缩图像的解压缩版本(至少，对图像间编码)进行预测。
由熵编码器370执行的熵编码过程被视为“无损耗”，即，熵编码过程可以逆转以精确达到与最初提供给熵编码器370的数据相同。因此，在熵编码阶段之前可以实施返回路径。事实上，由扫描单元360执行的扫描过程也被视为无损耗，但在本实施方式中，返回路径390为从量化器350的输出至互补逆量化器420的输入。
总体而言，熵解码器410、反向扫描单元400、逆量化器420和逆变换单元430提供熵编码器370、扫描单元360、量化器350和变换单元340的相应逆功能。现在，将继续讨论压缩过程；解压缩输入的压缩视频信号的过程对应于压缩过程的返回路径，因此解码装置或方法对应于这里描述的编码器的解码路径的特征或操作。
在压缩过程中，执行扫描单元360的逆操作的返回路径390将扫描系数从量化器350传送至逆量化器420。由单元420和430执行逆量化和逆变换过程以生成压缩-解压缩残差图像信号440。
在加法器450中，图像信号440与预测器320的输出相加以生成重构的输出图像460。这形成了图像预测器320的一个输入。
现转向应用于接收的压缩视频信号470的过程，在由加法器450将信号加到图像预测器320的输出之前，信号被提供给熵编码器410并且从此处提供到反向扫描单元400、逆量化器420以及逆变换单元430的链。在简单方面，加法器450的输出460形成输出解压缩视频信号480。实际上，在输出信号之前可进一步应用滤波。
因此，图5提供视频数据解码装置的实例，视频数据解码装置能操作以解码编码视频数据值的阵列，装置包括：去量化器,被配置为通过将去量化参数应用于每个数据值，来对编码视频数据值的阵列进行去量化从而生成相应的去量化数据值；以及逆频率变换器，被配置为将逆频率变换应用于去量化的数据值。图5还提供视频数据编码装置的实例，该视频数据编码装置能操作以变换跳过模式以及可选地非变换跳过模式编码输入视频数据值的阵列，如以下进一步讨论的，装置包括：频率变换器，被配置为将频率变换应用于输入视频数据值以生成频率变换输入数据值的阵列；以及量化器，被配置为通过将量化参数应用于每个频率变换的输入数据值，来量化频率变换的输入数据值从而生成相应的量化数据值。应注意，术语“可选地”被用于指示装置可以以变换跳过模式和非变换跳过模式操作，且通过以逐块的方式(诸如，逐个TU)或以其他方式进行选择，或者可以是不可以以非变换跳过模式操作的装置。
图6示意性地示出了预测图像的生成，具体地，示出了图像预测器320的操作。
存在两种基本预测模式：所谓的图像内(intra-image)预测和所谓的图像间(inter-image)或者运动补偿(MC)预测。
图像内预测是基于来自同一图像内的数据来预测图像的块的内容。这对应于其他视频压缩技术中的所谓I帧编码。相对于I帧编码(其中整个图像均被内编码)，在本实施例中，可以以逐块的方式来在图像内编码与图像间编码之间进行选择，但是在其他实施例中，仍以逐图像的方式进行选择。
运动补偿预测利用运动信息，运动信息尝试在另一相邻或附近的图像中定义要编码在当前图像中的图像细节的源。因此，在理想实例中，可以很简单地编码预测图像中的图像数据的块的内容作为指向相邻图像中的相同的或稍有不同的位置处的相应块的参考(运动矢量)。
返回图6，示出了两种图像预测配置(对应于图像内和图像间预测)，其结果在模式信号510的控制下由多路复用器500选择，以提供用于供给加法器310和450的预测图像的块。根据哪个选择给出最低“能量”(如上所述，可被视为需要编码的信息内容)来做出选择，并且将该选择作为编码输出数据流中的信号发送给编码器。例如，通过从输入图像中试验减去预测图像的两个版本的区域(area)，对差分图像的每个像素值求平方，对平方值求和，以及识别两个版本中的哪一个产生了有关该图像区域的差分图像的较低均方值，来检测该上下文中的图像能量。
内编码系统中的实际预测基于作为信号460的一部分被接收的图像块进行，即，预测基于编码-解码图像块，从而使得在解压缩装置中能够做出精确相同的预测。然而，通过内模式选择器520能够从输入视频信号300中得出数据以控制图像内预测器530的操作。
对于图像间预测，运动补偿(MC)预测器540使用诸如由运动估计器550从输入视频信号300得出的运动矢量的运动信息。这些运动矢量被运动补偿预测器540应用于重构图像460的处理版本，以生成图像间预测的块。
现将描述应用于信号460的处理。首先，由滤波器单元560滤波信号。这涉及应用“解块”滤波器以去除或者至少趋向于减少由变换单元340及后续操作执行的基于块处理的影响。此外，使用通过处理重构信号460和输入视频信号300得到的系数，来应用自适应环路滤波器。自适应环路滤波器是使用已知技术将自适应滤波器系数应用到要被滤波的数据的滤波器类型。即，滤波器系数能根据各种因素而变化。定义将要使用哪个滤波器系数的数据被包括作为编码输出数据流的一部分。
事实上，来自滤波器单元560的滤波输出形成输出视频信号480。其还缓冲在一个或者多个图像存储器570中；连续图像的存储是运动补偿预测处理的要求，并具体为运动矢量的生成的要求。为了节省存储要求，图像存储器570中的存储图像可保持成压缩形式并且然后在用于生成运动矢量时解压缩。对于这个特定的目的，可使用任何已知的压缩/解压缩系统。存储图像被传送给生成存储图像的分辨率更高版本的内插滤波器580；在本实例中，产生中间采样(samples)(子采样)，从而使得由内插滤波器580输出的内插图像的分辨率(在每个维度)是存储在图像存储器570中的图像的分辨率的8倍。内插图像作为输入被传送至运动估计器550以及运动补偿预测器540。
在实施方式中，提供另一可选阶段，即，使用乘法器600将输入视频信号的数据值乘以因子四(实际上仅将数据值向左移动两位)，并且使用除法器或者右移位器610在装置的输出处应用相应的除法运算(右移两位)。因此，左移和右移仅改变纯粹用于装置的内部操作的数据。因为降低了任何数据舍入误差的影响，所以该措施能够提供装置内更高的计算精度。
现将描述将图像分割以用于压缩处理的方式。在基本水平，将要压缩的图像视为采样的块的阵列。出于本讨论之目的，考虑的最大的此类块为所谓的最大编码单元(LCU)700(图7)，其表示64×64采样的正方形阵列。此处，本讨论涉及亮度采样。根据色度模式，诸如，4:4:4、4:2:2、4:2:0或者4:4:4:4(GBR加密钥数据)，存在对应于亮度块的相应色度采样的不同数目。
将描述三种基本类型的块：编码单元、预测单元以及变换单元。总体而言，LCU递归细分允许以这样一种方式分割输入图片，即，根据要被编码的图像的特定特征能够设置块大小和块编码参数(诸如，预测或者残差编码模式)。
LCU可以被细分为所谓的编码单元(CU)。编码单元始终是正方形并且具有8×8采样与LCU 700的整个大小之间的大小。编码单元能够布置为一种树结构，因此，如图8所示，可进行第一细分，给出32×32采样的编码单元710；然后在选择的基础上可进行后续细分，以给出16×16采样(图9)的某些编码单元720以及8×8采样(图10)的潜在某些编码单元730。总之，该过程能够提供CU块的内容自适应编码树结构，每个结构可以是与LCU一样大或者与8×8采样一样小。基于编码单元结构对输出视频数据进行编码。
图11示意性地示出了预测单元(PU)的阵列。预测单元是用于承载有关图像预测过程的信息的基本单元，或者换言之，将附加数据添加到熵编码残差图像数据以从图5中的装置形成输出视频信号。总之，预测单元并不局限于正方形形状。只要编码单元大于最小(8×8)大小，预测单元可以是其他形状，具体地，形成一个正方形编码单元的一半的矩形形状。目的是允许相邻预测单元的边界与图片中真实对象的边界(尽可能密切地)匹配，因此，不同的预测参数能够应用于不同真实对象。每个编码单元可包含一个或者多个预测单元。
图12示意性地示出了变换单元(TU)的阵列。变换单元是变换和量化过程的基本单元。变换单元始终是正方形并且可以采取从4×4到32×32采样的大小。每个编码单元可包含一个或者多个变换单元。图12中的缩写SDIP-P表示所谓的短距离帧内预测分区。在该布置中，仅使用一维变换，因此，4×N个块经过N次变换，其中输入数据的变换基于当前SDIP-P内的先前编码的相邻块和先前解码的相邻线。
在以上讨论的布置中，量化应用于频率分离的系数，例如，根据以下式子在变换单元(TU)中将系数幅值(分开保存系数符号)除以从能应用于该块的量化参数(Qp)得出的量化除数qStep：
qStep＝baseQStep[Qp％6]<<int(Qp/6)
在此，百分比符号％表示模函数，因此A％B等于A除以B时的余数。<<符号表示比特向左移位<<符号之后给出的值，因此，例如，<<3表示向左移动三个比特位置。变量baseQStep是指数的函数，在0和5之间变化，由Qp％6表示。因此，根据相关指数Qp％6应用(潜在)不同的baseQStep值。函数int表示整数值。
为了便于计算，在编码器的一些实施方式中预先计算baseQStep的倒数，并且向左移位数个比特，诸如，14比特，移至inverseQStep的给定值，该值然后乘以系数幅值。这样做的原因是与除运算相比，在一些配置中乘法运算更容易实现。
这给出了如下的结合运算：
输出＝((输入×inverseQStep)+舍入)>>qBits
其中qBits＝14+int(Qp/6)+transformShift
这里，transformShift表示针对通过变换过程施加的任何附加移位的补偿。
在一些实施方式中，所谓的缩放列表用作进一步改变能应用于TU中的不同系数的量化程度的机制。每个系数位置与缩放列表中的相应条目相关联。缩放列表值被用于改变量化除数。在一些实施方式中，十进制16的缩放列表值对应于无变化，也就是说其使除数保持不变。在一些实施方式中，缩放列表值用于修改在以上等式中使用的值，使得：
inverseQStep＝(inverseQStep<<4)/缩放列表值
以上引入了变量“舍入”。在向右移位q个位之前，增加值以对最终结果进行舍入。可通过很多方法应用舍入，诸如，舍入至最近的整数或者舍入至下一个更高的整数。
图13示意性地示出使用如上所讨论的缩放列表。由量化器350从变换单元340接收变换系数800。使用合适的缩放列表810(例如，选择以对应于图像压缩的块大小或者其他参数)。
如上所述，在缩放列表810中的条目与变换系数之间存在一对一的对应关系。地址产生器820提供地址以便查找每个变换系数和相应的缩放列表条目。这些与其他量化参数(诸如，以上讨论的那些)一起被传送至示意性地称为除法器830的单元。除法器830使用缩放列表条目和其他参数执行以上示出的计算以生成量化数据840。应注意，除法器实际上可以基于量化参数的倒数执行乘法运算，但总体效果与以上讨论的除法相同。
图14示意性地示出了编码器和/或解码器的部分，并且具体地，对应于在图5中示出的以及以上讨论的配置的一部分。为量化单元350和逆量化单元420提供相应的缩放列表(其可以是编码器的返回路径的部分或者可以是独立的解码器的部分)。在解码阶段，合适的缩放列表可被选择为其他编码参数的预定函数或者响应于压缩数据流中的或与压缩数据流相关联的数据进行选择，压缩数据流定义要使用的合适的缩放列表。
图15示意性地示出了采样的阵列。这些实际上表示如上讨论的残差图像330的采样，并且绘制在其合适的相对空间位置，也就是说，相对于图像内的那些采样的位置，采样900位于4×4相邻采样的阵列的左上角处，并且采样910位于这样的阵列的右下角处。
当然，应当理解的是，图15的4×4阵列只是个实例；在这里讨论的技术和属性能应用于各种不同尺寸的阵列，诸如，8×8、16×16、32×32等。实际上，尽管图15至图19中主要示出4×4阵列以使图更简单并且更容易领会，但在一些实施方式中，下面要描述的技术应用的阵列大小仅为8×8、16×16以及32×32。换言之，在那些实施方式中，下面要描述的计算实际上应用于4×4阵列。然而，将理解的是，为了清楚地进行解释，这里使用了4×4阵列的说明。应注意，阵列大小可以参照编码数据值(即，在这方面，在去量化器阶段的输入处的数据值)的阵列或者频率变换的输入数据值(即，在这方面，在量化器阶段的输入处的数据值)的阵列的大小。
通过变换单元340处理图15的采样以生成频率分离的系数。图16示意性地示出这种频率分离的系数的阵列。在此，阵列内的系数的位置表示与该系数对应的空间频率。按照惯例，所谓的DC系数920占用左上阵列位置。在图16的阵列内向右边移动表示增大的水平频率分量，并且朝向图16的阵列的底部移动表示增大的垂直频率分量。应注意，尽管这仅是以这种方式表示系数的阵列的惯例(而不是，例如，在右下角具有DC系数)，系数的排序与过程的其他部分技术相关。这样的原因由图16中的虚线箭头930示意性地示出，虚线箭头930指示在图16的阵列内从右下移动至左上位置对应于图像重构的系数越来越重要。即，为了重构图15的采样的阵列或块，图16的系数中最重要的一个是DC系数920，随后重要的是更下方的水平和垂直频率系数。
一般地说，该重要性趋势也可以对应于系数幅值的趋势，因为DC系数的幅值在从一采样块得出的一组系数内倾向于是最大的。图17示意性地示出了图16的阵列内的这种趋势，其中，越小的值倾向于朝向阵列的右下方并且越大的值倾向于朝向阵列的左上方。当然，系数的特定单独的阵列可能与该一般趋势不同。
以上讨论的趋势技术相关的一种方法涉及图5中的熵编码器370执行的熵编码阶段。应用于这类熵编码的一般原理是，通过在处理较大的幅度数据值之前处理块内较小的幅度数据值而更有效地操作。因此，在频率分离的系数经受熵编码(是否使用介入的量化阶段)的情况下，所谓的“反向扫描”模式被用于以合适的顺序选择数据以进行熵编码。图18示意性地示出了反向扫描的实例。该实例涉及所谓的反向对角线扫描，其根据示出的对角线扫描模式，开始于系数的阵列的右下角中的系数940并且前进到DC系数920。一般来说，这个模式意味着越小的值系数在越大的值系数之前被编码。
重要性的趋势还涉及缩放列表值，并且实际上这是缩放列表的一个目的以允许在阵列内的不同系数位置处应用不同的量化。一般地说，如在图19中示意性地示出的，缩放列表值(要量化或去量化的视频数据中的每个阵列位置的一个值或条目)在对应于DC系数的阵列位置处倾向于为最小，并且趋向于随着增大的水平和垂直空间频率而变得更大。应注意，越小的缩放列表值对应于宽松(less-harsh)的量化。
就频率变换的数据而言，这些技术可成功地工作。然而，如果不使用频率变换，例如，在所谓的“变换跳过”模式中(其中，如名字提示的，不采用频率变换)，则要量化的值的阵列内的数据不会表现出以上讨论的重要性或数值的趋势，并且通过逆变换处理遍布重构图象数据将量化的粗糙度的任何变化平滑掉。反而，缩放列表只会使变量量化的周期模式施加于图像上。在变换跳过块中，平滑的量化将会施加于左上部分，并且更粗糙的量化将会施加于右下部分，但在重构图像方面，变换跳过块内的所有图像位置同等重要，并且它们都对应于重构图像中相应的图像位置。因此，作为示意性采样，图20示意性地示出了如果缩放列表与尚未被频率变换的数据一起使用可以看到的一种类型的像差。每个块表现出朝向其左上角具有更高的图像质量，从而导致如示出的“鱼鳞”效果。
在本实施方式内提供各种选项来解决这个问题。
例如，在一些实施方式中，在变换跳过模式中，缩放列表的使用被禁止或阻止，以使得量化或去量化值独立于阵列内每个数据值的位置。例如，解码器可包括检测器(例如，通过控制器345实现)，该检测器被配置为检测变换跳过模式是否能应用于编码视频数据值的阵列；其中：如果检测器检测到变换跳过模式不能应用于编码视频数据值的阵列，检测器控制去量化器，以应用能根据阵列内的每个数据值的位置而在编码数据值的阵列中的数据值之间变化的去量化参数，并且控制逆频率变换器以将逆频率变换应用于去量化的数据值；并且如果检测器检测到变换跳过模式能应用于编码视频数据值的阵列，则检测器控制去量化器以应用去量化参数，对于编码数据值的每个阵列，该去量化参数独立于阵列内的每个数据值的位置，并且控制逆频率变换器以不将逆频率变换应用于去量化的数据值。在编码器侧，如果变换跳过模式不能应用于输入视频数据值的阵列，则控制器345控制频率变换器以应用频率变换，并且控制量化器以应用量化参数，该量化参数可以根据阵列内每个频率变换的输入数据值的位置而在频率变换的输入数据值的阵列中的数据值之间变化；并且如果变换跳过模式能应用于编码视频数据值的阵列，控制器345控制频率变换器不应用频率变换，并且通过应用量化参数控制量化器以量化输入视频数据值，对于输入数据值的每个阵列，该量化参数独立于阵列内的每个输入数据值的位置。
在一些实施方式中，代替使用表示不同的值对应于不同系数位置的缩放列表，使用包括完全一样的值的缩放列表(就是说，缩放列表中的每个缩放列表条目具有相同的数值)或者提供单值代替缩放列表，并且在每个系数的适当计算处使用单值代替缩放列表条目。例如，在变换跳过模式中可以使用这样的单值(或者类似的)。作为这些实施方式的可能的变形，单值(是否作为单独的值或者作为缩放列表等同物中的相同的值的多个实例发送或存储)可以根据例如阵列大小或视频信道而具有不同的单值。
缩放列表包括完全一样、彼此相同的值的实例示出如下：
16 16 16 16
16 16 16 16
16 16 16 16
16 16 16 16
这样的变换跳过模式缩放列表可以根据编码视频数据的一个或多个编码参数，选自两个以上不同的变换跳过模式缩放列表的集合(例如，通过控制器345)。可替换地，变换跳过模式缩放列表可以提供在包含编码数据值的阵列的数据流中。可替换地，如果没选择变换跳过模式，控制器可以从可供该数据值阵列使用的缩放列表的一个或多个值中，导出变换缩放列表的值，诸如，在该缩放列表中相应预先选定的位置处的一个或多个值。
首先，作为随后讨论的背景，图21是示出编码操作的部分的示意性流程图，以及图22是示出解码操作的对应部分的示意性流程图(其特征还应用于编码器的反向解码路径)。
参考图21，在步骤1000处，如果启用变换跳过模式(即，这样的模式在当前编码操作的上下文内是允许的)，则在步骤1010中，“变换跳过启用”标记与视频数据流相关联。在一个实例中，每一个帧可以提供一次这样的标记。如果设置了变换跳过启用标记，那么编码器将提供(并且解码器将会寻找)表示变换跳过是否已应用于该TU的逐个TU的标记。如果没有提供变换跳过启用标记，那么编码器将不会提供(并且解码器将不会寻找)逐个TU标记。
应注意，在一些编码器中，在该特定编码器的设计参数下，变换跳过模式可以是强制性的。在其他的编码器中，检测器(例如，通过控制器345实现的)可被配置为检测变换跳过模式是否能应用于输入视频数据值的当前阵列。
在步骤1020中，控制器345确定对于每个TU，是否使用变换跳过。在一些实例中，这可以通过测试变换跳过模式以及使用变换的其他模式并且根据成本函数的评估选择模式来进行，这可能会涉及就该模式而言产生的一个或多个数据量以及就该模式而言产生的数据误差。如果选择了变换跳过模式，然后控制进行至步骤1030，在步骤1030中，使用变换跳过模式对TU进行编码，并且然后进行至步骤1040，在步骤1040中，以上讨论的逐个TU标记被设为表示已使用变换跳过模式。
另一方面，如果在步骤1000中，变换跳过模式未启用，或者如果在步骤1020中，没有针对特定TU选择变换跳过模式，那么在步骤1050中使用频率变换对TU进行编码。
步骤1040和1050两者均将控制传递至最后步骤1060，在最后步骤1060中，使用编码数据以及(如果需要)使用标记和/或缩放列表值和/或单值形成输出数据流。
在图22中示意性地示出了相应的解码器操作。步骤1100检测是否通过检查变换跳过启用标记的最近实例而启用变换跳过模式。如果启用变换跳过模式，那么在步骤1110中，针对每个TU检查逐个TU标记。如果针对特定TU选择跳过模式，那么在不使用逆变换的情况下在步骤1120中解码TU。然而，如果针对TU没有选择跳过模式，或者(在步骤1100中)不能够启用跳过模式，那么在控制传递至步骤1120之前在步骤1130中应用逆变换。
图23以与图14类似的方式示意性地示出了编码器和/或解码器的一部分。实际上，许多部分是相同的并且这里将不会进一步进行描述。
例如，来自控制器345的控制信号被提供至多路复用器1200和示意性开关1210。控制信号表示变换跳过模式是否应用于当前TU。
如果变换跳过模式可应用，那么示意性开关1210闭合以便绕过变换单元340路由数据或者，换言之，防止变换单元340向当前数据块施加频率变换。类似地，控制多路复用器1200以使得代替缩放列表1220，提供能应用于所有数据阵列位置的单个数据值或者代入量化器350以用于代替缩放列表。因此，禁止使用缩放列表。
可以在包含编码数据值的阵列的数据流中提供单个数据值。可替换地，如果不选择变换跳过模式，控制器345可以从缩放列表的一个或多个值中得出单个数据值，就该编码视频数据值的阵列而言可应用该缩放列表。仅仅作为实例，可以使单个值等于缩放列表值，缩放列表值能应用于左上(DC)阵列值，或者可以是平均值，诸如，左上四个缩放列表值的平均值。可替换地，单个数据值可以根据编码视频数据的一个或多个编码参数，选自两个以上不同的单个数据值的集合。例如，可以根据诸如TU大小的块大小选择单值。
另一方面，如果应用于TU，那么打开示意性开关1210以使得启用变换单元340，并且控制多路复用器1200以传送缩放列表1220而不是单值1230。
相似地，在解码路径处，再次在来自控制器345的控制信号的控制下，相应的示意性开关1240控制逆变换单元430的操作或者绕开。提供另一示意性多路复用器1250从而将能应用于当前TU的缩放列表1220或单值1230传送至逆量化器420。如前所述，在变换跳过模式中，不使用逆变换单元430并且将单值1230传递至逆量化器420。在非变换跳过模式中，使用缩放列表1220并且启用逆变换单元430。
通过图24的示意性流程图总结这些操作。如果在步骤1300中变换跳过模式可适用，则在步骤1310中，使用单值来代替该TU的缩放列表。另一方面，如果在步骤1300中，变换跳过模式不可应用，那么在步骤1320中使用缩放列表。
在图25中示出了类似的配置，并且将不会再次描述关于图23已经描述的相应特征。图25与图23之间的不同之处在于，来自控制器345的控制信号控制修改的量化器350’和逆量化器420’使用缩放列表1220(在非变换跳过模式中)或者不使用缩放列表(在变换跳过模式中)，使得因此禁止使用缩放列表。在此，不使用缩放列表仅仅意指以上讨论的计算以进行量化，而对缩放列表变量进行的计算没有影响(即，采样到采样的变化)。先前句子中的术语“不使用缩放列表”当然可以包括使用单值代替以上讨论的缩放列表。
在图26的示意性流程图中总结了该操作。如果在步骤1400中变换跳过模式可应用，那么在步骤1410中，缩放列表不用于该TU。另一方面，如果在步骤1400中，变换跳过模式不可用，那么在步骤1420中使用缩放列表。
将理解，尽管在以上讨论，以逐个TU的方式选择变换跳过模式，可以关于更大的块(诸如，CU或者甚至片或图像)进行选择。
数据信号
应理解，由以上讨论的编码装置的变形所产生的数据信号以及携载此类信号的存储器或传输介质被视为代表本公开的实施方式。
在到目前为止已被描述为至少部分通过软件控制的数据处理装置实施的本公开的实施方式中，应当理解，承载这样的软件的非临时性机器可读介质(诸如光盘、磁盘、半导体存储器等)也被认为是表示本公开的实施方式。
显而易见的是，按照上述教导，本发明的大量修改和变化是可行的。因此应了解，在随附权利要求的范围内，此技术可以以本文中所明确描述的方式之外的其他方式实行。
通过以下有标号的项定义本公开内容的其他相应的特征：
1.一种视频数据解码装置，能操作以解码编码视频数据值的阵列，该装置包括：
去量化器,被配置为通过将去量化参数应用于每个数据值来去量化编码视频数据值的阵列，从而生成相应的去量化数据值；
逆频率变换器，被配置为将逆频率变换应用于去量化的数据值；以及
检测器，被配置为检测变换跳过模式是否能应用于编码视频数据值的阵列；其中：
如果检测器检测到变换跳过模式不能应用于编码视频数据值的阵列，检测器控制去量化器以应用能根据阵列内的每个数据值的位置在编码数据值的阵列中的数据值之间变化的去量化参数，并且控制逆频率变换器以将逆频率变换应用于去量化的数据值；以及
如果检测器检测到变换跳过模式能应用于编码视频数据值的阵列，检测器控制去量化器以应用对于编码数据值的每个阵列独立于阵列内的每个数据值的位置的去量化参数，并且控制逆频率变换器而不将逆频率变换应用于去量化的数据值。
2.根据项1所述的装置，其中，去量化器被配置为根据缩放列表中的相应条目使用去量化参数，对于编码视频数据的每个阵列位置，在缩放列表中存在一个条目。
3.根据项1或项2所述的装置，其中，检测器能操作以在检测器检测到变换跳过模式能应用于编码视频数据值的阵列的情况下禁止去量化器使用缩放列表。
4.根据项2所述的装置，其中，去量化器被配置为在检测器检测到变换跳过模式能应用于编码视频数据值的阵列的情况下，使用所有缩放列表值彼此相同的变换跳过模式缩放列表。
5.根据项4所述的装置，其中，变换跳过模式缩放列表根据编码视频数据的一个或多个编码参数选自两个或多个不同的变换跳过模式缩放列表的集合。
6.根据项4所述的装置，其中，在包含编码数据值的阵列的数据流中提供变换跳过模式缩放列表。
7.根据项4所述的装置，如果不选择变换跳过模式，解码装置能操作以从可供编码视频数据值的阵列应用的缩放列表的一个或多个值中得出变换跳过模式缩放列表值。
8.根据项2所述的装置，其中，去量化器被配置为在检测器检测到变换跳过模式能应用于编码视频数据值的阵列的情况下，用单个数据值代替缩放列表值。
9.根据项8所述的装置，其中，在包含编码数据值的阵列的数据流中提供单个数据值。
10.根据项8所述的装置，如果不选择变换跳过模式，解码装置能操作以从就可供编码视频数据值的阵列应用的缩放列表的一个或多个值中得出单个数据值。
11.根据项8所述的装置，其中，单个数据值根据编码视频数据的一个或多个编码参数选自两个以上不同的单个数据值的集合。
12.根据前述权利要求中任一项所述的装置，其中，编码数据值的阵列选自由以下组成的列表：
8×8阵列；
16×16阵列；以及
32×32阵列。
13.一种视频数据编码装置，能操作以在变换跳过模式以及可选地非变换跳过模式下编码输入视频数据值的阵列，该装置包括：
频率变换器，被配置为将频率变换应用于输入视频数据值以生成频率变换输入数据值的阵列；
量化器，被配置为通过将量化参数应用于每个频率变换的输入数据值来量化频率变换的输入数据值，从而生成相应的量化数据值；以及
控制器；
如果变换跳过模式不能应用于输入视频数据值的阵列，则控制器控制频率变换器以应用频率变换并且控制量化器以应用量化参数，该量化参数可以根据阵列内每个频率变换的输入数据值的位置在频率变换的输入数据值的阵列中的数据值之间变化；以及
如果变换跳过模式能应用于编码视频数据值的阵列，则控制器控制频率变换器不应用频率变换并且控制量化器以通过应用量化参数而量化输入视频数据值，对于输入数据值的每个阵列，量化参数独立于阵列内的每个输入数据值的位置。
14.根据项13所述的装置，包括检测器，检测器被配置为检测变换跳过模式是否能应用于输入视频数据值的阵列。
15.根据项13所述的装置，其中，去量化器被配置为根据缩放列表中的相应条目使用去量化参数，针对要被量化的数据的每个阵列位置在缩放列表中存在一个条目。
16.根据项15所述的装置，其中，检测器能操作以在检测器检测到变换跳过模式能应用于输入视频数据值的阵列的情况下，禁止去量化器使用缩放列表。
17.根据项15所述的装置，其中，去量化器被配置为在检测器检测变换跳过模式能应用于输入视频数据值的阵列的情况下，使用所有缩放列表值彼此相同的变换跳过模式缩放列表。
18.根据项17所述的装置，其中，变换跳过模式缩放列表根据输入视频数据的一个或多个编码参数选自两个以上不同的变换跳过模式缩放列表的集合。
19.根据项17所述的装置，其中，在包含编码数据值的阵列的数据流中提供变换跳过模式缩放列表。
20.根据项17所述的装置，如果不选择变换跳过模式，编码装置能操作以从可供输入视频数据值的阵列应用的缩放列表的一个或多个值中得出变换跳过模式缩放列表值。
21.根据项15所述的装置，其中量化器被配置为在检测器检测到变换跳过模式能应用于输入视频数据值的阵列的情况下，用单个数据值代替缩放列表值。
22.根据项21所述的装置，其中，在包含编码数据值的阵列的数据流中提供单个数据值。
23.根据项21所述的装置，如果不选择变换跳过模式，编码装置能操作以从可供输入视频数据的阵列应用的缩放列表的一个或多个值中得出单个数据值。
24.根据项21所述的装置，其中，单个数据值根据输入视频数据的一个或多个编码参数选自两个以上不同的单个数据值的集合。
25.根据项13至24中任一项所述的装置，其中，频率变换的输入数据值的阵列选自由以下组成的列表：
8×8阵列；
16×16阵列；以及
32×32阵列。
26.一种包括根据前述项中任一项所述的装置的视频数据捕获、存储、传输和/或记录装置。
27.一种用于解码编码视频数据值的阵列的视频数据解码方法，该方法包括：
检测变换跳过模式是否能应用于编码视频数据值的阵列；
如果检测到变换跳过模式不能应用于编码视频数据值的阵列，可通过应用根据阵列内的每个数据值的位置在编码数据值的阵列中的数据值之间变化的去量化参数，来去量化编码视频数据值的阵列，并且将逆频率变换应用于去量化的数据值；以及
如果检测到变换跳过模式能应用于编码视频数据值的阵列，可通过应用去量化参数去量化编码视频数据值的阵列，对于编码数据值的每个阵列，该去量化参数独立于阵列内的每个数据值的位置，并且不会将逆频率变换应用于去量化的数据值。
28.一种用于编码输入视频数据值的阵列的视频数据编码方法，方法包括：
如果变换跳过模式不能应用于输入视频数据值的阵列，频率转换输入视频数据并且通过应用量化参数量化所得到的频率变换的输入视频数据值的阵列，该量化参数可以根据阵列内每个频率变换的输入数据值的位置而在频率变换的输入数据值的阵列中的数据值之间变化；以及
如果变换跳过模式能应用于编码视频数据值的阵列，通过应用量化参数量化输入视频数据值，对于输入数据值的每个阵列，量化参数独立于阵列内的每个输入数据值的位置。
29.一种计算机软件，当由计算机执行时，使计算机实施根据项27或项28所述的方法。
30.一种非临时性机器可读存储介质，在所述非临时性机器可读存储介质上存储根据项29所述的计算机软件。

Claims (21)

1.一种用于视频数据解码的装置，所述装置被配置为对编码视频数据值的阵列进行解码，所述装置包括：
去量化器，被配置为通过将去量化参数应用于每个数据值来去量化所述编码视频数据值的阵列，从而生成相应的去量化数据值；
逆频率变换器，被配置为将逆频率变换应用于所述去量化数据值；以及
检测器，被配置为检测变换跳过模式是否能应用于所述编码视频数据值的阵列；其中：
如果所述检测器检测到所述变换跳过模式不能应用于所述编码视频数据值的阵列，所述检测器控制所述去量化器以应用能根据所述阵列内的每个数据值的位置在编码数据值的阵列中的数据值之间变化的去量化参数，并且所述检测器控制所述逆频率变换器以将逆频率变换应用于所述去量化数据值；以及
如果所述检测器检测到所述变换跳过模式能应用于所述编码视频数据值的阵列，所述阵列是4×4阵列，所述检测器控制所述去量化器以应用对于编码数据值的4×4阵列而独立于所述阵列内的每个数据值的位置的去量化参数，并且所述检测器控制所述逆频率变换器不将逆频率变换应用于所述去量化数据值；以及
如果所述检测器检测到所述变换跳过模式能应用于所述编码视频数据值的阵列，该阵列是以下中的一个：8×8阵列、16×16阵列以及32×32阵列，所述检测器控制所述去量化器以应用对于编码数据值的8×8阵列、16×16阵列或32×32阵列而独立于所述阵列内的每个数据值的位置的去量化参数，并且所述检测器控制所述逆频率变换器不将逆频率变换应用于所述去量化数据值。
2.根据权利要求1所述的装置，其中，所述去量化器被配置为根据缩放列表中的相应条目使用去量化参数，针对编码视频数据的每个阵列位置在所述缩放列表中存在一个条目。
3.根据权利要求2所述的装置，其中，对于编码数据值的8×8阵列、16×16阵列或32×32阵列，所述检测器能操作以在所述检测器检测到所述变换跳过模式能应用于所述编码视频数据值的阵列的情况下，禁止所述去量化器使用所述缩放列表。
4.根据权利要求2所述的装置，其中，对于编码数据值的8×8阵列、16×16阵列或32×32阵列，所述去量化器被配置为在所述检测器检测到所述变换跳过模式能应用于所述编码视频数据值的阵列的情况下，使用所有缩放列表值彼此相同的变换跳过模式缩放列表。
5.根据权利要求2所述的装置，其中，所述去量化器被配置为在所述检测器检测到所述变换跳过模式能应用于所述编码视频数据值的8×8阵列、16×16阵列或32×32阵列的情况下，用单个数据值代替缩放列表值。
6.根据权利要求4所述的装置，其中，所述缩放列表值具有值16。
7.一种用于视频数据编码的装置，所述装置被配置为在变换跳过模式以及非变换跳过模式下对输入视频数据值的阵列进行编码，所述装置包括：
频率变换器，被配置为将频率变换应用于所述输入视频数据值以生成频率变换的输入数据值的阵列；
量化器，被配置为通过将量化参数应用于每个频率变换的输入数据值来量化所述频率变换的输入数据值，从而生成相应的量化数据值；以及
控制器；其中，
如果所述变换跳过模式不能应用于所述输入视频数据值的阵列，则所述控制器控制所述频率变换器以应用所述频率变换并且控制所述量化器以应用能根据所述阵列内的每个频率变换的输入数据值的位置而在频率变换的输入数据值的阵列中的数据值之间变化的量化参数；以及
如果所述变换跳过模式能应用于输入数据值的阵列，所述阵列是4×4阵列，则所述控制器控制所述频率变换器不应用所述频率变换，并且控制所述量化器以通过应用对于输入数据值的4×4阵列而独立于所述阵列内的每个输入数据值的位置的量化参数，来量化所述输入视频数据值，以及
如果所述变换跳过模式能应用于所述输入数据值的阵列，该阵列是以下中的一个：8×8阵列、16×16阵列以及32×32阵列，所述控制器控制所述频率变换器以应用所述频率变换并且控制所述量化器以通过应用对于输入数据值的8×8阵列、16×16阵列或32×32阵列而独立于所述阵列内的每个输入数据值的位置的量化参数，来量化所述输入视频数据值。
8.根据权利要求7所述的装置，包括检测器，所述检测器被配置为检测所述变换跳过模式是否能应用于所述输入视频数据值的阵列。
9.根据权利要求7所述的装置，其中，对于输入数据值的8×8阵列、16×16阵列或32×32阵列，所述量化器被配置为根据缩放列表中的相应条目使用量化参数，针对要量化的数据的每个阵列位置在所述缩放列表中存在一个条目。
10.根据权利要求8所述的装置，其中，对于输入数据值的8×8阵列、16×16阵列或32×32阵列，所述检测器能操作以在所述检测器检测到所述变换跳过模式能应用于所述输入视频数据值的阵列的情况下，禁止所述量化器使用缩放列表。
11.根据权利要求8所述的装置，其中，所述量化器被配置为在所述检测器检测到所述变换跳过模式能应用于所述输入视频数据值的阵列的情况下，使用所有缩放列表值彼此相同的变换跳过模式缩放列表。
12.根据权利要求11所述的装置，其中，所述变换跳过模式缩放列表根据输入视频数据的一个或多个编码参数，选自两个以上不同的变换跳过模式缩放列表的集合。
13.根据权利要求11所述的装置，如果不选择所述变换跳过模式，所述装置能操作以从能供所述输入视频数据值的阵列应用的所述缩放列表的一个或多个值中，得出变换跳过模式缩放列表值。
14.根据权利要求8所述的装置，其中，所述量化器被配置为在所述检测器检测到所述变换跳过模式能应用于所述输入视频数据值的阵列的情况下，用单个数据值代替缩放列表值。
15.根据权利要求14所述的装置，如果不选择所述变换跳过模式，所述装置能操作以从可供输入视频数据的阵列应用的所述缩放列表的一个或多个值中，得出所述单个数据值。
16.根据权利要求11所述的装置，其中，所述缩放列表值具有值16。
17.一种包括根据权利要求1所述的装置的视频数据获取、存储、传输和/或记录装置。
18.一种用于解码编码视频数据值的阵列的视频数据解码方法，所述方法包括：
检测变换跳过模式是否能应用于所述编码视频数据值的阵列；
如果检测到所述变换跳过模式不能应用于所述编码视频数据值的阵列，通过应用根据所述阵列内的每个数据值的位置而在编码数据值的阵列中的数据值之间变化的去量化参数，来去量化编码视频数据值的阵列，并且将逆频率变换应用于去量化的数据值；以及
如果检测到所述变换跳过模式能应用于编码视频数据值的阵列，所述阵列是4×4阵列，通过应用对于编码数据值的4×4阵列而独立于所述阵列内的每个数据值的位置的去量化参数，来去量化所述编码视频数据值的阵列，并且不将逆频率变换应用于所述去量化的数据值，
如果检测到所述变换跳过模式能应用于所述编码视频数据值的阵列，该阵列是以下中的一个：8×8阵列；16×16阵列；以及32×32阵列，通过应用对于编码数据值的8×8阵列、16×16阵列或32×32阵列而独立于所述阵列内的每个数据值的位置的去量化参数，来去量化编码数据值的阵列，并且不将逆频率变换应用于所述去量化的数据值。
19.一种用于编码输入视频数据值的阵列的视频数据编码方法，所述方法包括：
如果变换跳过模式不能应用于输入视频数据值的阵列，频率转换输入视频数据并且通过应用能根据所述阵列内每个频率变换的输入数据值的位置而在频率变换的输入数据值的阵列中的数据值之间变化的量化参数，量化所得到的频率变换的输入视频数据值的阵列；
如果变换跳过模式能应用于输入视频数据值的阵列，所述阵列是4×4阵列，通过应用对于输入数据值的每个阵列而独立于所述阵列内的每个输入数据值的位置的量化参数，量化所述输入视频数据值；以及
如果所述变换跳过模式能应用于所述输入数据值的阵列，该阵列是以下中的一个：8×8阵列、16×16阵列以及32×32阵列，通过应用对于输入数据值的每个阵列而独立于所述阵列内的每个输入数据值的位置的量化参数，来量化所述输入视频数据值。
20.一种非临时性机器可读存储介质，其上存储有当由计算机执行时使所述计算机实施根据权利要求18所述的方法的计算机软件。
21.一种非临时性机器可读存储介质，其上存储有当由计算机执行时使所述计算机实施根据权利要求19所述的方法的计算机软件。
CN201811267447.XA 2013-09-25 2014-09-24 视频数据编码、解码装置以及方法 Active CN109451311B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB1317041.0 2013-09-25
GB1317041.0A GB2518823A (en) 2013-09-25 2013-09-25 Data encoding and decoding
CN201480052828.XA CN105580367B (zh) 2013-09-25 2014-09-24 数据编码和解码
PCT/GB2014/052902 WO2015044660A1 (en) 2013-09-25 2014-09-24 Data encoding and decoding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480052828.XA Division CN105580367B (zh) 2013-09-25 2014-09-24 数据编码和解码

Publications (2)

Publication Number Publication Date
CN109451311A CN109451311A (zh) 2019-03-08
CN109451311B true CN109451311B (zh) 2023-06-30

Family

ID=49553411

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811267447.XA Active CN109451311B (zh) 2013-09-25 2014-09-24 视频数据编码、解码装置以及方法
CN201480052828.XA Active CN105580367B (zh) 2013-09-25 2014-09-24 数据编码和解码

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480052828.XA Active CN105580367B (zh) 2013-09-25 2014-09-24 数据编码和解码

Country Status (12)

Country Link
US (2) US10575017B2 (zh)
EP (1) EP3036904B1 (zh)
JP (1) JP6548635B2 (zh)
CN (2) CN109451311B (zh)
AU (1) AU2014326421B2 (zh)
BR (1) BR112016006042A2 (zh)
CA (1) CA2923556C (zh)
GB (1) GB2518823A (zh)
MX (1) MX366389B (zh)
RU (2) RU2760234C2 (zh)
TW (1) TWI650012B (zh)
WO (1) WO2015044660A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091506B2 (en) * 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
US10027968B2 (en) * 2015-06-12 2018-07-17 Sony Corporation Data-charge phase data compression tool
US10123044B2 (en) * 2015-07-16 2018-11-06 Mediatek Inc. Partial decoding circuit of video encoder/decoder for dealing with inverse second transform and partial encoding circuit of video encoder for dealing with second transform
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
WO2018097626A1 (ko) * 2016-11-25 2018-05-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR20180089290A (ko) * 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
GB2570710B (en) * 2018-02-05 2022-10-12 Sony Corp Data encoding and decoding
WO2020249762A1 (en) * 2019-06-14 2020-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, methods and computer programs with an improved transform based scaling
WO2021039650A1 (ja) * 2019-08-23 2021-03-04 ソニー株式会社 画像処理装置および方法
WO2021086023A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 변환을 이용하여 레지듀얼 처리를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11490122B2 (en) * 2020-09-24 2022-11-01 Tencent America LLC Method and apparatus for video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3542911B2 (ja) * 1998-08-24 2004-07-14 日本電気株式会社 動画圧縮装置
EP1569458A1 (en) * 2004-02-12 2005-08-31 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a non-linear quantization
US7519229B2 (en) * 2004-03-30 2009-04-14 Apple, Inc. Video coding system providing separate coding chains for dynamically selected small-size or full-size playback
CN101088295A (zh) * 2004-12-22 2007-12-12 皇家飞利浦电子股份有限公司 可分级编码
US20120128074A1 (en) * 2008-08-12 2012-05-24 Nokia Corporation Video coding using spatially varying transform
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
US9706214B2 (en) * 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
US9854275B2 (en) 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
CN107483930B (zh) * 2011-10-17 2020-03-06 株式会社Kt 利用解码装置解码视频信号的方法
GB2496197A (en) * 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
GB2496194A (en) * 2011-11-07 2013-05-08 Sony Corp Entropy encoding video data using reordering patterns
TWI627857B (zh) 2012-06-29 2018-06-21 Sony Corp Image processing device and method
CN115052155A (zh) * 2012-07-02 2022-09-13 韩国电子通信研究院 图像编码/解码方法和非暂时性计算机可读记录介质
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list

Also Published As

Publication number Publication date
US10958938B2 (en) 2021-03-23
JP2016532341A (ja) 2016-10-13
RU2018130348A (ru) 2019-03-15
AU2014326421B2 (en) 2019-04-04
CA2923556A1 (en) 2015-04-02
BR112016006042A2 (pt) 2017-08-01
AU2014326421A1 (en) 2016-03-17
RU2665309C2 (ru) 2018-08-28
MX366389B (es) 2019-07-08
CN109451311A (zh) 2019-03-08
EP3036904B1 (en) 2020-01-15
EP3036904A1 (en) 2016-06-29
US20200195971A1 (en) 2020-06-18
JP6548635B2 (ja) 2019-07-24
CN105580367B (zh) 2018-11-13
US20160227252A1 (en) 2016-08-04
TWI650012B (zh) 2019-02-01
GB2518823A (en) 2015-04-08
WO2015044660A1 (en) 2015-04-02
CA2923556C (en) 2021-11-23
TW201517600A (zh) 2015-05-01
MX2016003402A (es) 2016-06-30
GB201317041D0 (en) 2013-11-06
RU2018130348A3 (zh) 2021-10-20
RU2016115854A (ru) 2017-10-30
RU2760234C2 (ru) 2021-11-23
US10575017B2 (en) 2020-02-25
CN105580367A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN109451311B (zh) 视频数据编码、解码装置以及方法
US10939103B2 (en) Data encoding and decoding
CN108134931B (zh) 视频解码方法、视频编码方法和非暂时性计算机可读媒体
US10341680B2 (en) Data encoding and decoding apparatus, method and storage medium
KR20160101925A (ko) 데이터 인코딩 및 디코딩
US11284105B2 (en) Data encoding and decoding
US20220256193A1 (en) Data encoding and decoding
CN111684798A (zh) 数据编码和解码
US20220078430A1 (en) Image data encoding and decoding
GB2521349A (en) Data encoding and decoding
CN115380533A (zh) 视频数据编码和解码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant