CN104144279A - 处理图像/视频数据的方法及装置 - Google Patents

处理图像/视频数据的方法及装置 Download PDF

Info

Publication number
CN104144279A
CN104144279A CN201410177553.4A CN201410177553A CN104144279A CN 104144279 A CN104144279 A CN 104144279A CN 201410177553 A CN201410177553 A CN 201410177553A CN 104144279 A CN104144279 A CN 104144279A
Authority
CN
China
Prior art keywords
data
residual volume
relevant
conversion
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410177553.4A
Other languages
English (en)
Other versions
CN104144279B (zh
Inventor
吴东兴
周汉良
李坤傧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co.,Ltd.
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN201710580438.5A priority Critical patent/CN107257493A/zh
Publication of CN104144279A publication Critical patent/CN104144279A/zh
Application granted granted Critical
Publication of CN104144279B publication Critical patent/CN104144279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种为图像/视频编码器处理图像/视频数据的方法及装置。该方法包含：接收图像数据或视频数据，该图像数据或该视频数据对应于多个输入信道；对每一输入信道各自应用残余量产生过程，产生与每一输入信道相关的残余量数据；依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据。本发明还提供一种为图像/视频解码器处理图像/视频数据的方法及装置。本发明可利用残余量信号不同信道间的冗余量。

Description

处理图像/视频数据的方法及装置
【技术领域】
本发明关于图像/视频数据的处理，尤其关于在与残余量信号相关的不同信道之间处理图像/视频数据的方法及装置。
【背景技术】
图像压缩与视频压缩已被广泛用于降低与各个图像及视频数据相关的所需存储空间或带宽。基本图像(underlying image)或视频数据通常包含多个信道(channel)。举例来说，在数码相机应用中，通常使用红(R)、绿(G)和蓝(B)色彩阵列的图像传感器(image sensor)来采集原始图像(raw image)。当RGB色彩为采集或显示应用提供方便的格式(format)来表示彩色图像或视频时，不得不平等地对待三个颜色信道来存储或传输，而这可能并不是有效的。在图像及视频编码领域，广泛使用了各种亮度/色度(luminance/chrominance)色彩格式，其中每一色彩格式对应于一个亮度分量及两个色度分量。举例来说，YUV或YCrCb色彩格式在各种图像及视频压缩标准中已被使用。由于人类视觉对色度信号较不敏感，因此能以较低的空间分辨率表示色度信号(即U/Cb及V/Cr)，在视觉品质上没有劣化或只有较小劣化。也有亮度/色度色彩格式的其他变形。举例来说，在No.7155055的美国专利中揭示的YCoCg色彩格式及在No.6044172的美国专利中揭示的可逆YUV色彩格式使用简化的色彩变换矩阵(colortransform matrix)，这样一来在RGB及YCoCg/整数YUV格式之间只使用整数运算(integer operation)来转换信号。在贝尔模板(Bayer pattern)中的RGB与YCoCg色彩格式之间也有一种色彩格式转换，如公开号No.US2006/0083432的美国专利申请中所揭示。在典型的图像/视频压缩系统中，压缩程序分别应用于各个亮度及色度信道。
在基本色彩格式(primary color format)及亮度/色度格式之间的色彩转换涉及到基于像素的运算，其中该转换用一组线性方程式(即转换矩阵)来表示。当亮度/色度格式移除基本色彩格式中初始图像或视频的不同信道间的若干冗余量时，在亮度/色度格式中不同信道间仍然有大量的相关性。对于亮度/色度格式中的图像或视频，有需要利用不同信道间的冗余量。此外，当利用不同信道间的冗余量时，有需要降低对现有图像或视频压缩系统的影响。
图1为图像压缩系统如数码相机的范例。图像传感器110用来采集原始图像数据120。图像压缩器130接收原始图像数据120并应用图像压缩来产生压缩图像数据140。通常，图像压缩应用于亮度/色度色彩格式(如YUV)中的图像数据。因此，在图像压缩器130中执行色彩转换，将原始图像首先转换成亮度/色度格式，接着将图像压缩应用于各个信道。图2为用于传输或接口应用(例如MIPI(移动行业处理器接口)，DSI(显示器串行接口)及HDMI(高清晰多媒体接口)，Wi-Fi显示或蓝牙)的图像压缩的范例。方块图200A对应于发射器端，其中从发射器210接收原始图像数据220。在机顶盒与HDTV(高清晰度电视)组之间的HDMI接口范例中，发射器对应于机顶盒以及接收器对应于HDTV组。图像压缩器230将原始图像数据压缩成压缩图像数据240。接着该压缩图像数据在媒质例如物理电缆或无线链路上传输。方块图220B对应于接收器端，其中在媒质上接收压缩图像数据250。接着该压缩图像数据由图像解压缩器260解压缩以恢复原始图像数据270。接着将该恢复的原始图像数据提供至接收器280以显示出来。
图3为图像压缩系统的示范性方块图。系统300A对应于基于空间预测的压缩系统。具有3个信道的初始图像310被量化处理。初始图像可对应于RGB格式中的色彩像素。使用3x3转换矩阵将初始图像转换为亮度/色度色彩格式，例如YUV。在矩阵转换之后，输入量化320将结果量化至固定的数据深度，例如8比特或10比特。空间预测330A接着被应用于各个信道以产生剩余量数据(residue data)，该剩余量数据接着由熵编码350A压缩以产生压缩数据。在图像及视频编码领域中空间预测众所周知。举例来说，图像可被分成多个块，并且基于已被处理的相邻块可以预测每一块。系统300B对应于基于频率变换(frequency transform)的压缩系统，其中频率变换340B应用于量化后图像数据。举例来说，离散余弦变换(DCT)可被应用至各个信道。变换系数通常被量化(用于变换系数的量化器在系统330B中未明确显示)并接着由熵编码350B来编码以产生压缩图像数据。用于频率变换后数据的量化器通常用于比特率控制目的。系统300C为基于空间预测及频率变换的压缩系统，其中频率变换340C应用于来自空间预测330C的残余量信号。变换系数被量化(用于变换系数的量化器在系统330C中未明确显示)并接着由熵编码350C来编码以产生压缩图像数据。在图3中，由空间预测330A、频率变换340B，或者空间预测330C与频率变换340C两者来产生残余量信号。图3所示的系统是为了说明在图像压缩系统中产生残余量信号的范例。还有很多其他方式来产生用于图像压缩的残余量信号。举例来说，图像压缩系统可使用小波或金字塔技术来形成残余量信号。本发明并非限于图3所示的图像压缩系统。
图4为视频压缩系统的示范性方块图，其中该系统包含对应于三个输入信道的三个源数据信道(410A-410C)。由方块420的各个帧内/帧间预测来预测源数据信道。使用减法器412A-412C，残余量信号(414A-414C)对应于源数据信道与各个预测之间的差异。在本领域中帧内/帧间预测众所周知。举例来说，在MPEG-2、H.264/AVC及新兴的HEVC(高性能视频编码)编码标准中，使用了帧内/帧间形式。对于每一图像区域例如宏块、最大编码单元(LCU)、切片(slice)或图片，通常是自适应地选择帧内预测及帧间预测。帧间预测可包含运动估计以利用视频序列中图像间的时间冗余度。当残余量产生过程已降低每一输入信道内的冗余量时，残余量信号(414A-414C)可能不是适合于熵编码的形式。通常，残余量信号经历进一步的处理以将信号转换为适合于熵编码的符号。举例来说，由图4所示的二维变换及量化(T/Q450A-450C)进一步处理残余量信号。这种用于编码器端的进一步处理在本发明中被称为编码过程。相应地，二维变换、量化、或者二维变换与量化的结合是编码过程的范例。用于图像编码的频率变换例如DCT，可用作视频压缩的二维变换。其他二维变换，例如整数变换，也可用来为视频应用实现高计算效率。接着使用熵编码器470压缩量化后的变换系数以产生压缩视频输出。熵编码器通常将数据符号压缩成压缩比特流。举例来说，数据符号对应于量化后的变换系数。在本领域中众所周知该数据符号也可包含其他编码信息。
编码器端也需要重建编码后的视频以形成预测。相应地，逆编码程序不得不被应用于数据符号以恢复残余量信号。举例来说，来自T/Q450A-450C的量化后的变换系数由反量化及逆二维变换(IQ/IT460A-460C)处理以产生恢复后的残余量信号(444A-444C)。使用加法器442A-442C将IQ/IT处理后的信号加入来自帧内/帧间预测420的先前的预测信号，以形成重建后的信号。在重建后的信号被储存进帧缓冲器430A-430C之前，重建后的信号由回路滤波器440A-440C处理以降低编码失真，供帧内/帧间预测420以后使用。图4为编码器端基于残余量信号重建图像或视频数据的重建回路的范例，其中重建回路包含加法器(442A-442C)、回路滤波器(440A-440C)、帧缓冲器(430A-430C)以及使用帧内/帧间预测(方块420部分)的重建。然而，一个编码系统可使用不同的系统分区(system partition)。举例来说，在编码器端的重建回路中也可包含反量化以基于残余量信号来重建图像或视频数据。在图4中，使用减法器412A-412C从源数据信道及帧内/帧间预测产生残余量信号，在T/Q450A-450C及IQ/IT460A-460C处理之后再生该残余量信号。有许多其他方式来产生用于视频压缩的残余量信号。本发明并非限于图4所示的视频压缩系统。
【发明内容】
有鉴于此，本发明提供处理图像/视频数据的方法及装置。
本发明实施例提供一种处理图像数据或视频数据的方法，包含：接收包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；对该比特流应用熵解码，恢复与残余量变换后数据相关的数据符号，其中该残余量变换后数据对应于多个输出信道；对与该数据符号相关的第一数据应用逆残余量变换，获得与残余量数据相关的逆残余量变换输出，该残余量数据与多个输入信道相关，其中依据应用于多个输入信道间该残余量数据的一组整数运算，该残余量变换后数据与该残余量数据相关；以及对与该逆残余量变换输出相关的第二数据应用重建过程，重建该图像数据或该视频数据。
本发明又一实施例提供一种处理图像数据或视频数据的方法，包含：接收该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；对每一输入信道各自应用残余量产生过程，产生与每一输入信道相关的残余量数据；依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据。
本发明另一实施例提供一种处理图像数据或视频数据的装置，包含：接收装置，用于接收包含压缩数据的比特流，该压缩数据对应于图像数据或视频数据，其中该图像数据或该视频数据对应于多个输入信道；熵解码装置，用于对该比特流应用熵解码，恢复与残余量变换后数据相关的数据符号，其中该残余量变换后数据对应于多个输出信道；逆残余量变换装置，用于对与该数据符号相关的第一数据应用逆残余量变换，获得与残余量数据相关的逆残余量变换输出，该残余量数据与多个输入信道相关，其中依据应用于多个输入信道间该残余量数据的一组整数运算，该残余量变换后数据与该残余量数据相关；以及重建装置，用于对与该逆残余量变换输出相关的第二数据应用重建过程，重建该图像数据或该视频数据。
本发明再一实施例提供一种处理图像数据或视频数据的装置，包含：接收装置，用于接收图像数据或视频数据，其中该图像数据或该视频数据对应于多个输入信道；残余量产生装置，用于对每一输入信道各自应用残余量产生过程，产生与每一输入信道相关的残余量数据；残余量变换装置，用于依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及熵编码装置，用于对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据。
上述处理图像/视频数据的方法及装置可利用残余量信号不同信道间的冗余量。
【附图说明】
图1为传统图像编码系统的示范性方块图。
图2为用于发射器及接收器之间接口应用的传统图像压缩系统的示范性方块图。
图3为传统图像编码系统的处理流程的范例，其中使用空间预测、频率变换、或者空间预测与频率变换两者来产生残余量数据。
图4为具有三个信道的传统视频编码系统的示范性方块图，其中使用帧内/帧间预测来产生残余量数据。
图5为依据本发明实施例的对应于图像编码系统的处理流程的范例，其中对残余量数据应用残余量变换。
图6为依据本发明实施例的对应于视频编码系统的处理流程的范例，其中对残余量数据应用残余量变换。
图7为依据本发明实施例的对应于视频编码系统的处理流程的另一范例，其中对二维变换及量化后残余量数据应用残余量变换。
图8为简化的图7视频编码系统，其中在编码器端去除了逆残余量变换。
图9为依据本发明实施例的残余量产生过程及残余量变换过程的范例。
图10为残余量变换后数据的熵编码过程及对应于来自熵编码的多个信道的交错输出。
图11为依据本发明实施例的对应于图像解码系统的处理流程的范例，其中应用逆残余量变换以恢复残余量数据。
图12为依据本发明实施例的对应于视频解码系统的处理流程的范例，其中应用逆残余量变换以恢复残余量变换后数据，该残余量变换后数据来自逆二维变换及逆量化后方块。
图13为依据本发明实施例的对应于视频解码系统的处理流程的范例，其中应用逆残余量变换以恢复来自熵解码器的残余量变换后数据。
图14为依据本发明实施例的图像或视频解码器的示范性工作流程图。
图15为依据本发明实施例的图像或视频编码器的示范性工作流程图。
【具体实施方式】
如上所述，传统色彩转换过程将来自基本色彩空间(primary color space)的初始图像或视频数据转换成亮度/色度空间。当亮度/色度空间中的图像或视频数据提供(render)有效的色彩代表时，在亮度/色度格式中不同信道间仍然有高度的相关性。相应地，本发明使用残余量变换(residue transform)，利用了残余量信号中不同信道间的冗余量。然而，本发明可应用于具有多个输入信道的任意图像或视频。举例来说，本发明也可用于与RGB信道相关的残余量数据。
图5为用于图像压缩系统的本发明实施例。系统500A对应于基于空间预测的压缩系统。具有三个信道的初始图像510由输入量化520及空间预测530A处理，以产生残余量信号。该残余量信号接着由残余量变换550A处理以产生残余量变换后信号，该残余量变换后信号由熵编码560A压缩以产生压缩数据。图5所示的系统500A使用残余量变换进一步降低了不同信道间的冗余量并实现了更高的压缩效率。系统500B对应于基于频率变换的压缩系统。具有三个信道的初始图像510由输入量化520及频率变换540B处理以产生残余量信号。该残余量信号接着由残余量变换550B处理以产生残余量变换后信号，该残余量变换后信号由熵编码560B压缩以产生压缩数据。系统500C对应于基于空间预测及频率变换的压缩系统。具有三个信道的初始图像510由输入量化520、空间预测530C及频率变换540C处理以产生残余量信号。该残余量信号接着由残余量变换550C处理以产生残余量变换后信号，该残余量变换后信号由熵编码560C压缩以产生压缩数据。在熵编码对残余量变换后信号编码之前，从输入量化520分离的量化过程可被作为比特率控制的一种方式。该量化过程可嵌入残余量变换中，作为残余量变换的部分功能。当量化步长很大时，量化过程可能引入量化误差，其会表现为重建后图像中的编码噪声。此外，上述残余量变换对应于无损处理。
图6为用于视频压缩系统的本发明实施例，其中残余量变换被应用于图4中的视频编码系统，该残余量变换对应于无损处理。。残余量变换610应用于来自减法器412A-412C的残余量信号(414A-414C)。该变换后的残余量信号接着由T/Q650A-650C处理以产生数据符号，且使用熵编码器630压缩该数据符号以产生压缩比特流。如前所述，也必须在编码器端产生重建后的视频用于帧内/帧间预测。相应地，逆编码过程，即IQ/IT660A-660C应用于数据符号以恢复变换后的残余量信号。接着该变换后的残余量信号由逆残余量变换620处理以恢复残余量信号。接着使用加法器442A-442C将恢复的残余量信号(444A-444C)加入来自帧内/帧间预测420的先前的预测信号，以形成重建后的信号。残余量变换的使用将能够降低不同信道间的冗余量。因此，依据本发明实施例的图6中的系统实现了较好的压缩效率。
图7为用于视频压缩系统的本发明实施例，其中残余量变换被应用于图4的视频编码系统，该残余量变换对应于无损处理。除了残余量变换710被应用于由T/Q450A-450C处理的残余量信号外，图7中的系统结构类似于图6中的系统结构。接着使用熵编码器730压缩残余量变换后信号，以产生压缩视频数据输出。对于重建回路，逆残余量变换720被用来恢复T/Q处理过的信号。接着IQ/IT处理逆残余量变换后的信号以恢复残余量信号。图7的系统可通过消除逆残余量变换的需求来简化，如图8所示。取代使用逆残余量变换来恢复残余量变换后的信号，该残余量变换后的信号对应于T/Q处理过的信号，IQ/IT过程可直接接收来自T/Q输出的信号，如图4所示。相应地，在图8的系统中无需逆残余量变换。
图5至图8所示的范例使用三个信道。然而，本发明可被应用于具有两个或多个信道的任意图像或视频系统。此外，信道不必对应于亮度及色度分量。本发明可应用于其他色彩格式。举例来说，这些信道可对应于CMYK(cyan，magenta，yellow，key(black))。另外，该多个信道不必仅与彩色图像或视频信号有关。例如，该多个信道可对应于多光谱(multi-spectral)卫星图像，其中每一信道对应于选定频谱带中的卫星图像。
依据本发明的残余量变换以像素为基础利用了不同信道间的冗余量。换句话说，残余量变换对应于跨信道(cross-channel)处理。另一方面，压缩过程被应用于每一单独的信道以利用每一信道内的空间及时间冗余度。由于残余量变换运行在残余量信号上，该残余量信号与至少两个信道相关联，所以会需要储存至少一个信道的数据。基础图像或视频数据的处理顺序可被设置为匹配残余量变换过程的处理顺序。举例来说，在残余量变换阶段之前可顺序处理这些信道。然而，在残余量变换阶段，在信道间应用并行处理。图9为与残余量产生及残余量变换有关的处理特性。方块910为残余量产生过程应用于各个信道以产生各自的残余量信号的范例，该残余量产生过程对应于无损或有损处理。残余量产生过程可被应用于每一信道的一组像素(例如910A-910C，对应于Ch0-Ch2)中。该组像素可对应于用于图5中空间预测、频率变换或空间预测与频率变换两者的像素块。该组像素也可对应于用于图6至图8所示的帧内或帧间预测的像素块。方块920为三个信道间残余量变换的范例，其中该残余量变换被应用于来自三个信道的三个样本922。方块930为用于三个信道的残余量变换后数据的范例。
产生压缩比特流的处理顺序可被设置为匹配残余量变换的处理顺序。举例来说，对应于残余量变换后数据的熵编码输出的比特流可被交错(interleave)以形成单一比特流。举例来说，与一个输入信道相关的压缩数据的第一部分及第二部分被与另一个输入信道相关的压缩数据的至少第三部分分离。这将降低在残余量变换后数据的压缩之前用于缓冲残余量变换后数据的缓冲器尺寸。这也可降低解压缩过程中在逆残余量变换之前的数据所需的缓冲器尺寸。交错的比特流更适合于解压缩，是因为逆残余量变换功能同时需要不同信道的数据。图10为使用残余量变换的压缩系统的各种处理阶段示意图。在产生残余量变换后数据1010后，熵编码被应用于各个信道，如方块1020所示。对应于每一信道的压缩数据被多路复用为单一数据串，如方块1030所示。
残余量变换过程的范例如下所示。(RC0(x,y),RC1(x,y),RC2(x,y))表示具有三个信道的系统位置(x,y)处的残余量信号。在每一(x,y)位置处将残余量变换应用至与三个信道相关的残余量信号上。为方便起见，从上述表示中去掉(x,y)，用(RC0,RC1,RC2)表示位置符号。可用一组整数运算描述残余量变换，该整数运算被应用于输入信道间的残余量数据以产生具有多输出信道的残余量变换后数据。在一实施例中，残余量变换输出(TC0,TC1,TC2)定义如下：
TC1＝RC1-RC2；          (1)
t＝(RC1+RC2)>>1,若abs(TC1)>RC0；      (2)
t＝(RC1+RC2+1)>>1,若abs(TC1)<＝RC0；    (3)
TC2＝t-RC0；以及        (4)
TC0＝(t+RC0)>>1.     (5)
在上述等式中，运算符“>>1”对应于以1右移。等式(2)中的运算符“(RC1+RC2)>>1”对应于使用截断(truncation)的RC1和RC2的平均值。等式(3)中的运算符“(RC1+RC2+1)>>1”对应于使用凑整(rounding)的RC1和RC2的平均值。类似地，等式(5)中的运算符“(t+RC0)>>1”对应于使用截断的t和RC0的平均值。等式(5)可被修改为“(t+RC0+1)>>1”，这样一来TC0变成使用凑整的t和RC0的平均值。等式(2)和(3)可被简化，这样一来t总是对应于使用凑整的RC1和RC2的平均值或者使用截断的RC1和RC2的平均值。由于只涉及到简单的运算如相加、相减、左移以及右移，因此如等式(1)至(5)所示的本发明实施例的计算效率高。
在只有两个信道的情形中，可修改残余量变换，这样一来第一变换输出对应于两个输入信道的差异，以及第二变换输出对应于两个输入信道的平均值。上述示范性残余量变换仅用于说明目的。本发明不限于等式(1)至(5)所示的特定运算。本领域技术人员可应用包含相加、相减、左移或右移的其他整数运算来实现逆残余量变换。逆残余量变换指的是逆变换过程可被应用于变换后的输出以完整恢复初始输入数据的一组运算。
当图5至图8所述系统说明本发明实施例的图像/视频编码器时，可相应地得到依据本发明实施例的图像/视频解码器系统。图11为对应于图5中图像编码器的示范性图像解码器。解码器1100A对应于编码器500A。压缩数据由熵解码1110A解码并由逆残余量变换1120A处理。恢复的残余量数据接着由空间重建1140A及逆输入量化1150处理以产生重建后图像1160。解码器1100B对应于编码器500B。压缩数据由熵解码1110B解码并由逆残余量变换1120B处理。恢复的残余量数据接着由逆频率变换1130B及逆输入量化1150处理以产生重建后图像1160。解码器1100C对应于编码器500C。压缩数据由熵解码1110C解码并由逆残余量变换1120C处理。恢复的残余量数据接着由逆频率变换1130C、空间重建1140C及逆输入量化1150处理以产生重建后图像1160。此外，上述逆残余量变换对应于无损处理，上述重建过程对应于无损或有损处理。
图12为对应于图6视频编码器的视频解码器的范例。用于视频解码器的大部分方块已经被用在视频编码器上来重建参考图片以用于帧内/帧间预测。在图12中，熵解码器1210被用来解码压缩比特流。在视频解码器端，使用帧内/帧间重建1220来替代帧内/帧间预测。帧内/帧间重建过程对应于相应帧内/帧间预测的逆过程。举例来说，如果在视频编码器端使用运动估计/补偿来做帧间预测，则在视频解码器端仅需要运动补偿。剩余处理方块与图6中所示的编码器端的方块相同。重建后的视频输出可从回路滤波器440A至440C的输出(对应于Ch0至Ch2)获得(tap)。图13为对应于图7及图8中视频编码器的视频解码器范例。在图13中，熵解码器1310用来解码压缩比特流。类似于图12的解码器系统，帧内/帧间重建1220被用来形成重建后的视频。剩余方块已被用在如图7及图8所示的编码器端。
图14为本发明实施例的图像解码器或视频解码器的示范性流程图。用接收装置接收包含压缩数据的比特流，该压缩数据对应于图像数据或视频数据，如步骤1410所示，其中图像数据或视频数据对应于多个输入信道。比特流可储存在媒质中，如快闪存储器，光盘，包含RAM、DRAM、NVRAM等的计算机存储器。比特流也可由来自网络或传输媒质的处理器接收。接着熵解码装置对与比特流相关的数据符号应用熵解码以恢复变换后残余量数据，如步骤1420所示，其中变换后残余量对应于多个输出信道。接着逆残余量变换装置将逆残余量变换应用于变换后残余量数据以恢复与多个输入信道相关的残余量数据，如步骤1430所示，其中依据应用于多个输入信道间的残余量数据的一组整数运算，残余量变换后数据与残余量数据相关。重建装置接着将重建过程应用于与每一输入信道各自相关的残余量数据以恢复与每一输入信道相关的图像数据或视频数据，如步骤1440所示。由于由例如视频编码系统的帧内/帧间预测的残余量产生过程产生残余量数据，因此重建过程对应于相应帧内/帧间预测的逆运算。
图15为本发明实施例的图像编码器或视频编码器的示范性流程图。用接收装置接收图像数据或视频数据，如步骤1510所示，其中图像数据或视频数据对应于多个输入信道。图像数据或视频数据可储存在用于编码器的存储器中，且该存储器可对应于RAM、DRAM、NVRAM等。图像数据或视频数据也可通过处理器或接口来接收，以及该数据可由相机、传感器或相机图像处理器提供。如步骤1520所示，残余量产生处理单独被应用于每一输入信道以产生与每一输入信道相关的残余量数据，该步骤由残余量产生装置执行。如步骤1530所示，残余量变换装置依据一组整数运算，对残余量数据应用残余量变换，其中该组整数运算被应用于多个输入信道间的残余量数据以产生具有多个输出信道的残余量变换后数据。熵编码装置对与变换后残余量数据相关的数据符号应用熵编码以产生包含压缩数据的比特流，该压缩数据对应于图像数据或视频数据，如步骤1540所示。
图14及图15所示的示范性流程图用于说明目的。在不脱离本发明精神前提下，本领域技术人员可以重新安排、结合这些步骤或分离出步骤来实现本发明。
以上描述可使本领域技术人员依据特定应用及要求实现本发明。所述实施例的各种修改对于本领域技术人员都是显而易见的，并且此处定义的一般原理可应用于其他实施例中。因此，本发明并非限定于本说明书揭露的特定实施例，而是符合此处揭露的原理及新颖特征的最大范围。在上述详细说明中，列举各种具体细节以提供本发明的全面理解。然而，本领域技术人员容易理解本发明可被实现。
上述本发明实施例可通过各种硬件码、软件码、或者二者的结合来实现。举例来说，本发明一实施例可以是整合到视频压缩芯片上的电路或者是整合到视频压缩软件中的程式码，以执行上述处理。本发明一实施例也可为在数字信号处理器(Digital Signal Processor,DSP)上执行的程式编码，以执行上述处理。本发明也可包含藉由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(field programmable gate array,FPGA)执行的若干功能。依据本发明，通过执行定义本发明的特定方法的机器可读软件码或固件(firmware)码，该些处理器可被设置以执行特定的任务。软件码或固件码可以不同的程式语言及不同的格式或类型来开发。软件码也可对不同的目标平台进行编译。然而，依据本发明用来执行任务的软件码不同的码格式、类型及语言以及其他设置码的方式都不会脱离本发明的精神及范围。
本发明可以其他特定形式体现而不脱离本发明的精神和基本特征。上述实施例仅作为说明而非用来限制本发明，本发明的保护范围当视权利要求所界定者为准。凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (24)

1.一种处理图像数据或视频数据的方法，包含：
接收包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；
对该比特流应用熵解码，恢复与残余量变换后数据相关的数据符号，其中该残余量变换后数据对应于多个输出信道；
对与该数据符号相关的第一数据应用逆残余量变换，获得与残余量数据相关的逆残余量变换输出，该残余量数据与多个输入信道相关，其中依据应用于多个输入信道间该残余量数据的一组整数运算，该残余量变换后数据与该残余量数据相关；以及
对与该逆残余量变换输出相关的第二数据应用重建过程，重建该图像数据或该视频数据。
2.如权利要求1所述的方法，其特征在于，该逆残余量变换对应于无损处理，其中，通过对该残余量变换后数据应用逆残余量变换产生的恢复的残余量数据相同于对应该残余量变换后数据的初始残余量数据。
3.如权利要求1所述的方法，其特征在于，该重建过程对应于无损或有损处理，其中，通过对该残余量数据应用重建过程恢复的该图像数据或该视频数据相同于对应该残余量数据的初始图像数据或初始视频数据。
4.如权利要求1所述的方法，其特征在于，对于该图像数据，该重建过程包含空间重建、逆频率变换、或者该空间重建和该逆频率变换两者。
5.如权利要求1所述的方法，其特征在于，对于该视频数据，该重建过程包含基于帧内预测的第一重建或基于帧间预测的第二重建。
6.如权利要求1所述的方法，其特征在于，该第一数据对应于该数据符号以及该第二数据对应于该逆残余量变换输出；该第一数据对应于该数据符号以及该第二数据对应于第一输出，该第一输出来自对该逆残余量变换输出应用逆编码过程；或者该第一数据对应于第二输出以及该第二数据对应于该逆残余量变换输出，该第二输出来自对该数据符号应用该逆编码过程，其中在各个输入信道基础上应用该逆编码过程。
7.如权利要求6所述的方法，其特征在于，该逆编码过程对应于逆二维变换、逆量化、或者该逆二维变换及该逆量化两者。
8.如权利要求1所述的方法，其特征在于，与不同输入信道相关的该压缩数据在该比特流中被交错，其中与一个输入信道相关的压缩数据的第一部分及第二部分被与另一个输入信道相关的压缩数据的至少第三部分分离。
9.如权利要求1所述的方法，其特征在于，第一输出信道相关的该残余量变换后数据与第一输入信道相关的第一残余量数据和第二输入信道相关的第二残余量数据之间的差异相关。
10.如权利要求9所述的方法，其特征在于，第二输出信道相关的该残余量变换后数据与一阈值和第三输入信道相关的第三残余量数据之间的第二差异相关，其中该阈值对应于该第一残余量数据及该第二残余量数据的第一截断平均值或第一凑整平均值。
11.如权利要求10所述的方法，其特征在于，第三输出信道相关的该残余量变换后数据与该阈值和该第三残余量数据的第二截断平均值或第二凑整平均值相关。
12.一种处理图像数据或视频数据的方法，包含：
接收该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；
对每一输入信道各自应用残余量产生过程，产生每一输入信道相关的残余量数据；
依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及
对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据。
13.如权利要求12所述的方法，其特征在于，该残余量变换对应于无损处理，其中，通过对该残余量变换后数据应用逆残余量变换恢复的残余量数据相同于对应该残余量变换后数据的初始残余量数据。
14.如权利要求12所述的方法，其特征在于，该残余量产生过程对应于无损或有损处理。
15.如权利要求12所述的方法，其特征在于，该残余量产生过程包含空间预测、频率变换、或者该空间预测和该频率变换两者，来降低与每一输入信道的该图像数据相关的数据相关性。
16.如权利要求12所述的方法，其特征在于，该残余量产生过程包含帧内预测或帧间预测，来降低与每一输入信道的该视频数据相关的数据相关性。
17.如权利要求12所述的方法，其特征在于，该第一数据对应于该残余量数据以及该数据符号对应于该残余量变换后数据；该第一数据对应于该残余量数据以及该数据符号对应于第一输出，该第一输出来自于对该残余量变换后数据应用编码过程；或者该第一数据对应于第二输出以及该数据符号对应于该残余量变换后数据，该第二输出来自于对该残余量数据应用该编码过程，其中在各个输入信道基础上应用该编码过程。
18.如权利要求17所述的方法，其特征在于，该编码过程对应于二维变换、量化、或者该二维变换及该量化两者。
19.如权利要求12所述的方法，其特征在于，与不同输入信道相关的该压缩数据在该比特流中被交错，其中与一个输入信道相关的压缩数据的第一部分及第二部分被与另一个输入信道相关的压缩数据的第三部分分离。
20.如权利要求12所述的方法，其特征在于，第一输出信道相关的该残余量变换后数据与第一输入信道相关的第一残余量数据和第二输入信道相关的第二残余量数据之间的差异相关。
21.如权利要求20所述的方法，其特征在于，第二输出信道相关的该残余量变换后数据与一阈值和第三输入信道相关的第三残余量数据之间的第二差异相关，其中该阈值对应于该第一残余量数据及该第二残余量数据的第一截断平均值或第一凑整平均值。
22.如权利要求21所述的方法，其特征在于，第三输出信道相关的该残余量变换后数据与该阈值和该第三残余量数据的第二截断平均值或第二凑整平均值相关。
23.一种处理图像数据或视频数据的装置，包含：
接收装置，用于接收包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；
熵解码装置，用于对该比特流应用熵解码，恢复与残余量变换后数据相关的数据符号，其中该残余量变换后数据对应于多个输出信道；
逆残余量变换装置，用于对与该数据符号相关的第一数据应用逆残余量变换，获得与残余量数据相关的逆残余量变换输出，该残余量数据与多个输入信道相关，其中依据应用于多个输入信道间该残余量数据的一组整数运算，该残余量变换后数据与该残余量数据相关；以及
重建装置，用于对与该逆残余量变换输出相关的第二数据应用重建过程，重建该图像数据或该视频数据。
24.一种处理图像数据或视频数据的装置，包含：
接收装置，用于接收该图像数据或该视频数据，其中该图像数据或该视频数据对应于多个输入信道；
残余量产生装置，用于对每一输入信道各自应用残余量产生过程，产生与每一输入信道相关的残余量数据；
残余量变换装置，用于依据一组整数运算，对与该残余量数据相关的第一数据应用残余量变换，其中该组整数运算被应用至多个输入信道间的该残余量数据，产生具有多个输出信道的残余量变换后数据；以及
熵编码装置，用于对与该残余量变换后数据相关的数据符号应用熵编码，产生包含压缩数据的比特流，该压缩数据对应于该图像数据或该视频数据。
CN201410177553.4A 2013-05-08 2014-04-29 处理图像/视频数据的方法及装置 Active CN104144279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710580438.5A CN107257493A (zh) 2013-05-08 2014-04-29 处理图像/视频数据的方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/890,088 US9148672B2 (en) 2013-05-08 2013-05-08 Method and apparatus for residue transform
US13/890,088 2013-05-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710580438.5A Division CN107257493A (zh) 2013-05-08 2014-04-29 处理图像/视频数据的方法及装置

Publications (2)

Publication Number Publication Date
CN104144279A true CN104144279A (zh) 2014-11-12
CN104144279B CN104144279B (zh) 2017-08-18

Family

ID=51853342

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710580438.5A Withdrawn CN107257493A (zh) 2013-05-08 2014-04-29 处理图像/视频数据的方法及装置
CN201410177553.4A Active CN104144279B (zh) 2013-05-08 2014-04-29 处理图像/视频数据的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710580438.5A Withdrawn CN107257493A (zh) 2013-05-08 2014-04-29 处理图像/视频数据的方法及装置

Country Status (2)

Country Link
US (1) US9148672B2 (zh)
CN (2) CN107257493A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777351A (zh) * 2017-01-17 2017-05-31 中国人民解放军国防科学技术大学 基于art树分布式系统图存储计算系统及其方法
WO2019100204A1 (zh) * 2017-11-21 2019-05-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器、系统及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3044783B1 (en) * 2013-09-12 2017-07-19 Dolby International AB Audio coding
CN112929670A (zh) 2015-03-10 2021-06-08 苹果公司 自适应色度下采样和色彩空间转换技术
PH12019000380A1 (en) 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5710644A (en) * 1992-01-06 1998-01-20 Canon Kabushiki Kaisha Color expressing method and image processing apparatus thereof
US20070025626A1 (en) * 2005-07-15 2007-02-01 Samsung Electronics Co., Ltd. Method, medium, and system encoding/decoding image data
CN101065796A (zh) * 2004-11-24 2007-10-31 北京阜国数字技术有限公司 利用声道间冗余进行编/解码的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1500284A1 (en) * 2002-04-12 2005-01-26 Koninklijke Philips Electronics N.V. Coding and decoding method and device
EP1478189A3 (en) * 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
EP1507415A3 (en) * 2003-07-16 2005-05-04 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image
US20070285500A1 (en) * 2006-04-21 2007-12-13 Dilithium Holdings, Inc. Method and Apparatus for Video Mixing
US7749899B2 (en) * 2006-06-01 2010-07-06 Micron Technology, Inc. Microelectronic workpieces and methods and systems for forming interconnects in microelectronic workpieces
TWI535267B (zh) * 2008-04-25 2016-05-21 湯姆生特許公司 影像序列的圖像之圖像部位寫碼方法及所用寫碼器和解碼器
CN102217308B (zh) * 2008-11-13 2014-10-22 汤姆森特许公司 使用画面组合并和位分配的多线程视频编码
CN102725773B (zh) * 2009-12-02 2015-12-02 惠普发展公司，有限责任合伙企业 数字化图像的前景背景分割的系统与方法
FR2956789B1 (fr) * 2010-02-19 2012-11-16 Canon Kk Procede et dispositif de traitement d'une sequence video
US9307248B2 (en) * 2013-03-08 2016-04-05 Mediatek Inc. Image encoding method and apparatus for performing bit-plane scanning coding upon pixel data and related image decoding method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5710644A (en) * 1992-01-06 1998-01-20 Canon Kabushiki Kaisha Color expressing method and image processing apparatus thereof
CN101065796A (zh) * 2004-11-24 2007-10-31 北京阜国数字技术有限公司 利用声道间冗余进行编/解码的方法及装置
US20070025626A1 (en) * 2005-07-15 2007-02-01 Samsung Electronics Co., Ltd. Method, medium, and system encoding/decoding image data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777351A (zh) * 2017-01-17 2017-05-31 中国人民解放军国防科学技术大学 基于art树分布式系统图存储计算系统及其方法
WO2019100204A1 (zh) * 2017-11-21 2019-05-31 深圳市大疆创新科技有限公司 一种视频处理方法、设备、飞行器、系统及存储介质

Also Published As

Publication number Publication date
CN107257493A (zh) 2017-10-17
US20140334724A1 (en) 2014-11-13
CN104144279B (zh) 2017-08-18
US9148672B2 (en) 2015-09-29

Similar Documents

Publication Publication Date Title
JP6768122B2 (ja) 適応色空間変換の符号化
JP6749922B2 (ja) 高効率ビデオ符号化（ｈｅｖｃ）画面コンテンツ符号化（ｓｃｃ）における改善されたパレットモード
JP5777080B2 (ja) 合成ビデオのためのロスレス・コード化および関連するシグナリング方法
CN106170092B (zh) 用于无损编码的快速编码方法
KR101311403B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101261526B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8588536B2 (en) Guaranteed-rate tiled image data compression
KR101348365B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101311402B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
CN104396245A (zh) 用于对图像进行编码或解码的方法和装置
KR20010025085A (ko) 2-차원 이산 웨이브렛 변환을 바탕으로 지각적 무손실이미지를 산출하는 컬러 이미지의 압축
KR20200110442A (ko) 다중 부호 비트 숨기기 및 잔차 부호 예측을 조화시키기 위한 방법 및 장치
US11533480B2 (en) Method and apparatus for image filtering with adaptive multiplier coefficients
CN104144279A (zh) 处理图像/视频数据的方法及装置
KR20070009486A (ko) 영상 부호화 및 복호화 방법과 장치
JP7384974B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
JP7251882B2 (ja) Ｃｂｆフラグの効率的なシグナリング方法
JP2023160855A (ja) 品質最適化デブロッキングを実行するためのイメージ処理デバイス及び方法
WO2022130663A1 (ja) 復号装置、プログラム、及び復号方法
Weerakkody et al. Adaptive low complexity colour transform for video coding
EP4136849A1 (en) Decorrelation transform for a color filter array pattern image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220217

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.