CN102301708B - 视频编码和解码中用于变换选择的方法和装置 - Google Patents

视频编码和解码中用于变换选择的方法和装置 Download PDF

Info

Publication number
CN102301708B
CN102301708B CN200980155459.6A CN200980155459A CN102301708B CN 102301708 B CN102301708 B CN 102301708B CN 200980155459 A CN200980155459 A CN 200980155459A CN 102301708 B CN102301708 B CN 102301708B
Authority
CN
China
Prior art keywords
group
conversion
transform
block
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980155459.6A
Other languages
English (en)
Other versions
CN102301708A (zh
Inventor
J.索尔
尹鹏
郑云飞
C.格米拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
THOMSON LICENSING CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by THOMSON LICENSING CORP filed Critical THOMSON LICENSING CORP
Priority to CN201510614280.XA priority Critical patent/CN105120281B/zh
Publication of CN102301708A publication Critical patent/CN102301708A/zh
Application granted granted Critical
Publication of CN102301708B publication Critical patent/CN102301708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了视频编码中用于变换选择的方法和装置。一种装置包括视频编码器(300)，用于通过从一组两个或多个可用变换(325，326，327)中选择一种应用于画面中的至少一块的剩余部分的变换(329)来编码该至少一块。所述变换是基于以下中的至少一个而选择的：用于预测所述块的至少一个参考的帧间预测模式，对应于运动矢量的一个或多个值，一个或多个在先编码块的剩余部分的值，所述块的预测数据的值，一个或多个相邻重构块的一个或多个变换选择，和应用于所述块的剩余部分的变换系数的量化步骤。

Description

视频编码和解码中用于变换选择的方法和装置
相关申请的交叉引用
本申请要求2009年1月27日提交的美国临时申请序列号61/147,705的权益，其整体并入于此作为参考。本申请还要求2009年2月17日提交的美国临时申请序列号61/207,783的权益，其整体并入于此作为参考。而且，本申请也紧密涉及两个其它申请，两者与本申请同时提交并且具有共同发明人和共同受让人(代理人案号PU090137和PU090013)，每个所述申请整体并入作为参考，并且每个要求2009年1月27日提交的美国临时申请序列号61/147,705和2009年2月17日提交的美国临时申请序列号61/207,783的权益。
技术领域
本原理一般涉及视频编码和解码，且更具体地涉及选择待用于视频编码和解码的变换的方法和装置。
背景技术
基于块的离散变换是包括下列的许多图像和视频压缩标准和推荐的基本组成部分：联合图像专家组(JPEG)标准，国际电信联盟电信部门(ITU-T)H.263推荐标准(下文是“H.263推荐标准”)，国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-1(MPEG-1)标准，MPEG-2标准，ISO/IECMPEG-4第10部分高级视频编码(AVC)标准/ITU-TH.264推荐标准(下文是“MPEG-4AVC标准”)及其它，并且它在广泛的应用中使用。
离散余弦变换(DCT)是最常用的块变换。DCT方案通过将图像/帧分为像素块(通常是4×4和8×8)，使用离散余弦变换将每个块从空间域变换到频域，并且量化DCT系数，来利用图像/帧的局部空间相关属性。大多数图像和视频压缩标准使用固定的二维(2-D)可分离DCT块变换。如果允许若干块大小(通常，从4×4到16×16个块)，则它们使用其大小对应于该块的DCT。但是，对于每个块大小仅存在一种可能变换。
然而，图像和视频内容包含变化统计和属性的数据。因此，每块大小的单个变换的可用性以及由此强迫使用使得无法实现任何潜在压缩获益，而这潜在压缩获益是可以使用与每块大小可用的单个变换不同的变换而获得的。
在诸如像MPEG-4AVC标准之类的图像和视频编码标准中，针对每个块大小使用的块变换仅存在一种选择。不存在对变换的选择。
参考图1，能够按照MPEG-4AVC标准进行视频编码的视频编码器一般地用附图标号100表示。视频编码器100包括帧排序缓冲器110，其具有与组合器185的非反向输入端进行信号通信的输出端。组合器185的输出端与变换器和量化器125的第一输入端进行信号通信连接。变换器和量化器125的输出端与熵编码器145的第一输入端以及逆变换器和逆量化器150的第一输入端进行信号通信连接。熵编码器145的输出端与组合器190的第一非反向输入端进行信号通信连接。组合器190的输出端与输出缓冲器135的第一输入端进行信号通信连接。
编码器控制器105的第一输出端与帧排序缓冲器110的第二输入端、逆变换器和逆量化器150的第二输入端、画面型判定模块115的输入端、宏块型(MB-型)判定模块120的第一输入端、帧内预测模块160的第二输入端、去块滤波器165的第二输入端、运动补偿器170的第一输入端、运动估计器175的第一输入端以及参考画面缓冲器180的第二输入端进行信号通信连接。
编码器控制器105的第二输出端与补充增强信息(SEI)插入器130的第一输入端、变换器和量化器125的第二输入端、熵编码器145的第二输入端、输出缓冲器135的第二输入端以及序列参数组(SPS)和画面参数组(PPS)插入器140的输入端进行信号通信连接。
SEI插入器130的输出端与组合器190的第二非反向输入端进行信号通信连接。
画面型判定模块115的第一输出端与帧排序缓冲器110的第三输入端进行信号通信连接。画面型判定模块115的第二输出端与宏块型判定模块120的第二输入端进行信号通信连接。
序列参数组(SPS)和画面参数组(PPS)插入器140的输出端与组合器190的第三非反向输入端进行信号通信连接。
逆量化器和逆变换器150的输出端与组合器119的第一非反向输入端进行信号通信连接。组合器119的输出端与帧内预测模块160的第一输入端和去块滤波器165的第一输入端进行信号通信连接。去块滤波器165的输出端与参考画面缓冲器180的第一输入端进行信号通信连接。参考画面缓冲器180的输出端与运动估计器175的第二输入端和运动补偿器170的第三输入端进行信号通信连接。运动估计器175的第一输出端与运动补偿器170的第二输入端进行信号通信连接。运动估计器175的第二输出端与熵编码器145的第三输入端进行信号通信连接。
运动补偿器170的输出端与开关197的第一输入端进行信号通信连接。帧内预测模块160的输出端与开关197的第二输入端进行信号通信连接。宏块型判定模块120的输出端与开关197的第三输入端进行信号通信连接。开关197的第三输入端确定开关的“数据”输入端(与控制输入端相比较，即，第三输入端)是否将由运动补偿器170或帧内预测模块160来提供。开关197的输出端与组合器119的第二非反向输入端和组合器185的反向输入端进行信号通信连接。
帧排序缓冲器110的第一输入端和编码器控制器105的输入端可用作编码器100的用于接收输入画面的输入端。而且，补充增强信息(SEI)插入器130的第二输入端可用作编码器100的用于接收元数据的输入端。输出缓冲器135的输出端可用作编码器100的用于输出位流的输出端。
参考图2，能够按照MPEG-4AVC标准进行视频解码的视频解码器一般地用附图标号200表示。视频解码器200包括输入缓冲器210，其具有与熵解码器245的第一输入端进行信号通信连接的输出端。熵解码器245的第一输出端与逆变换器和逆量化器250的第一输入端进行信号通信连接。逆变换器和逆量化器250的输出端与组合器225的第二非反向输入端进行信号通信连接。组合器225的输出端与去块滤波器265的第二输入端以及帧内预测模块260的第一输入端进行信号通信连接。去块滤波器265的第二输出端与参考画面缓冲器280的第一输入端进行信号通信连接。参考画面缓冲器280的输出端与运动补偿器270的第二输入端进行信号通信连接。
熵解码器245的第二输出端与运动补偿器270的第三输入端以及去块滤波器265的第一输入端进行信号通信连接。熵解码器245的第三输出端与解码器控制器205的输入端进行信号通信连接。解码器控制器205的第一输出端与熵解码器245的第二输入端进行信号通信连接。解码器控制器205的第二输出端与逆变换器和逆量化器250的第二输入端进行信号通信连接。解码器控制器205的第三输出端与去块滤波器265的第三输入端进行信号通信连接。解码器控制器205的第四输出端与帧内预测模块260的第二输入端、运动补偿器270的第一输入端以及参考画面缓冲器280的第二输入端进行信号通信连接。
运动补偿器270的输出端与开关297的第一输入端进行信号通信连接。帧内预测模块260的输出端与开关297的第二输入端进行信号通信连接。开关297的输出端与组合器225的第一非反向输入端进行信号通信连接。
输入缓冲器210的输入端可用作解码器200的用于接收输入位流的输入端。去块滤波器265的第一输出端可用作解码器200的用于输出输出画面的输出端。
在单一编码方案中对于多个变换的使用已经存在一些现有建议。在第一种现有技术途径中，揭露了一种最佳线性变换，称作KarhunenLoeve变换(KLT)。KLT被利用来在MPEG-4AVC标准中对于9种帧内预测模式的每种模式推导出最佳变换。提取每种模式的统计并且推导出相应的KLT。每个帧内预测剩余部分(residue)利用它的KLT来编码。以DCT不再接近最佳变换的这种方式，数据空间被9种帧内模式有效地分割，因此可以推导并且成功地应用独特的最佳变换。总之，该建议使用数种变换，但是每种变换被固定为所选择的帧内预测模式。
第二种现有技术途径提出修改DCT变换为若干频率，也就是，利用不同的全通滤波器改变基本函数以便获得各种各样的弯曲(warped)频率响应。得到的变换称作弯曲DCT(WDCT)。对于每个块进行穷尽比率失真(R-D，ratedistortion)搜索，并且用辅助信息(sideinformation)表示被选变换。该构思应用于图像压缩。
第三种现有技术途径描述了使用WDCT和在变换的系数本身内嵌入变换选择。该方法对低位速率图像压缩显示了良好性能。而且，该方法添加了最小化均方差(MSE)的后滤波步骤。该滤波是在编码器处确定的并且被复用到位流。
第四种现有技术途径提出针对大数据库的一组变换的代数最优化。该组被迭代地分割，直到它达到稳定点，在该稳定点，每个变换对于它的特殊子集数据是最佳稀疏的。编码器通过四重树表示在每个块中使用哪个变换。因此，对于每个块不是独立地完成变换选择。
第五种现有技术途径提出用于帧间模式的整数正弦变换(IST)。帧间剩余部分相关性低，并且DCT仅对于高相关数据是足够的。因此，提出了正弦变换，它对相关性从-0.5到0.5的数据有效。KLT在该范围部分与正弦变换一致。IST是以与MPEG-4AVC标准中的整数余弦变换完全相同的方式从正弦变换中推导出的。第五种现有技术途径已经实现4×4和8×8IST版本。对于整个宏块应用相同变换，发送标记，除非宏块被分为4个子宏块，随后发送规定在每个子宏块中采用的变换的4个标记。
第六种现有技术途径提出了类似于在第五种现有技术途径中提出的方案。该第六种现有技术途径提出能够在空间域和频域中进行自适应预测差错编码的自适应预测差错编码(APEC)方案。对于预测差错的每个块，应用变换编码或空间域编码。选择较低比率失真成本的算法。
先前的途径提出最佳变换的有限范围选择，并且没有充分地利用可用的可能性。
发明内容
通过本原理解决了现有技术的这些和其它缺陷和不足，本原理致力于视频编码中用于变换选择的方法和装置。
按照本原理的一方面，提供了一种装置。该装置包括视频编码器，用于通过从一组两个或多个变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块。所述变换是基于以下中的至少一个而选择的：用于预测所述块的至少一个参考的帧间预测模式，对应于运动矢量的一个或多个值，一个或多个在先编码块的剩余部分的值，所述块的预测数据的值，一个或多个相邻重构块的一个或多个变换选择，和应用于所述块的剩余部分的变换系数的量化步骤。
按照本原理的另一方面，提供了一种装置。该装置包括视频编码器，用于通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块。所述视频编码器通过以下中的至少一个发送描述被选变换的信息：使用一个或多个标记显性地发送所述信息，使用位流中的树结构发送所述信息，在与被选变换对应的变换系数内嵌入所述信息，和允许相应解码器从已解码数据中推断被选变换。
按照本原理的又另一方面，提供了一种装置。该装置包括视频编码器，用于通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块。该组变换是使用来自视频序列中的一个或多个在先画面的重构数据来确定和精化(refinement)的至少一个。
按照本原理的又另一方面，提供了一种装置。该装置包括视频编码器，用于通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块。该组变换是从待用于所述块编码的数据中确定的。
按照本原理的另一方面，提供了一种视频编码器中的方法。该方法包括通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块。所述变换是基于以下中的至少一个而选择的：用于预测所述块的至少一个参考的帧间预测模式，对应于运动矢量的一个或多个值，一个或多个在先编码块的剩余部分的值，所述块的预测数据的值，一个或多个相邻重构块的一个或多个变换选择，和应用于所述块的剩余部分的变换系数的量化步骤。
按照本原理的又一方面，提供了一种视频编码器中的方法。该方法包括：通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块；和通过以下中的至少一种发送描述被选变换的信息：使用一个或多个标记显性地发送所述信息，使用位流中的树结构发送所述信息，在与被选变换对应的变换系数内嵌入所述信息，和允许相应解码器从已解码数据中推断被选变换。
按照本原理的又一方面，提供了一种视频编码器中的方法。该方法包括：通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块。该组变换是使用来自视频序列中的一个或多个在先画面的重构数据来确定和精化中的至少一个。
按照本原理的另外方面，提供了一种视频编码器中的方法。该方法包括：确定一组一个或多个变换；并且通过从该组变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块。该组变换是从待用于所述块编码的数据中确定的。
从下面结合附图阅读的示例性实施例的详细描述中，本原理的这些和其它方面、特征和优点将变得明显。
附图说明
按照下列示例性附图可以更好理解本原理，附图中：
图1是示出能够按照MPEG-4AVC标准进行视频编码的视频编码器的方框图；
图2是示出能够按照MPEG-4AVC标准进行视频解码的视频解码器的方框图；
图3是示出按照本原理实施例的利用应用本原理的变换选择的示例性视频编码器的方框图；
图4是示出按照本原理实施例的利用应用本原理的变换选择的示例性视频解码器的方框图；
图5是示出按照本原理实施例的视频编码器中用于变换选择的示例性方法的流程图；
图6是示出按照本原理实施例的视频解码器中用于变换选择的示例性方法的流程图；
图7是示出按照本原理实施例的视频编码器中用于变换选择和传送的示例性方法的流程图；
图8是示出按照本原理实施例的视频解码器中用于变换传送和选择的示例性方法的流程图；
图9是示出按照本原理实施例的视频编码器中用于变换选择和传送的另一示例性方法的流程图；和
图10是示出按照本原理实施例的视频解码器中用于变换传送和选择的另一示例性方法的流程图。
具体实施方式
本原理致力于视频编码中用于变换选择的方法和装置。
本说明书图示了本原理。因此，将要理解，本领域的技术人员能够设想出尽管本文未显性描述或示出，但体现本原理和包含在其精神和范畴之内的各种布置。
本文叙述的所有例子和条件语言是教学性的，旨在辅助读者理解(多个)发明人为推动技术进步而贡献的原理和概念，并且应当理解为不局限于这样具体叙述的例子和条件
而且，本文叙述本原理的原理、方面和实施例、以及其特定示例的所有语句旨在涵盖其结构和功能两者的等效物。另外，这样的等效物旨在包括当前已知的等效物、以及将来开发的等效物两者，即，与结构无关，开发出来执行相同功能的任何元件。
因此，例如，本领域技术人员将会理解，本文给出的方框图代表体现本原理的例示性电路的概念图。类似地，将会理解，任何流程图、流向图、状态转移图、伪码等代表基本上可以表示在计算机可读介质中并因此可被计算机或处理器执行的各种处理，无论这样的计算机或处理器是否显性示出。
显示在图中的各种元件的功能可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器，单个共享处理器，或其中一些可以共享的多个单独处理器提供。此外，术语“处理器”或“控制器”的显性使用不应该理解为唯一地指代能够执行软件的硬件，也可以不受限制地隐性包括数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和非易失性存储设备。
也可以包括常规的和/或定制的其它硬件。类似地，显示在图中的任何开关都只是概念性的。它们的功能可以通过程序逻辑运算，通过专用逻辑，通过程序控制和专用逻辑的交互，或甚至人工实现，正如从上下文中更具体理解到的那样，具体技术可由实现者选择。
在本文的权利要求书中，表达成执行特定功能的部件的任何元件旨在包含执行那种功能的任何方式，例如，包括a)执行那种功能的电路元件的组合，或b)任何形式的软件，因此，包括固件、微码等，与执行那种软件的适当电路组合在一起来执行那种功能。如这样的权利要求书定义的本原理基于各种所述部件提供的功能以权利要求书要求的方式组合和聚集在一起的事实。因此，认为可以提供那些功能的任何部件都等效于本文所示的那些部件。
在说明书中提到本原理的“一个实施例”或“实施例”，以及其其它变体，意味着结合该实施例所描述的具体特征、结构、特性等包括在本原理的至少一个实施例中。因此，出现在整个说明书的各个地方的短语“在一个实施例中”或“在实施例中”，以及任何其它变体的出现未必都指代相同实施例。而且，将要注意，本文相互交换地使用短语“实施例”和“实现方式”。
此外，如本文中所使用的，词语“画面”和“图像”得以相互交换地使用并且指代自视频序列的静止图像或画面。如所知的，画面可以是一帧或一场。
而且，如本文中所使用的，词语“块”指代任何块大小的块，包括超宏块、宏块、宏块分割和子宏块分割。
同样，如本文中所使用的，针对一组变换或一个变换的词语“精化”是指从参考变换/变换组推导出一个变换/变换组所需的信息。通常，发送一个变换/变换组的“差异”(精化)的信息比发送从擦痕(scratch)推导出变换/变换组所需的所有信息更有效。
另外，如本文中所使用的，短语“辅助信息”指代位流中必须包含的运送到在普通位流中没有发现附加数据的解码器的附加信息。例如，如果使用两个变换来编码一个块，则必须用信号发送被选变换，使得解码器得知要使用哪个逆变换。因此，编码器可以包括1位的表示将要使用哪个逆变换的“辅助信息”。
将要理解，如下“/”、“和/或”、和“至少一个”的任何一种的使用，例如，在“A/B”、“A和/或B”、和“A和B的至少一个”的情况下，旨在包含只选择第一列出选项(A)，或只选择第二列出选项(B)，或选择两个选项(A和B)。作为进一步的例子，在“A、B和/或C”和“A、B和C的至少一个”的情况下，这样的措词旨在包含只选择第一列出选项(A)，或只选择第二列出选项(B)，或只选择第三列出选项(C)，或只选择第一和第二列出选项(A和B)，或只选择第一和第三列出选项(A和C)，或只选择第二和第三列出选项(B和C)，或选择所有三个选项(A、B和C)。本领域及相关领域的普通技术人员容易明白，这可以推广到许多列出项目。
此外，将会理解，虽然本文如先进于(且参考)MPEG-4AVC标准来描述本原理的一个或多个实施例，但本原理不只局限于这种标准，因此，可以在保持本原理精神的同时，针对其它视频编码标准、推荐标准、以及包括MPEG-4AVC标准的扩充的其扩充来使用本原理。
如上注释的，本原理致力于视频编码中用于变换选择的方法和装置。意识到图像和视频内容具有变化统计和属性的数据，我们也会意识到，如果可以对于每个块使用数个变换，在选项范围内对每种形势选择最有利的变换，则存在将要实现的潜在压缩获益。在至少一个实施例中，我们建议优化/设计一组变换给给定统计或图案并且对于每个区域或每个块从该组中选择最佳变换。
因此，我们提出更一般更广泛的途径，其包括现有技术中未考虑的替换物。按照本原理，我们描述使用一组变换(两个或多个变换)，随后对每个区域、切片、块或宏块选择该组的最佳变换来编码图像或视频。该组变换可被最优化或设计用于统计或图像/视频图案的范围。本原理也涉及如何选择最佳变换和被选变换的适当信令，使得图像/视频解码器可以有效地恢复选择信息。
不必限制视频编码器和解码器仅具有一种可能变换。在实施例中，我们建议视频编码器可以从对于每个块、宏块或区域的不同变换中进行选择以实现最佳性能。然后，在实施例中，我们将编码器中的变换组与不损害潜在获益的轻语法相结合。
参考图3，利用变换选择的示例性视频编码器一般地用附图标号300表示。视频编码器300包括帧排序缓冲器310，其具有与组合器385的非反向输入端进行信号通信的输出端。组合器385的输出端与变换器和量化器1325的输入端、变换器和量化器2326的输入端、以及变换器和量化器n327的输入端进行信号通信连接。变换器和量化器1325的输出端与变换选择器329的第一输入端进行信号通信连接。变换器和量化器2326的输出端与变换选择器329的第二输入端进行信号通信连接。变换器和量化器n327的输出端与变换选择器329的第三输入端进行信号通信连接。变换选择器329的输出端与熵编码器345的第一输入端以及逆变换器和逆量化器350的第一输入端进行信号通信连接。熵编码器345的输出端与组合器390的第一非反向输入端进行信号通信连接。组合器390的输出端与输出缓冲器335的第一输入端进行信号通信连接。
编码器控制器305的第一输出端与帧排序缓冲器310的第二输入端、逆变换器和逆量化器350的第二输入端、画面型判定模块315的输入端、宏块型(MB型)判定模块320的第一输入端、帧内预测模块360的第二输入端、去块滤波器365的第二输入端、运动补偿器370的第一输入端、运动估计器375的第一输入端以及参考画面缓冲器380的第二输入端进行信号通信连接。
编码器控制器305的第二输出端与补充增强信息(SEI)插入器330的第一输入端、熵编码器345的第二输入端、输出缓冲器335的第二输入端以及序列参数组(SPS)和画面参数组(PPS)插入器340的输入端进行信号通信连接。
SEI插入器330的输出端与组合器390的第二非反向输入端进行信号通信连接。
画面型判定模块315的第一输出端与帧排序缓冲器310的第三输入端进行信号通信连接。画面型判定模块315的第二输出端与宏块型判定模块320的第二输入端进行信号通信连接。
序列参数组(SPS)和画面参数组(PPS)插入器340的输出端与组合器390的第三非反向输入端进行信号通信连接。
逆量化器和逆变换器350的输出端与组合器319的第一非反向输入端进行信号通信连接。组合器319的输出端与帧内预测模块360的第一输入端和去块滤波器365的第一输入端进行信号通信连接。去块滤波器365的输出端与参考画面缓冲器380的第一输入端进行信号通信连接。参考画面缓冲器380的输出端与运动估计器375的第二输入端和运动补偿器370的第三输入端进行信号通信连接。运动估计器375的第一输出端与运动补偿器370的第二输入端进行信号通信连接。运动估计器375的第二输出端与熵编码器345的第三输入端进行信号通信连接。
运动补偿器370的输出端与开关397的第一输入端进行信号通信连接。帧内预测模块360的输出端与开关397的第二输入端进行信号通信连接。宏块型判定模块320的输出端与开关397的第三输入端进行信号通信连接。开关397的第三输入端确定开关的“数据”输入端(与控制输入端相比较，即，第三输入端)是否将由运动补偿器370或帧内预测模块360提供。开关397的输出端与组合器319的第二非反向输入端和组合器385的反向输入端进行信号通信连接。
帧排序缓冲器310的第一输入端和编码器控制器305的输入端可用作编码器300的用于接收输入画面的输入端。而且，补充增强信息(SEI)插入器330的第二输入端可用作编码器300的用于接收元数据的输入端。输出缓冲器335的输出端可用作编码器300的用于输出位流的输出端。
在一个实施例中，视频编码器300从一组n个变换中选择最佳变换，并且发送被选变换的辅助信息。然后，对于该被选变换(用i表示)进行逆变换。在该实施例中，所述变换是离线推导出的并且在编码器和解码器处可用。在一个实施例中，改变/修改熵编码器345进行的熵编码以便适应正使用什么变换的附加信息，并且也因为每个变换可能需要不同的熵编码(不同的扫描顺序，不同的环境，等等)。
参考图4，利用变换选择的示例性视频解码器一般地用附图标号400表示。视频解码器400包括输入缓冲器410，其具有与熵解码器445的第一输入端进行信号通信连接的输出端。熵解码器445的第一输出端与逆变换器和逆量化器i450的第一输入端进行信号通信连接。逆变换器和逆量化器i450的输出端与组合器425的第二非反向输入端进行信号通信连接。组合器425的输出端与去块滤波器465的第二输入端和帧内预测模块460的第一输入端进行信号通信连接。去块滤波器465的第二输出端与参考画面缓冲器480的第一输入端进行信号通信连接。参考画面缓冲器480的输出端与运动补偿器470的第二输入端进行信号通信连接。
熵解码器445的第二输出端与运动补偿器470的第三输入端以及去块滤波器465的第一输入端进行信号通信连接。熵解码器445的第三输出端与解码器控制器405的输入端进行信号通信连接。解码器控制器405的第一输出端与熵解码器445的第二输入端进行信号通信连接。解码器控制器405的第二输出端与逆变换器和逆量化器i450的第二输入端进行信号通信连接。解码器控制器405的第三输出端与去块滤波器465的第三输入端进行信号通信连接。解码器控制器405的第四输出端与帧内预测模块460的第二输入端、运动补偿器470的第一输入端和参考画面缓冲器480的第二输入端进行信号通信连接。
运动补偿器470的输出端与开关497的第一输入端进行信号通信连接。帧内预测模块460的输出端与开关497的第二输入端进行信号通信连接。开关497的输出端与组合器425的第一非反向输入端进行信号通信连接。
输入缓冲器410的输入端可用作解码器400的用于接收输入位流的输入端。去块滤波器465的第一输出端可用作解码器400的用于输出输出画面的输出端。
当待编码的数据可用或者存在大量训练数据集时，存在技术来推导出最佳变换组。例如，数个序列的训练集可能是可得到的，并且这些技术可以提供分割数据空间的一组变换使得每个变换对其数据部分是最佳的。然后，给定一个块，编码器必须确定该块所属的数据的类型并且使用适当的变换。推导出一组变换的这些技术可以基于普通KLT、稀疏目标功能、和/或本领域和相关领域的普通技术人员已知或容易推导出的技术。假设我们具有这样可用的技术，我们现在解决如何以有效方式使用该组变换，也就是，如何选择最佳变换和如何将信息从编码器有效地传送到解码器。
确定变换组
现在我们解释如何确定所使用的变换组。
在一个实施例中，采用一组序列作为训练数据离线推导该变换组。如所提到的，一旦形成良好的训练组，就可以使用基于KLT的、基于稀疏性的能量压缩或其它方法来推导该变换组。
存在基于变换组的现有设计标准(方向性、频率等)推导变换的方法。而且，上述第四种现有技术途径提出了利用代数优化处理基于训练数据的离线优化。该处理通过旨在获得给定数据的合适变换组的成本函数来驱动。成本函数包括符合压缩目的的两项。该算法尝试最小化重构差错项，同时最大化与变换系数表示的稀疏性相关的项。在原理上，越稀疏表示越少的位速率来传送系数的信息。我们也提出一种解决上面引用的现有技术途径的至少两个不足的途径。首先，我们明确提出一个平衡成本函数的两个项的权重。第二且更重要的是，我们建议推导最佳垂直和水平变换，而不是单个2-D不可分离变换。尽管我们的途径结合了两个方向的联合优化，但是针对实践应用重要的优点在于，一组可分离变换的计算复杂性和存储需求比一组不可分离变换的需求低得多。同时，允许垂直和水平方向上的变换不同使得图像和视频块的丰富的捕获优于具有两个方向的单个内核(kernel)。
注意，当我们提及“变换组”时，这些变换的每一个可能是不可分离的或者可分离的。如果它们是可分离的，则每个方向(垂直/水平)可能相同或不同。
在另一个实施例中，可以选择变换族的子集，因此该子集具有良好属性以便编码输入数据。例如，可以对要编码的视频数据确定WDCT的子集。而且，可以确定折叠(lapped)变换的子集。一旦固定了子集，则编码器仅需要传送使用了族子集内的什么变换的信息。
在另一个实施例中，根据重构视频的质量来选择变换的子集。输出的质量可以通过编码器的量化步骤、量化参数(QP)、目标位速率、PSNR和/或表示期望输出视频质量的度量的任何参数来确定。
在另一个实施例中，从已被编码的数据在线推导变换组。该实施例的两个示例性实现方式提供如下。在一个示例性实现方式中，在先帧的重构数据被用作训练组以便利用可用方法的任何一种来推导变换组。在另一种示例性实现方式中，重构数据被用来精化正被使用的变换，因此在线更新变换以便匹配正进行的数据统计。
在另一个实施例中，从待编码的数据推导变换组。待编码的这种数据包括但不限于从要编码的后来帧抽取的原始帧或统计。因此，编码器分析序列或者序列的下一部分以便利用可用方法的任何一种编码和确定要使用的最佳变换组或者选择要使用的最佳变换族。在这种情况下，编码器需要将正要使用的变换组作为辅助信息进行发送。本实施例的数个示例性实现方式提供如下。在第一个示例性实现方式中，编码器发现最佳变换组并且发送所有要使用的变换。在第二个示例性实施例中，编码器发现要使用的最佳变换组，并且解码器试图从在先解码数据推导最佳组，使得编码器仅需要发送解码器推导的变换的精化(使得在编码器和解码器之间没有错误或失配)。在第三个示例性实现方式中，编码器从各种变换组(在编码器和解码器两者处可用)选择要使用的最佳组，并且将该特殊组用信号发送到解码器。在第四种实现方式中，编码器从最适于数据的变换族中发现特定变换组。然后，编码器向解码器传送已被选择的变换族的特定子集。
传送被选变换
现在我们描述如何对解码器表示被选变换使得编码器和解码相匹配。
在一个实施例中，编码器可以利用在切片、宏块或块级别包含在语法中的标记将被选变换发送到解码器。在一个实施例中，在编码器处，利用比率失真成本函数来确定每个块的最佳变换。
在另一个实施例中，利用针对帧中的不同区域允许显性并灵活规定被选变换的四重树或其它类型的树来传送被选变换。这样，变换的区域可能比先前实施例的简单块形状更任意。
在另一个实施例中，可以通过将标记隐藏在变换系数本身内(表示将要使用哪个变换)来发送被选变换。下面解释这种替换的可能实施例。假设在该组变换中仅有两种变换。然后，如果选择变换1，则编码器强制变换系数之和为偶数。如果选择变换2，则编码器强制变换系数之和为奇数。在解码器处，变换系数得以恢复并且它们和的奇偶校验被计算。如果该奇偶校验是偶数，则要应用的逆变换是变换1的逆变换。如果该奇偶校验是奇数，则要应用的逆变换是变换2的逆变换。这样，标记可被隐藏在变换系数中，并且在解码器侧是可恢复的，因此编码器和解码器两者同步。明显地，在系数中隐藏标记不限于具有两种变换。这样的技术可以直接扩展到任何数量的变换。
在另一个实施例中，不发送被选变换的显性信息。在这种情况下，它可以从已经解码的数据中进行推导。该信息必须在编码器和解码器两者处可获得，并且从数据中提取被选变换的方式在两者中必须相同，使得它们同步。存在从中可以选择变换的各种各样的信息。下面，提供这种隐性信令的5个具体实施例。当然，本原理不限于下列与隐性信令相关的实施例，给定本文中提供的本原理的教导，本领域和相关领域的普通技术人员将设想这些和其它实现方式，同时维持本原理的精神。
在第一个实施例中，使用被采用的帧间预测模式来隐性地用信号发送变换。在本实施例的一种实现方式中，如果它是直接模式，则使用变换1。否则，使用变换2。
在第二个实施例中，使用运动矢量来隐性地用信号发送变换。待使用的变换可以取决于块的运动矢量(它的大小、方向、参考画面等等)。
在第三个实施例中，变换取决于在先编码块的剩余部分。然后，在先编码块的剩余部分的统计确定使用该组内的什么变换。
在第四个实施例中，变换选择取决于块的预测数据。在剩余部分和预测数据之间存在在最佳变换的选择中可以利用的某些相关性。例如，如果预测具有方向性分量，则该方向性在剩余部分中通常也是显而易见的。然后，对于给定方向使用方向性变换会得到更好的性能，因为方向性变换可以以非方向性变换不能的方式利用剩余部分的方向性分量。
在第五个实施例中，变换选择可以取决于可在编码器和解码器两者处获得的相邻重构块的变换选择。
系统
本原理可认为包括两部分，即，对于每个特殊块如何选择变换组和如何传送所述组内的被选变换。对于这两部分的每一个提出了几种替换方式。所提出的途径可以组合针对每个部分提出的替换方式的任何一种。而且，注意，每个变换可能需要它的特殊量化处理、以及熵编码之前系数的不同扫描顺序。而且，每个扫描顺序可以自适应于每个变换的统计而完成。在一个实施例中，每个变换的扫描顺序可以自适应于特殊系数位置已经被在先编码为重要的次数。本原理考虑下列变换扩展：变换的量化处理；变换的扫描顺序；和该扫描顺序的潜在自适应性。
参考图5，视频编码器中用于变换选择的示例性方法一般地用附图标号500来表示。方法500包括将控制传递到功能块510的起始块505。功能块510接收用于编码的视频序列，开始编码该视频序列，并且将控制传递到功能块515。功能块515确定训练数据、每组代表各个变换族的一组或多组变换、已编码数据和待编码数据中的一个或多个，并且将控制传递到功能块520。功能块520根据训练数据、每子集代表变换族的各个部分的一个或多个变换子集、已编码数据和待编码数据中的一个或多个来选择变换i，并且将控制传递到功能块525。功能块525使用被选变换i进行变换，并且对于视频序列画面中的块对块剩余数据进行量化，并且将控制传递到功能块530。功能块530输出量化系数，并且将控制传递到结束块599。
将会理解，训练数据以及一组或多组变换中的一个或多个可以在线地(即，视频序列编码期间)或者离线地(例如，在编码视频序列之前)确定。
参考图6，视频解码器中用于变换选择的示例性方法一般地用附图标号600来表示。方法600包括将控制传递到功能块610的起始块605。功能块610接收用于解码的位流，开始解码该位流，并且将控制传递到功能块615。功能块615确定训练数据、每组代表各个变换族的一组或多组变换、已编码数据和待编码数据中的一个或多个，并且将控制传递到功能块620。功能块620根据训练数据、每子集代表变换族的相应部分的一个或多个变换子集、已编码数据和待编码数据中的一个或多个来选择变换i，并且将控制传递到功能块625。功能块625使用被选变换i逆变换和逆量化针对视频序列画面中的块的量化系数，并且将控制传递到功能块630。功能块630输出块剩余数据，并且将控制传递到结束块699。
将会理解，训练数据以及一组或多组变换中的一个或多个可以在线地(即，视频序列解码期间)或者离线地(例如，在解码视频序列之前)确定。
参考图7，视频编码器中用于变换选择和传送的示例性方法一般地用附图标号700来表示。方法700包括将控制传递到功能块710的起始块705。功能块710接收用于编码的输入帧，并且将控制传递到功能块715。功能块715训练一组或多组变换，并且将控制传递到功能块765和循环限制块720。功能块765输出将要在帧中使用的该组变换，并且将控制传递到功能块770。循环限制块720对输入帧上的块进行循环，并且将控制传递到功能块725。功能块725得到块剩余部分，并且将控制传递到循环限制块730。循环限制块730对一组或多组变换进行循环，并且将控制传递到功能块735。功能块735针对一组或多组变换中的变换进行比率失真分析，并且将控制传递到循环限制块740。循环限制块740结束对变换的循环，并且将控制传递到功能块745。功能块745确定当前块的最佳变换，并且将控制传递到循环限制块750。循环限制块750结束对块的循环，并且将控制传递到功能块755和功能块760。功能块755输出每个块的量化系数，并且将控制传递到功能块770。功能块760输出每个块的被选变换，并且将控制传递到功能块770。功能块770发送量化系数、将要在帧中使用的该组变换(或该组的精化)以及对该帧中的每个块的被选变换，将要在帧中使用的该组变换(或该组的精化)和/或对该帧中的每个块的被选变换被显性地或隐性地发送，并且将控制传递到结束块799。将会理解，针对功能块770，在将要在帧中使用的该组变换(或该组的精化)和/或对该帧中的每个块的被选变换被隐性地发送的情况下，代替实际变换，可以发送表示将要在帧中使用的该组变换(或该组的精化)和/或对该帧中的每个块的被选变换的信息。在这种情况下，解码器随后可以从隐性信息中推导出所述变换。而且，针对位流，将要在帧中使用的该组变换(或该组的精化)、对该帧中的每个块的被选变换、和/或表示先前中的至少一个的信息可以作为辅助信息发送。另外，使用一个或多个标记和/或语法元素可以发送将要在帧中使用的该组变换(或该组的精化)、对该帧中的每个块的被选变换、和/或表示先前中的至少一个的信息。
参考图8，视频解码器中用于变换传送和选择的示例性方法一般地用附图标号800来表示。方法800包括将控制传递到功能块810、功能块815和功能块820的起始块805。功能块810显性地或隐性地接收将用于待解码的当前帧的一组变换或者该组的精化，并且将控制传递到功能块830。功能块815接收对当前帧中的每个块的量化系数，并且将控制传递到循环限制块825。功能块820显性地或者隐性地接收对当前帧中的每个块的被选变换，并且将控制传递到功能块830。循环限制块825对当前帧中的块进行循环，并且将控制传递到功能块830。功能块830确定当前块的逆变换，并且将控制传递到功能块835。功能块835应用对该块所确定的逆变换，并且将控制传递到循环限制块840。循环限制块840结束循环，并且将控制传递到功能块845。功能块845输出每个块的块剩余部分，并且将控制传递到结束块899。
将会理解，针对功能块810和820，在将要在帧中使用的该组变换(或该组的精化)和/或对该帧中的每个块的被选变换被隐性地发送的情况下，代替实际变换，可以接收表示将要在帧中使用的该组变换(或该组的精化)和/或对该帧中的每个块的被选变换的信息。在这种情况下，解码器随后可以从隐性信息中推导出变换(例如通过功能块830)。而且，针对位流，将要在帧中使用的该组变换(或该组的精化)、对该帧中的每个块的被选变换、和/或表示先前中的至少一个的信息可以作为辅助信息接收。
参考图9，视频编码器中用于变换选择和传送的另一示例性方法一般地用附图标号900来表示。方法900包括将控制传递到功能块910的起始块905。功能块910输入待编码的帧，并且将控制传递到功能块915。功能块915训练一组或多组变换，并且将控制传递到功能块970和循环限制块920。循环限制块920对帧中的块进行循环，并且将控制传递到功能块925。功能块925得到当前块的块剩余部分，并且将控制传递到循环限制块930。循环限制块930对一组或多组变换进行循环，并且将控制传递到功能块935。功能块935变换和量化当前块的系数，并且将控制传递到功能块940。功能块940将标记嵌入系数中，并且将控制传递到功能块945。功能块945进行比率失真(RD)分析，并且将控制传递到循环限制块950。循环限制块950结束对变换的循环，并且将控制传递到功能块955。功能块955确定当前块的最佳变换，并且将控制传递到功能块960。功能块960输出每个块的量化系数，并且将控制传递到循环限制块965。循环限制块结束对块的循环，并且将控制传递到结束块999。
参考图10，视频解码器中用于变换传送和选择的另一示例性方法一般地用附图标号1000来表示。方法1000包括将控制传递到功能块1010和循环限制块1015的起始块1005。功能块1010显性地或隐性地接收将用于待解码的当前帧的一组变换，并且将控制传递到功能块1030。循环限制块1015对当前帧中的块进行循环，并且将控制传递到功能块1020。功能块1020接收当前帧中的每个块的量化系数，并且将控制传递到功能块1025。功能块1025从系数中提取嵌入标记，并且将控制传递到功能块1030。功能块1030根据(多个)嵌入标记确定应用于当前块的逆变换，并且将控制传递到功能块1035。功能块1035使用所确定的逆变换对块进行逆变换，并且将控制传递到功能块1040。功能块1040输出块剩余部分，并且将控制传递到循环限制块1045。循环限制块1045结束循环，并且将控制传递到结束块1099。
现在将给出本发明的许多随附优点/特征的一些的描述，其中一些优点/特征已在上面提到。例如，一个优点/特征是具有用于通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块的视频编码器的装置。所述变换是基于以下中的至少一个来选择的：用于预测所述块的至少一个参考的帧间预测模式，对应于运动矢量的一个或多个值，一个或多个在先编码块的剩余部分的值，所述块的预测数据的值，一个或多个相邻重构块的一个或多个变换选择，和应用于所述块的剩余部分的变换系数的量化步骤。
另一优点/特征是具有如上所描述的编码器的装置，其中该组变换是离线确定的。
再另一优点/特征是具有如上所描述的其中该组变换是离线确定的编码器的装置，其中该组变换是使用训练数据和通过选择变换族的子集的至少一个来确定的。
另一优点/特征是具有如上所描述的编码器的装置，其中该组中的变换是可分离的或者不可分离中的任何一个，并且当所述变换是可分离的时候，该变换的水平和垂直方向可能不同。
又另一优点/特征是具有用于通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块的视频编码器的装置。所述视频编码器通过下列中的至少一个发送描述被选变换的信息：使用一个或多个标记显性地发送所述信息，使用位流中的树结构发送所述信息，将所述信息嵌入在与被选变换对应的变换系数内，以及允许相应解码器从已解码数据推断被选变换。
而且，另一优点/特征是具有如上所描述的视频编码器的装置，其中该变换组是使用训练数据和通过选择变换族的子集的至少一个确定的。
再者，另一优点/特征是具有用于通过从一组两个或多个可用变换中选择一种应用于视频序列画面中的至少一块的剩余部分的变换来编码该至少一块的视频编码器的装置。该变换组是使用来自视频序列中的一个或多个在先画面的重构数据被确定和被精化中的至少一个。
而且，另一优点/特征是具有用于通过从一组两个或多个可用变换中选择一种应用于画面中的至少一块的剩余部分的变换来编码该至少一块的视频编码器的装置。该变换组是从将要对所述块编码的数据中确定的。
另外，另一优点/特征是具有如上所描述的视频编码器的装置，其中所述视频编码器确定该变换组，并且将该变换组作为边消息发送到相应解码器。
而且，另一优点/特征是具有如上所描述的视频编码器的装置，其中所述视频编码器确定变换组，确定对该变换组的精化，允许相应解码器从所述精化以及从在先解码数据预测所述变换组，以便推导相同变换组作为所述视频编码器，并且将所述精化发送到相应解码器。
另外，另一优点/特征是具有如上所描述的视频编码器的装置，其中所述视频编码器从多个变换组中确定该变换组，并且将该变换组作为边消息进行发送。
而且，另一优点/特征是具有如上所描述的视频编码器的装置，其中所述视频编码器从变换族中确定变换组，该变换组表示所述变换族的子集，并且其中所述视频编码器仅发送所述变换族的子集。
相关领域的普通技术人员可以根据本文的教导容易地弄清本原理的这些和其它特征和优点。将要理解，本原理的教导可以以硬件、软件、固件、专用处理器或它们的组合体的各种形式实现。
更优选的是，将本原理的教导实现成硬件和软件的组合体。此外，软件可以实现成有形地具体化在程序存储单元上的应用程序。应用程序可以上载到包含任何适当结构的机器，并由该机器执行。优选的是，机器是在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口之类的硬件的计算机平台上实现的。计算机平台也可以包括操作系统和微指令代码。本文所述的各种处理和功能可以是可以由CPU执行的微指令代码的一部分或应用程序的一部分，或其任何组合。另外，诸如附加数据存储单元和打印单元之类的各种外围单元可以与计算机平台连接。
将要进一步理解，由于描绘在附图中的组成系统部件和方法的一些优选用软件实现，因此，取决于编程本原理的方式，系统部件或处理功能块之间的实际连接可能不同。在本文的教导下，相关领域的普通技术人员将能够设想出本原理的这些和类似实现方式或配置。
尽管本文已经参考附图描述了例示性实施例，但是将要理解，本原理不限于那些精确的实施例，并且在不背离本原理的范围或精神的情况下，相关领域的普通技术人员可以在其中做出各种变化和修改。所有这种变化和修改意欲包含在如所附权利要求中阐述的本原理的范围之内。

Claims (20)

1.一种视频编码中用于变换选择的装置，包括：
视频编码器(300)，用于通过从一组两个或多个变换中选择一种应用于视频序列中的画面的至少一块的剩余部分的变换来编码该至少一块，
其中，从该至少一块的运动矢量所指向的参考画面确定该组变换。
2.如权利要求1所述的装置，其中，所述视频编码器(300)确定该组变换并且将该组变换作为边信息发送至对应的解码器。
3.如权利要求1所述的装置，其中，所述视频编码器(300)确定该组变换，确定该组变换的精化，其允许对应的解码器从精化并且从在先解码的数据来预测该组变换以便推导出一组与所述视频编码器相同的变换，并且发送该精化至对应的解码器，其中所述精化是从参考变换或变换组推导出一个变换或变换组所需的信息。
4.如权利要求1所述的装置，其中，所述视频编码器(300)从多组变换中确定该组变换并且将该组变换作为边信息发送。
5.如权利要求1所述的装置，其中，所述视频编码器(300)从变换族中确定该组变换，该组变换表示变换族的子集，并且其中所述视频编码器(300)仅发送变换族的子集。
6.一种在视频编码器中的方法，包括：
确定(515)一组两个或多个变换；以及
通过从该组变换中选择(520)一种应用于视频序列中的画面中的至少一块的剩余部分的变换来编码(510)该至少一块，
其中，从该至少一块的运动矢量所指向的参考画面确定该组变换(515)。
7.如权利要求6所述的方法，还包括：将该组变换作为边信息发送至对应的解码器(770)。
8.如权利要求6所述的方法，还包括：
确定该组变换的精化，其允许对应的解码器从该精化并且从在先解码的数据来预测该组变换以便推导出一组与所述视频编码器相同的变换；以及
发送该精化至对应的解码器，
其中所述精化是从参考变换或变换组推导出一个变换或变换组所需的信息。
9.如权利要求6所述的方法，其中，从多组变换中确定该组变换，并且所述方法还包括：将该组变换作为边信息发送(770)。
10.如权利要求6所述的方法，其中，从变换族中确定该组变换，该组变换表示变换族的子集，并且其中所述方法还包括仅发送变换族的子集(515、520、770)。
11.一种视频解码中用于变换选择的装置，包括：
视频解码器(400)，用于通过从一组两个或多个逆变换中选择一种应用于视频序列中的画面中的至少一块的逆量化系数的逆变换来解码该至少一块，
其中，从该至少一块的运动矢量所指向的参考画面确定该组逆变换。
12.如权利要求11所述的装置，其中，所述视频解码器(400)将该组逆变换作为边信息接收。
13.如权利要求11所述的装置，其中，所述视频解码器(400)接收该组逆变换的精化，其允许所述视频解码器(400)从该精化并且从在先解码的数据来预测该组逆变换以便推导出一组与对应的视频编码器相同的逆变换，其中所述精化是从参考变换或变换组推导出一个变换或变换组所需的信息。
14.如权利要求11所述的装置，其中，从多组逆变换中确定该组逆变换，并且该组逆变换作为边信息由所述视频解码器(400)接收。
15.如权利要求11所述的装置，其中，从逆变换族中确定该组逆变换，该组逆变换表示逆变换族的子集，并且其中所述视频解码器(400)仅接收逆变换族的子集。
16.一种视频解码器中的方法，包括：
通过从一组两个或多个逆变换中选择(615、620)一种应用于视频序列中的画面中的至少一块的逆量化系数的逆变换来解码(610)该至少一块，
其中，从该至少一块的运动矢量所指向的参考画面确定该组逆变换(615、620)。
17.如权利要求16所述的方法，还包括：将该组变换作为边信息接收(810)。
18.如权利要求16所述的方法，还包括：
接收(810)该组变换的精化，其允许视频解码器从该精化并且从在先解码的数据来预测该组变换以便推导出一组与对应的视频编码器相同的变换；以及
从该精化并且从在先解码的数据预测(615、620)该组变换，
其中所述精化是从参考变换或变换组推导出一个变换或变换组所需的信息。
19.如权利要求16所述的方法，其中，从多组变换中确定该组变换，并且所述方法还包括：将该组变换作为边信息接收(810)。
20.如权利要求16所述的方法，其中，从变换族中确定该组变换，该组变换表示变换族的子集，并且其中所述方法还包括仅接收变换族的子集(810)。
CN200980155459.6A 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置 Active CN102301708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510614280.XA CN105120281B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14770509P 2009-01-27 2009-01-27
US61/147,705 2009-01-27
US20778309P 2009-02-17 2009-02-17
US61/207,783 2009-02-17
PCT/US2009/005720 WO2010087807A1 (en) 2009-01-27 2009-10-21 Methods and apparatus for transform selection in video encoding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510614280.XA Division CN105120281B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置

Publications (2)

Publication Number Publication Date
CN102301708A CN102301708A (zh) 2011-12-28
CN102301708B true CN102301708B (zh) 2015-11-25

Family

ID=42395863

Family Applications (4)

Application Number Title Priority Date Filing Date
CN200980155459.6A Active CN102301708B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置
CN200980155457.7A Active CN102308578B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置
CN201510614280.XA Active CN105120281B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置
CN200980155458.1A Active CN102301707B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN200980155457.7A Active CN102308578B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置
CN201510614280.XA Active CN105120281B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置
CN200980155458.1A Active CN102301707B (zh) 2009-01-27 2009-10-21 视频编码和解码中用于变换选择的方法和装置

Country Status (8)

Country Link
US (6) US9161031B2 (zh)
EP (5) EP2991352A1 (zh)
JP (11) JP2012516625A (zh)
KR (15) KR20170116216A (zh)
CN (4) CN102301708B (zh)
BR (4) BRPI0924155B1 (zh)
HK (1) HK1222274A1 (zh)
WO (3) WO2010087807A1 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170116216A (ko) 2009-01-27 2017-10-18 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
KR101837206B1 (ko) * 2009-07-23 2018-03-09 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 적응적 변환 선택을 위한 방법들 및 장치
CN102918564B (zh) * 2010-03-10 2016-10-26 汤姆森特许公司 具有变换选择的视频编码和解码的约束变换的方法和装置
US8929440B2 (en) * 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
US9661338B2 (en) 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
JP2012023632A (ja) * 2010-07-15 2012-02-02 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
US20130177077A1 (en) * 2010-07-15 2013-07-11 Agency For Science, Technology And Research Method, Apparatus and Computer Program Product for Encoding Video Data
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
US8976861B2 (en) 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US9042440B2 (en) 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US20120163456A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US8767835B2 (en) * 2010-12-28 2014-07-01 Mitsubishi Electric Research Laboratories, Inc. Method for coding videos using dictionaries
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US8630341B2 (en) * 2011-01-14 2014-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for training and utilizing separable transforms for video coding
US9380319B2 (en) * 2011-02-04 2016-06-28 Google Technology Holdings LLC Implicit transform unit representation
US20120230418A1 (en) 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
JP5739714B2 (ja) * 2011-04-04 2015-06-24 日本放送協会 符号化装置、復号装置及びプログラム
US9491469B2 (en) 2011-06-28 2016-11-08 Qualcomm Incorporated Coding of last significant transform coefficient
US8929455B2 (en) * 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
KR101718953B1 (ko) 2011-10-17 2017-03-22 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
IN2014DN03096A (zh) * 2011-10-17 2015-05-15 Kt Corp
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
KR20130050406A (ko) * 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
FR2982447A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982983A1 (fr) * 2011-11-22 2013-05-24 Thomson Licensing Procede de codage et de reconstruction d'un bloc de pixels et dispositifs correspondants
EP3767948A1 (en) * 2012-01-17 2021-01-20 Huawei Technologies Co., Ltd. In-loop filtering for lossless coding mode in high efficiency video coding
EP3094094B1 (en) * 2012-01-20 2018-03-28 BlackBerry Limited Multiple sign bit hiding within a transform unit
US9008184B2 (en) 2012-01-20 2015-04-14 Blackberry Limited Multiple sign bit hiding within a transform unit
KR101418096B1 (ko) * 2012-01-20 2014-07-16 에스케이 텔레콤주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
US9258389B2 (en) 2012-08-13 2016-02-09 Gurulogic Microsystems Oy Encoder and method
US8675731B2 (en) 2012-08-13 2014-03-18 Gurulogic Microsystems Oy Encoder and method
US9538239B2 (en) * 2012-08-13 2017-01-03 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
US10412414B2 (en) 2012-08-13 2019-09-10 Gurulogic Microsystems Oy Decoder and method for decoding encoded input data containing a plurality of blocks or packets
US10333547B2 (en) 2012-08-13 2019-06-25 Gurologic Microsystems Oy Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
KR102114252B1 (ko) 2013-07-05 2020-05-22 삼성전자 주식회사 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
US9602826B2 (en) 2014-06-27 2017-03-21 Massachusetts Institute Of Technology Managing transforms for compressing and decompressing visual data
FR3024933A1 (fr) * 2014-08-12 2016-02-19 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US9762912B2 (en) * 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
FR3038196A1 (fr) * 2015-06-29 2016-12-30 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
EP3166313A1 (en) 2015-11-09 2017-05-10 Thomson Licensing Encoding and decoding method and corresponding devices
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
KR102143908B1 (ko) * 2015-12-23 2020-08-28 후아웨이 테크놀러지 컴퍼니 리미티드 계층적 분할 내에서 블록 레벨 변환 선택 및 암시적 시그널링을 이용한 변환 코딩을 위한 방법 및 장치
WO2017142319A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 영상 부호화 방법 및 장치와 영상 복호화 방법 및 장치
KR102531124B1 (ko) 2016-07-14 2023-05-10 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 변환 기반 잔차 코딩을 이용한 예측 화상 코딩
FR3057131A1 (fr) 2016-10-04 2018-04-06 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal et programmes d'ordinateurs associes
FR3057429A1 (fr) * 2016-10-07 2018-04-13 B<>Com Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
KR102171362B1 (ko) * 2017-03-21 2020-10-28 엘지전자 주식회사 영상 코딩 시스템에서 변환 방법 및 그 장치
EP3451663A1 (en) 2017-08-31 2019-03-06 Thomson Licensing Pools of transforms for local selection of a set of transforms in video coding
CN109922340B (zh) * 2017-12-13 2021-10-15 华为技术有限公司 图像编解码方法、装置、系统及存储介质
US11647214B2 (en) * 2018-03-30 2023-05-09 Qualcomm Incorporated Multiple transforms adjustment stages for video coding
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
JP7249111B2 (ja) * 2018-08-15 2023-03-30 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2020064729A1 (en) * 2018-09-24 2020-04-02 Telefonaktiebolaget Lm Ericsson (Publ) Transformation selection by transmitting a transformation set indicator for use in video coding
WO2020064732A1 (en) * 2018-09-25 2020-04-02 Telefonaktiebolaget Lm Ericsson (Publ) Transformation selection by transmitting a transformation set indicator for use in video coding
EP3884668A1 (en) * 2018-11-22 2021-09-29 InterDigital VC Holdings, Inc. Quantization for video encoding and decoding
CN109788286B (zh) 2019-02-01 2021-06-18 北京大学深圳研究生院 一种编码、解码变换方法、系统、设备及计算机可读介质
CN113728641B (zh) * 2019-04-23 2023-09-15 北京字节跳动网络技术有限公司 在视频编解码中有条件地使用多重变换矩阵
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding
CN114079772B (zh) * 2020-08-21 2023-04-07 腾讯科技（深圳）有限公司 视频解码方法、装置、计算机可读介质及电子设备
US11683490B2 (en) 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
CN113824957B (zh) * 2020-09-27 2022-10-28 腾讯科技（深圳）有限公司 视频编解码方法、装置及电子设备
CN112862106B (zh) * 2021-01-19 2024-01-30 中国人民大学 一种基于自适应编解码迭代学习控制信息传输系统和方法
WO2023146358A1 (ko) * 2022-01-27 2023-08-03 세종대학교 산학협력단 영상 부호화/복호화 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926873A (zh) * 2004-03-04 2007-03-07 三星电子株式会社 用于视频流传输业务的视频编码和解码方法及系统

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61285869A (ja) 1985-06-12 1986-12-16 Toshiba Corp 画像符号化方式
JP2637093B2 (ja) 1987-03-13 1997-08-06 株式会社東芝 画像符号化方式
JPH01240032A (ja) * 1988-03-22 1989-09-25 Toshiba Corp 適応ｋｌ変換符号化方式及びその復号化方式
KR0166722B1 (ko) * 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
JPH06284412A (ja) * 1993-03-26 1994-10-07 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH0787448A (ja) 1993-06-30 1995-03-31 Victor Co Of Japan Ltd デジタル映像信号の符号化回路及び復号化回路
KR0129573B1 (ko) * 1994-04-30 1998-04-10 배순훈 디지탈 화상 복호화를 위한 디씨(dc) 계수의 오차보상 방법
JPH0846971A (ja) * 1994-07-29 1996-02-16 Sharp Corp 動画像符号化装置
US5748786A (en) * 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
US6011864A (en) * 1996-07-03 2000-01-04 Apple Computer, Inc. Digital image coding system having self-adjusting selection criteria for selecting a transform function
JPH11234638A (ja) 1998-02-16 1999-08-27 Canon Inc 画像符号化装置及び方法並びに記憶媒体
JP3670554B2 (ja) 2000-04-25 2005-07-13 日本電信電話株式会社 画像信号符号化装置／復号装置，画像信号符号化方法／復号方法および画像信号符号化／復号プログラム記録媒体
CA2412984A1 (en) * 2000-07-06 2002-01-10 Josslyn Motha Meyer Steganographic embedding of data in digital signals
DE60119660T2 (de) 2000-10-10 2007-02-22 Koninklijke Philips Electronics N.V. Verfahren zur Verarbeitung von Videodateien
JP2004523815A (ja) 2000-10-23 2004-08-05 インターナショナル・ビジネス・マシーンズ・コーポレーション スケーリング項、アーリー・アボート、および精度リファインメントを用いた高速変換
JP3887178B2 (ja) 2001-04-09 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化方法及び装置並びに復号方法及び装置
JP2002325170A (ja) 2001-04-24 2002-11-08 Canon Inc 画像処理装置及びその方法並びにプログラムコード、記憶媒体
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US20030118097A1 (en) * 2001-12-21 2003-06-26 Koninklijke Philips Electronics N.V. System for realization of complexity scalability in a layered video coding framework
US20040125204A1 (en) 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
US7317759B1 (en) 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
EP1553355A4 (en) 2002-07-24 2010-01-20 Daikin Ind Ltd DEHUMIDIFICATION ELEMENT
GB2401502B (en) * 2003-05-07 2007-02-14 British Broadcasting Corp Data processing
JP2005167655A (ja) 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
US7551793B2 (en) 2004-01-14 2009-06-23 Samsung Electronics Co., Ltd. Methods and apparatuses for adaptive loop filtering for reducing blocking artifacts
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP4236266B2 (ja) * 2004-08-27 2009-03-11 キヤノン株式会社 データ変換装置およびその方法
WO2006028088A1 (ja) 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
KR20060123939A (ko) 2005-05-30 2006-12-05 삼성전자주식회사 영상의 복부호화 방법 및 장치
KR101088375B1 (ko) 2005-07-21 2011-12-01 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
BRPI0611672A2 (pt) * 2005-07-22 2009-01-13 Mitsubishi Electric Corp codificador e decodificador de imagem, mÉtodo de codificaÇço de imagem, programa de codificaÇço de imagem, meio de gravaÇço legÍvel por computador, mÉtodo de decodificaÇço de imagem, programa de decodificaÇço de imagem, e, corrente de bits codificada por imagem
KR100727969B1 (ko) * 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100813963B1 (ko) 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
KR100750137B1 (ko) 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화,복호화 방법 및 장치
JP4829019B2 (ja) 2006-07-06 2011-11-30 株式会社東芝 通信端末装置
KR101354151B1 (ko) 2006-08-24 2014-01-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US9319700B2 (en) * 2006-10-12 2016-04-19 Qualcomm Incorporated Refinement coefficient coding based on history of corresponding transform coefficient values
WO2008049052A2 (en) 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
KR101398534B1 (ko) * 2007-03-23 2014-05-27 톰슨 라이센싱 코딩된 비트스트림의 수정
US8238428B2 (en) * 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8437564B2 (en) 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
US8363728B2 (en) 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
KR20170116216A (ko) 2009-01-27 2017-10-18 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
US8630341B2 (en) 2011-01-14 2014-01-14 Mitsubishi Electric Research Laboratories, Inc. Method for training and utilizing separable transforms for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926873A (zh) * 2004-03-04 2007-03-07 三星电子株式会社 用于视频流传输业务的视频编码和解码方法及系统

Also Published As

Publication number Publication date
US9161031B2 (en) 2015-10-13
WO2010087808A1 (en) 2010-08-05
US20110293002A1 (en) 2011-12-01
KR20210064398A (ko) 2021-06-02
BR122015015910A2 (pt) 2016-03-22
US20110268183A1 (en) 2011-11-03
KR20110106402A (ko) 2011-09-28
JP2020191647A (ja) 2020-11-26
CN102301708A (zh) 2011-12-28
CN102301707A (zh) 2011-12-28
CN102308578A (zh) 2012-01-04
KR20210028283A (ko) 2021-03-11
US10178411B2 (en) 2019-01-08
KR20240145048A (ko) 2024-10-04
EP2392136A1 (en) 2011-12-07
JP2012516627A (ja) 2012-07-19
KR20220123340A (ko) 2022-09-06
KR20170116204A (ko) 2017-10-18
EP2991352A1 (en) 2016-03-02
EP3668098A1 (en) 2020-06-17
KR20200036953A (ko) 2020-04-07
JP2022172145A (ja) 2022-11-15
KR20190143460A (ko) 2019-12-30
JP2012516625A (ja) 2012-07-19
BRPI0924155A2 (pt) 2016-10-04
CN105120281B (zh) 2019-01-18
JP7519411B2 (ja) 2024-07-19
KR20110106394A (ko) 2011-09-28
KR20220041931A (ko) 2022-04-01
KR20170116216A (ko) 2017-10-18
US9774864B2 (en) 2017-09-26
EP2382777A1 (en) 2011-11-02
JP2016076971A (ja) 2016-05-12
CN102308578B (zh) 2015-09-09
BR122015015910B1 (pt) 2022-05-10
US20190191184A1 (en) 2019-06-20
CN105120281A (zh) 2015-12-02
WO2010087809A1 (en) 2010-08-05
HK1222274A1 (zh) 2017-06-23
JP2016076972A (ja) 2016-05-12
JP2018093522A (ja) 2018-06-14
BRPI0924044A2 (pt) 2016-01-26
BRPI0924044B1 (pt) 2022-09-20
JP2018186556A (ja) 2018-11-22
CN102301707B (zh) 2015-12-02
JP2018201222A (ja) 2018-12-20
KR101834825B1 (ko) 2018-03-06
US20110274164A1 (en) 2011-11-10
JP2012516626A (ja) 2012-07-19
WO2010087807A1 (en) 2010-08-05
BRPI0924167A2 (pt) 2016-02-10
KR20190039350A (ko) 2019-04-10
US20230051065A1 (en) 2023-02-16
BRPI0924155B1 (pt) 2021-09-14
EP2382778A1 (en) 2011-11-02
EP2392136A4 (en) 2012-08-15
US9049443B2 (en) 2015-06-02
KR20170118956A (ko) 2017-10-25
US20160021395A1 (en) 2016-01-21
KR20180123153A (ko) 2018-11-14
EP2382778A4 (en) 2012-08-15
JP2016067026A (ja) 2016-04-28
EP2382777A4 (en) 2012-08-15
KR20110106403A (ko) 2011-09-28

Similar Documents

Publication Publication Date Title
CN102301708B (zh) 视频编码和解码中用于变换选择的方法和装置
US20180091817A1 (en) Methods and apparatus for transform selection in video encoding and decoding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190130

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190130

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right