CN103997650B - 一种视频解码的方法和视频解码器 - Google Patents

一种视频解码的方法和视频解码器 Download PDF

Info

Publication number
CN103997650B
CN103997650B CN201410240979.XA CN201410240979A CN103997650B CN 103997650 B CN103997650 B CN 103997650B CN 201410240979 A CN201410240979 A CN 201410240979A CN 103997650 B CN103997650 B CN 103997650B
Authority
CN
China
Prior art keywords
block
unit
prediction
coding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410240979.XA
Other languages
English (en)
Other versions
CN103997650A (zh
Inventor
张志明
禹志祥
赵日洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Gaohang Intellectual Property Operation Co ltd
Haining hi tech Zone Science and Innovation Center Co.,Ltd.
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410240979.XA priority Critical patent/CN103997650B/zh
Publication of CN103997650A publication Critical patent/CN103997650A/zh
Priority to EP17196677.3A priority patent/EP3328084A1/en
Priority to EP15169559.0A priority patent/EP2950536A1/en
Priority to US14/726,187 priority patent/US20150350682A1/en
Priority to JP2015109698A priority patent/JP6004407B2/ja
Application granted granted Critical
Publication of CN103997650B publication Critical patent/CN103997650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明实施例公开了一种视频解码的方法，包括：将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中，M＝16、8或4，所述视频压缩码流包括HEVC码流、VP9码流和AVS2.0码流中的任意一种；根据所述残差块和所述预测块得到重建图像块；对所述重建图像块进行滤波得到解码重建图像。本发明实施例还公开了一种视频解码器。采用本发明，减少多协议视频解码器的模块开发，降低视频解码器的面积和功耗。

Description

一种视频解码的方法和视频解码器
技术领域
本发明涉及图像处理领域，尤其涉及一种视频解码的方法和视频解码器。
背景技术
视频压缩技术广泛应用于互联网、电视广播、存储媒体和通信等领域。自从1993年MPEG(Motion Pictures Experts Group，动态图像专家组)标准开始，经过多年的继承与发展，多种视频压缩格式大量并存。到目前为止，一个商用的视频解码器至少需要支持十多种视频压缩格式，例如MPEG-1、MPEG-2、MPEG-4、H.263、H.264、H.265、Real8、Real9、VC1、AVSP2、VP8、VP9和DIVX等。这给视频解码器带来了严重的挑战，尤其智能设备的兴起，更是对硬件视频解码器的面积和功耗提出了苛刻的要求。
在2013年以前的协议，如(MPEG-1、MPEG-2、MPEG-4、H.263、H.264、Real8、Real9、VC1、AVSP2、VP8、VP9和DIVX等)，都采用16×16的宏块作为基本像素单元对视频图像进行分割与压缩，宏块内部的分割与压缩的方法在各个协议中不一样。
但是2013年以后，出现了新的视频压缩协议，例如HEVC(High Efficiency VideoCoding，高效率视频编码)、VP9、AVS(Audio Video coding Standard，音视频编码标准)2.0等，提出了新的图像分割格式，其基本像素单元上出现了超过宏块的大块，也出现了小于宏块的小块，由此使设计视频解码器的复杂度和难度的增加。目前，对这种视频解码器通常会单独设计多个支持新协议的解码核心来解决问题，但是这种含多个独立解码核心的视频解码器的面积和功耗却成倍增加，并延长了开发周期。
发明内容
本发明实施例所要解决的技术问题在于，提供一种视频解码的方法和视频解码器。可解决现有技术中多协议视频解码器开发开发周期长以及芯片面积与功耗大的不足。
为了解决上述技术问题，本发明实施例第一方面提供了一种视频解码的方法，包括：
将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中，M＝16、8或4，所述视频压缩码流包括HEVC码流、VP9码流和AVS2.0码流中的任意一种；
根据所述残差块和所述预测块得到重建图像块；
对所述重建图像块进行滤波得到解码重建图像
结合第一方面，在第一种可能的实现方式中，所述将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块的步骤之前，还包括：
将所述视频压缩码流进行熵解码，解析出包括运动矢量和变换系数的语法元素；
对所述变换系数进行反扫描、反量化和反变换后得到变换单元；
根据所述运动矢量和参考图像进行帧间运动补偿或者根据帧内预测图像进行帧内运动补偿后得到预测单元。
结合第一方面或第一种可能的实现方式，在第二种可能的实现方式中，M＝16，所述将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块具体包括：
获取待解码的编码树块中多个编码单元，每个编码单元的尺寸为2N×8×8，N＝0、2、4或8；每个编码单元包括至少一个预测单元或至少一个变换单元；
若N＝0，将所述编码树块中的4个编码单元组合成1个预测块或残差块；
或
若N＝2，将所述编码树块中每个编码单元直接作为1个预测块或残差块；
或
若N＝4，将所述编码树块中每个编码单元分割为4个预测块或残差块；或
若N＝8，将所述编码树块中每个编码单元分割为16个预测块或残差块。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块之后，还包括：
对所述预测块进行像素插值处理。
结合第一方面至第三种可能的实现方式中的任意一种，在第四种可能的实现方式中，所述对所述重建图像块进行滤波得到解码重建图像具体包括：
对所述重建图像块进行去方块滤波得到解码重建图像。
相应地，本发明实施例第二方面还提供了一种视频解码器，包括：
转换模块，用于将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中M＝16、8或4，所述视频压缩码流包括HEVC码流、VP9码流和AVS2.0码流中的任意一种；
重构模块，用于根据所述残差块块和所述预测块得到重建图像块；
滤波模块，用于对所述重建图像块进行去方块滤波得到解码重建图像。
结合第二方面，在第一种可能的实现方式中，还包括：
码流解析模块，用于将所述视频压缩码流进行熵解码，解析出包括运动矢量和变换系数的语法元素；
反变换模块，用于对所述变换系数进行反扫描、反量化和反变换后得到变换单元；
预测模块，用于根据所述运动矢量和参考图像进行帧间运动补偿或者根据帧内预测图像进行帧内运动补偿后得到预测单元。
结合第二方面或第一种可能的实现方式，在第二种可能的实现方式中，M＝16，所述转换模块具体用于获取待解码的编码树块中每个编码单元的尺寸为2N×8×8，N＝0、2、4或8；每个编码单元包括至少一个预测单元或至少一个变换单元；
若N＝0，将所述编码树块中的4个编码单元组合成1个预测块或残差块；
或
若N＝2，将所述编码树块中每个编码单元直接作为1个预测块或残差块；
或
若N＝4，将所述编码树块中每个编码单元分割为4个预测块或残差块；或
若N＝8，将所述编码树块中每个编码单元分割为16个预测块或残差块。
结合第二方面至第三种可能的实现方式中的任意一种，在第四种可能的实现方式中，所述滤波模块具体用于对所述重建图像块进行去方块滤波得到解码重建图像。
实施本发明实施例，具有如下有益效果：
通过对不同尺寸的预测单元和变换单元转换为16×16、8×8或4×4的粒度，使得支持HEVC协议、VP9协议或AVS2.0协议的解码核心的流水线粒度等于基于宏块的解码核心的流水线粒度，利用视频解码过程的共性，HEVC协议、VP9协议或AVS2.0的解码核心能复用上一代解码核心的部分模块，减少了新的解码核心的模块开发，有效降低了支持HEVC协议、VP9协议或AVS2.0协议的多协议视频解码器面积与功耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例的一种视频解码的方法的流程示意图；
图2是图1中一种对变换单元进行转换的示意图；
图3是图1中另一种对变换单元进行转换的示意图；
图4是图1中又一种对变换单元进行转换的示意图；
图5是图1中一种对预测单元进行转换的示意图；
图6是图1中另一种对预测单元进行转换的示意图；
图7是本发明第二实施例的一种视频解码的方法的流程示意图；
图8是本发明第一实施例的一种视频解码器的结构示意图；
图9是本发明第二实施例的一种视频解码器的结构示意图；
图10是本发明第三实施例的一种视频解码器的结构示意图；
图11是本发明第四实施例的一种视频解码器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，为本发明实施例的一种视频解码的方法，在本实施例中，所述方法包括：
S101、将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中，M＝16、8或4。
具体的，在视频编码器侧，视频编码器对视频进行HEVC协议、VP9协议或AVS2.0协议的压缩处理时是以CTB(Code Tree Block，编码树块)为基本分割单元，CTB为四叉树结构，每个CTB中包含1个或4个CU(Code Unit，编码单元)，CU划分的大小不固定，每个CU中有0个、1个或4个PU(Prediction Unit，预测单元)或者每个CU中有一个或4个TU(TransformUnit，变换单元)。CU的尺寸为8×8、16×16、32×32和64×64四种形式。CU、PU和TU的更多定义可以参照现有视频编码技术协议的描述，本实施例对此不作赘述。
视频解码器从NAL(Network Abstraction Layer，网络抽象层)接收视频压缩码流并对视频压缩码流进行解析后分别得到预测单元和/或变换单元，视频压缩码流包括视频压缩码流、VP9码流和AVS2.0码流中的任意一种。视频解码器包括两条并行的处理通道，一条为变换通道，另一条为预测通道，变换单元中包括残差信息，预测单元中包括预测信息，解析得到的变换单元在变换通道上进行处理，预测单元在预测通道上进行处理。利用视频压缩码流中CTB的尺寸，视频解码器在变换通道上对变换单元进行拆分和组合操作，分别将变换通道上的变换单元转换为M×M大小的残差块，预测通道上的预测单元转换为M×M大小的预测块。
下面以M＝16为示来说明视频解码器如何在变换通道和预测通道上对变换单元及预测单元进行变换。
图2显示了一个在变换通道上对CU进行重组的示例。视频解码器解析视频压缩码流得到待解码的CTB中CU的尺寸为8×8，从缓存中读出待解码的CTB包含的4个CU进行转换，4个CU分别标识为CU0、CU1、CU2和CU3，由4个8×8的CU组成一个16×16的残差块MB0。其中CU0中包含4个TU，分别为TU00、TU01、TU02和TU03；CU1中包括1个TU单元，该TU标识为TU10；CU2中包括1个TU，该TU标识为TU20；CU3中包括4个TU，4个TU分别标识为TU30、TU31、TU32和TU33。
图3显示了一个在变换通道上对CU拆分的示例。视频解码器解析视频压缩码流得到待解码CTB中CU的尺寸为32×32，其中CU包括1个TU，该TU标识为TU0，将32×32的CU拆分为4个16×16的残差块，分别为MB0、MB1、MB2和MB3。经过拆分后，MB0由TU0的1/4部分TU00组成，MB1由TU0的1/4部分TU01组成，MB2由TU0的1/4部分TU02组成，MB3由TU0的1/4部分TU03组成。
图4显示一个在变换通道上对CU进行拆分的示例。视频解码器解析视频压缩码流得到待解码CTB中CU的尺寸为32×32，其中CU包括31个TU，分别标识为：TU00-TU09、TU10-TU115、TU20-TU22和TU30，将32×32的CU拆分为4个16×16的残差块，分别为MB0、MB1、MB2和MB3。经过拆分后，MB0由TU00-TU09组成，MB1由TU10-TU115组成，MB2由TU20-TU22组成，MB3由TU30组成。
图5显示一个在预测通道上对CU重组的示例。视频解码器解析视频压缩码流得到待解码的CTB中CU的尺寸为8×8，从缓存中读出待解码的CTB包含的4个CU进行转换，4个CU分别标识为CU0、CU1、CU2和CU3，由4个8×8的CU组成一个16×16的预测块MB0，其中CU0包括2个PU，标识为PU00和PU01；CU1包括1个PU单元，标识为PU10；CU2包括1个PU，标识为PU20；CU3包括2个PU，标识为PU30和PU31。
图6显示了一个在预测通道上对CU拆分的示例。视频解码器解析视频压缩码流得到待解码CTB中CU的尺寸为32×32，其中CU包括2个PU，分别标识为PU0和PU1，将32×32的CU拆分为4个16×16的预测块，分别为MB0、MB1、MB2和MB3。经过拆分后，MB0由PU0的1/3部分PU00组成；MB1由PU0的1/6部分PU01和PU1的1/2部分PU10组成；MB2由PU0的1/3部分PU02组成；MB3由PU0的1/6部分PU03和PU1的1/2部分PU11组成。
可以理解的是，若M＝8或4时，视频解码器可以采用上述的拆分或重组的方法可以将编码单元或预测单元转换成M×M的粒度。
通过对不同尺寸的预测单元和变换单元转换为16×16、8×8或4×4的粒度，使得支持HEVC协议、VP9协议或AVS2.0协议的解码核心的流水线粒度等于基于宏块的解码核心的流水线粒度，利用视频解码过程的共性，HEVC协议、VP9协议或AVS2.0的解码核心能复用上一代解码核心的部分模块，减少了新的解码核心的模块开发，有效降低了支持HEVC协议、VP9协议或AVS2.0协议的多协议视频解码器面积与功耗。
S102、根据所述残差块和所述预测块得到重建图像块。
具体的，将残差块和预测块加权后得到重建图像块。
S103、对所述重建图像块进行滤波得到解码重建图像。
具体的，对重建图像块进行去方块滤波或自适应滤波等滤波处理后得到解码重建图像。
参见图7，为本发明实施例的一种视频解码的方法的另一流程示意图，在本实施例中，所述方法包括：
S201、将视频压缩码流进行熵解码，解析出包括运动矢量和变换系数的语法元素。
具体的，视频解码器从NAL中接收视频压缩码流，解析出序列参数集、图像参数集等参数集和压缩图像数据，然后进行熵解码后得到运动矢量和变换系数等语法元素。
S202、对所述变换系数进行反扫描、反量化和反变换后得到变换单元。
具体的，经过S201得到的变换系数为一维数据，视频解码器通过反扫描、反量化和反变换处理将一维数据(变换系数)转换成二维数组或矩阵，即变换单元，变换单元中包括对应块的亮度和/或色度残差信息。
S203、根据所述运动矢量和参考图像进行帧间运动补偿或者根据帧内预测图像进行帧内运动补偿后得到预测单元。
具体的，根据运动矢量从相应的参考图像中得到预测单元，此时预测单元中包括帧间预测信息，或者根据帧内预测图像进行帧内运动补偿后得到预测单元，此时预测单元中包括帧内预测信息。
S204、将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中M＝16、8或4。
具体的，在HEVC协议中，编码单元的尺寸规定有4种，表示为2N×8×8，其中，N＝0、2、4或8；每个编码单元包括至少一个预测单元或至少一个变换单元。下面分别以M＝16、8和4为例对编码单元中的变换单元或预测单元进行转换来说明：
以M＝16为例进行转换，若N＝0，将所述编码树块中的4个编码单元组合成1个预测块或残差块；或若N＝2，将所述编码树块中每个编码单元直接作为1个预测块或残差块；或若N＝4，将所述编码树块中每个编码单元分割为4个预测块或残差块；或若N＝8，将所述编码树块中每个编码单元分割为16个预测块或残差块。
以M＝8为例进行转换，若N＝0，将所述编码树块中的每个编码单元直接作为1个预测块或残差块；或若N＝2，将所述编码树块中每个编码单元分割为4个预测块或残差块；或若N＝4，将所述编码树块中每个编码单元分割为16个预测块或残差块；或若N＝8，将所述编码树块中每个编码单元分割为64个预测块或残差块。
以M＝4为例进行转换，若N＝0，将所述编码树块中的每个编码单元分割为4个预测块或残差块；若N＝2，将所述编码树块中每个编码单元分割为8个预测块或残差块；若N＝4，将所述编码树块中每个编码单元分割为64个预测块或残差块；若N＝8，将所述编码树块中每个编码单元分割为256个预测块或残差块。
S205、对预测块进行像素插值处理。
具体的，插值点由相邻像素点来决定，根据协议标准用滤波器来完成插值。
S206、根据残差块和预测块得到重建图像块。
具体的，对包括残差信息的残差块和包括预测信息的预测块进行加权处理得到重建图像块。
S207、对重建图像块进行滤波(例如去块效应滤波或自适应补偿滤波等)得到解码重建块。
通过对不同尺寸的预测单元和变换单元转换为16×16、8×8或4×4的粒度，使得支持HEVC协议、VP9协议或AVS2.0协议的解码核心的流水线粒度等于基于宏块的解码核心的流水线粒度，利用视频解码过程的共性，HEVC协议、VP9协议或AVS2.0的解码核心能复用基于宏块的解码核心的部分模块，减少了新的解码核心的模块开发，有效降低了支持HEVC协议、VP9协议或AVS2.0协议的多协议视频解码器面积与功耗。
参见图8，为本发明实施例的一种视频解码器的结构示意图，在本实施例中，所述视频解码器包括转换模块10、重构模块11和滤波模块12。
转换模块10，用于将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中，M＝16、8或4。
具体的，在视频编码器侧，视频编码器对视频进行HEVC压缩处理是以CTB(CodeTree Block，编码树块)为基本分割单元，CTB为四叉树结构，每个CTB中包含1个或4个CU(Code Unit，编码单元)，CU划分的大小不固定，每个CU中有0个、1个或4个PU(PredictionUnit，预测单元)或每个CU中有一个或4个TU(Transform Unit，变换单元)。CU的尺寸为8×8、16×16、32×32和64×64四种形式。
视频解码器从NAL接收视频压缩码流并对视频压缩码流进行解析后分别得到变换单元和预测单元，视频解码器包括两条并行的处理通道，一条为变换通道，另一条为预测通道，变换单元中包括残差信息，预测单元中包括预测信息，解析得到的变换单元在变换通道上进行处理，预测单元在预测通道上进行处理。利用视频压缩码流中CTB的尺寸，转换模块10在变换通道上对变换单元进行拆分和组合操作，分别将变换通道上的变换单元转换为M×M大小的残差块，预测单元上的预测单元转换为M×M大小的预测块。
重构模块11，用于根据所述残差块块和所述预测块得到重建图像块。
滤波模块12，用于对所述重建图像块进行滤波(去块效应滤波、自适应补偿等)得到解码重建图像。
本发明实施例和方法实施例一属于同一构思，具体过程请参照方法实施例一的描述，此处不再赘述。
进一步的，参见图9，为本发明实施例的一种视频解码器的结构示意图，在本实施例中，所述视频解码器除包括转换模块10、重构模块11和滤波模块12之外，还包括码流解析模块13、反变换模块14、预测模块15和插值模块16。
码流解析模块13，用于将视频压缩码流进行熵解码，解析出包括模式信息、运动矢量和变换系数等语法元素。
反变换模块14，用于对所述变换系数进行反扫描、反量化和反变换后得到变换单元；
预测模块15，用于根据所述运动矢量和参考图像进行帧间运动补偿或者根据帧内预测图像进行帧内运动补偿后得到预测单元。
插值模块16，用于对所述预测块进行插值处理，并将插值处理后的预测块传送至所述重构模块。
可选的，M＝16，转换模块用于获取待解码的编码树块中每个编码单元的尺寸为2N×8×8，N＝0、2、4或8；每个编码单元包括至少一个预测单元或至少一个变换单元；
若N＝0，将所述编码树块中的4个编码单元组合成1个预测块或残差块；
或
若N＝2，将所述编码树块中每个编码单元直接作为1个预测块或残差块；
或
若N＝4，将所述编码树块中每个编码单元分割为4个预测块或残差块；或
若N＝8，将所述编码树块中每个编码单元分割为16个预测块或残差块。
本发明实施例和方法实施例二属于同一构思，具体过程请参照方法实施例一的描述，此处不再赘述。
参见图10，为本发明实施例的一种多协议视频解码器的结构示意图，在本实施例中，所述视频解码器支持HEVC协议和H.264协议，该多协议视频解码器包括两个解码核心，H.264解码核心和HEVC解码核心，H.264解码核心包括码流解析模块23、反变换模块24、预测模块25、插值模块26、重构模块21和滤波模块22，HEVC解码核心包括码流解析模块33、反变换模块34、预测模块35、转换模块30、插值模块26、重构模块21和滤波模块22，顶层解析模块37识别视频压缩码流的格式，若为H.264码流，则送入H.264解码核心进行视频解码，H.264解码核心中分别在变换通道和预测通道以H.264协议中的方法进行预测和变换处理，预测或变换处理后得到16×16的宏块。若为HEVC码流，则送入HEVC解码核心进行解码，HEVC解码核心在预测通道上将得到的预测单元转换成M×M的预测块，同时在变换通道上将得到的变换单元转换成M×M的残差块，经过上述流水线粒度的转换后，HEVC解码核心可复用H.264解码核心的插值模块26、重构模块21和滤波模块22。同样的，VP9解码核心和AVS2.0解码核心也可以复用H.264解码核心的插值模块26、重构模块21和滤波模块22，这样在多协议视频解码器中减少部分模块的开发，降低了多协议视频解码器的芯片面积与功耗，减少了开发周期。
上述视频解码器可以用集成电路制作工艺集成在一个集成电路衬底上。
相应地，参见图11，本发明第四实施还提供一种视频解码器，在本实施中，硬盘管理装置1包括处理器61、存储器62和通信接口63，通信接口63用于与外部设备进行通信，解码器1中的处理器61的数量可以是一个或多个，图11以一个处理器为例。本发明的一些实施例中，处理器61、存储器62和通信接口63可通过总线或其他方式连接，图11中以总线连接为例。
其中，存储器62中存储一组程序代码，且处理器61用于调用存储器62中存储的程序代码，用于执行以下操作：
将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中，M＝16、8或4，所述视频压缩码流包括高效率视频编码HEVC码流、VP9码流和音视频编码标准AVS2.0码流中的任意一种；
根据所述残差块和所述预测块得到重建图像块；
对所述重建图像块进行滤波得到解码重建图像。
在本发明的实施例中，所述处理器61还用于执行：将所述视频压缩码流进行熵解码，解析出包括运动矢量和变换系数的语法元素；
对所述变换系数进行反扫描、反量化和反变换后得到变换单元；
根据所述运动矢量和参考图像进行帧间运动补偿或者根据帧内预测图像进行帧内运动补偿后得到预测单元。
在本发明的一些实施例中，M＝16，所述处理器61执行所述将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块具体包括：
获取待解码的编码树块中多个编码单元，每个编码单元的尺寸为2N×8×8，N＝0、2、4或8；每个编码单元包括至少一个预测单元或至少一个变换单元；
若N＝0，将所述编码树块中的4个编码单元组合成1个所述预测块或所述残差块；或
若N＝2，将所述编码树块中每个编码单元直接作为1个所述预测块或所述残差块；或
若N＝4，将所述编码树块中每个编码单元分割为4个所述预测块或所述残差块；或
若N＝8，将所述编码树块中每个编码单元分割为16个所述预测块或所述残差块。
在本发明的一些实施例中，处理器61还用于执行：对所述预测块进行像素插值处理。
在本发明的一些实施例中，处理器61执行所述对所述重建图像块进行滤波得到解码重建图像具体包括：
对所述重建图像块进行去方块滤波得到解码重建图像。
实施本发明的实施例，通过对不同尺寸的预测单元和变换单元转换为16×16、8×8或4×4的粒度，使得支持HEVC协议、VP9协议或AVS2.0协议的解码核心的流水线粒度等于基于宏块的解码核心的流水线粒度，利用视频解码过程的共性，HEVC协议、VP9协议或AVS2.0的解码核心能复用基于宏块的解码核心的部分模块，减少了新的解码核心的模块开发，有效降低了支持HEVC协议、VP9协议或AVS2.0协议的多协议视频解码器面积与功耗。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (8)

1.一种视频解码的方法，其特征在于，包括：
将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中，M＝16，所述视频压缩码流包括高效率视频编码HEVC码流、VP9码流和音视频编码标准AVS2.0码流中的任意一种；
根据所述残差块和所述预测块得到重建图像块；
对所述重建图像块进行滤波得到解码重建图像；
其中所述将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块具体包括：
获取待解码的编码树块中多个编码单元，每个编码单元的尺寸为2N×8×8，N＝0、2、4或8；每个编码单元包括至少一个预测单元或至少一个变换单元；
若N＝0，将所述编码树块中的4个编码单元组合成1个所述预测块或所述残差块；或
若N＝2，将所述编码树块中每个编码单元直接作为1个所述预测块或所述残差块；或
若N＝4，将所述编码树块中每个编码单元分割为4个所述预测块或所述残差块；或
若N＝8，将所述编码树块中每个编码单元分割为16个所述预测块或所述残差块。
2.如权利要求1所述的方法，其特征在于，所述将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块的步骤之前，还包括：
将所述视频压缩码流进行熵解码，解析出包括运动矢量和变换系数的语法元素；
对所述变换系数进行反扫描、反量化和反变换后得到变换单元；
根据所述运动矢量和参考图像进行帧间运动补偿或者根据帧内预测图像进行帧内运动补偿后得到预测单元。
3.如权利要求1所述的方法，其特征在于，所述将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块之后，还包括：
对所述预测块进行像素插值处理。
4.如权利要求1-3任意一项所述的方法，其特征在于，所述对所述重建图像块进行滤波得到解码重建图像具体包括：
对所述重建图像块进行去方块滤波得到解码重建图像。
5.一种视频解码器，其特征在于，包括：
转换模块，用于将对视频压缩码流进行解码后得到的变换单元和预测单元分别转换成M×M的残差块和M×M的预测块，其中M＝16，所述视频压缩码流包括HEVC码流、VP9码流和AVS2.0码流中的任意一种；
重构模块，用于根据所述残差块和所述预测块得到重建图像块；
滤波模块，用于对所述重建图像块进行去方块滤波得到解码重建图像；
所述转换模块具体用于：
获取待解码的编码树块中多个编码单元，每个编码单元的尺寸为2N×8×8，N＝0、2、4或8；每个编码单元包括至少一个预测单元或至少一个变换单元；
若N＝0，将所述编码树块中的4个编码单元组合成1个所述预测块或所述残差块；或
若N＝2，将所述编码树块中每个编码单元直接作为1个所述预测块或所述残差块；或
若N＝4，将所述编码树块中每个编码单元分割为4个所述预测块或所述残差块；或
若N＝8，将所述编码树块中每个编码单元分割为16个所述预测块或所述残差块。
6.如权利要求5所述的视频解码器，其特征在于，还包括：
码流解析模块，用于将所述视频压缩码流进行熵解码，解析出包括运动矢量和变换系数的语法元素；
反变换模块，用于对所述变换系数进行反扫描、反量化和反变换后得到变换单元；
预测模块，用于根据所述运动矢量和参考图像进行帧间运动补偿或者根据帧内预测图像进行帧内运动补偿后得到预测单元。
7.如权利要求5所述的视频解码器，其特征在于，还包括：
插值模块，用于对所述预测块进行像素插值处理，并将插值处理后的预测块传送至所述重构模块。
8.如权利要求5-7任意一项所述的视频解码器，其特征在于，所述滤波模块用于对所述重建图像块进行去方块滤波得到解码重建图像。
CN201410240979.XA 2014-05-30 2014-05-30 一种视频解码的方法和视频解码器 Active CN103997650B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410240979.XA CN103997650B (zh) 2014-05-30 2014-05-30 一种视频解码的方法和视频解码器
EP17196677.3A EP3328084A1 (en) 2014-05-30 2015-05-28 Video decoding method and video decoder
EP15169559.0A EP2950536A1 (en) 2014-05-30 2015-05-28 Video decoding method and video decoder
US14/726,187 US20150350682A1 (en) 2014-05-30 2015-05-29 Video decoding method and video decoder
JP2015109698A JP6004407B2 (ja) 2014-05-30 2015-05-29 ビデオ復号方法及びビデオデコーダ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410240979.XA CN103997650B (zh) 2014-05-30 2014-05-30 一种视频解码的方法和视频解码器

Publications (2)

Publication Number Publication Date
CN103997650A CN103997650A (zh) 2014-08-20
CN103997650B true CN103997650B (zh) 2017-07-14

Family

ID=51311636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410240979.XA Active CN103997650B (zh) 2014-05-30 2014-05-30 一种视频解码的方法和视频解码器

Country Status (4)

Country Link
US (1) US20150350682A1 (zh)
EP (2) EP3328084A1 (zh)
JP (1) JP6004407B2 (zh)
CN (1) CN103997650B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430417B (zh) * 2014-09-22 2020-02-07 中兴通讯股份有限公司 编码方法、解码方法、装置及电子设备
US9807398B2 (en) * 2014-09-30 2017-10-31 Avago Technologies General Ip (Singapore) Pte. Ltd. Mode complexity based coding strategy selection
CN104581173A (zh) * 2015-01-13 2015-04-29 中国电子科技集团公司第三十二研究所 软解码验证模型平台
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
WO2019076138A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
EP3750310A1 (en) 2018-02-23 2020-12-16 Huawei Technologies Co. Ltd. Position dependent spatial varying transform for video coding
AU2019277966A1 (en) 2018-05-31 2020-11-26 Huawei Technologies Co., Ltd. Spatially varying transform with adaptive transform type
TWI826532B (zh) * 2018-09-19 2023-12-21 大陸商北京字節跳動網絡技術有限公司 基於歷史資訊的幀內模式編解碼
CN111200732B (zh) * 2018-11-20 2023-04-07 深圳市中兴微电子技术有限公司 一种反量化反变换方法及装置
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
CN113454997A (zh) * 2020-09-23 2021-09-28 深圳市大疆创新科技有限公司 视频编码装置、方法、计算机存储介质和可移动平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096809A1 (en) * 2011-01-12 2012-07-19 General Instrument Corporation Efficient transform unit representation
CN102648631A (zh) * 2009-12-01 2012-08-22 数码士有限公司 用于编码/解码高分辨率图像的方法和设备
CN103024389A (zh) * 2012-12-24 2013-04-03 芯原微电子(北京)有限公司 一种用于hevc的解码装置和方法
CN103125119A (zh) * 2010-10-04 2013-05-29 松下电器产业株式会社 图像处理装置、图像编码方法以及图像处理方法
CN103220520A (zh) * 2009-08-14 2013-07-24 三星电子株式会社 用于对视频进行解码的方法
JP2014096754A (ja) * 2012-11-12 2014-05-22 Canon Inc 符号化方式変換装置、符号化方式変換方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070041447A1 (en) * 2003-04-17 2007-02-22 Dzevdet Burazerovic Content analysis of coded video data
US10033997B2 (en) * 2010-06-23 2018-07-24 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, image decoding method, integrated circuit, and program
US20130094779A1 (en) * 2011-10-04 2013-04-18 Texas Instruments Incorporated Method and Apparatus for Prediction Unit Size Dependent Motion Compensation Filtering Order

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220520A (zh) * 2009-08-14 2013-07-24 三星电子株式会社 用于对视频进行解码的方法
CN102648631A (zh) * 2009-12-01 2012-08-22 数码士有限公司 用于编码/解码高分辨率图像的方法和设备
CN103125119A (zh) * 2010-10-04 2013-05-29 松下电器产业株式会社 图像处理装置、图像编码方法以及图像处理方法
WO2012096809A1 (en) * 2011-01-12 2012-07-19 General Instrument Corporation Efficient transform unit representation
JP2014096754A (ja) * 2012-11-12 2014-05-22 Canon Inc 符号化方式変換装置、符号化方式変換方法、及びプログラム
CN103024389A (zh) * 2012-12-24 2013-04-03 芯原微电子(北京)有限公司 一种用于hevc的解码装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Block Partitioning Structure in the HEVC Standard;IL-KOO KIM ET AL;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY》;20121201;1697-1706 *
Overview of the High Efficiency Video Coding (HEVC) Standard;GARY J SULLIVAN ET AL;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY》;20121201;1649-1668 *

Also Published As

Publication number Publication date
JP6004407B2 (ja) 2016-10-05
CN103997650A (zh) 2014-08-20
JP2015228651A (ja) 2015-12-17
US20150350682A1 (en) 2015-12-03
EP3328084A1 (en) 2018-05-30
EP2950536A1 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
CN103997650B (zh) 一种视频解码的方法和视频解码器
CN103238333B (zh) 进行图像编码/解码以使帧内预测模式的冗余最小化的方法和设备
CN106488228B (zh) 使用列的图像分割方法和系统
EP2993904B1 (en) Apparatus for decoding image using split layer
CN103155557B (zh) 基于分区基础的自适应环路滤波方法和装置
CA2682449C (en) Intra-macroblock video processing
CN104967850B (zh) 通过使用大变换单元对图像进行编码和解码的方法和设备
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN105009584B (zh) 视频处理方法及视频处理装置
CN104067524B (zh) 具有精简的初始化值集合的上下文自适应熵译码
JP2017201792A (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
CN106170092A (zh) 用于无损编码的快速编码方法
CN103370939A (zh) 用于对图像进行编码/解码的方法和装置
CN105007491A (zh) 视频解码装置
CN103250412A (zh) 用于率失真优化的图像编码/解码方法和用于执行该方法的装置
CN103283238A (zh) 利用按照编码单元的并行帧内预测进行编码和解码的方法和装置
CN106464870A (zh) 用于对帧内画面进行编码和解码的基于模板匹配的方法和装置
CN104126303A (zh) 用于高效率视频译码的统一分割结构和信令方法
RU2010135495A (ru) Видеотранскодер с гибким управлением качеством и сложностью
CN105594212A (zh) 用于确定运动矢量的方法及其设备
CN104322066B (zh) 用于视频数据译码的交错块处理排序
CN105981383A (zh) 视频处理方法及装置
CN108777794A (zh) 图像的编码方法和装置、存储介质、电子装置
CN108810552A (zh) 图像预测方法和相关产品
CN104519367A (zh) 视频解码处理装置及其操作方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191226

Address after: 314400 No.11, Weisan Road, Nongfa District, Chang'an Town, Haining City, Jiaxing City, Zhejiang Province

Patentee after: Haining hi tech Zone Science and Innovation Center Co.,Ltd.

Address before: 510000 unit 2414-2416, building, No. five, No. 371, Tianhe District, Guangdong, China

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Effective date of registration: 20191226

Address after: 510000 unit 2414-2416, building, No. five, No. 371, Tianhe District, Guangdong, China

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.