CN104519367B - 视频解码处理装置及其操作方法 - Google Patents

Abstract

本发明涉及视频解码处理装置及其操作方法。公开了一种视频解码处理装置，其能降低开始并行解码处理的开销。该视频解码处理装置包括解析单元，以及第一和第二视频处理单元。包括分别具有预定像素大小的最大编码单元的信息的编码比特流被供应到解析单元的输入端子。解析单元执行编码比特流的语法的解析，由此由最大编码单元生成可并行处理的第一和第二中间流。第一视频处理单元和第二视频处理单元并行处理由解析单元生成的第一和第二中间流。

Description

视频解码处理装置及其操作方法

相关申请的交叉引用

2013年10月2日提交的日本专利申请No.2013-207145的公开内容，包括说明书、附图和摘要在此全部引入以供参考。

技术领域

本发明涉及视频解码处理装置及其操作方法，更具体地说，涉及在降低开始并行解码处理的开销方面有效的技术。

背景技术

众所周知，基于由国际标准ISO/IEC 13818-2标准化的MPEG-2的标准的运动图像的常见压缩系统基于通过从视频流减少冗余信息来降低视频存储容量和所需带宽的原理。顺便提一下，MPEG是运动图像专家组的首字母缩写。

由于MPEG-2标准仅定义比特流的语法(用于压缩和编码数据序列的规则和编码数据的比特流的构成方法)以及解码处理，因此，其可灵活地充分应用在各种环境下，诸如卫星广播/服务、有线电视、交互式电视和互联网等等。

在MPEG-2的编码处理中，首先采样和量化视频信号来定义数字视频中每一像素的色差及其亮度的分量。表示色差和亮度的分量存储在称为宏块的结构中。使用离散余弦变换(DCT)，将在宏块中存储的值变换成频率值。根据每一图像的亮度和色差，通过DCT获得的变换系数具有不同频率。通过可变长度编码(VLC)，编码量化的DCT变换系数，用于进一步压缩视频流。

在MPEG-2的编码处理中，已经定义了基于运动压缩技术的附加压缩。在MPEG-2标准中，存在三种图像或帧：I帧、P帧和B帧。I帧是不参考视频流中的任何其他图像或帧再现的帧内编码帧。P帧和B帧是通过参考其他图像或帧再现的帧间编码帧。例如，P帧和B帧包括表示相对于参考帧的运动估计的运动矢量。通过使用运动矢量，对MPEG编码器来说，可以减少特定视频流所需的带宽。顺便提一下，I帧称为帧内编码帧，P帧称为预测编码帧并且B帧称为双向预测编码帧。

因此，MPEG-2编码器包括帧存储器、运动矢量检测器、运动补偿器、减法器、DCT变换器、量化器、逆量化器、逆DCT变换器、可变长度编码器和加法器。编码视频信号被存储在帧存储器中来执行P和B帧的编码和检测运动矢量。此后，从帧存储器读取编码的视频信号，并且由减法器减去来自运动补偿器的运动补偿预测信号。分别通过DCT变换器和量化器，对其执行DCT变换处理和量化处理。使量化的DCT变换系数经过可变长度编码器的可变长度编码处理，然后经过逆量化器和DCT变换器的局部解码处理。此后，将该局部解码处理的结果直接供应到加法器，并且经运动补偿器供应到减法器。

另一方面，MPEG-2解码器包括缓冲存储器、可变长度解码器、逆量化器、逆DCT变换器、运动补偿器、加法器和帧存储器。将基于MPEG-2的编码比特流存储在缓冲存储器中，此后经过分别由可变长度解码器、逆量化器和逆DCT变换器的可变长度解码处理、逆量化处理和逆DCT变换处理。通过加法器，使从经过可变长度解码处理的运动矢量由运动补偿器获得的预测图像和逆DCT变换处理的结果与其相加。由加法器的输出生成再现图像信号。将再现的图像信号存储在帧存储器中并且用于预测另一帧。

已经提出了基于继MPEG-2标准后的、用于电视电话等等的低速率编码的、由国际标准ISO/IEC 14496标准化的MPEG-4标准(H.263)的运动图像或视频压缩系统。正如MPEG-2，基于MPEG-4(H.263)标准的压缩系统称为使用帧间预测和离散余弦变换的“混合型”。此外，其中已经引入了以半像素单位的运动压缩。该压缩系统通过引入使用用作熵编码的霍夫曼码，但同时重新编码游程(run)/等级(level)/持续(last)、称为三维可变长度编码(3-D VLC)的技术，在压缩比方面进行了改进，类似MPEG-2。顺便提一下，游程和等级与游程长度(run length)系数有关，并且last表示是否是最后一个系数。此外，MPEG-4(H.263)标准包括称为Baseline和称为Annex的扩展标准的基本部分。

为了给基于MPEG-4(H.263)的压缩系统带来更高编码效率，已经由国际标准ISO/IEC 14496-10标准化了MPEG-4AVC(H.264)的标准。顺便提一下，AVC是高级视频编码的首字母缩写。MPEG-4AVC(H.264)标准称为H.264/AVC标准。

基于H.264/AVC标准的视频编码包括视频编码层和网络抽象层。即，视频编码层被设计成有效地表示视频上下文。网络抽象层用来通过适合于由各个传输层或存储介质传输的方法，格式化视频VCL表示并且提供头部信息。

在基于MPEG-2、MPEG-4、H.264/AVC标准等等的国际标准视频编码方法中，使用帧间预测编码来利用时间方向的相关性，实现高编码效率。关于帧编码模式，存在不使用帧之间的相关性编码的I帧、由过去编码的一个帧预测的P帧和能由过去编码的两个帧预测的B帧。

在帧间预测编码中，从运动图像减去经过运动补偿的参考图像(预测图像)，并且编码来自该减法的预测残差。编码的处理包括正交变换，诸如DCT(离散余弦变换)、量化和可变长度编码的处理。运动补偿(运动校正)包括在帧间预测中，空间地移动参考帧的处理。以待编码的帧的块为单位，执行运动补偿的处理。当图像内容中没有运动时，不进行移动并且使用与待预测的像素相同位置的像素。当运动存在时，搜索最适合的块，并且将移动量用作运动矢量。在基于MPEG-2的编码方法中，运动补偿块是16像素×16像素/16像素×8像素的块。。在基于MPEG-4的编码方法中，其是16像素×16像素/16像素×8像素/8像素×8像素的块。在基于H.264/AVC标准的编码方法中，运动补偿块是16像素×16像素/16像素×8像素/8像素×16像素/8像素×8像素/8像素×4像素/4像素×8像素/4像素×4像素的块。

对于每一视频画面(帧或字段)，执行上述编码处理。画面的每一细分块(通常16像素×16像素，并且在MPEG中称为宏块(MB))用作处理单位。即，从已经编码了待编码的每一块的参考图像选择最类似的块(预测图像)，并且编码(正交变换、量化等等)编码图像(块)和预测图像之间的差分信号。画面中的编码块和预测信号之间的相对位置差称为运动矢量。

此外，如根据称为基于块的混合视频编码的方法，已经在下述专利文献1中描述了基于H.264/AVC标准的视频编码层(VCL)。VCL设计包括宏块、片和片块。每一图像划分成分别具有固定大小的多个宏块。每一宏块包括作为亮度分量的16×16样本的方形图像区，并且方形样本区分别与其对应的两个色差分量相关。一个图像可以包括一个或多个片。每一片是自含式的，因为其提供有效序列和图像参数集。由于能在不使用来自其他片的信息的情况下，基本上解码片表示，能由比特流和图像区的样本的值，分析语法元素。然而，为了更完全解码，将解块滤波器用在片边界上，要求来自其他片的若干信息。此外，由于与图像的其他片无关地编码和解码每一片，在下述非专利文献1中，也已经描述了在并行处理中使用片的能力。

另一方面，关于数字HDTV(高清电视)广播接收机、能拍摄或捕捉HDTV信号的数码摄像机等等，处理运动图像代码的系统的屏幕尺寸增加。对处理这些信号的视频编码器和视频解码器，日益要求高处理性能。

从该背景，已经提出了作为继H.264/AVC标准之后的标准的新标准H.265(ISO/IEC23008-2)。该新标准也称为HEVC(高效视频编码)。该标准由于块大小等等的适当性，压缩效率良好，并且具有MPEG-2标准约四倍和标准H.264/AVC约2倍的压缩性能。

另一方面，下述专利文献1已经描述了在广泛应用的各种编码压缩标准，诸如MPEG-1/2/4、H.261/H.263/H.264-AVC等等中，已经将包括16×16像素的一个宏块用作处理单位，用于运动补偿和后续处理，而在H.264/HEVC标准中，将更灵活块结构用作处理单位。灵活块结构的单位称为编码单元(CU)，并且使用四叉树，自适应地细分成小块来从最大编码单元(LCU)开始实现令人满意的性能。最大编码单元(LCU)的大小是远大于16×16像素的宏块大小的64×64像素。在下述专利文献1的图1及其相关的公开内容中，示出了基于四叉树的编码单元划分的例子。在其深度“0”，最初的编码单元(CU)是包括64×64像素的最大编码单元(LCU)。拆分标志“0”表示不划分此时的编码单元(CU)，而拆分标志“1”表示通过四叉树，将此时的编码单元(CU)划分成四个小编码单元。下述专利文献1还描述了进一步四叉树划分该划分后的编码单元(CU)，直到达到预定的最小编码单元(CU)大小为止。

下述专利文献2已经描述了对基于H.264/AVC标准的视频编码/解码处理，并行操作第一视频处理单元和第二视频处理单元。在并行操作期间，第一视频处理单元顺序地处理以一个图像的一行中布置的第一多个宏块，并且第二视频处理单元顺序地处理下一行中布置的第二多个宏块。尤其是，使第二视频处理单元的操作定时比第一视频处理单元延迟两个宏块。因此，由第一视频处理单元处理一行中布置的第一多个宏块的结果能用在由第二视频处理单元在下一行中布置的第二多个宏块的帧内预测。

在下述非专利文献2中，已经描述了H.265/HEVC标准的概述。基于在前标准的编码层的核心是包括作为亮度样本的16×16块和8×8块的两个色差样本的宏块，而在H.265/HEVC标准中，其是大于传统的宏块并且其尺寸由编码器选择的编码树单元(CTU)。编码单元(CTU)包括亮度编码树块(CTB)、色差编码树块(CTB)和语法元素。编码树单元(CTU)的四叉树语法指定亮度和色差编码树块(CTB)的每一个的大小和位置。由编码单元(CU)的等级进行有关帧间图像还是帧内图像用于编码图像区的判定。预测单元(PU)的拆分结构具有以编码单元(CU)的等级的源。取决于基本预测类型的判定，根据它们的大小划分并且由亮度和色差预测块(PB)预测亮度和色差编码块(CB)。H.265/HEVC标准支持从64×64样本到4×4样本的可变预测块(PB)的大小。由块变换编码预测残差，以及变换单元(TU)的三个结构具有以编码单元(CU)的等级的源。能使亮度编码块(CB)的残差与亮度变换块(TB)相同，并且划分成更小亮度变换块(TB)。这恰好与色差变换块(TB)类似。对4×4、8×8、16×16和32×32样本的方形变换块(TB)的大小，定义与离散余弦变换(DCT)的函数类似的基于整数的函数。如同H.264/AVC标准，在H.265/HEVC标准中，使用均匀重建量化(URQ)。即，量化参数(QP)的值的范围规定在0和51之间，并且量化参数(QP)的映射近似对应于量化缩放矩阵的对数。

此外，下述非专利文献2已经描述了基于H.265/HEVC标准的片是能与同一图像的其他片无关地被编码的数据结构。此外，下述非专利文献2还描述了以增强或分包并行处理能力为目的，瓦片或波前并行处理(WPP)的新颖特征被引入H.265/HEVC标准中来修改片数据的结构。瓦片用来将图像分成方形区域。瓦片的主要目的是增加并行处理的能力而不是提供误差恢复能力。多个瓦片是一个图像的可独立解码的区域。通过共享头部信息来编码这些瓦片。通过波前并行处理(WPP)，将一个片分成多个编码树单元(CTU)的行。通过常规方法处理第一行，并且在对第一行进行稍微判定后，开始第二行的处理。在对第二行进行稍微判定后，能开始第三行的处理。

下述非专利文献3已经描述了基于H.265/HEVC标准的块结构是基于包括预测单元(PU)和变换单元(TU)的编码单元(CU)，并且每一帧被分成具有最大尺寸64×64样本的最大编码单元(LCU)的集合。在下述非专利文献3中还描述了通过常规四叉树拆分结构，将每一最大编码单元(LCU)循环地分成小的编码单元(CU)。

在下述非专利文献3中描述了与H.265/HEVC标准有关的并行处理。由例如在视频解码器中使用帧级/流水线方法的不同并行级，构成功能级的并行处理。能通过解析(语法解释)、熵解码、LCU再现和滤波，实现四级流水线。帧内预测具有强大的数据相关性来禁止块级的并行处理，因为使用由相邻块再现的数据来生成当前块。部分地消除这种相关性的方案被称为“用于并行帧间编码的并行预测单元”。在数据级的并行处理中，将若干程序应用于数据集中的不同部分。在视频编解码器中，例如，将数据级的并行处理应用于帧级、宏块(或LCU)级、块级和样本级中不同的数据颗粒。如果满足不同内核的数据相关性，能在每一帧内或帧之间利用LCU(或宏块)级的并行处理。与帧内预测相同，在参考LCU级的相邻数据的内核中，斜波前的LCU处理能利用LCU的并行处理。此外，在下述非专利文献3中，还描述了片级的并行处理。

下述非专利文献4已经描述了与图像编码标准的进度关联，由于能利用双核和四核计算机，从稍后所述的不同视点，对编码处理和解码处理进行并行处理试验。包括COP(图像组)方法、帧方法、流水线方法、片划分方法、宏块重定位方法等等。宏块重定位方法用来按波前的布置，提出宏块(MB)的处理。因此，当相邻宏块(MB)可用时，同时编码每一斜线的宏块(MB)。通过宏块(MB)级的良好的颗粒并行性，目前广泛使用宏块再定位方法。

下述非专利文献4已经描述了为了实现更灵活的编码系统，H.265/HEVC标准使用支持具有64×64像素、32×32像素、16×16像素、8×8像素和4×4像素的大小的宏块(MB)的四叉树基编码结构。下述非专利文献4已经描述了H.265/HEVC标准单独地定义编码单元(CU)、预测单元(PU)和变换单元(TU)的三个块的概念。此外，下述非专利文献4已经描述了在已经定义最大编码单元(LCU)的大小和编码单元(CU)的层次深度后，编解码器(codex)的整体结构的特征在于编码单元(CU)、预测单元(PU)和变换单元(TU)的大小。

此外，在下述非专利文献4中，还描述了与H.265/HEVC标准有关的、称为基于块的并行帧内预测的方法。将64×64像素的最大编码单元(LCU)分成四个块，块0、块1、块2和块3。块0和块1构成第一集块，以及块2和块3构成第二集块。使用与第一集块的左上部分相邻的像素值，并行地预测第一集块的块0和块1。使用与第二集块的左上相邻的像素值，并行地预测第二集块的块2和3。与此相比，在基于H.265/HEVC标准的预测系统中，与块1的左上部分相邻的像素值用于块1的预测。与块3的左上部分相邻的像素值用于块3的预测。因此，顺序地预测块0、1、2和3。

[现有技术文献]

[专利文献]

[专利文献1]U.S.专利No.2012/0106652A1说明书

[专利文献2]日本未审专利公开号No.2008-42571

[非专利文献1]GARY J.SULLIVAN等,“Video Compression-From Concept to theH.264/AVC Standard”,PROCEEDING OF THE IEEE,VOL.93,No.12005年1月,PP.18-31

[非专利文献2]Gary J.Sullivan等,“Overview of the High Efficiency VideoCoding(HEVC)Standard”,IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEOTECHNNOLOGY VOL.22,NO.12,2012年12月,PP.1649-1668

[非专利文献3]Mauricio Alvanez Mesa等,“Evaluation of ParallelStrategies for the Emerging HEVC Standards”,pp.1-17,http://www.encore-project.eu/system/files/hevc_paper.pdf#search＝’evaluation+of+parallel+strategies+for+emegin+HEVC’[平成第24的9月26日]

[非专利文献4]Jie Jiang等,“Block-Based Parallel Intra PredictionScheme for HEVC”,JOURNAL OF MULTIMEDIA,VOL.7,NO.4,2012年8月,pp.289-294

发明内容

在本发明前，本发明人已经从事能解码由H.265/HEVC标准编码的比特流的视频解码器的开发。

在该开发中，本发明人首先对本发明前的现有图像编码标准和H.265/HEVC标准进行了回顾。

首先，在现有的标准，诸如上述MPEG-1/2/4和H.261/H.263/H.264-AVC中执行下述编码处理和视频编码。在编码处理中，将一个视频画面的I帧、P帧和P帧分成称为多个宏块(MB)的小区域。编码处理从位于一个视频画面的左上中的宏块(MB)开始，并且根据所显示的光栅扫描的顺序，对右下方向中的宏块(MB)执行。在视频编码中，使用运动图像的画面中的宏块(MB)之间的空间关联，压缩运动图像信息。即，当处理一个宏块(MB)时，预测从其周围宏块(一个视频画面的左上方向中的宏块)的信息处理的一个宏块(MB)的信息，并且在视频编码处理中，仅编码与预测信息的差异。

例如，在基于MPEG-4(H.264/AVC标准)的帧内编码处理中，由用作块像素信息的DCT系数的DC和AC分量，执行块间预测。在基于H.264/AVC标准的块间预测中，在DCT变换处理后，通过块像素值的DC和AC分量，执行块间预测。

此外，在检测用于基于MPEG-4和H.264/AVC标准的编码处理的运动矢量的运动预测中，执行待编码的帧的编码目标块和多个参考帧之间的块匹配。

如上所述，在直到H.264/AVC标准的现有视频编码标准中，将具有16像素×16像素的大小的宏块(MB)定义为处理单元。

与此相比，在H.265/HEVC标准中，从用作最大大小的具有大于16×16像素的宏块(MB)的大小的64×64像素的最大编码单元(LCU)开始的、称为编码单元(CU)的灵活块结构被用作处理单元。

另一方面，在上述非专利文献4中所述的、称为基于块的并行帧内预测的方法将最大编码单元(LCU)分成四块并且执行两块的并行预测两次。然而，在上述非专利文献4中所述的方法仅适合于编码系统，而未建议本发明的主要目的的基于H.265/HEVC的解码处理方法。即，在上述非专利文献4中所述的方法未提供有关解码处理以在基于H.265/HEVC标准的视频解码器中加速并行处理的具体建议。

即，在视频编码器中，通过自身的编码策略，能判定编码处理方法。此外，在判定视频编码器的编码处理方法时，是否基于现有的视频编码标准变为视频编码器的设计者待确定的问题。顺便提一下，不必说，与不符合现有的视频编码标准的视频编码器相比，基于现有的视频编码标准的视频编码器在市场上很受欢迎。

与此相比，在视频解码器中，不能由其自身的解码策略，判定解码处理方法。即，要求视频解码器具有能可靠地解码根据基于现有的视频编码标准的编码处理方法，由视频编码器编码的比特流的能力。因此，需要通过对应于视频编码器的编码处理方法的编码策略的解码策略，执行解码处理方法。即，可以说在这种情况下的解码处理方法被看作编码处理方法的逆处理。

关于H.264/AVC标准，在上述专利文献2中已经描述了在帧内预测时，在对应于两个宏块(MB)的延迟时间中，在两个行中实施具有16像素×16像素的大小的每一宏块(MB)的并行处理。

此外，关于H.265/HEVC标准，如在上述专利文献1中所述，将从具有大于具有16像素×16像素的宏块的64像素×64像素的最大大小的最大编码单元(LCU)开始的灵活块结构用作处理单元。实际上，在H.265/HEVC标准中，在上述专利文献3中，描述了使用最大编码单元(LCU)级的帧内预测，执行并行处理。即，非专利文献3中所述的技术对应于“从宏块(MB)到最大编码单元(LCU)的替换”应用于上述专利文献2中所述的“帧内预测的宏块(MB)的并行处理”。

另一方面，本发明已经论述了在本发明前，在能解码按H.265/HEVC标准编码的比特流的视频解码处理装置的开发中，将在上述非专利文献3中所述的最大编码单元(LCU)等级的并行处理用在解码处理中。即，在将参考数据从帧存储器供应到视频解码处理装置的帧内预测单元的同时，向其供应已经由编码视频比特流传输的、由运动图像或视频解码器计算的帧内预测的信息。由于如在上述专利文献3中所述，帧内预测使用附近的块再现的数据来生成当前块，斜波前的LCU处理变得需要LCU的并行处理。

图9是示出本发明前已经由本发明人进行的，已经在能解码由H.265/HEVC标准编码的比特流的视频解码处理装置的开发中论述过的、供应解码视频信号的液晶显示装置的尺寸的图。

如图9所示，液晶显示装置具有在其长边的水平方向中布置的64个最大编码单元(LCU)和在其短边的垂直方向中布置的32个最大编码单元(LCU)。因此，液晶显示装置的大小为4096像素×2048像素的大小。顺便提一下，其中，将最大编码单元(LCU)设定成属于H.265/HEVC标准的最大大小的64像素×64像素的大小。因此，能通过在长边的水平方向中布置64个最大编码单元(LCU)，实现长边的水平方向中的4096像素。通过在短边的垂直方向中布置32个最大编码单元(LCU)，能实现短边的垂直方向中的2048像素。与高清HD的尺寸的大小(1920像素×1080像素)相比，液晶显示装置的大小显然更大。

图10是用于描述本发明前，本发明人已经论述过的、能解码由H.265/HEVC标准编码的比特流的视频解码处理装置的操作的图。

图10所示的视频解码处理装置具有第一视频处理单元CE0、第二视频处理单元CE1、第三视频处理单元CE2和第四视频处理单元CE3。按H.265/HEVC标准编码的比特流被供应到图10所示的可变长度解码器，使得生成从可变长度解码器供应到第一、第二、第三和第四视频处理单元CE0、CE1、CE2和CE3的中间流。

供应到第一视频处理单元CE0的第一中间流包括在图9所示的液晶显示装置的第一行中布置的64个最大编码单元LCU00、LCU01、…、和LCU063的视频解码处理信息。此外，供应到第二视频处理单元CE1的第二中间流包括在图9所示的液晶显示装置的第二行中布置的64个最大编码单元LCU10、LCU11、…、和LCU163的视频解码处理信息。供应到第三视频处理单元CE2的第三中间流包括在图9所示的液晶显示装置的第三行中布置的64个最大编码单元LCU20、LCU21、…、和LCU263的视频解码处理信息。此外，供应到第四视频处理单元CE3的第四中间流包括在图9所示的液晶显示装置的第四行中布置的64个最大编码单元LCU30、LCU31、…、和LCU363的视频解码处理信息。

此外，图10示出在第一视频处理单元CE0处理在图9所示的液晶显示装置的第一行/第一列中布置的最大编码单元LCU00的信息时和第一视频处理单元CE0处理在其第一行/第二列中布置的最大编码单元LCU01的信息时，第二、第三和第四视频处理单元CE1、CE2和CE3分别无操作(NOP)。

图10还示出在第二视频处理单元CE1处理图9所示的液晶显示装置的第二行/第一列中布置的最大编码单元LCU10的信息和第二视频处理单元CE1处理其第二行/第二列中布置的最大编码单元LCU11的信息时，第三和第四视频处理单元CE2和CE3分别无操作(NOP)。

此外，图10还示出在第三视频处理单元CE2处理在图9所示的液晶显示装置的第三行/第一行中布置的最大编码单元LCU20的信息和第三视频处理单元CE2处理在其第三行/第二列布置的最大编码单元LCU21的信息时，第四视频处理单元CE3无操作(NOP)。

由此，以图10所示的三角形形式的多个最大编码单元(LCU)的无操作(NOP)的区域对应于用于上述非专利文献3中所述的LCU的并行处理所需的斜波前。然而，在本发明前，本发明人已经揭露从由视频处理单元CE0、CE1、CE2和CE3的并行解码处理开始，无操作(NOP)的三角形区域将增加开销的问题。

尽管在下文中，将描述用于解决这种问题的手段等等，但其他目的和新颖特征从本说明书的描述和附图将变得显而易见。

在本申请中公开的代表性实施例的概述将简述如下：

根据代表性实施例的视频解码处理装置(1)配备有解析单元(10)和第一视频处理单元(20)以及及第二视频处理单元(21)。

将包括分别具有预定像素大小的最大编码单元(LCU)的每一个的信息的编码比特流(BS)供应到解析单元(10)的输入端子。

解析单元(10)执行编码比特流(BS)的语法的解析，由此由最大编码单元(LCU00)生成可并行处理的第一和第二中间流。

第一视频处理单元(20)和第二视频处理单元(21)的特征在于并行处理由解析单元(10)生成的第一中间流和第二中间流(参见图1)。

由在本申请中公开的一个代表性实施例获得的有益效果简述如下：

根据本视频解码处理装置，可以降低开始并行解码处理的开销。

附图说明

图1是示出根据实施例1的视频解码处理装置1的构造的图；

图2是示例根据图1所示的实施例1的多个视频处理单元20、21、22、23、…，和27分别使用帧内预测，执行并行解码处理的方式的图；

图3是示出图2中所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)使用帧内预测，对位于图9所示的液晶显示装置的第一行/第一列中布置的最大编码单元LCU00内的16个小编码单元CU0、CU1、CU2、…和CU15的信息执行并行解码处理的方式的图；

图4是示出图2中所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)使用帧内预测，对图3所示的16个小编码单元CU0、CU1、CU2、…和CU15的信息执行并行解码处理的定时的图；

图5是示例由图1所示的8个视频处理单元20、21、22、23、…、和27执行对应于四行的最大编码单元LCU的内部信息的并行解码处理的定时的图；

图6是示出图2所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)分别对位于图9所示的液晶显示装置的第一行/第一列中布置的最大编码单元LCU00内的64个更小编码单元CU0、CU1、CU2、…和CU63的信息与帧内预测有关地执行并行解码处理的方式的图；

图7是示例图2所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)使用帧内预测，分别对图6所示的64个小编码单元CU0、CU1、CU2、…、CU63的信息执行并行解码处理的定时的图；

图8是示出由图1所示的8个视频处理单元20、21、22、23、…和27，对对应于四行的最大编码单元LCU的内部信息执行并行解码处理的方式的图；

图9是示出在本发明前，已经由本发明人完成的，在能解码按H.265/HEVC标准编码的比特流的视频解码处理装置的开发中论述过的、具有解码的视频信号的液晶显示装置的大小的图；以及

图10是用于描述本发明前，已经由本发明人论述过的、能解码按H.265/HEVC标准编码的比特流的视频解码处理装置的操作的图。

具体实施方式

1.实施例的概述

首先，将说明在本申请中公开的发明的典型实施例的概述。在典型实施例的概述中的括号引用的附图的参考数字仅示例包括在给出参考数字的部件的概念中的元件。

[1]根据本发明的一个方面的典型实施例的视频解码处理装置(1)配备有解析单元(10)和第一视频处理单元(20)及第二视频处理单元(21)。

包括最大编码单元(LCU)的每一个的信息的编码比特流(BS)被供应到该解析单元(10)的输入端子，最大编码单元(LCU)每个都具有预定像素大小。

该解析单元(10)执行供应到该输入端子的编码比特流(BS)的语法的解析，由此由最大编码单元(LCU00)生成可并行处理的第一中间流(“0”、“1”、“2”和“3”)和第二中间流(“4”和“5”)。

该第一视频处理单元(20)和该第二视频处理单元(21)的特征在于并行处理由该解析单元(10)生成的第一中间流(“0”、“1”、“2”和“3”)和第二中间流(“4”和“5”)(见图1)。

根据上述实施例，可以降低开始并行解码处理的开销。

在优选实施例中，第一视频处理单元(20)和第二视频处理单元(21)分别具有帧内预测的功能(204)和帧间预测的功能(205)。

第一视频处理单元(20)和第二视频处理单元(21)的特征在于关于帧内预测和帧间预测的至少任何一个，对第一中间流(“0”、“1”、“2”和“3”)和第二中间流(“4”和“5”)执行并行解码处理(见图3和4)。

在另一优选实施例中，视频解码处理装置(1)进一步配备有耦接在第一视频处理单元(20)和第二视频处理单元(21)之间的第一信号路径(41)。

由第一视频处理单元(20)和第二视频处理单元(21)的任何一个使用帧内预测的解码处理结果的特征在于，能通过第一信号路径(41)被供应到第一视频处理单元(20)和第二视频处理单元(21)中的另一个。

在另一优选实施例中，解析单元(10)将最大编码单元(LCU00)分成多个编码单元(“0”、“1”、“2”、“3”、“4”、“5”、…和“15”)，由此生成第一中间流和第二中间流(见图3)。

在执行并行解码处理时，第二视频处理单元(21)的特征在于，在第一视频处理单元(20)处理包括在第一中间流中的最初的编码单元(“0”和“1”)的定时(T0)，执行无操作(NOP)(见图4)。

在更优选实施例中，解析单元的特征在于，将最大编码单元划分成至少四个编码单元，由此生成第一中间流和第二中间流。

在另一更优选实施例中，第一视频处理单元(20)和第二视频处理单元(21)的特征在于，分别具有逆量化的功能(201)、逆变换的功能(202)和运动补偿的功能(205)(见图1)。

在又一更优选实施例中，第一视频处理单元(20)和第二视频处理单元(21)的特征在于，关于逆量化和逆变换，执行第一中间流(“0”、“1”、“2”和“3”)和第二中间流(“4”和“5”)的并行解码处理。

在另一优选实施例中，第一视频处理单元(20)和第二视频处理单元(21)的特征在于，关于运动补偿，执行第一中间流(“0”、“1”、“2”和“3”)和第二中间流(“4”和“5”)的并行解码处理。

根据另一更优选实施例的视频解码处理装置(1)进一步配备有视频构造单元(30)，其具有第一输入端子和第二输入端子，分别被供应有第一视频处理单元(20)的处理结果和第二视频处理单元(21)的处理结果。

可供应到显示装置的解码图像的特征在于，由视频构造单元(30)的输出端子生成(见图1)。

根据具体优选实施例的视频解码处理装置(1)进一步配备有第三和第四视频处理单元(22和23)。

解析单元(10)执行解析，由此由不同于最大编码单元(LCU00)的另一最大编码单元(LCU10)，生成可并行处理的第三和第四中间流。

第三视频处理单元(22)和第四视频处理单元(23)的特征在于，并行处理由解析单元(10)生成的第三中间流和第四中间流(见图5)。

在另一具体优选实施例中，最大编码单元(LCU00)和另一最大编码单元(LCU10)的特征在于，分别对应于在显示装置的一行中布置的显示信息和在该一行的下一行中布置的其他显示信息(见图2)。

在更具体的优选实施例中，视频解码处理装置(1)进一步配备有耦接在第三视频处理单元(22)和第四视频处理单元(23)之间的第二信号路径(43)。

通过第三视频处理单元(22)和第四视频处理单元(23)的任何一个使用帧内预测的解码处理结果的特征在于，能通过第二信号路径(43)被供应到第三视频处理单元(22)和第四视频处理单元(23)的另一个(见图1)。

在另一更优选实施例中，在定时(T0)，第三视频处理单元处理包括在第三中间流中的最初的编码单元，并且第二视频处理单元执行无操作(NOP)(见图5)。

在又一更具体实施例中，解析单元(10)、视频构造单元(30)，以及分别具有帧内预测的功能、逆量化的功能、和逆变换及运动补偿的功能的第一视频处理单元(20)和第二视频处理单元(21)的特征在于，被集成在半导体集成电路的半导体芯片中(见图1)。

在另一更具体实施例中，解析单元的特征在于，执行包括基于H.265/HEVC标准的最大编码单元的信息的编码比特流的语法的解析。

在最具体实施例中，最大编码单元的特征在于，具有按H.265/HEVC标准的64像素×64像素的最大大小。

[2]根据本发明的另一方面的典型实施例是用于操作配备有解析单元(10)和第一及第二视频处理单元(20和21)的视频解码处理装置(1)的方法。

包括最大编码单元(LCU)的每一个的信息的编码比特流(BS)被供应到该解析单元(10)的输入端子，最大编码单元(LCU)每个都具有预定像素大小。

该解析单元(10)执行供应到该输入端子的编码比特流(BS)的语法的解析，由此由最大编码单元(LCU00)生成可并行处理的第一中间流(“0”、“1”、“2”和“3”)和第二中间流(“4”和“5”)。

该第一视频处理单元(20)和该第二视频处理单元(21)的特征在于并行处理由该解析单元(10)生成的第一中间流(“0”、“1”、“2”和“3”)和第二中间流(“4”和“5”)(见图1)。

根据该实施例，可以降低开始并行解码处理的开销。

2.实施例的进一步详细描述

接着，将进一步详细地说明实施例。顺便提一下，在用于说明执行本发明的最佳方式的所有图中，将相同的参考数字分别附加到具有与图中相同功能的部件，并且将省略它们的重复描述。

[实施例1]

(视频解码处理装置的结构)

图1是示出根据实施例1的视频解码处理装置1的结构的图。

根据图1所示的实施例的视频解码处理装置1具有解析单元10、多个视频处理单元20、21、22、23、…和27、视频构造单元30和多个单元间信号总线41、42、43、…、和47。

<<解析单元>>

解析单元10执行按H.265/HEVC标准编码的比特流BS的解析(语法解释)并且充当执行可变长度解码的熵解码单元。

图1所示的每一视频编码处理装置根据装置自身的编码策略，执行并行编码处理，由此生成符合H.265/HEVC标准的编码比特流BS。

由此，根据图1所示的实施例1的视频解码处理装置1的解析单元10执行编码比特流BS的语法(压缩和编码数据序列的规则或编码数据的比特流的构成方法)的解析(语法解释)。因此，可以执行视频解码处理装置1的并行解码处理，其对应于根据未示出的视频编码处理装置的编码策略的并行编码处理。

即，解析单元10反转熵编码来恢复最大编码单元(LCU)和预测单元(PU)的编码单元(CU)的结构、预测模式等等的头部信息和编码预测单元(PU)。当解码的预测模式是帧内预测模式时，解析单元10重构帧内预测的信息。另一方面，当解码的预测模式是帧间预测模式时，解析单元10重构运动矢量。因此，能由解析单元10生成能由视频处理单元20、21、22、23、…、和27并行处理的多个块的多个中间流，并且被供应到视频处理单元20、21、22、23、…、和27。即视频处理单元20、21、22、23、…、和27关于帧内预测，执行并行解码处理。

<<视频处理单元>>

第一视频处理单元20具有逆量化单元201、逆变换单元202、帧存储单元203、帧内预测单元204、运动补偿单元205、模式开关206、加法单元207和滤波器单元208。

熵解码的亮度和色差的预测残差分量被从解析单元10供应到逆量化单元201的输入端子。由逆量化单元201逆量化预测残差分量。逆量化单元201的输出信号经过逆变换单元202的逆离散余弦变换(DCT)或逆离散正弦变换(DST)的处理，变换成残差编码单元(CU)。即，将频域数据从逆量化单元201供应到逆变换单元202，在此被变换成残差编码单元(CU)。

残差编码单元(CU)被从逆变换单元202供应到加法单元207的第一输入端子。预测信息被从模式开关206供应到加法单元207的第二输入端子。当在解码视频流中示出帧间预测模式时，模式开关206从运动补偿单元205选择预测单元(PU)。当在解码视频流中示出帧内预测时，模式开关206从帧内预测单元204选择预测单元(PU)。

运动补偿单元205使用来自帧存储单元203的参考数据，并且应用由视频编码处理装置计算和在编码视频比特流中传送的运动预测，由此生成预测单元(PU)。即，运动补偿单元205通过使用来自解析单元10的运动矢量和来自帧存储单元203的参考数据，生成预测单元(PU)。

帧内预测单元204将当前块之前解码的周围像素用作参考数据并且应用由按在编码视频比特流中传送的帧内预测模式指定的视频编码处理装置计算的帧内预测，由此生成预测单元(PU)。

加法单元207使从逆变换单元202供应的残差编码单元(CU)与由模式开关206选择的预测单元(PU)相加，由此生成编码单元(CU)。

滤波器单元208具有根据H.265/HEVC标准减少块失真的解块滤波器的功能。此外，滤波器单元208具有称为不同于解块滤波器功能的样本自适应偏移(SAO)的滤波器功能来符合H.265/HEVC标准。该滤波器功能用于通过使用由经视频编码处理装置侧上的频率分布分析判定的另外的参数所述的查找表，良好地重构原始信号的振幅。加法单元207的输出信号被供应到滤波器单元208的输入端子，使得由滤波器单元208的输出端子，生成解码的部分图像。将所生成的解码部分图像作为参考数据存储在帧存储单元203中。

也正好以与第一视频处理单元20相同的方式，构成其他视频处理单元21、22、23、…、和27。即，每一视频处理单元配备有逆量化单元201、逆变换单元202、帧存储单元203、帧内预测单元204、运动补偿单元205、模式开关206、加法单元207和滤波器单元208。

<<单元间信号总线>>

如图1所示，单元间信号总线41、42、43、…、和47分别耦接到视频处理单元20、21、22、23、…、和27。因此，视频处理单元20、21、22、23、…、和27通过单元间信号总线41、42、43、…、和47，分别将帧内预测解码处理结果双向地供应到彼此相邻的视频处理单元，以便执行与帧内预测有关的并行解码处理。

<<视频构造单元>>

视频构造单元30在由视频处理单元20、21、22、23、…、和27生成的解码部分图像的基础上，生成对应于被供应到图9所示的液晶显示装置的解码帧DF的解码图像。

<<半导体集成电路的使用>>

根据图1所示的实施例1的视频解码处理装置1主要集成在称为片上系统(SoC)的系统LSI半导体集成电路的半导体芯片中。然而，视频处理单元20、21、22、23、…、和27的大部分帧存储单元203被集成在与系统LSI半导体集成电路分开配置的同步静态随机存取存储器(SRAM)的半导体芯片中。然而，在其他实施例中，为了高速存取，也能将多个视频处理单元20、21、22、23、…、和27的多个帧存储单元203的一部分集成在系统LSI半导体集成电路的半导体芯片中。

对应于由视频构造单元30生成并且供应到图9所示的液晶显示装置的解码帧DF的解码图像能存储在与系统LSI半导体集成电路分开配置的图像存储器的半导体芯片中。

由此，根据图1所示的实施例1的视频解码处理装置1中的解析单元10、视频处理单元20、21、22、23、…、和27和视频构造单元30的大部分能被配置在系统LSI半导体集成电路的半导体芯片中。即，能由在系统LSI半导体集成电路的半导体芯片中配置的软件，实现解析单元10、视频处理单元20、21、22、23、…、和27和视频构造单元30。不然，也能如在非专利文献4中所述的双核和四核计算机中，通过使用多CPU硬件和软件的固件，实现视频处理单元20、21、22、23、…、和27。

<<通过多个视频处理单元的并行解码处理>>

图2是示出根据图1所示的实施例1的视频解码处理装置1的视频处理单元20、21、22、23、…、和27分别使用帧内预测执行并行解码处理的方式的图。

如图2所示，第一视频处理单元20(CE00)和第二视频处理单元21(CE01)处理在图9所示的液晶显示装置的第一行中横向布置的64个最大编码单元LCU00、LCU01、LCU02、…、和LCU063的信息。

同时，第三视频处理单元22(CE10)和第四视频处理单元23(CE11)处理在图9所示的液晶显示装置的第二行中横向布置的64个最大编码单元LCU10、LCU11、LCU12、…、和LCU163的信息。

此外，第五视频处理单元24(CE20)和第六视频处理单元25(CE21)处理在图9所示的液晶显示装置的第三行中横向布置的64个最大编码单元LCU20、LCU21、LCU22、…、和LCU263的信息。

此外，第七视频处理单元26(CE30)和第八视频处理单元27(CE31)处理在图9所示的液晶显示装置的第三行中横向布置的64个最大编码单元LCU30、LCU31、LCU32、…、和LCU363的信息。

如图2所示，通过第一和第二视频处理单元20和21的第一行的64个LCU00、LCU01、LCU02、…、和LCU063的处理以及通过第三和第四视频处理单元22和23的第二行的64个LCU10、LCU11、LCU12、…、和LCU163的处理变为并行解码处理。此外，通过第五和第六视频处理单元24和25的第三行的64个LCU20、LCU21、LCU22、…、和LCU263的处理和第七和第八视频处理单元26和27的64个LCU30、LCU31、LCU32、…、和LCU363的处理变为并行解码处理。由此，为了通过8个视频处理单元20、21、22、23、…、和27，实现与对应于四行的最大编码单元LCU的信息的帧内预测有关的并行解码处理，将对应于四行的最大编码单元LCU分成四片。即，对应于第一行的64个LCU00、LCU01、LCU02、…、和LCU063被布置在第一片中，对应于第二行的64个LCU10、LCU11、LCU12、…、和LCU163被布置在第二片中，对应于第三行的64个LCU20、LCU21、LCU22、…、和LCU263被布置在第三片中，并且对应于第四行的64个LCU30、LCU31、LCU32、…、和LCU363被布置在第四片中。该片划分的原因在于由于如在非专利文献2中所述，与同一图像的其他片无关地解码基于H.265/HEVC标准的片，因此，上述片的并行解码处理变为可能。

尽管在图2中未示出，但根据图1所示的实施例1的视频解码处理装置1包括第63视频处理单元262和第64视频处理单元263。相应地，第63视频处理单元262和第64视频处理单元263处理在图9所示的液晶显示装置的第32行中横向布置的64个最大编码单元LCU310、LCU311、LCU0312、…、和LCU3163的信息。相应地，根据图1所示的实施例1的视频解码处理装置1的64个视频处理单元20、21、22、23、…、和263并行处理在图9所示的液晶显示装置的长边的水平64列及其短边的垂直32行中布置的2048个最大编码单元(LCU)的信息。

<<小编码单元的并行解码处理>>

图3是示出在图2中所述的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)使用帧内预测，对位于图9所示的液晶显示装置的第一行/第一列中布置的最大编码单元LCU00中的16个小编码单元CU0、CU1、CU2、…、和CU15的信息执行并行解码处理的方式的图。

如图3所示，一个最大编码单元LCU00具有64像素×64像素的大尺寸，而16个小编码单元CU0、CU1、CU2、…、和CU15的每一个具有16像素×16像素的小尺寸。在第一行中布置4个小编码单元CU0、CU1、CU4和CU5，在第二行中布置4个小编码单元CU2、CU3、CU6和CU7，在第三行中布置4个小编码单元CU8、CU9、CU12和CU13，并且在第四行中布置4个小编码单元CU10、CU11、CU14和CU15。

如图3所示，在第一定时T0，由第一视频处理单元20(CE00)顺序地解码处理第一和第二编码单元CU0和CU1。在第二定时T1，与由第一视频处理单元20(CE00)顺序解码处理的第三和第四编码单元CU2和CU3并行地，由第二视频处理单元21(CE01)顺序地解码处理第五和第六编码单元CU4和CU5。顺便提一下，从第一编码单元CU0帧内预测第二编码单元CU1，还从第一编码单元CU0帧内预测第三编码单元CU2，并且从第二编码单元CU1帧内预测第四编码单元CU3。此外，从第二编码单元CU1帧内预测第五编码单元CU4，并且从第五编码单元CU4帧内预测第六编码单元CU5。

在第三定时T2，与由第一视频处理单元20(CE00)顺序地解码处理的第七和第八编码单元CU6和CU7并行地，由第二视频处理单元21(CE01)顺序地解码处理第九和第十编码单元CU8和CU9。顺便提一下，由第四编码单元CU3帧内预测第七编码单元CU6，并且由第七编码单元CU6帧内预测第八编码单元CU7。此外，由第三编码单元CU2帧内预测第九编码单元CU8，并且由第九编码单元CU8帧内预测第十编码单元CU9。

在第四定时T3，与由第一视频处理单元20(CE00)顺序地解码处理第十一和第十二编码单元CU10和CU11并行地，由第二视频处理单元21(CE01)顺序地解码处理第十三和第十四编码单元CU12和CU13。顺便提一下，由第九编码单元CU8帧内预测第十一编码单元CU10，并且由第十一编码单元CU10帧内预测第十二编码单元CU11。此外，由第十编码单元CU9帧内预测第十三编码单元CU12，并且由第十三编码单元CU12帧内预测第十四编码单元CU13。

在第四定时T4，由第一视频处理单元20(CE00)顺序地解码处理第十五和第十六编码单元CU14和CU15。顺便提一下，由第十二编码单元CU11帧内预测第十五编码单元CU14，并且由第十五编码单元CU14帧内预测第十六编码单元CU15。

在图3所示的实施例1的例子中，第一视频处理单元20(CE00)和第二视频处理单元21(CE01)将从一个最大编码单元LCU00划分的16个小编码单元CU0、CU1、CU2、…、和CU15划分成两部分来执行用于帧内预测的并行解码处理。由此，在根据图1所示的实施例1的视频解码处理装置1中，第一视频处理单元20(CE00)和第二视频处理单元21(CE01)正好在逆量化单元201、逆变换单元202、运动补偿单元205和滤波器单元208处的各个处理，执行上述两划分并行处理。

即，根据通过解析单元10的编码比特流BS的语法的解析，通过视频处理单元20、21、22、23、…、和27，可以实现与逆量化处理和逆变换处理有关的并行处理。由此，通过视频处理单元20、21、22、23、…、和27，能由解析单元10生成包括能关于逆量化处理和逆变换处理并行处理的多个块的多个中间流，并且被分别供应到视频处理单元20、21、22、23、…、和27。因此，视频处理单元20、21、22、23、…、和27关于逆量化处理和逆变换处理，执行并行解码处理。

此外，根据通过解析单元10的编码比特流BS的语法的解析，通过视频处理单元20、21、22、23、…、和27，使得与运动补偿处理和滤波器处理有关的并行处理变为可能。由此，能通过视频处理单元20、21、22、23、…、和27，由解析单元10生成包括能关于运动补偿处理和滤波器处理并行处理的多个块的多个中间流并且被分别供应到视频处理单元20、21、22、23、…、和27。因此，视频处理单元20、21、22、23、…、和27能关于运动补偿处理和滤波器处理执行并行解码处理。

<<并行解码处理的定时>>

图4是示出图2中所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)使用帧内预测，分别对图3所示的16个小编码单元CU0、CU1、CU2、…、和CU15执行并行解码处理的定时的图。

在如图4所示的第一定时T0，与由第一视频处理单元20(CE00)顺序地解码处理第一和第二编码单元CU0和CU1并行地，第二视频处理单元21(CE01)执行无操作(NOP)。

图4所示的用于无操作(NOP)的两个定时的区域对应于在非专利文献3中所述的LCU的并行处理所需的斜波前。

在图4所示的第二定时T1，与由第一视频处理单元20(CE00)顺序地解码处理第三和第四编码单元CU2和CU3并行地，第二视频处理单元21(CE01)顺序地解码处理第五和第六编码单元CU4和CU5。其中，在第一定时T0，通过第一视频处理单元20(CE00)，使用第二编码单元CU1的帧内预测的解码处理结果用于在第二定时T1，通过第二视频处理单元21(CE01)，使用第五编码单元CU4的帧内预测的解码处理。即，将在第一定时T0，通过第一视频处理单元20(CE00)，使用第二编码单元CU1的帧内预测的解码处理结果从第一视频处理单元20(CE00)通过图1所示的单元间信号总线41，供应到第二视频处理单元21(CE01)。

在图4所示的第三定时T2，与由第一视频处理单元20(CE00)顺序地解码处理第七和第八编码单元CU6和CU7并行地，第二视频处理单元21(CE01)顺序地解码处理第九和第十编码单元CU8和CU9。其中，在第二定时T1，通过第一视频处理单元20(CE00)，使用第三编码单元CU2的帧内预测的解码处理结果用于在第三定时T2，通过第二视频处理单元21(CE01)，使用第九编码单元CU8的帧内预测的解码处理。即，将在第二定时T1，通过第一视频处理单元20(CE00)，使用第三编码单元CU2的帧内预测的解码处理结果从第一视频处理单元20(CE00)通过图1所示的单元间信号总线41，供应到第二视频处理单元21(CE01)。

在图4所示的第四定时T3，与由第一视频处理单元20(CE00)顺序地解码处理第十一和第十二编码单元CU10和CU11并行地，第二视频处理单元21(CE01)顺序地解码处理第十三和第十四编码单元CU12和CU13。其中，在第三定时T2，通过第二视频处理单元21(CE01)，使用第九编码单元CU8的帧内预测的解码处理结果用于在第四定时T3，通过第一视频处理单元20(CE00)，使用第十一编码单元CU10的帧内预测的解码处理。即，将在第三定时T2，通过第二视频处理单元21(CE01)，使用第九编码单元CU8的帧内预测的解码处理结果从第二视频处理单元21(CE01)通过图1所示的单元间信号总线41，供应到第一视频处理单元20(CE00)。

在图4所示的第五定时T4，与由第一视频处理单元20(CE00)顺序地解码处理第十五和第十六编码单元CU14和CU15并行地，第二视频处理单元21(CE01)执行两次操作(OPE)。由第二视频处理单元21(CE01)执行的两次操作用于顺序地解码处理位于图9的液晶显示装置的第一行/第二列中布置的最大编码单元LCU01内的第一和第二编码单元CU0和CU1。

由此，图2所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)对图9所示的液晶显示装置的第一行中横向布置的64个最大编码单元LCU00、LCU01、LCU02、…、和LCU063的内部信息执行并行解码处理。

<<通过8个视频处理单元的并行解码处理>>

图5是示例通过图1所示的8个视频处理单元20、21、22、23、…、和27，执行对应于四行的最大编码单元LCU的内部信息的并行解码处理所采用的定时的图。

图5中的第一虚线框表示图2所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)对位于对应于图9所示的液晶显示装置的第一行的最大编码单元LCU00内的16个小编码单元CU0、CU1、CU2、…、和CU15的信息执行并行解码处理的定时。

正好在图5中的第一虚线框的开始，与由第一视频处理单元20(CE00)顺序地解码处理第一和第二编码单元CU0和CU1并行地，正如图4的第一定时T0，由第二视频处理单元21(CE01)执行两次无操作(NOP)。

正好在图5中的第一虚线框的结束，与由第一视频处理单元20(CE00)顺序地解码处理第十五和第十六编码单元CU14和CU15并行地，正如图4的第五定时T4，由第二视频处理单元21(CE01)执行两次操作(OPE)。

图5的第二虚线框表示图2所示的第三视频处理单元22(CE10)和第四视频处理单元23(CE11)对位于对应于图9所示的液晶显示装置的第二行的最大编码单元LCU10内的16个小编码单元CU0、CU1、CU2、…、和CU15的信息执行并行解码处理的定时。

正好在图5的第二虚线框的开始，与由第三视频处理单元22(CE10)顺序地解码处理第一和第二编码单元CU0和CU1并行地，正如图4的第一定时T0，由第四视频处理单元23(CE11)执行两次无操作(NOP)。

正好在图5中的第二虚线框的结束，与由第三视频处理单元22(CE10)顺序地解码处理第十五和第十六编码单元CU14和CU15并行地，正如图4的第五定时T4，由第四视频处理单元23(CE11)执行两次操作(OPE)。

图5的第三虚线框表示图2所示的第五视频处理单元24(CE20)和第六视频处理单元25(CE21)对位于对应于图9所示的液晶显示装置的第三行的最大编码单元LCU20内的16个小编码单元CU0、CU1、CU2、…、和CU15的信息执行并行解码处理的定时。

正好在图5的第三虚线框的开始，与由第五视频处理单元24(CE20)顺序地解码处理第一和第二编码单元CU0和CU1并行地，正如图4的第一定时T0，由第六视频处理单元25(CE21)执行两次无操作(NOP)。

正好在图5中的第三虚线框的结束，与由第五视频处理单元24(CE20)顺序地解码处理第十五和第十六编码单元CU14和CU15并行地，正如图4的第五定时T4，由第六视频处理单元25(CE21)执行两次操作(OPE)。

图5的第四虚线框表示图2所示的第七视频处理单元26(CE30)和第八视频处理单元27(CE31)对位于对应于图9所示的液晶显示装置的第四行的最大编码单元LCU30内的16个小编码单元CU0、CU1、CU2、…、和CU15的信息执行并行解码处理的定时。

正好在图5的第四虚线框的开始，与由第七视频处理单元26(CE30)顺序地解码处理第一和第二编码单元CU0和CU1并行地，正如图4的第一定时T0，由第八视频处理单元27(CE31)执行两次无操作(NOP)。

正好在图5中的第四虚线框的结束，与由第七视频处理单元26(CE30)顺序地解码处理第十五和第十六编码单元CU14和CU15并行地，正如图4的第五定时T4，由第八视频处理单元27(CE31)执行两次操作(OPE)。

如图5所示，首先并行地执行由第二视频处理单元21执行的两次无操作(NOP)、由第四视频处理单元23执行的两次无操作(NOP)、由第六视频处理单元25执行的两次无操作(NOP)，以及由第八视频处理单元27执行的两次无操作(NOP)。然而，能理解到与本发明前由本发明人论述过的、在由图10所示的三角形形式的无操作(NOP)的开销相比，显著地降低由对应于图5的四行的LCU的并行解码处理执行的两次无操作(NOP)的开销。

<<小编码单元的并行解码处理>>

图6是示出图2中所述的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)关于帧内预测分别对位于图9所示的液晶显示装置的第一行/第一列中布置的最大编码单元LCU00中的64个较小编码单元CU0、CU1、CU2、…、和CU63的信息执行并行解码处理的方式的图。

如图6所示，一个最大编码单元LCU00具有64像素×64像素的最大尺寸，而64个小编码单元CU0、CU1、CU2、…、和CU63中的每一个具有8像素×8像素的较小尺寸。在第一行中布置8个小编码单元CU0、CU1、CU4、CU5、…、CU12和CU13，以及在第二行中布置8个小编码单元CU2、CU3、CU6、CU7、…、CU14和CU15。在第三行中布置8个小编码单元CU16、CU17、CU20、…、CU28和CU29，以及在第四行中布置8个小编码单元CU18、CU19、CU22、CU23、…、CU30和CU31。从第五至第八行如图6所示，并且省略它们的描述。

如图6所示，在第一定时T0，由第一视频处理单元20(CE00)顺序地解码处理第一和第二编码单元CU0和CU1。在第二定时T1，与由第一视频处理单元20(CE00)顺序解码处理第三和第四编码单元CU2和CU3并行地，由第二视频处理单元21(CE01)顺序地解码处理第五和第六编码单元CU4和CU5。顺便提一下，由第一编码单元CU0帧内预测第二编码单元CU1，并且还由第一编码单元CU0帧内预测第三编码单元CU2。由第二编码单元CU1帧内预测第四编码单元CU3。此外，由第二编码单元CU1帧内预测第五编码单元CU4，并且由第五编码单元CU4帧内预测第六编码单元CU6。

在第三定时T2，与由第一视频处理单元20(CE00)顺序解码处理第七和第八编码单元CU6和CU7并行地，由第二视频处理单元21(CE01)顺序地解码处理第九和第十编码单元CU8和CU9。顺便提一下，由第四编码单元CU3帧内预测第七编码单元CU6，并且由第七编码单元CU6帧内预测第八编码单元CU7。此外，由第六编码单元CU5帧内预测第九编码单元CU8，并且由第九编码单元CU8帧内预测第十编码单元CU9。

在第四定时T3，与由第一视频处理单元20(CE00)顺序解码处理第十一和第十二编码单元CU10和CU11并行地，由第二视频处理单元21(CE01)顺序地解码处理第十三和第十四编码单元CU12和CU13。顺便提一下，由第八编码单元CU7帧内预测第十一编码单元CU10，并且由第十一编码单元CU10帧内预测第十二编码单元CU11。此外，由第十编码单元CU9帧内预测第十三编码单元CU12，并且由第十三编码单元CU12帧内预测第十四编码单元CU13。

在第五定时T4，与由第一视频处理单元20(CE00)顺序解码处理第十五和第十六编码单元CU14和CU15并行地，由第二视频处理单元21(CE01)顺序地解码处理第十七和第十八编码单元CU16和CU17。顺便提一下，由第十二编码单元CU11帧内预测第十五编码单元CU14，并且由第十五编码单元CU14帧内预测第十六编码单元CU15。此外，由第三编码单元CU2帧内预测第十七编码单元CU16，并且由第十七编码单元CU16帧内预测第十八编码单元CU17。

在第六定时T5，与由第一视频处理单元20(CE00)顺序解码处理第十九和第二十编码单元CU18和CU19并行地，由第二视频处理单元21(CE01)顺序地解码处理第二十一和第二十二编码单元CU20和CU21。顺便提一下，由第十七编码单元CU16帧内预测第十九编码单元CU18，并且由第十九编码单元CU18帧内预测第二十编码单元CU19。此外，由第十八编码单元CU17帧内预测第二十一编码单元CU20，并且由第二十一编码单元CU20帧内预测第二十二编码单元CU21。

在第七定时T6，与由第一视频处理单元20(CE00)顺序解码处理第二十三和第二十四编码单元CU22和CU23并行地，由第二视频处理单元21(CE01)顺序地解码处理第二十五和第二十六编码单元CU24和CU25。顺便提一下，由第二十编码单元CU19帧内预测第二十三编码单元CU22，并且由第二十三编码单元CU22帧内预测第二十四编码单元CU23。此外，由第二十二编码单元CU21帧内预测第二十五编码单元CU24，并且由第二十五编码单元CU24帧内预测第二十六编码单元CU25。

在第八定时T7，与由第一视频处理单元20(CE00)顺序解码处理第二十七和第二十八编码单元CU26和CU27并行地，由第二视频处理单元21(CE01)顺序地解码处理第二十九和第三十编码单元CU28和CU29。顺便提一下，由第二十四编码单元CU23帧内预测第二十七编码单元CU26，并且由第二十七编码单元CU26帧内预测第二十八编码单CU27。此外，由第二十六编码单元CU25帧内预测第二十九编码单元CU28，并且由第二十九编码单元CU28帧内预测第三十编码单元CU29。

由于图6所示的第九至第十六定时T8至T15的操作与上述第一至第八定时T0至T7类似，将省略它们的描述。

在图6所示的第十七定时T16，由第一视频处理单元20(CE00)顺序地解码处理第六十三和第六十四编码单元CU62和CU63。顺便提一下，由第六十编码单元CU59帧内预测第六十三编码单元CU62，并且由第六十三编码单元CU62帧内预测第六十四编码单元CU63。

在图6所示的实施例1的例子中，第一视频处理单元20(CE00)和第二视频处理单元21(CE01)将从一个最大编码单元LCU00划分的64个小编码单元CU0、CU1、CU2、…、和CU63分成两部分来执行用于帧内预测的并行解码处理。由此，在根据图1所示的实施例1的视频解码处理装置1中，第一视频处理单元20(CE00)和第二视频处理单元21(CE01)正好对逆量化单元201、逆变换单元202、运动补偿单元205和滤波器单元208的各个处理执行上述两划分并行处理。<<并行解码处理的定时>>

图7是示例第一视频处理单元20(CE00)和第二视频处理单元21(CE01)使用帧内预测，对图6中所示的64个小编码单元CU0、CU1、CU2、…、和CU63的信息分别执行并行解码处理的定时的图。

与图6所示的第一定时T0完全相同的方式，在图7所示的第一定时T0，与由第一视频处理单元20(CE00)顺序解码处理第一和第二编码单元CU0和CU1并行，由第二视频处理单元21(CE01)执行两次无操作(NOP)。

图7所示的两次无操作(NOP)的区域对应于非专利文献3中所述的LCU的并行处理所需的斜波前。

在第一定时T0，通过第一视频处理单元20(CE00)，使用第二编码单元CU1的帧内预测的解码处理结果被用于在第二定时T1，通过第二视频处理单元21(CE01)，使用第五编码单元CU4的帧内预测的解码处理。即，在第一定时T0，通过第一视频处理单元20(CE00)，使用第二编码单元CU1的帧内预测的解码处理结果被从第一视频处理单元20(CE00)经图1所示的单元间信号总线41，供应到第二视频处理单元21(CE01)。此外，在第二定时T1，通过第一视频处理单元20(CE00)，使用第三编码单元CU2的帧内预测的解码处理结果被用于在第五定时T4，通过第二视频处理单元21(CE01)，使用第十七编码单元CU16的帧内预测的解码处理。即，在第二定时T1，通过第一视频处理单元20(CE00)，使用第三编码单元CU2的帧内预测的解码处理结果被从第一视频处理单元20(CE00)经图1所示的单元间信号总线41，供应到第二视频处理单元21(CE01)。此外，在第五定时T4，通过第二视频处理单元21(CE01)，使用第十七编码单元CU16的帧内预测的解码处理结果被用于在第六定时T5，通过第一视频处理单元20(CE00)，使用第十九编码单元CU18的帧内预测的解码处理。即，在第五定时T4，通过第二视频处理单元21(CE01)，使用第十七编码单元CU16的帧内预测的解码处理结果被从第二视频处理单元21(CE01)经图1所示的单元间信号总线41，供应到第一视频处理单元20(CE00)。另外，在第九定时T8，通过第二视频处理单元21(CE01)，使用第三十三编码单元CU32的帧内预测的解码处理结果被用于在第十定时T9，通过第一视频处理单元20(CE00)，使用第三十五编码单元CU34的帧内预测的解码处理。即，在第九定时T8，通过第二视频处理单元21(CE01)，使用第三十三编码单元CU32的帧内预测的解码处理结果被从第二视频处理单元21(CE01)经图1所示的单元间信号总线41，供应到第一视频处理单元20(CE00)。此外，在第十定时T9，通过第一视频处理单元20(CE00)，使用第三十五编码单元CU34的帧内预测的解码处理结果被用于在第十三定时T12，通过第二视频处理单元21(CE01)，使用第四十九编码单元CU48的帧内预测的解码处理。即，在第十定时T9，通过第一视频处理单元20(CE00)，使用第三十五编码单元CU34的帧内预测的解码处理结果被从第一视频处理单元20(CE00)经图1所示的单元间信号总线41，供应到第二视频处理单元21(CE01)。此外，在第十三定时T12，通过第二视频处理单元21(CE01)，使用第四十九编码单元CU48的帧内预测的解码处理结果被用于在第十四定时T13，通过第一视频处理单元20(CE00)，使用第五十一编码单元CU50的帧内预测的解码处理。即，在第十三定时T12，通过第二视频处理单元21(CE01)，使用第四十九编码单元CU48的帧内预测的解码处理结果被从第二视频处理单元21(CE01)经图1所示的单元间信号总线41，供应到第一视频处理单元20(CE00)

由于从图7所示的第二至第十六定时T1至T15的其他操作与图6所示的第二至第十六定时T1至T15的操作类似，将省略它们的描述。

在图7所示的第十七定时T16，与第一视频处理单元20(CE00)顺序地解码处理第六十三和第六十四编码单元CU62和CU63并行，由第二视频处理单元21(CE01)执行两次操作(OPE)。由第二视频处理单元21(CE01)执行两次操作用来顺序地解码处理位于在图9所示的液晶显示装置的第一行/第二列中布置的最大编码单元LCU01内的第一和第二编码单元CU0和CU1。

图2所示的第一视频处理单元20(CE00)和第二视频处理单元21(CE01)以这种方式对图9所示的液晶显示装置的第一行中横向布置的64个最大编码单元LCU00、LCU01、LCU02、…、和LCU063的内部信息执行并行解码处理。

<<8个视频处理单元的并行解码处理>>

图8是示出通过图1中示出的8个视频处理单元20、21、22、23、…、和27，对对应于四行的最大编码单元LCU的内部信息执行并行解码处理的方式的图。

尽管图8所示的、由8个视频处理单元20、21、22、23、…、和27，对应于四行的最大编码单元LCU的内部信息的并行解码处理与图5所示的并行解码处理类似，但两者的区别如下：

正好在图8结束时，以与图7的第十七定时T16完全相同的方式，与由第一视频处理单元20(CE00)顺序地解码处理第六十三和第六十四CU62和CU63并行，第二视频处理单元21(CE01)执行两次操作(OPE)。由第二视频处理单元21(CE01)执行的两次操作(OPE)用来顺序地解码处理位于图9所示的液晶显示装置的第一行/第二列中布置的最大编码单元LCU01内的第一和第二编码单元CU0和CU1。

尽管在各个实施例的基础上，具体地描述了本发明人所做的发明，但本发明不限于这些实施例。不必说，在不背离其精神的范围内，能做出各种改变。

例如，本视频解码处理装置不仅仅限于符合H.265/HEVC标准的编码比特流BS的解码处理。

即，本视频解码处理装置也能适用于基于除将具有64像素×64像素的最大尺寸的最大编码单元(LCU)作为处理单位的H.265/HEVC标准外，将具有大于64像素×64像素的最大尺寸的最大编码单元(LCU)作为处理单位的、未来出现的标准的编码比特流BS的解码处理。

此外，本视频解码处理装置还能适用于基于将具有例如小于64像素×64像素的最大尺寸的32像素×32像素的尺寸的最大编码单元(LCU)作为处理单位的H.265/HEVC标准编码的编码比特流BS的解码处理。

在图3和4所示的例子中，第一视频处理单元20(CE00)和第二视频处理单元21(CE01)已经将从一个最大编码单元LCU00划分的16个小编码单元CU0、CU1、CU2、…、和CU15划分成两部分来执行使用帧内预测的并行解码处理。除此之外，第一视频处理单元20(CE00)和第二视频处理单元21(CE01)还能将从一个最大编码单元LCU00划分的四个编码单元CU0、CU1、CU2和CU3划分成两部分来执行使用帧内预测的并行解码处理。

此外，本视频解码处理装置不仅仅限于8个视频处理单元20、21、22、23、…、和27中的两个视频处理单元使用帧内预测，对位于一行中的最大编码单元(LCU)内的多个小编码单元的信息执行并行解码处理的事实。即，两个视频处理单元也能使用帧间预测，对位于一行中的最大编码单元(LCU)中的多个小编码单元的信息，执行并行解码处理。在帧间预测的情况下，将与包括针对解码处理的最大编码单元(LCU)的帧不同的帧选择为参考帧。

此外，本视频解码处理装置还能仅使用图1所示的两个视频处理单元20和21，处理在具有4096像素×2048像素的显示屏的短边上纵向布置的32个最大编码单元(LCU)。即，也可以关于帧内预测，仅使用两个视频处理单元20和21，对位于对应于32行的每一个的最大编码单元(LCU)内的多个小编码单元的信息执行并行解码处理。

Claims (20)

1.一种视频解码处理装置，包括：

解析电路，所述解析电路被配置成：

接收包括形成图片的多个最大编码单元的每个最大编码单元的信息的编码比特流，所述最大编码单元每个都具有预定像素大小；

在所述最大编码单元等级执行所述编码比特流的语法的熵解码，由此将每个最大编码单元划分为较小编码单元；和

通过将所述多个最大编码单元的第一最大编码单元划分为多个较小编码单元，从所述第一最大编码单元生成第一中间流和第二中间流，所述第一中间流包括在所述第一最大编码单元的第一行中布置的所述多个较小编码单元中的一个或多个，并且第二中间流包括在所述第一最大编码单元的第二行中布置的所述多个较小编码单元中的一个或多个；以及

第一视频处理单元和第二视频处理单元，所述第一视频处理单元和第二视频处理单元被配置成分别从所述解析电路接收所述第一和第二中间流，并且并行地对所述第一和第二中间流执行解码处理。

2.根据权利要求1所述的视频解码处理装置，

其中，所述第一视频处理单元和所述第二视频处理单元分别具有帧内预测的功能和帧间预测的功能，并且

其中，所述第一视频处理单元和所述第二视频处理单元关于所述帧内预测和所述帧间预测的至少任何一个，对所述第一中间流和所述第二中间流执行并行解码处理。

3.根据权利要求2所述的视频解码处理装置，进一步包括耦接在所述第一视频处理单元和所述第二视频处理单元之间的第一信号路径，

其中，通过所述第一视频处理单元和所述第二视频处理单元的任何一个使用所述帧内预测的解码处理结果，能够通过所述第一信号路径被供应到所述第一视频处理单元和所述第二视频处理单元中的另一个。

4.根据权利要求3所述的视频解码处理装置，

其中，在执行所述并行解码处理时，在所述第一视频处理单元处理包括在所述第一中间流中的第一较小编码单元的定时，所述第二视频处理单元执行无操作。

5.根据权利要求4所述的视频解码处理装置，

其中，所述解析电路将所述第一最大编码单元划分成至少四个较小编码单元，由此生成所述第一中间流和所述第二中间流。

6.根据权利要求5所述的视频解码处理装置，

其中，所述第一视频处理单元和所述第二视频处理单元分别具有逆量化的功能、逆变换的功能和运动补偿的功能。

7.根据权利要求6所述的视频解码处理装置，

其中，所述第一视频处理单元和所述第二视频处理单元关于所述逆量化和所述逆变换，执行所述第一中间流和所述第二中间流的所述并行解码处理。

8.根据权利要求6所述的视频解码处理装置，

其中，所述第一视频处理单元和所述第二视频处理单元关于所述运动补偿，执行所述第一中间流和所述第二中间流的所述并行解码处理。

9.根据权利要求6所述的视频解码处理装置，

其中，进一步包括视频构造单元，所述视频构造单元具有第一输入端子和第二输入端子，所述第一输入端子和所述第二输入端子分别被供应有所述第一视频处理单元的处理结果和所述第二视频处理单元的处理结果，

其中，由所述视频构造单元的输出端子生成能够供应到显示装置的解码图像。

10.根据权利要求5所述的视频解码处理装置，进一步包括第三视频处理单元和第四视频处理单元，

其中，所述解析电路进一步从不同于所述第一最大编码单元的第二最大编码单元，生成能够并行处理的第三中间流和第四中间流，并且

其中，所述第三视频处理单元和所述第四视频处理单元并行处理由所述解析电路生成的所述第三中间流和所述第四中间流。

11.根据权利要求10所述的视频解码处理装置，

其中，所述第一最大编码单元和所述第二最大编码单元分别对应于在显示装置的一行中布置的显示信息和在所述一行的下一行中布置的另一显示信息。

12.根据权利要求11所述的视频解码处理装置，进一步包括耦接在所述第三视频处理单元和所述第四视频处理单元之间的第二信号路径，

其中，通过所述第三视频处理单元和所述第四视频处理单元的任何一个使用所述帧内预测的解码处理结果能通过所述第二信号路径被供应到所述第三视频处理单元和所述第四视频处理单元的另一个。

13.根据权利要求12所述的视频解码处理装置，

其中，在所述定时，所述第三视频处理单元处理包括在所述第三中间流中的第一较小编码单元，并且所述第二视频处理单元执行无操作。

14.根据权利要求9所述的视频解码处理装置，

其中，所述解析电路、所述视频构造单元，以及分别具有所述帧内预测的功能、所述逆量化的功能和所述逆变换及所述运动补偿的功能的所述第一视频处理单元和所述第二视频处理单元，被集成在半导体集成电路的半导体芯片中。

15.根据权利要求6所述的视频解码处理装置，

其中，所述解析电路执行包括基于H.265/HEVC标准的所述最大编码单元的信息的所述编码比特流的所述语法的熵解码。

16.根据权利要求15所述的视频解码处理装置，

其中，所述最大编码单元具有按所述H.265/HEVC标准的64像素×64像素的最大大小。

17.一种解码编码比特流的方法，所述方法包括：

将所述编码比特流供应到解析电路的输入端子，所述编码比特流包括形成图片的多个编码单元的每个最大编码单元的信息，所述最大编码单元每个都具有预定像素大小，

通过所述解析电路，在所述最大编码单元等级对所述编码比特流的语法执行熵解码，由此将所述最大编码单元划分为较小编码单元，并生成能够并行处理的中间流，所述生成包括通过将多个最大编码单元的第一最大编码单元划分为多个较小编码单元，从所述第一最大编码单元生成第一中间流和第二中间流，所述第一中间流包括在所述第一最大编码单元的第一行中布置的所述多个较小编码单元中的一个或多个，并且第二中间流包括在所述第一最大编码单元的第二行中布置的所述多个较小编码单元中的一个或多个，并且

通过并行地通过第一视频处理单元处理所述第一中间流和通过第二视频处理单元处理所述第二中间流，对所述第一中间流和所述第二中间流执行并行处理。

18.根据权利要求17所述的方法，

其中，所述第一视频处理单元和所述第二视频处理单元分别具有帧内预测的功能和帧间预测的功能，并且

其中，所述第一视频处理单元和所述第二视频处理单元关于所述帧内预测和所述帧间预测的至少任何一个，对所述第一中间流和所述第二中间流执行并行解码处理。

19.根据权利要求18所述的方法，

其中，所述视频解码处理装置进一步包括耦接到所述第一视频处理单元和所述第二视频处理单元之间的第一信号路径，并且

其中，通过所述第一视频处理单元和所述第二视频处理单元的任何一个使用所述帧内预测的解码处理结果，能够通过所述第一信号路径被供应到所述第一视频处理单元和所述第二视频处理单元中的另一个。

20.根据权利要求19所述的方法，

其中，在执行所述并行解码处理时，在所述第一视频处理单元处理包括在所述第一中间流中的第一较小编码单元的定时，所述第二视频处理单元执行无操作。