CN106464894B

CN106464894B - 视频处理方法及装置

Info

Publication number: CN106464894B
Application number: CN201480075417.2A
Authority: CN
Inventors: 金贤奎; 李相澈; 崔信赫
Original assignee: Chips and Media Inc
Current assignee: Chips and Media Inc
Priority date: 2014-02-12
Filing date: 2014-02-12
Publication date: 2019-10-18
Anticipated expiration: 2034-02-12
Also published as: KR101895296B1; KR101847899B1; US10212441B2; KR20160101041A; KR20180004186A; WO2015122549A1; CN106464894A; US20170013269A1

Abstract

本发明涉及视频处理方法，上述视频处理方法包括：在影像中央处理单元与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务的步骤；对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息的步骤；以及在多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理的步骤。

Description

视频处理方法及装置

技术领域

本发明涉及视频处理方法及装置，更详细地，涉及利用多个处理单元对视频进行处理的结构。

背景技术

随着对超高清(UHD，ultra-high density)的需求，以目前的视频压缩技术很难收容存储介质的大小及传输介质的带宽，随之，需要一种用于压缩超高清视频的新型压缩标准技术，由此，高效视频编码(HEVC，High Efficiency Video Coding)于2013年1月实现标准化。

但是，高效视频编码也可用于通过网路(internet)、第三代移动通信技术(3G)及长期演进(LET，Long Term Evolution)等网络提供的视频流，此时，不仅可通过高效视频编码对超高清级别的视频进行压缩，而且还可对全高清(FHD，Full High-Definition)或高清(HD，High Definition)级别的视频进行压缩。

如超高清电视(TV)，短期内，视频处理技术将以4K 30fps为主，但预计将以4K60fps/120fps、8K 30fps/60fps/…的速度使每秒钟处理的像素数量持续增多。

根据如上所述的应用方式，为了以具有成本效益(cost-effective)的方式应对各种分辨率、帧率等，需具有可根据应用中所需的性能、功能容易处理视频的视频译码装置。

尤其，为了实现如山所述的应用方式，目前，可提出利用多个处理单元的并行处理(parallel processing)方式的影像处理技术。在利用多个处理单元的并行处理方式中，可预想到将通过向多个处理单元分别分配所分割的比特流进行译码。

但是，在单纯使用如上所述的并行处理方式的情况下，有可能发生导致多个处理单元之间的处理量不不均衡的情况。并且，因如上所述的处理量不均衡的情况而有可能导致带宽效率降低，而且，在硬件方面也将发生对硬件不利的情况。

尤其，在一个图像中存在尺寸互不相同的译码单位(例如，片(tile)或切片(slice))的情况下，对向各个处理单元分配的片或切片的译码时间可相异。因此，即使执行基于利用多个处理单元的多译码，也因各个处理单元的处理时间各异，从而，不仅很难使整体译码时间实现同步以及很难预测实现同步的时间，而且还有可能导致时间非效率性地增长。

另一方面，为了实现基于利用多个单元的并行译码，可提出波前并行处理(WPP，Wavefront Parallel Proceccing)方式的编码及译码方法。但是，在近期新兴的高效视频编码标准方式中，在结构方面，当执行译码时，只有在比特流的头部信息标明波前并行处理形式，才可在执行译码时用多个处理单元执行并行译码，因而存在适用范围有限的问题。

并且，根据普通的波前并行处理方式，不仅存在之前所说明的不均衡等的问题，而且还存在对各个处理单元的处理顺序(ordering)分配方面的问题。通常，为了使影像正常再生，输出将按图像单位同步化，由此可执行按图像单位同步化的解码。因此，将产生一部分处理单元为了实现同步化而等待的时间。由此，会发生同步化过程中延迟(latency)增加或者整体解码时间变长的问题。

发明内容

技术问题

本发明根据上述必要性提出，本发明涉及具有多核(Multi core)结构的影像处理单元(VPU，Video Processing Unit)的视频处理装置及方法。

技术方案

用于实现上述目的的本发明一实施例的视频处理装置为对视频进行处理的装置，上述视频处理装置的特征在于，可包括：影像中央处理单元，与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务；预扫描模块，对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息；以及多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理。

另一方面，根据用于实现上述目的的本发明的一实施例，在对视频进行处理的方法可包括：在影像中央处理单元与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务的步骤；对根据上述影像中央处理单元的控制从上述主机输入的视频比特流进行预扫描，从而生成预扫描信息的步骤；以及在多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理的步骤。

另一方面，上述视频处理方法可通过计算机可读记录介质体现，上述计算机可读记录介质记录有可在计算机执行上述视频处理方法的程序。

有益效果

根据本发明的实施例，基于通过预扫描模块生成的预扫描信息，即使以与比特流的结构无关的方式按规定段单位进行分割并分配，也可使多个处理单元不间断(seamless)执行并行处理。

尤其，可在预扫描模块抽取及存储用于通过对比特流进行扫描，使各个核连续执行熵解码的必要的最少信息。

由此，可消除多个处理单元之间的处理量不均衡，并可抑制因处理量不均衡而导致的带宽效率降低。

并且，可在影像中央处理单元通过利用各个处理单元可执行基于利用预扫描信息的不间断并行处理这一点，可更加有效地排列比特流处理顺序，并可缩短译码时间。

而且，可在影像中央处理单元以与各个处理单元相对应的方式生成适当的任务并进行分配，非同步控制基于开始处理各个图像的预扫描、重新排列及基于译码的完成处理时间，由此，不仅可提高比特流处理率，而且可减少数据的开销，并可较少延迟。

并且，通过近期新兴的波前并行处理方式，还可在未被编码的流中进行基于利用波前并行处理方式的多个处理单元的多核译码，从而可提高译码器兼容性。

附图说明

图1为示出视频编码装置的结构的框图。

图2为用于说明以块单元分割影像并进行处理的方法的一例的图。

图3为示出在编码装置中执行帧间预测的结构的一实施例的框图。

图4为示出本发明一实施例的视频译码装置的结构的框图。

图5为示出在译码装置中执行帧间预测的结构的一实施例的框图。

图6及图7为示出序列参数集(SPS，Sequence Parameter Set)的结构的一例的图。

图8及图9为示出图像参数集(PPS，Picture Parameter Set)的结构的一例的图。

图10至图12为切片头部(SH，Slice Header)的结构的一例的图。

图13为示出本发明一实施例的视频译码装置的层状结构(layer structure)的图。

图14为示出本发明一实施例的影像中央处理单元的视频译码工作的时序图。

图15为用于说明本发明一实施例的预扫描模块的框图。

图16为用于说明根据本发明一实施例的预扫描模块进行预扫描的信息的框图。

图17为用于说明本发明一实施例的预扫描模块的工作的流程图。

图18至图21为用于说明借助本发明实施例的预扫描模块的工作而生成的预扫描信息的图。

具体实施方式

以下，参照附图，详细说明本发明的实施例，使本发明所属技术领域的普通技术人员容易实施本发明。但是，本发明可体现为多种不同形态，本发明并不局限于在本说明书中所进行说明的实施例。而且，为了明确地说明本发明，在附图中省略与本发明的说明无关的部分，在说明书全文中，对类似的部分赋予类似的附图标记。

在本发明的说明书全文中，当一个部分与另一部分“相连接”时，不仅包括一个部分与另一部分“直接连接”的情况，而且还包括在两个部分之间设置其他元件使两个部分“间接连接”的情况。

在本发明的说明书全文中，当一个部件位于另一部件“上”时，不仅包括一个部件与另一部件相接触的情况，而且还包括在两个部件之间存在其他部件的情况。

在本发明的说明书全文中，当一个部分“包括”另一结构要素时，只要没有特别相反的记载，则意味着还可包括其他结构要素，而不是意味着排除其他结构要素。对于在本发明的说明书全文中所使用的术语“约”、“实际上”等，当提出固有的制作误差及物质允许误差时，“约”、“实际上”等术语表示该数值或接近该数值，上述术语用于防止不法分子不正当地利用为了便于理解本发明而提出准确或绝对数值的公开内容。在本发明的说明书全文中所使用的术语“～(的)步骤”或“～的步骤”并不意味着“用于～的步骤”。

在本发明的说明书全文中，排列式表达中所包括的“它们的组合”这一用语意味着选自由在排列式表达中所记载的结构要素组成的组中的一种以上结构要素的混合或组合，“它们的组合”意味着包括选自由上述结构要素组成的组中的一种以上结构要素。

作为对实际影像和上述影像的深度信息地图进行编码的方法的一例，可利用在至今开发的视频编码标准中具有最高编码效率的在移动图象专家组(MPEG，Moving PictureExperts Group)和视频编码专家组(VCEG，Video Coding Experts Group)中共同实现标准化的高效视频编码执行编码，但并不局限于此。

通常，编码装置包括编码过程和解码过程，译码装置包括解码过程。译码装置的解码过程与编码装置的解码过程相同。因此，以下，以编码装置为主进行说明。

图1为示出视频编码装置的结构的框图。

参照图1，视频编码装置100包括图像分割部110、变换部120、量化部130、扫描部131、熵编码部140、帧内预测部150、帧间预测部160、反量化部135、反变换部125、后处理部170、图像存储部180、减法部190及加法部195。

图像分割部110通过分析所输入的视频信号，将图像中的每个编码树单元(CTU，Coding Tree Unit)分割成规定大小的编码单元，确定预测模式，并按照上述编码单元确定预测单元的大小。

而且，图像分割部110根据预测模式(或预测方法)，向帧内预测部150或帧间预测部160传输所要进行编码的预测单元。并且，图像分割部110向减法部190传输所要编码的预测单元。

图像可由多个切片构成，切片可由多个编码树单元构成。

上述编码树单元可被分割为多个编码单元(CU)，编码器可在比特流添加用于表示最大编码单元是否被分割的信息(flag)。译码器可利用地址(CtuAddr)识别编码树单元的位置。

在未被允许分割的情况下的编码单元被视为预测单元(PU，Prediction unit)，译码器可利用预测单元索引识别预测单元的位置。

预测单元可被分为多个分区。并且，预测单元可由多个变换单元(TU，Transformunit)构成。

在此情况下，图像分割部110可按基于所确定的编码模式的规定大小的块单元(例如，预测单元或转换单元)向减法部190传输影像数据。

参照图2，视频编码单元使用编码树单元(CTU，Coding Tree Unit)，此时，编码树单元呈多种正方形形状。编码树单元包括编码单元(CU，Coding Unit)。

编码单元呈四叉树(Quad Tree)形状，在编码单元为大小为64×64的最大编码单元时，将编码单元的深度(Depth)设定为0，从而直到编码单元的深度达到3为止，即，直到编码单元为8×8大小的编码单元为止，以递归(Recursive)的方式查找最优的预测单元并执行编码。

执行预测的预测单元被定义为预测单元，各个编码单元按被分割为多个块的块单元执行预测，并分为正方形和矩形形态执行预测。

变换部120对作为所输入的预测单元的初始块与在帧内预测部150或在帧间预测部160所生成的预测块之间的残差信号的残差块进行变换。上述残差块由编码单元或预测单元构成。由编码单元或预测单元构成的残差块被分割为最优的变换单元并被变换。可根据预测模块(intra or inter)确定互不相同的变换矩阵。并且，帧内预测的残差信号可根据帧内预测模式具有方向性，因此，可根据帧内预测模式自适应地确定变换矩阵。

变换单元可借助两个(水平、垂直)一维变换矩阵变换。例如，在帧间预测的情况下，确定预先确定的一个变换矩阵。

相反，在帧内预测的情况下，因在帧内预测模式为水平的情况下，残差块具有向垂直方向的方向性的概率变高，因此，向垂直方向适用基于离散余弦变换(DCT)的常数矩阵，向水平方向适用基于离散正弦变换(DST)或基于卡洛变换(KLT)的常数矩阵。在帧内预测模式为垂直的情况下，向垂直方向适用基于离散正弦变换或基于卡洛变换的常数矩阵，向水平方向适用基于离散余弦变换的常数矩阵。

在双通道(DC)模式的情况下，向水平方向和垂直方向均适用基于离散余弦变换的常数矩阵。并且，在帧内预测的情况下，可基于变换单元的大小，自适应地确定变换矩阵。

量化部130确定用于对借助上述变换矩阵变换的残差块的系数进行量化的量化步长尺寸。按照预先确定的大小以上的编码单元(以下，称之为量化单元)确定量化步长尺寸。

上述预先确定的大小可以为8×8或16×16。而且，利用根据所确定的量化步长尺寸及预测模式确定的量化矩阵，对上述变换块的系数进行量化。

量化部130为预测当前量化单元的量化步长尺寸预测单元，上述量化部130利用与当前量化单元相邻的量化单元的量化步长尺寸。

量化部130可按照当前量化单元的左侧量化单元、上侧量化单元、左上侧量化单元的顺序进行搜索，从而利用一个或两个有效量化步长尺寸，生成当前量化单元的量化步长尺寸预测器。

例如，可将按上述顺序搜索的有效的第一个量化步长尺寸确定为量化步长尺寸预测器。并且，也可将按上述顺序搜索的有效的两个量化步长尺寸的平均值确定为量化步长尺寸预测器，在仅有一个有效的量化步长尺寸的情况下，可将上述一个量化步长尺寸确定为量化步长尺寸预测器。

若确定上述量化步长尺寸预测器，则向熵编码部140传输当前编码单元的量化步长尺寸与上述量化步长尺寸预测器之间的差分值。

另一方面，有可能当前编码单元的左侧编码单元、上侧编码单元、左上侧编码单元均不存在。相反，可存在在最大编码单元内的编码顺序上属之前存在的编码单元。

因此，在与当前编码单元相邻的量化单元内和上述最大编码单元内，编码顺序上的之前一个量化单元的量化步长尺寸可以成为候选者。

在此情况下，可将以下顺序作为优先顺序，即，可将1)当前编码单元的左侧量化单元、2)当前编码单元的上侧量化单元、3)当前编码单元的左上侧量化单元、4)编码顺序上的之前一个量化单元的顺序作为优先顺序。上述顺序可以更换，也可省略上述左上侧量化单元。

向反量化部135和扫描部131提供量化的上述变换块。

扫描部131扫描量化的变换块的系数，将上述系数变换成一维量化系数。因量化后的变换块的系数分布可依赖于帧内预测模式，从而根据帧内预测模式确定扫描方式。

并且，可根据变换单元的大小，使所确定的系数扫描方式各不相同。上述扫描图案可根据帧内预测模式而不同。量化系数的扫描顺序为反方向。

在量化的上述系数被分割为多个子集的情况下，相同扫描图案适用于各个子集内的量化系数。子集间的扫描图案适用“Z”字形扫描方式或对角线扫描方式。优选地，扫描图案可采用从包括双通道的主要子集沿着正向朝向剩余子集扫描的方式，但也可沿着反向进行扫描。

并且，以与在子集内量化的系数的扫描图案相同的方式设定子集间的扫描图案。在此情况下，根据帧内预测模式确定子集间的扫描图案。另一方面，编码器向译码器传输可表示上述变换单元内的并非为0的最后一个量化系数的位置的信息。

还可向译码器传输可表示各个子集内的并非为0的最后一个量化系数的位置的信息。

反量化部135对上述量化的量化系数进行反量化。反变换部125将反量化的变换系数复原成空间区域的残差块。加法器通过合并借助上述反变换部复原的残差块和从帧内预测部150或帧间预测部160接收的预测块，生成复原块。

后处理部170执行如下过程，即，用于去除在所复原的图像中发生的块效应的去块滤波过程、用于以像素单元弥补与原始影像之间的差值的自适应补偿适用过程以及用于通过编码单元弥补与原始影像之间的差值的自适应环路滤波过程。

优选地，去块滤波过程适用于大小大于预先确定的大小的预测单元及变换单元的边界。上述大小可以为8×8。上述去块滤波过程包括：确定滤波边界(boundary)的步骤；确定适用于上述边界的边界滤波强度(bounary filtering strength)的步骤；确定是否适用去块滤波器的步骤；以及在确定适用上述去块滤波器的情况下，选择适用于上述边界的滤波器的步骤。

通过i)上述边界滤波强度是否大于0，以及ii)用于表示像素值在与所要进行滤波的上述边界相邻的两个块(P块、Q块)的边界部分的变化程度的值是否小于借助量化参数确定的第一基准值等条件来确定是否适用上述去块滤波器。

优选地，具有两个以上的上述滤波器。在位于块边界的两个像素之间的差值的绝对值大于或等于第二基准值的情况下，选择所执行的滤波强度相对较弱的滤波器。

根据上述量化参数及上述边界滤波强度确定上述第二基准值。

自适应补偿适用过程用于减小适用去块滤波器的影像内的像素和原始像素之间的差值(distortion)。可通过图像或切片单位确定是否执行上述自适应补偿适用过程。

图像或切片可被分割为多个补偿区域，并可按照各个补偿区域确定补偿类型。补偿类型可包括数量被预先确定的(例如，四个)边缘补偿型和两个带补偿型。

在补偿类型为边缘补偿型的情况下，确定各个像素所属的边缘类型，从而使用与上述边缘补偿型相对应的补偿。以与当前像素相邻的两个像素值的分布为基准，确定上述边缘类型。

自适应环路滤波过程可基于对经过去块滤波过程或自适应补偿适用过程的复原的影像和原始影像进行比较的值执行滤波。在自适应环路滤波中，所确定的上述自适应环路滤波(ALF)可适用于4×4大小或8×8大小的块所包括的所有像素。

可按照编码单元确定是否适用自适应环路滤波器。所要根据各个编码单元适用的环路滤波器的大小及系数可变化。表示各个编码单元的上述自适应环路滤波器的适用与否的信息可包含在各个切片头部。

以色差信号为例，可按图像单位确定是否使用自适应环路滤波器。与亮度不同，环路滤波器的形态可呈矩形形态。

可按切片确定是否使用自适应环路滤波。因此，表示当前切片是否适用自适应环路滤波的信息包含在切片头部或图像头部。

若自适应环路滤波适用于当前切片，则切片头部或图像头部追加包含用于表示在自适应环路滤波过程中所使用的亮度成分的水平方向和/或垂直方向的滤波器长度的信息。

切片头部或图像头部可包含表示滤波器组数的信息。此时，若滤波器组的数量为2以上，则可使用预测方法对滤波器系数进行编码。因此，切片头部或图像头部可包含表示是否通过预测方法对滤波器系数进行编码的信息，在使用预测方法的情况下，上述切片头部或图像头部包含所预测的滤波器系数。

另一方面，不仅可对亮度执行自适应滤波，而且还可对色差成分执行自适应滤波。因此，切片头部或图像头部可包含表示各个色差成分是否被滤波的信息。在此情况下，为了减少比特数，可对表示是否对Cr和Cb进行滤波的信息进行联合编码(即，多路传输编码)。

此时，以色差成分为例，为了减少复杂程度，对Cr和Cb均未进行滤波的情况最为频繁的可能性高，因此，在对Cr和Cb均未进行滤波的情况下，分配最小的索引来执行熵编码。

而且，在对Cr及Cb均进行滤波的情况下，分配最大的索引来执行熵编码。

图像存储部180从后处理部170接收经过后处理的影像数据，以图像(picture)单位对影像数据进行复原并存储。图像可以为以帧为单位的影像或以字段为单位的影像。图像存储部180具有可存储多个图像的缓冲器(未图示)。

帧间预测部160利用存储于上述图像存储部180的至少一种以上的参照图像执行移动推测，并确定表示参照图像的参照图像索引及移动向量。

而且，根据所确定的参照图像索引及移动向量，在存储于图像存储部180的多个参照图像中，从用于执行移动推测的参照图像中抽取并输出与所要编码的预测单元相对应的预测块。

帧内预测部150利用当前预测单元所包含的图像内部的重组的像素值来执行帧内预测编码。

帧内预测部150接收所要预测编码的当前预测单元，并根据当前块的大小，选择数量被预先设定的帧内预测模式中的一种来执行帧内预测。

帧内预测部150为了生成帧内预测块而对参照像素进行自适应滤波。在参照像素不可用的情况下，利用可用的参照像素生成参照像素。

熵编码部140对借助量化部130量化的量化系数、从帧内预测部150接收的帧内预测信息、从帧间预测部160接收的移动信息等进行熵编码。

图3为示出在编码装置中执行帧间预测的结构的一实施例的框图，图中所示的帧间预测编码装置可包括移动信息确定部161、移动信息编码模式确定部162、移动信息编码部163、预测块生成部164、残差块生成部165、残差块编码部166及复用器167。

参照图3，移动信息确定部161确定当前块的移动信息。移动信息包含参照图像索引和移动向量。参照图像索引表示之前被编码并复原的图像中的一个。

在当前块被单向帧间预测编码的情况下，参照图像索引表示属于列表0(L0)的参照图像中的一个。相反，在当前块被双向预测编码的情况下，参照图像索引可包括表示列表0(L0)的参照图像中的一个的参照图像索引和表示列表1(L1)的参照图像中的一个的参照图像索引。

并且，在当前块被双向预测编码的情况下，参照图像索引可包括表示通过结合列表0和列表1而生成的复合列表(LC)的参照图像中的一个或两个图像的索引。

移动向量表示各个参照图像索引所表示的图像内的预测块的位置。移动向量可采用像素单位(常数单位)，但也可采用子像素单位。

例如，像素单位可具有1/2像素、1/4像素、1/8像素或1/16像素的分辨率。在移动向量并非以常数为单位的情况下，预测块从常数单位的像素中生成。

移动信息编码模式确定部162确定采用跳过模式对当前块的移动信息进行编码还是采用合并模式对当前块的移动信息进行编码，或是采用高级运动向量预测(AMVP)模式对当前块的移动信息进行编码。

跳过模式适用于存在具有与当前块的移动信息相同的移动信息的跳过候选者，且残差信号为0的情况。并且，跳过模式适用于当前块的尺寸与编码单元的尺寸相同的情况。当前块可被视作预测单元。

合并模式适用于存在具有与当前块的移动信息相同的移动信息的合并候选者的情况。在当前块的尺寸和编码单元的尺寸相异或相同的情况下，合并模式适用于存在残差信号的情况。合并候选者和跳过候选者可相同。

在不适用跳过模式及合并模式的情况下，适用高级运动向量预测模式。将具有与当前块的移动向量最为类似的移动向量的高级运动向量预测候选者选为高级运动向量预测预测器。

根据移动信息编码模式确定部162所确定的方式，移动信息编码部163对移动信息进行编码。在移动信息编码模式为跳过模式或合并模式的情况下，执行合并移动向量编码过程。在移动信息编码模式为高级运动向量预测的情况下，执行高级运动向量预测编码过程。

预测块生成部164利用当前块的移动信息生成预测块。在移动向量以常数为单位的情况下，通过复制与参照图像索引所表示的图像内的移动向量所表示的位置相对应的块来生成当前块的预测块。

但是，在移动向量并非以常数为单位的情况下，从参照图像索引所表示的图像内的常数单位像素生成预测块的像素。

在此情况下，以亮度像素为例，可使用8抽头内插滤波器生成预测像素。以色差像素为例，可使用4抽头内插滤波器生成预测像素。

残差块生成部165利用当前块和当前块的预测块生成残差块。在当前块的大小为2N×2N的情况下，利用当前块和与当前块相对应的大小为2N×2N的预测块生成残差块。

但是，在用于预测的当前块的大小为2N×N或N×2N的情况下，可在求得构成2N×2N大小的两个2N×N块的各自的预测块之后，利用两个2N×N大小的上述预测块生成2N×2N大小的最终预测块。

而且，可利用上述2N×2N大小的预测块生成2N×2N大小的残差块。为了解除2N×N大小的两个预测块的边界部分的间断性，可对边界部分的像素进行重叠平滑。

残差块编码部166将所生成的残差块分为一个以上的变换单元。而且，对各个变换单元进行变换编码、量化及熵编码。此时，可根据残差块的大小，通过四叉树方式确定变换单元的大小。

残差块编码部166利用基于常数的变换矩阵对通过帧间预测方法生成的残差块进行变换。上述变换矩阵为基于常数的离散余弦变换矩阵。

为了对借助上述变换矩阵变换的残差块的系数进行量化，残差块编码部166利用量化矩阵。根据量化参数确定上述量化矩阵。

按照预先确定的大小以上的编码单元确定上述量化参数。上述预先确定的大小可以为8×8或16×16。因此，在当前编码单元的大小小于上述预先确定的大小的情况下，在上述预先确定的大小内的多个编码单元中，仅对在编码顺序上的第一个编码单元的量化参数进行编码，因剩余编码单元的量化参数与上述参数相同，因而无需进行编码。

而且，利用根据所确定的量化参数及预测模式确定的量化矩阵，对上述变换块的系数进行量化。

利用与当前编码单元相邻的编码单元的量化参数对按照上述预先确定的大小以上的编码单元所确定的量化参数进行预测编码。按照当前编码单元的左侧编码单元、上侧编码单元的顺序进行搜索，从而可利用有效的一个或两个有效量化参数生成当前编码单元的量化参数预测器。

例如，可将按上述顺序搜索的有效的第一个量化参数确定为量化参数预测器。并且，按照左侧编码单元、在编码顺序上的之前一个编码单元的顺序进行搜索，从而可将有效的第一个量化参数确定为量化参数预测器。

对量化的变换块的系数进行扫描，使量化的变换块的系数变换为一维量化系数。扫描方式可根据变换单元大小和帧内预测方法而不同。

例如，可向对角线方向扫描系数，在变换单元的大小为4×4的帧内块的情况下，可根据帧内预测方向发生改变。在帧内预测方向接近于垂直的情况下，可以向水平方向对变换单元的大小为4×4的帧内块进行扫描，在帧内预测方向接近于水平的情况下，可以向垂直方向对变换单元的大小为4×4的帧内块进行扫描。

并且，还可以根据熵编码模式设置不同的系数。例如，当以自适应二进制算术编码(CABAC，Context-based Adaptive Binary Arithmetic Coding)模式进行编码时，还可以通过预先设置的一种方式(“Z”字形扫描或者向对角线方向的光栅扫描)对被帧间预测编码的量化系数进行扫描。相反，当以基于上下文的自适应可变长编码(CAVLC，ContextAdaptive Variable Length Coding)模式进行编码时，还可以通过与上述方式不同的方式进行扫描。

例如，在帧间，扫描方式为“Z”字形扫描，在帧内，可根据帧内预测模式确定扫描方式。并且，还可根据变换单元的大小确定系数扫描方式。

上述扫描图案可根据帧内预测模式而不同。量化系数的扫描顺序为反方向。

复用器167对借助上述移动信息编码部163编码的移动信息和借助上述残差块编码部编码的残差信号实现复用。上述移动信息可根据编码模式而不同。

即，在跳过模式或合并模式的情况下，仅包括表示预测器的索引。但是，在高级运动向量预测模式的情况下，包括当前块的参照图像索引、差分移动向量及高级运动向量预测索引。

以下，详细说明帧内预测部150的工作的一实施例。

首先，借助图像分割部110接收预测模式信息及预测块的大小，预测模式信息表示帧内模式。预测块的大小可以为64×64、32×32、16×16、8×8、4×4的正方形，但并不局限于此。即，上述预测块的大小可以为非正方形。

接着，为了确定预测块的帧内预测模式，从图像存储部180读取参照图像。

检查是否存在不可用的上述参照像素，判断是否生成参照像素。上述参照像素用于确定当前块的帧内预测模式。

在当前块位于当前图像的上侧边界的情况下，与当前块的上侧相邻的像素未被定义。并且，在当前块位于当前图像的左侧边界的情况下，与当前块的左侧相邻的像素未被定义。

这种像素被判断为不可用像素。并且，由于当前块位于切片边界，因而在与切片的上侧或左侧相邻的像素被判断为并不是优先被编码并复原的像素的情况下，也被判断为不可用的像素。

如上所述，可在不存在与当前块的左侧或上侧相邻的像素的情况下，或者可在不存在预先被编码并复原的像素的情况下，仅利用可用的像素确定当前块的帧内预测模式。

但是，也可利用当前块的可用参照像素生成位于不可用的位置的参照像素。例如，在上侧块的像素不可用的情况下，可利用左侧像素的一部分或整个左侧像素生成上侧像素，反之亦然。

即，可通过复制在预先确定的方向的位置离处于不可用的位置的参照像素最近的的可用参照像素生成参照像素。若在预先确定的方向上不存在可用参照像素，则可通过复制相反方向上的位置最近的可用参照像素生成参照像素。

另一方面，也可在存在当前块的上侧像素或左侧像素的情况下，根据上述像素所属的块的编码模式确定不可用的参照像素。

例如，在与当前块的上侧相邻的参照像素所属的块为通过帧间编码复原的块的情况下，上述像素可被判断为不可用的像素。

在此情况下，可利用与当前块相邻的块属于通过帧内编码复原的块的像素生成可用的参照像素。在此情况下，需从编码器向译码器传输根据编码模式判断可用参照像素的信息。

接着，利用上述参照像素确定当前块的帧内预测模式。当前块可允许的帧内预测模式的数量可根据块的大小而不同。例如，在当前块的大小为8×8、16×16、32×32的情况下，可存在34个帧内预测模式，在当前块的大小为4×4的情况下，可存在17个帧内预测模式。

上述34个帧内预测模式或17个帧内预测模式可由一个以上的非定向模式(non-directional mode)和多个定向模式(directional modes)构成。

一个以上的非定向模式可以为双通道模式和/或平面(planar)模式。在双通道模式及平面模式为非定向模式的情况下，也可与当前块的大小无关地存在35个帧内预测模式。

此时，可包括两个非定向模式(双通道模式及平面模式)和33个定向模式。

平面模式利用位于当前块的右下侧(bottom-right)的至少一个像素值(或上述像素值的预测值，以下，称之为第一参照值)和参照像素生成当前块的预测块。

如上所述，本发明一实施例的视频译码装置的结构可从参照图1至图3说明的视频编码装置的结构导出，例如，可通过执行参照图1进行说明的编码过程的逆过程对影像进行译码。

图4为示出本发明一实施例的视频译码装置的结构的框图。

参照图4，本发明的视频译码装置包括：熵译码部210、反量化/反变换部220、加法器270、去块滤波器250、图像存储部260、帧内预测部230、移动补偿预测部240及帧内/帧间转换开关280。

熵译码部210对从视频编码装置传输的编码比特流进行译码，并将编码比特流分为帧内预测模式索引、移动信息、量化系数序列等。熵译码部210像移动补偿预测部240供给经过译码的移动信息。

熵译码部210向上述帧内预测部230、反量化/反变换部220供给上述帧内预测模式索引。并且，上述熵译码部210向反量化/反变换部220供给上述反量化系数序列。

反量化/反变换部220将上述量化系数序列变换成二维排列的反量化系数。为了进行上述变换，选择多个扫描图案中的一种。基于当前块的预测模式(即，帧内预测模式及帧间预测模式中的一种)和帧内预测模式中的至少一种，选择多个扫描图案中的一种。

从帧内预测部或熵译码部接收上述帧内预测模式。

反量化/反变换部220利用选自多个量化矩阵的量化矩阵对上述二维排列的反量化系数进行量化系数复原。根据所要复原的当前块的大小，适用互不相同的量化矩阵，对于相同大小的块，也通过以上述当前块的预测模式及帧内预测模式中的至少一种为基础，选择量化矩阵。

而且，通过使上述复原的量化系数反变换，使残差块复原。

加法器270通过合并借助反量化/反变换部220复原的残差块和借助帧内预测部230或移动补偿预测部240生成的预测块，从而使影像块复原。

去块滤波器250对借助加法器270生成的复原影像执行去块滤波处理。由此，可减少基于量化过程的影像损失所导致的去块伪像。

图像存储部260为维持借助去块滤波器250接受去块滤波处理的局部译码影像的帧存储器。

帧内预测部230基于从熵译码部210接收的帧内预测模式索引，复原当前块的帧内预测模式。而且，根据所复原的帧内预测模式生成预测块。

移动补偿预测部240基于移动向量信息从存储于图像存储部260的图像生成当前块的预测块。在适用精密度达到小数点位置的移动补偿的情况下，通过适用所选择的内插滤波器来生成预测块。

帧内/帧间转换转换开关280基于编码模式向加法器270提供在帧内预测部230和移动补偿预测部240中的一个生成的预测块。

图5为示出在译码装置中执行帧间预测的结构的一实施例的框图，帧间预测译码装置包括解复用器241、移动信息编码模式判断部242、合并模式移动信息译码部243、高级运动向量预测模式移动信息译码部244、预测块生成部245、残差块译码部246及复原块生成部247。

参照图5，解复用器241从所接收的比特流对当前编码的移动信息和编码的残差信号进行解复用。解复用器241向移动信息编码模式判断部242传输经过解复用的上述移动信息，并向残差块译码部246传输经过解复用的残差信号。

移动信息编码模式判断部242判断当前块的移动信息编码模式。在所接收的比特流的跳过标志(skip_flag)的值为1的情况下，移动信息编码模式判断部242判断为以跳过编码模式对当前块的移动信息编码模式进行了编码。

在所接收的比特流的跳过标志的值为0、从解复用器241接收的移动信息仅包含合并索引的情况下，移动信息编码模式判断部242判断为以合并模式对当前块的移动信息编码模式进行了编码。

在所接收的比特流的跳过标志的值为0、从解复用器241接收的移动信息包含参照图像索引、差分移动向量及高级运动向量预测索引的情况下，移动信息编码模式判断部242判断为以高级运动向量预测模式对当前块的移动信息编码模式进行了编码。

在移动信息编码模式判断部242将当前块的移动信息编码模式判断为跳过模式或合并模式的情况下，合并模式移动信息译码部243将被激活。

在移动信息编码模式判断部242将当前块的移动信息编码模式判断为高级运动向量预测模式的情况下，高级运动向量预测模式移动信息译码部244将被激活。

预测块生成部245利用借助上述合并模式移动信息译码部243或高级运动向量预测模式移动信息译码部244复原的移动信息，生成当前块的预测块。

在移动向量以常数为单位的情况下，通过复制与参照图像索引所表示的图像内的移动向量所表示的位置相对应的块来生成当前块的预测块。

但是，在移动向量并非以常数为单元的情况下，从参照图像索引所表示的图像内的常数单元像素生成预测块的像素。在此情况下，以亮度像素为例，可使用8抽头的内插滤波器生成预测像素。以色差像素为例，可使用4抽头内插滤波器生成预测像素。

残差块译码部246对残差信号进行熵译码。而且，通过反扫描经过熵译码的系数，生成二维的量化系数块。反扫描方式可根据熵译码方式而不同。

即，以基于上下文的自适应二进制算术编码为基础进行译码的情况和以基于上下文的自适应可变长编码为基础进行译码的情况的帧间预测残差信号的反扫描方式可各不相同。例如，在以基于上下文的自适应二进制算术编码为基础进行译码的情况下，可适用对角线方向的光栅反扫描方式，在以基于上下文的自适应可变长编码为基础进行译码的情况下，可使用“Z”字形反扫描方式。

并且，反扫描方式可根据预测块的大小而不同。

残差块译码部246利用反量化矩阵对所生成的系数块进行反量化。为了引导上述量化矩阵，使量化参数复原。按照预先确定的大小以上的编码单元使量化步长尺寸复原。

上述预先确定的大小可以为8×8或16×16。因此，在当前编码单元的大小小于上述预先确定的大小的情况下，在上述预先确定的大小内的多个编码单元中，仅对在编码顺序上的第一个编码单元的量化参数进行复原，因剩余编码单元的量化参数与上述参数相同，因而无需进行编码。

为了复原按照上述预先确定的大小以上的编码单位确定的量化参数，使用与当前编码单元相邻的编码单元的量化参数。可按当前编码单元的左侧编码单元、上侧编码单元的顺序进行搜索，将有效的第一个量化参数确定为当前编码单元的量化参数预测器。

并且，按左侧编码单元、编码顺序上的之前一个编码单元的顺序进行搜索，从而可将有效的第一个量化参数确定为量化参数预测器。利用所确定的上述量化参数预测器和差分量化参数复原当前预测单元的量化参数。

残差块译码部260通过反量化的上述系数块进行反变换，复原残差块。

复原块生成部270通过合并借助上述预测块生成部250生成的预测块和借助上述残差块译码部260生成的残差块生成复原块。

以下，参照图3，说明通过帧内预测复原当前块的过程。

首先，从所接收的比特流对当前块的帧内预测模式进行译码。为此，熵译码部210参照多个帧内预测模式表中的一个复原当前块的第一帧内预测模式索引。

上述多个帧内预测模式表为编码器和译码器共享的表，可适用根据与当前块相邻的多个块的帧内预测模式的分布所选择的一种表。

作为一例，若当前块的左侧块的帧内预测模式和当前块的上侧块的帧内预测模式相同，则可适用第一帧内预测模式表来复原当前块的第一帧内预测模式索引，若当前块的左侧块的帧内预测模式和当前块的上侧块的帧内预测模式不同，则可适用第二帧内预测模式表来复原当前块的第一帧内预测模式索引。

作为另一例，在当前块的上侧块和左侧块的帧内预测模式均为定向预测模式(directional intra prediction mode)的情况下，若上述上侧块的帧内预测模式的方向和上述左侧块的帧内预测模式的方向处于规定角度以内，则可适用第一帧内预测模式表来复原当前块的第一帧内预测模式索引，若上述上侧块的帧内预测模式的方向和上述左侧块的帧内预测模式的方向超出规定角度，则可适用第二帧内预测模式表来复原当前块的第一帧内预测模式索引。

熵译码部210向帧内预测部230传输复原的当前块的第一帧内预测模式索引。

在上述索引具有最小值的情况下(即，0)，接收上述第一帧内预测模式索引的帧内预测部230将当前块的最大可能模式确定为当前块的帧内预测模式。

但是，在上述索引具有0之外的值的情况下，帧内预测部230对当前块的最大可能模式所表示的索引和上述第一帧内预测模式索引进行比较。比较结果，若上述第一帧内预测模式索引不小于上述当前块的最大可能模式所表示的索引，则将与在上述第一帧内预测模式索引加上1的第二帧内预测模式索引相对应的帧内预测模式确定为当前块的帧内预测模式，若上述第一帧内预测模式索引小于上述当前块的最大可能模式所表示的索引，则将与上述第一帧内预测模式索引相对应的帧内预测模式确定为当前块的帧内预测模式。

当前块可允许的帧内预测模式可由一种以上的非定向模式和多个定向模式构成。

一个以上的非定向模式可以为双通道模式和/或平面(planar)模式。并且，在双通道模式和平面模式中的一种可自适应地存在于上述可允许的帧内预测模式集。

为此，图像头部或切片头部可包含特指上述可允许的帧内预测模式集所包括的非定向模式的信息。

接着，为了生成帧内预测块，帧内预测部230从图像存储部260读取参照像素，并判断是否存在不可用的参照像素。

可根据是否存在用于通过适用当前块的被译码的帧内预测模式来生成帧内预测块的参照像素执行上述判断。

接着，在有必要生成参照像素的情况下，帧内预测部230利用预先复原的可用的参照像素生成处于不可用的位置的参照像素。

对不可用的参照像素的定义及参照像素的生成方法与在图1的帧内预测部150中的工作相同。但是，也可根据当前块的被译码的帧内预测模式，选择性地复原用于生成帧内预测块的参照像素。

接着，为了生成预测块，帧内预测部230判断滤波器是否适用于参照像素。即，为了生成当前块的帧内预测块，帧内预测部230基于上述被译码的帧内预测模式及当前预测块的大小确定是否对参照像素进行滤波。

块的尺寸越大，块效应的问题越大，因此，块的大小越大，可增加对参照像素进行滤波的预测模式的数量。但是，在块的大小大于规定大小的情况下，可将块看成平坦的区域，从而，为了减少复杂程度而有可能不对参照像素进行滤波。

在判断上述参照像素需要适用滤波器的情况下，利用滤波器对上述参照像素进行滤波。

根据上述参照像素之间的段差的差异程度，可自适应地适用两个以上的滤波器。优选地，上述滤波器的滤波系数相对称。

并且，可根据当前块的大小自适应地适用上述两个以上的滤波器。即，在适用滤波器的情况下，对尺寸较小的块适用带宽较窄的滤波器，对尺寸较大的块适用带宽较宽的滤波器。

在双通道模式的情况下，以参照像素的平均值生成预测块，因此无需适用滤波器。即，若适用滤波器，仅增加没必要的计算量。

并且，在影像沿着垂直方向存在相关性(correlation)的垂直模式中无需对参照像素适用滤波器。在影像沿着水平方向存在相关性的水平模式中也无需适用滤波器。

如上所述，滤波器是否适用与当前块的帧内预测模式存在相关性，因此，可基于当前块的帧内预测模式及预测块的大小自适应地对参照像素进行滤波。

接着，根据上述复原的帧内预测模式，利用上述参照像素或上述经过滤波的参照像素生成预测块。上述预测块的生成与译码器中的工作相同，因此将省略对其的说明。在平面模式的情况下，上述预测块的生成也与译码器中的工作相同，因此将省略对其的说明。

接着，判断是否对所生成的上述预测块进行滤波。可利用包含在切片头部或编码单元头部的信息判断是否进行上述滤波。并且，也可根据当前块的帧内预测模式判断是否进行上述滤波。

在判断为需对所生成的上述预测块进行滤波的情况下，对所生成的预测块进行滤波。具体地，通过对利用与当前块相邻的可用参照像素而生成的预测块的特定位置的像素进行滤波，生成新的像素。

上述方法可同样适用于生成预测块时。例如，在双通道模式中，对预测像素中的与参照像素相接触的预测像素的滤波通过利用与上述预测像素相接触的参照像素实现。

因此，根据预测像素的位置，利用一个或两个参照像素对预测像素进行滤波。在双通道模式中的对预测像素的滤波可适用于所有大小的预测块。在垂直模式中，与预测块的预测像素中的左侧参照像素相接的预测像素可利用除用于生成上述预测块的上侧像素之外的参照像素进行改变。

同样，在水平模式中，与所生成的预测像素中的上侧参照像素相接的预测像素可利用除用于生成上述预测块的左侧像素之外的参照像素进行改变。

当前块利用通过如上所述的方式复原的当前块的预测块和经过译码的当前的块的残差块复原。

本发明一实施例的视频比特流为用于存储一个图像中的被编码的数据的单位，上述视频比特流可包括参数集(PS，parameter sets)和切片数据。

参数集被分为图像参数集(以下，称之为图像参数集(PPS))和序列参数集(以下，称之为序列参数集(SPS))，上述图像参数集为相当于各个图像的头部的数据。上述图像参数集和序列参数集可包含用于使各个编码初始化的初始化信息。

序列参数集可以为用于对以随机接入单元(RAU，Random accesse unit)编码的所有图像进行译码的共同参照信息，上述序列参数集包含简介、可用作参照用的图像的最大数量及图像大小等，上述序列参数集可呈如图6及图7所示的形态。

作为用于对以随机接入单元编码的各个图像进行译码的参照信息，上述图像参数集包括可变长度编码方法的种类、量化步骤的初始值及多个参照图像，上述图像参数集可呈如图8及图9所示的形态。

另一方面，在以切片为单位对切片头部编码时，切片头部包含对相应切片的信息，上述切片头部可呈如图10至图12所示的形态。

以下，详细说明利用多个处理单元进行如上所述的视频编码及译码处理的结构。

根据本发明的一实施例，视频处理装置可包括：影像中央处理单元，与主机进行通信，从上述主机输入的视频数据分析参数信息或切片头部信息；以及多个影像处理部，通过上述影像中央处理单元的控制，根据所分析的上述信息对视频进行处理，上述多个影像处理部可包括：第一处理单元，分别与上述影像中央处理单元进行通信，由此对上述视频数据执行熵编码；以及第二处理单元，以编码单元对执行熵编码的上述视频数据进行处理。

其中，上述参数信息可包括视频参数集(VPS，Video Parameter Set)、序列参数集及图像参数集信息。

并且，上述第一处理单元可导出编码树单元、编码单元、预测单元、变换单元参数信息，并向上述第二处理单元传输。

而且，上述第二处理单元可按编码单元对执行熵编码的上述视频数据执行转换/量化(TQ，Transform/Quantization)、帧内预测(Intra-prediction)、帧间预测(Inter-prediction)、环路滤波(LF，Loop Filtering)、内存压缩(Memory compression)中的至少一个。

其中，视频处理装置为后述的视频处理单元300(VPU，Video Processing Unit)，影像中央处理单元可以为后述的影像中央处理单元310(V-CPU，video centralprocessing unit)，影像处理部可以为后述的虚拟核心320(V-CORE)。并且，第一影像处理部可以为后述的分支预测单元321(BPU)，第二影像处理部可以为后述的视频编码专家322(VCE)。

而且，上述影像中央处理单元以图像为单位与上述主机进行通信，在执行并行处理的情况下，能够以基于编码树单元的光栅扫描(Raster scan)顺序与上述第一处理单元进行通信。例如，影像中央处理单元310能够以编码树单元的行(CTU row)为单位(CTU row)与各个第一处理单元进行通信。

并且，根据本发明的实施例，视频处理装置还可包括预扫描(PRESCAN)控制器400，上述预扫描控制器通过对从主机输入的视频数据进行预扫描，生成以预扫描段为单位的预扫描信息。

其中，上述预扫描模块400可通过预扫描，根据编码树单元的位置，以预扫描段为单位分割视频数据的比特流分。并且，预扫描模块400可执行比特流分析及简化的熵解码(例如，仅抽取预扫描信息的基于上下文的自适应二进制算术编码处理)，生成并存储与视频数据被分割的位置相对应的预扫描信息。

借助预扫描模块400存储的预扫描信息可以与按预扫描段单位分割的位置相对应，上述预扫描信息可包含基于上下文的自适应二进制算术编码引擎信息、上下文信息、比特流补偿信息、编码树单元位置信息、准峰值(Qp)信息及追加信息中的至少一种。例如，追加信息可包含错误信息或错误指令信息中的至少一种。

并且，预扫描段单位可意味着为了以编码树单元的行为单位处理片或切片而分割视频数据的单位。因此，可根据各个片/切片起始的位置、片/切片之间的边界位置、或在各个编码树单元的行中的第一个编码树单元与片的边界位置，确定预扫描段单位。对于与预扫描段单位相对应的分割位置的信息可通过编码树单元位置信息及比特流补偿信息来表示。

预扫描模块400提供如上所述的以预扫描段为单位分割视频数据的功能，由此影像中央处理单元310不依赖于片/切片单位，并可简单按照光栅扫描顺序生成及排列任务。并且，即使在影像中央处理单元310以编码树单元的行为单位分配任务，各个虚拟核心320也可基于预先存储的预扫描信息执行不间断解码。并且，可去除基于片/切片大小差异的各个处理单元之间的处理量不均衡，并可抑制处理量不均衡所导致的带宽效率减少。

另一方面，影像中央处理单元310可控制如上所述的预扫描模块400的工作与虚拟核心320之间的同步，从而可控制在帧或图像级别上的工作时间调整及输出。

而且，考虑预扫描模块400的工作时间，影像中央处理单元310能够以非同步(asynchrouous)的方式控制图像译码起始时间和图像译码结束时间。非同步控制方法可以为在第一图像的译码起始时间和第一图像的译码结束时间之间分配作为下一个图像的第二图像的译码起始时间的方法。在此情况下，可隐藏(hiding)向各个虚拟核心追加任务的开销，因此可提高处理性能。

非同步控制方法可以为在第一图像的译码起始时间和第一图像的译码结束时间中间分配作为下一个图像的第二图像的译码起始时间的方法。在此情况下，可隐藏向各个虚拟核心追加任务的开销，因此可提高处理性能。

并且，再一非同步控制方法可以为使第一图像的预扫描时间和任务分配(重新排序)时间重叠的控制方法。在此情况下，若对编码树单元中的一个排进行预扫描处理，则影像中央处理单元310可即刻分配与上述排相对应的任务，使各个虚拟核心320执行解码。在此情况下，可降低延迟，从而可有效应用于网络显示等。

尤其，当待处理的图像包含片且其片被分离为列(Column)时，普通解码的时延可能很长。但是，根据本发明的实施例，由于相对于解码快速实现预扫描，因此在整个译码过程中可获得降低延迟的效果。

并且，另一非同步控制方法可以为在执行对第一图像的预扫描及任务分配之后，使各个虚拟核心320的解码时间与之后的第二图像的译码起始时间重叠的方法。例如，影像中央处理单元310可在第一图像的译码结束时间之前分配第二图像的译码起始时间(可与扫描起始时间相同)。在此情况下，影像中央处理单元310为了防止性能损失而限制实例变更。例如，影像中央处理单元310仅可在从发生对第一图像的译码结束(pindone)至对作为之后图像的第二图像的译码起始(pinrun)之前为止允许实例变更。

另一方面，其中，视频处理装置均可包括视频编码装置及视频译码装置。如图1至图4所示，视频译码装置和视频编码装置可体现为相互分别执行相反过程的装置，以下，为了便于说明，以视频译码装置为例进行说明。但是，视频处理装置并不局限于此，视频处理装置也可体现为执行后述视频译码装置的相反过程的视频编码装置。

图13为示出本发明一实施例的视频译码装置的层状结构(layer structure)的图。参照图13，视频译码装置可包括执行视频译码功能的视频处理单元300，视频处理单元300可包括影像中央处理单元310、分支预测单元321及视频编码专家322。其中，可通过分支预测单元321和视频编码专家322相结合，形成虚拟核心320。并且，视频处理单元300还可包括后述的预扫描模块400。

其中，优选地，本发明一实施例的视频处理单元300可包括一个影像中央处理单元310及多个虚拟核心320(以下，称之为多虚拟核心)。但是，视频处理单元并不局限于此，可根据视频处理单元300的体现形态，上述影像中央处理单元310和虚拟核心320的数量各不相同。

影像中央处理单元310控制视频处理单元300的整体工作。尤其，影像中央处理单元310可在所接收的比特流中分析视频参数集、序列参数集、图像参数集及切片头部。而且，影像中央处理单元310可基于所分析的信息控制视频处理单元300的整体工作。

作为一例，影像中央处理单元310可向预扫描模块400传输视频比特流，由此使预扫描模块400存储上述预扫描信息。并且，影像中央处理单元310可基于所分析的信息生成各个虚拟核心320所要处理的任务。在适用本发明一实施例的波前并行处理或虚拟波前并行处理的情况下，各个任务可以与视频比特流的以编码树单元的行为单位的数据相对应。

并且，影像中央处理单元310可基于所分析的信息判断所要用于数据并行处理的虚拟核心320的数量。而且，根据判断结果，若判断为数据并行处理需要多个虚拟核心320，则影像中央处理单元310可确定各个虚拟核心320需在多虚拟核心320进行处理的区域。

并且，影像中央处理单元310可通过任务确定对所要向各个虚拟核心320分配的区域的比特流的起始位置(entry points)。

并且，影像中央处理单元310可向多虚拟核心320分配因使用多虚拟核心320进行译码而产生的一个图像内的边界区域。

其中，影像中央处理单元310能够以图像为单元与应用程序编程接口(API，Application Programing Interface)进行通信，并以编码树单元的行为单位与虚拟核心320进行通信。而且，影像中央处理单元310也能够以切片/片为单位进行通信。

根据影像中央处理单元310的控制，虚拟核心320执行译码处理、边界处理。作为一例，根据影像中央处理单元310的控制，虚拟核心320可对所分配到的区域进行译码处理。并且，根据影像中央处理单元310的控制，虚拟核心320可对所分配到的边界区域执行边界处理(boundary processing)。

其中，虚拟核心320可包括分支预测单元321及视频编码专家322。

分支预测单元321对所分配到的区域(以编码树单元的行为单位、以切片或片为单位)的数据进行熵解码。即，分支预测单元321可执行上述熵译码部210的部分功能，并且，分支预测单元321可导出编码树单元、编码单元、预测单元、转换单元级别的参数。而且，分支预测单元321可控制视频编码专家322。

其中，分支预测单元321能够以编码树单元的行为单位、以切片或片为单位与影像中央处理单元310进行通信，并能够以编码树单元为单位与视频编码专家322进行通信。

视频编码专家322可接收由分支预测单元321导出的参数，执行转换/量化、帧内预测、帧间预测、环路滤波、内存压缩。即，视频编码专家322可执行上述反量化/反变换部220、去块滤波器250、帧内预测部230、移动补偿预测部240的功能。

其中，视频编码专家322可通过基于编码树单元的流水线(CTU-basedpipelining)对所分配到的区域进行数据处理。

更具体地，影像中央处理单元310可执行与主机处理器(Host Processor)进行连接工作。并且，影像中央处理单元310可在所接收的视频比特流中分析视频参数集、序列参数集、图像参数集、切片头部。

而且，影像中央处理单元310可向预扫描模块400传递所接收的视频比特流，使预扫描信息存储于单独的存储器。

而且，影像中央处理单元310可利用所分析的信息传递用于在虚拟核心320中进行译码的必要信息。其中，必要信息可包括“图像参数数据结构(Picture parameter datastructure)”及“切片控制数据结构(Slice control data structure)”。

“图像参数数据结构”可包含如下信息。作为一例，上述图像参数数据结构包含序列/图像头部(Sequence/picture header)所包含的信息(例如，图像尺寸(picture size)、比例表(scaling list)、编码树单元、最小/最大编码单元尺寸(min/max CU size)、最小/最大转换单元尺寸(min/max TU size)等)、在进行帧解码时所需的缓冲器的位置(地址)等。

如上所述，在对一个图像进行译码的过程中，可设定一次图像参数数据结构。

切片控制数据结构可包含如下信息。作为一例，上述切片控制数据结构可包含切片头部(Slice header)所包含的信息(例如，切片类型(slice type)、切片/片区域信息、参照图像列表(reference picture list)、加权预测参数(weighted predictionparameter)等)。

如上所述，可在改变切片时设定切片控制数据结构。虚拟核心320的处理器间通信寄存器(inter-processor communication registers)或在外部存储器的切片参数缓冲器(slice parameter buffer at external memory)可存储N个切片控制数据结构，只要不是处于饱和(full)状态，即使并不是与当前正在执行译码的切片相对应的数据结构，也可预先存储上述切片控制数据结构。其中，可根据在进行单元处理时，将由虚拟核心320向影像中央处理单元310提醒完成处理的时间点设定在视频编码专家322的管线(pipe)被完全刷新(flush)的时间点之后(N＝1)，还是设定在当前处理中的段和下一个段之间维持流水线(N＞1)来确定N。

其中，从影像中央处理单元310向虚拟核心320传递的信息可通过虚拟核心320的处理器间通信寄存器传递。处理器间通信寄存器可体现为规定大小的寄存器阵列(register array)(文件，file)，或者可体现为外部存储器(external memory)。可在处理器间通信寄存器体现为外部存储器的情况下，影像中央处理单元310将信息存储于外部存储器，分支预测单元321从外部存储器读取信息。

另一方面，为了在即使虚拟核心320可存储的切片控制数据结构的数量为1(或任何数量(any number))个的情况下也防止段和段之间的虚拟核心320长时间处于闲置(idle)状态，影像中央处理单元310需持续执行切片头部译码及参数生成(parametergeneration)等。

另一方面，在一个切片包括多个片，借助多虚拟核心320对切片进行并行处理的情况下，影像中央处理单元310可向多虚拟核心320传输相同的切片控制数据结构。

并且，在虚拟核心320中发生异常(exception)时，影像中央处理单元310可处理上述异常。作为一例，当在影像中央处理单元310对参数集进行译码的过程中检测到错误时、当在虚拟核心320的分支预测单元321对切片数据(slice data)进行译码的过程中检测到错误时、当对帧进行译码的过程中超出指定译码时间时(例如，因影像处理单元300内部的未知错误及系统总线的瘫痪而引起影像中央处理单元310的周边设备(peripheral)及虚拟核心320停止运行(stall)的情况)，影像中央处理单元310可对上述问题执行解决方案。

并且，在影像处理单元300对帧完成译码时，影像中央处理单元310可向应用程序编程接口传输完成报告。

尤其，为了对多虚拟核心320的数据进行并行处理，影像中央处理单元310可使多虚拟核心320同步。尤其，可借助影像中央处理单元的结构及工作进行虚拟波前并行处理，对此将在后述中进行说明。

影像中央处理单元310可基于所分析的信息，判断所要用于数据并行处理的虚拟核心320的数量。而且，根据判断结果，若判断为数据并行处理需要多个虚拟核心320，则影像中央处理单元310可确定各个虚拟核心320需在多虚拟核心320进行处理的区域。

并且，影像中央处理单元310可通过任务确定对所要向各个虚拟核心320分配的区域的比特流的起始位置。

另一方面，分支预测单元321可对所分配到的区域的数据进行熵解码。由于借助影像中央处理单元310对切片头部进行了解码，通过图像参数数据结构和切片控制数据结构接收了所需的全部信息，因而分支预测单元321可不对切片头部进行解码。

并且，分支预测单元321可导出编码树单元、编码单元、预测单元、转换单元级别的参数。

并且，分支预测单元321可向视频编码专家322传输所导出的参数。

其中，分支预测单元321和视频编码专家322可通过先进先出法(FIFO)传递各个块共同使用的信息(图像尺寸、段补偿、段尺寸)和直接存储存取控制器(DMAC)中的除数据源、目标地址等之外的用于译码处理的编码树单元参数、编码单元参数、预测单元参数、转换单元参数、系数、参照像素数据。但是，段级别(segment level)的参数可设置于视频编码专家322的内部寄存器(internal register)，而并不采用先进先出法。

并且，分支预测单元321可执行控制视频编码专家322的视频编码专家控制器(VCEcontroller)的功能。视频编码专家控制器输出可由分支预测单元321通过设置寄存器来控制的图像初始化(picture_init)、段初始化信号(segment_init signal)、软件复位(software reset)，视频编码专家322的各个子块可将上述信号用于执行控制。

若分支预测单元321可在视频编码专家控制器设置上述中所提到的图像级别及段级别参数之后发出(通过设置寄存器，by registersetting)段运行(segment run)指令，则直到对所设定的段完成解码为止，可在不与分支预测单元321进行通信(communication)的情况下，参照编码单元参数先进先出法的充足度(fullness)和各个块的状态信息控制解码过程。

并且，当在分支预测单元321发生异常时，分支预测单元321可对上述异常进行处理，当对切片/片段完成处理时，可向影像中央处理单元310进行报告。

视频编码专家组322可接收从分支预测单元321导出的参数，执行转换/量化、帧内预测、帧间预测、环路滤波、内存压缩。

其中，视频编码专家组322可通过基于编码树单元的流水线对所分配到的区域进行数据处理。

如上所述，根据本发明的多种实施例，可通过使头部分析和数据处理过程分离，使分离的数据处理过程形成流水线，从而可提供可对多虚拟核心执行作业分配及同步等的影像中央处理单元310。

图14为示出本发明一实施例的用于影像中央处理单元310的波前并行处理视频译码的虚拟核心的同步控制的时序图。

参照图14，本发明实施例的视频译码装置的影像中央处理单元310可基于从比特流分析的头部信息和在预扫描模块400中预扫描的信息，生成用于并行处理的多个任务。而且，可向各个虚拟核心320依次分配多个任务。

各个虚拟核心320可根据通过上述分支预测单元321和视频编码专家322的工作进行分析的上述头部信息及预扫描信息执行译码。

如图14所示，影像中央处理单元310可按排为单位分割各个编码树单元，可生成对1个～N个的虚拟核心320的多个任务，可向各个虚拟核心320传递上述任务。

更加具体地，例如，虚拟核心320#0从影像中央处理单元310接收第一个编码树单元行，向相邻块(NB，Neighbor block)缓冲器传递当前正在处理中的编码树块(CTB)的译码过程中所生成的周边数据(Neighbor data)。为此，分支预测单元321和视频编码专家组322可分别从当前正在处理中的编码树块生成用于对各个周边块进行译码的信息，并向相邻块缓冲器传递。

在向相邻块缓冲器传递完数据的情况下，分支预测单元321或视频编码专家322可分别向虚拟核心320#1传递相应编码树块的位置信息。

并且，在虚拟核心320#1中，可从影像预测单元310接收第二个编码树单元行(2ndCTU row)，并按编码树块进行处理。尤其，为了执行波前并行处理，虚拟核心320#1可从相邻块缓冲器接收在虚拟核心320#0中已处理的编码树块的译码数据。

而且，虚拟核心320#1可基于从虚拟核心320#0接收的编码树块的位置信息和存储于相邻块缓冲器的已处理的编码树块译码信息，可按编码树块单元对第二个编码树单元排进行译码。

同样，虚拟核心320#1可向相邻块缓冲器传递在当前正在处理中的编码树块的译码过程中生成的周边数据。在向相邻块缓冲器传递完数据的情况下，虚拟核心320#1的分支预测单元321或视频编码专家322可分别向虚拟核心320#2传递相应编码树块的位置信息。

如上所述的过程根据虚拟核心320的数量依次进行至#N，以波前并行处理方式对整体编码树单元的译码过程进行并行处理，从而可有效地进行上述过程。在完成对与图像相对应的整体编码树单元的译码的情况下，影像中央处理单元310可通过应用程序编程接口向主机处理器输出经过译码的图像的影像数据。

如上所述的影像中央处理单元310可对所有比特流执行基于使用波前并行处理的多核并行译码。在此情况下，影像中央处理单元310可通过控制达到始终在对比特流执行预扫描之后使各个虚拟核心320执行译码。并且，影像中央处理单元310可通过分析影像比特流的头部来确定是否执行预扫描。

例如，在基于在图像参数集所分析的特定语法元素可知通过波前并行处理进行编码的情况下，影像中央处理单元310可省略执行预扫描。在此情况下，即使仅利用从比特流基本分析而得的参数信息，影像中央处理单元310也可通过波前并行处理方式生成与各个虚拟核心320相对应的任务。

而且，在影像中央处理单元310基于在图像参数集中分析的语法元素判断为执行了基于利用片/切片单位的编码的情况下，影像中央处理单元310通过控制预扫描模块400来执行预扫描，各个虚拟核心320可基于预扫描信息来执行波前并行处理解码。

以下，更具体地说明用于根据如上所述的影像中央处理单元310的控制来执行预扫描的预扫描模块400。

图15为用于说明本发明一实施例的预扫描模块400的框图。

本发明实施例的预扫描模块400可包括预扫描控制器410、存储部420及比特流分析部430。

根据影像中央处理单元310的控制，预扫描控制器410对预扫描模块400执行整体控制。预扫描控制器410可执行按影像处理单元接收比特流，基于通过比特流分析部430分析的信息生成预扫描信息，并将所生成的预扫描信息存储于存储部420的工作。由预扫描控制器410接收并处理的影像处理单元能够以图像或帧作为单位。

而且，比特流分析部430可接收以帧为单位的比特流，分析用于构成预扫描信息的基础信息。

为了构成预扫描信息，比特流分析部430可抽取与预扫描对象帧相对应的比特流的头部信息，可从头部信息分析帧的片/切片信息。并且，比特流分析部430可从比特流的头部获得预扫描对象帧的编码树单元结构信息。

尤其，比特流分析部430可分析构成编码树单元的整体帧中的与由预扫描控制器410指定的特定块相对应的位置信息、熵编码器的引擎信息、上下文信息及准峰值信息中的至少一种。位置信息可包含与特定比特相对应的补偿信息。

为此，比特流分析部430可包括至少一个熵解码器。虽然未图示熵解码器，但例如，上述比特流分析部430可包括预扫描用基于上下文的自适应二进制算术编码解码器。

更具体地，比特流分析部430的预扫描用基于上下文的自适应二进制算术编码解码器执行基于上下文的自适应二进制算术编码过程，可执行抽取预扫描所需的引擎信息、上下文信息及准峰值信息中的至少一种的工作。预扫描用基于上下文的自适应二进制算术编码解码器可与在虚拟核心320中用于对影像进行译码而所包括的熵解码器(基于上下文的自适应二进制算术编码处理器)相异。

因此，比特流分析部430的预扫描用基于上下文的自适应二进制算术编码解码器可以不执行除抽取预扫描信息之外的其他工作，例如，可以不执行缓冲或传递为了与用于译码的其他处理器相联动而被解码的数据的动作。由此，用于使比特流分析部430执行预扫描的基于上下文的自适应二进制算术编码熵解码速度可充分快过用于使虚拟核心320执行影像译码的基于上下文的自适应二进制算术编码熵解码速度。

另一方面，如上所述，预扫描控制器410基于从比特流分析部430抽取的基础信息生成预扫描信息，并可将上述预扫描信息存储于存储部420。

所存储的预扫描信息可包含使虚拟核心320不间断执行以编码树单元的行为单位的影像译码的必要信息。

尤其，在依次对特定编码树单元行进行译码的过程中发生片/切片边界的情况下，边界线的右侧块与另一片/切片相对应，从而导致无法通过现有的方式进行译码。

因此，预扫描信息可包含编码树单元所包括的片/切片的边界位置信息(补偿信息)、与边界相对应的块的引擎信息(基于上下文的自适应二进制算术编码引擎信息等)、与边界相对应的块的上下文信息及与边界相对应的块的准峰值信息中的至少一种。

并且，在片/切片的起始点，仅有引擎初始化信息也可进行译码，因进行初始化的时间小于存储器访问时间，因此可无需单独存储上下文信息等。由此，在编码树单元行包括片/切片的起始块(start point)的情况下，预扫描信息可仅包含与上述起始块相对应的位置信息及引擎初始化信息。

另一方面，为了执行波前并行处理，虚拟核心320需能够以编码树单元的行为单位执行译码处理，因此，预扫描信息可包含与编码树单元行的起始块相对应的位置信息、与边界相对应的块的引擎信息(基于上下文的自适应二进制算术编码引擎信息等)、与边界相对应的块的上下文信息及与边界相对应的块的准峰值信息中的至少一种。更具体地，所存储的信息可以为基于上下文的自适应二进制算术编码引擎状态(CABAC engine status)、概率上下文(probability context)、比特流补偿(bitstream offset)、编码树单元位置信息(CTU position info)、准峰值等。

并且，预扫描信息可包含追加信息。例如，追加信息可包含错误信息或错误指令信息。由此，影像中央处理单元310或虚拟核心320可基于预扫描信息预先判断是否在进行译码时发生错误，并可预先执行与之相对应的处理。

并且，预扫描控制器410通过上下文索引区分预扫描信息，去除重复的信息，可有效地将预扫描信息存储于存储部420。

例如，预扫描控制器410可将编码树单元以片/切片的边界块及编码树单元行的起始块为基准分割为多个预扫描段块，并可在各个预扫描段块分配上下文索引。

而且，预扫描控制器410可在存储部420存储上下文索引和与上述预扫描段块相对应的基于上下文的自适应二进制算术编码引擎信息、上下文信息、补偿信息及准峰值至信息等并有效地进行管理。其中，可根据是否存在上下文索引信息，暗示引擎初始化信息。

另一方面，存储部420可包括内部缓冲器及外部存储器。内部缓冲器可临时存储与之前所说明的预扫描段块相对应的上下文信息。内部缓冲器可包括用于存储与预扫描段块相对应的上下文信息的一个以上的缓冲器。

若在内部缓冲器存储与规定数量以上的预扫描段块相对应的上下文信息，则所存储的数据可通过直接存储存取器(DMA)向外部存储器传递。并且，存储部420可通过与影像中央处理单元310及虚拟核心320进行通信传输预扫描信息。预扫描段块数据可通过输入输出文件(FIO)的形式以软件的方式管理。

另一方面，预扫描信息的一部分可在影像中央处理单元310用于调度任务，可在虚拟核心320中用于片/切片边界或编码树单元行的影像译码。

通过向各个虚拟核心320提供如上所述的预扫描信息，由此可使虚拟核心320不间断地在片/切片边界执行译码。由此，各个虚拟核心320能够以编码树单元的行为单位执行译码。

并且，影像中央处理单元310可基于预扫描信息简单生成光栅扫描顺序的以编码树单元行的为单位的任务，可依次向虚拟核心320分配以编码树单元的行为单位的任务。因此，可减少任务生成及排列时间，而且不必考虑片/切片的大小所产生的影响，从而可减少对虚拟核心的数量及顺序分配的开销。

并且，各个虚拟核心320可仅以编码树单元的行为单位对数据进行处理，由此不仅可减少影像中央处理单元310和虚拟核心320之间、影像中央处理单元310和主机处理器之间的输入及输出延迟，虚拟核心320可将影像比特流识别为不存在片/切片结构的波前并行处理流，因而可追加去除不必要的作业，从而可有效地执行波前并行处理。

图16为用于更具体地说明根据本发明一实施例的预扫描模块预扫描的信息的框图。

参照图16，如上所述，预扫描模块400能够以与构成编码树单元的块中的特定位置相对应的方式存储预扫描信息。预扫描信息的存储可意味着存储全部引擎信息及上下文信息，或者还可意味着仅存储初始化信息。

如图16所示，为了处理效率，在片/切片起始的情况下，预扫描模块400可仅存储与起始点相对应的初始化信息(例如，基于上下文的自适应二进制算术编码初始化(CABACINIT)信息)。在此情况下，所存储的信息可以为与起始点相对应的比特流内的位置信息(编码树单元地址(CTU address)信息、网络抽象层地址(NAL address)信息或补偿信息)及与预扫描段相对应的上下文索引。

并且，预扫描模块400可存储与片/切片的边界的右侧块相对应的预扫描信息。在此情况下，预扫描信息均可包含基于上下文的自适应二进制算术编码引擎信息、上下文信息、准峰值信息及其他之后块译码所需的相关信息。在此情况下，所存储的信息可包含片/切片的边界的右侧块的比特流内的位置信息(编码树单元地址信息、网络抽象层地址信息或补偿信息)。

如上所述的预扫描信息的存储形态可呈如下结构。

typedef struct

{

uint16_t start_ctu_addr_x；

uint16_t start_ctu_addr_y；

uint16_t end_ctu_addr_x；

uint16_t end_ctu_addr_y；

uint32_t start_nal_addr；

uint32_t end_nal_addr；

uint8_t rbsp_offset；

uint8_t reserved；

int16_t context_idx；

}segment_t；

尤其，根据上述结构，在预扫描段的结束(end)块被更新的过程中，上下文索引(context_idx)也可被一同更新。此时，预扫描段包括编码树单元行的第一个块，在上述第一个块与独立切片的起始点(第一个编码树块)或片的起始点(第一个编码树块)相对应的情况下，上下文索引可具有无效的(invalid)值。

因此，根据如上所述的本发明实施例的预扫描信息结构，若上下文索引不是(在片/切片内)行的第一个编码树块，则上下文索引无法具有有效(valid)值，可暗示是否进行初始化。

根据本实施例，切片或片的第一个编码树块仅通过比特流信息就能够初始化上下文索引，因此不进行专门的上下文备份(context backup)，而是对用于指代备份的上下文的上下文索引进行无效处理，从而可以提高处理效率。

图17为用于总体说明本发明一实施例的预扫描模块400的工作的流程图。

首先，影像中央处理单元310接收影像比特流，分析头部(步骤S101)，判断上述比特流是否为需进行预扫描的比特流(步骤S103)。

如上所述，影像中央处理单元310可基于所分析的头部，判断比特流是否已通过波前并行处理方式预先进行编码。例如，影像中央处理单元310可从图像参数集分析表示是否存在片/切片的标志，从而判断上述比特流是否为已通过波前并行处理方式进行编码的比特流。

在无需预扫描的情况下，影像中央处理单元310与虚拟核心320联动，执行现有方式的译码(步骤S115)。

另一方面，在比特流需要进行预扫描的情况下，根据影像中央处理单元310的控制，预扫描模块400接收影像比特流(步骤S105)，并分析用于进行预扫描的比特流(步骤S107)。如上所述，预扫描控制器410可通过控制比特流分析部430，分析用于预扫描的基础信息。预扫描模块400可通过部分简化的基于上下文的自适应二进制算术编码过程分析用于进行预扫描的编码树单元结构信息、基于上下文的自适应二进制算术编码引擎信息、上下文信息等。

之后，预扫描模块400以与存储预扫描信息的块相对应的方式生成预扫描信息(步骤S111)，并将上述预扫描信息存储于存储部420(步骤S113)。

如上所述，预扫描信息能够以与编码树单元行的第一个块、片/切片边界的右侧块相对应的方式存储。根据情况，所存储的预扫描信息可包含块的位置信息、引擎初始化信息、引擎信息、上下文信息、准峰值信息中的至少一种。

图18至图21为用于示出借助本发明实施例的预扫描模块的工作而生成的预扫描信息的图。

基于如上所述的预扫描信息的结构，在预扫描模块400中，将编码树单元划分为以上下文索引指定的各个预扫描段，上述预扫描模块400可存储各个预扫描段的预扫描信息。预扫描段意味着借助切片/片的边界及编码树单元行的边界分割的块的集合。

尤其，因存储部420的内部缓冲器的容量有限，因此，在所存储的预扫描段达到特定数量以上的情况下，预扫描模块400可通过直接存储存取工作向外部存储器传递存储于缓冲器的信息。

并且，若完成预扫描，则预扫描模块400可向影像中央处理单元310一同输出预扫描完成消息和预扫描段数量等。

首先，图18示出作为预扫描对象的帧的编码树单元由三个切片构成的情况。

第一个切片可与切片段#0相对应，第二个切片可与切片段#1相对应，第三个切片可与切片段#2相对应。在本实施例中，编码树单元块仅由切片构成，但在由片或片/切片构成的情况下，也适用相同或类似的工作，这对本发明所属技术领域的普通技术人员来说是显而易见的。

图19示出抽取切片段#0的预扫描信息并进行存储的过程。

如图19所示，首先，预扫描模块400可存储与切片段#0的起始块相对应的位置信息和引擎初始化信息，预扫描模块400能够以与预扫描段#0相对应的方式存储与最后块相对应的位置信息。

接着，图20示出抽取切片段#1的预扫描信息并进行存储的过程。

如图20所示，首先，预扫描块400存储与切片段#1的切片的起始块相对应的位置信息和引擎初始化信息，预扫描模块400能够以与预扫描段#1相对应的方式存储与编码树单元行#0的最后块相对应的位置信息。

接着，预扫描模块400能够以与预扫描段#2相对应的方式存储与编码树单元行#1的起始块相对应的位置信息、与上述块相对应的引擎信息、上下文信息、准峰值信息及与编码树单元行#1的最后块相对应的位置信息。

接着，预扫描模块400能够以与预扫描段#3相对应的方式存储与编码树单元行#2的起始块相对应的位置信息、与上述块相对应的引擎信息、上下文信息、准峰值信息及与编码树单元行#2的最后块相对应的位置信息。

作为之后步骤，图21示出抽取切片段#2的预扫描信息并进行存储的过程。

如图21所示，首先，预扫描块400存储与切片段#2的切片的起始块相对应的位置信息和引擎初始化信息，预扫描模块400能够以与预扫描段#4相对应的方式存储与编码树单元行#3的最后块相对应的位置信息。

接着，预扫描块400能够以与预扫描段#5相对应的方式存储与编码树单元行#4的起始块相对应的位置信息、与上述块相对应的引擎信息、上下文信息、准峰值信息及与编码树单元行#4的最后块相对应的位置信息。

接着，预扫描模块400能够以与预扫描段#6相对应的方式存储与编码树单元行#5的起始块相对应的位置信息、与上述块相对应的引擎信息、上下文信息、准峰值信息及与编码树单元行#5的最后块相对应的位置信息。

接着，预扫描模块400能够以与预扫描段#7相对应的方式存储与编码树单元行#6的起始块相对应的位置信息、与上述块相对应的引擎信息、上下文信息、准峰值信息及与编码树单元行#6的最后块相对应的位置信息。

另一方面，在上述过程中间，在预扫描段达到规定数量以上的情况下，预扫描模块400可通过直接存储存取工作向外部存储器输出预先存储的信息，并可执行清空内部缓冲器的工作。

根据上述本发明的实施例，可通过预扫描模块400有效生成并处理预扫描信息。并且，译码器300能够以与比特流的片/切片结构无关地基于按预扫描段的单位被分割的预扫描信息，以编码树单元行单位执行译码。虚拟核心320等的多个处理单元可不间断地执行不依赖于片/切片的波前并行处理。在预扫描模块400中，通过分析比特流，使影像中央处理单元310有效执行任务调度，可抽取可使各个虚拟核心320连续执行熵解码的必要且最少的信息并进行存储。

由此，本发明可去除多个处理单元中的每个处理单元之间的处理量不均衡，并可提高带宽效率。

如上所述的本发明的方法可被制作成用于在计算机执行的程序，并可存储于计算机可读记录介质，计算机可读记录介质的例为只读存储器(ROM)、随机存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、电软盘、光数据存储装置等，并且，计算机可读记录介质还可体现为载波(例如，通过网络传输)形态。

计算机可读记录介质被分散到通过网络连接的计算机系统，从而可通过分散方式存储计算机可读代码并可被执行。而且，用于实现上述方法的功能性(function)程序、代码及代码段可由本发明所属技术领域的程序员容易推断。

并且，以上示出并说明了本发明的优选实施例，但本发明并不局限于上述特定实施例，在不脱离发明要求保护范围所申请保护的本发明的主旨的情况下，不仅可由本发明所属技术领域的普通技术人员对本发明进行多种变形实施，而且上述变形实施均属于本发明的技术思想。

Claims

1.一种视频处理装置，其特征在于，包括：

影像中央处理单元，与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务；

预扫描模块，根据上述影像中央处理单元的控制，在基于由从上述主机输入的视频比特流分析的特定语法元素判断为所述比特流未基于并行处理方式编码的情况下，根据仅抽取用于与所述比特流的编码单元结构无关地执行多核并行译码的特定位置的初始化信息、引擎信息或者上下文信息的简化的熵解码处理而进行预扫描，从而生成预扫描信息；以及

多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理。

2.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描信息包含针对一个以上的被包含在从上述比特流所识别的编码树单元中的特定块的位置信息。

3.根据权利要求2所述的视频处理装置，其特征在于，上述特定块与上述编码树单元的各行起始块相对应。

4.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描信息包含针对一个以上的被包含在从上述比特流所识别的编码树单元中的特定块的熵编码的引擎信息、上下文信息中的至少一种。

5.根据权利要求1所述的视频处理装置，其特征在于，在从上述比特流所识别的编码树单元包括特定单位的块集合的情况下，上述预扫描信息包含与上述特定单位块的起始位置相对应的引擎初始化信息。

6.根据权利要求5所述的视频处理装置，其特征在于，上述特定单位的块集合包括以片或切片为单位的块集合。

7.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描模块包括：

比特流分析部，为了进行预扫描，对上述比特流的一部分进行熵解码，分析必要的信息；以及

预扫描控制器，基于由比特流分析部分析的信息，生成预扫描信息。

8.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描模块包括：

内部缓冲器，用于按预扫描段单位对上述预扫描信息进行缓冲；以及

外部存储器，在规定数量的上述预扫描段累积于上述内部缓冲器的情况下，存储与上述累积规定数量的预扫描段相对应的预扫描信息。

9.根据权利要求1所述的视频处理装置，其特征在于，上述预扫描模块按预扫描段单位对上述预扫描信息进行索引化并进行存储，

上述预扫描段单位以从上述比特流所识别的编码树单元所包括的片或切片的起始块或上述编码树单元的各行最后块为基准分割而成。

10.一种视频处理方法，其特征在于，包括：

在影像中央处理单元与主机进行通信，接收比特流来分析头部信息，生成用于进行并行处理的多个任务的步骤；

根据上述影像中央处理单元的控制，在基于由从上述主机输入的视频比特流分析的特定语法元素判断为所述比特流未基于并行处理方式编码的情况下，根据仅抽取用于与所述比特流的编码单元结构无关地执行多核并行译码的特定位置的初始化信息、引擎信息或者上下文信息的简化的熵解码处理而进行预扫描，从而生成预扫描信息的步骤；以及

在多个影像处理部，根据上述影像中央处理单元的控制，基于所分析的上述头部信息及上述预扫描信息，分别对上述多个任务进行处理的步骤。

11.根据权利要求10所述的视频处理方法，其特征在于，上述预扫描信息包含针对一个以上的被包含在从上述比特流所识别的编码树单元中的特定块的位置信息。

12.根据权利要求11所述的视频处理方法，其特征在于，上述特定块与上述编码树单元的各行起始块相对应。

13.根据权利要求10所述的视频处理方法，其特征在于，上述预扫描信息包含针对一个以上的被包含在从上述比特流所识别的编码树单元中的特定块的熵编码的引擎信息、上下文信息中的至少一种。

14.根据权利要求10所述的视频处理方法，其特征在于，在从上述比特流所识别的编码树单元包括特定单位的块集合的情况下，上述预扫描信息包含与上述特定单位块的起始位置相对应的引擎初始化信息。

15.根据权利要求14所述的视频处理方法，其特征在于，上述特定单位的块集合包括以片或切片为单位的块集合。

16.根据权利要求10所述的视频处理方法，其特征在于，上述生成预扫描信息的步骤包括：

为了进行预扫描，对上述比特流的一部分进行熵解码，分析必要的信息的步骤；以及

基于由比特流分析部分析的信息，生成预扫描信息的步骤。

17.根据权利要求10所述的视频处理方法，其特征在于，上述生成预扫描信息的步骤包括：

按预扫描段单位对上述预扫描信息进行缓冲的步骤；以及

在规定数量的上述预扫描段累积于内部缓冲器的情况下，存储与上述累积规定数量的预扫描段相对应的预扫描信息的步骤。

18.根据权利要求10所述的视频处理方法，其特征在于，上述生成预扫描信息的步骤包括按预扫描段单位对上述预扫描信息进行索引化并进行存储的步骤，