CN101964906A - 基于纹理特性的快速帧内预测方法和装置 - Google Patents

Abstract

本发明公开了一种基于纹理特性的快速帧内预测方法和装置，其中方法包括：根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度；根据所述宏块的纹理的丰富程度选择亮度预测策略；根据所述宏块的纹理的方向性在选择的所述亮度预测策略中选择候选亮度预测模式；根据所述宏块的纹理的方向性在色度预测策略中选择候选色度预测模式；根据选择的所述候选亮度预测模式和所述候选色度预测模式对所述宏块进行帧内预测编码。装置包括：获取模块、策略选择模块、第一模式选择模块、第二模式选择模块和编码模块。本发明在保持H.264/AVC标准的编码性能的前提下，降低了计算复杂度，减少了编码时间。

Description

基于纹理特性的快速帧内预测方法和装置

技术领域

本发明涉及音视频编码技术，尤其涉及一种基于纹理特性的快速帧内预测方法和装置。

背景技术

随着科技的不断发展，视频编码技术也在日益更新，国际电信联盟远程通信标准化组(Telecommunication Standardization Sector for International Telecommunication Union；以下简称：ITU-T)和国际标准化组织(International Organization for Standardization；以下简称：ISO)联合推出了H.264/高级视频编码(Advanced Video Coding；以下简称：AVC)，如图1所示为现有技术中的H.264/AVC标准编码的整体框架示意图。H.264/AVC作为新一代的国际视频编码标准，其采用了多种新的编码技术，如高精度、多模式的位移估计、分层编码技术、帧内预测、率失真优化(Rate Distortion Optimized；以下简称：RDO)技术等。其中，基于空间域的帧内预测和RDO技术是H.264/AVC标准中的两种重要技术。帧内预测时利用相邻已编码块中部分像素的信息预测当前编码块像素的信息，帧内预测可以分为亮度预测和色度预测，其中，亮度预测包括亮度4*4预测和亮度16*16预测，色度预测具体为色度8*8预测，其中，亮度4*4预测包括9种预测模式，亮度16*16预测和色度8*8预测均包括4种预测模式。如图2所示为现有技术中的帧内4*4预测块及其参考像素的示意图，其中A-M为已编码且重构出的像素，而a-p为待预测的像素。

在现有技术中，通常利用RDO技术计算各种预测模式的代价值，具体采用如下公式(1)所示的代价函数RDCost来计算：

RDCost＝distortion+λ×bitrate    (1)

其中，distortion表示某种预测模式下得到的重构残差，bitrate表示经过预测编码后形成的码流的比特数，λ＝0.85×2^(QP-12)/3，是关于量化参数(Quality Parameter；以下简称：QP)的函数。对于亮度4*4预测策略，分别计算9种模式的代价值，选择具有最小代价值的模式，将16个4*4块的最小代价值之和作为当前宏块的代价值；对于亮度16*16预测策略，则按照类似的方法遍历4种16*16宏块的帧内预测模式并计算相应的宏块的代价值，选择代价值最小的模式为最佳16*16宏块的帧内预测模式；然后将亮度4*4预测策略和亮度16*16预测策略中选择的预测模式中代价值最小的预测模式作为亮度预测模式。现有技术中的这种方法通过选择代价值最小的预测模式作为帧内预测编码的预测模式，提高了编码效率，但由于这种方法需要对亮度和色度的所有组合预测模式进行计算，才能查找到最优的预测模式，而亮度和色度的组合预测模式一共有4*(9*16+4)＝592种。因此，现有技术中的这种方法无疑增加了计算复杂度，不利于H.264/AVC标准的实时编码和硬件设计。

发明内容

本发明的目的在于提供一种基于纹理特性的快速帧内预测方法和装置，在保持H.264/AVC标准的编码性能的前提下，降低计算复杂度，减少编码时间。

为了实现上述目的，本发明提供了一种基于纹理特性的快速帧内预测方法，包括：

根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度；

根据所述宏块的纹理的丰富程度选择亮度预测策略；

根据所述宏块的纹理的方向性在选择的所述亮度预测策略中选择候选亮度预测模式；

根据所述宏块的纹理的方向性在色度预测策略中选择候选色度预测模式；

根据选择的所述候选亮度预测模式和所述候选色度预测模式对所述宏块进行帧内预测编码。

本发明还提供了一种基于纹理特性的快速帧内预测装置，包括：

获取模块，用于根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度；

策略选择模块，用于根据所述获取模块获取的所述宏块的纹理的丰富程度选择亮度预测策略；

第一模式选择模块，用于根据所述宏块的纹理的方向性，在所述策略选择模块选择的所述亮度预测策略中选择候选亮度预测模式；

第二模式选择模块，用于根据所述宏块的纹理的方向性在色度预测策略中选择候选色度预测模式；

编码模块，用于根据所述第一模式选择模块选择的所述候选亮度预测模式和所述第二模式选择模块选择的所述候选色度预测模式对所述宏块进行帧内预测编码。

本发明提供的一种基于纹理特性的快速帧内预测方法和装置，先根据宏块的纹理的丰富程度选择亮度预测策略为亮度4*4预测或亮度16*16预测，再根据宏块的纹理的方向性在选择的亮度预测策略所包含的亮度预测模式中进一步选择4个较优的亮度预测模式作为候选亮度预测模式，同时在色度预测策略所包含的色度预测模式中选择2个较优的色度预测模式作为候选色度预测模式，然后根据候选亮度预测模式和候选色度预测模式进行帧内预测编码，克服了现有技术中将亮度预测策略中所有亮度预测模式和色度预测策略中所有色度预测模式均作为候选模式的问题，使得后续在计算各种模式对应的代价值时工作量大大减少，在保持H.264/AVC编码性能的前提下，降低了计算的复杂度，大大减少了编码时间，从而更有利于H.264/AVC的实时编码和硬件设计。

附图说明

图1为现有技术中的H.264/AVC标准编码的整体框架示意图；

图2为现有技术中的帧内4*4预测块及其参考像素的示意图；

图3为本发明基于纹理特性的快速帧内预测方法实施例的流程图；

图4为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4预测策略的预测方向示意图；

图5为本发明基于纹理特性的快速帧内预测方法实施例中宏块的亮度分量的分割示意图；

图6a为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4块的像素分布示意图；

图6b为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4块的垂直方向上的像素示意图；

图6c为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4块的水平方向上的像素示意图；

图6d为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4块的下左对角方向上的像素示意图；

图6e为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4块的下右对角方向上的像素示意图；

图7为本发明基于纹理特性的快速帧内预测方法实施例中宏块的色度分量的分割示意图；

图8为本发明基于纹理特性的快速帧内预测方法实施例中采用本发明和H.264/AVC标准编码时QCIF序列的率失真曲线对比示意图；

图9为本发明基于纹理特性的快速帧内预测方法实施例中采用本发明和H.264/AVC标准编码时CIF序列的率失真曲线对比示意图；

图10为本发明基于纹理特性的快速帧内预测装置实施例的结构图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图3为本发明基于纹理特性的快速帧内预测方法实施例的流程图，如图3所示，本实施例提供了一种基于纹理特性的快速帧内预测方法，具体包括如下步骤：

步骤301，根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度。

在H.264/AVC编码标准中，通常以宏块为单位进行编码，宏块的大小为16*16，包括一个亮度块和两个色度块。其中，对于亮度块来说，其预测策略包括亮度4*4预测策略和亮度16*16预测策略两种，而对于色度块来说，其预测策略为色度8*8预测策略。在亮度4*4预测策略中，一共包括9种预测模式，分别为垂直预测模式(模式0)、水平预测模式(模式1)、直流(DirectCurrent；以下简称：DC)预测模式(模式2)、下左对角线预测模式(模式3)、下右对角线预测模式(模式4)、右垂直预测模式(模式5)、下水平预测模式(模式6)、左垂直预测模式(模式7)和上水平预测模式(模式8)。如图4所示为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4预测策略的预测方向示意图，在上述9中预测模式中，除了DC预测模式之外，其余8种预测模式均具有方向性，分别对应于图4中所示的八种方向。在亮度16*16预测策略中，一共包括4种预测模式，分别为垂直预测模式(模式0)、水平预测模式(模式1)、DC预测模式(模式2)和平面预测模式(模式3)，其中，除DC预测模式之外，其余3种预测模式均具有方向性。在色度8*8预测策略中，一共包括4种预测模式，分别为DC预测模式(模式0)、水平预测模式(模式1)、垂直预测模式(模式2)和水平预测模式(模式3)，其中，除DC预测模式之外，其余3种预测模式均具有方向性。

本步骤为在选择预测模式之前，先利用宏块的纹理的丰富程度选择亮度预测策略为亮度4*4预测策略或亮度16*16预测策略，由于亮度4*4预测策略多适合于纹理细节丰富的宏块，而亮度16*16预测策略则适合于纹理光滑平坦的宏块，因此，本实施例提供的帧内预测方法先通过判断一个宏块的纹理的丰富程度，来提前选择亮度4*4预测策略或亮度16*16预测策略作为亮度预测策略。

具体地，步骤301可以具体包括如下步骤：首先，将宏块分割为多个子块。图5为本发明基于纹理特性的快速帧内预测方法实施例中宏块的亮度分量的分割示意图，如图5所示，一个宏块被分割成16个大小为4*4的子块B₀、B₁...B₁₅，其中，每个子块均为一个4*4块，如子块B₀实际上包含的像素为a₀₀、a₀₁...a₃₃，本实施例中将分割后的各子块当成一个整体来看待。其次，根据每个子块的中心像素的亮度值计算子块的平均亮度值。本实施例中，为了更好地描述宏块中像素的变化情况，只考虑每个子块中的中心像素，即子块中位于最中心的四个像素作为中心像素，以子块B₀为例，中心像素为a₁₁、a₁₂、a₂₁和a₂₂。根据每个子块的中心像素的亮度值时，将每个宏块作为一个整体，计算各子块的亮度值，即计算每个子块的中心像素的亮度平均值，以每个4*4块中心处的四个像素的亮度平均值来表示该4*4小块的亮度值，可以具体采用如下公式(2)来计算得到子块B₀的平均亮度值：

B₀＝(a₁₁+a₁₂+a₂₁+a₂₂)/4 (2)

其中，a_i，j(i＝1，2；j＝1，2)为像素的亮度值，以公式(2)的方法也可以得到其余子块的平均亮度值。再次，根据各子块的平均亮度值的方差获取宏块的纹理的丰富程度。根据计算得到的各个子块的平均亮度值B_i(i＝0，1...15)来获取宏块的纹理的丰富程度，具体可以通过计算各子块的平均亮度值的方差来获取，具体可以采用下述公式(3)来计算：

$S^2=\frac{1}{16}\underset{i=0}{\overset{15}{\mathrm{\Σ}}}{(B_i-\stackrel{\‾}{B})}^2---\left(3\right)$

其中，

本实施例中通过计算各子块的平均亮度值的方差来获取宏块的纹理的丰富程度，各子块的平均亮度值的方差越大，表明该宏块的纹理细节较丰富，各子块的平均亮度值的方差越小，则表明该宏块的纹理光滑平坦。

步骤302，根据宏块的纹理的丰富程度选择亮度预测策略。

在计算得到宏块中各子块的亮度平均值的方差之后，根据该方差获取到该宏块的纹理的丰富程度，再由宏块的纹理的丰富程度来选择亮度预测策略。具体地，本步骤可以具体采用如下步骤完成：先根据经验值定义两个阈值，即第一阈值和第二阈值，通常可以将第一阈值设定为75，将第二阈值设定为560，第一阈值和第二阈值用来与计算得到的各子块的平均亮度值的方差做比较。判断该宏块的纹理的丰富程度是否小于预设的第一阈值，即判断上述计算得到的各子块的平均亮度值的方差是否小于预设的第一阈值，如果是，则只选择亮度16*16预测作为亮度预测策略。如果各子块的平均亮度值的方差大于预设的第一阈值，则继续判断该宏块的纹理的丰富程度是否大于预设的第二阈值，即判断上述计算得到的各子块的平均亮度值的方差是否大于预设的第二阈值，如果是，则只选择亮度4*4预测作为亮度预测策略。如果各子块的平均亮度值的方差大于预设的第一阈值，且小于预设的第二阈值，则将亮度16*16预测和亮度4*4预测均作为亮度预测策略。

步骤303，根据宏块的纹理的方向性在选择的亮度预测策略中选择候选亮度预测模式。

在完成上述亮度预测策略的选择之后，本步骤进一步在选择的亮度预测策略所包含的多种预测模式中选择候选亮度预测模式。对于亮度4*4预测策略来说，其中8个预测模式带有方向性，亮度4*4预测策略中的预测像素沿着相同的预测方向时应该对应相同的预测值，因此，本步骤通过推测该宏块的纹理的方向性在选择的亮度预测策略中来选择几个候选亮度预测模式。通过对亮度预测模式进行简化，而不是采用现有技术中的对所有亮度预测模式均进行分析计算其代价值，所以可以明显地降低计算复杂度。

具体地，当步骤302中所选择的亮度预测策略为亮度4*4预测时，本步骤303可以具体包括如下步骤：

首先，根据预测模式的方向性在4*4块像素中选择中间像素。在本实施例中，由于亮度4*4预测策略包括9种预测模式，而其中8种预测模式均具有方向性，根据预测模式的方向性在4*4块像素中选择中间像素，此处的中间像素只是为了与之前定义的中心像素作区别，并不具有其他的含义。如图6a为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4块的像素分布示意图，图6b-图6e分别为本发明基于纹理特性的快速帧内预测方法实施例中亮度4*4块的垂直方向上、水平方向上、下左对角方向上和下右对角方向上的像素示意图。其中，垂直方向对应于亮度4*4预测策略中的模式0，水平方向对应于亮度4*4预测策略中的模式1，下左对角方向对应于亮度4*4预测策略中的模式2，下右对角方向对应于亮度4*4预测策略中的模式3。如图6a-图6e所示，根据预测模式的方向性，在4*4块像素中选择中间像素，其中，对于图6b和图6c中的垂直方向和水平方向均选择12个像素作为中间像素，对于图6d和图6e中的下左对角方向和下右对角方向均选择9个像素作为中间像素。由于方向不同，所选择的具体像素也不同，在垂直方向上所选择的12个像素可以为y₁₁:y₃₄，在水平方向上所选择的12个像素可以为y₁₁:y₄₃，在下左对角方向上所选择的9个像素可以为y₁₂:y₃₄，在下右对角方向上所选择的9个像素可以为y₁₁:y₃₃。

其次，根据宏块中各像素的亮度值计算中间像素在不同方向上的方向梯度值，可以采用如下公式(4)来计算亮度4*4块在各个方向上的方向梯度：

F(x)＝|p(x+1)-p(x-1)|            (4)

其中，F(x)代表像素x的方向梯度，p(x-1)和p(x+1)表示在某一方向的相邻像素的亮度值。依照上述公式(4)，在计算亮度4*4块在不同方向上的方向梯度值时，具体可以采用如下公式(5)得到亮度4*4块在垂直方向上的方向梯度值M(0)：

$M\left(0\right)=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{4}{\mathrm{\Σ}}}|y_{i+1,j}-y_{i-1,j}|---\left(5\right)$

其中，y_i，j为(i，j)位置处的像素对应的亮度值，相应地，亮度4*4块在水平方向上的方向梯度值M(1)具体可以采用如下公式(6)得到：

$M\left(1\right)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\underset{j=1}{\overset{3}{\mathrm{\Σ}}}|y_{i,j+1}-y_{i,j-1}|---\left(6\right)$

对于如图6d和图6e所示的下左对角方向和下右对角方向来说，由于其中只有9个像素被选择，为了保持计算的一致性，在计算亮度4*4块在这两个方向上的方向梯度值时引入系数

具体可以分别采用如下公式(7)和(8)计算得到亮度4*4块在下左对角方向(对应于模式3)和下右对角方向(对应于模式4)上的方向梯度值M(3)和M(4)：

$M\left(3\right)=\frac{4}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=2}{\overset{4}{\mathrm{\Σ}}}|y_{i+1,j-1}-y_{i-1,j+1}|---\left(7\right)$

$M\left(4\right)=\frac{4}{3}\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{3}{\mathrm{\Σ}}}|y_{i+1,j+1}-y_{i-1,j-1}|---\left(8\right)$

其中，在上述公式(7)中用y_0，6代替y_1，5，用y_0，7代替y_2，5。而对于后续的右垂直方向(对应于模式5)、下水平方向(对应于模式6)、左垂直方向(对应于模式7)和上水平方向(对应于模式8)来说，其对应的亮度4*4块的方向梯度值可以利用公式(5)-(8)计算得到的M(0)、M(1)、M(3)和M(4)来获得，具体采用如下公式(9)-(12)得到：

M(5)＝(M(0)+M(4))/2     (9)

M(6)＝(M(1)+M(4))/2     (10)

M(7)＝(M(0)+M(3))/2     (11)

M(8)＝(M(1)+M(3))/2     (12)

再次，在亮度预测策略中选择方向梯度值中最小的三个方向梯度值对应的方向作为亮度4*4块的可能的纹理方向，将选择的亮度4*4块的可能的纹理方向对应的亮度预测模式以及直流预测模式作为候选亮度预测模式；

根据上述公式(5)-(12)计算得到亮度4*4块在8个方向上的方向梯度值之后，可以从该8个方向梯度值中选出三个最小方向梯度值，即对8个方向梯度值M(0)、M(1)、M(3)-M(8)进行降序排序后，排在最后三位的方向梯度值，将该三个方向梯度值所对应的方向作为亮度4*4块的可能的纹理方向，并将选择的亮度4*4块的可能的纹理方向对应的亮度预测模式作为候选亮度预测模式。另外，根据试验证实，DC预测模式在帧内预测中至关重要，因此，将DC模式直接作为候选亮度预测模式。本实施例在进行亮度预测时，克服了现有技术中将9种预测模式均作为候选预测模式的情况，从9种预测模式中选择了4种预测模式作为候选预测模式，可以使得编码时间明显减少。

优选地，当步骤302中所选择的亮度预测策略为亮度4*4预测时，为了进一步降低编码复杂度，本步骤303还可以包括如下步骤：在从8种带方向性的亮度预测模式中选择出较优的3种候选亮度预测模式之后，再继续对选出的候选亮度预测模式进行进一步的筛选，可以根据经验值事先定义两个阈值，即第三阈值和第四阈值，第三阈值可以设定为300，第四阈值可以设定为100。判断上述过程获得的三个方向梯度值中最小的方向梯度值和第二最小的方向梯度值的差值是否大于预设的第三阈值，即在三个候选亮度预测模式对应的三个方向梯度值中，最小方向梯度值和第二小方向梯度值之差是否大于第三阈值，如果是，则表明最小方向梯度值对应的方向作为亮度4*4块的纹理方向的概率显高于其它方向梯度值对应的方向。则只将最小方向梯度值对应的方向作为亮度4*4块的纹理方向，将该纹理方向对应的预测模式和DC预测模式作为候选亮度预测模式。如果最小方向梯度值和第二小方向梯度值之差小于第三阈值，则判断方向梯度值中最大的方向梯度值和最小的方向梯度值的差值是否小于预设的第四阈值，如果是，则表明各个模式作为最优模式的概率相差不大，则将亮度预测策略中所有亮度预测模式作为候选亮度预测模式。通过上述步骤，可以将候选亮度预测模式的数量由4个进一步减少到2个，使得编码复杂度得到进一步的降低。

具体地，当步骤302中所选择的亮度预测策略为亮度16*16预测时，本步骤303可以具体包括如下步骤：

首先，将16*16块分割为16个4*4块，并计算每个4*4块像素的平均亮度值。将亮度16*16块进行分割，分成16个4*4块，将每个4*4块作为一个整体看待，计算每个4*4块像素的平均亮度值，具体可以采用如下公式(13)计算得到：

$D_0=\left(\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\underset{j=0}{\overset{1}{\mathrm{\Σ}}}{y}_{i,j}\right)/4---\left(13\right)$

其中，D₀为第一个4*4块像素的平均亮度值，y_i，j为(i，j)位置处的像素的亮度值，可以参照上述公式(13)得到其余15个4*4块的平均亮度值D₁-D₁₅，因此，将亮度16*16块变成了一个由元素D₀-D₁₅组成的亮度4*4块。

其次，根据宏块的纹理的方向性在16个4*4块像素中选择中间像素。在本实施例中，由于亮度16*16预测策略包括4种预测模式，而其中3种预测模式均具有方向性，根据预测模式的方向性在16*16块像素中选择中间像素，具体方法可以依照上述亮度4*4预测策略中类似的方法，此处不再赘述。

再次，根据宏块中各4*4块像素的亮度值计算中间像素在不同方向上的方向梯度值，同样可以采用上述公式(4)来计算各4*4块在各个方向上的方向梯度，由此得到亮度16*16预测策略中3种带方向预测模式下对应的方向梯度值。

最后，在亮度16*16预测策略中选择最小的方向梯度值对应的方向作为亮度16*16块的纹理方向，然后选择该亮度16*16块的纹理方向对应的预测模式以及DC预测模式作为候选亮度预测模式。本实施例在进行亮度预测时，克服了现有技术中将4种预测模式均作为候选预测模式的情况，从4种预测模式中选择了2种预测模式作为候选预测模式，可以使得编码时间明显减少。

优选地，当步骤302中所选择的亮度预测策略为亮度16*16预测时，为了进一步降低编码复杂度，本步骤303还可以包括如下步骤：根据宏块中各像素的亮度值和预测值分别计算所选纹理方向对应的亮度预测模式的差值平方和(Sum of Squared Difference；以下简称：SSD)值和DC预测模式的SSD值，假设纹理方向对应的亮度预测模式为A模式，DC预测模式为B模式，具体可以分别采用如下公式(14)和(15)计算A模式的SSD值和B模式的SSD值：

$\mathrm{Val}\_A=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{(y_{i,j}-\mathrm{pA}\_y_{i,j})}^2---\left(14\right)$

$\mathrm{Val}\_B=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{(y_{i,j}-\mathrm{pB}\_y_{i,j})}^2---\left(15\right)$

其中，y_i，j是亮度16*16块在(i，j)处的亮度值，pA_y_i，j和pB_y_i，j分别是A模式和B模式下的预测值，Val_A是亮度16*16块和重构块在模式A下的SSD值，Val_B是亮度16*16块和重构块在模式B下的SSD值。判断A模式的SSD值和B模式的SSD值的差值是否大于预设的第五阈值，第五阈值可以根据经验值设定为110，如果A模式的SSD值和B模式的SSD值的差值是否大于预设的第五阈值，则只选择其中SSD值最小的模式作为候选亮度预测模式。通过上述步骤，将候选亮度预测模式的数量由2个进一步减少到1个，使得编码复杂度得到进一步的降低。

步骤304，根据宏块的纹理的方向性在色度预测策略中选择候选色度预测模式。

通过上述步骤，从亮度预测策略中选出了几种较优的预测模式作为候选亮度预测模式，本步骤为从色度预测策略，即色度8*8预测策略中也选择出几种较优的预测模式作为候选色度预测模式。由于色度8*8预测策略中包含的预测模式与亮度16*16预测策略中所包含的预测模式相同，只是顺序不同，因此，本实施例中在色度8*8预测策略包含的预测模式中选择候选色度预测模式的方法与亮度16*16预测策略所采用的方法是类似的。

具体地，本步骤304可以具体包括如下步骤：

首先，将8*8块分割为16个2*2块，并计算每个2*2块像素的平均色度值。如图7所示为本发明基于纹理特性的快速帧内预测方法实施例中宏块的色度分量的分割示意图，将色度8*8块进行分割，分成16个2*2块，将每个2*2块作为一个整体看待，计算每个2*2块像素的平均色度值，具体也可以采用上述公式(13)计算得到，因此，将色度16*16块变成了一个由元素D₀-D₁₅组成的色度4*4块。

其次，根据预测模式的方向性在16个2*2块像素中选择中间像素。在本实施例中，由于色度8*8预测策略包括4种预测模式，而其中3种预测模式均具有方向性，根据预测模式的方向性在8*8块像素中选择中间像素，具体方法可以依照上述亮度4*4预测策略中类似的方法，此处不再赘述。

再次，根据宏块中各2*2块像素的亮度值计算中间像素在不同方向上的方向梯度值，同样可以采用上述公式(4)来计算各2*2块在各个方向上的方向梯度，由此得到色度8*8预测策略中3种预测模式下对应的方向梯度值。

最后，计算得到色度8*8块在3种方向上的方向梯度值之后，从3种方向梯度值中选出最小的方向梯度值对应的方向作为色度8*8块的纹理方向，将该色度8*8块的纹理方向对应的模式作为候选色度预测模式。另外，将DC模式也直接作为候选色度预测模式。本实施例在进行色度预测时，克服了现有技术中将4中预测色度模式均作为候选色度预测模式的情况，从4种预测色度模式中选择了2种预测色度模式作为候选色度预测模式，可以使得编码时间明显减少。

优选地，为了进一步降低编码复杂度，本步骤304还可以包括如下步骤：根据宏块中各像素的色度值和预测值计算纹理方向对应的色度预测模式下的SSD值，并计算在DC预测模式下的SSD值，假设最小的方向梯度值对应的色度预测模式为A模式，DC预测模式为B模式，具体可以分别采用下述公式(16)和(17)计算A模式的SSD值和B模式的SSD值：

$\mathrm{Val}\_A=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{(c_{i,j}-\mathrm{pA}\_c_{i,j})}^2---\left(16\right)$

$\mathrm{Val}\_B=\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{(c_{i,j}-\mathrm{pB}\_c_{i,j})}^2---\left(17\right)$

经过计算获得A模式的SSD值和B模式的SSD值后，判断A模式的SSD值和B模式的SSD值的差值是否大于预设的第六阈值，第六阈值可以根据经验值设定为80，如果A模式的SSD值和B模式的SSD值的差值是否大于预设的第六阈值，则只选择其中SSD值最小的模式作为候选色度预测模式。通过上述步骤，将候选色度预测模式的数量由2个进一步减少到1个，使得编码复杂度进一步降低。

步骤305，根据选择的候选亮度预测模式和候选色度预测模式对宏块进行帧内预测编码。

在经过上述步骤完成候选亮度预测模式和候选色度预测模式的选择之后，便可以根据所选择的候选亮度预测模式和候选色度预测模式对宏块进行帧内预测编码，具体编码方法可以采用现有技术中的编码方法，此处不再赘述。

发明人在实现本发明的过程中，针对本发明提出的方法与现有技术中的方法进行了实验比对，具体的试验条件如下所示：

(a)测试序列：CIF(4:2:0)and QCIF(4:2:0)

(b)编码的帧数为300，QP取28，打开RDO控制

(c)所有帧用I帧编码

$\left(d\right)\mathrm{\ΔTIME}(\%)=\frac{\mathrm{TIME}\left(\mathrm{proposed}\right)-\mathrm{TIME}\left(\mathrm{JM}\right)}{\mathrm{TIME}\left(\mathrm{JM}\right)}\×100$

$\left(e\right),\mathrm{\ΔB}/R(\%)=\frac{\mathrm{Bitrate}\left(\mathrm{proposed}\right)-\mathrm{Bitrate}\left(\mathrm{JM}\right)}{\mathrm{Bitrate}\left(\mathrm{JM}\right)}\×100$

(f)ΔPSNR(％)＝PSNR(proposed)-PSNR(JM)

根据上述实验条件得到了如下表(1)和表(2)所示的实验结果，其中，表(1)是量化式通用中间格式(Quarter Common Intermediate Format；以下简称：QCIF)序列采用本发明和H.264/AVC标准算法编码的比较结果，表(2)是通用中间格式(Common Intermediate Format；以下简称：CIF)序列采用本发明和H.264/AVC标准算法编码的比较结果。

表(1)QCIF序列的试验结果

视频序列	ΔPSNR[dB]	ΔB/R[％]	ΔTime[％]
				Forman	-0.021	1.509	-74.78
News	-0.038	3.427	-78.01
				Container	-0.044	3.167	-77.52
Silent	-0.035	1.606	-76.48
				Coastguard	-0.032	0.978	-72.13
Average	-0.034	2.137	-75.78

表(2)CIF序列的试验结果

视频序列	ΔPSNR[dB]	ΔB/R[％]	ΔTime[％]
				Pairs	-0.029	2.760	-80.68
Mobile	-0.076	1.500	-81.42
				Template	-0.058	1.854	-81.35

Stefan	-0.094	1.997	-82.30
				Average	-0.064	2.028	-81.44

从上述比较结果可以看出，对于QCI F序列来说，采用本发明的方法，编码时间能够平均减少75％，仅仅0.034的PSNR下降和2％左右的码率增加。对于CIF序列来说，采用本发明的方法，编码时间能够平均减少81％，仅仅0.064％的PSNR下降和2％左右的码率增加。如图8和图9所示分别为QCIF序列“News”和CIF序列“Mobile”采用本发明和H.264/AVC标准编码的率失真曲线示意图。

本实施例提供了一种基于纹理特性的快速帧内预测方法，先根据宏块的纹理的丰富程度选择亮度预测策略为亮度4*4预测或亮度16*16预测，再根据宏块的纹理的方向性在选择的亮度预测策略所包含的亮度预测模式中进一步选择4个较优的亮度预测模式作为候选亮度预测模式，同时在色度预测策略所包含的色度预测模式中选择2个较优的色度预测模式作为候选色度预测模式。进一步地，本实施例提供的帧内预测方法还可以对候选亮度预测模式和候选色度预测模式的范围进一步地缩小，将4个候选亮度预测模式的个数减少为2个，将2个候选色度预测模式的个数减少为1个，然后根据候选亮度预测模式和候选色度预测模式进行帧内预测编码；本实施例提供的方法克服了现有技术中将亮度预测策略中所有亮度预测模式和色度预测策略中所有色度预测模式均作为候选模式的问题，使得后续在计算各种模式对应的代价值时工作量大大减少，在保持H.264/AVC编码性能的前提下，降低了计算的复杂度，大大减少了编码时间，从而更有利于H.264/AVC的实时编码和硬件设计。

图10为本发明基于纹理特性的快速帧内预测装置实施例的结构图，如图10所示，本实施例提供了一种基于纹理特性的快速帧内预测装置，具体可以包括获取模块1、策略选择模块2、第一模式选择模块3、第二模式选择模块4和编码模块5。其中，获取模块1用于根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度。策略选择模块2用于根据获取模块1获取的所述宏块的纹理的丰富程度选择亮度预测策略。第一模式选择模块3用于根据所述宏块的纹理的方向性在策略选择模块2选择的所述亮度预测策略中选择候选亮度预测模式。第二模式选择模块4用于根据宏块的纹理的方向性在色度预测策略中选择候选色度预测模式。编码模块5用于根据第一模式选择模块3选择的所述候选亮度预测模式和第二模式选择模块4选择的所述候选色度预测模式对所述宏块进行帧内预测编码。

具体地，当策略选择模块2选择的亮度预测策略为亮度4*4预测时，第一模式选择模块3可以包括：第一像素选择单元、第一计算单元和第一选择单元。其中，第一像素选择单元用于根据预测模式的方向性在4*4块像素中选择中间像素。第一计算单元用于根据所述宏块中各像素的亮度值计算所述中间像素在不同方向上的方向梯度值。第一选择单元用于在亮度预测策略中选取方向梯度值中最小的三个方向梯度值对应的方向作为亮度4*4块的可能的纹理方向，将选择的亮度4*4块的纹理方向对应的亮度预测模式以及直流预测模式作为候选亮度预测模式。

或者，当策略选择模块2选择的亮度预测策略为亮度16*16预测时，第一模式选择模块3可以包括：第一分割单元、第二像素选择单元、第二计算单元和第二选择单元。其中，第一分割单元用于将16*16块分割为16个4*4块，并计算每个4*4块像素的平均亮度值。第二像素选择单元用于根据所述宏块的纹理的方向性在16个4*4块像素中选择中间像素。第二计算单元用于根据所述宏块中各4*4块像素的平均亮度值计算所述中间像素在不同方向上的方向梯度值。第二选择单元用于在亮度预测策略中选取梯度值中最小值对应的方向作为亮度16*16块的纹理方向，并将选择的亮度16*16块的纹理方向对应的亮度预测模式以及直流预测模式作为候选亮度预测模式。

进一步地，第二模式选择模块4可以包括：第二分割单元、第三像素选择单元、第三计算单元和第三选择单元。其中，第二分割单元用于将8*8块分割为16个2*2块，并计算每个2*2块像素的平均色度值。第三像素选择单元用于根据预测模式的方向性在16个2*2块像素中选择中间像素。第三计算单元用于根据所述宏块中各2*2块像素的平均色度值计算所述中间像素在不同方向上的方向梯度值。第三选择单元用于在色度预测策略中选取方向梯度值中最小值对应的方向作为色度8*8块的纹理方向，将选择的色度8*8块的纹理方向对应的色度预测模式以及直流预测模式作为候选色度预测模式。

需要指出的是，本实施例提供的基于纹理特性的快速帧内预测装置是与上述方法相对应的装置，其可以采用上述方法的具体实现过程来实现对应的装置的技术方案，此处不再赘述。

本实施例提供了一种基于纹理特性的快速帧内预测装置，通过设置获取模块、策略选择模块、第一模式选择模块、第二模式选择模块和编码模块，先根据宏块的纹理的丰富程度选择亮度预测策略为亮度4*4预测或亮度16*16预测，再根据宏块的纹理的方向性在选择的亮度预测策略所包含的亮度预测模式中进一步选择4个较优的亮度预测模式作为候选亮度预测模式，同时在色度预测策略所包含的色度预测模式中选择2个较优的色度预测模式作为候选色度预测模式，然后根据候选亮度预测模式和候选色度预测模式进行帧内预测编码，克服了现有技术中将亮度预测策略中所有亮度预测模式和色度预测策略中所有色度预测模式均作为候选模式的问题，使得后续在计算各种模式对应的代价值时工作量大大减少，在保持H.264/AVC编码性能的前提下，降低了计算的复杂度，大大减少了编码时间，从而更有利于H.264/AVC的实时编码和硬件设计。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于纹理特性的快速帧内预测方法，其特征在于，包括：

根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度；

根据所述宏块的纹理的丰富程度选择亮度预测策略；

根据所述宏块的纹理的方向性在选择的所述亮度预测策略中选择候选亮度预测模式；

根据所述宏块的纹理的方向性在色度预测策略中选择候选色度预测模式；

根据选择的所述候选亮度预测模式和所述候选色度预测模式对所述宏块进行帧内预测编码。

2.根据权利要求1所述的方法，其特征在于，所述根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度包括：

将宏块分割为多个子块；

根据每个所述子块的中心像素的亮度值计算所述子块的平均亮度值；

根据各所述子块的平均亮度值的方差获取所述宏块的纹理的丰富程度。

3.根据权利要求1所述的方法，其特征在于，所述根据所述宏块的纹理的丰富程度选择亮度预测策略包括：

判断所述宏块的纹理的丰富程度是否小于预设的第一阈值，如果是，则选择亮度16*16预测作为亮度预测策略，否则继续判断所述宏块的纹理的丰富程度是否大于预设的第二阈值，如果是，则选择亮度4*4预测作为亮度预测策略，否则选择所述亮度16*16预测和所述亮度4*4预测作为亮度预测策略。

4.根据权利要求3所述的方法，其特征在于，当所述选择的亮度预测策略为亮度4*4预测时，所述根据所述宏块的纹理的方向性在选择的所述亮度预测策略中选择候选亮度预测模式包括：

根据预测模式的方向性在4*4块像素中选择中间像素；

根据所述宏块中各像素的亮度值计算所述中间像素在不同预测方向上的方向梯度值；

在所述亮度预测策略中选取方向梯度值中最小的三个方向梯度值对应的方向作为亮度4*4块的纹理方向，将选择的所述亮度4*4块的纹理方向对应的亮度预测模式以及直流预测模式作为候选亮度预测模式；

或者，

当所述选择的亮度预测策略为亮度16*16预测时，所述根据所述宏块的纹理的方向性在选择的所述亮度预测策略中选择候选亮度预测模式包括：

将16*16块分割为16个4*4块，并计算每个4*4块像素的平均亮度值；

根据预测模式的方向性在16个4*4块像素中选择中间像素；

根据所述宏块中各4*4块像素的平均亮度值计算所述中间像素在不同预测方向上的方向梯度值；

在所述亮度预测策略中选取方向梯度值中最小值对应的方向作为亮度16*16块的纹理方向，将选择的所述亮度16*16块的纹理方向对应的亮度预测模式以及直流预测模式作为候选亮度预测模式。

5.根据权利要求1所述的方法，其特征在于，所述根据所述宏块的纹理的方向性在色度预测策略中选择候选色度预测模式包括：

将8*8块分割为16个2*2块，并计算每个2*2块像素的平均色度值；

根据预测模式的方向性在16个2*2块像素中选择中间像素；

根据所述宏块中各2*2块像素的平均色度值计算所述中间像素在不同预测方向上的方向梯度值；

在所述色度预测策略中选取方向梯度值中最小值对应的方向作为色度8*8块的纹理方向，将选择的所述色度8*8块的纹理方向对应的色度预测模式以及直流预测模式作为候选色度预测模式。

6.根据权利要求4所述的方法，其特征在于，当所述选择的亮度预测策略为亮度4*4预测时，还包括：

判断所述最小的三个方向梯度值中最小的方向梯度值和第二最小的方向梯度值的差值是否大于预设的第三阈值，如果是，则只将所述最小的方向梯度值对应的方向作为亮度4*4块的纹理方向，将所述亮度4*4块的纹理方向对应的预测模式和直流预测模式作为候选亮度预测模式，否则判断方向梯度值中最大的方向梯度值和最小的方向梯度值的差值是否小于预设的第四阈值，如果是，则将亮度预测策略中所有亮度预测模式作为候选亮度预测模式；

或者，

当所述选择的亮度预测策略为亮度16*16预测时，还包括：

根据所述宏块中各像素的亮度值和预测值计算所述亮度16*16块的纹理方向对应的亮度预测模式的差值平方和SSD值和所述直流预测模式的差值平方和SSD值；

判断所述亮度16*16块的纹理方向对应的亮度预测模式的SSD值和所述直流预测模式的SSD值的差值是否大于预设的第五阈值，如果是，则只选择最小的SSD值对应的模式作为候选亮度预测模式。

7.根据权利要求5所述的方法，其特征在于，还包括：

根据所述宏块中各像素的色度值和预测值计算所述色度8*8块的纹理方向对应的色度预测模式的差值平方和SSD值和所述直流预测模式的差值平方和SSD值；

判断所述色度8*8块的纹理方向对应的色度预测模式的SSD值和所述直流预测模式的SSD值的差值是否大于预设的第六阈值，如果是，则只选择最小的SSD值对应的模式作为候选色度预测模式。

8.一种基于纹理特性的快速帧内预测装置，其特征在于，包括：

获取模块，用于根据宏块中各像素的亮度值获取所述宏块的纹理的丰富程度；

策略选择模块，用于根据所述获取模块获取的所述宏块的纹理的丰富程度选择亮度预测策略；

第一模式选择模块，用于根据所述宏块的纹理的方向性，在所述策略选择模块选择的所述亮度预测策略中选择候选亮度预测模式；

第二模式选择模块，用于根据所述宏块的纹理的方向性在色度预测策略中选择候选色度预测模式；

编码模块，用于根据所述第一模式选择模块选择的所述候选亮度预测模式和所述第二模式选择模块选择的所述候选色度预测模式对所述宏块进行帧内预测编码。

9.根据权利要求8所述的装置，其特征在于，当所述策略选择模块选择的亮度预测策略为亮度4*4预测时，所述第一模式选择模块包括：

第一像素选择单元，用于根据预测模式的方向性在4*4块像素中选择中间像素；

第一计算单元，用于根据所述宏块中各像素的亮度值计算所述中间像素在不同预测方向上的方向梯度值；

第一选择单元，用于在所述亮度预测策略中选取方向梯度值中最小的三个方向梯度值对应的方向作为亮度4*4块的纹理方向，将选择的所述亮度4*4块的纹理方向对应的亮度预测模式以及直流预测模式作为候选亮度预测模式；

或者，

当所述策略选择模块选择的亮度预测策略为亮度16*16预测时，所述第一模式选择模块包括：

第一分割单元，用于将16*16块分割为16个4*4块，并计算每个4*4块像素的平均亮度值；

第二像素选择单元，用于根据预测模式的方向性在16个4*4块像素中选择中间像素；

第二计算单元，用于根据所述宏块中各4*4块像素的平均亮度值计算所述中间像素在不同预测方向上的方向梯度值；

第二选择单元，用于在所述亮度预测策略中选取方向梯度值中最小值对应的方向作为亮度16*16块的纹理方向，并将选择的所述亮度16*16块的纹理方向对应的亮度预测模式以及直流预测模式作为候选亮度预测模式。

10.根据权利要求8所述的装置，其特征在于，所述第二模式选择模块包括：

第二分割单元，用于将8*8块分割为16个2*2块，并计算每个2*2块像素的平均色度值；

第三像素选择单元，用于根据所述预测模式的方向性在16个2*2块像素中选择中间像素；

第三计算单元，用于根据所述宏块中各2*2块像素的平均色度值计算所述中间像素在不同预测方向上的方向梯度值；

第三选择单元，用于在所述色度预测策略中选取梯度值中最小值对应的方向作为色度8*8块的纹理方向，并将选择的所述色度8*8块的纹理方向对应的色度预测模式以及直流预测模式作为候选色度预测模式。

Images