CN108429911A - 一种高效视频编码率失真优化量化方法 - Google Patents

Abstract

本发明公开了一种高效视频编码率失真优化量化方法，该方法将待处理的TB分割为子块，将扫描顺序上连续的多个系数称为路径，将子块内部的路径部分称为子路径，将该率失真优化量化方法转换为TB内部的最佳路径搜索以及各子块内部的最佳路径搜索,最佳路径搜索均以找到度量最低的合法路径为目标，路径的度量为其拉格朗日代价，本发明在硬件上更容易执行，可以配合精确码率估计，并具有固定的延迟以及合理的吞吐率。

Description

一种高效视频编码率失真优化量化方法

技术领域

本发明涉及数字视频处理领域，特别是涉及一种高效视频编码率失真优化量化方法。

背景技术

为了支持下一代的高清视频应用HEVC，联合视频编码组(Joint CollaborativeTeam on Video Coding,JVT-VC)提出了高效视频编码(High Efficiency Video Coding，HEVC)作为新一代的通用视频编码标准。借助可扩展的4叉树分解及各类先进的编码工具，HEVC可以适应多变的分辨率/终端/场景，并能够在一半的比特率下提供接近于先进视频编码(Advanced Video Coding，AVC)质量的视频。

在这些先进编码工具中，率失真优化方法(Rate-Distortion Optimization,RDO)是重要的一项。RDO引入编码过程自AVC起，但在HEVC中RDO的应用范围更为广泛，其贯穿HEVC的整个编码流程。

对于一个有损视频编码标准，码率与失真通常为负相关。更高的压缩率带来更低的码率但同时会增加失真，反之亦然。为了做出适当的折衷，考虑拉格朗日率失真(Rate-Distortion,RD)公式：

J＝D+λR

其中J为代价，D为失真，R为码率(率)，λ为拉格朗日系数。则RDO过程即调整编码过程使J最小化的过程。

理论上RDO在编码的各个牵涉选择的环节中都可以应用，在量化环节中，RDO与量化结合的产物即率失真优化量化(Rate-Distortion Optimized Quantization,RDOQ)。与普通的量化方法中独立的处理每一个变换系数不同，RDOQ在编码过程中通过RDO方法对变换系数的多个量化值进行选择，从而提升编码器在RD指标下编码性能的过程。相比普通的量化步骤，RDOQ可以提升0.5dB的编码性能之多。

HEVC的量化编码基本单元是变换块(Transform Block,TB)。亮度TB及相关的色度TB组成量化单元(Transform Unit，TU)。本质上，HEVC的RDOQ是在TB内所有系数构成的空间内以拉格朗日率失真公式为代价函数，寻找RD代价最小点的过程。HEVC的可伸缩特性导致TB的尺寸可以小到4×4块，大到32×32块。HEVC的TB最多可包含32×32＝1024个系数，考虑到变换系数空间的体积随系数数量增加呈指数方式增长，因此一般来说对整个系数空间进行测试是不可能的。为了解决这个问题，HEVC的参考模型HM中按照以下的步骤实现RDOQ以将运算量降低至可以软件实现的程度：

步骤一，块扫描:待处理的TB被分割为子块，每个子块大小为4x4个变换系数。各个子块按HEVC规定的扫描顺序依次进行处理。不同的预测模式下扫描顺序可能不同，但高频系数通常总是排在前面。这一步骤与所述普通的量化步骤相同。

1.1扫描：对于当前正在处理的子块B_i，按HEVC标准所指定的扫描顺序将其转化为16x1的一维数组(不同的预测模式下扫描顺序可能不同，但高频系数通常总是排在前面)。这一步骤与所述普通的量化步骤相同。

1.1.1量化及单系数的优化：依次重复对于每一个16×1的系数进行量化操作。

sgn(c)＝sgn(Y_i,j)

其中|c|为量化后系数的幅值，sgn(c)为量化后系数的符号。

G_MF为乘数因子，是一个与量化参数(quantization parameter,QP)相关的常数。f为量化偏移。为向下取整操作。i为子块的索引，j为子块内系数的索引，两者均按HEVC标准的扫描顺序。

由于在HEVC码流中|c|与sgn(c)分别存储，因此并不需要确实将系数c计算出来。

以上过程与HEVC普通的量化步骤相同，但f的定义存在差异，细节不再赘述。

1.1.2 RDOQ过程中，对每一个系数Y_i,j，会尝试将其量化为以下的量化值：

sgn(c_i,j)＝sgn(c)

注意多个分支可以同时成立，|c_i,j|最多有三种可能性。

对于每一个不同的量化值c_i,j分别计算其R及D，并使用RD代价函数计算其代价J，随后在三者中选出使得J取得最小的c_i,j,记其为由于J的精确值对于选择量化系数而言并不重要，此处可以仅计算不同量化值下J的差异。

J的计算中，D由于变换的正交性因此可以直接在变换域中计算，不再赘述。而R的计算相对比较复杂。HEVC中与TB相关的率包含以下部分：

首先是每个TB只存在一份的语法元素引入的率，方便起见我们称其为子块间率，其中：

R₀:编码TskipFlag引入的率(对应语法元素transform_skip_flag)；

R₁:编码LastXY引入的率(对应语法元素last_sig_coeff_x_prefix/last_sig_coeff_y_prefix/last_sig_coeff_x_suffix/last_sig_coeff_y_prefix)；

而后是各子块B_i引入的率，方便起见我们称其为子块内率，其中：

R_2,i:子块B_i的CBF(Coefficient Block Flag,对应语法元素significant_coeff_group_flag)引入的率

R_3,i:子块B_i的SCF(Significant Coefficient Flag，对应语法元素significant_coeff_flag)/GTR1(Greater than 1，对应语法元素coeff_abs_level_greater1_flag)/GTR2(Greater than 2，对应语法元素coeff_abs_level_greater2_flag)/CSF(对应语法元素coeff_sign_flag)/CR(对应语法元素coeff_abs_level_remaining)引入的率。

TB的率R就是以上各项之和

其中N_TB为TB包含的子块数量。

由于HEVC采用基于句法的上下文自适应二进制算术编码(Syntax-basedcontext-adaptive Binary Arithmetic Coding,Syntax-based CABAC)，率的估计是一个较为复杂的问题，。本质上率估计方法是对于CABAC编码器生成码流长度的估计，而这个长度是由CABAC编码器内部上下文所经历的编码内容历史所决定的，也就是说任何一个系数所带来的率，受到之前所有共享同一上下文索引的系数的影响。因此对于所有共用上下文模型的系数而言，一个精确的估计需要严格的按照编码顺序逐个的进行。这严格的限制了率估计算法的并行度，也意味着对率估计算法吞吐率的限制。为此HM使用了基于表的快速率估计方法，对于其细节不再赘述，但这一方法并不适合硬件实现。

1.2计算完成B_i内所有后，计算B_i的总率R_2,i+R_3,i与总失真D_i，并使用RD代价函数计算B_i的总代价J_i。

1.3如果B_i包含第一个非零系数或者i＝N_TB-1，那么执行步骤0。否则计算将设置为全0时的代价J′_i，并将其与J_i相比。如果更小则将设置为全0，反之维持不变。

1.4若i＝N_TB则跳至步骤二，否则i←i+1并重复步骤0。

步骤二，按HEVC标准规定的扫描顺序，从TB内第一个系数开始依次检查每一个绝对值等于1的计算将及之前的所有系数置0后TB的总代价，直到发现一个绝对值大于1的系数或者检查完所有的系数为止。将这个过程中找到的具有最小总代价的系数位置及其之前的系数全部置为0。

步骤三，如果语法元素sign_data_hide_enable_flag置0，那么RDOQ过程到此结束，否则进行步骤四。

步骤四，按HEVC规定的扫描顺序对于每一个子块B_i，按HEVC规定的扫描顺序对每一个系数依次进行。

步骤4.1，检查当前子块B_i内最后一个系数的极性，如果是正的且子块内所有系数和为偶数或者为负的且所有系数为奇数，则选择下一个子块，并重复步骤4.1，如果没有下一个子块，则结束RDOQ过程。

步骤4.2，从子块的第一个系数开始，将一个系数-1或者+1，如果系数原先为0则只选择与Y_i,j相同的1或者-1。计算修改后的总代价。重复以上步骤并比较依次修改所有16个系数后的总代价，选择总代价最低的修改方式。

步骤4.3，跳转步骤4.1直至TB内全部子块被处理完毕。

HM中的RDOQ过程相当复杂，需要依次的执行4个步骤。特别的，四个步骤中需要反复的扫描系数以更新率估计，无法并行化，这对于实现一个具有可接受吞吐率的RDOQ硬件模块不利。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种适用于HEVC硬件编码器的率失真优化量化方法，其在硬件上更容易执行，可以配合精确率估计，并具有固定的延迟以及合理的吞吐率。

为达上述及其它目的，本发明提出一种高效视频编码率失真优化量化方法，其特征在于：将待处理的TB分割为子块，将扫描顺序上连续的多个系数称为路径，将子块内部的路径部分称为子路径，将该率失真优化量化方法转换为TB内部的最佳路径搜索以及各子块内部的最佳路径搜索,最佳路径搜索均以找到度量最低的合法路径为目标，路径的度量为其拉格朗日代价

进一步地，于TB内部的最佳路径搜索中，将各个子路径的全0/非全0状态视为状态空间，并使用M算法进行搜索以获取最低代价的路径。

进一步地，于TB内部的最佳路径搜索中，限制路径为一条非全0路径以及一条全0路径。

进一步地，该TB内部的最佳路径搜索的搜索过程为：

将非全0路径P₀初始化代价Γ₀为Γ_inf，Γ_inf为无穷大，全0路径P′₀初始化代价Γ′₀为0，子块的索引值i＝0,n按HEVC标准规定的扫描顺序对子块进行索引；

对当前子块B_i进行搜索，执行子块B_i内部的最佳路径搜索，得到通过B_i的最优路径p_i及其度量ρ_i、全零路径及其度量

计算将B_i编码为非0/全0块需要的率R_2,i及R′_2,i；

更新路径；

更新i←i+1，←表示赋值操作。

重复以上步骤直至i＝N_TB；

比较与

若那么

否则

其中P_RDOQ即为TB通过RDOQ后获得的量化结果。

进一步地，更新路径操作如下：

Γ_i+1＝ρ_i+λR_2,i

P_i+1＝p_i

对路径及子路径的“+”操作表示连接以获得延长后的路径。

进一步地，于子块内部的最佳路径搜索中，将每个子块按照HEVC标准规定的扫描顺序转化为16×1的序列。而每一个系数Y_i,j选择两个或者三个量化值，子块内所有的系数的可能状态组成了一个16×3的空间。

进一步地，将子块内的子路径搜索问题转换为在16×3的格点上寻找最优路径的问题。

进一步地，于子块内部的最佳路径搜索中，使用M算法在格点上进行搜索。

进一步地，子块内部的最佳路径搜索过程如下：

首先初始化子路径，子路径p_i,0,0～p_i,0,1起始于两个起始状态，起始点对应子块外部的路径，分别等于P_i及P′_i，路径度量ρ_i,0,0～ρ_i,0,1使用对应Γ_i及Γ_i′进行初始化，ρ_i,0,2～ρ_i,0,M-1则初始化为ρ_inf，

每一个系数Y_i,j的量化值有2或者3种可能，将其记为s_i,j,0～s_i,j,2，分别对应于系数Y_i,j被量化为不同的值，其中

s_i,j,0：|c_i,j|＝0

其中某些量化值s_i,j,x可能小于0或者与其他量化值s_i,j,y重复且y<x，此时设定b_i,j,m,x＝ρ_inf，否则令b_i,j,m,x为将路径p_i,j,m延伸至系数s_i,j,x所增加的度量值，称为分支度量，此延伸称为分支，此系数s_i,j,m称为s_i,j,m,x；

每一步的搜索中子路径的数量从M增加为3M条：

ρ′_i,j+1,m,x＝ρ_i,j,m+b_i,j,m,x

p′_i,j+1,m,x＝p_i,j,m+s_i,j,m,x；

其中x∈[0,2]

对ρ′_i,j+1,m,j进行排序，选出对应ρ最小的M条子路径保存下来，即留存子路径p_i,j+1,m；在排序过程中保留一条路径它始于P′_i且在每个分支上都选择s_i,j,0，即有：

如果语法元素sign_data_hide_enable_flag置1，那么保证所有留存路径被排序时在路径以外有一条路径满足以下约束之一：

j_s≥12

如果度量最小的M条子路径(不包括)中没有满足约束的子路径，则按ρ′_i+1,m,j从小到大顺序第一条满足上述约束的子路径用来取代M条路径中度量最大的一条路径(不包括),

以上过程将重复，且每一步j会递增直至j＝16。

此时，若sign_data_hide_enable_flag＝0,则

p_i＝p′_i,M,0

其他情况下,

p_i＝p′_i,M,t

其中t为满足约束

j_s≥12

的最小自然数，即为当前子块B_i的子路径搜索结果，对当前子块B_i进行搜索过程结束。

与现有技术相比，本发明是一种适用于HEVC硬件编码器的率失真优化量化方法，通过将RDOQ问题转化为TB内部的最佳路径搜索问题以及子块内的最佳路径搜索问题，整个最佳路径搜索过程中每一个变换系数都只需要一次处理，无需反复的扫描过程，使得其在硬件上更容易执行，能够配合精确率估计，并具有固定的延迟以及合理的吞吐率。

附图说明

图1为本发明较佳实施例中子块间路径搜索示意图；

图2为本发明较佳实施例中子块内部的路径搜索示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

本发明将量化后系数全部为0的子块称为全0子块，其余情况则称为非全零子块。将扫描顺序上连续的多个系数称为路径，将子块内部的路径部分称为子路径，则本发明把RDOQ问题分解为两个部分：TB内部的最佳路径搜索以及子块内部的最佳路径搜索。最佳路径搜索均以找到度量最低的合法路径为目标，而路径的度量即其拉格朗日代价。

先来看TB子块间的搜索，请参考图1所示。可以将各个子路径的全0/非全0状态视为状态空间，并使用M算法(通信领域常用的一类算法)进行搜索以获取最低代价的路径，称为块间路径。但由于块间路径会通过CBF以及CABAC编码器的上下文状态影响子路径的最优值。因此每一块间路径都可能对应子块内不同的最优解，这带来子块内搜索额外的运算量。因此本发明中限制块间路径为一条非全0路径(路径上存在至少一个子块非全0)以及一条全0路径(路径上所有子块都是全0)。由于计算全0路径的代价不需要搜索，因此在子块内搜索最佳子路径时只需要对非0路径进行搜索操作，这降低了运算量，简化了硬件实现。

具体地，TB子块间的搜索过程如下：

将非全0路径P₀初始化代价Γ₀为Γ_inf，Γ_inf为正无穷大，全0路径P′₀初始化代价Γ′₀为0，子块的索引值i＝0,按HEVC标准规定的扫描顺序对子块进行索引。

首先对当前子块B_i进行搜索，执行后续子块内的最佳路径搜索，得到通过B_i的最优路径p_i及其度量ρ_i、全零路径及其度量

而后计算将B_i编码为非0/全0块需要的率R_2,i及R′_2,i。

随后更新路径：

Γ_i+1＝ρ_i+λR_2,i

P_i+1＝p_i

对路径及子路径的“+”操作表示连接以获得延长后的路径。

而后更新i←i+1，←表示赋值操作。

重复以上步骤直至i＝N_TB。

此时比较与

如果那么

否则

其中P_RDOQ即为TB通过RDOQ后获得的量化结果。

以下说明子块内的最佳路径搜索问题，请参考图2所示：

一个子块按照HEVC标准规定的扫描顺序可以转化为16×1的序列。而每一个系数Y_i,j可以选择两个或者三个量化值，与背景技术中的步骤0一致，对应着两个或者三个状态。简单起见认为所有系数都可以量化为3个值，但其中某个状态在搜索中不可到达。则子块内所有的系数的可能状态组成了一个16×3的空间。那么子块内的子路径搜索问题也就转换为在16×3的格点上寻找最优路径的问题，其中最优的含义为子路径对应的量化系数在RD判据下具有最低的代价。由于率与路径相关的特性，路径上各个格点所带来的代价与路径历史本身相关，因此在16×3的格点上的Viterbi算法并不能保证获得最优解。因此本发明使用M算法在格点上进行搜索工作。

在搜索过程中，对于每一个系数Y_i,j，一共保留M条子路径p_i,j,0～p_i,j,M-1，其对应的子路径度量为ρ_i,j,0～ρ_i,j,M-1。且ρ_i,j,x≤ρ_i,j,y,0≤x≤y<M。此处的路径为前述路径P_n及P′_n在子块中的延伸部分。i表示正在处理的系数在子块内的索引，i也表示子路径的长度，且i∈[0,16]。特别的，p_0,0～p_0,M-1为初始状态。但由于搜索起始路径只有两个(P_n及P′_n)，因此最开始有可能有效子路径数<M，此时只保持部分子路径有效。其余子路径的度量将被设置为无穷大ρ_inf(但实现可能使用一个无法达到的大数字)，这使得它们无效。一般的，随着搜索的进行，有效子路径数会迅速的增加以至于它会大于任何合理的M值。

首先初始化子路径，子路径p_i,0,0～p_i,0,1起始于两个起始状态，起始点对应子块外部的路径，分别等于P_i及P′_i。路径度量ρ_i,0,0～ρ_i,0,1使用对应Γ_i及Γ_i′进行初始化。ρ_i,0,2～ρ_i,0,M-1则初始化为ρ_inf。

由于每一个系数Y_i,j的量化值有2或者3种可能，我们将其记为s_i,j,0～s_i,j,2，分别对应于系数Y_i,j被量化为不同的值。

s_i,j,0：|c_i,j|＝0

此过程与背景技术中的步骤0一致，不同之处在于s_i,j,0对于任何Y_i,j都可用，某些量化值s_i,j,x可能小于0或者与其他量化值s_i,j,y重复且y<x，此时设定b_i,j,m,x＝ρ_inf，否则令b_i,j,m,x为将路径p_i,j,m延伸至系数s_i,j,x所增加的度量值，称为分支度量，此延伸称为分支，此系数s_i,j,m称为s_i,j,m,x。这是为了简化全0路径的处理。

因此在每一步的搜索中，j增加1，对应于每一条子路径p_i,j,m存在分支到达状态s₀～s₂，分支对应的度量为b_i,j,m,0～b_i,j,m,2，即编码Y_i,j增加的代价。考虑到代价的定义，即有ΔJ＝ΔD+λΔR，即可以通过编码Y_i,j所增加的失真ΔD以及率ΔR算出。由于每次仅需考虑一个系数的增量，这一过程适合硬件实现，并可使用精确的率估计方法以相对HM的近似率估计算法进一步的提升性能，细节不再赘述。对于不可到达或者由于重复需要删除的状态则通过设定其度量为无穷大实现。因此每一步的搜索中子路径的数量从M增加为3M：

ρ′_i,j+1,m,x＝ρ_i,j,m+b_i,j,m,x

p′_i,j+1,m,x＝p_i,j,m+s_i,j,m,x

在标准的M算法中，后续会对ρ′_i,j+1,m,j进行排序，选出对应ρ最小的M条子路径保存下来，即留存子路径p_i,j+1,m。但由于RDOQ的一些特别的要求，在排序过程中增加了以下的特别处理：

由于削除高频系数中幅值等于1的尾部可能带来额外的收益，因此在排序过程中会特别保留一条路径它始于P′_i且在每个分支上都选择s_i,j,0。即有：

特别的，当向任何一个非0状态分支时，这个状态都对应TB内第一个非零系数，因此这一分支所带来的代价需要计入λR₁。相对的，其他所有的分支都不需要考虑这一代价，这简化了计算。在所述排序过程中，不会被丢弃：如果不能排入ρ′_i,j+1,m,j的M个最小值之一，则会在排序完成后取代p_i,j+1,M-1

另外一方面，HEVC标准规定，如果sign_data_hide_enable_flag置1，那么需要保证最后选择的子路径p满足以下约束之一：

j_s-j_e≥4

其中j_s,j_e∈[0,15]。且c_i,x＝0,x∈[0,j_s-1]。c_i,x＝0,x∈[j_e+1,15]

此约束通过保证所有留存路径被排序时在路径以外有一条路径满足以下约束之一：

j_s≥12

注意一定满足约束，但它的代价可能很大，因此它被排除在外。如果度量最小的M条子路径(不包括)中没有满足约束的子路径，则按ρ′_i+1,m,j从小到大顺序第一条满足上述约束的子路径将被用来取代M条路径中代价最大的一条路径(不包括)。可以证明在任何情况下这一过程一定可以实施。这保证当搜索达到子块内终点时，一定存在一条路径满足约束。相比HM的RDOQ搜索过程，这一过程的性能损失可以忽略。

以上过程将重复，且每一步j会递增直至j＝16。

此时，若sign_data_hide_enable_flag＝0,则

p_i＝p′_i,16,0

其他情况下,

p_i＝p′_i,16,t

其中t为满足约束

j_s≥12

的最小自然数，即为这个子块的子路径搜索结果。

由于整个过程中每一个系数都只需要一次处理，无需反复的扫描过程，因此以上的过程可以在硬件上容易的执行，并具有固定的延迟以及合理的吞吐率。特别的，由于只需要扫描一次系数并逐个的处理，本方法可以方便的与精确的CABAC码率计算而不只是近似码率估计相结合。M＝3时，RD性能与HM的RDOQ方法相当，且M越大RD性能越好。通过调整M值，即可获得不同的性能-硬件复杂度折中，这使本发明可以适应更大的应用范围。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (9)

1.一种高效视频编码率失真优化量化方法，其特征在于：该方法将待处理的TB分割为子块，将扫描顺序上连续的多个系数称为路径，将子块内部的路径部分称为子路径，将该率失真优化量化方法转换为TB内部的最佳路径搜索以及各子块内部的最佳路径搜索,最佳路径搜索均以找到度量最低的合法路径为目标，路径的度量为其拉格朗日代价。

2.如权利要求1所述的一种高效视频编码率失真优化量化方法，其特征在于：于TB内部的最佳路径搜索中，将各个子路径的全0/非全0状态视为状态空间，并使用M算法进行搜索以获取最低代价的路径。

3.如权利要求2所述的一种高效视频编码率失真优化量化方法，其特征在于：于TB内部的最佳路径搜索中，限制路径为一条非全0路径以及一条全0路径。

4.如权利要求3所述的一种高效视频编码率失真优化量化方法，其特征在于,该TB内部的最佳路径搜索的搜索过程为：

将非全0路径P₀初始化代价Γ₀为Γ_inf，Γ_inf为正无穷大，全0路径P′₀初始化代价Γ′₀为0，子块的索引值i＝0，按HEVC标准规定的扫描顺序对子块进行索引；

对当前子块B_i进行搜索，执行子块B_i内部的最佳路径搜索，得到通过B_i的最佳路径p_i及其度量ρ_i、全零路径及其度量

计算将B_i编码为非0/全0块需要的率R_2,i及R′_2,i；

更新路径；

更新i←i+1，←表示赋值操作。

重复以上步骤直至i＝N_TB；

比较与

若那么

否则

其中P_RDOQ即为TB通过RDOQ后获得的量化结果。

5.如权利要求4所述的一种高效视频编码率失真优化量化方法，其特征在于，更新路径操作如下：

Γ_i+1＝ρ_i+λR_2,i

P_i+1＝p_i

对路径及子路径的“+”操作表示连接以获得延长后的路径。

6.如权利要求5所述的一种高效视频编码率失真优化量化方法，其特征在于，于子块内部的最佳路径搜索中，将每个子块按照HEVC标准规定的扫描顺序转化为16×1的序列，而每一个系数Y_i,j选择两个或者三个量化值，子块内所有的系数的可能状态组成了一个16×3的空间。

7.如权利要求6所述的一种高效视频编码率失真优化量化方法，其特征在于：将子块内的子路径搜索问题转换为在16×3的格点上寻找最优路径的问题。

8.如权利要求7所述的一种高效视频编码率失真优化量化方法，其特征在于：于子块内部的最佳路径搜索中，使用M算法在格点上进行搜索。

9.如权利要求8所述的一种高效视频编码率失真优化量化方法，其特征在于，子块内部的最佳路径搜索过程如下：

首先初始化子路径，子路径p_i,0,0～p_i,0,1起始于两个起始状态，起始点对应子块外部的路径，分别等于P_i及P′_i，路径度量ρ_i,0,0～ρ_i,0,1使用对应Γ_i及Γ_i′进行初始化，ρ_i,0,2～ρ_i,0,M-1则初始化为ρ_inf，ρ_inf为正无穷大。

每一个系数Y_i,j的量化值有2或者3种可能，将其记为s_i,j,0～s_i,j,2，分别对应于系数Y_i,j被量化为不同的值，其中

s_i,j,0：|c_i,j|＝0

其中某些量化值s_i,j,x可能小于0或者与其他量化值s_i,j,y重复且y<x，此时设定b_i,j,m,x＝ρ_inf，否则令b_i,j,m,x为将路径p_i,j,m延伸至系数s_i,j,x所增加的度量值，称为分支度量，此延伸称为分支，此系数s_i,j,m称为s_i,j,m,x；

每一步的搜索中，子路径的数量从M增加为3M条：

ρ′_i,j+1,m,x＝ρ_i,j,m+b_i,j,m,x

p′_i,j+1,m,x＝p_i,j,m+s_i,j,m,x；

其中x∈[0,2]

对ρ′_i,j+1,m,j进行排序，选出对应ρ最小的M条子路径保存下来，即留存子路径p_i,j+1,m在排序过程中保留一条路径它始于P′_i且在每个分支上都选择s_i,j,0，即有：

如果语法元素sign_data_hide_enable_flag置1，那么保证所有子路径被排序时，在路径以外有一条路径满足以下约束之一：

j_s≥12

如果度量最小的M条子路径(不包括)中没有满足所述约束的子路径，则用ρ′_i+1,m,j从小到大顺序的第一条满足上述约束的子路径取代M条路径中度量最大的一条路径(不包括),

以上过程将重复，且每一步j会递增直至j＝16。

此时，若sign_data_hide_enable_flag＝0,则

p_i＝p′_i,16,0

其他情况下,

p_i＝p′_i,16,t

其中t为满足约束

j_s≥12

的最小自然数，即为当前子块B_i的子路径搜索结果，对当前子块B_i进行搜索过程结束。