CN100576920C - 联合ldpc信道码和h.264的视频编解码方法 - Google Patents

Abstract

一种信号处理的视频编解码技术领域的联合LDPC信道码和H.264的视频编解码方法，在编码端，协调H.264编码的NAL单元与LDPC码字中信息位的长度关系，使LDPC码字信息位长度大于NAL单元的最大可能值，对NAL单元填充0直到其长度等于LDPC码信息位的长度，然后用LDPC编码信息位；在解码端，首先，初始先验信息译码，降低后续译码过程的不确定性；然后，进行多副本迭代译码，在每次迭代译码中，基于H.264语法检查结果，更新每个信息位的先验似然比。本发明提升了LDPC码译码过程中似然比的准确度，提高了视频传输的准确性。

Description

联合LDPC信道码和H.264的视频编解码方法

技术领域

本发明涉及一种信号处理的视频编解码技术领域的方法，具体是一种联合LDPC(低密度单奇偶校验)信道码和H.264(视频信源编码标准)的视频编解码方法。

背景技术

视频编码技术对于视频的存储和传输等应用至关重要。新一代视频编码国际标准H.264依旧是建立在混合编码的框架之上的。混合编码的框架是一种混合时间空间视频图像编码方法，是以运动补偿预测编码以及变长编码作为压缩的核心技术。用这类技术压缩后的数据流在极易发生干扰的环境中传输时，传输数据中单一比特的错误会迅速地在时间和空间上扩散，从而导致视频质量明显下降，甚至产生极差的视觉效果。目前已有许多差错控制技术用来对抗视频传输干扰影响。其中，联合信源信道编码技术便是一种对抗传输过程中随机错误的有效的视频编码方法。

经过对现有技术的文献检索发现，Galina Sabeva、Salma Ben Jamaa、MichelKieffer、Pirrre Duhamel等人在《IEEE 8th Workshop On Multimedia SignalProcessing》(美国电气与电子工程师学会的多媒体信号处理第八届讨论会议集)的2006年第8次讨论会议集上第9到第13页上发表的“Robust Decodingof H.264 Encoded Video Transmitted over Wireless Channels”(H.264在无线信道上传输的加强解码)一文中提出利用H.264定义的语法规范设计纠错码解码器进行辅助纠错译码，获得了传输可靠性的提升。这种方法仍然沿袭经典的信源信道独立编码，将依语法规范设计出的纠错模块串联在系统原有的前向纠错编码模块与H.264解码模块之间。但在H.264视频传输系统中，前向纠错模块编解码的码流是符合H.264语法规范的，并非信源信道独立编码所假设的0，1等概二进制流，这说明系统传输性能尚有提高的空间，也促使我们去寻找一种新的信源信道联合译码方式，以达到全局最优的误码恢复性能。

发明内容

本发明针对上述现有技术的不足，提供了一种联合LDPC信道码和H.264的视频编解码方法，可用于视频传输系统，在编码端，限定H.264编码器生成的NAL(网络适配层)单元的大小，减少了误码扩散的影响；在解码端，将H.264规范中包含的冗余度融入LDPC码解码的迭代过程中，完成LDPC信道码与H.264信源的联合迭代译码，提升了LDPC码译码过程中似然比的准确度，进一步降低传输误码率。

本发明是通过以下技术方案实现的：

在编码端，协调H.264编码的NAL单元与LDPC码字信息位的长度关系，使LDPC码字信息位长度大于NAL单元的最大可能值，对NAL单元填充0直到其长度等于LDPC码字信息位的长度，然后用LDPC编码信息位；

在解码端，首先，初始先验信息译码，降低后续译码过程的不确定性；然后，进行多副本迭代译码，在每次迭代译码中，基于H.264语法检查结果，更新每个信息位的先验似然比。

所述的初始先验信息译码，具体为：LDPC及H.264联合译码器对接收到的码流进行LDPC迭代译码，迭代时根据H.264语法以及NAL单元的长度确定那些必定为0的比特位，给予似然比值，如果迭代次数到达上界之前LDPC迭代收敛，转硬判决过程，否则转入多副本迭代译码；

所述进行多副本迭代译码，具体为：循环进行LDPC迭代译码，设译码副本数为L，每次迭代开始，在前次保留的L个译码副本的基础上，生成2L个新的译码副本，生成方式是对前次保留的L个译码副本中的每个译码副本，选定信息位中未固定的一位，将该位分别固定为0和1，在新生成的2L个副本中选择可能性高的L个副本，作为下一次迭代的初始副本集，其余舍弃。

所述译码副本，是指通过BP(置信度传播)译码方法扩展而来的路径搜索法中的一条幸存路径。

所述生成2L个新的译码副本并在新生成的2L个副本中选择可能性高的L个副本，具体如下：

①在L个译码副本的基础上，首先初始幸存路径数取为1，可能性的量度值M_0，1为1；

②在第k+1步时，记第k步中的第i个幸存路径为R_k，i，并以量度值M_k，i来表示该路径的可能性，根据幸存路径R_k，i中各节点信息分布，选取码字信息位中未固定的一位x_k+1，分布固定为0和1，从生成2L个新的译码副本，并生成两条备选路径R′_k，2i-1＝[R_k，i，x_k+1＝0]和R′_k，2i＝[R_k，i，x_k+1＝1]，进而得到两倍于现有幸存路径的新路径，其中：R′_k，2i-1表示第2i个备选路径中当前信息位为0的路径；R′_k，2i表示第2i个备选路径中当前信息位为1的路径。

所述根据幸存路径R_k，i中各节点信息分布，选取码字信息位中未固定的一位节点x_k+1，具体为：副本数小于等于预设的最大副本数的一半时，每次选取度量值最大的那条路径上按照LDPC位顺序下第一个似然比在0.5到2之间的节点；如果没有找到满足要求的节点或者幸存路径数大于预设的最大副本数的一半时，依照LDPC位的顺序依次选取下一节点；

③计算新路径的可能性量度为M′_k，2i-1＝M_k，i×p(x_k+1＝0|R_k，i)以及M′_k，2i＝M_k，i×p(x_k+1＝1|R_k，i)，其中p(x_k+1＝0|R_k，i)及p(x_k+1＝1|R_k，i)的值由路径R_k，i对应的LDPC码迭代译码所得x_k+1处的似然比求得；

④对这些新路径的量度进行排序，获得可能性量度最大的L条路径，生成R_k+1，i及M_k+1，i以便于下一次循环中路径的搜索，同时对每条路径进行若干次LDPC迭代译码，获得该路径下的各节点似然比，令k＝k+1；

⑤若有任意一条路径迭代收敛，则转硬判决过程，否则对每条幸存路径的硬判决结果，基于H.264语法检查更新每个信息位的先验似然比，继续多副本迭代译码；若总迭代次数达到上限，输出译码失败。

所述的硬判决过程，具体为：对LDPC迭代译码进行硬判决，再进行H.264语法检查，如果符合语法，则输出LDPC码中的信息位，否则返回调用硬判决过程的那个位置，作为迭代译码未收敛的情况，继续LDPC迭代译码。

所述的基于H.264语法检查更新每个信息位的先验似然比，是根据H.264语法检查器，将检测出语法错误的位置反馈给LDPC译码模块，更新每个信息位的先验似然比，具体为：

①初始化每个节点的“1”错误率p₁和“0”错误率p₀均为0，以及被译码为“1”的次数n₁和被译码为“0”的次数n₀均为0；

②检测到语法错误时，在语法错误位置到之前最末的路径节点之间的节点需要进行似然比更新，具体为：

如果该节点当前被译为“1”，且该节点的错误概率为p，则令p₁＝(p₁*n₁+p)/(n₁+1)，同时对n₁加1，如果n₁达到10，则将n₁置为5，这样做的目的是给予新的语法检测结果更高的优先级；

当节点当前被译为“0”时，与上述方法相同。

③在本身LR(似然比)的基础上得到更新的似然比LR’＝LR×(1-p₀)/(1-p₁)，其中：LR’就是带信源信息的似然比。

与现有技术相比，本发明提出的LDPC与H.264的联合编解码方法着眼于信源中的剩余冗余信息，利用H.264语法检查加速原迭代算法的收敛速度和正确性。在基本不改变解码复杂度的情况下大大提高了传输可靠性。实验表明，较之于LDPC直接译码，误码率可降为原先的1/5。

附图说明

图1是本发明方法的编解码流程图；

图2是本发明方法联合编码后码字结构图；

图3是本发明方法的联合译码中路径搜索的示意图；

图4是本发明方法的联合译码的流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括如下步骤：

步骤一，通过设定编码参数(如量化步长)，控制H.264编码器，对输入视频序列的原始视频帧进行编码，输出特定大小的NAL视频码流；

步骤二，根据应用需求，选择合适码长与码率的LDPC编码器，LDPC码字信息位长度必须大于NAL单元的最大值；

步骤三，LDPC编码器将输入的NAL单元在尾部填充0，补足LDPC码信息位的长度，并对信息位进行LDPC编码；

如图2所示，为经LDPC编码器后的码字结构。该码字结构是一层套一层的，在视频编码层上分为NAL单元头部与NAL单元内容。

H.264标准规定NAL单元以0x000001或0x00000001为起始码，假设H.264的编码采用字节流的方式传输，那么可以确定NAL单元的前5个4位组均为0，即前20位均为0。随后的一层是为了匹配LDPC信息位，分为NAL单元头部与NAL单元内容，以及填充0段。由于知道每个NAL的大小，且每个LDPC码只包含一个NAL，故填充0段的长度为LDPC码的信息位数减去NAL单元的位数。最外一层体现的是LDPC编码结构，分为信息位段以及监督位段，信息为包括NAL单元头部、NAL单元内容、填充0段。

步骤四，输出的LDPC码流通过传输信道传输到LDPC与H.264的联合译码器，并将译码结果发送到解码视频块；

步骤五，解码视频模块取出迭代译码输出序列中的信息位，重建出解码视频。

如图3所示，为步骤四中LDPC与H.264的联合译码部分的工程流程图，具体包括如下步骤：

①对接收到的待解码的一帧视频流，将LDPC码流中信息位中一些位固定为0，这些确定位包括NAL的前20位以及可能的填充位，并设定这些位的似然比为一个非常大的值(1e40)，执行N1次BP迭代译码；

②通过检查LDPC译码中奇偶校验和是否等于零，判断译码是否收敛，如果译码收敛，将译码后数据输出，如果译码不收敛，初始化幸存路径，幸存路径数目为1，可能性的量度值M_0，1为1；

③判断当前幸存路径数目是否为0，如果为0，表示译码失败，否则判断幸存路径的长度是否达到设定的门限，门限值最大为LDPC码的长度(可以根据计算的复杂度设低)，达到门限表示译码失败，否则对每次迭代的路径进行约束，搜索至多L条幸存路径，如图4所示是L＝3时，搜索至多L条幸存路径的过程。

具体为：

初始路径为R_0，1＝[]及对应的量度M_0，1＝1。在第一步选择节点x₁得到两条路径，R_1，1＝[x₁＝0]，R_1，2＝[x₁＝1]以及对应的量度M_1，1＝p(x₁＝0)，M_1，2＝p(x₁＝1)，随后对各不同路径均进行若干次LDPC译码迭代，以备后用。第二步选择位x₂，得到R’_1，1＝[x₁＝0，x₂＝0]，R’_1，2＝[x₁＝0，x₂＝1]，R’_1，3＝[x₁＝1，x₂＝0]，R’_1，4＝[x₁＝1，x₂＝1]和对应的量度M’_1，1＝M_1，1×p(x₂＝0|R_1，1)，M’_1，2＝M_1，1×p(x₂＝1|R_1，1)，M’_1，3＝M_1，2×p(x₂＝0|R_1，2)，M’_1，4＝M_1，2×p(x₂＝1|R_1，2)。再对M’_1，1，M’_1，2，M’_1，3，M’_1，4排序，假定选择了前三条路径作为幸存路径，则R_2，1＝R’_1，1，R_2，2＝R’_1，2，R_2，3＝R’_1，3，对应的量度值也赋给新的幸存路径。

如图4所示的幸存路径为实线，其它参与排序的路径为虚线。随后再根据新的幸存路径进行LDPC码迭代译码。第三步依照同样道理，幸存路径为实线，参与排序的路径为虚线，有3条路径幸存下来，也有3条路径被淘汰，随即再进行新一轮的LDPC迭代译码。如此不断往复；

④从L条幸存路径中取出一条幸存路径，执行H.264解码和语法检测，根据输入的结果，作出判断：如果码流符合H.264语法，则判断路径合法(合法路径指基于路径上那些固定信息位的值还不能判定已经违反H.264语法的路径)，进入下一步，否则将当前非法的路径从幸存路径中删除，进入步骤七；

⑤对合法路径更新路径上各个节点的先验似然比。具体为：设初始化每个节点的‘1’错误率p₁和‘0’错误率p₀均为0，以及被译码为‘1’的次数n₁和被译码为‘0’的次数n₀，更新步骤为：首先，如果该节点当前被译为‘1’，且由大量实验所求得的该节点的错误概率为p，则令p₁＝(p₁*n₁+p)/(n₁+1)，同时对n₁加1，如果n₁达到10，则将n₁置为5，当节点当前被译为‘0’时，使用完全类似的方式；然后在本身LR(似然比)的基础上得到更新的似然比LR’＝LR×(1-p₀)/(1-p₁)，这样LR’就是带信源信息的似然比了；

⑥执行N2次BP迭代译码；判断译码是否收敛，如果收敛则输出译码数据，否则进入下一步；

⑦对每次迭代的路径进行约束，搜索至多L条幸存路径；

⑧判断是否还有路径未经过语法检查，如果是，则取下一条路径，进入步骤四，否则进入步骤三。

图3中的N₁和N₂为迭代次数的上限，可根据实际译码需要取值，相对来说N₁应取得大些，令迭代译码的似然比达到稳定，N₂取得小些，一方面已经经过了N₁次迭代过程，另一方面为了降低译码复杂度。当所有幸存路径都不符合语法规则或路径长度达到设定的门限时，直接标记为译码失败。任意时刻任意路径一旦译码收敛则作为译码成功将硬判决结果输出。进一步的还可以如操作步骤中所描述的对该序列再进行H.264语法检查，如果不符合语法规范则返回译码过程，继续译码。由于LDPC译码收敛但不符合H.264语法规范的情况出现概率极小，为流程图清晰起见，未表示出来。可以计算，该算法实行LDPC消息传递至多(N₁+L×R×N₂)次，H.264语法检查至多(L×R)次，其中R为路径长度的门限值。

实施效果

依据上述步骤，实验用视频传输序列来源于mobile_cif.yuv(352x288的移动4:2:0格式的YUV文件)，由JM12.2编码器获得mobile_cif.264文件，共编码前39幅图片。关键参数的设置为：

(1)熵编码采用CAVLC；

(2)序列类型为IBP；

(3)I帧QP为36，P帧QP为34，B帧QP为30；

(4)强制IDR设为允许；

(5)NAL大小限制为180字节。

实验选择码长1800，监督位200，列重为3，最小环长大于4的LDPC码，传输信道假定为无记忆BSC信道。

编码后mobile_cif.264文件大小为：218937字节。NAL单元个数为：1292个。从而每个NAL单元的平均大小为：169.5字节。LDPC编码后文件大小：290700字节。编码效率为mobile_cif.264的75％。如果不加对于NAL大小的限制，编码所得文件大小为：188521字节，是mobile_cif.264的86％，这说明对NAL的限制也会造成一定的编码效率的降低。如果这样的效率降低不可容忍的话，可以适当地放宽对NAL大小的限制，比如240字节等。

采用直接的译码方案迭代250次，可得实验结果为：

当ber＝0.003时，块误码率为4.1×10^-3；

当ber＝0.002时，块误码率为7.43×10^-4；

当ber＝0.001时，块误码率为6.97×10^-5。

采用本实施例幸存路径数取定为8，每条路径同样迭代约250次可得实验结果为：

当ber＝0.003时，块误码率为6.27×10^-4；

当ber＝0.002时，块误码率为1.70×10^-4；

当ber＝0.001时，块误码率为1.55×10^-5。

实验表明，较之于LDPC直接译码，本实施例误码率可降为原先的1/5。

Claims (5)

1、一种联合LDPC信道码和H.264的视频编解码方法，其特征在于：

在编码端，通过设定编码参数协调H.264编码的NAL单元与LDPC码字中信息位的长度关系，使LDPC码字信息位长度大于NAL单元的最大可能值，对NAL单元填充0直到其长度等于LDPC码信息位的长度，然后用LDPC编码信息位；

在解码端，首先，初始先验信息译码，降低后续译码过程的不确定性；然后，进行多副本迭代译码，在每次迭代译码中，基于H.264语法检查结果，更新每个信息位的先验似然比；最后，输出码流重建解码视频；

所述的初始先验信息译码，具体为：对接收到的码流进行LDPC迭代译码，迭代时根据H.264语法以及NAL单元的长度确定那些必定为0的比特位，给予非常大的似然比值，如果迭代次数到达上界之前LDPC迭代收敛，转硬判决过程，否则转入多副本迭代译码；

所述的基于H.264语法检查更新每个信息位的先验似然比，是根据H.264语法检查器，将检测出语法错误的位置反馈给LDPC译码模块，更新每个信息位的先验似然比。

2、根据权利要求1所述的联合LDPC信道码和H.264的视频编解码方法，其特征是，所述进行多副本迭代译码，具体为：循环进行LDPC迭代译码，设译码副本数为L，每次迭代开始，在前次保留的L个译码副本的基础上，生成2L个新的译码副本，生成方式是对前次保留的L个译码副本中的每个译码副本，选定信息位中未固定的一位，将该位分别固定为0和1，在新生成的2L个副本中选择可能性高的L个副本，作为下一次迭代的初始副本集，其余舍弃。

3、根据权利要求2所述的联合LDPC信道码和H.264的视频编解码方法，其特征是，所述生成2L个新的译码副本并在新生成的2L个副本中选择可能性高的L个副本，具体如下：

①在L个译码副本的基础上，首先初始幸存路径数取为1，可能性的量度值M_0，1为1；

②在第k+1步时，记第k步中的第i个幸存路径为R_k，i，并以量度值M_k，i来表示该路径的可能性，根据幸存路径R_k，i中各节点信息分布，选取码字信息位中未固定的一位x_k+1，分布固定为0和1，从生成2L个新的译码副本，并生成两条备选路径R′_k，2i-1＝[R_k，i，x_k+1＝0]和R′_k，2i＝[R_k，i，x_k+1＝1]，进而得到两倍于现有幸存路径的新路径，其中：R′_k，2i-1表示第2i个备选路径中当前信息位为0的路径；R′_k，2i表示第2i个备选路径中当前信息位为1的路径；

③计算新路径的可能性量度为M′_k，2i-1＝M_k，i×p(x_k+1＝0|R_k，i)以及M′_k，2i＝M_k，i×p(x_k+1＝1|R_k，i)，其中p(x_k+1＝0|R_k，i)及p(x_k+1＝1|R_k，i)的值由路径R_k，i对应的LDPC码迭代译码所得x_k+1处的似然比求得；

④对新路径的量度进行排序，获得可能性量度最大的L条路径，生成R_k+1，i及M_k+1，i以便于下一次循环中路径的搜索，同时对每条路径进行若干次LDPC迭代译码，获得该路径下的各节点似然比，令k＝k+1；

⑤若有任意一条路径迭代收敛，则转硬判决过程，否则对每条幸存路径的硬判决结果，基于H.264语法检查更新每个信息位的先验似然比，继续多副本迭代译码；若总迭代次数达到上限，输出译码失败。

4、根据权利要求3所述的联合LDPC信道码和H.264的视频编解码方法，其特征是，所述根据幸存路径R_k，i中各节点信息分布，选取码字信息位中未固定的一位节点x_k+1，具体为：副本数小于等于预设的最大副本数的一半时，每次选取度量值最大的那条路径上按照LDPC位顺序下第一个似然比在0.5到2之间的节点；如果没有找到满足要求的节点或者幸存路径数大于预设的最大副本数的一半时，依照LDPC位的顺序依次选取下一节点。

5、根据权利要求1所述的联合LDPC信道码和H.264的视频编解码方法，其特征是，所述的基于H.264语法检查更新每个信息位的先验似然比，具体为：

①初始化每个节点的“1”错误率p₁和“0”错误率p₀均为0，以及被译码为“1”的次数n₁和被译码为“0”的次数n₀均为0；

②检测到语法错误时，在语法错误位置到之前最末的路径节点之间的节点需要进行似然比更新，具体为：

如果该节点当前被译为“1”，且该节点的错误概率为p，则令p₁＝(p₁*n₁+p)/(n₁+1)，同时对n₁加1，如果n₁达到10，则将n₁置为5，这样做的目的是给予新的语法检测结果更高的优先级；

当节点当前被译为“0”时，与上述方法相同；

③在本身似然比LR的基础上得到更新的似然比LR’＝LR×(1-p₀)/(1-p₁)，其中：LR’就是带信源信息的似然比。

Images