CN100588262C - 信源信道联合编码中的信道码码率分配方法 - Google Patents

Abstract

一种视频通信技术领域的信源信道联合编码中的信道码码率分配方法，其中：步骤一，将视频传输过程中的信道失真分为两部分：不涉及差错传播的信道失真和涉及差错传播的总信道失真，其中不涉及差错传播的信道失真又包括帧内编码帧信道失真、帧间编码帧信道失真；利用像素内插差错掩盖方法和相邻宏块像素统计信息对帧内编码帧信道失真进行估计，利用宏块拷贝的方法对帧间编码帧信道失真和涉及差错传播的总信道失真进行估计，将三个部分的信道失真进行综合，得到一幅图像的完整的信道失真估计；步骤二，建立一个使信道失真最小的码率分配模型，利用遗传方法得到最优码率分配。本发明方法信道码码率分配的效率和性能。

Description

信源信道联合编码中的信道码码率分配方法

技术领域

本发明涉及的是一种视频通信技术领域的方法，具体是一种信源信道联合编码中的信道码码率分配方法。

背景技术

香农在1959年提出信源信道分离编码，指出通信系统中的信源编码和信道编码可以分别独立设计优化，而系统的性能没有任何的损失。但是这一结论是建立在编码码子可以达到无限长和通信条件为点对点传输这两个条件之上的。在实际的通信系统中无法达到分离原理最优的最优条件，因此，分离信源编码和信道编码会造成系统的性能损失。

基于非均衡差错保护的信源信道联合编码方法考虑了信源编码后码流数据不同比特位的不同的重要性，对相对重要的数据用纠错能力较强的信道码(对于线形分组码而言就是更多冗余位的信道码)加以保护，对相对次要的数据用纠错能力较弱的信道码加以保护。从而，在满足同样带宽的条件下，系统的性能更好。非均衡差错保护方法需要解决两个问题，其一是如何对数据的重要性进行界定，其二是如何得到最优信道码码率分配方法。对于第一个问题，通常用的技术指标为率失真；对于第二个问题，通常是解一个优化问题，或者从信道码的解码性能曲线出发找出最佳的信道码码率分配方法。

经过对现有技术的文献检索发现，Zhihai He等人在《IEEE Transactions onCircuits and Systems for Video Technology》(《IEEE视频技术电路与系统汇刊》)，Volume 12，Issue 6，Jun 2002 Page(s)：511-523上发表的“对无线视频通信中自适应模式选择与码率控制的联合信源信道率失真分析”(Jointsource channel rate-distortion analysis for adaptive mode selection andrate control in wireless video coding)，该文中提出了一种信道率失真估计方法，该方法一方面利用了解码端差错掩盖方法的特性，另一方面考虑了差错传播的影响。但是该方法用于非均衡差错保护的分析中存在一些需要更深入解决的问题：1.限于当时的研究，基于内插预测方法的帧内编码帧差错掩盖方法还没有被应用，因此帧内编码宏块信道失真分析不适合当前的研究分析；2.对于某一帧图像的信道失真描述为当前帧的失真和前面帧由于差错传播效应所造成的当前帧的失真，这样的描述方法不能正确反映某一帧的重要性；3.在分析差错传播的过程中，认为滤波作用对于差错传播的影响为一个常数，这一假设在使用非线性环路滤波的视频压缩编码中是不恰当的；4.建立的最小信道失真优化问题通常比较复杂。

发明内容

本发明针对上述现有技术的不足，提出了一种信源信道联合编码中的信道码码率分配方法，使其根据视频编码中帧间编码宏块和帧内编码宏块的差错掩盖以及视频通信中的差错扩散效应，将一个GOP(图片组)中某一帧的失真用两部分描述，一部分是视频通信过程中由于信道误差所造成的失真，另一部分是于误码扩散所造成的随后帧的失真，并基于遗传方法得到最小信道失真。

本发明是通过以下技术方案实现的，本发明包括如下步骤：

步骤一，将视频传输过程中的信道失真分为两部分：涉及差错传播的总信道失真和不涉及差错传播的信道失真，其中不涉及差错传播的信道失真又包括帧内编码帧信道失真、帧间编码帧信道失真；

对帧内编码帧信道失真，利用像素内插差错掩盖方法和相邻宏块像素统计信息进行信道失真的估计，对帧间编码帧信道失真和涉及差错传播的总信道失真，利用宏块拷贝的方法进行信道失真的估计，将三个部分的信道失真进行综合，得到一幅图像的完整的信道失真估计。

步骤二，对步骤一估计得到的信道失真，建立一个使信道失真最小的码率分配模型，利用遗传方法得到最优码率分配。

所述估计帧内编码帧信道失真，具体为：

第一步，视频联合工作组制定的H.264参考代码中对于帧内编码宏块采用插值估计方法进行差错掩盖，在利用H.264解码器压缩后的视频流的解码过程中，在差错掩盖下将帧内编码宏块分为3种宏块：差错或丢失的宏块、已经经过差错掩盖处理的宏块和正确接收的宏块，其中，后两类宏块可以被用于插值估计；

第二步，在采用逐行扫描的片(slice)映射方式下，一帧图像的解码顺序是由上至下、由左至右，根据相邻宏块的可用性，在第一步的基础上将一帧图像中的宏块分为以下六类：

①第一行第一列的首宏块，其上方和左方无相邻宏块，右方的宏块属于差错或丢失的宏块，只有下方相邻的宏块可用；

②最后一行第一列的宏块，其下方和左方无相邻宏块，右方的宏块属于差错或丢失的宏块，只有上方相邻的宏块可用；

③第一行中除了①所指的其他宏块，其上方不存在的相邻宏块，右方的宏块属于差错或丢失的宏块，左方和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

④最后一行中除了②所指的其他宏块，其下方不存在的相邻宏块，右方的宏块属于差错或丢失的宏块，左方和上方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

⑤第一列中除了①和②所指的其他宏块，其左方不存在相邻宏块，右方的宏块属于差错或丢失的宏块，上方和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

⑥一帧中的其他宏块，其右方的宏块属于差错或丢失的宏块，上、左和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

第三步，根据第二步得到的六类宏块以及其周边可用宏块内的相邻像素信息，分别得到方差，方差即为对失真的估计值。

所述估计帧间编码帧信道失真，具体为：

采用基于宏块拷贝的差错掩盖方法，即对于数据丢失或解码出现差错的宏块数据用前一帧同样位置的宏块数据进行填充，信道失真由编码端的重建帧数据和解码端的重建帧数据得到，根据输入视频的统计特性，以及对信道编码器内环路滤波的强度估计，得到一个帧间编码帧的信道失真估计方法，具体为：

D_c(k)＝E{[F_r(k)-F_d(k)]²}

     ＝E{[F_r(k)-F_r(k-1)+F_r(k-1)-F_d(k-1)]²}

     ＝E{[F_r(k)-F_r(k-1)]²}+E{[F_r(k-1)-F_d(k-1)]²}

       +E{[F_r(k)-F_r(k-1)][F_r(k-1)-F_d(k-1)]}

其中，E表示求期望，F_r(k)和F_ｄ(k)为信源编码端重建帧和信源解码端的重建帧，k和k-1为参考帧的帧号，是当前重建帧以及其前一帧。由于此处不涉及差错传播，上式第二项为零。

由于信源编码端的环路滤波的作用，上式可以表示成：

D_c(k)＝u×E{[F_o(k)-F_o(k-1)]²}

其中：u描述滤波器强度，F_o(k)、F_o(k-1)为第k帧和第k-1帧输入视频序列。

所述估计涉及差错传播的总信道失真，具体为：

根据某帧的信道失真估计结果，结合信源编码器的统计信息，得到当前帧对随后帧差错传播的影响，这里帧内编码宏块不会受差错传播的影响，采用系数(1-c₁)对估计方法进行校正，c₁是信源编码的帧内编码率，差错传播所引起的随后第一帧的失真具体为：

D_cp ¹(t)＝E{[F_r(t)-F_d(t)]²}

       ＝(1-c₁)E{[F_r(t)-e(t)-F_d(t-1)]²}

       ＝(1-c₁)E{[F_r(t-1)-F_d(t-1)]²}

       ＝(1-c₁)b₁D_c(err)

其中，F_r(k)和F_d(k)为信源编码端重建帧和信源解码端的重建帧；b₁是运动传播系数，由于差错传播与视频本身的一些性质，如运动剧烈程度有关，因此，需要有b1系数来对失真估计方法的精确度进行调整，e(t)是解码端得到的残差，Dc(err)是引起差错传播帧的失真。以上公式描述了差错传播到第一帧的情况。

对于其后各帧的失真估计方法与第一帧相同，只是系数b₁，c₁相应变为b_l和c_l，1≤l≤G_l

$D_{\mathrm{cp}}^l\left(t\right)=(1-c_l)b_l{D}_c\left(\mathrm{err}\right)$ 1≤l≤G_l

其中，G_l为同一GOP的内剩余帧数，l为帧号。

所述得到一幅图像的完整的失真估计，具体为：

${{\hat{D}}_c}^i=D_c+\underset{j=1}{\overset{G-i}{\mathrm{\Σ}}}{D_{\mathrm{cp}}}^j$

其中：G为一个GOP中的总帧数，D_c是帧内编码帧或帧间编码帧的信道失真估计结果，

是会使用到信源编码端重建帧Fr(k)的统计信息。

所述利用遗传方法得到最优码率分配，具体为：根据RS码的码率，在信道条件下的纠错性能选取n个初始可行码率集，根据遗传方法应用于码率分配模型的收敛性能设置终止迭代次数G，初始迭代次数为零，每次迭代的过程中计算当前可行解集内每一个可行解代入目标函数后计算结果的倒数，即适应性值Fit(i)，根据各可行解的适应性大小对可行解集进行选择、交叉和变异操作，当迭代次数达到终止次数后，从可行解集中选择适应性最大的可行解即为最优信道码率分配结果。

所述建立一个使信道失真最小的码率分配模型，具体为：

在通信条件为二进制对称信道情况下，采用RS(Reed Solomon里德-所罗门码)码对数据进行保护，假设码率为r的RS码在符号差错率ps的信道中的差错率为P，则码率分配模型具体如下：

min

st. $\underset{i=1}{\overset{G}{\mathrm{\Σ}}}(K_i+L_i)\≤R_{\mathrm{budget}}$

r_i＝K_i/(K_i+L_i)

其中：K_i是第i帧信息所占用的比特数，L_i是信道编码后的校验位所占用的比特数，

为一个GOP的总失真估计，R_budget为信道带宽约束条件，ri为第i帧的信道码码率。

由于码率分配模型不满足传统的解优化问题的方法的约束条件，因此，采用非数值并行方法-遗传方法来解决此优化问题，遗传方法通过“交叉”和“变异”操作使优化问题不易落入局部最优点，能得到全局最优点。从而达到更优的系统性能。

与现有技术相比，本发明包括如下有益效果：本发明建立了能达到最小信道失真的信道码码率分配模型，并且采用遗传方法求得最优码率分配方法大大提高了信道码码率分配的效率和性能。仿真结果表明本发明方法比传统的均衡差错保护方法在性能上有较大提高，特别是在信道条件比较恶劣的环境下，可以达到3-4dB的性能提升。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括如下步骤：

步骤一，将每一帧的帧号k与所在GOP的总帧数G进行比较，若帧号k小于GOP内帧数，即当前帧在GOP内，估计每一帧的信道失真，信道失真估计包括：帧内编码帧信道失真、帧间编码帧信道失真、涉及差错扩散的总信道失真三个部分的失真估计。

所述估计帧内编码帧信道失真，具体为：

第一步，视频联合工作组制定的H.264参考代码中对于帧内编码宏块采用插值估计方法进行差错掩盖，在利用H.264解码器压缩后的视频流的解码过程中，在差错掩盖下将帧内编码宏块分为3种宏块：差错或丢失的宏块、已经经过差错掩盖处理的宏块和正确接收的宏块，其中，后两类宏块可以被用于插值估计。

第二步，在采用逐行扫描的片(slice)映射方式下，一帧图像的解码顺序是由上至下、由左至右，根据相邻宏块的可用性，在第一步的基础上将一帧图像中的宏块分为以下六类：

①第一行第一列的首宏块，其上方和左方无相邻宏块，右方的宏块属于差错或丢失的宏块，只有下方相邻的宏块可用；

②最后一行第一列的宏块，其下方和左方无相邻宏块，右方的宏块属于差错或丢失的宏块，只有上方相邻的宏块可用；

③第一行中除了①所指的其他宏块，其上方不存在的相邻宏块，右方的宏块属于差错或丢失的宏块，左方和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

④最后一行中除了②所指的其他宏块，其下方不存在的相邻宏块，右方的宏块属于差错或丢失的宏块，左方和上方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

⑤第一列中除了①和②所指的其他宏块，其左方不存在相邻宏块，右方的宏块属于差错或丢失的宏块，上方和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

⑥一帧中的其他宏块，其右方的宏块属于差错或丢失的宏块，上、左和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

第三步，根据第二步得到的六类宏块以及其周边可用宏块内的相邻像素信息，分别得到方差，方差即为对失真的估计值，具体如下：

$D_c\left(k\right)=E\left\{{[F_r\left(k\right)-F_d\left(k\right)]}^2\right\}=d\underset{m=1}{\overset{L}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}E\left\{{[\mathrm{MB}(m,n)-\mathrm{refMB}]}^2\right\}$

$\mathrm{whereE}\left\{{[\mathrm{MB}(m,n)-\mathrm{refMB}]}^2\right\}=$

$=\left\{\begin{array}{cc}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}E\left\{{[\mathrm{Pi}{x}_i\left(j\right)-Y_2\left(j\right)]}^2\right\}& {\mathrm{Pix}}_i\left(j\right)\∈\mathrm{MB}\left(\mathrm{1,1}\right)\\ \underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}E\left\{{[{\mathrm{Pix}}_i\left(j\right)-Y_1\left(j\right)]}^2\right\}& {\mathrm{Pix}}_i\left(j\right)\∈\mathrm{MB}(L,1)\\ \underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\frac{E\left\{{[{\mathrm{Pix}}_i\left(j\right)-Y_2\left(j\right)]}^2\right\}+E\left\{{[{\mathrm{Pix}}_i\left(j\right)-Y_{2p}]}^2\right\}}{2}& {\mathrm{Pix}}_i\left(j\right)\∈\mathrm{MB}(1,k),k\≠1\\ \underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\frac{E\left\{\right[{{\mathrm{Pix}}_i\left(j\right)-Y_1\left(j\right)]}^2\}+E\{{[{\mathrm{Pix}}_i\left(j\right)-Y_{1p}]}^2\}}{2}& {\mathrm{pix}}_i\left(j\right)\∈\mathrm{MB}(L,k),k\≠1\\ \underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\frac{E\left\{{[{\mathrm{Pix}}_i\left(j\right)-Y_1\left(j\right)]}^2\right\}+E\left\{{[{\mathrm{Pix}}_i\left(j\right)-Y_2\left(j\right)]}^2\right\}}{2}& {\mathrm{Pix}}_i\left(j\right)\∈\mathrm{MB}(l,1),l\≠1,L\\ \underset{i=1}{\overset{16}{\mathrm{\Σ}}}\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\frac{E\left\{{{[\mathrm{Pix}}_i\left(j\right)-Y_1\left(j\right)]}^2\right\}+E\{{{[\mathrm{Pix}}_i\left(j\right)-Y_2\left(j\right)]}^2+E\{{{[\mathrm{Pix}}_i\left(j\right)-Y_{1p}]}^2\}+E\{{{[\mathrm{Pix}}_i\left(j\right)-Y_{2p}]}^2\left\}\right\}}{4}& {\mathrm{Pix}}_i\left(j\right)\∈\mathrm{MB}(l,k)l\≠1,\mathrm{Lk}\≠1\end{array}\right.$

其中：k为帧的编号，D_c(k)为第k帧的失真估计值，F_r(k)和F_o(k)为信源编码端重建帧和输入数据，L、N为一帧每行及每列包含有多少个宏块，Pix_i(j)为宏块内第i行，第j列的像素值，Y₂(j)表示下方宏块对应为j列的相邻像素值，Y_1p，Y_2p为左侧像素预测值，d为归一化系数，MB和refMB为当前宏块和参考宏块。根据上式，可以较为精确地估计出帧内编码帧信道失真。

表1给出了帧内编码帧的信道失真估计结果。(实验中设定一个图片组中有15帧，每个图片组的第一帧采用帧内编码方法)

表1.帧内编码帧信道失真估计(foreman序列)

	真实值	估计值
			第一帧	121.20	118.21
第十六帧	128.02	132.97

所述估计帧间编码帧信道失真，具体为：

采用基于宏块拷贝的差错掩盖方法，即对于数据丢失或解码出现差错的宏块数据用前一帧同样位置的宏块数据进行填充，信道失真由编码端的重建帧数据和解码端的重建帧数据得到。根据输入视频的统计特性，以及对信道编码器内环路滤波的强度估计，得到一个帧间编码帧的信道失真估计方法，具体为：

D_c(k)＝E{[F_r(k)-F_d(k)]²}

     ＝E{[F_r(k)-F_r(k-1)+F_r(k-1)-F_d(k-1)]²}

     ＝E{[F_r(k)-F_r(k-1)]²}+E{[F_r(k-1)-F_d(k-1)]²}

       +E{[F_r(k)-F_r(k-1)][F_r(k-1)-F_d(k-1)]}

其中，F_r(k)和F_d(k)为信源编码端重建帧和信源解码端的重建帧，K-1为参考帧的帧号，是当前重建帧的前一帧。由于此处不涉及差错传播，上式第二项为零。

由于信源编码端的环路滤波的作用，上式可以表示成：

D_c(k)＝u×E{[F_o(k)-F_o(k-1)]²}

其中u描述滤波器强度。F_o(k)，F_o(k-1)为第k帧和第k-1帧输入视频序列。表2给出了帧间编码帧的信道失真估计与真实值的比较结果。

表2.帧间编码帧信道失真估计(foreman序列)

帧号	1	2	3	4	5	6	7
								估计值	25.34	21.79	15.83	21.15	22.29	28.78	42.46
真实值	22.09	21.83	15.65	20.22	21.71	28.17	42.83
								帧号	8	9	10	11	12	13	14
估计值	36.63	22.65	17.32	39.22	56.04	28.99	9.95
								真实值	36.61	22.31	16.71	38.89	55.69	28.25	9.66

所述估计涉及差错传播的总信道失真，具体为：

根据某帧的信道失真估计结果，结合信源编码器的统计信息，得到当前帧对随后帧差错传播的影响，这里帧内编码宏块不会受差错传播的影响，采用系数(1-c₁)对估计方法进行校正，c₁是信源编码的帧内编码率，差错传播所引起的随后第一帧的失真具体为：

D_cp ¹(t)＝E{[F_r(t)-F_d(t)]²}

       ＝(1-c₁)E{[F_r(t)-e(t)-F_d(t-1)]²}

       ＝(1-c₁)E{[F_r(t-1)-F_d(t-1)]²}

       ＝(1-c₁)b₁D_c(err)

其中，F_r(k)和F_d(k)为信源编码端重建帧和信源解码端的重建帧；b₁是运动传播系数，由于差错传播与视频本身的一些性质，如运动剧烈程度有关，因此，需要有b1系数来对失真估计方法的精确度进行调整，e(t)是解码端得到的残差，Dc(err)是引起差错传播帧的失真。以上公式描述了差错传播到第一帧的情况。

同样的分析可以得到其后各帧的失真，不同在于系数b₁，c₁相应变为b₂，b₃…和c₂，c₃…：

$D_{\mathrm{cp}}^l\left(t\right)=(1-c_l)b_l{D}_c\left(\mathrm{err}\right)$ 1≤l≤G_l

G_l为同一GOP的内剩余帧数。

表3给出了一个图片组中差错传播2帧的估计值与真实值的比较结果。

表3差错传播所引起的信道失真估计(foreman序列，传播二帧)

帧号	1	2	3	4	5	6	7
								估计值	16.21	14.17	10.17	13.14	13.95	18.31	35.02
真实值	16.82	15.61	11.43	12.84	12.19	18.08	33.73
								帧号	8	9	10	11	12
估计值	23.8	13.98	11.10	25.72	35.75
								真实值	26.2	12.41	12.14	27.14	35.99

结合上面的分析，得到一帧图像的失真估计方法：

${{\hat{D}}_c}^i=D_c+\underset{j=1}{\overset{G-i}{\mathrm{\Σ}}}{D_{\mathrm{cp}}}^j$

其中G为一个GOP中的总帧数，上式的右边第一项是帧内编码帧或帧间编码帧的信道失真估计结果，第二项是会使用到信源编码端重建帧Fr(k)的统计信息。

步骤二，若帧号k大于等于GOP内帧数，建立一个使信道失真最小的码率分配模型，并利用遗传方法优化码率分配结果，计算最小信道失真问题，得到优化后的码率分配，具体如下：

根据不同码率RS码在信道条件下的纠错性能选取n个初始可行码率集，根据遗传方法应用于码率分配模型的收敛性能设置终止迭代次数G，初始迭代次数为零，每次迭代的过程中计算当前可行解集内每一个可行解代入目标函数后计算结果的倒数(由于模型是求最小值，适应性越大则在随后的选择操作中被选择的概率越大)，即适应性值Fit(i)。根据各可行解的适应性大小对可行解集进行“选择”，“交叉”和“变异”操作，当迭代次数达到终止次数后，从可行解集中选择适应性最大的可行解(即使得模型中目标函数为最小值的码率组)即为最优信道码率分配结果。

根据RS码的性能曲线选出16个码率点，得到一个可用码率集(r₁，r₂…r₁₆)。用4比特的序列将这16个码率点进行编码，本实施例中一个图片组有15帧，因此，二进制编码后数据为一个60比特的数据序列。

所述建立一个使信道失真最小的码率分配模型，具体为：

在通信条件为二进制对称信道情况下，采用RS(Reed Solomon里德-所罗门码)码对数据进行保护，假设码率为r的RS码在符号差错率ps的信道中的差错率为P，则码率分配模型具体如下：

min

st. $\underset{i=1}{\overset{G}{\mathrm{\Σ}}}(K_i+L_i)\≤R_{\mathrm{budget}}$

r_i＝K_i/(K_i+L_i)

其中：Ki是第i帧信息所占用的比特数，Li是信道编码后的校验位所占用的比特数。

为一个GOP的总失真估计，R_budget为信道带宽约束条件。ri为第i帧的信道码码率。

所述利用遗传方法优化码率分配结果，具体为：选定恰当的种群规模、“交叉”和“变异”的概率，初始情况下，随机选取码率进行总失真估计计算。在迭代次数小于终止次数的条件下，首先进行各元素适应度分析，再进行交叉、变异操作直到达到终止次数G，则得到最优码率分配方法。

表4是利用foreman序列所得到的一个实验结果

信道差错率	8％	9％	10％	11％	12％
						GUEP	36.2852	34.7915	30.8672	26.3650	22.0867
EEP	36.0700	33.4060	26.8680	20.7351	18.8675

综上所述，本实施例的优点为：(1)建立了较为精确的信道失真估计方法。该方法在分析了差错掩盖方法对信道失真影响的基础上，考虑了差错传播效应。从实验结果来看，该方法的性能是比较好的。(2)本实施例方法是在以信道失真作为数据重要性判断依据的概念下得到的。因此，能得到较好的总体系统性能。(3)本实施例方法能根据不同的信道条件和输入序列统计特性进行自适应调整，因此效率比较高。

Claims (7)

1、一种信源信道联合编码中的信道码码率分配方法，其特征在于，

步骤一，将视频传输过程中的信道失真分为两部分：涉及差错传播的总信道失真和不涉及差错传播的信道失真，其中不涉及差错传播的信道失真又包括帧内

编码帧信道失真、帧间编码帧信道失真；

对帧内编码帧信道失真，利用像素内插差错掩盖方法和相邻宏块像素统计信息进行信道失真的估计，对帧间编码帧信道失真和涉及差错传播的总信道失真，利用宏块拷贝的方法进行信道失真的估计，将三个部分的信道失真进行相加，得到一幅图像的完整的信道失真估计；

步骤二，对步骤一估计得到的信道失真，形成以总信道带宽为约束条件，使信道失真最小的最优化问题，利用遗传方法得到最优码率分配。

2.根据权利要求1所述的信源信道联合编码中的信道码码率分配方法，其特征是，所述估计帧内编码帧信道失真，具体为：

第一步，视频联合工作组制定的H.264参考代码中对于帧内编码宏块采用插值估计方法进行差错掩盖，在利用H.264解码器压缩后的视频流的解码过程中，在差错掩盖下将帧内编码宏块分为3种宏块：差错或丢失的宏块、已经经过差错掩盖处理的宏块和正确接收的宏块，其中，后两类宏块可以被用于插值估计；

第二步，在采用逐行扫描的片映射方式下，一帧图像的解码顺序是由上至下、由左至右，根据相邻宏块的可用性，在第一步的基础上将一帧图像中的宏块分为以下六类：

①第一行第一列的首宏块，其上方和左方无相邻宏块，右方的宏块属于差错或丢失的宏块，只有下方相邻的宏块可用；

②最后一行第一列的宏块，其下方和左方无相邻宏块，右方的宏块属于差错或丢失的宏块，只有上方相邻的宏块可用；

③第一行中除了①所指的其他宏块，其上方不存在的相邻宏块，右方的宏块属于差错或丢失的宏块，左方和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

④最后一行中除了②所指的其他宏块，其下方不存在的相邻宏块，右方的宏块属于差错或丢失的宏块，左方和上方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

⑤第一列中除了①和②所指的其他宏块，其左方不存在相邻宏块，右方的宏块属于差错或丢失的宏块，上方和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

⑥一帧中的其他宏块，其右方的宏块属于差错或丢失的宏块，上、左和下方的相邻宏块属于正确接收的宏块，可用于差错掩盖；

第三步，根据第二步得到的六类宏块以及其周边可用宏块内的相邻像素信息，分别得到方差，方差即为对失真的估计值。

3.根据权利要求1所述的信源信道联合编码中的信道码码率分配方法，其特征是，所述估计帧间编码帧信道失真，具体为：

采用基于宏块拷贝的差错掩盖方法，对于数据丢失或解码出现差错的宏块数据用前一帧同样位置的宏块数据进行填充，信道失真由编码端的重建帧数据和解码端的重建帧数据得到，根据输入视频的统计特性，以及对信道编码器内环路滤波的强度估计，得到一个帧间编码帧的信道失真估计方法，具体为：

D_c(k)＝E{[F_r(k)-F_d(k)]²}

＝E{[F_r(k)-F_r(k-1)+F_r(k-1)-F_d(k-1)]²}

＝E{[F_r(k)-F_r(k-1)]²}+E{[F_r(k-1)-F_d(k-1)]²}

+E{[F_r(k)-F_r(k-1)][F_r(k-1)-F_d(k-1)]}

其中，E表示求期望，F_r(k)和F_d(k)为信源编码端重建帧和信源解码端的重建帧，k和k-1为参考帧的帧号，是当前重建帧以及其前一帧，帧间编码帧信道失真不涉及差错传播，上式中E{[F_r(k-1)-F_d(k-1)]²}项为零；

由于信源编码端的环路滤波的作用，上式表示成：

D_c(k)＝u×E{[F_o(k)-F_o(k-1)]²}

其中：u描述滤波器强度，F_o(k)、F_o(k-1)为第k帧和第k-1帧输入视频序列。

4.根据权利要求1所述信源信道联合编码中的信道码码率分配方法，其特征是，所述估计涉及差错传播的总信道失真，具体为：

根据某帧的信道失真估计结果，结合信源编码器的统计信息，得到当前帧对随后帧差错传播的影响，这里帧内编码宏块不会受差错传播的影响，采用系数(1-c₁)对估计方法进行校正，c₁是信源编码的帧内编码率，差错传播所引起的随后第一帧的失真具体为：

D_cp ¹(t)＝E{[F_r(t)-F_d(t)]²}

＝(1-c₁)E{[F_r(t)-e(t)-F_d(t-1)]²}

＝(1-c₁)E{[F_r(t-1)-F_d(t-1)]²}

＝(1-c₁)b₁D_c(err)

其中，F_r(k)和F_d(k)为信源编码端重建帧和信源解码端的重建帧；b₁是运动传播系数，用于对失真估计方法的精确度进行调整，e(t)是解码端得到的残差，Dc(err)是引起差错传播帧的失真；

对于其后各帧的失真估计方法与第一帧相同，只是系数b₁，c₁相应变为b_l和c_l，

$D_{\mathrm{cp}}^l\left(t\right)=(1-c_l)b_l{D}_c\left(\mathrm{err}\right),1\≤l\≤G_l$

其中，G₁为同一图像组内的剩余帧数，l为帧号。

5.根据权利要求1所述的信源信道联合编码中的信道码码率分配方法，其特征是，所述得到一幅图像的完整的失真估计，具体为：

${{\hat{D}}_c}^i=D_c+\underset{j=1}{\overset{G-i}{\mathrm{\Σ}}}{D_{\mathrm{cp}}}^j$

其中：G为一个图像组中的总帧数，D_c是帧内编码帧或帧间编码帧的信道失真估计结果，

是会使用到信源编码端重建帧Fr(k)的统计信息。

6.根据权利要求1所述的信源信道联合编码中的信道码码率分配方法，其特征是，所述利用遗传方法得到最优码率分配，具体为：根据RS码的码率，在信道条件下的纠错性能选取n个初始可行码率集，根据遗传方法应用于码率分配模型的收敛性能设置终止迭代次数G，初始迭代次数为零，每次迭代的过程中计算当前可行解集内每一个可行解代入目标函数后计算结果的倒数，即适应性值，根据各可行解的适应性值大小对可行解集进行选择、交叉和变异操作，当迭代次数达到终止次数后，从可行解集中选择适应性值最大的可行解即为最优信道码率分配结果。

7.根据权利要求1所述的信源信道联合编码中的信道码码率分配方法，其特征是，所述建立一个使信道失真最小的码率分配模型，具体为：

在通信条件为二进制对称信道情况下，采用RS码对数据进行保护，假设码率为r的RS码在符号差错率ps的信道中的差错率为P，则码率分配模型具体如下：

min $D_c\stackrel{V}{\left(r\right)}=\underset{i=1}{\overset{G}{\mathrm{\Σ}}}P\left(r_i\right)\×{{\hat{D}}_c}^i\left(r_i\right)$

st. $\underset{i=1}{\overset{G}{\mathrm{\Σ}}}(K_i+L_i)\≤R_{\mathrm{budget}}$

R_i＝K_i/(K_i+L_i)

其中：K_i是第i帧信息所占用的比特数，L_i是信道编码后的校验位所占用的比特数，为一个图像组的总失真估计，R_budget为信道带宽约束条件，ri为第i帧的信道码码率。

Images