CN104320645A - 一种h.264/avc立体视频中图像帧重要性的评价方法 - Google Patents

Abstract

本发明公开了一种H.264/AVC立体视频中图像帧重要性的评价方法，其对于右视点编码帧，先计算其错误隐藏失真，然后根据错误隐藏失真计算错误扩散失真，最后将两种失真相加得到除最后一帧右视点编码帧外的右视点编码帧的帧重要性，最后一帧右视点编码帧的帧重要性仅由错误隐藏失真确定；对于左视点编码帧，排除第1帧左视点编码帧，先计算左视点编码帧的错误隐藏失真，然后根据错误隐藏失真计算视点内错误扩散失真和视点间错误扩散失真，两者之和作为总错误扩散失真，最后将错误隐藏失真和错误扩散失真相加作为左视点编码帧的重要性，该方法在编码端就能准确地估计出各编码帧的帧重要性，且估计精度高。

Description

一种H.264/AVC立体视频中图像帧重要性的评价方法

技术领域

本发明涉及一种帧重要性评价技术，尤其是涉及一种H.264/AVC立体视频中图像帧重要性的评价方法。

背景技术

在立体视频中，不同图像帧、不同视频内容对于终端感知的影响不同，因此需要对它们的重要性进行研究。目前常用的图像帧重要性区分方法有两种，第一种是基于解码依赖关系的帧重要性区分方法，另一种是基于语法结构的视频内容区分方法。

对于基于解码依赖关系的帧重要性区分方法，其认为在一个图像组(GOP)中，I帧最重要，其次是P帧，最不重要的是B帧，I帧是帧内编码，无需其它帧信息即可进行解码，P帧为单向预测帧，需要依赖前一个P帧或者B帧进行解码，B帧则完全需要依赖前后帧进行解码，上层的重要性优于下层，同层中的P帧优于B帧。这类方法认为错误发生的越早，错误扩散积累越严重，对后续帧的影响越大，因此认为某帧的重要性与该帧在图像组中的位置成近似的线性关系。

对于基于语法结构的视频内容区分方法，其将H.264/AVC视频数据按片编码后分为3种不同等级，进而区分重要性；其根据可扩展编码的形式(精细可扩展编码和渐进精细可扩展编码)将编码数据分为基本层和增强层，而后续增强层必须依赖基本层进行数据解码，因此认为基本层到后续增强层的重要性依次递减。这类方法计算简单，但仅能够根据编码语法获得图像帧重要性的一个定性的分析，而不能够进行量化的、精确的分析，具有一定的局限性。

通过上述分析可知，上述两种方法都没有考虑视频内容特性对重要性的影响，因此上述两种方法均不能准确反映图像帧对于终端感知的重要性，并不适用于立体视频中图像帧重要性的评价。相对于单视点视频，立体视频增加的深度信息或视差信息提高了时空相关性和编解码依赖性，而左视点与右视点之间的错误扩散关系更加复杂，图像帧重要性区分也更加复杂。因此，需要研究一种新的H.264/AVC立体视频中图像帧重要性的评价方法。

发明内容

本发明所要解决的技术问题是提供一种H.264/AVC立体视频中图像帧重要性的评价方法，其能够在编码端估计各图像帧对于终端视频质量的影响，能够准确反映各图像帧的重要性。

本发明解决上述技术问题所采用的技术方案为：一种H.264/AVC立体视频中图像帧重要性的评价方法，其特征在于包括以下步骤：

①在编码端，假设编码后的H.264/AVC立体视频包括N帧左视点编码帧和N帧右视点编码帧，其中，N≥1；

②计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的错误隐藏失真，将第t帧右视点编码帧的错误隐藏失真记为 其中，1≤t≤N，t的初始值为1， $D^{\mathrm{right}}=\left(t\right)\left\{\begin{array}{cc}\mathrm{MSE}(l_1,r_1)& t=1\\ \mathrm{MSE}(r_{t-1},r_t)& 2\≤t\≤N\end{array}\right.,$ MSE(l₁,r₁)表示第1帧左视点编码帧与第1帧右视点编码帧之间的均方差，MSE(r_t-1,r_t)表示第(t-1)帧右视点编码帧与第t帧右视点编码帧之间的均方差，l₁表示第1帧左视点编码帧，r₁、r_t-1和r_t对应表示第1帧右视点编码帧、第(t-1)帧右视点编码帧和第t帧右视点编码帧；

③计算编码后的H.264/AVC立体视频中除最后一帧右视点编码帧外的每帧右视点编码帧的错误扩散失真，将除最后一帧右视点编码帧外的第t帧右视点编码帧的错误扩散失真记为 $I_p^{\mathrm{right}}\left(t\right)=\frac{(1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}})-{(1-{\mathrm{\β}}_t^{\mathrm{right}})}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}\×{\left({\mathrm{\α}}_t^{\mathrm{right}}\right)}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}}{1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}}}\×D^{\mathrm{right}}\left(t\right),$ 其中，此处1≤t≤N-1，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t帧右视点编码帧的错误扩散因子，的值等于第t帧右视点编码帧中参与预测下一帧右视点编码帧的所有宏块的总失真与第t帧右视点编码帧的失真的比值，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数；

④计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的帧重要性，将第t帧右视点编码帧的帧重要性记为I^right(t)， $I^{\mathrm{right}}=\left(t\right)=\left\{\begin{array}{cc}{i}_c^{\mathrm{right}}\left(t\right)+I_p^{\mathrm{right}}\left(t\right)& 1\≤t\≤N-1\\ I_c^{\mathrm{right}}\left(t\right)& t=N\end{array}\right.;$

⑤假设编码后的H.264/AVC立体视频中的第1帧左视点编码帧不丢失，则计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的错误隐藏失真记为 其中，2≤t'≤N，t'的初始值为2，D^left(t')＝MSE(l_t'-1,l_t')，MSE(l_t'-1,l_t')表示第(t'-1)帧左视点编码帧与第t'帧左视点编码帧之间的均方差，l_t'-1和l_t'对应表示第(t'-1)帧左视点编码帧和第t'帧左视点编码帧；

⑥计算编码后的H.264/AVC立体视频中除第1帧和最后一帧左视点编码帧外的每帧左视点编码帧的视点内错误扩散失真，将除第1帧和最后一帧左视点编码帧外的第t'帧左视点编码帧的视点内错误扩散失真记为 $I_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)=\frac{(1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}})-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}}{1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}}\×D^{\mathrm{left}}\left(t^{\′}\right),$ 其中，此处2≤t'≤N-1，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的帧内预测比例，表示第t'帧左视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测下一帧左视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的总帧数；

⑦计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的视点间错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的视点间错误扩散失真记为 $I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)=\left[\begin{array}{c}m\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^2\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^3\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +...+m\×n^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\end{array}\right]\×D^{\mathrm{left}}\left(t^{\′}\right),$ 其中，此处2≤t'≤N，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t'帧左视点编码帧对第t'帧右视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测第t'帧右视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数， 表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的视点内预测比例，ω₁表示第t'帧左视点编码帧的加权系数，ω₂表示与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的前一帧右视点编码帧的加权系数，ω₁+ω₂＝1；

⑧计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的总错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的总错误扩散失真记为 $I_p^{\mathrm{left}}\left(t^{\′}\right)=\left\{\begin{array}{cc}{I}_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)+I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& 2\≤t^{\′}\≤N-1\\ I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& t^{\′}=N\end{array}\right.;$

⑨根据编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真和总错误扩散失真，计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的帧重要性，将除第1帧左视点编码帧外的第t'帧左视点编码帧的帧重要性记为I^left(t')，其中，2≤t'≤N，t'的初始值为2。

所述的步骤⑦中如果则取ω₁＝0.5,ω₂＝0.5；如果则取ω₁＝0.4,ω₂＝0.6。

与现有技术相比，本发明的优点在于：

1)本发明方法对于右视点编码帧，先计算其错误隐藏失真，然后根据错误隐藏失真计算错误扩散失真，最后将两种失真相加得到除最后一帧右视点编码帧外的右视点编码帧的帧重要性，最后一帧右视点编码帧的帧重要性仅由错误隐藏失真确定；对于左视点编码帧，排除第1帧左视点编码帧，先计算左视点编码帧的错误隐藏失真，然后根据错误隐藏失真计算视点内错误扩散失真和视点间错误扩散失真，两者之和作为总错误扩散失真，最后将错误隐藏失真和错误扩散失真相加作为左视点编码帧的重要性，该方法在编码端就能准确地估计出各编码帧的帧重要性，且估计精度高。

2)本发明方法在计算右视点编码帧的错误扩散失真和左视点编码帧的视点内错误扩散失真时，通过利用错误扩散因子和后续帧的帧内预测比例，可有效提高本发明方法的评价精度。

3)本发明方法中提出的错误扩散因子的值等于编码帧中参与预测下一帧编码帧的所有宏块的总失真与该编码帧的失真的比值，每帧编码帧的错误扩散因子都可以动态求得，这提高了本发明方法的适用范围，可适用于不同剧烈程度和视差大小的立体视频序列。

4)本发明方法只需知道编码后的立体视频编码码流信息、帧间编码和帧内编码比例、视点内编码和视点间编码比例，不需要解码端的反馈，即可在编码端计算出不同编码帧的帧重要性，这一特性特别适合点播视频的传输优化问题。

5)本发明方法在求取左视点编码帧的错误扩散失真时，分为视点内错误扩散失真和视点间错误扩散失真，计算过程简单，可以解决立体视频中的二维错误扩散问题。

附图说明

图1为本发明方法的总体实现框图；

图2a为Book立体视频序列中的左视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为均方差MSE)；

图2b为Book立体视频序列中的右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为均方差MSE)；

图3a为Crowd立体视频序列中的左视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为均方差MSE)；

图3b为Crowd立体视频序列中的右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为均方差MSE)；

图4a为Book立体视频序列中的左视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为峰值信噪比PSNR)；

图4b为Book立体视频序列中的右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为峰值信噪比PSNR)；

图5a为Crowd立体视频序列中的左视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为峰值信噪比PSNR)；

图5b为Crowd立体视频序列中的右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为峰值信噪比PSNR)。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种H.264/AVC立体视频中图像帧重要性的评价方法，其总体实现框图如图1所示，其包括以下步骤：

①在编码端，假设编码后的H.264/AVC立体视频包括N帧左视点编码帧和N帧右视点编码帧，其中，N≥1，在实际操作过程中如可取N＝15，一般情况下如果编码后的H.264/AVC立体视频包含很多帧立体图像如包含1000帧立体图像，则利用本发明方法评价图像帧重要性时，后续的图像帧的评价精度相对会降低，因此对于包含有大量立体图像的立体视频可以采用以一个图像组为单位进行处理，后续步骤即为对每个图像组中的每帧图像帧进行重要性评价。

②计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的错误隐藏失真，将第t帧右视点编码帧的错误隐藏失真记为 其中，1≤t≤N，t的初始值为1， $D^{\mathrm{right}}=\left(t\right)\left\{\begin{array}{cc}\mathrm{MSE}(l_1,r_1)& t=1\\ \mathrm{MSE}(r_{t-1},r_t)& 2\≤t\≤N\end{array}\right.,$ MSE(l₁,r₁)表示第1帧左视点编码帧与第1帧右视点编码帧之间的均方差，MSE(r_t-1,r_t)表示第(t-1)帧右视点编码帧与第t帧右视点编码帧之间的均方差，l₁表示第1帧左视点编码帧，r₁、r_t-1和r_t对应表示第1帧右视点编码帧、第(t-1)帧右视点编码帧和第t帧右视点编码帧。

③计算编码后的H.264/AVC立体视频中除最后一帧右视点编码帧外的每帧右视点编码帧的错误扩散失真，由于右视点中的某帧右视点编码帧丢失只会对右视点中的后续右视点编码帧产生影响，因此对右视点来说，如果除第1帧外的某帧右视点编码帧丢失，则直接拷贝该帧时域上的前一帧右视点编码帧(即上一个时刻的右视点编码帧)进行数据恢复，如果第1帧右视点编码帧丢失，则直接拷贝I帧(即第1帧左视点编码帧)进行数据恢复。本发明将除最后一帧右视点编码帧外的第t帧右视点编码帧的错误扩散失真记为 $I_p^{\mathrm{right}}\left(t\right)=\frac{(1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}})-{(1-{\mathrm{\β}}_t^{\mathrm{right}})}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}\×{\left({\mathrm{\α}}_t^{\mathrm{right}}\right)}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}}{1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}}}\×D^{\mathrm{right}}\left(t\right),$ 其中，此处1≤t≤N-1，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t帧右视点编码帧的错误扩散因子，的值等于第t帧右视点编码帧中参与预测下一帧右视点编码帧的所有宏块的总失真与第t帧右视点编码帧的失真的比值，的具体值与立体视频序列的运动剧烈程度有关，在运动平稳的立体视频序列中，通常为一个大于0且小于1的常数，可用近似表示，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数。

④计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的帧重要性，将第t帧右视点编码帧的帧重要性记为I^right(t)， $I^{\mathrm{right}}=\left(t\right)=\left\{\begin{array}{cc}{i}_c^{\mathrm{right}}\left(t\right)+I_p^{\mathrm{right}}\left(t\right)& 1\≤t\≤N-1\\ I_c^{\mathrm{right}}\left(t\right)& t=N\end{array}\right..$

⑤假设编码后的H.264/AVC立体视频中的第1帧左视点编码帧不丢失，则计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的错误隐藏失真记为 其中，2≤t'≤N，t'的初始值为2，D^left(t')＝MSE(l_t'-1,l_t')，MSE(l_t'-1,l_t')表示第(t'-1)帧左视点编码帧与第t'帧左视点编码帧之间的均方差，l_t'-1和l_t'对应表示第(t'-1)帧左视点编码帧和第t'帧左视点编码帧。

在此，假设左视点中第1帧左视点编码帧不丢失，不进行帧重要性计算，对于左视点来说，如果除第1帧左视点编码帧外的某帧左视点编码帧丢失，则直接拷贝上一帧左视点编码帧进行数据恢复。

⑥由于左视点中除第1帧左视点编码帧外的某帧左视点编码帧丢失会对左视点中的后续左视点编码帧产生影响，因此需计算除第1帧左视点编码帧外的每帧左视点编码帧的视点内错误扩散失真。计算编码后的H.264/AVC立体视频中除第1帧和最后一帧左视点编码帧外的每帧左视点编码帧的视点内错误扩散失真，将除第1帧和最后一帧左视点编码帧外的第t'帧左视点编码帧的视点内错误扩散失真记为 $I_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)=\frac{(1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}})-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}}{1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}}\×D^{\mathrm{left}}\left(t^{\′}\right),$ 其中，此处2≤t'≤N-1，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的帧内预测比例，表示第t'帧左视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测下一帧左视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，的具体值与立体视频序列的运动剧烈程度有关，在运动平稳的立体视频序列中，通常为一个大于0且小于1的常数，可用近似表示，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的总帧数。

⑦计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的视点间错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的视点间错误扩散失真记为 $I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)=\left[\begin{array}{c}m\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^2\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^3\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +...+m\×n^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\end{array}\right]\×D^{\mathrm{left}}\left(t^{\′}\right),$ 其中，此处2≤t'≤N，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t'帧左视点编码帧对第t'帧右视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测第t'帧右视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，的具体值与立体视频序列的运动剧烈程度有关，在运动平稳的立体视频序列中，通常为一个大于0且小于1的常数，可用近似表示，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数， $m=(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})\×(1-{\mathrm{\γ}}_{t^{\′}}^{\mathrm{zl}})\×{\mathrm{\ω}}_1,n=(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})\×{\mathrm{\γ}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\ω}}_2,$ 表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的视点内预测比例，ω₁表示第t'帧左视点编码帧的加权系数，ω₂表示与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的前一帧右视点编码帧的加权系数，ω₁+ω₂＝1，即左视点中除第1帧左视点编码帧外的某帧左视点编码帧丢失对右视点编码帧产生的视点间错误扩散失真可通过该帧左视点编码帧的失真与同一时刻的右视点编码帧的前一帧右视点编码帧的失真加权求取。

此具体实施例中，步骤⑦中的ω₁和ω₂的实际取值与的具体值有关，经过大量实验确定ω₁和ω₂的实际取值与的具体值之间的关系，即如果则取ω₁＝0.5,ω₂＝0.5；如果则取ω₁＝0.4,ω₂＝0.6。

⑧计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的总错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的总错误扩散失真记为 $I_p^{\mathrm{left}}\left(t^{\′}\right)=\left\{\begin{array}{cc}{I}_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)+I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& 2\≤t^{\′}\≤N-1\\ I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& t^{\′}=N\end{array}\right..$

⑨根据编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真和总错误扩散失真，计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的帧重要性，将除第1帧左视点编码帧外的第t'帧左视点编码帧的帧重要性记为I^left(t')，其中，2≤t'≤N，t'的初始值为2。

为验证本发明方法的可行性和有效性，对本发明方法进行以下实验。

实验条件：1)软件测试模型：Joint Video Team of ISO/IEC&ITU-T VCEG会议参考软件Joint Model，版本18.2；2)图像组结构：IPPPP…..；3)测试序列：Book立体视频序列和Crowd立体视频序列；4)图像组长度：24帧；5)宏块的尺寸：16×16个像素点；6)帧率：30fps；7)分辨率：320×240；8)量化步长：28。

实验内容及结果：

对本发明方法进行模拟实验，并对其准确性进行评估。图2a和图2b分别给出了Book立体视频序列中的左视点编码帧和右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为均方差MSE)，图3a和图3b分别给出了Crowd立体视频序列中的左视点编码帧和右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为均方差MSE)，图4a和图4b分别给出了Book立体视频序列中的左视点编码帧和右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为峰值信噪比PSNR)，图5a和图5b分别给出了Crowd立体视频序列中的左视点编码帧和右视点编码帧通过本发明方法得到的帧重要性与实际值的对比示意图(评价标准为峰值信噪比PSNR)。分析图2a至图3b，发现评价标准采用均方差MSE时，左视点编码帧的平均失真误差为5.97％，右视点编码帧的平均失真误差为4.97％；分析图4a至图5b，发现评价标准采用峰值信噪比PSNR时，左视点编码帧的平均失真误差为0.80％，右视点编码帧的平均失真误差为0.90％。

实验结果表明本发明方法具有良好的评价精度，适用于不同视差大小和运动剧烈程度的立体视频序列，可在编码端精确估计各帧对于立体视频序列的重要性。

Claims (2)

1.一种H.264/AVC立体视频中图像帧重要性的评价方法，其特征在于包括以下步骤：

①在编码端，假设编码后的H.264/AVC立体视频包括N帧左视点编码帧和N帧右视点编码帧，其中，N≥1；

②计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的错误隐藏失真，将第t帧右视点编码帧的错误隐藏失真记为 其中，1≤t≤N，t的初始值为1， $D^{\mathrm{right}}=\left(t\right)\left\{\begin{array}{cc}\mathrm{MSE}(l_1,r_1)& t=1\\ \mathrm{MSE}(r_{t-1},r_t)& 2\≤t\≤N\end{array}\right.,$ MSE(l₁,r₁)表示第1帧左视点编码帧与第1帧右视点编码帧之间的均方差，MSE(r_t-1,r_t)表示第(t-1)帧右视点编码帧与第t帧右视点编码帧之间的均方差，l₁表示第1帧左视点编码帧，r₁、r_t-1和r_t对应表示第1帧右视点编码帧、第(t-1)帧右视点编码帧和第t帧右视点编码帧；

③计算编码后的H.264/AVC立体视频中除最后一帧右视点编码帧外的每帧右视点编码帧的错误扩散失真，将除最后一帧右视点编码帧外的第t帧右视点编码帧的错误扩散失真记为 $I_p^{\mathrm{right}}\left(t\right)=\frac{(1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}})-{(1-{\mathrm{\β}}_t^{\mathrm{right}})}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}\×{\left({\mathrm{\α}}_t^{\mathrm{right}}\right)}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}}{1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}}}\×D^{\mathrm{right}}\left(t\right),$ 其中，此处1≤t≤N-1，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t帧右视点编码帧的错误扩散因子，的值等于第t帧右视点编码帧中参与预测下一帧右视点编码帧的所有宏块的总失真与第t帧右视点编码帧的失真的比值，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数；

④计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的帧重要性，将第t帧右视点编码帧的帧重要性记为I^right(t)， $I^{\mathrm{right}}=\left(t\right)=\left\{\begin{array}{cc}{i}_c^{\mathrm{right}}\left(t\right)+I_p^{\mathrm{right}}\left(t\right)& 1\≤t\≤N-1\\ I_c^{\mathrm{right}}\left(t\right)& t=N\end{array}\right.;$

⑤假设编码后的H.264/AVC立体视频中的第1帧左视点编码帧不丢失，则计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的错误隐藏失真记为 其中，2≤t'≤N，t'的初始值为2，D^left(t')＝MSE(l_t'-1,l_t')，MSE(l_t'-1,l_t')表示第(t'-1)帧左视点编码帧与第t'帧左视点编码帧之间的均方差，l_t'-1和l_t'对应表示第(t'-1)帧左视点编码帧和第t'帧左视点编码帧；

⑥计算编码后的H.264/AVC立体视频中除第1帧和最后一帧左视点编码帧外的每帧左视点编码帧的视点内错误扩散失真，将除第1帧和最后一帧左视点编码帧外的第t'帧左视点编码帧的视点内错误扩散失真记为 $I_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)=\frac{(1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}})-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}}{1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}}\×D^{\mathrm{left}}\left(t^{\′}\right),$ 其中，此处2≤t'≤N-1，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的帧内预测比例，表示第t'帧左视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测下一帧左视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的总帧数；

⑦计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的视点间错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的视点间错误扩散失真记为 $I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)=\left[\begin{array}{c}m\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^2\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^3\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +...+m\×n^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\end{array}\right]\×D^{\mathrm{left}}\left(t^{\′}\right),$ 其中，此处2≤t'≤N，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t'帧左视点编码帧对第t'帧右视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测第t'帧右视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数， 表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的视点内预测比例，ω₁表示第t'帧左视点编码帧的加权系数，ω₂表示与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的前一帧右视点编码帧的加权系数，ω₁+ω₂＝1；

⑧计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的总错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的总错误扩散失真记为 $I_p^{\mathrm{left}}\left(t^{\′}\right)=\left\{\begin{array}{cc}{I}_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)+I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& 2\≤t^{\′}\≤N-1\\ I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& t^{\′}=N\end{array}\right.;$

⑨根据编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真和总错误扩散失真，计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的帧重要性，将除第1帧左视点编码帧外的第t'帧左视点编码帧的帧重要性记为I^left(t')，其中，2≤t'≤N，t'的初始值为2。

2.根据权利要求1所述的一种H.264/AVC立体视频中图像帧重要性的评价方法，其特征在于所述的步骤⑦中如果则取ω₁＝0.5,ω₂＝0.5；如果则取ω₁＝0.4,ω₂＝0.6。