CN102595125B - 一种p帧双向预测方法及装置 - Google Patents

Abstract

本发明提出一种P帧双向预测方法、装置，对存在镜头推进的视频源，通过对当前编码帧的一个参考帧进行双向变换，并利用其进行双向预测从而达到优化当前编码帧的压缩效果。此方法，一方面可以缓解由于对镜头推进判定不准确或者采用不合适的采样率，而产生的制约P帧预测参考帧变换技术性能的问题，另一方面可以利用一个前向参考帧达到对当前编码P帧进行前后双向预测的效果。低帧率时，帧与帧之间的镜头变化更大，此时采用本发明的P帧预测方法，压缩性能的提升将更为显著。

Description

一种P帧双向预测方法及装置

技术领域

本发明涉及视频编码领域，尤其涉及一种P帧双向预测方法及装置。

背景技术

目前在视频编码中，通常使用帧内预测来消除图像的空间冗余度，使用帧间预测来消除时间冗余度。其中视频源的帧间信息冗余度相比较于帧内的要大得多，这就使得帧间编码方法在视频编码中显得极为重要。

帧间预测根据预测方向的不同分为：P帧预测和B帧预测。目前主流的P帧预测方法采用前向已编码的帧作为当前编码帧的参考帧，利用两者之间的相似性，压缩当前编码帧的信息。而主流的B帧预测方法则采用前向已编码的帧以及后向已编码的帧，分别作为当前编码B帧的前后向参考帧，利用当前编码B帧与前后向参考帧之间的相似性，压缩当前编码B帧的信息。由于P帧预测仅使用前向预测，而B帧预测方法使用了前后向双向预测技术，从而使得P帧预测比B帧预测的压缩率低。

发明内容

本发明实施例的目的在于提出一种P帧双向预测方法，旨在解决现有技术中P帧预测仅使用前向预测导致的压缩率低的问题。

为解决上述问题，本发明提出一种P帧双向预测方法，该方法包括：

步骤101：确定第一参考帧与当前编码帧的关系；若为镜头拉近则执行步骤102；

步骤102：对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧；

步骤103：判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数，若是则执行步骤104；若否则执行步骤105；

步骤104：对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，执行步骤106；

步骤105：对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；执行步骤106；

步骤106：判断是否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测；若否则用第一参考帧对当前编码帧进行常规预测。

其中，所述步骤101中，进一步包括：若是镜头推远则执行步骤107；

步骤107：对第一参考帧进行处理，得到第八参考帧，并将第一当前参考帧设置为第八参考帧；执行步骤108；

步骤108；判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数，若是则执行步骤109；若否则执行步骤110；

步骤109：对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧，执行步骤106；

步骤110：对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧；执行步骤106。

本发明还提出了一种P帧双向预测装置，所述装置包括：

第一判断单元，用于确定第一参考帧与当前编码帧的关系；

镜头拉近单元包括：第一处理单元，第二处理单元，第三处理单元；

所述第一处理单元，用于当第一参考帧与当前编码帧的关系为镜头拉近时则对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧，则第二判断单元进行判断；

第二处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差小于第一参数，则对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，由预测单元进行处理；

第三处理单元，用于判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差大于等于第一参数，则对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；

第二判断单元，用于判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数；

预测单元，用于判断否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测；若否则用第一参考帧对当前编码帧进行常规预测。

其中，所述装置进一步包括镜头推远单元，该单元包括：第四处理单元，第五处理单元，第六处理单元；

第四处理单元，用于当第一参考帧与当前编码帧的关系为镜头推远时则对第一参考帧进行处理得到第八参考帧，并将第一当前参考帧设置为第八参考帧，则第二判断单元进行判断；

第五处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差小于第一参数，则对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧；

第六处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差大于等于第一参数，则对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧。

本发明提出一种P帧双向预测方法、装置，对存在镜头推进的视频源，通过对当前编码帧的一个参考帧进行双向变换，并利用其进行双向预测从而达到优化当前编码帧的压缩效果。

此方法，一方面可以缓解由于对镜头推进判定不准确或者采用不合适的采样率，而产生的制约P帧预测参考帧变换技术性能的问题，另一方面可以利用一个前向参考帧达到对当前编码P帧进行前后双向预测的效果。低帧率时，帧与帧之间的镜头变化更大，此时采用本发明的P帧预测方法，压缩性能的提升将更为显著。

附图说明

图1是实施例1的方法流程图。

图2是实施例2的装置结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

本发明提出一种新的P帧的。

实施例1，参见图1，该方法主要应用于P帧预测，具体为：

步骤101：确定第一参考帧ref_i(该第一参考帧可以为参考帧列表中任一个参考帧)与当前编码帧frame的关系；若所述关系为镜头拉近则执行步骤102；若所述关系为镜头推远则执行步骤107；若不存在镜头拉近或者镜头推远关系，则执行步骤106；

步骤102：对第一参考帧ref_i进行处理，得到第二参考帧ref_i'，并将第一当前参考帧curr_ref_i ⁰设置为第二参考帧ref_i'；

该步骤102中所述的对第一参考帧ref_i进行处理r得到第二参考帧ref_i'的方法可以为：对第一参考帧ref_i进行上采样，得到第二参考帧ref_i'。

在该步骤102中，可以在得到第二参考帧ref_i'的基础上对第二参考帧ref_i'进行处理，得到第三参考帧ref_i”；对第二参考帧ref_i'进行处理的方法可以为：将第二参考帧ref_i'进行边界像素删除，获取第三参考帧ref_i”，使得第三参考帧ref_i”与第一参考帧ref_i具有相同的分辨率；相应的可以将第一当前参考帧设置为第三参考帧ref_i”；该方法进一步对第二参考帧进行了像素删除，使得第一当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中将第二参考帧ref_i'进行边界像素删除，获取第三参考帧ref_i”的方法可以为：

ref_i”(m,n)＝ref_i'(m+d_height',n+d_width')

d_width'＝(m_width'-o_width)/2，

d_height'＝(m_height'-o_height)/2。

其中ref_i'为第二参考帧，ref_i”为第三参考帧，o_width、o_height为ref_i第一参考帧的列数与行数，m_width'、m_height'为ref_i'的列数与行数，m、n为参考帧像素的行标号与列标号；

步骤103：判断第一参考帧ref_i与当前编码帧frame像素差值的均方差是否小于第一参数，若是则执行步骤104；若否则执行步骤105；

ifstd(ref_i(m,n)-frame(m,n))<Thres，进入步骤104；

else进入步骤105；

其中std：求均方差；

ref_i(m,n)：第i个参考帧ref_i第m行n列的像素值；

frame(m,n)：当前编码帧frame第m行n列的像素值；

Thres：相应判定阈值，即预置的第一参数。

步骤104：对第一参考帧ref_i进行处理，得到第四参考帧ref_i”'，并将第二当前参考帧curr_ref_i ¹设置为第四参考帧ref_i”'，执行步骤106；

该步骤104中对第一参考帧ref_i进行处理得到第四参考帧的方法可以为对第一参考帧ref_i进行下采样；

该步骤104中可以在获取第四参考帧ref_i”'后进一步对第四参考帧ref_i”'进行处理，得到第五参考帧ref_i””；对第四参考帧ref_i”'进行处理获得第五参考帧ref_i””的方法可以是：对第四参考帧ref_i”'进行边界像素填充扩展，获得第五参考帧，使得第五参考帧与第一参考帧ref_i具有相同的分辨率；该方法进一步对第四参考帧进行了像素扩展，使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中对第四参考帧ref_i”'进行边界像素填充扩充的方法可以为：

列填充：

行填充：

其中ref_i”'为第四参考帧、o_width、o_height为ref_i第一参考帧的列数与行数，m_width”'、m_height”'为ref_i”'第四参考帧ref_i”'的列数与行数，m、n为参考帧像素的行标号与列标号；ref_i””为第五参考帧；

d_width”'＝(o_width-m_width”')/2，

d_height”'＝(o_height-m_height”')/2。

步骤105：对第一参考帧ref_i进行处理，得到第六参考帧ref_i ⁽⁵⁾，并将第二当前参考帧curr_ref_i ¹设置为第六参考帧ref_i ⁽⁵⁾，执行步骤106；

该步骤105中对第一参考帧ref_i进行处理得到第六参考帧ref_i ⁽⁵⁾方法可以为：更换采样率对第一参考帧ref_i进行上采样，得到第六参考帧ref_i ⁽⁵⁾；

该步骤105中在得到第六参考帧ref_i ⁽⁵⁾后可以进一步对第六参考帧ref_i ⁽⁵⁾进行处理，得到第七参考帧ref_i ⁽⁶⁾，使得第七参考帧ref_i ⁽⁶⁾与第一参考帧ref_i具有相同的分辨率；并相应的将第二当前参考帧设置为第七参考帧ref_i ⁽⁶⁾；进入步骤106；

其中对第六参考帧ref_i ⁽⁵⁾进行处理，得到第七参考帧ref_i ⁽⁶⁾的方法可以为：对第六参考帧ref_i ⁽⁵⁾进行边界像素删除：

ref_i ⁽⁶⁾(m,n)＝ref_i ⁽⁵⁾(m+d_height⁽⁵⁾,n+d_width⁽⁵⁾)

其中ref_i ⁽⁶⁾为第七参考帧、ref_i ⁽⁵⁾为第六参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁵⁾、m_height⁽⁵⁾为ref_i ⁽⁵⁾的列数与行数、ref_i ⁽⁶⁾为第七参考帧；m、n为参考帧像素的行标号与列标号；

d_width⁽⁵⁾＝(m_width⁽⁵⁾-o_width)/2，

d_height⁽⁵⁾＝(m_height⁽⁵⁾-o_height)/2；

该方法进一步对第六参考帧进行了像素删除使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容。

步骤106：判断是否第一、第二当前参考帧(curr_ref_i ⁰、curr_ref_i ¹)都存在，若是则利用所述第一、第二当前参考帧(curr_ref_i ⁰、curr_ref_i ¹)对当前编码帧进行双向预测，结束；若否则用第一参考帧ref_i对当前编码帧进行常规预测，结束；

if(curr_ref_i ⁰&&curr_ref_i ¹存在)

利用curr_ref_i ⁰和curr_ref_i ¹，对当前编码帧frame进行双向P帧预测，结束。

else利用ref_i对当前编码帧frame进行常规P帧预测，结束。

其中，curr_ref_i ⁰：第一当前参考帧，即更新处理后0方向的第i个参考帧；curr_ref_i ¹：第二当前参考帧，即更新处理后1方向的第i个参考帧。

步骤107：对第一参考帧ref_i进行处理，得到第八参考帧ref_i ⁽⁷⁾，并将第一当前参考帧设置为第八参考帧ref_i ⁽⁷⁾；执行步骤108；

该步骤107中，对第一参考帧ref_i进行处理得到第八参考帧ref_i ⁽⁷⁾的方法可以为：对第一参考帧ref_i进行下采样，得到第八参考帧ref_i ⁽⁷⁾；

该步骤107中，得到第八参考帧ref_i ⁽⁷⁾后可以进一步对第八参考帧ref_i ⁽⁷⁾进行像素填充扩展，获得第九参考帧ref_i ⁽⁸⁾；并相应的将第一参考帧ref_i是设置为第九参考帧ref_i ⁽⁸⁾；该方法进一步对对第八参考帧进行了像素扩展，使得第一当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中对第八参考帧ref_i ⁽⁷⁾进行像素填充扩展，获得第九参考帧ref_i ⁽⁸⁾的方法可以为：

列填充：

行填充：

其中ref_i ⁽⁸⁾为第九参考帧、ref_i ⁽⁷⁾为第八参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁷⁾、m_height⁽⁷⁾为ref_i ⁽⁷⁾的列数与行数；ref_i ⁽⁸⁾为第九参考帧；m、n为参考帧像素的行标号与列标号；

d_width⁽⁷⁾＝(o_width-m_width⁽⁷⁾)/2，

d_height⁽⁷⁾＝(o_height-m_height⁽⁷⁾)/2。

步骤108：判断第一参考帧ref_i与当前编码帧frame像素差值的均方差是否小于第一参数，若是则执行步骤109；若否则执行步骤110；

ifstd(ref_i(m,n)-frame(m,n))<Thres，进入步骤109；

else进入步骤110；

其中std：求均方差；

ref_i(m,n)：当第i个参考帧ref_i第m行n列的像素值；

frame(m,n)：当前编码帧frame第m行n列的像素值；

Thres：相应判定阈值，即预置的第一参数。

步骤109：对第一参考帧ref_i进行处理，得到第十参考帧ref_i ⁽⁹⁾，并将第二当前参考帧curr_ref_i ¹设置为第十参考帧ref_i ⁽⁹⁾，执行步骤106；

该步骤109中：对第一参考帧ref_i进行处理得到第十参考帧ref_i ⁽⁹⁾方法可以为：对第一参考帧ref_i上采样；

该步骤109中，在得到第十参考帧ref_i ⁽⁹⁾后，可以进一步对第十参考帧ref_i ⁽⁹⁾进行处理，获得第十一参考帧ref_i ⁽¹⁰⁾，使得第十一参考帧ref_i ⁽¹⁰⁾与第一参考帧ref_i具有相同的分辨率；相应的将第二当前参考帧curr_ref_i ¹设置为第十一参考帧ref_i ⁽¹⁰⁾；其中对第一参考帧ref_i进行处理，获得第十一参考帧ref_i ⁽¹⁰⁾的方法可以为对第十参考帧进行边界像素删除；该方法进一步对第十参考帧进行了像素删除，使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中对第一参考帧ref_i进行边界像素删除，获得第十一参考帧ref_i ⁽¹⁰⁾的方法可以为：

ref_i ⁽¹⁰⁾(m,n)＝ref_i ⁽⁹⁾(m+d_height⁽⁹⁾,n+d_width⁽⁹⁾)

其中ref_i ⁽¹⁰⁾为第十一参考帧、ref_i ⁽⁹⁾为第十参考帧、o_width、o_height为ref_i第一参考帧的列数与行数，m_width⁽⁹⁾、m_height⁽⁹⁾为ref_i ⁽⁹⁾的列数与行数；ref_i ⁽⁹⁾为第十参考帧；ref_i ⁽¹⁰⁾为第十一参考帧；m、n为参考帧像素的行标号与列标号；

d_width⁽⁹⁾＝(m_width⁽⁹⁾-o_width)/2，

d_height⁽⁹⁾＝(m_height⁽⁹⁾-o_height)/2。

步骤110：对第一参考帧ref_i进行处理，得到第十二参考帧ref_i ⁽¹¹⁾，并将第二当前参考帧curr_ref_i ¹设置为第十二参考帧ref_i ⁽¹¹⁾，执行步骤106；

该步骤110中，对第一参考帧ref_i进行处理，得到第十二参考帧ref_i ⁽¹¹⁾的方法可以为：更换采样率对第一参考帧ref_i进行下采样；

该步骤110中，得到第十二参考帧ref_i ⁽¹¹⁾后可以进一步对第十二参考帧ref_i ⁽¹¹⁾进行边界像素填充扩展，得到第十三参考帧ref_i ⁽¹²⁾；使得第十三参考帧ref_i ⁽¹²⁾与第一参考帧ref_i具有相同的分辨率；相应的将第二当前参考帧curr_ref_i ¹设置为第十三参考帧ref_i ⁽¹²⁾，进入步骤106；该方法进一步对第十二参考帧进行了像素扩展，使得第二当前参考帧与第一参考帧具有相同的分辨率，避免了内存的重新分配，便于代码的兼容；

其中，对第十二参考帧ref_i ⁽¹¹⁾进行像素填充扩展，得到第十三参考帧ref_i ⁽¹²⁾的方法可以为：

列填充：

行填充：

其中ref_i ⁽¹²⁾为第十三参考帧、ref_i ⁽¹¹⁾为第十二参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽¹¹⁾、m_height⁽¹¹⁾为ref_i ⁽¹¹⁾的列数与行数；ref_i ⁽¹¹⁾为第十二参考帧；ref_i ⁽¹²⁾为第十三参考帧；m、n为参考帧像素的行标号与列标号；

d_width⁽¹¹⁾＝(o_width-m_width⁽¹¹⁾)/2，

d_height⁽¹¹⁾＝(o_height-m_height⁽¹¹⁾)/2。

实施例2，本发明实施例还提供了一种P帧双向预测装置，参见图2，所述装置包括：

第一判断单元，用于确定第一参考帧与当前编码帧的关系；

镜头拉近单元包括：第一处理单元，第二处理单元，第三处理单元；

所述第一处理单元，用于当第一参考帧与当前编码帧的关系为镜头拉近时则对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧，则第二判断单元进行判断；

所述第一处理单元中对第一参考帧进行处理，得到第二参考帧具体为：对第一参考帧进行上采样，得到第二参考帧；

所述第一处理单元还可以用于：得到所述第二参考帧后，进一步对第二参考帧进行处理，得到第三参考帧；相应的，将第一当前参考帧设置为第三参考帧；

所述对第二参考帧进行处理，得到第三参考帧具体为：将第二参考帧进行边界像素删除，获取第三参考帧，使得第三参考帧与第一参考帧具有相同的分辨率；

所述将第二参考帧进行边界像素删除方法具体为：

ref_i”(m,n)＝ref_i'(m+d_height',n+d_width')

其中ref_i'为第二参考帧，ref_i”为第三参考帧，o_width、o_height为ref_i第一参考帧的列数与行数，m_width'、m_height'为ref_i'的列数与行数，m、n为参考帧像素的行标号与列标号；

d_width'＝(m_width'-o_width)/2，

d_height'＝(m_height'-o_height)/2。

第二处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差小于第一参数，则对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，由预测单元进行处理；

所述的第二处理单元中对第一参考帧进行处理，得到第四参考帧具体为：对第一参考帧进行下采样，得到第四参考帧。

所述第二处理单元还可以进一步用于，得到所述的第四参考帧后，进一步对第四参考帧进行处理，得到第五参考帧；相应的，将第二当前参考帧设置为第五参考帧；

所述对第四参考帧进行处理，得到第五参考帧具体为：对第四参考帧进行边界像素填充扩展，获取第五参考帧，使得第五参考帧与第一参考帧具有相同的分辨率；

所述对第四参考帧进行边界像素填充扩具体为：

列填充：

${{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;\&prime;}\left(m,n\right)=\left\{\begin{array}{cc}{{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;}\left(m,0\right),& 0\&le;n<d\_{\mathrm{width}}^{\&prime;\&prime;\&prime;}\\ {{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;}\left(m,n\right),& d\_{\mathrm{width}}^{\&prime;\&prime;\&prime;}\&le;n<o\_width-d\_{\mathrm{width}}^{\&prime;\&prime;\&prime;}\\ {{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;}\left(m,o\_width-1\right),& o\_width-d\_{\mathrm{width}}^{\&prime;\&prime;\&prime;}\&le;n<o\_width\end{array}\right.$

行填充：

${{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;\&prime;}\left(m,n\right)=\left\{\begin{array}{cc}{{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;}\left(0,n\right),& 0\&le;m<d\_{\mathrm{height}}^{\&prime;\&prime;\&prime;}\\ {{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;}\left(m,n\right),& d\_{\mathrm{height}}^{\&prime;\&prime;\&prime;}\&le;n<o\_height-d\_{\mathrm{height}}^{\&prime;\&prime;\&prime;}\\ {{\mathrm{ref}}_i}^{\&prime;\&prime;\&prime;}\left(o\_height-1,n\right),& o\_height-d\_{\mathrm{height}}^{\&prime;\&prime;\&prime;}\&le;n<o\_height\end{array}\right.$

其中ref_i”'为第四参考帧、ref_i””为第五参考帧、o_width、o_height为ref_i第一参考帧的列数与行数，m_width”'、m_height”'为ref_i”'第四参考帧的列数与行数，m、n为参考帧像素的行标号与列标号；

d_width”'＝(o_width-m_width”')/2，

d_height”'＝(o_height-m_height”')/2。

第三处理单元，用于判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差大于等于第一参数，则对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；

所述第三处理单元中，对第一参考帧进行处理，得到第六参考帧具体为：更换采样率对第一参考帧进行上采样，得到第六参考帧；

所述第三处理单元还看可以进一步用于，对第一参考帧进行处理，得到第六参考帧后进一步对第六参考帧进行处理，得到第七参考帧，使得第七参考帧与第一参考帧具有相同的分辨率；相应的将第二当前参考帧设置为第七参考帧；

所述对第六参考帧进行处理，得到第七参考帧具体为：对第六参考帧进行边界像素删除；所述进行边界像素删除具体为：

ref_i ⁽⁶⁾(m,n)＝ref_i ⁽⁵⁾(m+d_height⁽⁵⁾,n+d_width⁽⁵⁾)

其中ref_i ⁽⁶⁾为第七参考帧、ref_i ⁽⁵⁾为第六参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁵⁾、m_height⁽⁵⁾为ref_i ⁽⁵⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁵⁾＝(m_width⁽⁵⁾-o_width)/2，

d_height⁽⁵⁾＝(m_height⁽⁵⁾-o_height)/2。

第二判断单元，用于判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数；

预测单元，用于判断否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测，结束；若否则用第一参考帧对当前编码帧进行常规预测，结束。

在以上实施例的基础上，本发明还可以进一步包括镜头推远单元，该单元包括：第四处理单元，第五处理单元，第六处理单元；

第四处理单元，用于当第一参考帧与当前编码帧的关系为镜头推远时则对第一参考帧进行处理得到第八参考帧，并将第一当前参考帧设置为第八参考帧，则第二判断单元进行判断；

所述的第四处理单元中，对第一参考帧进行处理得到第八参考帧具体为：对第一参考帧进行下采样，得到第八参考帧。

所述的第四处理单元还可以进一步用于得到第八参考帧后，进一步对第八参考帧进行像素填充扩展，获得第九参考帧；并相应的将第一参考帧设置为第九参考帧；

所述对第八参考帧进行像素填充扩展，获得第九参考帧的方法具体为：

列填充：

${{\mathrm{ref}}_i}^{\left(8\right)}\left(m,n\right)=\left\{\begin{array}{cc}{{\mathrm{ref}}_i}^{\left(7\right)}\left(m,0\right),& 0\&le;n<d\_{\mathrm{width}}^{\left(7\right)}\\ {{\mathrm{ref}}_i}^{\left(7\right)}\left(m,n\right),& d\_{\mathrm{width}}^{\left(7\right)}\&le;n<o\_width-d\_{\mathrm{width}}^{\left(7\right)}\\ {{\mathrm{ref}}_i}^{\left(7\right)}\left(m,o\_width-1\right),& o\_width-d\_{\mathrm{width}}^{\left(7\right)}\&le;n<o\_width\end{array}\right.$

行填充：

${{\mathrm{ref}}_i}^{\left(8\right)}\left(m,n\right)=\left\{\begin{array}{cc}{{\mathrm{ref}}_i}^{\left(7\right)}\left(0,n\right),& 0\&le;m<d\_{\mathrm{height}}^{\left(7\right)}\\ {{\mathrm{ref}}_i}^{\left(7\right)}\left(m,n\right),& d\_{\mathrm{height}}^{\left(7\right)}\&le;n<o\_height-d\_{\mathrm{height}}^{\left(7\right)}\\ {{\mathrm{ref}}_i}^{\left(7\right)}\left(o\_height-1,n\right),& o\_height-d\_{\mathrm{height}}^{\left(7\right)}\&le;n<o\_height\end{array}\right.$

其中ref_i ⁽⁸⁾为第九参考帧、ref_i ⁽⁷⁾为第八参考帧、o_width、o_height为ref_i第一参考帧的列数与行数，m_width⁽⁷⁾、m_height⁽⁷⁾为ref_i ⁽⁷⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁷⁾＝(o_width-m_width⁽⁷⁾)/2，

d_height⁽⁷⁾＝(o_height-m_height⁽⁷⁾)/2。

第五处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差小于第一参数，则对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧；

所述第五处理单元中，对第一参考帧进行处理得到第十参考帧具体为：对第一参考帧上采样。

所述第五处理单元还可以进一步用于对第十参考帧进行边界像素删除，得到第十一参考帧，使得第一参考帧与第十一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十一参考帧；

所述对第十参考帧进行边界像素删除，得到第十一参考帧具体为：

ref_i ⁽¹⁰⁾(m,n)＝ref_i ⁽⁹⁾(m+d_height⁽⁹⁾,n+d_width⁽⁹⁾)

其中ref_i ⁽¹⁰⁾为第十一参考帧、ref_i ⁽⁹⁾为第十参考帧、o_width、o_height为ref_i第一参考帧的列数与行数，m_width⁽⁹⁾、m_height⁽⁹⁾为ref_i ⁽⁹⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁹⁾＝(m_width⁽⁹⁾-o_width)/2，

d_height⁽⁹⁾＝(m_height⁽⁹⁾-o_height)/2。

第六处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差大于等于第一参数，则对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧。

所述第六处理单元中，对第一参考帧进行处理，得到第十二参考帧具体为：更换采样率对第一参考帧进行下采样。

所述第六处理单元进一步用于：得到第十二参考帧后进一步对第十二参考帧进行边界像素填充扩展，得到第十三参考帧，使得第十三参考帧与第一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十三参考帧；

所述对第十二参考帧进行边界像素填充扩展，得到第十三参考帧具体为：

列填充：

${{\mathrm{ref}}_i}^{\left(12\right)}\left(m,n\right)=\left\{\begin{array}{cc}{{\mathrm{ref}}_i}^{\left(11\right)}\left(m,0\right),& 0\&le;n<d\_{\mathrm{width}}^{\left(11\right)}\\ {{\mathrm{ref}}_i}^{\left(11\right)}\left(m,n\right),& d\_{\mathrm{width}}^{\left(11\right)}\&le;n<o\_width-d\_{\mathrm{width}}^{\left(11\right)}\\ {{\mathrm{ref}}_i}^{\left(11\right)}\left(m,o\_width-1\right),& o\_width-d\_{\mathrm{width}}^{\left(11\right)}\&le;n<o\_width\end{array}\right.$

行填充：

${{\mathrm{ref}}_i}^{\left(12\right)}\left(m,n\right)=\left\{\begin{array}{cc}{{\mathrm{ref}}_i}^{\left(11\right)}\left(0,n\right),& 0\&le;m<d\_{\mathrm{height}}^{\left(11\right)}\\ {{\mathrm{ref}}_i}^{\left(11\right)}\left(m,n\right),& d\_{\mathrm{height}}^{\left(11\right)}\&le;n<o\_height-d\_{\mathrm{height}}^{\left(11\right)}\\ {{\mathrm{ref}}_i}^{\left(11\right)}\left(o\_height-1,n\right),& o\_height-d\_{\mathrm{height}}^{\left(11\right)}\&le;n<o\_height\end{array}\right.$

其中ref_i ⁽¹²⁾为第十三参考帧、ref_i ⁽¹¹⁾为第十二参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽¹¹⁾、m_height⁽¹¹⁾为ref_i ⁽¹¹⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽¹¹⁾＝(o_width-m_width⁽¹¹⁾)/2，

d_height⁽¹¹⁾＝(o_height-m_height⁽¹¹⁾)/2。

本发明实施例提出一种新的P帧预测装置。该装置对存在镜头推进的视频源，通过对当前编码帧的一个参考帧进行双向变换，并利用其进行双向预测从而达到优化当前编码帧的压缩效果；一方面该装置可以缓解由于对镜头推进判定不准确或者采用不合适的采样率，而产生的制约P帧预测参考帧变换技术性能的问题，另一方面可以利用一个前向参考帧达到对当前编码P帧进行前后双向预测的效果。低帧率时，帧与帧之间的镜头变化更大，此时采用本发明的P帧预测方法，压缩性能的提升将更为显著。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种P帧双向预测方法，其特征在于，该方法包括：

步骤101：确定第一参考帧与当前编码帧的关系；若为镜头拉近则执行步骤102；

步骤102：对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧；

步骤103：判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数，若是则执行步骤104；若否则执行步骤105；

步骤104：对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，执行步骤106；

步骤105：对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；执行步骤106；

步骤106：判断是否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测；若否则用第一参考帧对当前编码帧进行常规预测；

所述步骤102：对第一参考帧进行处理，得到第二参考帧具体为：对第一参考帧进行上采样，得到第二参考帧；

所述步骤104中：对第一参考帧进行处理，得到第四参考帧具体为：对第一参考帧进行下采样，得到第四参考帧；

所述步骤105中：对第一参考帧进行处理，得到第六参考帧具体为：更换采样率对第一参考帧进行上采样，得到第六参考帧。

2.根据权利要求1所述的P帧双向预测方法，其特征在于，所述步骤101中，进一步包括：若是镜头推远则执行步骤107；

步骤107：对第一参考帧进行处理，得到第八参考帧，并将第一当前参考帧设置为第八参考帧；执行步骤108；

步骤108；判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数，若是则执行步骤109；若否则执行步骤110；

步骤109：对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧，执行步骤106；

步骤110：对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧；执行步骤106；

所述步骤107中：对第一参考帧进行处理得到第八参考帧具体为：对第一参考帧进行下采样，得到第八参考帧；

所述步骤109中：对第一参考帧进行处理得到第十参考帧具体为：对第一参考帧上采样；

所述步骤110中：对第一参考帧进行处理，得到第十二参考帧具体为：更换采样率对第一参考帧进行下采样。

3.根据权利要求1所述的P帧双向预测方法，其特征在于，所述步骤102中，得到所述第二参考帧后，进一步对第二参考帧进行处理，得到第三参考帧；

相应的，将第一当前参考帧设置为第三参考帧，进入步骤103。

4.根据权利要求3所述的P帧双向预测方法，其特征在于，所述步骤102中：进一步对第二参考帧进行处理，得到第三参考帧具体为：将第二参考帧进行边界像素删除，获取第三参考帧，使得第三参考帧与第一参考帧具有相同的分辨率。

5.根据权利要求4所述的P帧双向预测方法，其特征在于，所述步骤102中：将第二参考帧进行边界像素删除方法具体为：

ref_i''(m,n)＝ref_i'(m+d_height',n+d_width')

其中ref_i'为第二参考帧，ref_i''为第三参考帧，o_width、o_height为ref_i第一参考帧的列数与行数，m_width'、m_height'为ref_i'的列数与行数，m、n为参考帧像素的行标号与列标号；

d_width'＝(m_width'-o_width)/2，

d_height'＝(m_height'-o_height)/2。

6.根据权利要求1所述的P帧双向预测方法，其特征在于，所述步骤104中：得到所述的第四参考帧后，进一步对第四参考帧进行处理，得到第五参考帧；相应的，将第二当前参考帧设置为第五参考帧，进入步骤106。

7.根据权利要求6所述的P帧双向预测方法，其特征在于，所述步骤104中：对第四参考帧进行处理，得到第五参考帧具体为：

对第四参考帧进行边界像素填充扩展，获取第五参考帧，使得第五参考帧与第一参考帧具有相同的分辨率。

8.根据权利要求7所述的P帧双向预测方法，其特征在于，所述步骤104中：对第四参考帧进行边界像素填充扩具体为：

列填充：

行填充：

其中ref_i'''为第四参考帧、ref_i''''为第五参考帧、o_width、o_height为ref_i第一参考帧的列数与行数，m_width'''、m_height'''为ref_i'''第四参考帧的列数与行数，m、n为参考帧像素的行标号与列标号；

d_width'''＝(o_width-m_width''')/2，

d_height'''＝(o_height-m_height''')/2。

9.根据权利要求1所述的P帧双向预测方法，其特征在于，所述步骤105中：对第一参考帧进行处理，得到第六参考帧后进一步对第六参考帧进行处理，得到第七参考帧，使得第七参考帧与第一参考帧具有相同的分辨率；相应的将第二当前参考帧设置为第七参考帧；进入步骤106。

10.根据权利要求9所述的P帧双向预测方法，其特征在于，所述步骤105中：对第六参考帧进行处理，得到第七参考帧具体为：对第六参考帧进行边界像素删除；所述进行边界像素删除具体为：

ref_i ⁽⁶⁾(m,n)＝ref_i ⁽⁵⁾(m+d_height⁽⁵⁾,n+d_width⁽⁵⁾)

其中ref_i ⁽⁶⁾为第七参考帧、ref_i ⁽⁵⁾为第六参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁵⁾、m_height⁽⁵⁾为ref_i ⁽⁵⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁵⁾＝(m_width⁽⁵⁾-o_width)/2，

d_height⁽⁵⁾＝(m_height⁽⁵⁾-o_height)/2。

11.根据权利要求2所述的P帧双向预测方法，其特征在于，所述步骤107中：得到第八参考帧后，进一步对第八参考帧进行像素填充扩展，获得第九参考帧；并相应的将第一参考帧设置为第九参考帧；

所述对第八参考帧进行像素填充扩展，获得第九参考帧的方法具体为：

列填充：

行填充：

其中ref_i ⁽⁸⁾为第九参考帧、ref_i ⁽⁷⁾为第八参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁷⁾、m_height⁽⁷⁾为ref_i ⁽⁷⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁷⁾＝(o_width-m_width⁽⁷⁾)/2，

d_height⁽⁷⁾＝(o_height-m_height⁽⁷⁾)/2。

12.根据权利要求2所述的P帧双向预测方法，其特征在于，所述步骤109中，进一步对第十参考帧进行边界像素删除，得到第十一参考帧，使得第一参考帧与第十一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十一参考帧；

所述对第十参考帧进行边界像素删除，得到第十一参考帧具体为：

ref_i ⁽¹⁰⁾(m,n)＝ref_i ⁽⁹⁾(m+d_height⁽⁹⁾,n+d_width⁽⁹⁾)

其中ref_i ⁽¹⁰⁾为第十一参考帧、ref_i ⁽⁹⁾为第十参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁹⁾、m_height⁽⁹⁾为ref_i ⁽⁹⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁹⁾＝(m_width⁽⁹⁾-o_width)/2，

d_height⁽⁹⁾＝(m_height⁽⁹⁾-o_height)/2。

13.根据权利要求2所述的P帧双向预测方法，其特征在于，所述步骤110中：得到第十二参考帧后进一步对第十二参考帧进行边界像素填充扩展，得到第十三参考帧，使得第十三参考帧与第一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十三参考帧；进入步骤106；

所述对第十二参考帧进行边界像素填充扩展，得到第十三参考帧具体为：

列填充：

行填充：

其中ref_i ⁽¹²⁾为第十三参考帧、ref_i ⁽¹¹⁾为第十二参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽¹¹⁾、m_height⁽¹¹⁾为ref_i ⁽¹¹⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽¹¹⁾＝(o_width-m_width⁽¹¹⁾)/2，

d_height⁽¹¹⁾＝(o_height-m_height⁽¹¹⁾)/2。

14.根据权利要求1所述的P帧双向预测方法，其特征在于，所述步骤101中进一步包括：若不存在镜头拉近或推远则执行步骤106。

15.一种P帧双向预测装置，其特征在于，所述装置包括：

第一判断单元，用于确定第一参考帧与当前编码帧的关系；

镜头拉近单元包括：第一处理单元，第二处理单元，第三处理单元；

所述第一处理单元，用于当第一参考帧与当前编码帧的关系为镜头拉近时则对第一参考帧进行处理，得到第二参考帧，并将第一当前参考帧设置为第二参考帧，则第二判断单元进行判断；

第二处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差小于第一参数，则对第一参考帧进行处理，得到第四参考帧，并将第二当前参考帧设置为第四参考帧，由预测单元进行处理；

第三处理单元，用于判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差大于等于第一参数，则对第一参考帧进行处理，得到第六参考帧，并将第二当前参考帧设置为第六参考帧；

第二判断单元，用于判断第一参考帧与当前编码帧像素差值的均方差是否小于第一参数；

预测单元，用于判断否第一、第二当前参考帧都存在，若是则利用所述第一、第二当前参考帧对当前编码帧进行双向预测；若否则用第一参考帧对当前编码帧进行常规预测；

所述第一处理单元中对第一参考帧进行处理，得到第二参考帧具体为：对第一参考帧进行上采样，得到第二参考帧；

所述的第二处理单元中对第一参考帧进行处理，得到第四参考帧具体为：对第一参考帧进行下采样，得到第四参考帧；

所述第三处理单元中，对第一参考帧进行处理，得到第六参考帧具体为：更换采样率对第一参考帧进行上采样，得到第六参考帧。

16.根据权利要求15所述的P帧双向预测装置，其特征在于，所述装置进一步包括镜头推远单元，该单元包括：第四处理单元，第五处理单元，第六处理单元；

第四处理单元，用于当第一参考帧与当前编码帧的关系为镜头推远时则对第一参考帧进行处理得到第八参考帧，并将第一当前参考帧设置为第八参考帧，则第二判断单元进行判断；

第五处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差小于第一参数，则对第一参考帧进行处理，得到第十参考帧；并将第二当前参考帧设置为第十参考帧；

第六处理单元，用于当判断单元判断出所述第一参考帧与当前编码帧像素差值的均方差大于等于第一参数，则对第一参考帧进行处理，得到第十二参考帧，并将第二当前参考帧设置为第十二参考帧；

所述的第四处理单元中，对第一参考帧进行处理得到第八参考帧具体为：对第一参考帧进行下采样，得到第八参考帧；

所述第五处理单元中，对第一参考帧进行处理得到第十参考帧具体为：对第一参考帧上采样；

所述第六处理单元中，对第一参考帧进行处理，得到第十二参考帧具体为：更换采样率对第一参考帧进行下采样。

17.根据权利要求15所述的P帧双向预测装置，其特征在于，所述第一处理单元进一步用于，得到所述第二参考帧后，进一步对第二参考帧进行处理，得到第三参考帧；相应的，将第一当前参考帧设置为第三参考帧；

所述对第二参考帧进行处理，得到第三参考帧具体为：将第二参考帧进行边界像素删除，获取第三参考帧，使得第三参考帧与第一参考帧具有相同的分辨率；

所述将第二参考帧进行边界像素删除方法具体为：

ref_i''(m,n)＝ref_i'(m+d_height',n+d_width')

其中ref_i'为第二参考帧，ref_i''为第三参考帧，o_width、o_height为ref_i第一参考帧的列数与行数，m_width'、m_height'为ref_i'的列数与行数，m、n为参考帧像素的行标号与列标号；

d_width'＝(m_width'-o_width)/2，

d_height'＝(m_height'-o_height)/2。

18.根据权利要求15所述的P帧双向预测装置，其特征在于，所述的第二处理单元进一步用于：得到所述的第四参考帧后，进一步对第四参考帧进行处理，得到第五参考帧；相应的，将第二当前参考帧设置为第五参考帧；

所述对第四参考帧进行处理，得到第五参考帧具体为：对第四参考帧进行边界像素填充扩展，获取第五参考帧，使得第五参考帧与第一参考帧具有相同的分辨率；

所述对第四参考帧进行边界像素填充扩具体为：

列填充：

行填充：

其中ref_i'''为第四参考帧、ref_i''''为第五参考帧、o_width、o_height为ref_i第一参考帧的列数与行数，m_width'''、m_height'''为ref_i'''第四参考帧的列数与行数，m、n为参考帧像素的行标号与列标号；

d_width'''＝(o_width-m_width''')/2，

d_height'''＝(o_height-m_height''')/2。

19.根据权利要求15所述的P帧双向预测装置，其特征在于，所述第三处理单元进一步用于，对第一参考帧进行处理，得到第六参考帧后进一步对第六参考帧进行处理，得到第七参考帧，使得第七参考帧与第一参考帧具有相同的分辨率；相应的将第二当前参考帧设置为第七参考帧；

所述对第六参考帧进行处理，得到第七参考帧具体为：对第六参考帧进行边界像素删除；所述进行边界像素删除具体为：

ref_i ⁽⁶⁾(m,n)＝ref_i ⁽⁵⁾(m+d_height⁽⁵⁾,n+d_width⁽⁵⁾)

其中ref_i ⁽⁶⁾为第七参考帧、ref_i ⁽⁵⁾为第六参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁵⁾、m_height⁽⁵⁾为ref_i ⁽⁵⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁵⁾＝(m_width⁽⁵⁾-o_width)/2，

d_height⁽⁵⁾＝(m_height⁽⁵⁾-o_height)/2。

20.根据权利要求16所述的P帧双向预测装置，其特征在于，所述的第四处理单元，进一步用于得到第八参考帧后，进一步对第八参考帧进行像素填充扩展，获得第九参考帧；并相应的将第一参考帧设置为第九参考帧；

所述对第八参考帧进行像素填充扩展，获得第九参考帧的方法具体为：

列填充：

行填充：

其中ref_i ⁽⁸⁾为第九参考帧、ref_i ⁽⁷⁾为第八参考帧、o_width、o_height为ref_i的列数与行数，m_width⁽⁷⁾、m_height⁽⁷⁾为ref_i ⁽⁷⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁷⁾＝(o_width-m_width⁽⁷⁾)/2，

d_height⁽⁷⁾＝(o_height-m_height⁽⁷⁾)/2。

21.根据权利要求16所述的P帧双向预测装置，其特征在于，所述第五处理单元，进一步用于对第十参考帧进行边界像素删除，得到第十一参考帧，使得第一参考帧与第十一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十一参考帧；

所述对第十参考帧进行边界像素删除，得到第十一参考帧具体为：

ref_i ⁽¹⁰⁾(m,n)＝ref_i ⁽⁹⁾(m+d_height⁽⁹⁾,n+d_width⁽⁹⁾)

其中ref_i ⁽¹⁰⁾为第十一参考帧、ref_i ⁽⁹⁾为第十参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽⁹⁾、m_height⁽⁹⁾为ref_i ⁽⁹⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽⁹⁾＝(m_width⁽⁹⁾-o_width)/2，

d_height⁽⁹⁾＝(m_height⁽⁹⁾-o_height)/2。

22.根据权利要求16所述的P帧双向预测装置，其特征在于，所述第六处理单元进一步用于：得到第十二参考帧后进一步对第十二参考帧进行边界像素填充扩展，得到第十三参考帧，使得第十三参考帧与第一参考帧具有相同的分辨率；

相应的将第二当前参考帧设置为第十三参考帧；

所述对第十二参考帧进行边界像素填充扩展，得到第十三参考帧具体为：

列填充：

行填充：

其中ref_i ⁽¹²⁾为第十三参考帧、ref_i ⁽¹¹⁾为第十二参考帧、o_width、o_height为第一参考帧ref_i的列数与行数，m_width⁽¹¹⁾、m_height⁽¹¹⁾为ref_i ⁽¹¹⁾的列数与行数；m、n为参考帧像素的行标号与列标号；

d_width⁽¹¹⁾＝(o_width-m_width⁽¹¹⁾)/2，

d_height⁽¹¹⁾＝(o_height-m_height⁽¹¹⁾)/2。