CN100579228C - 航拍交通视频快速帧间预测方法 - Google Patents

Abstract

航拍交通视频快速帧间预测方法，包括步骤100、采集图像帧序列，判断当前所要处理的帧是否为第一帧，若为第一帧，执行步骤200；否则，执行步骤300；步骤200、使用帧内编码，不进行区域分割；步骤300、确定全局运动估计的搜索起点，并对当前帧进行全局运动估计，得到当前帧的全局运动矢量和最佳匹配时帧差；步骤400、通过将最佳匹配时帧差与预设阈值比较，判断当前帧是否发生场景切换，若发生场景切换，执行步骤200，否则，执行步骤500；步骤500、对未发生场景切换的帧进行预测编码，将该帧分割为背景区域和运动区域；步骤600、以宏块为单位对当前帧做运动估计，并进行基于背景和运动区域分割的帧间预测编码。本发明降低了帧间预测耗时，同时保持恢复图像质量和码率基本不变。

Description

航拍交通视频快速帧间预测方法

技术领域

本发明涉及一种适用于空基交通监视的视频编码方法，尤其涉及一种基于背景和运动区域分割的帧间预测快速方法，属于交通监视、视频编码领域。

背景技术

随着近年来城市交通拥挤程度的加剧，传统路基交通监视设备逐渐暴露出监视范围狭小、缺乏对宏观信息的掌控等固有缺点。

针对这些缺陷，美国以及欧洲一些发达国家(西班牙、法国等)从20世纪90年代开始探索研究道路交通态势空中监视技术。该技术利用空基平台搭载视频传感器实现地面交通态势监控，具有监视范围大、灵活机动的优点，能获取宏观的交通态势，有效弥补路基监视手段的不足，因此成为近年来国内外智能交通领域的研究热点。

交通态势空中监视技术对图像序列质量高、码率低的要求和空基平台计算能力受限之间形成了一对矛盾。这给快速高效的视频编码算法带来了巨大挑战。

视频编码标准H.264对视频信号具有很高的压缩比，在相同重建图像质量下，所需码率是H.263标准的51％，是MPEG-4标准的61％，符合交通态势空中监视技术中图像质量高、码率低的需求，缺点是编码速率较慢，主要原因是H.264的帧间预测过程采用了复杂的可变块运动估计过程。

可变块运动估计过程的含义是：对一个宏块有7种帧间分割模式(16×16，16×8，8×16，8×8，8×4，4×8，4×4)、13种帧内预测模式以及一种Skip模式。H.264编码器需要遍历所有模式，并使用率失真(Rate-Distortion)模型计算率失真代价最小的模式作为最终的编码模式。在实际应用中，13种帧内预测模式作用不大，因此经常不被考虑。在计算每种帧间分割模式率失真代价的过程中都需要进行运动估计，包括搜索起点预测以及最优匹配点搜索两个阶段。可变块运动估计过程虽然可以很好地降低编码比特率，提高压缩效率和图像质量，但同时增加了编码复杂度，给H.264在空基平台中的应用带来了难度。因此需要针对航拍交通视频的具体特点研究专用的快速帧间预测算法，简化帧间分割模式选择过程并去除一部分运动估计搜索点数。

香港理工大学电子信息工程学院研究了地基交通监视中交通视频快速压缩方法，通过帧差法分割运动和背景区域并对背景块使用SKIP模式编码，有效提高了编码速度。由于没有考虑视频传感器抖动的情况，该方法应用到航拍视频会造成图像质量的急剧下降。

美国普林斯顿视觉技术实验室(Vision Technologies Laboratory)研究了在空基平台中使用视频传感器进行监视，其视频压缩编码器使用物体基图像编码方法。通过对图像进行运动目标检测，对运动目标所在区域进行低压缩比、高质量压缩，对背景采用高压缩比的mosaic方法压缩。该压缩方法在相同压缩比下可获得比视频压缩标准更好的图像质量，但其缺点是压缩前需要进行运动目标检测，计算复杂度高。

发明内容

本发明的目：是为了克服H.264由于编码耗时较大在空基交通监视平台中存在的应用困难，通过对视频的背景和运动区域进行分割并对两种区域采用不同的帧间预测方法，降低了帧间预测耗时，同时保持恢复图像质量和码率基本不变。

本发明目的实现为：航拍交通视频快速帧间预测方法，包括以下步骤：

步骤100、采集图像帧序列，判断当前要处理的帧是否为图像帧序列的第一帧，若为第一帧，执行步骤200，否则，执行步骤300；

步骤200、不进行区域分割，对当前帧使用传统的帧内编码，完成一帧编码；

步骤300、确定全局运动估计的搜索起点，并对当前帧进行全局运动估计，得到当前帧的全局运动矢量和最佳匹配时帧差；

步骤400、通过将最佳匹配时帧差与预设阈值比较，判断当前帧是否发生场景切换，若发生场景切换，执行步骤200，否则，执行步骤500；

步骤500、将未发生场景切换的帧分割为背景区域和运动区域；

步骤600、以宏块为单位对当前帧做运动估计，并进行基于背景和运动区域分割的帧间预测编码，完成一帧编码。

本发明的原理：首先，采集图像帧序列，若当前帧是图像帧序列的第一帧，进行传统的帧内编码，完成后对下一帧操作；否则，以前一帧为参考帧，对当前帧进行全局运动估计得到全局运动矢量和最佳匹配时帧差。判断该帧差是否小于预设阈值，若是，则将该帧分割为背景区域和运动区域分别进行预测编码；否则，仍将该帧进行帧内编码，完成一帧编码。通过对背景和运动区域采用不同的帧间预测方法，降低了模式选择和运动估计的计算量，更有效地实现了对航拍交通视频的压缩。

本发明与现有技术相比的优点在于：

(1)本发明克服了H.264由于编码耗时较大在空基交通监视平台中存在的应用困难，通过对视频的背景区域和运动区域进行分割并对两种区域采用不同的帧间预测方法，降低帧间预测耗时，同时保持恢复图像质量和码率基本不变。本发明在保证恢复图像质量和码率基本不变的情况下平均降低帧间预测耗时21.6％。

(2)本发明通过对图像的背景和运动区域进行分割并对两个区域采用不同的帧间预测方法降低了模式选择和运动估计的计算量，适应航拍交通视频存在的全局小运动情况。

(3)与H.264标准完全兼容，无需开发专用视频解码器。

附图说明

图1为本发明方法的总体流程图；

图2为本发明的全局运动估计流程图；

图3为本发明的背景和运动区域分割流程图；

图4为本发明的运动估计过程流程图；

图5为本发明的背景块的搜索策略流程图；

图6为本发明的运动块的搜索策略流程图；

图7为采用本发明方法的一帧图像的区域分割结果，

其中图7a为图像帧序列中某一帧，

图7b为该帧经过背景区域和运动区域分割后的效果图。

具体实施方式

如图1所示，本发明包括如下步骤：

步骤100、采集图像帧序列，判断当前要处理的帧是否为图像帧序列的第一帧，若为第一帧，执行步骤200，否则，执行步骤300；

步骤200、不进行区域分割，对当前帧使用传统的帧内编码，完成一帧编码；

步骤300、确定全局运动估计的搜索起点，并对当前帧进行全局运动估计，得到当前帧的全局运动矢量和最佳匹配时帧差；

步骤400、通过将最佳匹配时帧差与预设阈值比较，判断当前帧是否发生场景切换，若发生场景切换，执行步骤200，否则，执行步骤500；

步骤500、将未发生场景切换的帧分割为背景区域和运动区域；

步骤600、以宏块为单位对当前帧做运动估计，并进行基于背景和运动区域分割的帧间预测编码，完成一帧编码。

上述技术方案提出了一种基于全局运动估计进行背景和运动区域分割的方法。在分割过程中，为避免因图像全局运动剧烈引起分割不准，在分割过程前进行全局运动估计。通常的全局运动估计使用简化的两参数平移模型：

x′＝G_x+x

y′＝G_y+y    (1)

式中，(x，y)和(x’，y’)分别为当前帧和前一帧最佳匹配点的坐标，(G_x，G_y)是全局运动矢量。

本发明进行了改进，其全局运动估计方法，如图2所示，所述步骤300包括以下步骤：

步骤310、确定全局运动估计的搜索起点，如果不是第一帧，判断前一帧的全局运动矢量是否存在，如果存在，将该矢量作为全局运动估计的搜索起点；如果不存在，将零矢量作为搜索起点；

步骤320、取前一帧为参考帧，对参考帧和当前帧每2×2像素取1个像素点，即每隔一行取一行，每隔一列取一列，使用小钻石模板进行搜索；

步骤330、按公式2计算帧差，判断搜索模板中帧差最小的点是否为小钻石搜索模板中心点或到达搜索窗边界，若是，结束搜索，执行步骤340；否则，以搜索停止点为搜索起点返回步骤320继续搜索；

步骤340、记录步骤330得到的帧差为最佳匹配时帧差，结束搜索时模板中心点相对搜索起点运动矢量的4倍为全局运动矢量，完成一次全局运动估计。

${\mathrm{SAD}}_g^n(V_x,V_y)=\underset{y\∈Y}{\mathrm{\Σ}}\underset{x\∈X}{\mathrm{\Σ}}|C_{\mathrm{xy}}-R_{(x-V_x)(y-V_y)}|---\left(2\right)$

式中，C，R代表第n帧原始图像和第n-1帧重建图像的亮度值；(x，y)代表像素点坐标；X代表集合{4m|0≤4m≤w，m∈Z}；Y代表集合{4m|0≤4m≤h，m∈Z}，其中w，h分别为图像帧每行和每列的像素数；(V_x，V_y)为搜索过程中模板中心点相对搜索起点的运动矢量。当搜索模板中某帧差最小的点是小钻石模板中心点或到达搜索窗边界时，有(G_x，G_y)＝(V_x，V_y)。

用公式2计算帧差时，若x＜V_x或y＜V_y，则点(x-V_x，y-V_y)不在帧的像素点坐标范围内，因此对第n-1帧重建图像边界外的点用公式3进行扩展：

$R_{(x-V_x)(y-V_y)}=R_{\mathrm{xy}}---\left(3\right)$

本发明所述的确定是否发生场景切换的方法，如下所述：

按照公式4计算阈值T1，如果最佳匹配时帧差大于T1，认为发生了场景切换，将该帧进行帧内编码，不进行区域分割；否则认为未发生场景切换，并对该帧进行预测编码；

$T1=\frac{2}{n-2}\underset{i=2}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{SAD}}_g^i(G_x,G_y)---\left(4\right)$

图3为背景和运动区域分割流程图，所述步骤500具体为：

步骤510、利用全局运动矢量将当前帧相对前一帧配准；

步骤520、以4×4块为单位，计算亮度分量的SAD；

步骤530、取阈值T2为固定值300，判断SAD是否小于T2，如果是，执行步骤540，否则执行步骤550；

步骤540、判定当前块为背景块，将其归为背景区域；

步骤550、判定当前块为运动块，将其归为运动区域。

本发明的上述步骤已经对预测编码的帧实现了背景和运动区域的分割，在基于背景和运动区域分割的帧间预测方法中，对属于背景区域的宏块不进行分割，即如果当前宏块属于背景区域且没有通过SKIP模式预判，直接使用16×16模式编码，不进行宏块分割；同理如果一个8×8子宏块属于背景区域，不进行子宏块分割。

运动估计的流程图如图4所示，此部分又可以分为搜索起点预测和搜索策略选择两个子部分，运动估计过程所述步骤600具体如下：

步骤610、根据步骤500的结果，若当前块是背景块，执行步骤620；否则执行步骤640；

步骤620、设定起点预测集为全局预测矢量和中值预测矢量的集合；

步骤630、根据块的尺寸确定搜索模板和尺寸，完成一次块的运动估计；

步骤640、设定起点预测集为中值预测矢量，当前帧中相邻运动块的运动矢量的集合；

步骤650、根据起点率失真代价确定搜索模板和范围，完成一次块的运动估计。

本发明使用改进的起点预测集，其中背景块的起点预测集只需包括中值预测和全局运动矢量，而属于运动区域的块的起点预测集，除了包括中值预测矢量还包括当前帧中相邻并属于运动区域的块的运动矢量。改进的起点预测集如公式5所示：

$V=\left\{\begin{array}{cc}\{V_p,V_{\mathrm{GM}}\}& {\mathrm{MB}}_c\∈R_b\\ \{V_p,V_0\}\∪\left\{V_m\right|1\≤m\≤4,{\mathrm{MB}}_m\∈R_m\}& {\mathrm{MB}}_c\∈R_m\end{array}\right.---\left(5\right)$

式中，MB_c表示当前宏块；R_m和R_b分别代表运动区域和背景区域；MB_m代表第m个宏块；V_p为中值预测矢量；V_GM代表全局运动矢量。

本发明使用改进的运动估计搜索策略，在航拍交通视频的背景区域中，使用较小的搜索范围进行搜索，背景区域搜索策略的详细流程如图5所示，所述步骤630具体如下：

步骤631、判定背景块的尺寸是否为16×16，若是，执行步骤632，否则，执行步骤633；

步骤632、对16×16的背景块使用小菱形模板，搜索范围为±1，进行一次搜索，完成一次背景块的运动估计；

步骤633、对于尺寸为非对16×16的背景块，不进行搜索，完成一次背景块的运动估计。

而对运动区域，则通过判断起点的SAD值确定搜索范围的大小，运动区域搜索策略的详细流程如图6所示，所述步骤650具体如下：

步骤651、计算搜索起点的率失真代价Cost；

步骤652、判断Cost是否小于阈值T3，若是，执行步骤653，否则，执行步骤654；

步骤653、使用小菱形模板，搜索范围为±2，进行一次搜索，完成一次运动块的运动估计；

步骤654、使用六边形模板，搜索范围为±16，进行一次搜索，完成后再使用小菱形模板搜索一次，搜索范围为±1，完成一次运动块的运动估计；

运动块是一个属于运动区域的4×4块，如果起点的率失真代价小于阈值T3(T3取左宏块、上宏块、右上宏块的SAD最小值)，使用小菱形模板搜索，搜索范围为±2；否则使用六边形模板搜索，搜索范围为±16，最后使用小菱形模板搜索一次。

图7给出了一帧图像的区域分割结果。其中图7a为图像帧序列中某一帧，图7b为该帧经过背景区域和运动区域分割后的效果图，黑色区域为背景区域，其余为运动区域。通过将图7a中图像帧划分为图7b所示的背景区域和运动区域，对不同区域中的块采用不同的搜索策略，能够实现更有效的数据压缩。

下面通过一个具体实施例，来进一步说明本发明的技术效果。假设本发明采用x264作为平台，对一段航拍交通视频进行编码(352×240，共1000帧)进行测试。采用如下配置进行编码：

1.帧类型为I帧和P帧；

2.P帧使用帧间预测编码，采用1个参考帧；

3.比较的原算法采用小菱形模板搜索，搜索范围±16；

4.采用CABAC进行熵编码；

表1给出了不同量化参数(QP)下的实验结果，包括Y分量PSNR，码率和帧间预测耗时。从该表可知，该方法的帧间预测耗时平均降低21.6％，而PSNR降低不超过0.1dB，码率增加不超过1％。

表1本发明方法与x264算法的实验结果比较

Claims (11)

1、一种航拍交通视频快速帧间预测方法，其特征在于包括以下步骤：

步骤100、采集图像帧序列，判断当前要处理的帧是否为图像帧序列的第一帧，若为第一帧，执行步骤200，否则，执行步骤300；

步骤200、不进行区域分割，对当前帧使用传统的帧内编码，完成一帧编码；

步骤300、确定全局运动估计的搜索起点，并对当前帧进行全局运动估计，得到当前帧的全局运动矢量和最佳匹配时帧差；

步骤400、通过将最佳匹配时帧差与预设阈值比较，判断当前帧是否发生场景切换，若发生场景切换，执行步骤200，否则，执行步骤500；

步骤500、将未发生场景切换的帧分割为背景区域和运动区域；

步骤600、以宏块为单位对当前帧做运动估计，并进行基于背景和运动区域分割的帧间预测编码，完成一帧编码。

2、根据权利要求1所述的航拍交通视频快速帧间预测方法，其特征在于：所述步骤300包括以下步骤：

步骤310、确定全局运动估计的搜索起点，判断前一帧的全局运动矢量是否存在，如果存在，将该矢量作为全局运动估计的搜索起点；如果不存在，将零矢量作为搜索起点；

步骤320、取前一帧为参考帧，对参考帧和当前帧每2×2像素取1个像素点，即每隔一行取一行，每隔一列取一列，使用小钻石模板进行搜索；

步骤330、按公式2计算帧差，判断搜索模板中帧差最小的点是否为小钻石搜索模板中心点或到达搜索窗边界，若是，结束搜索，执行步骤340；否则，以搜索停止点为搜索起点返回步骤320继续搜索；

${\mathrm{SAD}}_g^n(V_x,V_y)=\underset{y\∈Y}{\mathrm{\Σ}}\underset{x\∈X}{\mathrm{\Σ}}|C_{\mathrm{xy}}-R_{(x-V_x)(y-V_y)}|---\left(2\right)$

式中，C代表第n帧原始图像的亮度值，R代表第n-1帧重建图像的亮度值；(x，y)代表像素点坐标；X代表集合{4m|0≤4m≤w，m∈Z}；Y代表集合{4m|0≤4m≤h，m∈Z}，其中w，h分别为图像帧每行和每列的像素数；(V_x，V_y)为搜索过程中模板中心点相对搜索起点的运动矢量；

步骤340、记录步骤330得到的帧差为最佳匹配时帧差，结束搜索时模板中心点相对搜索起点运动矢量的4倍为全局运动矢量，完成一次全局运动估计，当搜索模板中某帧差最小的点是小钻石模板中心点或到达搜索窗边界时，有(G_x，G_y)＝(V_x，V_y)，(G_x，G_y)是全局运动矢量。

3、根据权利要求2所述的航拍交通视频快速帧间预测方法，其特征在于：所述的采用公式2计算帧差时，若x＜V_x或y＜V_y，则点(x-V_x，y-V_y)不在帧的像素点坐标范围内，因此对第n-1帧重建图像边界外的点用公式3进行扩展：

$R_{(x-V_x)(y-V_y)}=R_{\mathrm{xy}}---\left(3\right)$

4、根据权利要求1所述的航拍交通视频快速帧间预测方法，其特征在于所述步骤400包括以下步骤：所述的步骤400中按照公式4计算阈值T1，如果最佳匹配时帧差大于T1，认为发生了场景切换，将该帧进行帧内编码，不进行区域分割；否则认为未发生场景切换，并对该帧进行预测编码；

$T1=\frac{2}{n-2}\underset{i=2}{\overset{n-1}{\mathrm{\Σ}}}{\mathrm{SAD}}_g^i(G_x,G_y).---\left(4\right)$

5、根据权利要求1所述的航拍交通视频快速帧间预测方法，其特征在于所述步骤500具体为：

步骤510、利用全局运动矢量将当前帧相对前一帧配准；

步骤520、以4×4块为单位，计算亮度分量的SAD；

步骤530、判断SAD是否小于设定的阈值T2，如果是，执行步骤540，否则执行步骤550；

步骤540、判定当前块为背景块，将其归为背景区域；

步骤550、判定当前块为运动块，将其归为运动区域。

6、根据权利要求5所述的航拍交通视频快速帧间预测方法，其特征在于所述的步骤530中的阈值T2＝300。

7、根据权利要求1所述的航拍交通视频快速帧间预测方法，其特征在于所述步骤600具体如下：

步骤610、根据步骤500的结果，若当前块是背景块，执行步骤620；否则执行步骤640；

步骤620、设定起点预测集为全局预测矢量和中值预测矢量的集合；

步骤630、根据块的尺寸确定搜索模板和尺寸，完成一次块的运动估计；

步骤640、设定起点预测集为中值预测矢量，当前帧中相邻运动块的运动矢量的集合；

步骤650、根据起点率失真代价确定搜索模板和范围，完成一次块的运动估计。

8、根据权利要求7所述的航拍交通视频快速帧间预测方法，其特征在于所述步骤620中设定起点预测集如下：

$V=\left\{\begin{array}{cc}\{V_p,V_{\mathrm{GM}}\}& {\mathrm{MB}}_c\∈R_b\\ \{V_p,V_0\}\∪\left\{V_m\right|1\≤m\≤4,{\mathrm{MB}}_m\∈R_m\}& {\mathrm{MB}}_c\∈R_m\end{array}\right.$

式中，MB_c表示当前宏块；R_m和R_b分别代表运动区域和背景区域；MB_m代表第m个宏块；V_p为中值预测矢量；V_GM代表全局运动矢量。

9、根据权利要求7所述的航拍交通视频快速帧间预测方法，其特征在于所述步骤630具体如下：

步骤631、判定背景块的尺寸是否为16×16，若是，执行步骤632，否则，执行步骤633；

步骤632、对16×16的背景块使用小菱形模板，搜索范围为+1，进行一次搜索，完成一次背景块的运动估计；

步骤633、对于尺寸为非对16×16的背景块，不进行搜索，完成一次背景块的运动估计。

10、根据权利要求7所述的航拍交通视频快速帧间预测方法，其特征在于所述步骤650具体如下：

步骤651、计算搜索起点的率失真代价Cost；

步骤652、判断Cost是否小于设定的阈值T3；若是，执行步骤653，否则，执行步骤654；

步骤653、使用小菱形模板，搜索范围为±2，进行一次搜索，完成一次运动块的运动估计；

步骤654、使用六边形模板，搜索范围为±16，进行一次搜索，完成后再使用小菱形模板搜索一次，搜索范围为±1，完成一次运动块的运动估计。

11、根据权利要求10所述的航拍交通视频快速帧间预测方法，其特征在于：所述的阈值T3取左宏块、上宏块、右上宏块中的SAD的最小值。

Images