CN102123234B - 无人机侦察视频分级运动补偿方法 - Google Patents

Abstract

本发明公开了一种无人机侦察视频分级运动补偿方法，属于数字视频图像处理技术领域，首先通过飞行参数粗略的计算全局运动矢量，实现全局运动的粗略补偿，然后用分块相位相关法进行二次运动补偿，实现精准的运动补偿。本发明可以用于视频运动补偿，具有计算量小、精准度高、实时性强、位移检测范围很大，抗干扰能力强等特点。

Description

无人机侦察视频分级运动补偿方法

技术领域

本发明属于数字视频图像处理技术领域，具体涉及一种无人机侦察视频的运动补偿方法。

背景技术

在运动目标检测领域，通常可根据背景是否存在运动而划分为静止背景下的运动目标检测和运动背景下运动目标的检测两类，进而对于进行检测的方法，可以划分为三类：静止背景下运动目标检测算法、运动背景下运动目标检测算法以及可以应用在两种情况下的运动目标检测算法。

无人机侦察视频是航空视频的一类，在这些具体应用中，由于飞行器和云台都具备主动运动，使背景存在较为复杂的运动，在没有目标完整先验知识的条件下，要实现运动目标检测，只能遵循第二类算法的思路，即获取较为准确的全局运动估计。

对于运动背景下的运动目标检测算法，核心思想是获得背景运动的规律，再通过运动补偿使帧间的全局运动尽可能减小或去除，之后可以按照静止背景的方法进行运动目标检测，这类算法中核心问题是进行全局运动估计，比较典型的有块匹配法、相位相关法等。前者是通过对视频帧进行分块、匹配，获得每个块的运动矢量，进而估计出整个帧的全局运动(即背景运动)；后者利用频域中的相位信息，应用傅立叶变换的平移性质，获得一帧的全局运动。还有一种方法称为光流法，通过对每个像素建立光流约束方程，解算出运动方向。

通过上述介绍不难看出各种方法的优势和限制，块匹配法简单易实现，但是块匹配法需要通过后续处理，比如统计平均等方式，才能得到全局运动估计；运动估计的效果受到搜索窗大小、匹配准则的不同会有所差异，而在实际应用会存在参差不齐的效果。相位相关法在频域中提取相位信息，不受图像内容复杂度的影响，具有很好的估计精度、可检测大位移和抗干扰能力，但因整幅图像频谱变换的计算量大，难以满足实时性要求，在实际中的应用还十分有限。对于光流法，虽然很多方法取得了较好的光流估计，但在计算光流时涉及到可调参数的人工选取、可靠性评价因子的选择困难，以及预处理对光流计算结果的影响，在应用光流对目标进行实时检测与自动跟踪时仍存在很多问题。

发明内容

本发明的目的是为了解决上述问题，提出一种无人机侦察视频分级运动补偿方法，具有如下步骤：

第一步，获取飞行参数。

从空速表、高度表、陀螺仪、摄像头云台控制系统等机载设备上提取飞行和云台运动参数。

第二步，全局运动一级补偿。

根据第一步中读取的飞行参数，通过简单的计算得出全局运动的一级补偿量，一级补偿后得到粗略的补偿结果。

第三步，全局运动二级补偿。

一级补偿后，两帧图像相差的全局运动已经很小，然后对几个选定的图像子块应用分块相位相关方法，得到两帧图像间仍残余的全局运动。根据分块的相位相关法可以精准的估计全局运动矢量。

第四步，进行全局运动补偿。

经过上述三步，已经得出了精确地全局运动矢量，用精确地全局运动矢量对视频进行补偿，得到静态背景的视频。在处理运动目标识别、跟踪时，就可以按照静止背景的方法进行处理了。

本发明的优点在于：

(1)估计精度高、可检测位移大和抗干扰性能优良；

(2)大大的减少了计算量；

(3)实时性强；

(4)参数选取灵活，适用性强。

附图说明

图1为本发明提供的无人机侦察视频分级运动补偿方法总体流程图；

图2为一级补偿计算流程图；

图3为二级补偿计算流程图；

图4为图像取块示意图；

图5分块相位相关法进行全局运动估计实例。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细说明，流程如图1所示，包括以下几个步骤：

第一步，获取飞行参数。

从空速表、高度表、陀螺仪、摄像头云台控制系统等机载设备上提取飞行和云台运动参数。

具体为：由上述空速表、高度仪、摄像头云台控制系统等设备上得到的飞行参数组成了多元集P：

其中V_uav，H_uav为飞机的飞行速度与高度；α_uav，β_uav为飞机的方位角与俯仰角；V_cam为云台相对于飞机运动的速度；γ_cam，λ_cam为摄像机的转动角与俯仰角；

为摄像机视场角；I(w，h)为所获视频流的每帧图像的宽和高(以像素为单位)；fr为视频流的帧率。

第二步，全局运动一级补偿。

根据第一步中读取的飞行参数，通过简单的计算得出全局运动的一级补偿，一级补偿后得到粗略的补偿结果，为下一步精准的全局运动补偿提供了参考。

如图2所示，具体为：

(1)求取全局运动一级补偿量

根据P集获取：

两连续帧间背景位移为：              l＝V_uav/fr           (1)

背景位移沿地面参照物水平分量为：    

                   (2)

背景位移沿地面参照物垂直分量为：    l_v＝l×sinα_uav      (3)

侦察区域：

水平方向运动矢量：         i₀＝l_h/S_c×w                  (5)

垂直方向运动矢量：         j₀＝l_v/S_c×w                  (6)

所获一级补偿的全局运动矢量为：

${\stackrel{\→}{d}}_g=(i_0,j_0)---\left(7\right)$

(2)对视频图像进行一级补偿

将后一帧图像加上一级全局运动矢量，即是将后一帧图像平移，平移量为(-i₀，-j₀)。

这样就完成了视频图像的全局运动一级补偿。

第三步，全局运动二级补偿。

一级补偿后，两帧图像相差的全局运动已经很小，然后对几个选定的图像子块应用分块相位相关方法，得到两帧图像间仍残余的全局运动。根据分块的相位相关法可以精准的估计全局运动矢量。

如图3所示，上述第三步具体步骤如下：

(1)首先从图像中选取2～9个子块。在选取子块的时候考虑到跟踪算法通常会将目标锁定在图像中心区域附近，因而图像边缘附近出现目标的概率要远小的多，所以选择比较靠近图像边缘的区域选择几个子块进行分块相位相关，这样选取子块绝大多数情况下可以避开目标运动的干扰。选取子块的大小与数量根据视频质量、要求补偿精度确定，一般一级运动矢量越大，要求补偿精度越高，选取子块越大。本发明中对大小为352*288、一级运动矢量为(8.3，5.0)的图像，选取64*64的8个子块(A₁、A₂、A₃、B₁、B₂、C₁、C₂、C₃)。一般情况可以选取图像1-5％大小的子块，如图4所示。

(2)先从所选的子块中选取两组进行如下步骤：

对两组子块分别用相位相关法估计二级全局运动补偿，其中一个子块获取二级全局运动补偿的详细步骤如下：

①连续两帧图像中对应子块的时域表达分别为f_k(x，y)和f_k+1(x，y)，两帧图像在时域上的位移为(x₀，y₀)。

②获取两子块对应的傅立叶变换，分别为F_k(ξ，η)和F_k+1(ξ，η)：

$f_k(x,y)\⇔F_k(\mathrm{\ξ},\mathrm{\η})$

$f_{k+1}(x,y\⇔F_{k+1}(\mathrm{\ξ},\mathrm{\η})$

③获取两帧连续图像中对应子块的互功率谱，具体为：

$C(\mathrm{\ξ},\mathrm{\η})=\frac{{F_k}^{*}(\mathrm{\ξ},\mathrm{\η})F_{k+1}(\mathrm{\ξ},\mathrm{\η})}{\left|{F_k}^{*}(\mathrm{\ξ},\mathrm{\η})F_{k+1}(\mathrm{\ξ},\mathrm{\η})\right|}=e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}---\left(8\right)$

F_k ^*(ξ，η)是F_k(ξ，η)的复共轭。其中利用了傅立叶变换的平移性质：

$f_k(x-x_0,y-y_0)\⇔F_k(\mathrm{\ξ},\mathrm{\η})e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}---\left(9\right)$

④将互功率谱表达式进行傅立叶反变换，得到中心点位于(x₀，y₀)的归一化相关狄拉克函数：

$C(\mathrm{\ξ},\mathrm{\η})\⇔\mathrm{\δ}(x-x_0,y-y_0)---\left(10\right)$

⑤根据④中的狄拉克函数，可以得出(x₀，y₀)，即子块的二级全局运动补偿。(x₀，y₀)即为后一帧中子块相对于前一帧中对应子块的相对运动量。x₀正、负分表代表后一帧图像相对于前一帧图像右移和左移，y₀正、负分表代表后一帧图像相对于前一帧图像下移和上移。

根据上述步骤分别得到所选两组子块的二级全局运动补偿。

(3)比较步骤(2)中求得的两组子块的二级全局运动矢量，得出最优的全局运动矢量(x₀，y₀)。

具体为：由步骤(2)得到两组子块的二级全局运动矢量分别为：g(A)和g(B)，计算其差值的绝对值|g(A)-g(B)|，设定阈值，本发明选取(1，1)作为阈值，当差值小于阈值时，将二者的二级全局运动矢量的平均值或其中一个作为最终的全局运动估计的二级全局运动矢量，如果|g(A)-g(B)|大于阈值，再选取第三块子块，重复步骤(2)，计算得出g(C)，然后依次计算g(A)、g(B)与g(C)的差值的绝对值，比较绝对值与阈值的大小。以此类推，如此重复上述过程，(例如选取第四个子块时，计算g(A)、g(B)、g(C)与g(D)的差值的绝对值)直至得出符合阈值条件的二级全局运动矢量，当有一个以上差值的绝对值小于阈值时，取所有满足条件二级全局运动矢量的平均值作为最终的全局运动估计的二级全局运动矢量，如果所有子块均不能满足阈值条件，返回步骤(1)，增大块的大小，重新划分子块。本步骤能得到精确到整像素级的运动估计。本发明中选取(1，1)作为阈值，是仅考虑到精度误差引起的结果差异。在一些对全局运动估计要求不十分严格的情况下，适当加大阈值，可以快速获取到较为精确的全局运动估计。阈值的选取一般在(1，1)～(5，5)之间。

第四步，进行全局运动二级补偿。

由第三步，得出了精确地二级全局运动矢量，用精确地二级全局运动矢量对视频进行补偿，得到静态背景的视频，在处理运动目标识别、跟踪时，可以按照静止背景的方法进行处理。

具体步骤如下：

将后一帧图像加上精确地全局运动矢量，即是将后一帧图像平移，平移量为(-x₀，-y₀)，使得两帧图像的背景位置不变，即得到静态背景的视频。至此，完成了无人机侦察视频相邻两帧的全局运动分级补偿。重复上述过程，对每一帧图像进行上述处理，即可完成无人机侦察视频的全局运动补偿。

本发明提供是全局运动分级补偿方法，在此方法保留相位相关法的估计精度高、可检测位移大和抗干扰性优良的优势：，而且大大的减少了计算量。视频图像的取块数量、大小以及二级补偿检测阈值，可根据视频的质量灵活设定，适用性强。

实施实例

本部分结合一个具体的实施实例来验证本发明的可行性和优越性。

一级运动补偿：

假设无人机飞行高度为H_uav＝4000m；飞行速度V_uav＝50m/s；飞机飞行方位角α_uav＝36.9°；飞行方向平行于地平线，即β_uav＝0；云台相对飞机无运动，即V_cam＝0；摄像机无旋转与俯仰，即γ_cam＝0，λ_cam＝0；视场角

每帧图像大小I(w，h)＝720×576(像素点)，视频流帧率fr为每秒25帧。

由此计算可得：侦察区域

两连续帧间背景位移为l＝V_uav/fr＝50＝/m2，其中沿地面参照物水平分量为l_h＝l×cosα_uav＝2×cos36.9＝1.6m，垂直分量l_v＝l×sinα_uav＝2×sin36.9＝1.2m。所获全局运动矢量为：水平方向i₀＝l_h/S_c×w＝1.6/13×9.6＝72((像素)，同理可得垂直方向j₀＝l_v/S_c×w＝1.2/139.6×576＝5.0(像素)，故由飞行参数计算得到的粗略全局运动矢量

二级运动补偿：

图5分块相位相关法进行全局运动估计的结果。图5(a)是大小为352×288的CIF格式图像，图5(b)是经过平移后的下一帧图像，图5(c)是直接利用相位相关法计算图(a)(b)得到的相位相关平面，由相关尖峰出现的位置对应得到全局运动估计是(4，7)，选择图中黑框选中的部分应用分块相位相关法进行计算，得到的相关平面如图5(d)所示，对应的全局运动估计是(4，7)。两种方法计算全局运动估计的结果是一致的，而通常分块相位相关法参与计算的图像大小仅为原始图像的1-5％，对计算量和计算时间的节约十分可观：在Pentium CPU2.50GHz的仿真条件下，对一幅CIF图像进行相位相关法的时间约为0.17-0.20s之间，而对一个64×64分块的子图进行相位相关计算时只需约0.035s，这一数值在32×32大小的子图时约为0.025s，在未经过任何优化的前提下，这一数值几乎可以符合实际应用的需要，其意义是不可忽视的。

Claims (4)

1.无人机侦察视频分级运动补偿方法，其特征在于，包括以下几个步骤：

第一步，获取飞行参数；

从机载设备上提取飞行和云台运动参数；

第一步具体为：由空速表、高度仪、摄像头云台控制系统上得到的飞行参数组成多元集P：

其中V_uav，H_uav为飞机的飞行速度与高度；

α_uav，β_uav为飞机的方位角与俯仰角；V_cam为云台相对于飞机运动的速度；γ_cam，λ_cam为摄像机的转动角与俯仰角；

为摄像机视场角；I(w，h)为所获视频流的每帧图像的宽和高，以像素为单位；fr为视频流的帧率；

第二步，全局运动一级补偿；

根据第一步中读取的飞行参数，得出一级全局运动矢量，一级补偿后得到粗略的补偿结果；

第二步的全局运动一级补偿具体为：

(1)求取全局运动一级补偿量：

根据P集获取：

两连续帧间背景位移为：l＝V_uav/fr      (1)

背景位移沿地面参照物水平分量为：l_h＝lxcosα_uav      (2)

背景位移沿地面参照物垂直分量为：l_v＝l×sinα_uav    (3)

侦察区域：

水平方向运动矢量：i₀＝l_h/S_c×w    (5)

垂直方向运动矢量：j₀＝l_v/S_c×w    (6)

所获一级补偿的全局运动矢量为：

${\stackrel{\→}{d}}_g=(i_0,j_0)---\left(7\right)$

(2)对视频图像进行一级补偿：

将后一帧图像加上一级全局运动矢量，即是将后一帧图像平移，平移量为(-i₀，-j₀)，完成了视频图像的全局运动一级补偿；

第三步，全局运动二级补偿；

一级补偿后，对选定的图像子块应用分块相位相关方法，得到两帧图像间仍残余的全局运动，根据分块的相位相关法精准的估计二级全局运动矢量；

第三步具体步骤如下：

(1)首先从图像中选取2～9个子块；

(2)先从所选的子块中选取两组进行如下步骤：

对两组子块分别用相位相关法估计二级全局运动补偿，其中一个子块获取二级全局运动补偿的详细步骤如下：

①连续两帧图像中对应子块的时域表达分别为f_k(x，y)和f_k+1(x，y)，两帧图像在时域上的位移为(x₀，y₀)；

②获取两子块对应的傅立叶变换，分别为F_k(ξ，η)和F_k+1(ξ，η)：

$f_k(x,y)\⇔F_k(\mathrm{\ξ},\mathrm{\η})$

$f_{k+1}(x,y\⇔F_{k+1}(\mathrm{\ξ},\mathrm{\η})$

③获取两帧连续图像中对应子块的互功率谱，具体为：

$C(\mathrm{\ξ},\mathrm{\η})=\frac{F_k^{*}(\mathrm{\ξ},\mathrm{\η})}{\left|F_k^{*}(\mathrm{\ξ},\mathrm{\η})F_{k+1}(\mathrm{\ξ},\mathrm{\η})\right|}=e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}---\left(8\right)$

是F_k(ξ，η)的复共轭；其中利用了傅立叶变换的平移性质：

$f_k(x-x_0,y-y_0)\⇔F_k(\mathrm{\ξ},\mathrm{\η})e^{-j2\mathrm{\π}(\mathrm{\ξ}{x}_0+\mathrm{\η}{y}_0)}---\left(9\right)$

④将互功率谱表达式进行傅立叶反变换，得到中心点位于(x₀，y₀)的归一化相关狄拉克函数：

$C(\mathrm{\ξ},\mathrm{\η})\⇔(x-x_0,{y-y}_0)---\left(10\right)$

⑤根据④中的狄拉克函数，得出(x₀，y₀)，即子块的二级全局运动补偿；(x₀，y₀)即为后一帧中子块相对于前一帧中对应子块的相对运动量；x₀正、负分表代表后一帧图像相对于前一帧图像右移和左移，y₀正、负分表代表后一帧图像相对于前一帧图像下移和上移；

根据上述步骤分别得到所选两组子块的二级全局运动补偿；

(3)比较步骤(2)中求得的两组子块的二级全局运动矢量，得出最优的全局运动矢量(x₀，y₀)；

具体为：由步骤(2)得到两组子块的二级全局运动矢量分别为：g(A)和g(B)，计算其差值的绝对值|g(A)-g(B)|，设定阈值，当差值小于阈值时，将二者的二级全局运动矢量的平均值或其中一个作为最终的全局运动估计的二级全局运动矢量，如果|g(A)-g(B)|大于阈值，再选取第三块子块，重复步骤(2)，计算得出g(C)，然后依次计算g(A)、g(B)与g(C)的差值的绝对值，比较绝对值与阈值的大小；以此类推，如此重复上述过程，直至得出符合阈值条件的二级全局运动矢量，当有一个以上差值的绝对值小于阈值时，取所有满足条件二级全局运动矢量的平均值作为最终的全局运动估计的二级全局运动矢量，如果所有子块均不能满足阈值条件，返回步骤(1)，增大块的大小，重新划分子块；

第四步，进行全局运动二级补偿；

由第三步，得出了精确地二级全局运动矢量，用精确地二级地全局运动矢量对视频进行补偿。

2.根据权利要求1所述的无人机侦察视频分级运动补偿方法，其特征在于，所述的第三步(1)中，子块选择靠近图像边缘区域，选取子块的大小与数量根据视频质量、要求补偿精度确定。

3.根据权利要求1所述的无人机侦察视频分级运动补偿方法，其特征在于，所述的第三步(3)中，阈值为(1，1)～(5，5)之间。

4.根据权利要求1所述的无人机侦察视频分级运动补偿方法，其特征在于，所述的第四步具体为：

将后一帧图像加上精确地二级全局运动矢量，即是将后一帧图像平移，平移量为(-x₀，-y₀)，使得两帧图像的背景位置不变，即得到静态背景的视频；至此，完成了无人机侦察视频相邻两帧的全局运动分级补偿；重复上述过程，对每一帧图像进行上述处理，即可完成无人机侦察视频的全局运动补偿。

Images