CN110189363A - 一种机场场面移动目标低视角视频测速方法 - Google Patents

Abstract

本发明公开了一种机场场面移动目标低视角视频测速方法，从监控像机获取的低视角视频中，选取一帧包含清晰路面标志特征的图像对摄像机进行标定，建立图像坐标与三维空间坐标之间的变换关系；通过背景减除与运动区域合并确定移动目标所在大致区域，然后通过特征点检测与持续跟踪生成特征点轨迹；对特征点轨迹进行聚类分析，确定特征点所属的移动目标；在每个移动目标中选取若干高度较小的特征点，根据图像坐标与三维空间坐标的变换关系确定特征点在三维空间中的运动距离，除以时间差得到特征点运动速度，取平均值作为移动目标运动速度。本发明充分考虑了机场场面低视角视频测速的特点，无需检测移动目标边界框，有利于提高测速的准确性和稳定性。

Description

一种机场场面移动目标低视角视频测速方法

技术领域

本发明涉及机场场面视觉监视技术领域，尤其涉及一种机场场面移动目标低视角视频测速方法。

背景技术

视觉监视技术由于较高的可靠性、低廉的成本和便利的安装方式成为适合中小机场的新型非协作监视技术，在机场场面尤其是运行条件较为复杂的滑行道、停机坪区域的安全监控中起到愈发重要的作用。为实现以精确的四维轨迹(4-dimensional trajectory)为基础的场面运行控制与引导，视觉监视系统需要能够实时测量移动目标的运动速度。

对移动目标进行准确的三维空间定位是利用视觉技术进行测速的关键和基础。目前一般通过目标检测与跟踪确定图像中的移动目标边界框(bounding box)，然后根据边界框中心点坐标确定移动目标位置。当摄像机视角较高时，可以根据摄像机获取的俯视图准确计算目标边界框，移动目标高度或相对摄像机的方位对边界框的影响较小，边界框中心即为移动目标几何中心，可近似认为位于地面上，通过单应矩阵即可确定其三维空间坐标。而实际运行环境中，摄像机在机场场面的安装高度通常较低，只能获得低视角监控视频。此时目标边界框的中心点少与移动目标中心重合，且一般不在地面上，通过单目视觉难以确定其高度或距离，同时边界框的位置、大小易受移动目标与摄像机的相对方位以及目标检测算法稳定性的影响，准确计算移动目标位置较为困难。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种机场场面移动目标低视角视频测速方法，通过检测多个图像特征点并对特征点进行持续跟踪和分析，实现低视角条件下对机场场面移动目标运动速度的稳定、准确测量。

本发明是通过以下技术方案实现的：

一种机场场面移动目标低视角视频测速方法，包括以下步骤：

步骤1、从安装在机场场面的监控像机获取的低视角视频中，选取一帧包含清晰场面道路特征的图像对摄像机进行标定；

步骤2、根据摄像机标定结果确定从图像坐标到三维空间坐标的变换关系；

步骤3、开始测速后，对机场场面监控视频每帧图像运动区域内的特征点进行检测，并在处理后续图像帧时，对检测到的特征点进行持续跟踪，并补充检测新的特征点，生成多条特征点轨迹；

步骤4、对每个运动区域的特征点轨迹进行聚类分析，确定不同移动目标包含的特征点轨迹；

步骤5、在每个移动目标中选取若干高度较低的特征点轨迹，根据特征点轨迹在最近M帧的图像坐标，计算特征点在三维空间中的运动距离；

步骤6、根据视频帧率确定M帧对应的运行时间，然后用特征点的三维空间运动距离除以运行时间，得到特征点M帧的平均运动速度；

步骤7、对多个特征点的运动速度取平均值，作为移动目标M帧的平均运动速度。

所述步骤1中，摄像机标定具体包括：

1.1)建立图像平面坐标系o_i-uv和三维空间坐标系o-xyz；图像坐标系o_i-uv，原点o_i位于图像的几何中心，向右为u轴正方向，向下为v轴正方向；三维空间坐标系o-xyz原点o位于摄像机光心，z轴与摄像机光轴重合且与图像平面垂直，x、y轴分别与图像坐标系的u、v轴平行，原点o到图像平面的距离为摄像机焦距f；二者均以像素为单位。

1.2)在所选图像中，沿三维空间中两个正交方向各选取一组路面标志线段；利用最小二乘原理确定每组线段的交点，得到消失点p₁＝(u₁,v₁)、p₂＝(u₂,v₂)；

1.3)根据正交直线的消失点与坐标原点o的连线相互垂直的原理，确定摄像机焦距

1.4)根据消失点p₁、p₂确定与机场平面垂直方向的消失点p₃：p₃与坐标原点o的连线对应的向量向量的三维空间坐标的前两维坐标分量即为消失点p₃的图像坐标；

1.5)根据向量与机场平面垂直，确定机场平面法向量

1.6)在机场平面上选取距离为d的两个点，在图像中的投影点坐标分别为p_a＝(u_a,v_a)、p_b＝(u_b,v_b)，由此以及焦距f和向量n，确定摄像机高度h＝d/||(u_a,v_a,f)/(u_a,v_a,f)·n-(u_b,v_b,f)/(u_b,v_b,f)·n||；d与h的单位均为米。

所述步骤2中，图像坐标与三维空间坐标之间的变换关系具体为：确定摄像机焦距f、机场平面法向量n和摄像机高度h后，根据高度为h_P的某点在图像坐标系中的投影p＝(u,v)，确定其三维空间坐标

所述步骤3中，运动区域特征点检测与跟踪具体包括：

3.1)对于当前处理的图像帧，通过背景建模与背景减除，排除不包含移动目标的静态背景区域，以提高后续处理效率；

3.2)由于航空器等大型移动目标可能被分割为多个前景区域，进一步合并邻近前景区域，得到最终的运动区域；在这个过程中，不同移动目标若距离较近，也会被划分到同一运动区域中；

3.3)在每个运动区域内检测图像特征点；若当前处理的并非第1帧图像，并且已处理图像帧包含的特征点被有效跟踪至当前图像帧，则将新检测到的特征点与已有特征点位置进行比较，排除重复特征点；

3.4)按照上述方式反复处理摄像机获取的图像帧，记录每个特征点的位置变化，若干帧后可生成多条特征点轨迹。

所述步骤4中，特征点轨迹聚类分析具体包括：

4.1)记特征点i的轨迹为其中m为轨迹长度，表示特征点i被连续有效跟踪的帧数。t_i每一行表示特征点i在相应图像帧中的坐标。从所有特征点轨迹中排除轨迹长度较小和未发生明显位移的特征点轨迹，得到N条候选特征点轨迹，其集合记为T；

4.2)对于T中的特征点轨迹t_i，记t_i最后M帧的轨迹片段为根据计算特征点i的M帧位移序列d_i＝(δ_i,1,δ_i,2,...,δ_i,n)，n＝1、2、3、……；

4.3)根据位移序列d_i、d_j计算特征点i、j的轨迹差异度l_i,j：

4_.4)记t_i与集合T中所有特征点轨迹的差异度为l_i＝(l_i,1,l_i,2,...,l_i,N)；根据可以确定t_i相对T中所有特征点轨迹的偏好向量r_i＝(r_i,1,_ri,2,...,_ri,N)：若l_i,j小于给定阈值τ，则认为t_i与t_j属于同一移动目标，即r_i,j＝1；否则，r_i,j＝0；

4.5)确定T中每个特征点轨迹的偏好向量，然后利用J-linkage算法对特征点轨迹进行聚类；所得每个聚类对应一个移动目标。

所述步骤5中，计算特征点在三维空间中的运动距离具体包括：

5.1)在每个移动目标中选取若干高度较低的特征点轨迹；以其中包含的移动目标地面接触点为参考点，根据不同特征点在三维空间运动距离相同这一前提条件，基于步骤2确定的坐标变换关系反推出其他特征点高度；

5.2)确定特征高度后，根据图像坐标与三维空间坐标的变换关系，计算每个特征点在M帧的起始和结束位置对应的三维空间坐标，确定对应的三维空间运动距离。

本发明的优点是：1.本发明利用机场路面几何特征标定摄像机，然后利用运动区域特征点跟踪分析确定移动目标运动速度，形成了一个有效的低视角机场场面视频测速框架；2.本发明利用具有较高辨识度的图像特征点进行测速，不易受观测角度变化等因素影响，有利于提高测速的稳定性和准确性；3.本发明在每个移动目标中提取多个特征点进行持续跟踪和分析，有利于避免局部特征点检测或跟踪错误导致的测速误差。

附图说明

图1为本发明的总体流程图。

图2为图像坐标系和三维空间坐标系示意图。

图3为特征点轨迹聚类流程图。

图4为特征点运动距离示意图。

具体实施方式

如图1所示，一种机场场面移动目标低视角视频测速方法，其步骤为：

步骤1、从机场场面监控像机获取的低视角视频中，任意选取一帧包含清晰场面道路特征的图像对摄像机进行标定；具体过程为：

1.1)建立图像平面坐标系o_i-uv和三维空间坐标系o-xyz，如图2所示；图像坐标系o_i-uv，原点o_i位于图像的几何中心，向右为u轴正方向，向下为v轴正方向；三维空间坐标系o-xyz原点o位于摄像机光心，z轴与摄像机光轴重合且与图像平面垂直，x、y轴分别与图像坐标系的u、v轴平行，原点o到图像平面的距离为摄像机焦距f；二者均以像素为单位。

1.2)在所选图像中，沿三维空间中两个正交方向各选取一组路面标志线段；利用最小二乘原理确定每组线段的交点，得到消失点p₁＝(u₁,v₁)、p₂＝(u₂,v₂)；

1.3)根据正交直线的消失点与坐标原点o的连线相互垂直的原理，确定摄像机焦距

1.4)根据消失点p₁、p₂确定与机场平面n垂直方p₃向的消失点：p₃与坐标原点o的连线对应的向量向量的三维空间坐标的前两维坐标分量即为消失点p₃的图像坐标；

1.5)根据向量与机场平面垂直，确定机场平面法向量

1.6)在机场平面上选取距离为d的两个点，在图像中的投影点坐标分别为p_a＝(u_a,v_a)、p_b＝(u_b,v_b)，由此以及焦距f和向量n，确定摄像机高度h＝d/||(u_a,v_a,f)/(u_a,v_a,f)·n-(u_b,v_b,f)/(u_b,v_b,f)·n||；d与h的单位均为米。

步骤2、确定从图像坐标到三维空间坐标的变换关系：确定摄像机焦距f、机场平面法向量n和摄像机高度h后，根据高度为h_P的某点在图像坐标系中的投影p＝(u,v)，可以确定该点的三维空间坐标

式中h、h_P与坐标P的单位均为米。

步骤3、开始测速后，对机场场面监控视频每帧图像运动区域内的特征点进行检测，并在处理后续图像帧时，对检测到的特征点进行持续跟踪，并补充检测新的特征点，生成多条特征点轨迹；具体过程为：

3.1)对于当前处理的图像帧，利用ViBe算法进行背景建模，然后进行背景减除，排除不包含移动目标的静态背景区域，以提高后续处理效率；

3.2)由于航空器等大型移动目标可能被分割为多个前景区域，进一步合并距离小于5像素的邻近前景区域，得到最终的运动区域；在这个过程中，不同移动目标若距离较近，也会被划分到同一运动区域中；

3.3)在每个运动区域内检测图像的FAST特征点；若当前处理的并非第1帧图像，并且已处理图像帧包含的特征点被有效跟踪至当前图像帧，则将新检测到的特征点与已有特征点位置进行比较，排除重复特征点；

3.4)按照上述方式反复处理摄像机获取的图像帧，记录每个特征点的位置变化，若干帧后可生成多条特征点轨迹。

步骤4、对于每个运动区域，对特征点轨迹进行筛选，排除轨迹长度小于M帧的特征点轨迹；当有效的特征点轨迹数量满足要求时，对选出的特征点轨迹进行聚类分析，确定不同移动目标包含的特征点轨迹；具体过程为：

4.1)记特征点i的轨迹为其中m为轨迹长度，表示特征点i被连续有效跟踪的帧数。t_i每一行表示特征点i在相应图像帧中的坐标。从所有特征点轨迹中排除轨迹长度小于3帧和未发生明显位移的特征点轨迹，得到N条候选特征点轨迹，其集合记为T；

4.2)对于T中的特征点轨迹t_i，记t_i最后M帧的轨迹片段为根据计算特征点i的M帧位移序列d_i＝(δ_i,1,δ_i,2,...,δ_i,n)，n＝1、2、3、……；

4.3)根据位移序列d_i、d_j计算特征点i、j的轨迹差异度l_i,j：

4.4)记t_i与集合T中所有特征点轨迹的差异度为l_i＝(l_i,1,l_i,2,...,l_i,N)；根据l_i可以确定t_i相对T中所有特征点轨迹的偏好向量r_i＝(r_i,1,r_i,2,...,r_i,N)：若l_i,j小于给定阈值τ，则认为t_i与t_j属于同一移动目标，即r_i,j＝1；否则，r_i,j＝0；

4.5)确定T中每个特征点轨迹的偏好向量，然后利用J-linkage算法对特征点轨迹进行聚类，如图3所示；所得每个聚类对应一个移动目标。

步骤5、在每个移动目标中选取若干高度较低的特征点轨迹，根据特征点轨迹在最近M帧的图像坐标，计算特征点在三维空间中的运动距离；具体为：

5.1)在每个移动目标中选取若干高度较低的特征点轨迹；以其中包含的移动目标地面接触点为参考点，根据不同特征点在三维空间运动距离相同这一前提条件，基于步骤2确定的坐标变换关系反推出其他特征点高度；

5.2)确定特征高度后，根据图像坐标与三维空间坐标的变换关系，计算每个特征点在M帧的起始和结束位置对应的三维空间坐标，确定对应的三维空间运动距离，如图4所示。

步骤6、根据视频帧率确定M帧对应的运行时间，然后用特征点的三维空间运动距离除以运行时间，得到特征点M帧的平均运动速度。

步骤7、最后对多个特征点的运动速度取平均值，作为移动目标M帧的平均运动速度。

Claims (6)

1.一种机场场面移动目标低视角视频测速方法，其特征在于：包括以下步骤：

步骤1、从机场监控摄像机获取的低视角视频中，选取一帧包含清晰场面道路特征的图像对摄像机进行标定；

步骤2、根据摄像机标定结果确定从图像坐标到三维空间坐标的变换关系；

步骤3、开始测速后，对机场场面监控视频每帧图像运动区域内的特征点进行检测，并在处理后续图像帧时，对检测到的特征点进行持续跟踪，并补充检测新的特征点，生成多条特征点轨迹；

步骤4、对每个运动区域的特征点轨迹进行聚类分析，确定不同移动目标包含的特征点轨迹；

步骤5、在每个移动目标中选取若干高度低的特征点轨迹，根据特征点轨迹在最近M帧的图像坐标，计算特征点在三维空间中的运动距离；

步骤6、根据视频帧率确定M帧对应的运行时间，然后用特征点的三维空间运动距离除以运行时间，得到特征点M帧的平均运动速度；

步骤7、对多个特征点的运动速度取平均值，作为移动目标M帧的平均运动速度。

2.根据权利要求1所述的一种机场场面移动目标低视角视频测速方法，其特征在于：步骤1中所述的选取一帧包含清晰场面道路特征的图像对摄像机进行标定，具体包括：

1.1)建立图像平面坐标系o_i-uv和三维空间坐标系o-xyz；图像坐标系o_i-uv，原点o_i位于图像的几何中心，向右为u轴正方向，向下为v轴正方向；三维空间坐标系o-xyz原点o位于摄像机光心，z轴与摄像机光轴重合且与图像平面垂直，x、y轴分别与图像坐标系的u、v轴平行，原点o到图像平面的距离为摄像机焦距f；

1.2)在所选图像中，沿三维空间中两个正交方向各选取一组路面标志线段；利用最小二乘原理确定每组线段的交点，得到消失点p₁＝(u₁,v₁)、p₂＝(u₂,v₂)；

1.3)根据正交直线的消失点与坐标原点o的连线相互垂直的原理，确定摄像机焦距

1.4)根据消失点p₁、p₂确定与机场平面垂直方向的消失点p₃：p₃与坐标原点o的连线对应的向量，向量的三维空间坐标的前两维坐标分量即为消失点p₃的图像坐标；

1.5)根据向量与机场平面垂直，确定机场平面法向量

1.6)在机场平面上选取距离为d的两个点，在图像中的投影点坐标分别为p_a＝(u_a,v_a)、p_b＝(u_b,v_b)，由此以及焦距f和向量n，确定摄像机高度h＝d/||(u_a,v_a,f)/(u_a,v_a,f)·n-(u_b,v_b,f)/(u_b,v_b,f)·n||。

3.根据权利要求2所述的一种机场场面移动目标低视角视频测速方法，其特征在于：步骤2中所述的根据摄像机标定结果确定从图像坐标到三维空间坐标的变换关系，具体包括：

确定摄像机焦距f、机场平面法向量n和摄像机高度h后，根据高度为h_P的某点在图像坐标系中的投影p＝(u,v)，确定其三维空间坐标

4.根据权利要求3所述的一种机场场面移动目标低视角视频测速方法，其特征在于：步骤3中所述的对机场场面监控视频每帧图像运动区域内的特征点进行检测，并在处理后续图像帧时，对检测到的特征点进行持续跟踪，并补充检测新的特征点，生成多条特征点轨迹，具体包括：

3.1)对于当前处理的图像帧，通过背景建模与背景减除，排除不包含移动目标的静态背景区域；

3.2)由于大型移动目标被分割为多个前景区域，进一步合并邻近前景区域，得到最终的运动区域；在这个过程中，不同移动目标若距离较近，就被划分到同一运动区域中；

3.3)在每个运动区域内检测图像特征点；若当前处理的并非第1帧图像，并且已处理图像帧包含的特征点被有效跟踪至当前图像帧，则将新检测到的特征点与已有特征点位置进行比较，排除重复特征点；

3.4)按照上述方式反复处理摄像机获取的图像帧，记录每个特征点的位置变化，若干帧后可生成多条特征点轨迹。

5.根据权利要求4所述的一种机场场面移动目标低视角视频测速方法，其特征在于：步骤4中所述的对每个运动区域的特征点轨迹进行聚类分析，具体包括：

4.1)记特征点i的轨迹为其中m为轨迹长度，表示特征点i被连续有效跟踪的帧数，t_i每一行表示特征点i在相应图像帧中的坐标，从所有特征点轨迹中排除轨迹长度较小和未发生位移的特征点轨迹，得到N条候选特征点轨迹，其集合记为T；

4.2)对于T中的特征点轨迹t_i，记t_i最后M帧的轨迹片段为根据计算特征点i的M帧位移序列d_i＝(δ_i,1,δ_i,2,...,δ_i,n)；

4.3)根据位移序列d_i、d_j计算特征点i、j的轨迹差异度l_i,j：

4.4)记t_i与集合T中所有特征点轨迹的差异度为l_i＝(l_i,1,l_i,2,...,l_i,N)；根据l_i确定t_i相对T中所有特征点轨迹的偏好向量r_i＝(r_i,1,r_i,2,...,r_i,N)：若l_i,j小于给定阈值τ，则认为t_i与t_j属于同一移动目标，即r_i,j＝1；否则，r_i,j＝0；

4.5)确定T中每个特征点轨迹的偏好向量，然后利用J-linkage算法对特征点轨迹进行聚类；所得每个聚类对应一个移动目标。

6.根据权利要求5所述的一种机场场面移动目标低视角视频测速方法，其特征在于：步骤5中所述的在每个移动目标中选取若干高度低的特征点轨迹，根据特征点轨迹在最近M帧的图像坐标，计算特征点在三维空间中的运动距离，具体包括：

5.1)在每个移动目标中选取若干高度低的特征点轨迹；以其中包含的移动目标地面接触点为参考点，根据不同特征点在三维空间运动距离相同这一前提条件，基于步骤2确定的坐标变换关系反推出其他特征点高度；

5.2)确定特征高度后，根据图像坐标与三维空间坐标的变换关系，计算每个特征点在M帧的起始和结束位置对应的三维空间坐标，确定对应的三维空间运动距离。