CN111311640A - 一种基于运动估计的无人机识别跟踪方法 - Google Patents

Abstract

本发明一种基于运动估计的无人机识别跟踪方法属于动态目标识别跟踪领域，涉及一种通过单摄像机采集序列图像并实时处理的无人机探测与识别方法。该方法针对基于视频图像的低空无人机实时探测识别，在干扰因素较多且目标成像特征不明显情况下，克服了传统特征匹配或深度学习等识别方法难以凑效的弱点，采用图像序列帧差算法实现视场范围内移动目标的探测，并辅以图像分块计算提高计算效率，实现动态目标的快速探测；通过构建动态目标图像分块的时间序列，采用动态目标运动估计及序列长度判定实现对可疑无人机目标的初筛；最后采用SIFT目标匹配算法进行精确定位跟踪，实现无人机目标的精确识别跟踪。

Description

一种基于运动估计的无人机识别跟踪方法

技术领域

本发明一种基于运动估计的无人机识别跟踪方法属于动态目标识别跟踪领域，涉及一种通过单摄像机采集序列图像并实时处理的无人机探测与识别方法。

背景技术

近年来，动力三角翼、轻型直升机、无人机、航空模型等“低慢小”飞行器在消费娱乐、公共安保、航空测绘等领域获得广泛应用，同时，由于此类飞行器成本低廉、操作方便、容易获取，“黑飞”现象较为普遍，对军、民航空中秩序及国家安全造成不小的影响和损失。为了能够更好地实现对无人机的有效管控，除了制定完善细致的政策法规，利用技术手段对无人机进行探测、监控及跟踪，为后续对非合作无人机的干扰、控制、摧毁等提供必要的引导操作，也成为了保障区域安全的重要措施。

当前，主要采用雷达、无线电、视觉侦测等主动探测技术，对非合作“低慢小”无人机进行探测跟踪。其中雷达探测手段主要用来监测高空中速度较快、金属成分较高和雷达散射截面积较大的飞行目标，在人口密集、建筑物较多的环境下，利用雷达探测“低慢小”无人机目标时，信号干扰较大。此外，“低慢小”目标的制作材料中金属含量低、散射截面积小，不易被雷达设备发现与识别(“雷达低慢小目标检测技术综述”，2018，现代防御技术，46(1)：148-155)。无线电探测手段要求被探测目标具有配合性，对于有意隐藏的保持无线电静默的目标则受到限制(“基于无线信号的无人机探测与干扰方法研究”，2018，浙江大学硕士学位论文)。视觉探测由于成本低廉、部署灵活、抗干扰强等优点，越来越受到青睐，通常包括可见光、红外等成像方式(“无人机光电探测距离分析”，2018，激光与红外，48(9)：1123-1227)，在复杂城市环境下对“低慢小”无人机目标的搜索发现中具有广泛的应用前景。

然而，基于视觉图像的“低慢小”识别若要实现精确探测，容易受到环境、噪声、干扰物的影响，尤其是在以单摄像机为核心传感器的无人机识别系统中，由于目标在视觉传感器的成像大小与探测距离有关，而传统基于目标特征匹配的探测方法或基于深度学习的目标识别方法，只有在成像质量高、目标特征清晰、干扰因素较少的情况下才能保证识别精度。而实际情况下，飞鸟、风筝等干扰因素较多且目标成像特征不明显等情况，无论是基于目标特征匹配的探测方法或基于深度学习的目标识别方法适用性较弱。针对以上情况，提出了一种基于运动估计的无人机识别跟踪方法，该方法基于不同目标的运动特性，将干扰因素祛除，对识别物在图像上呈现特征的精细化程度要求不高，解决了基于特征匹配及深度学习方法面临的局限性，在无人机探测及跟踪应用方面有广泛应用前景。

发明内容

本发明所要解决的技术问题为：在以单摄像机为核心传感器的无人机识别系统中，由于目标在视觉传感器的成像大小与探测距离有关，而传统基于目标特征匹配的探测方法或基于深度学习的目标识别方法，只有在成像质量高、目标特征清晰、干扰因素较少的情况下才能保证识别精度。而实际情况下，飞鸟、风筝等干扰因素较多且目标成像特征不明显等情况，无论是基于目标特征匹配的探测方法或基于深度学习的目标识别方法适用性较弱。

本发明采取的技术方案为：一种基于运动估计的无人机识别跟踪方法，针对视觉传感器在低空无人机探测识别技术中的应用，首先，采用图像序列帧差算法实现视场范围内移动目标的探测，并辅以图像分块计算提高效率，实现动态目标的快速探测；其次，构建动态目标图像分块的时间序列，通过动态目标运动估计及序列长度判定对可疑无人机目标进行筛选，实现无人机目标的鉴定；最后，采用SIFT目标匹配算法进行精确定位跟踪，实现无人机目标的精确识别跟踪。

本发明的具体步骤为：

(1)以固定频率采集待监控区域的图像，采用图像序列灰度值帧差算法获得连续图像序列的灰度差图像，并通过灰度拉伸处理提升灰度差图像的梯度信息，至此完成对视场范围内所有运动目标的探测；

(2)对灰度差图像均匀地分成多个图像切片，构建每个图像切片的时间序列，设定一个灰度阈值，并根据每个图像切片的平均灰度值是否大于灰度阈值判断该切片是否可疑目标切片，并对所有可疑目标切片进行聚类分析，再通过标记为可疑目标的聚类图像切片序列长度判定是否是无人机目标，列出候选目标，至此完成无人机目标的筛选；

(3)采用SIFT特征提取算法对候选目标的聚类图像切片每一帧分别进行特征提取，对提取的所有特征点图像坐标进行加权求取SIFT特征坐标质心，以该质心为中心通过设定的方框锁定目标，至此完成无人机目标的精确图像跟踪。

其中，所述步骤(1)具体包括以下步骤：

1.1根据视觉传感器视场范围和需要进行监控范围的实际情况，固定视觉传感器或通过旋转云台缓慢进行移动，使得视觉传感器监控到所有目标区域，并能实时以固定帧频采集图像；

1.2探测开始，视觉传感器采集一帧图像作为初始图像Img_0，并将采集的图像转换为灰度图，记为grayImg_0；

1.3视觉传感器采集紧随Img_0的后一帧图像Img_1，并将采集的图像转换为灰度图，记为grayImg_1；

1.4将图像grayImg_0与grayImg_1对应像素点的灰度值相减，并根据相减的灰度值矩阵生成新的灰度图像，记为imgFram_01；

1.5设定新的灰度图像imgFram_01像素的最大灰度值为max，将ratio＝255/max作为灰度拉伸比例对新的灰度图像imgFram_01进行灰度值变换，变换后的新图像记为grayFram_01，且grayFram_01＝imgFram_01×ratio，图像帧差预处理完毕。

其中，所述步骤(2)具体包括以下步骤：

2.1将步骤1.5中生成的新图像grayFram_01均匀地切分成M×N个图像切片，记为unit合集；

2.2设定一个灰度阈值gray_threshold，计算unit合集中的每个unit的平均灰度值，其中平均灰度值小于gray_threshold的为无效unit，记为unit_0子集,平均灰度值大于gray_threshold的为可疑unit，记为unit_1子集；

2.3将所有unit_1子集的unit成员进行聚类合并处理，若多个unit成员存在相互毗邻的情况，则将这些unit合并为一个整体矩形像素区域，至此grayFram_01被标记出多个大小不一的矩形像素区域，记为subFram图像切片；

2.4以每个subFram图像切片为第一帧构建图像切片的时间序列，且间隔三帧擦除一次序列的首帧，并实时记录每个subFram图像切片的序列长度num；

2.5设定一个目标序列长度阈值num_threshold，舍弃num小于num_threshold的subFram，并将num大于或等于num_threshold的subFram锁定，列为候选目标，记为subFram_t；

2.6将subFram_t图像切片大小扩充至上下左右2倍长宽像素数，记为subFram_T，完成无人机目标筛选。

其中，所述步骤(3)具体包括以下步骤：

3.1对步骤2.6中锁定的候选目标区域subFram_T进行SIFT特征提取，设提取到D个SIFT特征点，其图像坐标分别为sift_d(d＝1,2,…,D)；

3.2通过加权质心法求取D个SIFT特征点的有效质心，设质心坐标为[u0,v0]，并以该点为中心，将候选目标区域重新设置锁定框；

3.3通过对连续的图像帧不断重复步骤3.1及3.2中的特征提取、求取质心、目标区域重定义三步操作，实时移动无人机锁定框，完成对无人机目标的实时跟踪。

本发明相比现有技术的有点为：

本发明克服了传统特征匹配或深度学习等识别方法难以凑效的弱点，采用图像序列帧差算法实现视场范围内移动目标的探测，并辅以图像分块计算提高了计算效率，实现了动态目标的快速探测；通过构建动态目标图像分块的时间序列，采用动态目标运动估计及序列长度判定实现对可疑无人机目标的初筛；最后采用SIFT目标匹配算法进行精确定位跟踪，实现了无人机目标的精确识别跟踪。

附图说明

图1为本发明基于运动估计的无人机识别跟踪方法流程图。

图2为本发明无人机目标筛选及锁定跟踪处理流程示意图，其中，①-为图像unit切分，②-为unit灰度均值对比，③-为毗邻unit聚类合并，④-为候选目标初筛，⑤-为候选目标锁定，⑥-为候选目标实时跟踪。

图3为本发明实施例初始图像。

图4为本发明实施例实时动态目标探测示意图。

图5为本发明实施例候选目标锁定示意图。

图6为本发明实施例候选目标跟踪示意图。

具体实施方式：

本发明的应用对象为基于可见光图像的“低慢小”无人机识别系统，此系统可描述为：视场范围内的“低慢小”无人机投影在摄像机成像平面上，通过对摄像机图像实时采集、目标探测、目标识别、目标跟踪等一系列操作，实现在飞鸟、风筝等低空目标干扰情况下的“低慢小”无人机精确识别跟踪，为后续反无人机措施提供准确的信息情报支援。

由于该发明所面向的领域为无人机视觉探测及跟踪技术，需要的基本设备为具备足够监测视场的视觉传感器(或摄像机)，使用该方法之前的准备工作包括：1)将视觉传感器安装在固定的旋转云台上，且整个执行过程确保视觉传感器及云台的相对位置不发生任何变化，否则可能引起由设备本身原因导致跟踪的目标脱离视场；2)确保视觉传感器图像信息采集效果良好及传输效果良好，以便实时处理连续多帧图像；3)为方便说明，设所用摄像机采集图像分辨率为1920×1080像素。

下面结合技术方案和附图详细说明本发明的具体实施步骤。

步骤1：图像帧差预处理(图1中步骤①-②)

1.1根据视觉传感器视场范围和需要进行监控范围的实际情况，固定视觉传感器或通过旋转云台缓慢进行移动，确保视觉传感器可以监控到所有目标区域，并能实时以固定帧频采集图像；

1.2探测开始，采集一帧图像为初始图像Img_0，并将该图像转换为灰度图，记为grayImg_0，设其每个像素的灰度值为：

I_{grayImg_0}[x,y]，

其中，x、y分别表示图像grayImg_0每个像素的横坐标及总坐标，后续论述中无特殊说明，x、y均为图像横、纵坐标，且满足约束条件：

1.3采集紧随Img_0的后一帧图像Img_1并转换为灰度图，记为grayImg_1，其每个像素的灰度值为：

I_{grayImg_1}[x,y]，

1.4将图像grayImg_0与grayImg_1对应像素点的灰度值相减，并根据相减的灰度值生成新的灰度图像，记为imgFram_01，其每个像素的灰度值为：

I_{imgFram_01}[x,y]＝I_{grayImg_1}[x,y]-I_{grayImg_0}[x,y]

1.5设图像imgFram_01像素的最大灰度值为max，将ratio＝255/max作为灰度拉伸比例对imgFram_01图像进行灰度值变换，变换后的新图像记为grayFram_01，且grayFram_01的灰度值为：

I_{grayFram_01}[x,y]＝I_{imgFram_01}[x,y]×ratio

图像帧差预处理完毕。

步骤2：无人机目标初筛(图1中步骤②-③)

2.1设将步骤1.5中生成的grayFram_01均匀地切分成M×N(在该例中，设为17×16)个图像切片，如图2-①所示，这些切片记为unit合集，并对每个unit进行编号，记为：

unit_m,n，

unit_m,n的灰度值矩阵表示为I_unit_m,n。

后续论述中无特殊说明，m、n均满足约束条件：

2.2设定一个灰度阈值gray_threshold(如120)，计算unit_m,n的平均灰度值，记为mean_m,n：

如果mean_m,n小于gray_threshold则unit_m,n为无效unit，被归类为无效子集unit_0；mean值大于等于gray_threshold则unit_m,n为可疑unit，如图2-②所示，被归类为可疑子集unit_1：

2.3将子集unit_1的所有unit成员进行聚类合并处理，若多个unit成员存在相互毗邻的情况，则将这些unit合并为一个整体矩形像素区域，合并后的矩形恰好能覆盖所有毗邻unit，这样，grayFram_01会被标记出多个大小不一的矩形像素区域，这些区域记为subFram，如图2-③所示；

2.4以每个subFram图像切片为第一帧构建图像切片的时间序列，且间隔三帧擦除一次序列的首帧，并实时记录每个subFram图像切片的序列长度num；

2.5设定一个目标序列长度阈值num_threshold，抛弃num小于num_threshold的subFram，并将num大于或等于num_threshold的subFram列为候选目标，记为subFram_t，如图2-④所示；

2.6将subFram_t图像切片以中心为原点，上下左右均匀扩充2倍长宽像素数，记为subFram_T，无人机目标锁定完成，如图2-⑤所示。

步骤3：无人机目标跟踪(图1中步骤③-④)

3.1对步骤2.6中锁定的候选目标区域subFram_T进行SIFT特征提取，采用SIFT算法进行特征提取的内容可参见贾世杰、王鹏翔等《基于SIFT的图像匹配算法》，大连交通大学学报，2010，31(4)：17-21。

设提取到D个SIFT特征点，其图像坐标分别为：

sift_d[x_d,y_d],其中(d＝1,2,…,D)

3.2通过加权质心法求取N个SIFT特征点的有效质心，设质心坐标为[u₀,v₀]：

并以[u₀,v₀]为中心，将候选目标区域重新设置锁定框；

3.3通过对连续的图像帧不断重复步骤3.1及3.2中的特征提取、求取质心、目标区域重定义三步操作，实时移动无人机锁定框，完成对无人机目标的实时跟踪，如图2-⑥所示。

实施例

本实施例中采用的摄像机分辨率为1920×1080像素，帧频15fps，经网线与计算机相连接，通过专用采集软件可以实时拍摄并处理图像；摄像机配备的镜头焦距为45mm，视场角41.3°，将摄像机各部件固定在旋转平台上，调整摄像机位置，使摄像机视场对准待监测区域，整个监测过程不再对摄像机进行调整，根据实施方式中的步骤1.2-3.3逐步进行操作。

图3为摄像机采集的某机场某型号无人机在空中盘旋的场景，场景中会不时有飞鸟出现，以该场景为例：

(1)对实时的图像帧依次进行帧差、灰度拉伸、unit分块、均值计算、unit聚类等操作，可以获得场景中所有动态可疑目标的信息，对图像序列的处理样例如图4所示，可以看出除无人机目标(目标1)外，对进入探测视场范围的飞鸟(目标2及目标3)也能精确探测。

(2)采用分块构建时间序列的方式，间隔三帧擦除一次序列首帧。若目标长时间存在，则存入队列的时间序列大于擦除的序列数量，因此，噪声、飞鸟等目标序列短时间内会被擦除；而轨迹稳定的无人机目标每帧都会存入，当积累的序列数大于一定阈值时，则将该目标锁定，列为候选目标，同时屏蔽其他目标序列数小于一定数量的区域，如图5所示。

(3)对锁定的候选目标进行实时跟踪处理结果如图6所示，可在旋转云台不断移动情况下，实现候选目标实时、精确、稳定地跟踪。

Claims (4)

1.一种基于运动估计的无人机识别跟踪方法，其特征在于，包括以下步骤：

(1)以固定频率采集待监控区域的图像，采用图像序列灰度值帧差算法获得连续图像序列的灰度差图像，并通过灰度拉伸处理提升灰度差图像的梯度信息，至此完成对视场范围内所有运动目标的探测；

(2)对灰度差图像均匀地分成多个图像切片，构建每个图像切片的时间序列，设定一个灰度阈值，并根据每个图像切片的平均灰度值是否大于灰度阈值判断该切片是否可疑目标切片，并对所有可疑目标切片进行聚类分析，再通过标记为可疑目标的聚类图像切片序列长度判定是否是无人机目标，列出候选目标，至此完成无人机目标的筛选；

(3)采用SIFT特征提取算法对候选目标的聚类图像切片每一帧分别进行特征提取，对提取的所有特征点图像坐标进行加权求取SIFT特征坐标质心，以该质心为中心通过设定的方框锁定目标，至此完成无人机目标的精确图像跟踪。

2.根据权利要求1所述的基于运动估计的无人机识别跟踪方法，其特征在于，步骤(1)具体包括以下步骤：

1.1根据视觉传感器视场范围和需要进行监控范围的实际情况，固定视觉传感器或通过旋转云台缓慢进行移动，使得视觉传感器监控到所有目标区域，并能实时以固定帧频采集图像；

1.2探测开始，视觉传感器采集一帧图像作为初始图像Img_0，并将采集的图像转换为灰度图，记为grayImg_0；

1.3视觉传感器采集紧随Img_0的后一帧图像Img_1，并将采集的图像转换为灰度图，记为grayImg_1；

1.4将图像grayImg_0与grayImg_1对应像素点的灰度值相减，并根据相减的灰度值矩阵生成新的灰度图像，记为imgFram_01；

1.5设定新的灰度图像imgFram_01像素的最大灰度值为max，将ratio＝255/max作为灰度拉伸比例对新的灰度图像imgFram_01进行灰度值变换，变换后的新图像记为grayFram_01，且grayFram_01＝imgFram_01×ratio，图像帧差预处理完毕。

3.根据权利要求2所述的基于运动估计的无人机识别跟踪方法，其特征在于，步骤(2)具体包括以下步骤：

2.1将步骤1.5中生成的新图像grayFram_01均匀地切分成M×N个图像切片，记为unit合集；

2.2设定一个灰度阈值gray_threshold，计算unit合集中的每个unit的平均灰度值，其中平均灰度值小于gray_threshold的为无效unit，记为unit_0子集,平均灰度值大于gray_threshold的为可疑unit，记为unit_1子集；

2.3将所有unit_1子集的unit成员进行聚类合并处理，若多个unit成员存在相互毗邻的情况，则将这些unit合并为一个整体矩形像素区域，至此grayFram_01被标记出多个大小不一的矩形像素区域，记为subFram图像切片；

2.4以每个subFram图像切片为第一帧构建图像切片的时间序列，且间隔三帧擦除一次序列的首帧，并实时记录每个subFram图像切片的序列长度num；

2.5设定一个目标序列长度阈值num_threshold，舍弃num小于num_threshold的subFram，并将num大于或等于num_threshold的subFram锁定，列为候选目标，记为subFram_t；

2.6将subFram_t图像切片大小扩充至上下左右2倍长宽像素数，记为subFram_T，完成无人机目标筛选。

4.根据权利要求3所述的基于运动估计的无人机识别跟踪方法，其特征在于，步骤(3)具体包括以下步骤：

3.1对步骤2.6中锁定的候选目标区域subFram_T进行SIFT特征提取，设提取到D个SIFT特征点，其图像坐标分别为sift_d(d＝1,2,…,D)；

3.2通过加权质心法求取D个SIFT特征点的有效质心，设质心坐标为[u0,v0]，并以该点为中心，将候选目标区域重新设置锁定框；

3.3通过对连续的图像帧不断重复步骤3.1及3.2中的特征提取、求取质心、目标区域重定义三步操作，实时移动无人机锁定框，完成对无人机目标的实时跟踪。

Images