CN113589848A - 基于机器视觉的多无人机探测定位跟踪系统及方法 - Google Patents

基于机器视觉的多无人机探测定位跟踪系统及方法 Download PDF

Info

Publication number
CN113589848A
CN113589848A CN202111139618.2A CN202111139618A CN113589848A CN 113589848 A CN113589848 A CN 113589848A CN 202111139618 A CN202111139618 A CN 202111139618A CN 113589848 A CN113589848 A CN 113589848A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
detection
positioning
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111139618.2A
Other languages
English (en)
Other versions
CN113589848B (zh
Inventor
郑灿伦
郑业
张啸宇
陈飞
赵世钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westlake University
Original Assignee
Westlake University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westlake University filed Critical Westlake University
Priority to CN202111139618.2A priority Critical patent/CN113589848B/zh
Publication of CN113589848A publication Critical patent/CN113589848A/zh
Application granted granted Critical
Publication of CN113589848B publication Critical patent/CN113589848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的多无人机探测定位跟踪系统及方法，该系统中包括不少于两个的无人机探测定位装置，该装置包括基座，以及固定在基座上的rtk定位天线、惯性测量模块、计算终端和不少于两个的摄像模块。无人机探测定位装置通过组成双目相机组，用于对空中的运动无人机进行检测；惯性测量模块和两个rtk定位天线分别用于测得整个装置的位置和姿态，计算终端计算得到探测到的无人机在地球坐标系中的位置。本发明系统还包括中心数据处理单元，利用目标运动的时空连续性进行数据关联，对多无人机位置与跟踪轨迹进行匹配，从而实现轨迹的更新和轨迹融合。本发明的系统和方法可以实现复杂城市环境中对多无人机的检测、定位与跟踪。

Description

基于机器视觉的多无人机探测定位跟踪系统及方法
技术领域
本发明属于无人机探测领域，具体涉及一种基于机器视觉的多无人机探测定位跟踪系统及方法。
背景技术
近些年，无人机在全球范围内的迅速发展。无人机集群作为新兴研究领域，展现出强大的任务执行能力，并应用于各个领域。但由于无人机体积小、飞行速度快、制作成本低，一旦被不法分子利用，会对社会公共安全产生较大的威胁。针对无人机的威胁时，重点防控区域需要及时获取威胁无人机的位置、轨迹等信息。在复杂的城市环境中，视野有限、楼层遮挡、人流、车流等干扰会严重影响无人机的检测，传统的探测手段无法准确分辨出三维空间中的无人机。
城市环境中高楼林立、有大量的人流车流，传统的雷达技术手段探测区域受限于楼房遮挡，且人流车流会对检测结果有很大的干扰，不适用于复杂的城市环境；另一种常用的无人机探测跟踪方式是采用激光测距仪结合相机实现无人机的检测、定位与跟踪。但想通过激光测距云台测量出无人机的位置，就需要控制激光测距仪对准无人机并保持稳定的跟踪，然而无人机的飞行状态是不确定的、这使得激光测距云台难以控制对准无人机，更不必说保持稳定的跟踪；且无人机的反射平面很小，距离较远时，通过无人机机身平面反射回来的回波能量很小。所以利用激光测距手段几乎无法实现无人机的定位；更无法实现对多架无人机的定位与跟踪。
发明内容
为解决复杂环境下，多无人机检测、定位、跟踪的问题，本发明提出一种基于机器视觉的多无人机探测定位跟踪系统及方法。该方法能在复杂环境中检测、定位多无人机在三维空间中的位置，并持续跟踪多无人机的轨迹。
一种基于机器视觉的空中多无人机探测定位装置，该装置包括基座，以及固定在所述基座上的rtk(Real Time Kinematic)定位天线、惯性测量模块、计算终端和不少于两个的摄像模块；不少于两个的摄像模块的排布保证整个装置的360°的探测区域都能被两个及以上的摄像模块的视场覆盖，用于对空中的运动无人机进行检测；所述惯性测量模块和两个rtk定位天线分别用于测得整个装置的位置和姿态数据；
所述计算终端用于接收不少于两个的摄像模块的图像数据，并将其输入内置的无人机探测算法中，得到无人机的检测结果；并将无人机的检测结果、图像数据以及整个装置的位置和姿态数据输入双目定位算法，得到探测到的无人机在地球坐标系中的位置。
进一步地，所述摄像模块为180°全景相机，共有四个，水平并排固定在所述基座的顶端的四个角上，且相邻两个摄像模块之间夹角为90°；每个所述摄像模块均有四个并排的摄像头，四个摄像头朝向与相机中线夹角分别为-67.5°、-22.5°、22.5°和67.5°，单个摄像头的视场角能覆盖50度以上的范围。
一种基于机器视觉的空中多无人机的分布式探测系统，该系统包括中心数据处理单元、通信组件以及n个探测定位装置，n≥2；
所述探测定位装置通过所述通信组件与所述中心数据处理单元通信；
所述中心数据处理单元用于接收n个探测定位装置发送的无人机在地球坐标系S earth 下的位置集合
Figure 125424DEST_PATH_IMAGE001
，并输入到内置的轨迹跟踪算法中，得到n个探测定位装置探测到的多无人机实时连续轨迹集合
Figure 776985DEST_PATH_IMAGE002
；再将Traj输入到内置的轨迹融合算法，将探测到同一个无人机的不同探测定位装置的实时连续轨迹进行融合，得到每个无人机连续运动全局轨迹Traj global 。
一种基于机器视觉的空中多无人机实时检测定位方法，该方法包括如下步骤：
（1）将视场重合的两个摄像头组成一个双目相机组，保证所有的双目相机组共同覆盖360度场景；并对所有摄像模块中的摄像头进行内外参标定；其中，外参标定包括计算第k个探测定位装置中的第j个摄像头的子坐标系S k-j 到第k个探测定位装置的坐标系S k 的旋转矩阵R k-j 和平移矩阵T k-j ；
其中，所述坐标系S k 定义为：坐标原点为基座的顶层中点；x轴为经过两个rtk定位天线的方向；z轴指向基座正上方；y轴为满足右手螺旋法则的方向；
（2）通过摄像头实时采集包含运动无人机的图像，然后缩小图像尺寸；
（3）将缩小尺寸后的图像转换成灰度图，采用运动目标检测算法获取图像的前景掩码图，然后对前景掩码图做形态学处理，得到检测到的运动物体的集合
Figure 524099DEST_PATH_IMAGE003
；
同时将缩小尺寸后的图像输入到yolo算法中，得到识别出的通用物体的集合
Figure 653729DEST_PATH_IMAGE004
；
（4）计算集合B mov 和B yolo 的交并比IoU，从B mov 中删除通用物体集合中检测的通用物体bbox yolo ，得到疑似度高的运动目标的集合
Figure 936943DEST_PATH_IMAGE005
；
（5）删除
Figure 962667DEST_PATH_IMAGE005
中重叠的检测框，并得到处理后的目标检测集合B uav ；
（6）对处理后的检测框内进行图像识别，识别得到无人机检测集合
Figure 964121DEST_PATH_IMAGE006
；将前后帧的无人机检测集合
Figure 631863DEST_PATH_IMAGE007
进行数据关联IoU匹配；对未匹配到的检测对象，创建新的跟踪器跟踪新的检测对象；对匹配到的跟踪对象利用当前的目标状态更新跟踪器；删除未匹配到跟踪对象的跟踪器；
（7）将双目相机组检测到的图像和无人机检测集合
Figure 769583DEST_PATH_IMAGE007
输入到特征点提取算法，从各组的图像双目探测重合区域内提取特征点，将双目相机组的两张图像中的特征点进行匹配，通过极线约束对目标框内匹配的特征点进行筛选，若两个目标框中心满足极线约束，且相互匹配的特征点数目最多，则定义为相互匹配的目标框；从相互匹配的两个目标框内图像中提取特征点，根据极线约束对匹配的特征点进行筛选，每组匹配的特征点计算得到一个三维空间位置；将所有符合极线约束的特征点的三维空间位置的平均值作为观测到的第i个无人机在第k个探测定位装置的第j个相机坐标系S k-j 中的三维空间位置p k-uavi-j ；
（8）将p k-uavi-j 通过坐标转换，得到无人机在地球坐标系S earth 下的位置p k-uavi 。
进一步地，所述p k-uavi 通过如下方式得到：
（8.1）根据所述惯性测量模块实时测量第k个探测定位装置的坐标系S k 的俯仰角θ k 和滚转角φ k ，以及所述rtk定位天线得到S k 在地球坐标系S earth 下的经度、纬度、海拔高度和x轴在S earth 下的偏航角ψ k ，得到S k 的坐标原点在S earth 下的位置p k =[longitude k , latitude k , altitude k ] T ；
（8.2）计算从S k 到S earth 的旋转矩阵R k 和平移矩阵T k ；
（8.3）计算p k-uavi
Figure 497368DEST_PATH_IMAGE008
。
一种基于机器视觉的空中多无人机的轨迹实时跟踪方法，该方法基于分布式探测系统来实现，该方法包括如下步骤：
（1）采用无人机实时检测定位方法对无人机进行实时检测定位；
（2）给第k个探测定位装置观测到的每个无人机初始化一个卡尔曼轨迹跟踪器，对无人机的位置进行跟踪，预测下一时刻无人机位置；卡尔曼轨迹跟踪器的跟踪状态为
Figure 720539DEST_PATH_IMAGE009
，其中x,y,z分别为无人机在S earth 下的位置，
Figure 424927DEST_PATH_IMAGE010
为无人机沿着S earth 坐标轴方向的速度，观测输入为观测到的无人机在S earth 下的位置
Figure 417154DEST_PATH_IMAGE011
；
（3）计算t时刻第k个探测定位装置观测到的r个无人机位置集合
Figure 581419DEST_PATH_IMAGE012
与t-1时刻通过q个轨迹跟踪器得到的无人机在t时刻的预测位置集合
Figure 557466DEST_PATH_IMAGE013
的各个位置之间的欧式距离
Figure 301431DEST_PATH_IMAGE014
，进而得到第k个探测定位装置的距离矩阵
Figure 413743DEST_PATH_IMAGE015
；
（4）将距离矩阵
Figure 483330DEST_PATH_IMAGE015
输入KM算法，从而将观测到的无人机位置与预测无人机位置相匹配，得到全局最优的关联结果
Figure 681094DEST_PATH_IMAGE016
，其中match k (j)表示在第k个探测定位装置的数据下，与第j个轨迹跟踪器预测的无人机位置相匹配的观测到的无人机位置序号；中心数据处理单元将匹配上的无人机探测位置
Figure 494329DEST_PATH_IMAGE017
作为新的观测值更新轨迹跟踪器i，对未匹配上的无人机探测位置，新增卡尔曼轨迹跟踪器进行跟踪；对于未匹配到无人机探测位置的轨迹跟踪器，采用第k个地面探测定位装置中第i个跟踪器根据t-1时刻的状态预测的无人机在t时刻的位置
Figure 461148DEST_PATH_IMAGE018
作为观测值更新轨迹跟踪器；从而得到第
Figure 465751DEST_PATH_IMAGE019
个探测定位装置探测到的uav_num k 个无人机的连续轨迹的集合Traj k ；
其中uav_num k 表示第k个地面探测定位装置观测到的无人机个数；第k个地面探测定位装置中的第i个跟踪器在
Figure 150810DEST_PATH_IMAGE020
时刻的观测值
Figure 502157DEST_PATH_IMAGE021
更新如下：
Figure 589061DEST_PATH_IMAGE022
其中，
Figure 451DEST_PATH_IMAGE023
表示第k个探测定位装置在t时刻探测到的第match(i)个观测无人机位置；
（5）计算t时刻往前Δt时间内的第k个探测定位装置和第q个探测定位装置中任意两段轨迹
Figure 172807DEST_PATH_IMAGE024
、
Figure 62265DEST_PATH_IMAGE025
的相似度similarity ij ；其中i=1,…,uav_num k ；j=1,…, uav_num q ，uav_num k 和uav_nu q 分别表示在t时刻第k个探测定位装置和第q个探测定位装置跟踪的无人机轨迹个数；
当similarity ij 小于轨迹相似度阈值similarity thr 时，认为
Figure 269256DEST_PATH_IMAGE026
和
Figure 851547DEST_PATH_IMAGE027
是同一个无人机的在Δt时间内的观测轨迹，并将所有观测到同一个无人机i的轨迹集合定义为
Figure 511198DEST_PATH_IMAGE028
，num_traj i 表示所有探测定位装置探测到的无人机i的跟踪轨迹的个数；将t时刻往前Δt时间内第i个无人机的轨迹进行融合后得到无人机跟踪轨迹
Figure 204348DEST_PATH_IMAGE029
；
Figure 498800DEST_PATH_IMAGE030
将所有融合后的轨迹作为更新轨迹集合
Figure 251993DEST_PATH_IMAGE031
，num_update表示总共的融合轨迹个数；
（6）定义全局轨迹集合
Figure 398940DEST_PATH_IMAGE032
，其中
Figure 161360DEST_PATH_IMAGE033
表示第i个无人机的最优的全局轨迹，num_global表示总共观测到的全局轨迹个数；计算融合后的所有更新轨迹
Figure 811784DEST_PATH_IMAGE034
与全局轨迹
Figure 735878DEST_PATH_IMAGE035
的相似度
Figure 370122DEST_PATH_IMAGE036
，
Figure 405074DEST_PATH_IMAGE036
小于阈值
Figure 441163DEST_PATH_IMAGE037
时，把匹配上的更新轨迹
Figure 270579DEST_PATH_IMAGE034
融合到全局轨迹
Figure 392118DEST_PATH_IMAGE035
中；未匹配上的新增轨迹作为新的轨迹添加到全局轨迹集合中；未匹配上的全局轨迹不做更新；得到在
Figure 729296DEST_PATH_IMAGE020
时刻更新后的全局轨迹Traj global 。
本发明的有益效果如下：
针对多无人机运动检测，本发明提出的多目标检测算法采用并行计算框架，减少了加测时间，提高了检测效率。针对系统的多无人机检测轨迹融合问题，本文采取分层式融合方法，首先对各装置的数据进行匹配，然后再将不同装置间的数据进行融合。相比于传统的直接将所有的检测位置与轨迹进行匹配的方法，本发明提出的方法能降低计算量并提高最终融合后轨迹的精度。
附图说明
图1 为基于机器视觉的空中多无人机探测定位装置的示意图。
图2为摄像模块的其中一个实施例的相机标号与镜头标号示意图。
图3 为基于机器视觉的空中多无人机的分布式探测系统示意图。
图4 为多无人机检测方法的流程图。
图5 为双目视觉对多目标匹配、定位的流程图。
图6 为双目视觉定位方法的原理图。
图7为多目标轨迹跟踪方法的流程图。
图8多无人机轨迹跟踪示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白；应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的基于机器视觉的空中多无人机探测定位装置和分布式探测系统的其中一个应用场景为城区特定的监测区域，在监测区域中，布置多个探测定位装置，以及由其组成的分布式探测系统，实现对区域范围内的经过的未知多无人机进行检测、定位，并给出无人机的实时连续的三维空间的轨迹。
如图1所示，基于机器视觉的空中多无人机探测定位装置，包括基座1，以及固定在基座1上的rtk定位天线5、惯性测量模块6、计算终端7和不少于两个的摄像模块4；不少于两个的摄像模块4的排布保证整个装置的360°的探测区域都能被两个及以上的摄像模块的视场覆盖，用于对空中的运动无人机进行检测；惯性测量模块6和两个rtk定位天线5分别用于测得整个装置的位置和姿态数据。计算终端7用于接收不少于两个的摄像模块4的图像数据，并将其输入内置的无人机探测算法中，得到无人机的检测结果；并将无人机的检测结果、图像数据以及整个装置的位置和姿态数据输入双目定位算法，得到探测到的无人机在地球坐标系中的位置。
作为其中一种实施方式，如图1和图2所示，基座1的顶端为方形结构，两个rtk定位天线5固定在基座1的顶端的方形结构的对角线上，惯性测量模块6固定在两个rtk定位天线5中间，计算终端7固定在基座1的隔层上。摄像模块4为全景相机，共有四个，水平并排固定在基座1的方形结构的四个角上，且相邻两个全景相机之间夹角为90°。每个全景相机又有四个并排的摄像头，四个摄像头朝向与相机中线夹角分别为-67.5°、-22.5°、22.5°和67.5°，单个摄像头的视场角能覆盖50度以上的范围。
双目定位算法是根据射影几何原理，从两张图像中的匹配点计算出对应点的三维空间位置。现有技术中存在许多通过机器视觉实现无人机探测的无人机探测算法，在本发明的装置中选取任意一种即可。
基于该套装置，如图4为多无人机检测方法的流程图，图5为双目视觉对多目标匹配、定位的流程图，本发明的基于机器视觉的空中多无人机实时检测定位方法，包括如下步骤：
步骤1：将视场重合的两个摄像头组成一个双目相机组，保证所有的双目相机组共同覆盖360度场景；并对所有摄像模块中的摄像头进行内外参标定；其中，外参标定包括计算第k个探测定位装置中的第j个摄像头的子坐标系S k-j 到第k个探测定位装置的坐标系S k 的旋转矩阵R k-j 和平移矩阵T k-j ；
其中，所述坐标系S k 定义为：坐标原点为基座的顶层中点；x轴为经过两个rtk定位天线的方向；z轴指向基座正上方；y轴为满足右手螺旋法则的方向；
如图2所示，视场方向相近的两个摄像头视场有较大的重合区域，并组成双目探测摄像头组，具体匹配为A3-B1，A4-B2，B3-C1，B4-C2，C3-D1，C4-D2，D3-A1，D4-A2。
步骤2：通过摄像头实时采集包含运动无人机的图像，然后缩小图像尺寸；
步骤3：将缩小尺寸后的图像转换成灰度图，采用运动目标检测算法获取图像的前景掩码图，然后对前景掩码图做形态学处理，得到检测到的运动物体的集合
Figure 354313DEST_PATH_IMAGE038
；
同时将缩小尺寸后的图像输入到yolo算法中，得到识别出的通用物体的集合
Figure 620209DEST_PATH_IMAGE039
；
其中，运动目标检测算法是一类通过构建场景的背景模型实现区分背景与前景（即运动物体）的算法，如帧间差分法，GMM，L-K光流法等。YOLO算法是一种基于深度学习的目标检测算法。经过数据集的训练后，它可以实现对多种物体的识别。
步骤4：计算集合Bmov和Byolo的交并比IoU，从Bmov中删除通用物体集合中检测的通用物体bbox yolo ，得到疑似度高的运动目标的集合
Figure 963466DEST_PATH_IMAGE005
，计算公式如下：
Figure 605800DEST_PATH_IMAGE040
其中，
Figure 350902DEST_PATH_IMAGE041
表示为
Figure 53279DEST_PATH_IMAGE042
在Bmov中的绝对补集；
步骤5：采用非极大值抑制删除
Figure 618252DEST_PATH_IMAGE005
中重叠的检测框，并得到处理后的目标检测集合Buav；
步骤6：对处理后的检测框内进行图像识别，识别得到无人机检测集合
Figure 64277DEST_PATH_IMAGE007
；将前后帧的无人机检测集合
Figure 398306DEST_PATH_IMAGE007
进行数据关联IoU匹配；对未匹配到的检测对象，创建新的跟踪器跟踪新的检测对象；对匹配到的跟踪对象利用当前的目标状态更新跟踪器；删除未匹配到跟踪对象的跟踪器；
步骤7：将双目相机组检测到的图像和无人机检测集合
Figure 271584DEST_PATH_IMAGE007
输入到特征点提取算法，从各组的图像双目探测重合区域内提取特征点，将双目相机组的两张图像中的特征点进行匹配，通过极线约束对目标框内匹配的特征点进行筛选，若两个目标框中心满足极线约束，且相互匹配的特征点数目最多，则定义为相互匹配的目标框；从相互匹配的两个目标框内图像中提取特征点，根据极线约束对匹配的特征点进行筛选，每组匹配的特征点计算得到一个三维空间位置；将所有符合极线约束的特征点的三维空间位置的平均值作为观测到的第i个无人机在第k个探测定位装置的第j个相机坐标系S k-j 中的三维空间位置p k-uavi-j 。
其中，特征点提取算法是通过遍历图像中的像素点，找出其中灰度值变化较大的具有代表性的点。
举例说明：如图6所示，为来自同一探测定位装置的A3-B1双目摄像头组探测到的两架无人机，并总共观测到7组匹配特征。从图中可以看到A3_1和B1_1有4号匹配特征组，A3_1和B1_2有1，2，3号匹配特征组，A3_2和B1_1的匹配特征有5，6，7号特征组，A3_2和B1_2没有匹配特征组。因此，A3_1和B1_2为相互匹配的匹配图像，A3_2和B1_1为相互匹配的匹配图像。根据步骤3，A3_1与B1_2的匹配特征1，2，3中，只有2、3满足极线约束，属于正确匹配，则计算2、3匹配特征组的距离，并取均值作为观测的无人机的三维空间位置，同理可以得到A3_2和B1_1中5、6、7匹配特征组计算得到的空间位置均值作为观测到的无人机的三维空间位置。
步骤8：根据所述惯性测量模块实时测量第k个探测定位装置的坐标系S k 的俯仰角θ k 和滚转角φ k ，以及所述rtk定位天线得到的坐标系S k 在地球坐标系S earth 下的经度、纬度、海拔高度和x轴在S earth 下的偏航角ψ k 。其中坐标系S k 的坐标原点在S earth 下的位置p k =[longitude k , latitude k , altitude k ] T ；
根据下式计算从坐标系S k 到地球坐标系S earth 的旋转矩阵R k 和平移矩阵T k ：
Figure 589433DEST_PATH_IMAGE044
Figure 806526DEST_PATH_IMAGE045
步骤9：通过R k-j 和T k-j ，以及S k 到S earth 的旋转矩阵R k 和平移矩阵T k ，将第k个探测定位装置探测到的第i个无人机在第j个相机坐标系下的三维空间位置p k-uavi-j 转换到S earth 下，得到无人机在S earth 下的位置p k-uavi ：
Figure 526220DEST_PATH_IMAGE008
。
如图3所示，本发明的基于机器视觉的空中多无人机的分布式探测系统，包括中心数据处理单元3、通信组件2以及n个探测定位装置，n≥2；
探测定位装置通过通信组件与中心数据处理单元通信；
所述中心数据处理单元用于接收n个探测定位装置发送的无人机在地球坐标系S earth 下的位置集合
Figure 304820DEST_PATH_IMAGE001
，并输入到内置的轨迹跟踪算法中，得到n个探测定位装置探测到的多无人机实时连续轨迹集合
Figure 109965DEST_PATH_IMAGE002
。其中，轨迹跟踪算法是将目标位置信息相关联得到目标连续轨迹的算法，如捷联概率数据关联算法、匈牙利算法、概率数据关联算法、卡尔曼滤波算法、扩展卡尔曼滤波算法等。
再将Traj输入到内置的轨迹融合算法，将探测到同一个无人机的不同探测定位装置的实时连续轨迹进行融合，得到每个无人机连续运动全局轨迹Traj global 。轨迹融合算法是将相同目标的有不同测量轨迹融合的算法，如多重假设算法, 捷联概率数据关联算法等。
基于图3所示的分布式探测系统和实时检测定位方法，能够实现多无人机的轨迹跟踪。因此，本发明的基于机器视觉的空中多无人机的轨迹实时跟踪方法，其流程如图7所示，包括如下步骤：
采用无人机实时检测定位方法对无人机进行实时检测定位；无人机实时检测定位是从图像中实时检测并定位出运动的无人机，现有技术中也存在许多无人机实时检测定位方法，选取其中任意一种即可。作为其中一种实施方式，采用上述的实时定位方法，即步骤1~9和上述的实时定位方法的步骤1~9相同；
步骤10：给第k个探测定位装置观测到的每个无人机初始化一个卡尔曼轨迹跟踪器，对无人机的位置进行跟踪，预测下一时刻无人机位置；卡尔曼轨迹跟踪器的跟踪状态为
Figure 632213DEST_PATH_IMAGE009
，其中x,y,z分别为无人机在坐标系S earth 的位置，
Figure 206414DEST_PATH_IMAGE010
为无人机沿着S earth 坐标轴方向的速度，观测输入为观测到的无人机在坐标系S earth 下的位置
Figure 421495DEST_PATH_IMAGE011
；
步骤11：计算t时刻第k个探测定位装置观测到的r个无人机位置集合
Figure 182777DEST_PATH_IMAGE012
与t-1时刻通过q个轨迹跟踪器得到的无人机在t时刻的预测位置集合
Figure 774296DEST_PATH_IMAGE013
的各个位置之间的距离
Figure 937424DEST_PATH_IMAGE014
，进而得到第k个探测定位装置的距离矩阵
Figure 323406DEST_PATH_IMAGE015
：
Figure 336099DEST_PATH_IMAGE046
。
步骤12：将距离矩阵
Figure 465729DEST_PATH_IMAGE015
输入KM算法，从而将观测到的无人机位置与预测无人机位置相匹配，得到全局最优的关联结果
Figure 483364DEST_PATH_IMAGE016
，其中match k (j)表示在第k个探测定位装置的数据下，与第j个轨迹跟踪器预测的无人机位置相匹配的观测到的无人机位置序号；如图8所示，中心数据处理单元将匹配上的无人机探测位置
Figure 305826DEST_PATH_IMAGE017
作为新的观测值更新轨迹跟踪器i，对未匹配上的无人机探测位置，新增卡尔曼轨迹跟踪器进行跟踪；对于未匹配到无人机探测位置的轨迹跟踪器，采用第k个地面探测定位装置中第i个跟踪器根据t-1时刻的状态预测的无人机在t时刻的位置
Figure 41701DEST_PATH_IMAGE018
作为观测值更新轨迹跟踪器；从而得到第
Figure 975022DEST_PATH_IMAGE019
个探测定位装置探测到的uav_num k 个无人机的连续轨迹的集合Traj k ；其中uav_ num k 表示第k个地面探测定位装置观测到的无人机个数；第k个地面探测定位装置中的第i个跟踪器在
Figure 847163DEST_PATH_IMAGE020
时刻的观测值
Figure 840527DEST_PATH_IMAGE021
更新如下：
Figure 63698DEST_PATH_IMAGE022
其中，
Figure 535130DEST_PATH_IMAGE023
表示第k个探测定位装置在t时刻探测到的第match(i)个观测无人机位置。
步骤13：根据下式计算t时刻往前Δt时间内的第k个探测定位装置和第q个探测定位装置中任意两段轨迹
Figure 792936DEST_PATH_IMAGE024
、
Figure 213595DEST_PATH_IMAGE025
的相似度similarity ij ，其中i=1,…,uav_ num k ；j=1,…,uav_num q ，uav_num k 和uav_nu q 分别表示在t时刻第k个探测定位装置和第q个探测定位装置跟踪的无人机轨迹个数；当similarity ij 小于轨迹相似度阈值similarity thr 时，认为
Figure 658483DEST_PATH_IMAGE024
和
Figure 933606DEST_PATH_IMAGE025
是同一个无人机的在Δt时间内的观测轨迹，并将所有观测到同一个无人机i的轨迹集合定义为
Figure 780339DEST_PATH_IMAGE047
，num_ traj i 表示所有探测定位装置探测到的无人机i的跟踪轨迹的个数；将t时刻往前Δt时间内第i个无人机的轨迹进行融合后得到无人机跟踪轨迹
Figure 849927DEST_PATH_IMAGE029
；
Figure 47690DEST_PATH_IMAGE030
将所有融合后的轨迹作为更新轨迹集合
Figure 595346DEST_PATH_IMAGE031
，num_update表示总共的融合轨迹个数。
步骤14：定义全局轨迹集合
Figure 827744DEST_PATH_IMAGE032
，其中
Figure 802653DEST_PATH_IMAGE033
表示第i个无人机的最优的全局轨迹，num_global表示总共观测到的全局轨迹个数；计算融合后的所有更新轨迹
Figure 986248DEST_PATH_IMAGE034
与全局轨迹
Figure 603174DEST_PATH_IMAGE035
的相似度
Figure 424499DEST_PATH_IMAGE036
，
Figure 101468DEST_PATH_IMAGE036
小于阈值
Figure 8244DEST_PATH_IMAGE037
时，把匹配上的更新轨迹
Figure 163282DEST_PATH_IMAGE034
融合到全局轨迹
Figure 370273DEST_PATH_IMAGE035
中；未匹配上的新增轨迹作为新的轨迹添加到全局轨迹集合中；未匹配上的全局轨迹不做更新；得到在
Figure 686984DEST_PATH_IMAGE020
时刻更新后的全局轨迹Traj global ，最终得到每个空中无人机的实时跟踪轨迹。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (6)

1.一种基于机器视觉的空中多无人机探测定位装置，其特征在于，该装置包括基座，以及固定在所述基座上的rtk定位天线、惯性测量模块、计算终端和不少于两个的摄像模块；不少于两个的摄像模块的排布保证整个装置的360°的探测区域都能被两个及以上的摄像模块的视场覆盖，用于对空中的运动无人机进行检测；所述惯性测量模块和两个rtk定位天线分别用于测得整个装置的位置和姿态数据；
所述计算终端用于接收不少于两个的摄像模块的图像数据，并将其输入内置的无人机探测算法中，得到无人机的检测结果；并将无人机的检测结果、图像数据以及整个装置的位置和姿态数据输入双目定位算法，得到探测到的无人机在地球坐标系中的位置。
2.根据权利要求1所述的基于机器视觉的空中多无人机探测定位装置，其特征在于，所述摄像模块为180°全景相机，共有四个，水平并排固定在所述基座的顶端的四个角上，且相邻两个摄像模块之间夹角为90°；每个所述摄像模块均有四个并排的摄像头，四个摄像头朝向与相机中线夹角分别为-67.5°、-22.5°、22.5°和67.5°，单个摄像头的视场角能覆盖50度以上的范围。
3.一种基于机器视觉的空中多无人机的分布式探测系统，其特征在于，该系统包括中心数据处理单元、通信组件以及n个如权利要求1所述的探测定位装置，n≥2；
所述探测定位装置通过所述通信组件与所述中心数据处理单元通信；
所述中心数据处理单元用于接收n个探测定位装置发送的无人机在地球坐标系S earth 下的位置集合
Figure 707491DEST_PATH_IMAGE001
，并输入到内置的轨迹跟踪算法中，得到n个探测定位装置探测到的多无人机实时连续轨迹集合
Figure 666220DEST_PATH_IMAGE002
；再将Traj输入到内置的轨迹融合算法，将探测到同一个无人机的不同探测定位装置的实时连续轨迹进行融合，得到每个无人机连续运动全局轨迹Traj global 。
4.一种基于机器视觉的空中多无人机实时检测定位方法，其特征在于，该方法包括如下步骤：
（1）将视场重合的两个摄像头组成一个双目相机组，保证所有的双目相机组共同覆盖360度场景；并对所有摄像模块中的摄像头进行内外参标定；其中，外参标定包括计算第k个探测定位装置中的第j个摄像头的子坐标系S k-j 到第k个探测定位装置的坐标系S k 的旋转矩阵R k-j 和平移矩阵T k-j ；
其中，所述坐标系S k 定义为：坐标原点为基座的顶层中点；x轴为经过两个rtk定位天线的方向；z轴指向基座正上方；y轴为满足右手螺旋法则的方向；
（2）通过摄像头实时采集包含运动无人机的图像，然后缩小图像尺寸；
（3）将缩小尺寸后的图像转换成灰度图，采用运动目标检测算法获取图像的前景掩码图，然后对前景掩码图做形态学处理，得到检测到的运动物体的集合
Figure 462137DEST_PATH_IMAGE003
；
同时将缩小尺寸后的图像输入到yolo算法中，得到识别出的通用物体的集合
Figure 215330DEST_PATH_IMAGE004
；
（4）计算集合B mov 和B yolo 的交并比IoU，从B mov 中删除通用物体集合中检测的通用物体bbox yolo ，得到疑似度高的运动目标的集合
Figure 362277DEST_PATH_IMAGE005
；
（5）删除
Figure 593539DEST_PATH_IMAGE005
中重叠的检测框，并得到处理后的目标检测集合B uav ；
（6）对处理后的检测框内进行图像识别，识别得到无人机检测集合
Figure 8077DEST_PATH_IMAGE006
；将前后帧的无人机检测集合
Figure 197750DEST_PATH_IMAGE006
进行数据关联IoU匹配；对未匹配到的检测对象，创建新的跟踪器跟踪新的检测对象；对匹配到的跟踪对象利用当前的目标状态更新跟踪器；删除未匹配到跟踪对象的跟踪器；
（7）将双目相机组检测到的图像和无人机检测集合
Figure 566414DEST_PATH_IMAGE006
输入到特征点提取算法，从各组的图像双目探测重合区域内提取特征点，将双目相机组的两张图像中的特征点进行匹配，通过极线约束对目标框内匹配的特征点进行筛选，若两个目标框中心满足极线约束，且相互匹配的特征点数目最多，则定义为相互匹配的目标框；从相互匹配的两个目标框内图像中提取特征点，根据极线约束对匹配的特征点进行筛选，每组匹配的特征点计算得到一个三维空间位置；将所有符合极线约束的特征点的三维空间位置的平均值作为观测到的第i个无人机在第k个探测定位装置的第j个相机坐标系S k-j 中的三维空间位置p k-uavi-j ；
（8）将p k-uavi-j 通过坐标转换，得到无人机在地球坐标系S earth 下的位置p k-uavi 。
5.根据权利要求4所述的基于机器视觉的空中多无人机实时检测定位方法，其特征在于，所述p k-uavi 通过如下方式得到：
（8.1）根据所述惯性测量模块实时测量第k个探测定位装置的坐标系S k 的俯仰角θ k 和滚转角φ k ，以及所述rtk定位天线得到S k 在地球坐标系S earth 下的经度、纬度、海拔高度和x轴在S earth 下的偏航角ψ k ，得到S k 的坐标原点在S earth 下的位置p k =[longitude k , latitude k , altitude k ] T ；
（8.2）计算从S k 到S earth 的旋转矩阵R k 和平移矩阵T k ；
（8.3）计算p k-uavi
Figure 866946DEST_PATH_IMAGE007
。
6.一种基于机器视觉的空中多无人机的轨迹实时跟踪方法，其特征在于，该方法基于权利要求3所述的分布式探测系统来实现，该方法包括如下步骤：
（1）采用无人机实时检测定位方法对无人机进行实时检测定位；
（2）给第k个探测定位装置观测到的每个无人机初始化一个卡尔曼轨迹跟踪器，对无人机的位置进行跟踪，预测下一时刻无人机位置；卡尔曼轨迹跟踪器的跟踪状态为
Figure 371876DEST_PATH_IMAGE008
，其中x,y,z分别为无人机在S earth 下的位置，
Figure 466871DEST_PATH_IMAGE009
为无人机沿着S earth 坐标轴方向的速度，观测输入为观测到的无人机在S earth 下的位置
Figure 588411DEST_PATH_IMAGE010
；
（3）计算t时刻第k个探测定位装置观测到的r个无人机位置集合
Figure 161475DEST_PATH_IMAGE011
与t-1时刻通过q个轨迹跟踪器得到的无人机在t时刻的预测位置集合
Figure 52071DEST_PATH_IMAGE012
的各个位置之间的欧式距离
Figure 317967DEST_PATH_IMAGE013
，进而得到第k个探测定位装置的距离矩阵
Figure 661223DEST_PATH_IMAGE014
；
（4）将距离矩阵
Figure 802093DEST_PATH_IMAGE014
输入KM算法，从而将观测到的无人机位置与预测无人机位置相匹配，得到全局最优的关联结果
Figure 281615DEST_PATH_IMAGE015
，其中match k (j)表示在第k个探测定位装置的数据下，与第j个轨迹跟踪器预测的无人机位置相匹配的观测到的无人机位置序号；中心数据处理单元将匹配上的无人机探测位置
Figure 983992DEST_PATH_IMAGE016
作为新的观测值更新轨迹跟踪器i，对未匹配上的无人机探测位置，新增卡尔曼轨迹跟踪器进行跟踪；对于未匹配到无人机探测位置的轨迹跟踪器，采用第k个地面探测定位装置中第i个跟踪器根据t-1时刻的状态预测的无人机在t时刻的位置
Figure 548966DEST_PATH_IMAGE017
作为观测值更新轨迹跟踪器；从而得到第 k个探测定位装置探测到的uav_num k 个无人机的连续轨迹的集合Traj k ；
其中uav_num k 表示第k个地面探测定位装置观测到的无人机个数；第k个地面探测定位装置中的第i个跟踪器在t时刻的观测值
Figure 729411DEST_PATH_IMAGE018
更新如下：
Figure 329020DEST_PATH_IMAGE019
其中，
Figure 202298DEST_PATH_IMAGE020
表示第k个探测定位装置在t时刻探测到的第match(i)个观测无人机位置；
（5）计算t时刻往前Δt时间内的第k个探测定位装置和第q个探测定位装置中任意两段轨迹
Figure 254568DEST_PATH_IMAGE021
、
Figure 238704DEST_PATH_IMAGE022
的相似度similarity ij ；其中i=1,…,uav_num k ；j=1,…,uav_ num q ，uav_num k 和uav_nu q 分别表示在t时刻第k个探测定位装置和第q个探测定位装置跟踪的无人机轨迹个数；
当similarity ij 小于轨迹相似度阈值similarity thr 时，认为
Figure 692819DEST_PATH_IMAGE021
和
Figure 235534DEST_PATH_IMAGE022
是同一个无人机的在Δt时间内的观测轨迹，并将所有观测到同一个无人机i的轨迹集合定义为
Figure 775100DEST_PATH_IMAGE023
，num_traj i 表示所有探测定位装置探测到的无人机i的跟踪轨迹的个数；将t时刻往前Δt时间内第i个无人机的轨迹进行融合后得到无人机跟踪轨迹
Figure 562927DEST_PATH_IMAGE024
；
Figure 871549DEST_PATH_IMAGE025
将所有融合后的轨迹作为更新轨迹集合
Figure 86629DEST_PATH_IMAGE026
，num_update表示总共的融合轨迹个数；
（6）定义全局轨迹集合
Figure 847912DEST_PATH_IMAGE027
，其中
Figure 439430DEST_PATH_IMAGE028
表示第i个无人机的最优的全局轨迹，num_global表示总共观测到的全局轨迹个数；计算融合后的所有更新轨迹
Figure 602558DEST_PATH_IMAGE029
与全局轨迹
Figure 988540DEST_PATH_IMAGE030
的相似度
Figure 768277DEST_PATH_IMAGE031
，
Figure 632328DEST_PATH_IMAGE031
小于阈值
Figure 148498DEST_PATH_IMAGE032
时，把匹配上的更新轨迹
Figure 970960DEST_PATH_IMAGE029
融合到全局轨迹
Figure 706835DEST_PATH_IMAGE030
中；未匹配上的新增轨迹作为新的轨迹添加到全局轨迹集合中；未匹配上的全局轨迹不做更新；得到在t时刻更新后的全局轨迹Traj global 。
CN202111139618.2A 2021-09-28 2021-09-28 基于机器视觉的多无人机探测定位跟踪系统及方法 Active CN113589848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111139618.2A CN113589848B (zh) 2021-09-28 2021-09-28 基于机器视觉的多无人机探测定位跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111139618.2A CN113589848B (zh) 2021-09-28 2021-09-28 基于机器视觉的多无人机探测定位跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN113589848A true CN113589848A (zh) 2021-11-02
CN113589848B CN113589848B (zh) 2022-02-08

Family

ID=78242108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111139618.2A Active CN113589848B (zh) 2021-09-28 2021-09-28 基于机器视觉的多无人机探测定位跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN113589848B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115144879A (zh) * 2022-07-01 2022-10-04 燕山大学 一种多机多目标动态定位系统及方法
WO2024118016A1 (en) * 2022-11-30 2024-06-06 Havelsan Hava Elektronik San. Ve Tic. A.S. A method for day and night unmanned aerial vehicle detection for unmanned ground vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130076558A1 (en) * 2009-07-09 2013-03-28 Thales Multi-target data processing for multi-static and multi-channel passive radars
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN110855936A (zh) * 2018-08-21 2020-02-28 尹盛煜 低空无人机监控系统
CN112634325A (zh) * 2020-12-10 2021-04-09 重庆邮电大学 一种无人机视频多目标跟踪方法
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130076558A1 (en) * 2009-07-09 2013-03-28 Thales Multi-target data processing for multi-static and multi-channel passive radars
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN110855936A (zh) * 2018-08-21 2020-02-28 尹盛煜 低空无人机监控系统
CN112634325A (zh) * 2020-12-10 2021-04-09 重庆邮电大学 一种无人机视频多目标跟踪方法
CN113269098A (zh) * 2021-05-27 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机的多目标跟踪定位与运动状态估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115144879A (zh) * 2022-07-01 2022-10-04 燕山大学 一种多机多目标动态定位系统及方法
WO2024118016A1 (en) * 2022-11-30 2024-06-06 Havelsan Hava Elektronik San. Ve Tic. A.S. A method for day and night unmanned aerial vehicle detection for unmanned ground vehicles

Also Published As

Publication number Publication date
CN113589848B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN113269098A (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
Shetty et al. Uav pose estimation using cross-view geolocalization with satellite imagery
Wang et al. Bionic vision inspired on-road obstacle detection and tracking using radar and visual information
Liu et al. A Vision‐Based Target Detection, Tracking, and Positioning Algorithm for Unmanned Aerial Vehicle
CN113223045B (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN113095154A (zh) 基于毫米波雷达与单目相机的三维目标检测系统及方法
Husodo et al. Intruder drone localization based on 2D image and area expansion principle for supporting military defence system
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
Zheng et al. Robust and accurate monocular visual navigation combining IMU for a quadrotor
Xiang et al. UAV based target tracking and recognition
CN114459467B (zh) 一种未知救援环境中基于vi-slam的目标定位方法
CN113589848B (zh) 基于机器视觉的多无人机探测定位跟踪系统及方法
CN110160503B (zh) 一种顾及高程的无人机景观匹配定位方法
CN112862818B (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
Yuan et al. MMAUD: A Comprehensive Multi-Modal Anti-UAV Dataset for Modern Miniature Drone Threats
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Majdik et al. Micro air vehicle localization and position tracking from textured 3d cadastral models
Kiefer et al. Memory maps for video object detection and tracking on uavs
Kim et al. Target detection and position likelihood using an aerial image sensor
Kim Aerial map-based navigation using semantic segmentation and pattern matching
CN109752004A (zh) 室内无人机导航方法、装置及室内无人机
CN113436276A (zh) 基于视觉相对定位的多无人机编队方法
Cheng et al. Monocular visual based obstacle distance estimation method for ultra-low altitude flight
Ren et al. A Novel Scene Matching Algorithm via Deep Learning for Vision-Based UAV Absolute Localization
Grelsson Vision-based localization and attitude estimation methods in natural environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant