CN111474953B - 多动态视角协同的空中目标识别方法及系统 - Google Patents

多动态视角协同的空中目标识别方法及系统 Download PDF

Info

Publication number
CN111474953B
CN111474953B CN202010238741.9A CN202010238741A CN111474953B CN 111474953 B CN111474953 B CN 111474953B CN 202010238741 A CN202010238741 A CN 202010238741A CN 111474953 B CN111474953 B CN 111474953B
Authority
CN
China
Prior art keywords
target
dimensional
dynamic
calculating
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010238741.9A
Other languages
English (en)
Other versions
CN111474953A (zh
Inventor
李一鹏
董羿
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010238741.9A priority Critical patent/CN111474953B/zh
Publication of CN111474953A publication Critical patent/CN111474953A/zh
Application granted granted Critical
Publication of CN111474953B publication Critical patent/CN111474953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多动态视角协同的空中目标识别方法及系统，其中，方法包括以下步骤：通过多动态视角以Co‑SLAM方式进行全自主协同定位，并保持无人机的目标队形；在目标出现后，通过多动态视角的各动态视角检测和识别目标，并协同计算目标的三维空间位置；根据三维空间位置计算目标的三维运动轨迹，并根据三维运动轨迹调整目标变换队形。该方法可实时识别空中目标在三维空间中的位置及运动轨迹，为利用多无人机协同追踪与围捕空中目标提供技术基础。

Description

多动态视角协同的空中目标识别方法及系统
技术领域
本发明涉及无人机自主定位与建图、无人机协同与集群控制、机器视觉与三维重建技术领域，特别涉及一种多动态视角协同的空中目标识别方法及系统。
背景技术
随着计算机视觉、人工智能以及控制技术的快速发展，无人机逐渐开始在国民经济建设和国家安全保障方面发挥巨大的作用。因为无人机具有控制方便、对环境要求低等优势，所以无人机可以在很多场景下用于侦察、围捕等活动。在对运动物体进行追踪和围捕时，获取目标相对无人机的运动状态至关重要，直接决定了能否成功实现对目标的围捕。
目前，已经有一些对多个固定位置相机协同测量物体运动状态的相关讨论和研究。然而，现有的对多种环境适用的可自主测量物体运动状态的方法还没有太多的研究，大多数研究应用场景比较固定，或者需要人工的手动控制，且存在着实际可应用性较低等问题。如何利用无人机的机动性优势，和多无人机协同的集群优势，形成能在陌生环境下自主协同搜寻并测量目标物体运动状态的无人机群系统及相关控制、计算方法，是学术界和工业界非常关注的科学问题和工程难题。开创性的多项技术融合尝试将会在很大程度上拓宽无人机群系统在完全陌生环境下、自主飞行模式下的应用模式，提高完成目标追踪和围捕任务的成功率。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种多动态视角协同的空中目标识别方法，该方法可以有效保证识别效果，简单易实现。
本发明的另一个目的在于提出一种多动态视角协同的空中目标识别系统。
为达到上述目的，本发明一方面实施例提出了一种多动态视角协同的空中目标识别方法，包括以下步骤：通过多动态视角以Co-SLAM方式进行全自主协同定位，并保持无人机的目标队形；在目标出现后，通过所述多动态视角的各动态视角检测和识别所述目标，并协同计算所述目标的三维空间位置；根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形。
本发明实施例的多动态视角协同的空中目标识别方法，可实时识别空中目标在三维空间中的位置及运动轨迹，为利用多无人机协同追踪与围捕空中目标提供技术基础，并可以有效保证识别效果，简单易实现。
另外，根据本发明上述实施例的多动态视角协同的空中目标识别方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述通过多动态视角以Co-SLAM方式进行全自主协同定位，包括：将接收的每架无人机发送的局部场景地图、自身运动轨迹以及位姿信息进行融合，并计算多个平台间的相对位置关系并构建全局地图。
进一步地，在本发明的一个实施例中，所述通过所述多动态视角的各动态视角检测和识别所述目标，并协同计算所述目标的三维空间位置，包括：利用无人机机载处理器运行目标检测算法识别运动路径周围拍摄到的物体，框选待识别目标；采用目标识别算法为Yolov3，其中，设图片共有K*K个网格，每个网格产生M个候选框，每个候选框通过深度神经网络最终得到K*K*M个对应的边界框；令
Figure BDA0002431857580000021
表示第i个网格的第j个候选框是否负责这个目标(object)，如果负责则其值等于1，否则等于0，令x,y,w,h表示数据集中边界框的中心点坐标和宽高尺寸；
Figure BDA0002431857580000022
表示网络预测出的边界框中心点坐标和宽高尺寸；Ci表示数据集参数置信度，
Figure BDA0002431857580000023
表示预测参数置信度；Pi表示数据集分类概率，
Figure BDA0002431857580000024
表示预测分类概率，有损失函数公式为：
Figure BDA0002431857580000025
进一步地，在本发明的一个实施例中，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，包括：通过调整无人机集群组成的n边形的形状、边长大小和中心位置使集群始终悬停在运动目标周围，使目标始终保持在各个动态视角的视场范围内，并将采集到的图像信息和识别结果上传至云端。
进一步地，在本发明的一个实施例中，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，还包括：在所述动态视角可见光传感器的内参K已知时，以对n架无人机传回的视频流中时间戳相同的n帧通过公式：
λx＝RX+T；
进行消除内参操作得到目标的二维坐标X，其中λ对应原图片坐标x处的深度，对所有相邻两架无人机视频帧匹配目标的特征点对X1,X2,…Xn，通过最小化投影误差公式有：
Figure BDA0002431857580000031
通过三角化得到等式：
Figure BDA0002431857580000032
其中，λ1和λ2是利用可见光传感器求取的深度信息，γ是缩放比例，且n个等式的γ值相等，等式左右同时叉乘一个x2，消除一个深度得到新等式
Figure BDA0002431857580000033
将等式改写成矩阵相乘形式：
Figure BDA0002431857580000034
把n个方程组合并成大矩阵相乘：
Figure BDA0002431857580000035
求出
Figure BDA0002431857580000036
得到无人机坐标系下目标点云。
进一步地，在本发明的一个实施例中，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，还包括：根据所述云端重建得到的目标点云及对应的时间戳，通过计算在第i个t0的时间间隔内，所述目标点云几何中心的坐标(x,y,z)连续变换状态，得到目标物体在三个空间维度的运动状态向量
Figure BDA0002431857580000037
进一步地，在本发明的一个实施例中，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，还包括：存储每个时间段测得的目标运动状态及位置向量
Figure BDA0002431857580000038
计算目标运动规律和周期Tt0，预测目标下一步的运动方向和速度，将当前运动状态向量
Figure BDA0002431857580000039
与周期内T个标准状态向量
Figure BDA00024318575800000310
匹配，得到最接近的状态向量
Figure BDA00024318575800000311
则预测在nt0时间后目标的位置：
Figure BDA0002431857580000041
为达到上述目的，本发明另一方面实施例提出了一种多动态视角协同的空中目标识别系统，包括：全局地图构建模块，用于通过多动态视角以Co-SLAM方式进行全自主协同定位，并保持无人机的目标队形；目标识别与检测模块，用于在目标出现后，通过所述多动态视角的各动态视角检测和识别所述目标；三维重建模块，用于协同计算所述目标的三维空间位置；目标运动状态计算和预测模块，用于根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形。
本发明实施例的多动态视角协同的空中目标识别系统，可实时识别空中目标在三维空间中的位置及运动轨迹，为利用多无人机协同追踪与围捕空中目标提供技术基础，并可以有效保证识别效果，简单易实现。
另外，根据本发明上述实施例的多动态视角协同的空中目标识别系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述全局地图构建模块进一步用于将接收的每架无人机发送的局部场景地图、自身运动轨迹以及位姿信息进行融合，并计算多个平台间的相对位置关系并构建全局地图；
进一步地，在本发明的一个实施例中，所述目标识别与检测模块进一步用于利用无人机机载处理器运行目标检测算法识别运动路径周围拍摄到的物体，框选待识别目标；采用目标识别算法为Yolov3，其中，设图片共有K*K个网格，每个网格产生M个候选框，每个候选框通过深度神经网络最终得到K*K*M个对应的边界框；令
Figure BDA0002431857580000042
表示第i个网格的第j个候选框是否负责这个目标(object)，如果负责则其值等于1，否则等于0，令x,y,w,h表示数据集中边界框的中心点坐标和宽高尺寸；
Figure BDA0002431857580000043
表示网络预测出的边界框中心点坐标和宽高尺寸；Ci表示数据集参数置信度，
Figure BDA0002431857580000044
表示预测参数置信度；Pi表示数据集分类概率，
Figure BDA0002431857580000045
表示预测分类概率，有损失函数公式为：
Figure BDA0002431857580000051
进一步地，在本发明的一个实施例中，所述目标运动状态计算和预测模块进一步用于：通过调整无人机集群组成的n边形的形状、边长大小和中心位置使集群始终悬停在运动目标周围，使目标始终保持在各个动态视角的视场范围内，并将采集到的图像信息和识别结果上传至云端；在所述动态视角可见光传感器的内参K已知时，以对n架无人机传回的视频流中时间戳相同的n帧通过公式：λx＝RX+T；进行消除内参操作得到目标的二维坐标X，其中λ对应原图片坐标x处的深度，对所有相邻两架无人机视频帧匹配目标的特征点对X1,X2,…Xn，通过最小化投影误差公式有：
Figure BDA0002431857580000052
Figure BDA0002431857580000053
通过三角化得到等式：
Figure BDA0002431857580000054
j＝1,…,n，其中，λ1和λ2是利用可见光传感器求取的深度信息，γ是缩放比例，且n个等式的γ值相等，等式左右同时叉乘一个x2，消除一个深度得到新等式：
Figure BDA0002431857580000055
j＝1,…,n；将等式改写成矩阵相乘形式：
Figure BDA0002431857580000056
j＝1,…,n；把n个方程组合并成大矩阵相乘：
Figure BDA0002431857580000057
Figure BDA0002431857580000058
求出
Figure BDA0002431857580000059
得到无人机坐标系下目标点云；根据所述云端重建得到的目标点云及对应的时间戳，通过计算在第i个t0的时间间隔内，所述目标点云几何中心的坐标(x,y,z)连续变换状态，得到目标物体在三个空间维度的运动状态向量
Figure BDA00024318575800000510
存储每个时间段测得的目标运动状态及位置向量
Figure BDA00024318575800000511
计算目标运动规律和周期Tt0，预测目标下一步的运动方向和速度，将当前运动状态向量
Figure BDA00024318575800000512
与周期内T个标准状态向量
Figure BDA00024318575800000513
匹配，得到最接近的状态向量
Figure BDA00024318575800000514
则预测在nt0时间后目标的位置：
Figure BDA0002431857580000061
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的多动态视角协同的空中目标识别方法的流程图；
图2为根据本发明一个实施例的多动态视角协同的空中目标识别系统的结构示意图；
图3为根据本发明实施例的集群调整示意图；
图4为根据本发明实施例的多动态视角协同的空中目标识别系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明实施例提出的多动态视角协同的空中目标识别方法及系统，系统由多个多旋翼无人机搭载可见光传感器组成可控多动态视角，各视角的采集位置和姿态可通过控制无人机实现。系统框图如图2所示。当目标位置有周期性偏移时，为保证识别效果，控制无人机集群以恒定速度运动，示意图如图3所示。后续描述中将主要介绍系统的全局地图构建模块、路径规划策略模块、目标识别与检测模块、三维重建模块以及目标运动状态计算和预测模块。
下面参照附图描述根据本发明实施例提出的多动态视角协同的空中目标识别方法及系统，首先将参照附图描述根据本发明实施例提出的多动态视角协同的空中目标识别方法。
图1是本发明一个实施例的多动态视角协同的空中目标识别方法的流程图。
如图1所示，该多动态视角协同的空中目标识别方法包括以下步骤：
在步骤S101中，通过多动态视角以Co-SLAM方式进行全自主协同定位，并保持无人机的目标队形。
在本发明的一个实施例中，系统由多个多旋翼无人机搭载可见光传感器组成可控多动态视角，各视角的采集位置和姿态可通过控制无人机实现，参与识别的无人机为n架(n≥3)。
参与识别的各架无人机均可独立运行同步定位与建图(SLAM)算法，获得其所在局部场景下的地图和运动轨迹信息，并可将各自构建的局部场景地图、自身运动轨迹以及位姿信息发送至云端，云端接收信息并融合，计算多个平台间的相对位置关系并构建全局地图(即Co-SLAM)。云端最终生成的全局地图是以下之一：包含概率信息的栅格地图；稀疏、半稠密或稠密的点云地图。
当云端完成全局地图构建后，根据全局地图及n架无人机当前所处位置信息，通过路径规划算法，使无人机保持正n边形队形以搜寻目标。
在步骤S102中，在目标出现后，通过多动态视角的各动态视角检测和识别目标，并协同计算目标的三维空间位置。
可以理解的是，该步骤主要包括：1、目标出现后各动态视角检测和识别目标；2、多个动态视角协同计算目标三维空间位置。下面将分别进行详细阐述。
1、目标出现后各动态视角检测和识别目标
架设在各架无人机上的可见光传感器即为动态视角，无人机机体坐标系与可见光传感器坐标系之间的转换矩阵已通过标定获得，通过无人机的实时位姿信息可计算得到动态视角的6自由度位姿信息，包括位置和朝向，即矩阵参数R与T。
动态视角利用无人机机载处理器运行目标检测算法识别运动路径周围拍摄到的物体，将待识别目标框选出来。采用的目标识别算法为Yolov3，该算法预先对目标数据集进行深度学习训练，损失函数采用交叉熵。设图片共有K*K个网格，每个网格产生M个候选框，每个候选框通过深度神经网络最终得到K*K*M个对应的边界框。令
Figure BDA0002431857580000071
表示第i个网格的第j个候选框是否负责这个目标(object)，如果负责则其值等于1，否则等于0。令x,y,w,h表示数据集中边界框的中心点坐标和宽高尺寸；
Figure BDA0002431857580000072
表示网络预测出的边界框中心点坐标和宽高尺寸；Ci表示数据集参数置信度，
Figure BDA0002431857580000073
表示预测参数置信度；Pi表示数据集分类概率，
Figure BDA0002431857580000074
表示预测分类概率。有损失函数公式为：
Figure BDA0002431857580000081
经过多代训练把损失函数降低到足够小，得到可以在无人机上实时运行的目标识别网络。
当某个动态视角检测到目标后，云端通过调整无人机集群组成的n边形的形状、边长大小和中心位置使集群始终悬停在运动目标周围，使目标始终保持在各个动态视角的视场范围内，并将采集到的图像信息和识别结果上传至云端。
2、多个动态视角协同计算目标三维空间位置
动态视角可见光传感器的内参K已知，云端对n架无人机传回的视频流中时间戳相同的n帧通过公式
λx＝RX+T
进行消除内参操作得到目标的二维坐标X，其中λ对应原图片坐标x处的深度。对所有相邻两架无人机视频帧匹配目标的特征点对X1,X2,…Xn，通过最小化投影误差公式有：
Figure BDA0002431857580000082
通过三角化得到等式：
Figure BDA0002431857580000083
其中λ1和λ2是利用可见光传感器求取的深度信息，γ是缩放比例，且n个等式的γ值相等。等式左右同时叉乘一个x2，消除一个深度得到新等式：
Figure BDA0002431857580000084
将等式改写成矩阵相乘形式：
Figure BDA0002431857580000085
把n个方程组合并成大矩阵相乘：
Figure BDA0002431857580000091
由此通过SVD求出
Figure BDA0002431857580000092
得到无人机坐标系下目标的点云。
在步骤S103中，根据三维空间位置计算目标的三维运动轨迹，并根据三维运动轨迹调整目标变换队形。
可以理解的是，计算目标的三维运动轨迹并适当变换队形以保证识别效果。
具体而言，根据云端重建得到的目标点云及对应的时间戳，可以通过计算在第i个t0(t0较小)的时间间隔内，目标点云几何中心的坐标(x,y,z)连续变换状态，得到目标物体在三个空间维度的运动状态向量
Figure BDA0002431857580000093
存储每个时间段测得的目标运动状态及位置向量
Figure BDA0002431857580000094
计算目标运动规律和周期Tt0，合理预测目标下一步的运动方向和速度。将当前运动状态向量
Figure BDA0002431857580000095
与周期内T个标准状态向量
Figure BDA0002431857580000096
匹配，得到最接近的状态向量
Figure BDA0002431857580000097
则可以预测在nt0时间后目标的位置：
Figure BDA0002431857580000098
t0越小的时候预测结果误差也越小。
在本发明的一个实施例中，目标在三个空间维度上具有周期性位置偏移量时，集群应整体增加相同的偏移量，云端控制无人机集群在各空间维度的运动速度保持为
Figure BDA0002431857580000099
根据本发明实施例提出的多动态视角协同的空中目标识别方法，可实时识别空中目标在三维空间中的位置及运动轨迹，为利用多无人机协同追踪与围捕空中目标提供技术基础，并可以有效保证识别效果，简单易实现。
其次参照附图描述根据本发明实施例提出的多动态视角协同的空中目标识别系统。
图4是本发明一个实施例的多动态视角协同的空中目标识别系统的结构示意图。
如图4所示，该多动态视角协同的空中目标识别系统10包括：全局地图构建模块100、目标识别与检测模块200、三维重建模块300和目标运动状态计算和预测模块400。
其中，全局地图构建模块100用于通过多动态视角以Co-SLAM方式进行全自主协同定位，并保持无人机的目标队形；目标识别与检测模块200用于在目标出现后，通过多动态视角的各动态视角检测和识别目标；三维重建模块300用于协同计算目标的三维空间位置；目标运动状态计算和预测模块400用于根据三维空间位置计算目标的三维运动轨迹，并根据三维运动轨迹调整目标变换队形。本发明实施例的系统10可以有效保证识别效果，简单易实现。
进一步地，在本发明的一个实施例中，全局地图构建模块100进一步用于将接收的每架无人机发送的局部场景地图、自身运动轨迹以及位姿信息进行融合，并计算多个平台间的相对位置关系并构建全局地图；
进一步地，在本发明的一个实施例中，目标识别与检测模块200进一步用于利用无人机机载处理器运行目标检测算法识别运动路径周围拍摄到的物体，框选待识别目标；采用目标识别算法为Yolov3，其中，设图片共有K*K个网格，每个网格产生M个候选框，每个候选框通过深度神经网络最终得到K*K*M个对应的边界框；令
Figure BDA0002431857580000101
表示第i个网格的第j个候选框是否负责这个目标(object)，如果负责则其值等于1，否则等于0，令x,y,w,h表示数据集中边界框的中心点坐标和宽高尺寸；
Figure BDA0002431857580000102
表示网络预测出的边界框中心点坐标和宽高尺寸；Ci表示数据集参数置信度，
Figure BDA0002431857580000103
表示预测参数置信度；Pi表示数据集分类概率，
Figure BDA0002431857580000104
表示预测分类概率，有损失函数公式为：
Figure BDA0002431857580000105
进一步地，在本发明的一个实施例中，目标运动状态计算和预测模块400进一步用于：通过调整无人机集群组成的n边形的形状、边长大小和中心位置使集群始终悬停在运动目标周围，使目标始终保持在各个动态视角的视场范围内，并将采集到的图像信息和识别结果上传至云端；在动态视角可见光传感器的内参K已知时，以对n架无人机传回的视频流中时间戳相同的n帧通过公式：λx＝RX+T；进行消除内参操作得到目标的二维坐标X，其中λ对应原图片坐标x处的深度，对所有相邻两架无人机视频帧匹配目标的特征点对X1,X2,…Xn，通过最小化投影误差公式有：
Figure BDA0002431857580000106
Figure BDA0002431857580000111
通过三角化得到等式：
Figure BDA0002431857580000112
j＝1,…,n，其中，λ1和λ2是利用可见光传感器求取的深度信息，γ是缩放比例，且n个等式的γ值相等，等式左右同时叉乘一个x2，消除一个深度得到新等式：
Figure BDA0002431857580000113
j＝1,…,n；将等式改写成矩阵相乘形式：
Figure BDA0002431857580000114
j＝1,…,n；把n个方程组合并成大矩阵相乘：
Figure BDA0002431857580000115
Figure BDA0002431857580000116
求出
Figure BDA0002431857580000117
得到无人机坐标系下目标点云；根据云端重建得到的目标点云及对应的时间戳，通过计算在第i个t0的时间间隔内，目标点云几何中心的坐标(x,y,z)连续变换状态，得到目标物体在三个空间维度的运动状态向量
Figure BDA0002431857580000118
存储每个时间段测得的目标运动状态及位置向量
Figure BDA0002431857580000119
计算目标运动规律和周期Tt0，预测目标下一步的运动方向和速度，将当前运动状态向量
Figure BDA00024318575800001110
与周期内T个标准状态向量
Figure BDA00024318575800001111
Figure BDA00024318575800001112
匹配，得到最接近的状态向量
Figure BDA00024318575800001113
则预测在nt0时间后目标的位置：
Figure BDA00024318575800001114
需要说明的是，前述对多动态视角协同的空中目标识别方法实施例的解释说明也适用于该实施例的多动态视角协同的空中目标识别系统，此处不再赘述。
根据本发明实施例提出的多动态视角协同的空中目标识别系统，可实时识别空中目标在三维空间中的位置及运动轨迹，为利用多无人机协同追踪与围捕空中目标提供技术基础，并可以有效保证识别效果，简单易实现。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种多动态视角协同的空中目标识别方法，其特征在于，包括以下步骤：
通过多动态视角以Co-SLAM方式进行全自主协同定位，并保持无人机的目标队形；
在目标出现后，通过所述多动态视角的各动态视角检测和识别所述目标，并协同计算所述目标的三维空间位置；
根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整目标变换队形；
所述通过所述多动态视角的各动态视角检测和识别所述目标，并协同计算所述目标的三维空间位置，包括：
利用无人机机载处理器运行目标检测算法识别运动路径周围拍摄到的物体，框选待识别目标；
采用目标识别算法为Yolov3，其中，设图片共有K*K个网格，每个网格产生M个候选框，每个候选框通过深度神经网络最终得到K*K*M个对应的边界框；令
Figure FDA0003110449430000011
表示第i个网格的第j个候选框是否负责这个目标(object)，如果负责则其值等于1，否则等于0，令x,y,w,h表示数据集中边界框的中心点坐标和宽高尺寸；
Figure FDA0003110449430000012
表示网络预测出的边界框中心点坐标和宽高尺寸；Ci表示数据集参数置信度，
Figure FDA0003110449430000013
表示预测参数置信度；Pi表示数据集分类概率，
Figure FDA0003110449430000014
表示预测分类概率，有损失函数公式为
Figure FDA0003110449430000015
2.根据权利要求1所述的方法，其特征在于，所述通过多动态视角以Co-SLAM方式进行全自主协同定位，包括：
将接收的每架无人机发送的局部场景地图、自身运动轨迹以及位姿信息进行融合，并计算多个平台间的相对位置关系并构建全局地图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，包括：
通过调整无人机集群组成的n边形的形状、边长大小和中心位置使集群始终悬停在运动目标周围，使目标始终保持在各个动态视角的视场范围内，并将采集到的图像信息和识别结果上传至云端。
4.如权利要求3所述的多动态视角协同的空中目标识别方法，其特征在于，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，还包括：
在动态视角可见光传感器的内参K已知时，以对n架无人机传回的视频流中时间戳相同的n帧通过公式：
λx＝RX+T
进行消除内参操作得到目标的二维坐标X，其中λ对应原图片坐标x处的深度，对所有相邻两架无人机视频帧匹配目标的特征点对X1,X2,…Xn，通过最小化投影误差公式有：
Figure FDA0003110449430000021
通过三角化得到等式：
Figure FDA0003110449430000022
其中，λ1和λ2是利用可见光传感器求取的深度信息，γ是缩放比例，且n个等式的γ值相等，等式左右同时叉乘一个x2，消除一个深度得到新等式
Figure FDA0003110449430000023
将等式改写成矩阵相乘形式：
Figure FDA0003110449430000024
把n个方程组合并成大矩阵相乘：
Figure FDA0003110449430000025
求出
Figure FDA0003110449430000026
得到无人机坐标系下目标点云。
5.如权利要求4所述的多动态视角协同的空中目标识别方法，其特征在于，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，还包括：
根据所述云端重建得到的目标点云及对应的时间戳，通过计算在第i个t0的时间间隔内，目标点云几何中心的坐标(x,y,z)连续变换状态，得到目标物体在三个空间维度的运动状态向量
Figure FDA0003110449430000031
6.如权利要求1所述的多动态视角协同的空中目标识别方法，其特征在于，所述根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整所述目标变换队形，还包括：
存储每个时间段测得的目标运动状态及位置向量
Figure FDA0003110449430000032
计算目标运动规律和周期Tt0，预测目标下一步的运动方向和速度，将当前运动状态向量
Figure FDA0003110449430000033
与周期内T个标准状态向量
Figure FDA0003110449430000034
匹配，得到最接近的状态向量
Figure FDA0003110449430000035
则预测在nt0时间后目标的位置：
Figure FDA0003110449430000036
7.一种多动态视角协同的空中目标识别系统，其特征在于，包括：
全局地图构建模块，用于通过多动态视角以Co-SLAM方式进行全自主协同定位，并保持无人机的目标队形；
目标识别与检测模块，用于在目标出现后，通过所述多动态视角的各动态视角检测和识别所述目标；
三维重建模块，用于协同计算所述目标的三维空间位置；
目标运动状态计算和预测模块，用于根据所述三维空间位置计算所述目标的三维运动轨迹，并根据所述三维运动轨迹调整目标变换队形；
所述目标识别与检测模块进一步用于利用无人机机载处理器运行目标检测算法识别运动路径周围拍摄到的物体，框选待识别目标；采用目标识别算法为Yolov3，其中，设图片共有K*K个网格，每个网格产生M个候选框，每个候选框通过深度神经网络最终得到K*K*M个对应的边界框；令
Figure FDA0003110449430000037
表示第i个网格的第j个候选框是否负责这个目标(object)，如果负责则其值等于1，否则等于0，令x,y,w,h表示数据集中边界框的中心点坐标和宽高尺寸；
Figure FDA0003110449430000038
表示网络预测出的边界框中心点坐标和宽高尺寸；Ci表示数据集参数置信度，
Figure FDA0003110449430000039
表示预测参数置信度；Pi表示数据集分类概率，
Figure FDA00031104494300000310
表示预测分类概率，有损失函数公式为：
Figure FDA0003110449430000041
8.根据权利要求7所述的系统，其特征在于，其中，
所述全局地图构建模块进一步用于将接收的每架无人机发送的局部场景地图、自身运动轨迹以及位姿信息进行融合，并计算多个平台间的相对位置关系并构建全局地图。
9.根据权利要求7所述的系统，其特征在于，所述目标运动状态计算和预测模块进一步用于：
通过调整无人机集群组成的n边形的形状、边长大小和中心位置使集群始终悬停在运动目标周围，使目标始终保持在各个动态视角的视场范围内，并将采集到的图像信息和识别结果上传至云端；
在动态视角可见光传感器的内参K已知时，以对n架无人机传回的视频流中时间戳相同的n帧通过公式：λx＝RX+T；进行消除内参操作得到目标的二维坐标X，其中λ对应原图片坐标x处的深度，对所有相邻两架无人机视频帧匹配目标的特征点对X1,X2,…Xn，通过最小化投影误差公式有：
Figure FDA0003110449430000042
通过三角化得到等式：
Figure FDA0003110449430000043
其中，λ1和λ2是利用可见光传感器求取的深度信息，γ是缩放比例，且n个等式的γ值相等，等式左右同时叉乘一个x2，消除一个深度得到新等式：
Figure FDA0003110449430000044
将等式改写成矩阵相乘形式：
Figure FDA0003110449430000045
把n个方程组合并成大矩阵相乘：
Figure FDA0003110449430000046
Figure FDA0003110449430000047
求出
Figure FDA0003110449430000048
得到无人机坐标系下目标点云；
根据所述云端重建得到的目标点云及对应的时间戳，通过计算在第i个t0的时间间隔内，目标点云几何中心的坐标(x,y,z)连续变换状态，得到目标物体在三个空间维度的运动状态向量
Figure FDA0003110449430000051
存储每个时间段测得的目标运动状态及位置向量
Figure FDA0003110449430000052
计算目标运动规律和周期Tt0，预测目标下一步的运动方向和速度，将当前运动状态向量
Figure FDA0003110449430000053
与周期内T个标准状态向量
Figure FDA0003110449430000054
匹配，得到最接近的状态向量
Figure FDA0003110449430000055
则预测在nt0时间后目标的位置：
Figure FDA0003110449430000056
CN202010238741.9A 2020-03-30 2020-03-30 多动态视角协同的空中目标识别方法及系统 Active CN111474953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010238741.9A CN111474953B (zh) 2020-03-30 2020-03-30 多动态视角协同的空中目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238741.9A CN111474953B (zh) 2020-03-30 2020-03-30 多动态视角协同的空中目标识别方法及系统

Publications (2)

Publication Number Publication Date
CN111474953A CN111474953A (zh) 2020-07-31
CN111474953B true CN111474953B (zh) 2021-09-17

Family

ID=71749262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238741.9A Active CN111474953B (zh) 2020-03-30 2020-03-30 多动态视角协同的空中目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN111474953B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748732B (zh) * 2020-12-01 2022-08-05 杭州电子科技大学 基于改进Kstar算法和深度学习的实时路径规划方法
CN112668652A (zh) * 2020-12-31 2021-04-16 哈尔滨工业大学 无人装备对抗中集群阵型和运动趋势的识别方法及系统
CN113298847B (zh) * 2021-07-28 2021-10-26 中国人民解放军国防科技大学 基于视场感知的共识自主性追捕与逃逸方法和装置
CN113658214B (zh) * 2021-08-16 2022-08-09 北京百度网讯科技有限公司 轨迹预测方法、碰撞检测方法、装置、电子设备及介质
CN114627151A (zh) * 2021-09-23 2022-06-14 北京理工大学 一种无人机集群对空中目标运动状态跟踪方法
CN114663879B (zh) * 2022-02-09 2023-02-21 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质
CN114967728B (zh) * 2022-02-25 2023-03-31 珠海紫燕无人飞行器有限公司 一种无人机集群协同搜索方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081404A (zh) * 2011-01-27 2011-06-01 西北工业大学 一种通信约束下双无人机协同目标跟踪方法
CN102707693A (zh) * 2012-06-05 2012-10-03 清华大学 一种时空联合的多架无人机协同控制系统的构建方法
CN103197684A (zh) * 2013-04-25 2013-07-10 清华大学 无人机群协同跟踪目标的方法及系统
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
JP2017212528A (ja) * 2016-05-24 2017-11-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム、撮像制御方法、撮像制御システム、移動体、制御方法、及びプログラム
WO2018027210A1 (en) * 2016-08-05 2018-02-08 Neu Robotics, Inc, Mobile platform eg drone / uav performing localization and mapping using video
CN107886120A (zh) * 2017-11-03 2018-04-06 北京清瑞维航技术发展有限公司 用于目标检测跟踪的方法和装置
CN108363405A (zh) * 2018-04-08 2018-08-03 广东华中科技大学工业技术研究院 一种无人机协同无人艇充电的方法及系统
CN109557939A (zh) * 2019-01-07 2019-04-02 上海交通大学 一种基于伪分布式无人机集群的快速队形控制方法
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN110069076A (zh) * 2019-04-23 2019-07-30 北京航空航天大学 一种基于猛狼围捕行为的无人机集群空战方法
CN110263675A (zh) * 2019-06-03 2019-09-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法
EP3557358A1 (en) * 2018-04-19 2019-10-23 Aurora Flight Sciences Corporation Adaptive autonomy system architecture
CN110580740A (zh) * 2019-08-27 2019-12-17 清华大学 多智能体协同三维建模方法及装置
CN110609571A (zh) * 2019-08-06 2019-12-24 同济大学 一种基于多无人机的多运动目标分布式协同视觉定位方法
CN110618701A (zh) * 2019-08-26 2019-12-27 中国人民解放军国防科技大学 用于目标跟踪的多无人机协同优化方法及系统
CN110825101A (zh) * 2019-12-26 2020-02-21 电子科技大学 一种基于深度卷积神经网络的无人机自主降落方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
US10386842B2 (en) * 2017-11-13 2019-08-20 Intel IP Corporation Unmanned aerial vehicle light show
US11216954B2 (en) * 2018-04-18 2022-01-04 Tg-17, Inc. Systems and methods for real-time adjustment of neural networks for autonomous tracking and localization of moving subject
CN108961235B (zh) * 2018-06-29 2021-05-14 山东大学 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
US10853635B2 (en) * 2018-07-10 2020-12-01 University Of Florida Research Foundation, Incorporated Automated systems and methods for monitoring and mapping insects in orchards
CA3107374C (en) * 2018-07-24 2022-09-27 Tg-17, Llc Systems and methods for autonomous machine tracking and localization of mobile objects
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
CN109871763B (zh) * 2019-01-16 2020-11-06 清华大学 一种基于yolo的特定目标跟踪方法
CN109934131A (zh) * 2019-02-28 2019-06-25 南京航空航天大学 一种基于无人机的小目标检测方法
CN110706266B (zh) * 2019-12-11 2020-09-15 北京中星时代科技有限公司 一种基于YOLOv3的空中目标跟踪方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081404A (zh) * 2011-01-27 2011-06-01 西北工业大学 一种通信约束下双无人机协同目标跟踪方法
CN102707693A (zh) * 2012-06-05 2012-10-03 清华大学 一种时空联合的多架无人机协同控制系统的构建方法
CN103197684A (zh) * 2013-04-25 2013-07-10 清华大学 无人机群协同跟踪目标的方法及系统
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
JP2017212528A (ja) * 2016-05-24 2017-11-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム、撮像制御方法、撮像制御システム、移動体、制御方法、及びプログラム
WO2018027210A1 (en) * 2016-08-05 2018-02-08 Neu Robotics, Inc, Mobile platform eg drone / uav performing localization and mapping using video
CN107886120A (zh) * 2017-11-03 2018-04-06 北京清瑞维航技术发展有限公司 用于目标检测跟踪的方法和装置
CN108363405A (zh) * 2018-04-08 2018-08-03 广东华中科技大学工业技术研究院 一种无人机协同无人艇充电的方法及系统
EP3557358A1 (en) * 2018-04-19 2019-10-23 Aurora Flight Sciences Corporation Adaptive autonomy system architecture
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN109557939A (zh) * 2019-01-07 2019-04-02 上海交通大学 一种基于伪分布式无人机集群的快速队形控制方法
CN110069076A (zh) * 2019-04-23 2019-07-30 北京航空航天大学 一种基于猛狼围捕行为的无人机集群空战方法
CN110263675A (zh) * 2019-06-03 2019-09-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法
CN110609571A (zh) * 2019-08-06 2019-12-24 同济大学 一种基于多无人机的多运动目标分布式协同视觉定位方法
CN110618701A (zh) * 2019-08-26 2019-12-27 中国人民解放军国防科技大学 用于目标跟踪的多无人机协同优化方法及系统
CN110580740A (zh) * 2019-08-27 2019-12-17 清华大学 多智能体协同三维建模方法及装置
CN110825101A (zh) * 2019-12-26 2020-02-21 电子科技大学 一种基于深度卷积神经网络的无人机自主降落方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Stability of cloud-based UAV systems supporting big data acquisition and processing;Feng Luo et al.;《IEEE Transactions on Cloud Computing》;20170424;第7卷(第3期);第866-877页 *
基于动物集群行为的无人机群目标围捕策略;陈志鹏 等;《现代计算机(专业版)》;20180225(第6期);第11-14页 *

Also Published As

Publication number Publication date
CN111474953A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111474953B (zh) 多动态视角协同的空中目标识别方法及系统
CN113269098B (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
Price et al. Deep neural network-based cooperative visual tracking through multiple micro aerial vehicles
CN112567201B (zh) 距离测量方法以及设备
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
Forster et al. Continuous on-board monocular-vision-based elevation mapping applied to autonomous landing of micro aerial vehicles
CN102298070B (zh) 估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
Matthies et al. Stereo vision-based obstacle avoidance for micro air vehicles using disparity space
Mademlis et al. Autonomous unmanned aerial vehicles filming in dynamic unstructured outdoor environments [applications corner]
Dey et al. Vision and learning for deliberative monocular cluttered flight
Strydom et al. Visual odometry: autonomous uav navigation using optic flow and stereo
Levine et al. Information-rich path planning with general constraints using rapidly-exploring random trees
JP2020507072A (ja) 実時間オンライン自己運動推定を備えたレーザスキャナ
Flores et al. A vision and GPS-based real-time trajectory planning for a MAV in unknown and low-sunlight environments
Teixeira et al. VI-RPE: Visual-inertial relative pose estimation for aerial vehicles
Sanfourche et al. Perception for UAV: Vision-Based Navigation and Environment Modeling.
CN114442621A (zh) 一种基于四足机器人的自主探索和建图系统
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
Fragoso et al. Dynamically feasible motion planning for micro air vehicles using an egocylinder
CN111812978B (zh) 一种多无人机协作slam方法与系统
CN111489392A (zh) 多人环境下单个目标人体运动姿态捕捉方法及系统
CN113674310A (zh) 一种基于主动视觉感知的四旋翼无人机目标跟踪方法
Basit et al. Joint localization of pursuit quadcopters and target using monocular cues
Owen et al. Moving ground target tracking in urban terrain using air/ground vehicles
Kamat et al. A survey on autonomous navigation techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant