CN114581480A

CN114581480A - 多无人机协同目标状态估计控制方法及其应用

Info

Publication number: CN114581480A
Application number: CN202210489038.4A
Authority: CN
Inventors: 郑灿伦; 陈华奔; 李康; 赵世钰
Original assignee: Westlake University
Current assignee: Westlake University
Priority date: 2022-05-07
Filing date: 2022-05-07
Publication date: 2022-06-03
Anticipated expiration: 2042-05-07
Also published as: CN114581480B

Abstract

本申请提出了基于机器视觉的多无人机协同目标状态估计控制方法及应用，包括以下步骤：获取检测图像，依据该检测图像获取目标物在现实空间中相对观测无人机的方向；获取相邻无人机的位置信息以及所有相邻无人机对目标物的检测信息，并依据相邻无人机的位置信息和检测信息对目标物的状态进行估计；通过一致性算法将除目标物外的所有无人机对目标物的估计进行收敛，得到目标物的估计信息；依据该估计信息计算观测无人机的最优观测控制率并依据该最优观测控制率修正每个观测无人机的位置。本申请通过单目视觉传感器，通过协同的方式实现多无人机分布式的目标状态估计，估计目标在三维空间中的实时状态，通过控制保证对目标的估计能够收敛且稳定。

Description

多无人机协同目标状态估计控制方法及其应用

技术领域

本申请涉及无人机控制技术领域，特别是涉及一种基于机器视觉的多无人机协同目标状态估计控制方法及其应用。

背景技术

无人机集群作为新兴研究领域，展现出强大的任务执行能力，并应用于各个领域。但由于无人机体积小、飞行速度快、制作成本低，一旦被不法分子利用，会对社会公共安全产生较大的威胁。

目前，反无人机的技术发展越来越多。反制的首要目的是实现对目标的实时状态跟踪和估计。但由于无人机的体积小、飞行速度快且可能出现未知无人机等信息，实时的状态估计算法就尤为重要。

现有主要有雷达检测和激光测距仪结合相机检测。然而传统的雷达技术手段无法得到无人机的三维空间状态，且由于雷达尺寸大，重量中，通常无法实现灵活的机载探测；另一种采用激光测距仪结合相机实现无人机的检测、定位与跟踪的方式，想通过激光测距云台测量出无人机的位置，就需要控制激光测距仪对准无人机并保持稳定的跟踪，然而无人机的飞行状态是不确定的、这使得激光测距云台难以控制对准无人机，更不必说保持稳定的跟踪；且无人机的反射平面很小，距离较远时，通过无人机机身平面反射回来的回波能量很小。

所以利用激光测距手段几乎无法实现无人机的定位；更无法实现对多架无人机的定位与跟踪。

为此，亟待一种基于单目机器视觉的多无人机协同目标状态估计控制方法及其应用，以解决现有技术存在的问题，尤其是解决单机在载重有限的情况下的目标状态估计和无法实现对多架无人机的定位与跟踪的问题。

发明内容

本申请实施例提供了基于机器视觉的多无人机协同目标状态估计控制方法及其应用，针对目前单机在载重有限的情况下的目标状态估计和无法实现对多架无人机的定位与跟踪的问题。

第一方面，本申请提供了基于机器视觉的多无人机协同目标状态估计控制方法，所述方法包括：

S10、获取检测图像，依据该检测图像获取目标物在现实空间中相对观测无人机的方向并跟踪所述目标物，使其始终位于图像中心位置；

S20、获取相邻无人机的位置信息以及所有相邻无人机对目标物的检测信息，并依据相邻无人机的位置信息和检测信息对目标物的状态进行估计，通过一致性算法将除目标物外的所有无人机对目标物的估计进行收敛，得到目标物的估计信息；

S30、依据该估计信息计算观测无人机的最优观测控制率并依据该最优观测控制率修正每个观测无人机的位置；

其中检测信息为每个相邻无人机获取到的目标物在现实空间中相对自身的方向。

进一步地，步骤S10中，依据该检测图像获取目标物在现实空间中相对观测无人机的方向的具体步骤包括：

S11、分别定义图像坐标系、相机坐标系及世界坐标系；

S12、根据目标物在图像坐标系中的像素位置和相机内参得出目标物在相机坐标系中的方向；

S13、将当前观测无人机的相邻无人机的位置投影到相机坐标系中，得到相邻无人机在相机坐标系中的方向；

S14、计算观测方向与每个相邻无人机之间的重合度，选取根据重合度计算中置信度最高的未被排除掉的观测方向对应的边界框作为检测目标；

S15、计算该检测目标在世界坐标系中的方向，得到从相机坐标系到世界坐标系的旋转矩阵，依据该旋转矩阵得到目标物在世界坐标系下的方向。

进一步地，图像坐标系以检测图像的上下方向作为y轴，以水平方向作为x轴，以该检测图像四角中任意一角作为坐标系原点；相机坐标系以相机焦点作为原点，垂直成像平面方向为x轴，y轴与图像坐标系的x轴平行，z轴与图像坐标系的y轴平行；世界坐标系以预设经纬海拔坐标为原点，以经线作为x轴，纬线作为y轴，重力方向作为z轴。

进一步地，步骤S14中，计算观测方向与相邻无人机之间的夹角作为重合度计算，排除夹角小于设定值的观测方向。

进一步地，步骤S16中，得到检测目标后，每个观测无人机对检测目标进行跟踪，保证检测目标始终位于当前检测图像的中心位置。

进一步地，步骤S20中，依据相邻无人机的位置信息和目标物的检测信息对目标物的状态进行估计的具体步骤包括：

S21、对目标物状态进行预测；

S22、通过相邻无人机的方向和位置根据几何定位得到目标物位置；

S23、对该目标物位置进行卡尔曼更新。

进一步地，步骤S40中，依据该估计信息计算观测无人机的最优观测控制率的具体步骤包括：

根据目标物的估计信息和相邻无人机的位置信息，计算观测无人机的第一分量、第二分量及第三分量；

以第一分量、第二分量及第三分量作为观测无人机的速度控制命令的权重，得出观测无人机达到最优观测控制率的速度控制命令；

其中，第一分量为观测无人机趋近目标物的包围函数的分量；第二分量为观测无人机在目标物的包围函数上的速度分量；第三分量为观测无人机与相邻无人机之间的避障速度分量。

第二方面，本申请提供了一种基于机器视觉的多无人机协同目标状态估计控制装置，包括无人机本体及设于该无人机本体上的机载计算机、飞行控制系统、无线通信模块、单目视觉传感器及云台；

机载计算机存储有计算机程序且分别与飞行控制系统、无线通信模块、单目视觉传感器及云台通信连接，其中，该计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的基于机器视觉的多无人机协同目标状态估计控制方法；

飞行控制系统能够获取无人机的位置、姿态；

单目视觉传感器设于云台上，用于拍摄图像数据；

云台能够获取云台姿态角。

第三方面，本申请提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的基于机器视觉的多无人机协同目标状态估计控制方法。

第四方面，本申请提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的基于机器视觉的多无人机协同目标状态估计控制方法。

本发明的主要贡献和创新点如下：1、与现有技术相比，本申请无需借助现有的雷达和激光测距云台，仅需要传统的单目视觉传感器获取的检测图像，即可从该检测图像结合本申请的控制方法得出该目标物的三维空间实时状态定位，同时控制所有无人机协同跟踪，从而大幅度减轻了单个观测无人机的机载负担，能够大幅度提高单个观测无人机的机动性；

2、与现有技术相比，本申请不仅仅是依赖于单个观测无人机的数据，而是通过无人机群的整体观测数据来对目标物的三维控制实时状态进行估计定位，且经过一致性算法使得所有无人机对目标的估计收敛，显著提高了控制方法的可靠性和目标物状态跟踪的收敛速度，最后通过计算每个观测无人机的最优观测控制率来进行位置修正，从而使每个无人机能更好地观测、跟踪目标物。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于机器视觉的多无人机协同目标状态估计控制方法的流程图；

图2是根据本申请实施例的单架单目视觉无人机感知节点结构图；

图3是根据本申请实施例的友邻无人机排除算法示意图；

图4是根据本申请实施例的目标无人机的世界坐标系下的方向计算算法流程图；

图5是根据本申请实施例的分布式协同定位算法流程图；

图6是根据本申请实施例的多无人机协同跟踪控制算法流程图；

图7是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请基于单目视觉的多无人机协同目标状态轨迹的其中一个应用场景为在特定的检测区域发现可疑目标后，多单目视觉无人机协同对目标进行状态估计和跟踪控制。首先在本实施例中无人机均能实现对空中运动目标的检测，以及与相邻无人机的通信。

大致包含三个部分：参考图1，首先是从检测图像中获取目标物（目标无人机）在世界坐标系中相对观测无人机的方向，即图1中的检测目标无人机方向计算；然后观测无人机通过通信网络获得相邻无人机的位置信息和对目标的检测信息，实现对目标的状态估计，并通过一致性算法使得所有无人机对目标的估计收敛即图1中的目标状态估计；最后通过观测增强控制算法，使每个无人机能更好地观测、跟踪目标，即图1中的分布式协同控制。

本申请实施例提供了基于机器视觉的多无人机协同目标状态估计控制方法，具体地，参考图1，包括：

相当于图1中的云台控制至无人机检测算法，包括后续的S11-S16。

S11、分别定义图像坐标系、相机坐标系及世界坐标系；

如图3所示，在本实施例中，三个坐标系：图像坐标系S_picture，相机坐标系S_camera，和世界坐标系S_Earth（也可以称为全部坐标系S_Global，图3中为世界坐标系S_Earth，本文中出现的Earth和Global指代同一含义）。其中S_picture原点为图像左上角，x轴沿图像长轴指向右，y轴沿图像短轴指向下；S_camera的原点在相机焦点，x轴垂直成像平面指向外，y轴与图像坐标系x轴平行且指向相同，z轴与图像坐标系y轴平行且指向相同。

S_Earth的原点为预先设置的一个经纬海拔坐标P⁰ _Earth，x轴沿经度方向指向北，y轴沿维度方向指向东，z轴符合右手定则指向下；

S12、根据检测目标bounding boxes序列在图像坐标系中的像素位置和相机内参得出检测目标序列在相机坐标系中的方向（即为图2中潜在目标方向序列）；

如根据常用的目标检测算法如yolov4，yolov5等得到检测目标bounding boxes序列，该检测目标序列的bounding boxes按照置信度从高到低排序，置信度越高代表越有可能是目标；

如图4所示，在本实施例中，假设检测到目标无人机在图像中的像素位置为[x,y]_picture，可以根据相机内参，借助公式1得到无人机在S_camera下的λ_camera方向：

公式1，λ_camera=[(x_picture-x_c)﹡d_x(y_picture-y_c)﹡d_y f]^T；

式中x_c,y_c为图像中心在S_picture中的坐标；f为相机的焦距；相机的成像晶元尺寸d_x,d_y；

在本实施例中，将根据通信得到的相邻无人机（或者叫友邻协同观测无人机）的位置投影到同一个相机坐标系中，借助公式2得到相邻无人机在相机坐标系下的方向：

公式2，

；

式中

和

分别是从第i个观测无人机指向它的第j个相邻无人机的单位向量，R_Earth2camera是从世界坐标系S_Earth到相机坐标系S_camera的旋转矩阵，

是第i个无人机的第j个相邻无人机在世界坐标系S_Earth下的位置，Nⁱ是第i个无人机的所有相邻无人机集合，R_θ,R_ϕ,R_ψ分别是云台的俯仰、滚转和偏航的旋转矩阵，其计算公式3如下：

公式3，

；

式中，θ,φ,ψ分别为相机云台的俯仰角度、滚转角和偏航角；

S14、计算观测方向（潜在目标方向序列）与每个相邻无人机之间的重合度，选取根据重合度计算中置信度最高的未被排除掉的观测方向对应的边界框作为检测目标；

其中，置信度是指在图像检测中会得到一系列的检测目标，这一系列的检测目标按照置信度从高到低表示最有可能是被检测物体的可能性，置信度越高，代表越有可能是目标；

相当于图1中相邻协同检测无人机排除。

此步骤中，计算观测方向与相邻无人机之间的夹角作为重合度计算，排除夹角小于设定值的观测方向；

在本实施例中，对比目标方向是否是来自相邻无人机，计算观测方向与相邻无人机之间的重合度，借助公式4，这里用夹角（即图4中的方向角比对算法）表示：

公式4，

；

式中，α^jk表示第k个观测方向与第j个相邻无人机的位置方向之间的夹角的cos值，当夹角cos值大于α_min时，认为第k个观测方向的检测目标就来自于第j个相邻无人机，并将其排除，最后根据检测置信度最高的未被排除掉的观测方向对应的bounding box（边界框）作为检测的目标，并计算其在世界坐标系下的方向；

S15、计算该检测目标在世界坐标系中的方向，得到从相机坐标系到世界坐标系的旋转矩阵；

在本实施例中，根据相机的姿态角，借助公式5从相机坐标系到世界坐标系的旋转矩阵R_camera2Earth：

公式5，R_camera2Earth=(R_Earth2camera)^-1；

S16、依据该旋转矩阵得到目标物在世界坐标系下的方向；

在本实施例中，借助公式6得到目标无人机在世界坐标系S_Earth下的λ_Earth方向：

公式6，λ_Earth=R_camera2Earthλ_camera；其中，λ_camera为公式1所得到，R_camera2Earth为公式5所得到；

此步骤中，得到检测目标（bounding box）后，每个观测无人机的云台对检测目标进行跟踪，保证检测目标始终位于当前检测图像的中心位置；

在本实施例中，云台的控制指令为公式7：

公式7，

；

式中[x^t _picture，y^t _picture]为目标无人机bounding box的中心在图像坐标系下的位置，[Δx,Δy]为图像坐标系下的控制误差，f(.)为平滑函数：

公式8，

；

式中k为常值系数，r为稳像区域，d_max为边界距离，d为当前观测无人机到目标物的距离，w_max为最大角速度。

至此，可以保证在每个观测无人机的视野范围内，只要检测到目标无人机，均能实现对目标无人机在云台相机下的稳定跟踪；

S20、获取相邻无人机的位置信息以及所有相邻无人机对目标物的检测信息，并依据相邻无人机的位置信息和检测信息对目标物的状态进行估计；

如图5所示，在本实施例中，观测无人机之间的交互信息包括检测到目标全局方向λ_Earth、无人机当前时刻的位置p_self、估计的目标状态X和目标的估计协方差矩阵P。每个无人机根据检测的信息和相邻无人机的信息实现对目标的状态估计。多无人机协同状态估计分为四个部分，目标状态预测、观测修正和目标状态更新、状态一致性。

S21、对目标物状态进行预测；

在本实施例中，目标状态检测借助公式9：

公式9，

；

式中X=[p_target v_target]^T为目标估计状态包含目标在三维空间的位置、速度；A为目标物的状态矩阵；P为目标状态估计的协方差矩阵；Δt为预测时长；q是符合均值为零的正态分布的噪声，符合q~N(0,Q)；I是单位对角矩阵，0是全0矩阵，下标表示矩阵维度；

在本实施例中，需要借助公式10进行观测修正：

公式10，

；

式中w_self和w_neighbor为变化权重；z_self为观测无人机自己对目标物的观测方向转换得到的伪线性化得到的测量信息；H_self为伪线性化后的测量矩阵。其中w_self，w_neighbor，z_neighbor和H_neighbor会根据观测无人机从通信网络中所获得的信息不同对参数权重进行修正，主要分为三种情况：

1、在当前时间周期没有接收到相邻无人机的信息：

w_self=1

w_neighbor=1；

2、在当前时间周期仅接收到1架相邻无人机的信息：

w_self=0.5

w_neighbor=0.5

z_neighbor=I-λ_neighborλ^T _neighbor

H_neighbor=[z_neighborp_neighbor 0_3×3]；

3、在当前时间周期接收到2架及以上的相邻无人机的信息：

；

其中n是相邻无人机的个数，p_target是通过相邻无人机的方向和位置根据几何定位得到的目标位置：

公式11，

；

其中，A为公式9中的目标物的状态矩阵，其中b没有具体意义，是一个列向量，用于计算；

S23、借助公式12对该目标物位置进行卡尔曼更新；

公式12，

；

其中，X为公式9中的目标估计状态，P为公式9中的目标状态估计的协方差矩阵，K是卡尔曼增益；

S30、通过一致性算法将除目标物外的所有无人机对目标物的估计进行收敛，得到目标物的估计信息；

在本实施例中，为了让所有无人机（除目标物外）的状态实现统一，无人机会结合通信得到相邻无人机对目标的估计X_neighbor和协方差矩阵P_neighbor，借助公式13实现全局对目标的一致性：

公式13，

；

式中

和

表示目标的最优估计状态，w_consensus为正的常值一致性系数，N为友邻节点个数，Xⁱ _neighbor，Pⁱ _neighbor为第i个相邻无人机对目标的估计状态以及协方差矩阵；

S40、依据该估计信息计算观测无人机的最优观测控制率并依据该最优观测控制率修正每个观测无人机的位置；

此步骤中，在得到目标估计信息后，当前观测无人机会根据通信网络中其余观测无人机的位置，计算出自己的最优观测控制率；

其中，第一分量为观测无人机趋近目标物的包围函数的分量；第二分量为观测无人机在目标物的包围函数上的速度分量；第三分量为观测无人机与相邻无人机之间的避障速度分量；

如图6所示，在本实施例中，已知一个目标的包围曲面函数f_surrounding，该函数有以下要求：在函数空间各点连续且可导，函数上任意点到目标的距离大于d_min，且小于d_max。观测无人机的速度指令v_command借助公式14为：

公式14，

；

式中v_forward为控制无人机趋近包围函数f的分量，v_parallel为控制无人机在包围函数f上的速度分量，v_avoid为控制无人机与相邻无人机之间的避障速度分量，w_forward，w_parallel，w_avoid为控制分量的权重。三个分量的计算分别借助公式15-19如下：

公式15，

；

式中F(.)为平滑控制函数，d为无人机相对于目标的距离，

为无人机与估计目标之间的方向，其中平滑函数F(.)为：

公式16，

；

式中Δd为观测无人机到达包围函数f_surrounding(.)的允许波动区间；d_exp是期望到达距离；v_max为观测无人机最大速度。

v_prarllel为下降速度v在期望位置

处f_surrounding(.)切平面上的投影速度分量，其计算如下：

公式17，

；

式中n为无人机与估计目标间连线与包围曲面函数f_surrounding(.)交点处的切平面的法向量；λ 为观测无人机的观测目标方向；c为一个观测误差常值系数；v为可观性矩阵的最速下降梯度的速度控制率，

是可观性矩阵，通过下面公式18计算：

公式18，

；

式中N为无人机总个数；

v_avoid的计算如下：

公式19，

；

最终实现无人机协同最优估计控制。

实施例二

基于相同的构思，参考图2，本申请还提出了一种基于机器视觉的多无人机协同目标状态估计控制装置，包括无人机本体1、机载计算机2、飞行控制系统3、无线通信模块4、单目视觉传感器5及云台6；

机载计算机2分别与飞行控制系统3、无线通信模块4、单目视觉传感器5和云台6通信连接。单目视觉传感器5与云台6固定连接。机载计算机2通过飞行控制系统3获得无人机本体1的位置、姿态；机载计算机2通过无线通信模块4给网络中无人机发送信息，并获得相邻无人机发出的信息；机载计算机2通过单目视觉传感器5获得图像数据；机载计算机2通过云台6获得云台姿态角；

机载计算机2存储有计算机程序且分别与飞行控制系统3、无线通信模块4、单目视觉传感器5及云台6通信连接，其中，该计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据实施例1的基于机器视觉的多无人机协同目标状态估计控制方法；

飞行控制系统3能够获取无人机的位置、姿态；

单目视觉传感器5设于云台上，用于拍摄图像数据；

云台6能够获取云台姿态角。

实施例三

本实施例还提供了一种电子装置，参考图7，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意基于机器视觉的多无人机协同目标状态估计控制方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。

实施例四

本申请提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据实施例1的基于机器视觉的多无人机协同目标状态估计控制方法。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以作出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，包括以下步骤：

S20、获取相邻无人机的位置信息以及所有相邻无人机对所述目标物的检测信息，并依据所述相邻无人机的位置信息和所述检测信息对所述目标物的状态进行估计，通过一致性算法将除所述目标物外的所有无人机对所述目标物的估计进行收敛，得到所述目标物的估计信息；

S30、依据该估计信息计算所述观测无人机的最优观测控制率并依据该最优观测控制率，修正每个所述观测无人机的位置；

其中所述检测信息为每个所述相邻无人机获取到的目标物在现实空间中相对自身的方向。

2.根据权利要求1所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S10中，依据该检测图像获取目标物在现实空间中相对观测无人机的方向的具体步骤包括：

S11、分别定义图像坐标系、相机坐标系及世界坐标系；

S12、根据所述目标物在图像坐标系中的像素位置和相机内参得出所述目标物在所述相机坐标系中的方向；

S13、将当前所述观测无人机的相邻无人机的位置投影到所述相机坐标系中，得到相邻无人机在所述相机坐标系中的方向；

S15、计算该检测目标在世界坐标系中的方向，得到从相机坐标系到世界坐标系的旋转矩阵，依据该旋转矩阵得到所述目标物在世界坐标系下的方向。

3.根据权利要求2所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，所述图像坐标系以所述检测图像的上下方向作为y轴，以水平方向作为x轴，以该检测图像四角中任意一角作为坐标系原点；所述相机坐标系以相机焦点作为原点，垂直成像平面方向为x轴，y轴与所述图像坐标系的x轴平行，z轴与所述图像坐标系的y轴平行；所述世界坐标系以预设经纬海拔坐标为原点，以经线作为x轴，纬线作为y轴，重力方向作为z轴。

4.根据权利要求2所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S14中，计算观测方向与相邻无人机之间的夹角作为重合度计算，排除夹角小于设定值的观测方向。

5.根据权利要求2所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S16中，得到所述检测目标后，每个所述观测无人机对所述检测目标进行跟踪，保证所述检测目标始终位于当前检测图像的中心位置。

6.根据权利要求1所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S20中，依据所述相邻无人机的位置信息和所述目标物的检测信息对所述目标物的状态进行估计的具体步骤包括：

S21、对目标物状态进行预测；

S23、对该目标物位置进行卡尔曼更新。

7.根据权利要求1所述的基于机器视觉的多无人机协同目标状态估计控制方法，其特征在于，步骤S40中，依据该估计信息计算所述观测无人机的最优观测控制率的具体步骤包括：

根据所述目标物的估计信息和所述相邻无人机的位置信息，计算所述观测无人机的第一分量、第二分量及第三分量；

以所述第一分量、所述第二分量及所述第三分量作为所述观测无人机的速度控制命令的权重，得出所述观测无人机达到最优观测控制率的速度控制命令；

其中，所述第一分量为观测无人机趋近所述目标物的包围函数的分量；所述第二分量为观测无人机在所述目标物的包围函数上的速度分量；所述第三分量为观测无人机与相邻无人机之间的避障速度分量。

8.基于机器视觉的多无人机协同目标状态估计控制装置，其特征在于，包括无人机本体及设于该无人机本体上的机载计算机、飞行控制系统、无线通信模块、单目视觉传感器及云台；

所述机载计算机存储有计算机程序且分别与所述飞行控制系统、所述无线通信模块、所述单目视觉传感器及所述云台通信连接，其中，该计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至7任一项所述的基于机器视觉的多无人机协同目标状态估计控制方法；

所述飞行控制系统能够获取无人机的位置、姿态；

所述单目视觉传感器设于所述云台上，用于拍摄图像数据；

所述云台能够获取云台姿态角。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一所述的基于机器视觉的多无人机协同目标状态估计控制方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至7任一项所述的基于机器视觉的多无人机协同目标状态估计控制方法。