CN110609571A - 一种基于多无人机的多运动目标分布式协同视觉定位方法 - Google Patents

Abstract

一种基于多无人机的多运动目标分布式协同视觉定位方法，包括多台搭载有双目相机的无人机，每台无人机具有唯一编码；在无人机执行任务之前，在需要定位的目标贴上标志物；无人机飞行过程是识别并形成目标集合{B₁…B_M}，在系统定位代价模型中加入定位精度代价，期望多无人机以最合理的定位目标配比和最优化的航程、时间、定位精度约束的同时，能够快速、高效、协同地完成多目标定位任务，提高系统的稳定性和可靠性。

Description

一种基于多无人机的多运动目标分布式协同视觉定位方法

技术领域

本发明涉及一种视觉定位方法。

背景技术

背景技术的内容只是为了帮助理解技术内容，并非现有技术。

随着科学技术的迅速发展，现在的建筑、工业等环境的基础设施建设已经摆脱了使用大量劳动力的时代，转而越来越依赖于自动化系统，因此建筑机器人等自动化装备应运而生。而在实际的工作中，常常存在多机器人协同工作的场景，因此为了实现多任务的联合调度，对多机器进行定位就显得尤为重要。但是由于工作环境复杂、外干扰等原因，难以在大空间下对多机器人进行高精度的无缝定位，特别是在机器人运动的情况下。无人机(Unmanned Aerial Vehicle,UAV)作为一种不载乘任何操作人员、利用空气动力学进行飞行的能够携带有效载荷的无人飞行平台，具有低成本、使用方便、零伤亡率和机动性强等特点，可以长时间、灵活的执行任务。而视觉定位则是利用视觉传感器获取物体图像，然后通过计算机处理进而获得物体位置信息的定位方式，具有定位精度高、不受电磁干扰的特点。通过在无人机上搭载视觉传感器对运动目标进行定位，可以满足高灵活性、高精度的定位要求，而要在大空间下进行多运动目标定位，则需要多无人机的协同。

“张正友标定”又称“张氏标定”，是指张正友教授于1998年提出的单平面棋盘格的摄像机标定方法。张氏标定法已经作为工具箱或封装好的函数被广泛应用。张氏标定的原文为“A Flexible New Technique forCamera Calibration”，为相机标定提供了很大便利，并且具有很高的精度。从此标定可以不需要特殊的标定物，只需要一张打印出来的棋盘格。

目前在多无人机协同多目标的分配方法中，构建了包含航程代价、时间代价和损失代价的飞行代价模型，然后采用启发式遗传算法，通过引入启发式信息，加速对飞行代价模型优化求解的效率。但是该方法并不是针对目标定位场景，没有考虑定位所需要的视场约束，同时在目标发生移动时存在目标分配误差。

申请人采用修改飞行代价模型，并在飞行代价模型中增加视场约束和运动补偿实现多无人机的多运动目标分布式协同视觉定位。

发明内容

本发明的目的在于提供一种修改飞行代价模型，并在飞行代价模型中增加视场约束和运动补偿实现多无人机的多运动目标分布式协同视觉定位。

本发明采用以下技术方案实现：

一种基于多无人机的多运动目标分布式协同视觉定位方法，包括多台搭载有双目相机的无人机，每台无人机具有唯一编码；在无人机执行任务之前，在需要定位的目标贴上标志物；其特征在于：执行任务时，使无人机起飞，标注出执行任务的无人机集合{A₁…A_n}，无人机飞行过程是识别并形成目标集合{B₁…B_m}，其中，n为执行任务的无人机数量，m表示被识别出来的目标数量；将无人机与目标输入分配模型，获得无人机-目标执行序列集合，无人机-目标执行序列集合由无人机与目标的执行关系组成，每一组无人机与目标的对应关系作为一个无人机-目标执行序列；对每条无人机-目标执行序列进行定位代价计算，定位代价模型为：

F(x)＝w₁e₁d_sum+w₂e₂t_sum+w₃e₃β_sum

其中，w₁对应航程代价的权重因子、w₂对应总飞行时间代价的权重因子、w₃对应定位精度代价的权重因子，d_sum为航程代价，t_sum为时间代价，β_sum为总定位精度代价，e₁、e₂、e₃分别为对应的比例缩放因子，寻找最小定位代价的无人机-目标执行序列作为最优执行序列。

优选的，分配模型为

当n＝m时，有

当n<m时，有

当n>m时，有

其中，u代表第u架无人机，i代表第i个目标，n代表一共n架无人机，m代表一共m个目标，x_(u,i)是决策变量。

优选的，根据分配模型得到无人机和目标相对应的执行序列的方法为

1)对于无人机集合{A₁…A_n}和目标集合{B₁…B_m}，列举所有出无人机集合到目标集合的映射关系组成集合{(A₁,B₁),(A₁,B₂),…,(A_n,B_m)}，其中A为无人机元素，B为目标元素；

2)当n＝m时，挑选使得无人机集合中元素与目标集合元素一一对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列；

当n<m时，挑选使得无人机集合中同一个元素与目标集合中多个元素对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列。

当n>m时，挑选使得目标集合中同一个元素与无人机集合中多个元素对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列；

优选的，定位代价模型为

F(x)＝w₁e₁d_sum+w₂e₂t_sum+w₃e₃β_sum

其中d_sum为航程代价，d_(u,i)表示第u架无人机对第i个目标定位时的航线长度；

t_sum为时间代价，t_(u,i)表示执行对应目标定位时的时间，满足其中，v_(u)为无人机飞行速度；

β_sum为总定位精度代价，

其中L_(u,i),β_(u,i)分别表示执行对应目标定位时，目标与视觉传感器的距离和其离视场中心轴线的空间夹角，取弧度，其中p₁和p₂为对应的缩放因子；

w₁、w₂、w₃分别对应航程代价、总飞行时间代价和定位精度代价的权重因子，满足w₁+w₂+w₃＝1，e₁、e₂、e₃分别为对应的比例缩放因子。

定位代价模型在现有的飞行代价模型上进行了改进，原有飞行代价包含航程代价，时间代价和损失代价，由于原有飞行代价模型并非针对定位场景，我们这里删去了损失代价，并且假定当目标与双目视觉传感器的距离L_(u,i)位于视觉传感器所能识别的区域内(L_th1,L_th2)且目标与双目视觉传感器的视场中心轴线的空间夹角β_(u,i)小于等于某一阈值α时，该目标可以被正确定位，因此加上了包含目标与双目视觉传感器的距离L_(u,i)和目标与双目视觉传感器的视场中心轴线的空间夹角β_(u,i)的总定位精度代价β_sum；d_sum、t_sum、β_sum的符号均为正，与定位代价正相关。

优选的，寻找最小定位代价的无人机-目标执行序列作为最优执行序列的方法为：

1)计算所有执行序列的定位代价集合F_n，计算最优的定位代价F_x，并输出F_x对应的执行序列，根据执行序列中无人机和目标的对应关系为每个无人机分配目标；

2)所有无人机起飞，每个无人机按照自身与目标的对应关系，使用双目视觉传感器测量与目标间的距离，由近至远的测量目标和无人机间的距离；

3)使用张正友标定法计算目标在世界坐标系下的三维信息；

4)对目标进行卡尔曼预测，预测目标下一步的三维信息；

5)计算当前目标三维信息下，当前所有执行序列下的定位代价集合F_n1，以及预测目标三维信息下，当前所有执行序列下的定位代价集合F_n2；

6)计算F_n1集合中的最优定位代价F_X1，并输出执行序列C_X1，计算F_n2集合中的最优定位代价F_x2，并输出执行序列C_X2；

7)当|F_x2-F_x1|<δ时，C_X1为最优执行序列，回到步骤1)，计算下一个目标点的三维信息和预测三维信息，否则，在预测目标三维信息下，重新计算当前所有执行序列下的定位代价集合F_nx；

8)计算F_n集合中的最优定位代价F_xx，并输出F_xx对应的执行序列为最优执行序列，回到步骤1)，继续计算当前目标点的F_X1和F_x2，直到满足|F_x2-F_x1|<δ回到步骤1)，计算下一个目标点的三维信息和预测三维信息。

优选的，计算所有执行序列的定位代价集合F_n的方法为：

1)对于一个执行序列中的映射元素，将无人机到目标的映射所对应的航线长度d_(u,i)、飞行时间t_(u,i)、空间夹角β_(u,i)、目标与视觉传感器的距离L_(u,i)带入计算得到d_sum、t_sum和β_sum；

2)将d_sum、t_sum和β_sum，带入定位代价模型得到当前执行序列的定位代价；

3)计算所有执行序列的定位代价，组成集合F_n。

优选的，计算最优的定位代价F_x，并输出F_x对应的执行序列为最优执行序列的方法为：

1)对于F_n集合中的所有满足d_(u,i)≤D_u，L_(u,i)满足L_th1>L_(u,i)>L_th2，β_(u,i)≤α的元素，使用差分进化计算方法计算F_n集合中的最优定位代价F_X，其中D_u为第u架无人机单次最大航程约束，L_th1、L_th2和α根据双目视觉传感器的内部参数提供,目标与视觉传感器的距离L_(u,i)；

2)输出F_X对应的执行序列C_X。

本发明的有益效果是：

1、在系统定位代价模型中加入定位精度代价，期望多无人机以最合理的定位目标配比和最优化的航程、时间、定位精度约束的同时，能够快速、高效、协同地完成多目标定位任务，提高系统的稳定性和可靠性。

2、采用无迹卡尔曼滤波对目标运动轨迹进行预测，可以对最优分配序列和定位结果进行补偿。

附图说明

图1为本发明的系统模块化示意图。

图2为本发明的多目标分配模块二维示意图。

图3为本发明的系统流程图示意图。

具体实施方式

一种基于多无人机的多运动目标分布式协同视觉定位方法，包括多台搭载有双目相机的无人机，每台无人机具有唯一编码；在无人机执行任务之前，在需要定位的目标贴上标志物；其特征在于：执行任务时，使无人机起飞，标注出执行任务的无人机集合{A₁…A_n}，无人机飞行过程是识别并形成目标集合{B₁…B_m}，其中，n为执行任务的无人机数量，m表示被识别出来的目标数量；将无人机与目标输入分配模型，获得无人机-目标执行序列集合，无人机-目标执行序列集合由无人机与目标的执行关系组成，每一组无人机与目标的对应关系作为一个无人机-目标执行序列；对每条无人机-目标执行序列进行定位代价计算，定位代价模型为：

F(x)＝w₁e₁d_sum+w₂e₂t_sum+w₃e₃β_sum

其中，w₁对应航程代价的权重因子、w₂对应总飞行时间代价的权重因子、w₃对应定位精度代价的权重因子，d_sum为航程代价，t_sum为时间代价，β_sum为总定位精度代价，e₁、e₂、e₃分别为对应的比例缩放因子，寻找最小定位代价的无人机-目标执行序列作为最优执行序列。

作为优选的实施方案，分配模型为

当n＝m时，有

当n>m时，有

当n<m时，有

其中，u,i分别代表第u架无人机和第i个目标,x_(u，i)是决策变量。

作为优选的实施方案，根据分配模型得到无人机和目标相对应的执行序列的方法为

1)对于无人机集合{A₁…A_n}和目标集合{B₁…B_m}，列举所有出无人机集合到目标集合的映射关系组成集合{(A₁,B₁),(A₁,B₂),…,(A_n,B_m)}，其中A为无人机元素，B为目标元素；

2)当n＝m时，挑选使得无人机集合中元素与目标集合元素一一对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列；

当n<m时，挑选使得无人机集合中同一个元素与目标集合中多个元素对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列；

当n>m时，挑选使得目标集合中同一个元素与无人机集合中多个元素对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列。

作为优选的实施方案，定位代价模型为

F(x)＝w₁e₁d_sum+w₂e₂t_sum+w₃e₃β_sum

其中d_sum为航程代价，d_(u，i)表示第u架无人机对第i个目标定位时的航线长度；

t_sum为时间代价，t_(u，i)表示执行对应目标定位时的时间，满足其中，v_(u)为无人机飞行速度；

β_sum为总定位精度代价，

其中L_(u，i),β_(u,i)分别表示执行对应目标定位时，目标与视觉传感器的距离和其离视场中心轴线的空间夹角，取弧度，其中p₁和p₂为对应的缩放因子；

w₁、w₂、w₃分别对应航程代价、总飞行时间代价和定位精度代价的权重因子，满足w₁+w₂+w₃＝1，e₁、e₂、e₃分别为对应的比例缩放因子。

定位代价模型在现有的飞行代价模型上进行了改进，原有飞行代价包含航程代价，时间代价和损失代价，由于原有飞行代价模型并非针对定位场景，我们这里删去了损失代价，并且假定当目标与双目视觉传感器的距离L_(u,i)位于视觉传感器所能识别的区域内(L_th1,L_th2)且目标与双目视觉传感器的视场中心轴线的空间夹角β_(u,i)小于等于某一阈值α时，该目标可以被正确定位，因此加上了包含目标与双目视觉传感器的距离L_(u,i)和目标与双目视觉传感器的视场中心轴线的空间夹角β_(u，i)的总定位精度代价β_sum；d_sum、t_sum、β_sum的符号均为正，与定位代价正相关。

作为优选的实施方案，寻找最小定位代价的无人机-目标执行序列作为最优执行序列的方法为：

1)计算所有执行序列的定位代价集合F_n，计算最优的定位代价F_x，并输出F_x对应的执行序列，根据执行序列中无人机和目标的对应关系为每个无人机分配目标；

2)所有无人机起飞，每个无人机按照自身与目标的对应关系，使用双目视觉传感器测量与目标间的距离，由近至远的测量目标和无人机间的距离；

3)使用张正友标定法计算目标在世界坐标系下的三维信息；

4)对目标进行卡尔曼预测，预测目标下一步的三维信息；

5)计算当前目标三维信息下，当前所有执行序列下的定位代价集合F_n1，以及预测目标三维信息下，当前所有执行序列下的定位代价集合F_n2；

6)计算F_n1集合中的最优定位代价F_X1，并输出执行序列C_X1，计算F_n2集合中的最优定位代价F_x2，并输出执行序列C_X2；

7)当|F_x2-F_x1|<δ时，C_X1为最优执行序列，回到步骤1)，计算下一个目标点的三维信息和预测三维信息，否则，在预测目标三维信息下，重新计算当前所有执行序列下的定位代价集合F_nx；

8)计算F_n集合中的最优定位代价F_xx，并输出F_xx对应的执行序列为最优执行序列，回到步骤1)，继续计算当前目标点的F_X1和F_x2，直到满足|F_x2-F_x1|<δ回到步骤1)，计算下一个目标点的三维信息和预测三维信息。

作为优选的实施方案，计算所有执行序列的定位代价集合F_n的方法为：

1)对于一个执行序列中的映射元素，将无人机到目标的映射所对应的航线长度d_(u，i)、飞行时间t_(u,i)、空间夹角β_(u,i)、目标与视觉传感器的距离L_(u,i)带入计算得到d_sum、t_sum和β_sum；

2)将d_sum、t_sum和β_sum，带入定位代价模型得到当前执行序列的定位代价；

3)计算所有执行序列的定位代价，组成集合F_n。

作为优选的实施方案，计算最优的定位代价F_x，并输出F_x对应的执行序列为最优执行序列的方法为：

1)对于F_n集合中的所有满足d_(u,i)≤D_u，L_(u，i)满足L_th1>L_(u,i)>L_th2，β_(u,i)≤α的元素，使用差分进化计算方法计算F_n集合中的最优定位代价F_X，其中D_u为第u架无人机单次最大航程约束，L_th1、L_th2和α根据双目视觉传感器的内部参数提供,目标与视觉传感器的距离L_(u,i)；

2)输出F_X对应的执行序列C_X。

Claims (7)

1.一种基于多无人机的多运动目标分布式协同视觉定位方法，包括多台搭载有双目相机的无人机，每台无人机具有唯一编码；在无人机执行任务之前，在需要定位的目标贴上标志物；其特征在于：执行任务时，使无人机起飞，标注出执行任务的无人机集合{A₁…A_n}，无人机飞行过程是识别并形成目标集合{B₁…B_m}，其中，n为执行任务的无人机数量，m表示被识别出来的目标数量；将无人机与目标输入分配模型，获得无人机-目标执行序列集合，无人机-目标执行序列集合由无人机与目标的执行关系组成，每一组无人机与目标的对应关系作为一个无人机-目标执行序列；对每条无人机-目标执行序列进行定位代价计算，定位代价模型为：

F(x)＝w₁e₁d_sum+w₂e₂t_sum+w₃e₃β_sum

其中，w₁对应航程代价的权重因子、w₂对应总飞行时间代价的权重因子、w₃对应定位精度代价的权重因子，d_sum为航程代价，t_sum为时间代价，β_sum为总定位精度代价，e₁、e₂、e₃分别为对应的比例缩放因子，寻找最小定位代价的无人机-目标执行序列作为最优执行序列。

2.如权利要求1所述的一种基于多无人机的多运动目标分布式协同视觉定位方法，其特征在于：分配模型为：

当n＝m时，有

当n>m时，有

当n<m时，有

其中，u代表第u架无人机，i代表第i个目标，n代表一共n架无人机，m代表一共m个目标，x_(u,i)是决策变量。

3.如权利要求1和2所述的一种基于多无人机的多运动目标分布式协同视觉定位方法，其特征在于：根据分配模型得到无人机和目标相对应的执行序列的方法为：

1)对于无人机集合{A₁…A_n}和目标集合{B₁…B_m}，列举所有出无人机集合到目标集合的映射关系组成集合{(A₁,B₁),(A₁,B₂),…,(A_n,B_m)}，其中A为无人机元素，B为目标元素；

2)当n＝m时，挑选使得无人机集合中元素与目标集合元素一一对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列；

当n<m时，挑选使得无人机集合中同一个元素与目标集合中多个元素对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列；

当n>m时，挑选使得目标集合中同一个元素与无人机集合中多个元素对应的映射作为一组，并且该组中包含所有无人机集合元素及目标集合元素，该组为一个执行序列。

4.如权利要求1所述的一种基于多无人机的多运动目标分布式协同视觉定位方法，其特征在于：定位代价模型为：

F(x)＝w₁e₁d_sum+w₂e₂t_sum+w₃e₃β_sum

其中d_sum为航程代价，d_(u,i)表示第u架无人机对第i个目标定位时的航线长度，x_(u,i)是决策变量；

t_sum为时间代价，t_(u,i)表示执行对应目标定位时的时间，满足其中，v_(u)为无人机飞行速度；

β_sum为总定位精度代价，

其中L_(u,i)表示执行对应目标定位时，目标与视觉传感器的距离，β_(u,i)表示其离视场中心轴线的空间夹角，取弧度，其中p₁和p₂为对应的缩放因子；

w₁对应航程代价的权重因子、w₂对应总飞行时间代价的权重因子,w₃对应定位精度代价的权重因子，满足w₁+w₂+w₃＝1，e₁、e₂、e₃分别为对应的比例缩放因子。

5.如权利要求1所述的一种基于多无人机的多运动目标分布式协同视觉定位方法，其特征在于：寻找最小定位代价的无人机-目标执行序列作为最优执行序列的方法为：

1)计算所有执行序列的定位代价集合F_n，计算最优的定位代价F_x，并输出F_x对应的执行序列，根据执行序列中无人机和目标的对应关系为每个无人机分配目标；

2)所有无人机起飞，每个无人机按照自身与目标的对应关系，使用双目视觉传感器测量与目标间的距离，由近至远的测量目标和无人机间的距离；

3)使用张正友标定法计算目标在世界坐标系下的三维信息；

4)对目标进行卡尔曼预测，预测目标下一步的三维信息；

5)计算当前目标三维信息下，当前所有执行序列下的定位代价集合F_n1，以及预测目标三维信息下，当前所有执行序列下的定位代价集合F_n2；

6)计算F_n1集合中的最优定位代价F_X1，并输出对应执行序列C_X1，计算F_n2集合中的最优定位代价F_x2，并输出对应执行序列C_X2；

7)当|F_x2-F_x1|<δ时，C_X1仍为最优执行序列，回到步骤1)，计算下一个目标点的三维信息和预测三维信息，否则，在预测目标三维信息下，重新计算当前所有执行序列下的定位代价集合F_nx；

8)计算F_n集合中的最优定位代价F_xx，并输出F_xx对应的执行序列为最优执行序列，回到步骤1)，继续计算当前目标点的F_X1和F_x2，直到满足|F_x2-F_x1|<δ回到步骤1)，计算下一个目标点的三维信息和预测三维信息。

6.如权利要求5所述的一种基于多无人机的多运动目标分布式协同视觉定位方法，其特征在于：计算所有执行序列的定位代价集合F_n的方法为：

1)对于一个执行序列中的映射元素，将无人机到目标的映射所对应的航线长度d_(u,i)、飞行时间t_(u,i)、空间夹角β_(u,i)、目标与视觉传感器的距离L_(u,i)带入计算得到d_sum、t_sum和β_sum；

2)将d_sum、t_sum和β_sum，带入定位代价模型得到当前执行序列的定位代价；

3)计算所有执行序列的定位代价，组成集合F_n。

7.如权利要求5所述的一种基于多无人机的多运动目标分布式协同视觉定位方法，其特征在于：计算最优的定位代价F_x，并输出F_x对应的执行序列为最优执行序列的方法为：

1)对于F_n集合中的所有满足d_(u,i)≤D_u，L_(u,i)满足L_th1>L_(u,i)>L_th2，β_(u,i)≤α的元素，使用差分进化计算方法计算F_n集合中的最优定位代价F_X，其中D_u为第u架无人机单次最大航程约束，L_th1、L_th2和α根据双目视觉传感器的内部参数提供，目标与视觉传感器的距离L_(u,i)；

2)输出F_X对应的执行序列C_X。