CN115454130A - 一种基于机载视角相对定位的室内无人机编队控制方法 - Google Patents

Abstract

本发明属于无人机控制技术领域，具体为一种基于机载视角相对定位的室内无人机编队控制方法。本发明方法包括：地面站预先规定室内飞行过程中期望的无人机编队队形，包括设定跟随者与领航者之间期望的距离以及角度，并根据预先设定的飞行任务，规划领航者飞行路径，跟随者通过机载摄像头第一视角完成动态飞行中对领航者机载标签的相对定位，不需要全局定位信息。系统包括：地面控制站、无人机、通信设备，地面控制站包括视觉图像处理系统与编队控制器，通信设备包括收发机及路由器。与传统的编队方案相比，本发明仅利用机载视觉传感器，硬件成本低，稳定性好且适用范围广，属于轻量级的无人机编队系统。

Description

一种基于机载视角相对定位的室内无人机编队控制方法

技术领域

本发明属于无人机控制技术领域，具体涉及一种基于机载视角相对定位的室内无人机编队控制方法。

背景技术

近年来，随着无人机应用场景以及执行任务多样性的增加，单无人机无法满足日益复杂的需求。群体智能概念是受到对自然界社会性生物群体如蚁群、蜂群等群体行为模式的启发，于20世纪80年代提出。2020年，中国科学院印发的《人工智能发展白皮书》，将“群体智能技术”列为人工智能领域的八大关键技术之一。无人机集群作为群体智能的一种重要形态，将空中机器人技术与群体智能技术相融合，为无人机发展提供了一种新的思路。

无人机集群是指一组无人机通过与其他无人机及周围环境相互作用来完成任务，具有冗余性、鲁棒性、可扩展性。无人机编队是指在飞行过程中，通过无人机之间的交互调整每个无人机的位置状态，达到规定的几何形状。基于无人机编队来执行任务，可以通过设计编队队形来优化信息采集范围并减少机群空气阻力，使无人机集群更加安全、有序，从而提高任务执行效率。无人机编队包括队形设计、队形保持、相对定位、信息融合、编队控制器设计等问题。无人机编队是研究无人机集群的基础，因此多无人机编队研究具有重要的理论和应用价值。

目前，对于室内无人机编队研究，由于没有GPS定位系统，因此编队中无人机的定位常采用UWB定位或者多复杂传感器融合定位。以上方法虽然定位精度较高，但是定位设备搭建复杂，无人机搭载传感器设备较多，容易造成不必要的电量消耗、增加无人机飞行的动力要求，且只能在具有定位系统的固定区域内飞行。由于微小型单架无人机的负荷能力以及续航能力有一定的限制，完成复杂的飞行任务对于单架无人机尤其是微小型无人机形成巨大挑战。因此传统的无人机编队难以解决简单、轻便的轻量级无人机编队飞行，且难以实现室内区域内的稳定飞行。

发明内容

为了解决上述问题，本发明提供的基于机载视角相对定位的室内无人机编队控制方法，以解决传统无人机编队简单、轻便的轻量级无人机编队飞行，难以实现室内区域内的稳定飞行的问题。

本发明提供的基于机载视角相对定位的室内无人机编队控制方法，仅利用轻量级传感器，即机载视觉传感器获取无人机的相对位置，并通过控制采样频率与飞行速度，设计编队飞行控制器，通过识别领航者的标签完成相对定位，实现无人机编队稳定飞行；其中：

地面站通过无线传输与每架无人机进行通讯，接收无人机飞行状态，发送控制指令；

无人机编队飞行中通过自身机载的第一时间视觉传感器获得领航者的相对位姿信息，从而通过编队控制系统引导跟随者与领航者的相对距离以及相对角度，形成稳定飞行的编队，共同完成任务；

编队控制器根据视觉图像处理系统获得当前跟随者与领航者的相对位姿，推算出速度信息；根据当前速度结合无人机视场角范围，调整视频图像采集传输频率，保证领航者始终出现在跟随者视野内，从而通过编队控制器中运动学模型和去除饱和限制的控制方法控制跟随者与领航者的相对位姿，实时计算无人机所需的控制量并传给作动机构，保证编队形状在一定的误差范围内飞行；

据此，实现无人机编队在室内WIFI通信良好的环境下进行平稳的协同飞行。

具体步骤为：

步骤S1，通过打印机创建不同的Apriltag(视觉基准系统)定位标识符，并贴在编队中所有的无人机上。

步骤S2，无人机起飞，在飞行中打开摄像头获取领航者的Apriltag定位标识符，完成相对定位，并将视频流信息回传给地面站；具体步骤为：

步骤S21，通过地面站发送控制指令，使编队中所有无人机以初始速度开始飞行，其中领航者按照预先设定的期望轨迹飞行；

步骤S22，跟随者打开摄像头，将在一定的时间间隔内采集到的视觉信息传输给地面站；

步骤S23，跟随者通过无线WIFI与地面站通信，将视频流信息传输给地面站，地面站利用视觉图像处理系统，获取当前帧图像中领航者的飞行参数，包括领航者与跟随无人机的相对位姿。

步骤S3，位于地面站的图形工作站和编队控制器，将转换为控制指令发送给跟随者；具体步骤为：

步骤S31，视觉图像处理系统将解析的领航者与跟随者的相对位置信息传输给编队控制器，编队控制器的输入为领航者与跟随者的位置信息，输出为速度补偿量；

步骤S32，地面站将编队控制器的输出转换为控制指令，通过无线传输发送给跟随者，跟随者接收到指令后执行相应的动作。

步骤S4，在飞行过程中根据当前编队飞行速度自适应调整图像的采样频率，保证领航者始终出现在跟随者的视野中。

本发明中，地面站通过无线传输与每架无人机进行通讯，接收无人机飞行状态，发送控制指令。该通信系统稳定，不易受外界信号干扰，无人机响应速度快，编队协同性好。

本发明中，无人机编队飞行中通过自身机载的第一时间视觉传感器获得领航者的相对位姿信息，从而通过编队控制系统引导跟随者与领航者的相对距离以及相对角度，形成稳定飞行的编队，共同完成任务。无人机设备简单，负荷低，不需要全局定位信息，且在受到光线或者电磁干扰时，仍能通过视觉定位保持编队飞行，可以提高编队飞行控制系统的抗干扰能力和完成任务的效率，具有广泛的应用前景。

本发明中，编队控制器根据视觉图像处理系统获得当前跟随者与领航者的相对位姿，推算出速度信息。根据当前速度结合无人机视场角范围，调整视频图像采集传输频率，保证领航者始终出现在跟随者视野内，从而通过编队控制器中运动学模型和去除饱和限制的控制方法控制跟随者与领航者的相对位姿，实时计算无人机所需的控制量并传给作动机构，保证编队形状在一定的误差范围内飞行。

本发明编队飞行方法，可以实现无人机编队在室内WIFI通信良好的环境下进行平稳的协同飞行。

附图说明

图1为本发明实施例无人机编队队形。

图2为本发明实施例人机视场角。

图3为本发明实施例Apriltag定位标识。

图4为本发明实施例贴有Apriltag定位标识符的无人机。

图5为本发明实施例无人机相对位姿检测流程图示。

图6为本发明实施例无人机编队视觉定位算法图示。

图7为本发明实施例无人机编队控制器控制图示。

图8为本发明实施例基于机载视角相对定位的室内无人机编队控制方法框架图示。

图9为本发明实施例编队相对位置确定效果图。

具体实施方式

下面结合附图和实施例进一步描述来本发明的基于机载视角相对定位的室内无人机编队控制方法。

地面站通过无线传输与每架无人机进行通讯，接收无人机飞行状态，发送控制指令；

无人机编队飞行中通过自身机载的第一时间视觉传感器获得领航者的相对位姿信息，从而通过编队控制系统引导跟随者与领航者的相对距离以及相对角度，形成稳定飞行的编队，共同完成任务；

编队控制器根据视觉图像处理系统获得当前跟随者与领航者的相对位姿，推算出速度信息；根据当前速度结合无人机视场角范围，调整视频图像采集传输频率，保证领航者始终出现在跟随者视野内，从而通过编队控制器中运动学模型和去除饱和限制的控制方法控制跟随者与领航者的相对位姿，实时计算无人机所需的控制量并传给作动机构，保证编队形状在一定的误差范围内飞行；

据此，实现无人机编队在室内WIFI通信良好的环境下进行平稳的协同飞行。

步骤S1，通过打印机创建不同的Apriltag定位标识符，并贴在编队中所有的无人机上。

步骤S2，无人机起飞，在飞行中打开摄像头获取领航者的Apriltag定位标识符，完成相对定位，并将视频流信息回传给地面站；具体步骤为：

步骤S21，通过地面站发送控制指令，使编队中所有无人机以初始速度开始飞行，其中领航者按照预先设定的期望轨迹飞行；

无人机的运动学模型为：

水平方向：

垂直方向：

设无人机机体坐标系中，以无人机机头向前为X方向，向上为Z方向，由右手准则确定Y方向。其中，X、Y、Z分别为x方向、y方向、z方向坐标位置，υ、ω为无人机飞行线速度与角速度，ψ为无人机飞行方向与X方向夹角，i为第i架无人机(i＝1，2…n)，·表示求导。

对无人机编队进行数学建模：

参见图1，图1所示为无人机编队模型，设l_d、θ分别为跟随者与领航者期望距离与期望角度。f、s为实际距离，e_f、e_s、e_ψ为期望与实际情况误差，f_d为l_d沿着领导者飞行方向上的分量，s_d为以l_d为斜边、θ为夹角构成的直角三角形中，θ所对应的直角边，x_j为第j个跟随者x坐标，y_j为第j个跟随者y坐标，ψ_j为第j个跟随者偏航角。

步骤S22，跟随者打开摄像头，将在一定的时间间隔内将采集到的视觉信息传输给地面站。

参见图2，将无人机视觉建模，假设无人机视场角为60°，即左右各30°，角度之间的关系可以描述为：

其中，γ_max为无人机最大视场角。γ为跟随者与摄像头中心所成的夹角。β为飞行方向与x方向夹角，α为以f、s为直角边构成直角三角形中s的对角，下标i表示第i个跟随者(i＝0，1，…，n-1)；

β_i＝ψ_i-ψ_j

ψ_i、ψ_j分别为领航者与跟随者的偏航角。ω_i、ω_j分别为领航者与跟随者的角速度。

α_i-γ_max≤β_i≤α_i+γ_max； (6)

令

在初始时刻，需满足：

编队飞行中的任意时刻，需满足：

两边求导，化简后得：

α_i-w_max≤w_i≤α_i+w_max， (10)

ω_max为五万人及最大角速度。

无人机角速度饱和限制为：

步骤S23，跟随者通过WIFI与地面站通信，将视频流信息传输给地面站，地面站利用视觉图像处理系统，获取当前帧图像中领航者的飞行参数，包括领航者与跟随无人机相对的位置坐标、飞行姿态。参见图3。

将由打印机创建的大小合适的Apriltag(参见图4)贴在需要跟踪的领航无人机上，跟随者通过视觉，按照一定的时间间隔t，将采集到的包含Apriltag的视觉信息传输给地面视觉图像处理系统，Apriltag经过识别、编码与解码过程后，假设k时刻领航者与跟随者的相对位置为(x₁,y₁,z₁)，k+t时刻的相对位置为(x₂,y₂,z₂)，其中：

y₂＝y₁+v_yt

x₂＝x₁+v_xt； (12)

k时刻：

k+t时刻：

受到无人机视场角限制，需满足：

根据arctanx函数性质，将上式进一步化简为：

У₁，У₂表示y方向相对位置，У₂通过(12)式消除。

由于x₁、y₁、ψ为常数，故可以求出当前飞行速度V与图像采样传输时间间隔t之间的关系。

步骤S3，位于地面站的图形工作站和编队控制器，将转换为控制指令发送给跟随者；具体步骤为：

步骤S31，视觉图像处理系统将解析的领航者与跟随者的相对位置信息传输给编队控制器，编队控制器的输入为领航者与跟随者的位置信息，输出为速度补偿量；

领航者沿着理想路径飞行，跟随者通过视觉与领航者交互信息，并根据相对位置进行速度补偿。而每台跟随者只需要与领航者进行交互，保持与主机之间的相对位置即可。参见图5。

根据PD控制器(参见图6)，其中K_p为比例系数，K_d为微分系数。比例微分(PD)控制器是根据PID控制器去除了积分(I)的影响，仅仅组合使用了比例模块和微分模块简化而来。比例微分控制器可以用于控制航迹误差，减少飞行过程中累计误差的影响，提供很好的性能。由于比例微分控制器需要以较高的频率采集位置信息进行实时的反馈，而本方法采用基于视觉的定位方法处理图像，因此结合S4中飞行速度与采用频率的关系，降低图像处理频率以满足系统性能需求。

跟随者采用离散控制器，其控制策略分别如下所示，控制器的输入为k时刻两无人机之间距离与理想距离的偏差，输出为跟随者速度补偿量。

x方向：

V_x(k)＝V_x0+K_p·[ΔV_x+K_d(ΔV_x(k)-ΔV_x(k-1)]； (19)

y方向：

V_y(k)＝V_y0+K_p·[ΔV_y+K_d(ΔV_y(k)-ΔV_y(k-1)]； (21)

z方向：

ΔV_z＝(z_i(k)-z_j(k))， (22)

V_z(k)＝V_z0+K_p·[ΔV_z+K_d(ΔV_z(k)-ΔV_z(k-1)]， (23)

角速度：

Δw_i＝(ψ_i(k)-ψ_j(k))， (24)

w_z(k)＝w_i0+K_p·[Δw_i+K_d(Δw_i(k)-Δw_i(k-1)]， (25)。

步骤S32，地面站采用位置-速度-姿态的方式，根据S31中无人机当前位置与理想位置之间的误差，计算跟随者的速度补偿量与角速度补偿量，根据其补偿量生成的控制指令，发送给跟随者，跟随者接收到指令后执行相应的动作。

步骤S4，在飞行过程中根据当前编队飞行速度自适应调整图像的采样频率，保证领航者始终出现在跟随者的视野中。

根据上述实施例提供的基于机载视角相对定位的室内无人机编队控制方法，可以在任意室内场景快速定位领导者与跟随者之间的相对位姿，从而进行编队设计参见图9。

本发明未尽事宜为公知技术。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于机载视角相对定位的室内无人机编队控制方法，其特征在于，利用轻量级传感器即机载视觉传感器获取无人机的相对位置，并通过控制采样频率与飞行速度，设计编队飞行控制器，通过识别领航者的标签完成相对定位，实现无人机编队稳定飞行；其中：

地面站通过无线传输与每架无人机进行通讯，接收无人机飞行状态，发送控制指令；

无人机编队飞行中通过自身机载的第一时间视觉传感器获得领航者的相对位姿信息，从而通过编队控制系统引导跟随者与领航者的相对距离以及相对角度，形成稳定飞行的编队，共同完成任务；

编队控制器根据视觉图像处理系统获得当前跟随者与领航者的相对位姿，推算出速度信息；根据当前速度结合无人机视场角范围，调整视频图像采集传输频率，保证领航者始终出现在跟随者视野内，从而通过编队控制器中运动学模型和去除饱和限制的控制方法控制跟随者与领航者的相对位姿，实时计算无人机所需的控制量并传给作动机构，保证编队形状在一定的误差范围内飞行；

据此，实现无人机编队在室内WIFI通信良好的环境下进行平稳的协同飞行。

2.根据权利要求1所述的室内无人机编队控制方法，其特征在于，具体步骤为：

步骤S1，通过打印机创建不同的Apriltag定位标识符，并贴在编队中所有的无人机上；

步骤S2，无人机起飞，在飞行中打开摄像头获取领航者的Apriltag定位标识符，完成相对定位，并将视频流信息回传给地面站；具体步骤为：

步骤S21，通过地面站发送控制指令，使编队中所有无人机以初始速度开始飞行，其中领航者按照预先设定的期望轨迹飞行；

步骤S22，跟随者打开摄像头，将在一定的时间间隔内采集到的视觉信息传输给地面站；

步骤S23，跟随者通过无线WIFI与地面站通信，将视频流信息传输给地面站，地面站利用视觉图像处理系统，获取当前帧图像中领航者的飞行参数，包括领航者与跟随无人机的相对位姿；

步骤S3，位于地面站的图形工作站和编队控制器，将转换为控制指令发送给跟随者；具体步骤为：

步骤S31，视觉图像处理系统将解析的领航者与跟随者的相对位置信息传输给编队控制器，编队控制器的输入为领航者与跟随者的位置信息，输出为速度补偿量；

步骤S32，地面站将编队控制器的输出转换为控制指令，通过无线传输发送给跟随者，跟随者接收到指令后执行相应的动作；

步骤S4，在飞行过程中根据当前编队飞行速度自适应调整图像的采样频率，保证领航者始终出现在跟随者的视野中。

3.根据权利要求2所述的室内无人机编队控制方法，其特征在于，步骤S2的流程为：

S21，通过地面站发送控制指令，使编队中所有无人机以初始速度开始飞行，其中领航者按照预先设定的期望轨迹飞行；

无人机的运动学模型为：

水平方向：

垂直方向：

设无人机机体坐标系中，以无人机机头向前为X方向，向上为Z方向，由右手准则确定Y方向；其中，X、Y、Z分别为x方向、y方向、z方向坐标位置，υ、ω为无人机飞行线速度与角速度，ψ为无人机飞行方向与X方向夹角，i为第i架无人机，i＝1，2…n，n为无人机的架数；·表示求导；

对无人机编队进行数学建模：

理想：

实际：

误差：

l_d、θ分别为跟随者与领航者期望距离与期望角度；f、s为实际距离，e_f、e_s、e_ψ为期望与实际情况误差，f_d为l_d沿着领导者飞行方向上的分量，s_d为以l_d为斜边、θ为夹角构成的直角三角形中，θ所对应的直角边，x_j为第j个跟随者x坐标，y_j为第j个跟随者y坐标，ψ_j为第j个跟随者偏航角；

S22，跟随者打开摄像头，将在一定时间间隔内将采集到的视觉信息传输给地面站；

将无人机视觉建模，假设无人机视场角为60°，即左右各30°，角度之间的关系描述为：

β_i+γ_i＝α_i，γ≤γ_max＝30°

其中，γ_max为无人机最大视场角，γ为跟随者与摄像头中心所成的夹角；β为飞行方向与x方向夹角，α为以f、s为直角边构成直角三角形中s的对角，下标i表示第i个跟随者，i＝0，1，...，n-1；

β_i＝ψ_i-ψ_j

ψ_i、ψ_j分别为领航者与跟随者的偏航角；ω_i、ω_j分别为领航者与跟随者的角速度；

α_i-γ_max≤β_i≤α_i+γ_max； (6)

令

在初始时刻，满足：

编队飞行中的任意时刻，满足：

两边求导，化简后得：

α_i-w_max≤w_i≤α_i+w_max， (10)

ω_max为五万人及最大角速度；

无人机角速度饱和限制为：

S23，跟随者通过WIFI与地面站通信，将视频流信息传输给地面站，地面站利用视觉图像处理系统，获取当前帧图像中领航者的飞行参数，飞行参数包括领航者与跟随无人机相对的位置坐标、飞行姿态；

将由打印机创建的大小合适的Apriltag贴在需要跟踪的领航无人机上，跟随者通过视觉，按照一定的时间间隔t，将采集到的包含Apriltag的视觉信息传输给地面视觉图像处理系统，Apriltag经过识别、编码与解码过程后，假设k时刻领航者与跟随者的相对位置为(x₁,y₁,z₁)，k+t时刻的相对位置为(x₂,y₂,z₂)，其中：

y₂＝y₁+v_yt

x₂＝x₁+v_xt； (12)

k时刻：

k+t时刻：

受到无人机视场角限制，满足：

根据arctanx函数性质，将上式进一步化简为：

由于x₁、y₁、ψ为常数，故可以求出当前飞行速度V与图像采样传输时间间隔t之间的关系。

4.根据权利要求3所述的室内无人机编队控制方法，其特征在于，步骤S3的流程为：

S31，视觉图像处理系统将解析的领航者与跟随者的相对位置信息传输给编队控制器，编队控制器的输入为领航者与跟随者的位置信息，输出为速度补偿量；

领航者沿着理想路径飞行，跟随者通过视觉与领航者交互信息，并根据相对位置进行速度补偿；每台跟随者只需要与领航者进行交互，保持与主机之间的相对位置；

所述编队控制器采用PD控制器，设K_p为比例系数，K_d为微分系数；

跟随者采用离散控制器，其控制策略分别如下所示，控制器的输入为k时刻两无人机之间距离与理想距离的偏差，输出为跟随者速度补偿量：

x方向：

V_x(k)＝V_x0+K_p·[ΔV_x+K_d(ΔV_x(k)-ΔV_x(k-1)]； (19)

y方向：

V_y(k)＝V_y0+K_p·[ΔV_y+K_d(ΔV_y(k)-ΔV_y(k-1)]； (21)

z方向：

ΔV_z＝(z_i(k)-z_j(k))， (22)

V_z(k)＝V_z0+K_p·[ΔV_z+K_d(ΔV_z(k)-ΔV_z(k-1)]， (23)

角速度：

Δw_i＝(ψ_i(k)-ψ_j(k))， (24)

w_z(k)＝w_i0+K_p·[Δw_i+K_d(Δw_i(k)-Δw_i(k-1)]， (25)

S32，地面站采用位置-速度-姿态的方式，根据S31中无人机当前位置与理想位置之间的误差，计算跟随者的速度补偿量与角速度补偿量，根据其补偿量生成的控制指令，发送给跟随者，跟随者接收到指令后执行相应的动作。

Images