CN110231828A - 基于nftsm的四旋翼无人机视觉伺服控制方法 - Google Patents

Abstract

本发明涉及飞行机器人控制技术领域，提供一种基于NFTSM的四旋翼无人机视觉伺服控制方法，实现在室内无GPS信号环境下，依靠机载相机和惯性测量元件实现对四旋翼无人机的飞行控制。本发明采用的技术方案是：基于NFTSM的四旋翼无人机视觉伺服控制方法，其包括如下步骤：利用安装在四旋翼无人机底部的摄像头采集图像信息，利用惯性测量元件获取无人机的姿态角及角速度信息；使用透视投影的方法来提取地面目标的特征点，来选取适当的图像特征；根据图像特征分别设计四旋翼飞行器的位置及姿态控制器，实现四旋翼无人机的自主飞行控制；仿真及实验验证。本发明实现了无人机在GPS信号缺失的环境下实现自主、精确飞行控制的目的。

Description

基于NFTSM的四旋翼无人机视觉伺服控制方法

技术领域

本发明涉及飞行机器人控制技术领域，尤其涉及一种在GPS信号缺失环境下基于NFTSM 的四旋翼无人机视觉伺服控制方法。

背景技术

无人机(UAV)具有许多优点和广泛的应用，它在搜索、救援、监视、航拍、远程遥感等领 域已得到广泛应用。与有人驾驶的飞行器和固定翼无人机相比，四旋翼无人机由于体型小、 可垂直起降、机动灵敏等特点，使针对狭窄空间的搜索成为可能，并且在室内进行飞行测试 更加方便；此外其以电池替代燃料驱动，即使发生碰撞也不会对人类造成严重威胁，安全性 得到大幅提升。近年来，四旋翼无人机因体型小、造价低、易操作、易维护和适用于严峻环 境等特点，已逐步成为无人机研究的热点。它在各个方面都得到了广泛的研究。

随着四旋翼的应用日益增多，研究人员通过开发新的控制方法和设计先进的传感器来提 高其性能。目前，室外自主飞行器普遍采用GPS系统实现定位，然而GPS信号强弱问题大大 影响定位精度，尤其是在室内、洞穴以及建筑物繁多的城市等GPS较弱甚至失效的环境中， 需要一个可靠的方法来控制飞行器自主飞行，因此视觉传感器受到了研究人员的青睐。视觉 伺服是近年来无人机研究的热点之一，主要针对四旋翼的视觉技术，包括状态估计，同时定 位与地图构建(SLAM)，自动着陆，自主避障等。这些技术都是以机载摄像机为主要传感器进 行测量和控制的。在机载处理信息的情况下，视觉伺服可以被应用到独立且GPS失效的环境 中，视觉伺服通过摄像头获取视觉信息控制飞行器运动，摄像头不仅具有重量轻、体积小、 无源、低功耗等特点，而且能够提供位置及速度信息的高分辨率数据。因此，四旋翼的视觉 伺服可以实现室内环境和较大开阔空间内的自主飞行。

发明内容

本发明所要解决的技术问题是，提供一种基于NFTSM(非奇异快速终端滑模,Nonsingular Fast Terminal Sliding Mode)的四旋翼室内导航方法，实现在室内无GPS信号环境下，依 靠机载相机和惯性测量元件实现对四旋翼无人机的飞行控制。

本发明采用的技术方案是这样实现的：

一种基于NFTSM的四旋翼无人机视觉伺服控制方法，其包括如下步骤：

S1、利用安装在四旋翼无人机底部的摄像头采集图像信息，利用惯性测量单元获取无人 机的姿态角φ,θ,ψ及角速度信息；

S2、使用透视投影的方法来提取地面目标的特征点，通过选取图像特征，并重新构建一 个虚拟图像平面，来导出所述图像特征的视觉动态；选取用来控制位移运动的图像特征q为：

q＝[q_x q_y q_z]^T，

其中，符号T表示矩阵转置,v表示虚拟图像平面，(^vu_g,^vn_g)表示虚拟图像平面v中N个 图像特征点(^vu_k,^vn_k),k∈{1:N}形成的凸状图像的形心坐标，a表示虚拟图像平面v中N个图像特征点(^vu_k,^vn_k)形成的凸状图像的面积，a_d是a的期望 值,λ为摄像头的焦距；

并且用来控制偏航角ψ的图像特征q_ψ为：

其中，^vμ_ij表示虚拟图像平面v中N个图像特征点(^vu_k,^vn_k)形成的凸状图像的中心距，

S3、根据图像动态分别设计四旋翼飞行器的位置及姿态控制器，利用步骤S2提取的图像 动态q、q_ψ和给定的期望的图像特征设计非奇异快速 终端滑模控制器，分别控制四旋翼无人机的位置和姿态，实现四旋翼无人机的自主飞行；以 及

S4、在仿真环境下，为四旋翼无人机设计视觉伺服控制系统，选取参数进行仿真，并对 仿真结果进行分析；构建所述四旋翼无人机的视觉伺服数学模型和仿真平台，在所述仿真平 台中形成目标轨迹，建立所述四旋翼无人机的六自由度运动模型，获得四旋翼无人机的仿真 模型；在所述仿真模型的基础上，对控制器进行仿真及参数优化，实现预设的收敛性。

可优选的是，所述虚拟图像平面的具体方法包括：构建惯性坐标系I＝{O_i,X_i,Y_i,Z_i}和机体 坐标系B＝{O_b,X_b,Y_b,Z_b}，并假设相机坐标系C＝{O_c,X_c,Y_c,Z_c}与机体坐标系重合；重新构建一 个虚拟相机坐标系V＝{O_v,X_v,Y_v,Z_v}，其偏航角ψ与相机坐标系相同，翻滚角φ和俯仰角θ为0， 使在距离虚拟坐标系O_v焦距λ长度处生成的虚拟图像平面与地面平行。

可优选的是，所述的透视投影方法：

假设地面上一个固定点p，在虚拟相机坐标系中的坐标^vp(t)＝[^vx ^vy ^vz]^T表示为：

其中，R_ψ为绕z轴的旋转矩阵，^Ip为点p在惯性坐标系下的坐标，O_v(t)为虚拟相机坐标系的原点；

根据透视投影的方法，点p投影在虚拟图像平面的坐标(^vu,^vn)为：

其图像动态为：

其中，v＝[^vv_x ^vv_y ^vv_z]^T为四旋翼无人机在虚拟相机坐标系中表达的线速度。

可优选的是，所述的非奇异快速终端滑模选取为：

其中，σ₁和σ₂为正常数，且参数p、q、l满足和关于变量x的数学符号x^[l]的表达式为x^[l]＝|x|^lsign(x)，sign表示符号函数，为变量x的导数，数学符号的 表达式为

更进一步的是，所述的外环位置控制器表示为：

其中，图像特征误差e_q＝q-q^d＝[e_qx e_qy e_qz]^T，z_d表示深度的期望值，δ为外部扰动的 上界，η为任意正常数，常数k,p,q,l为需要调整的参数。

进一步可优选的是，所述的内环姿态控制器设计为：

其中，J＝diag[J_xx,J_yy,J_zz]为四旋翼的惯性矩阵，偏航特征误差欧拉角误差 e_φ＝φ-φ_d，e_θ＝θ-θ_d，φ_d和θ_d为期望的翻滚角和俯仰角，常数k,p,q,l为需要调整的参数。

本发明采用以上技术方案和现有技术相比所具有的有益效果在于：

(1)本发明采用的NFTSM控制器首次实现了基于视觉伺服的四旋翼飞行器的有限时间收 敛性。

(2)本发明利用NFTSM处理了图像动态引起的不确定性和外部扰动，提升了系统的鲁棒 性。

(3)本发明在Matlab仿真环境下，为四旋翼无人机设计了视觉伺服控制系统，选取不 同参数进行仿真，并对仿真结果进行分析。同时，为四旋翼无人机搭建基于视觉伺服的控制 平台，设计上位机控制程序，在实验中对所提出的一种基于NFTSM的四旋翼无人机视觉伺服 控制方法的结果进行验证。本发明的方法相比于现有方法具有更快的收敛速度和更好的抗干 扰性能。

附图说明

图1是相机坐标系和虚拟相机坐标系及其虚拟图像平面示意图；

图2是本发明提供基于NFTSM的四旋翼无人机视觉伺服控制系统方框图；

图3是四旋翼无人机在x、y、z轴三个方向上的平移运动曲线图；

图4是四旋翼无人机的欧拉角变化曲线示意图；

图5是图像特征误差e_q和e_ψ收敛到零的示意图；

图6中示出虚拟图像平面上特征点的图像轨迹图，以及

图7为本发明基于NFTSM的四旋翼无人机视觉伺服控制方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将对本发明的一种基于NFTSM 的四旋翼无人机视觉伺服控制方法的具体实施方式进行说明。应当理解，此处描述的具体实 施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出的基于NFTSM的四旋翼无人机视觉伺服控制方法，其主要包括四方面：利用 摄像头和惯性测量单元采集图像信息和姿态角及角速度信息、建立虚拟相机坐标系导出图像 动态、设计四旋翼飞行器的位置及姿态控制器、仿真及实验验证。本发明的基于NFTSM的四 旋翼无人机视觉伺服控制方法，其具体包括以下步骤：

步骤1：利用安装在四旋翼无人机底部的摄像头采集图像信息，利用惯性测量单元获取 无人机的姿态角φ,θ,ψ及角速度信息，这两部分信息作为状态反馈。

步骤2：使用透视投影的方法来提取地面目标的特征点，通过选取适当的图像特征，并 重新构建一个虚拟图像平面，使其平行于地面的目标，来导出图像特征的视觉动态。

如图1所示，构建惯性坐标系I＝{O_i,X_i,Y_i,Z_i}和机体坐标系B＝{O_b,X_b,Y_b,Z_b}，并假设相机 坐标系C＝{O_c,X_c,Y_c,Z_c}与机体坐标系重合。重新构建一个虚拟相机坐标系V＝{O_v,X_v,Y_v,Z_v}， 其偏航角ψ与相机坐标系相同，翻滚角φ和俯仰角θ为0，，这样可以使在距离虚拟坐标系O_v焦距λ长度处生成的虚拟图像平面与地面平行。

假设地面上一个固定点p，在虚拟相机坐标系中的坐标^vp(t)＝[^vx ^vy ^vz]^T表示为：

其中，R_ψ为绕z轴的旋转矩阵，^Ip为点p在惯性坐标系下的坐标，O_v(t)为虚拟相机坐标系的原点；

根据透视投影的方法，点p投影在虚拟图像平面的坐标(^vu,^vn)为：

其图像动态为：

其中，v＝[^vv_x ^vv_y ^vv_z]^T为四旋翼无人机在虚拟相机坐标系中表达的线速度。

本发明选取用来控制位移运动的图像特征为：

q＝[q_xq_yq_z]^T，

其中，数学符号T表示矩阵转置,v表示虚拟图像平面，(^vu_g,^vn_g)表示虚拟图像平面v中 N个图像特征点(^vu_k,^vn_k)k,∈{1N:形}成的凸状图像的形心坐标， a表示虚拟图像平面v中N个图像特征点(^vu_k,^vn_k)形成的凸状图像的面积，a_d是a的期望值,λ为摄像头的焦距。

并且用来控制偏航角ψ的图像特征q_ψ为：

其中，^vμ_ij表示虚拟图像平面v中N个图像特征点(^vu_k,^vn_k)形成的凸状图像的中心距，

步骤3：根据图像动态分别设计四旋翼飞行器的位置及姿态控制器，实现四旋翼无人机 的自主飞行。

设计NFTSM控制器，实现四旋翼无人机的飞行控制，选取的非奇异快速终端滑模为：

其中，σ₁和σ₂为正常数，且参数p、q、l满足和关于变量x的数学符 号x^[l]的表达式为x^[l]＝|x|^lsign(x)，sign表示符号函数，为变量x的导数，数学符号的表达式为

如图2所示，利用步骤2提取的图像动态q＝[q_x q_y q_z]^T、和 给定的期望的图像特征设计外环位置控制器，实现四 旋翼无人机的位移控制的位置控制器为：

其中，图像特征误差e_q＝q-q^d＝[e_qx e_qy e_qz]^T，z_d表示深度的期望值，δ为外部扰动的 上界，η为任意正常数，常数k,p,q,l为需要调整的参数。

偏航方向则采用给定的期望的偏航角图像特征，以及通过位置控制律反解出的期望的俯 仰角和翻滚角，

将这些控制量发送给内环姿态控制器，利用步骤1所获取四旋翼无人机姿态角信息，实 现四旋翼无人机的内环姿态控制，其NFTSM控制器设计如下：

其中，J＝diag[J_xx,J_yy,J_zz]为四旋翼的惯性矩阵，偏航特征误差欧拉角误差e_φ＝φ-φ_d，e_θ＝θ-θ_d，常数k,p,q,l为需要调整的参数。

步骤4：在Matlab仿真环境下，为四旋翼无人机设计了视觉伺服控制系统，选取适当的 参数进行仿真，并对仿真结果进行分析。

四旋翼无人机视觉伺服数学模型的构建和仿真平台的搭建，仿真平台中目标轨迹的研究， 针对四旋翼飞行器的动力学和运动学方程，建立六自由度运动模型，详细分析所受合力和合 力距，最终给出四旋翼飞行器的视觉伺服模型方程组，基于该方程组在MATLAB中建立四旋翼 飞行器仿真模型。在仿真模型的基础上，对控制器进行仿真及参数优化，实现良好的收敛性， 并且考虑存在外界扰动的情况下，具有良好的鲁棒性。

本发明选用的四旋翼仿真系统设计为，质量m＝2kg，惯性矩阵 J＝diag{0.0081,0.0081,0.0142}kg·m²/rad²，重力加速度g＝9.81m/s²。地面目标特征点选取为 矩形的4个顶点，在惯性坐标系下的坐标为(0.25,0.5,0),(-0.25,0.5,0),(-0.25,-0.5,0),(0.25,-0.5,0)。

四旋翼无人机的初始位置为(3,2,-8)，初始欧拉角为(0,0,0.174)。

期望的图像特征为：a_d＝8×10^-7和

控制器的参数选取为：k_i＝0.5,(i∈{1,3,5,7,9,11})，k_i＝1,(i∈{2,4,6,8,10,12})， l_i＝1.5,(i∈{1,2,3,4,5,6})。时变的外界扰动d＝sint。给定的期望 图像特征会使四旋翼无人机的最终位置停在点(0,0,-4)。

仿真结果如图3至图6所示。在图3中，图像展示了四旋翼无人机在x、y、z轴三个方向上的平移运动。图4为四旋翼无人机的欧拉角变化曲线。图5为图像特征误差e_q和e_ψ收敛到零。在图6中示出虚拟图像平面上特征点的图像轨迹。图7为本发明基于NFTSM的四旋翼无人机视觉伺服控制方法的流程示意图。

仿真结果表明，本发明与现有技术相比较，该算法具有更快的收敛速度。在存在外部扰 动的情况下，具有良好的抗干扰性能，四旋翼无人机可以平滑地飞行到指定位置。并且本发 明采用的NFTSM控制器首次实现了基于视觉伺服的四旋翼飞行器的有限时间收敛性。

以上所述实施例仅表达了本发明的某种实施方式，其描述较为具体和详细，但不能因此 而理解为对本发明范围的限制。应当指出的是，任何熟悉本发明的技术人员，在不脱离本技 术方案范围，当利用上述揭示的技术内容作出些许变更或修饰为等同变化的等效实施例，但 凡是未脱离本发明技术方案内容，均属于本发明的保护范围内。

Claims (6)

1.一种基于NFTSM的四旋翼无人机视觉伺服控制方法，其特征在于，其包括如下步骤：

S1、利用安装在四旋翼无人机底部的摄像头采集图像信息，利用惯性测量单元获取无人机的姿态角φ,θ,ψ及角速度信息；

S2、使用透视投影的方法来提取地面目标的特征点，通过选取图像特征，并重新构建一个虚拟图像平面，来导出所述图像特征的视觉动态；选取用来控制位移运动的图像特征q为：

q＝[q_x q_y q_z]^T，

其中，符号T表示矩阵转置,v表示虚拟图像平面，(^vu_g,^vn_g)表示虚拟图像平面v中N个图像特征点(^vu_k,^vn_k),k∈{1:N}形成的凸状图像的形心坐标，a表示虚拟图像平面v中N个图像特征点(^vu_k,^vn_k)形成的凸状图像的面积，a_d是a的期望值,λ为摄像头的焦距；

并且用来控制偏航角ψ的图像特征q_ψ为：

其中，^vμ_ij表示虚拟图像平面v中N个图像特征点(^vu_k,^vn_k)形成的凸状图像的中心距，

S3、根据图像动态分别设计四旋翼飞行器的位置及姿态控制器，利用步骤S2提取的图像动态q、q_ψ和给定的期望的图像特征设计非奇异快速终端滑模控制器，分别控制四旋翼无人机的位置和姿态，实现四旋翼无人机的自主飞行；以及

S4、在仿真环境下，为四旋翼无人机设计视觉伺服控制系统，选取参数进行仿真，并对仿真结果进行分析；构建所述四旋翼无人机的视觉伺服数学模型和仿真平台，在所述仿真平台中形成目标轨迹，建立所述四旋翼无人机的六自由度运动模型，获得四旋翼无人机的仿真模型；在所述仿真模型的基础上，对控制器进行仿真及参数优化，实现预设的收敛性。

2.根据权利要求1所述的基于NFTSM的四旋翼无人机视觉伺服控制方法，其特征在于，所述虚拟图像平面的具体方法包括：构建惯性坐标系I＝{O_i,X_i,Y_i,Z_i}和机体坐标系B＝{O_b,X_b,Y_b,Z_b}，并假设相机坐标系C＝{O_c,X_c,Y_c,Z_c}与机体坐标系重合；重新构建一个虚拟相机坐标系V＝{O_v,X_v,Y_v,Z_v}，其偏航角ψ与相机坐标系相同，翻滚角φ和俯仰角θ为0，使在距离虚拟坐标系O_v焦距λ长度处生成的虚拟图像平面与地面平行。

3.根据权利要求2所述的基于NFTSM的四旋翼无人机视觉伺服控制方法，其特征在于，所述的透视投影方法：

假设地面上一个固定点p，在虚拟相机坐标系中的坐标^vp(t)＝[^vx ^vy ^vz]^T表示为：

其中，R_ψ为绕z轴的旋转矩阵，^Ip为点p在惯性坐标系下的坐标，O_v(t)为虚拟相机坐标系的原点；

根据透视投影的方法，点p投影在虚拟图像平面的坐标(^vu,^vn)为：

其图像动态为：

其中，v＝[^vv_x ^vv_y ^vv_z]^T为四旋翼无人机在虚拟相机坐标系中表达的线速度。

4.根据权利要求1或者3所述的基于NFTSM的四旋翼无人机视觉伺服控制方法，其特征在于，所述的非奇异快速终端滑模s选取为：

其中，σ₁和σ₂为正常数，且参数p、q、l满足和关于变量x的数学符号x^[l]的表达式为x^[l]＝|x|^lsign(x)，sign表示符号函数，为变量x的导数，数学符号的表达式为

5.根据权利要求1或者3所述的基于NFTSM的四旋翼无人机视觉伺服控制方法，其特征在于，所述的外环位置控制器表示为：

其中，图像特征误差e_q＝q-q^d＝[e_qx e_qy e_qz]^T，z_d表示深度的期望值，δ为外部扰动的上界，η为任意正常数，常数k,p,q,l为需要调整的参数。

6.根据权利要求5所述的基于NFTSM的四旋翼无人机视觉伺服控制方法，其特征在于，所述的内环姿态控制器设计为：

其中，J＝diag[J_xx,J_yy,J_zz]为四旋翼的惯性矩阵，偏航特征误差欧拉角误差e_φ＝φ-φ_d，e_θ＝θ-θ_d，φ_d和θ_d为期望的翻滚角和俯仰角，常数k,p,q,l为需要调整的参数。