CN108803652A - 一种旋翼飞行器自主循迹控制方法 - Google Patents

Abstract

本发明公开了一种旋翼飞行器自主循迹飞行方法。飞行器装载有高度测量模块和摄像头，达到预设高度后保持悬停；采用主要由基于机器视觉的方法控制飞行，飞行器正下方布有带有黑线的特殊轨迹图案，飞行器飞行时通过摄像头朝下正下方采集地面上的轨迹图案图像，将图像信息传输到机载处理器模块采用以下方式处理生成角度和距离偏差信息：将角度和距离的偏差信息转换成控制飞行器飞行的PWM信号，通过信号接收机传输到飞行器上的飞行器控制模块，实现飞行器的自主循迹飞行。本发明自主循迹飞行下的视觉导航具有精度高、体积小、信息量大、无源性和信息丰富的优点，能使得飞行器在外界干扰强的地区工作，能够在完成管道巡检、电力巡检等方面。

Description

一种旋翼飞行器自主循迹控制方法

技术领域

本发明涉及一种旋翼飞行器自主循迹控制方法。

背景技术

随着人工智能概念的提出，近年来，四旋翼飞行器由于具有成本低廉、远程遥控、可垂直起降，能够飞越人员无法到达的区域等优点，在航拍、快递、植保以及电力巡检等领域应用极为广泛。当前，控制旋翼飞行器的主流方法是使用遥控实现飞行器的飞行动作或基于GPS信号实现巡航任务。然而，在建筑群密集、偏远地区GPS信号不稳定，并不能满足实际应用要求。视觉导航具有精度高、体积小、信息量大、无源性和信息丰富的优点。视觉导航将图像处理技术应用在飞行器导航中，是一种具备完全自主能力，设备简单、数据量丰富的定位技术，具有广泛的经济价值和深远社会意义。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供一种基于机器视觉的旋翼飞行器自主巡线控制方法，该方法将旋翼飞行器与嵌入式机载处理器模块以及图像采集模块结合起来，从而完成旋翼飞行器自主循线任务，并将误差控制在20cm之内。

本发明首先通过分析四旋翼飞行器的飞行原理以及相关航拍技术的理论基础，选取合适的可见光成像相机、机载嵌入式硬件平台等器材；之后设计合适的循迹路径，完成视频图像传输、图像处理等。最终将处理后的误差结果发送给飞控单元，实现飞行器循迹动作。

本发明所要解决的问题包括如下步骤：

1)飞行器装载有高度测量模块和摄像头，通过高度测量模块检测到飞行器达到预设高度后保持悬停；

2)悬停后采用主要由基于机器视觉的方法控制飞行：飞行器正下方的地面上布置有带有黑线的特殊轨迹图案，飞行器飞行时通过摄像头朝下正下方采集地面上的轨迹图案图像，然后将图像信息传输到机载处理器模块采用以下方式处理生成飞行器相对于轨迹的角度和距离偏差信息：

2.1)对采集的图像序列以每隔50ms保存一帧图像，针对每一帧图像进行高斯滤波，再通过自动阈值算法得到二值化图像，由二值化图像提取图像的第1行到第50行像素点信息，图像的总行数至少超过100行；

2.2)针对每一行，记录每行像素点中由黑变白的像素点A和由白到黑的像素点B作为边缘像素点，从而记录获得第1行的边缘像素点(A₁，B₁)到第50行的边缘像素点(A₅₀，B₅₀)；

2.3)比较得到前50行的100个边缘像素点，采用以下公式计算得到飞行器机体中心纵坐标与黑线中心纵坐标之间的偏差A_d，其中飞行器机体中心坐标为图像正中心(O_x，O_y)：

其中，A_1y、B_1y、A_50y、B_50y分别是边缘像素点A₁₁、B₁₁、A₅₀、B₅₀的纵坐标分量，y表示纵坐标方向；

2.4)根据高度测量模块检测到的高度h采用以下公式计算获得得飞行器机体中心与黑线中心之间的实际距离偏差d：

其中，f为摄像头内参中的焦距，h为飞行器到地面的距离；

2.5)分别取图像第11行、第18行和第25行的边缘像素点(A₁₁，B₁₁)、(A₁₈，B₁₈)和(A₂₅，B₂₅)，根据这六个像素点纵坐标分量采用以下公式求出飞行器机头方向与黑线之间的角度偏差angle：

其中，k₁、k₂分别为第一、第二权重系数，A_11y、B_11y、A_18y、B_18y、A_25y、B_25y分别为边缘像素点A₁₁、B₁₁、A₁₈、B₁₈、A₂₅、B₂₅的纵坐标分量；

3)最后将角度和距离的偏差信息转换成控制飞行器飞行的PWM信号，通过信号接收机传输到飞行器上的飞行器控制模块，实现飞行器的自主循迹飞行。

所述的特殊轨迹图案为两条间隔距离且平行布置的黑线，以白色为背景，飞行器以机头和机尾连线接近平行黑条带的方向飞行。

所述的特殊轨迹图案用于飞行器循迹实验的场景。所述的特殊轨迹图案通过纸或者布在地面铺设形成，或者在地面上绘制形成。

所述的机载处理器模块将摄像头采集到的图像通过串口传至机载处理器模块，机载处理器模块通过图像处理获得飞行器机体与轨迹图案之间的偏差通过串口发送至飞行器控制模块，实现飞行器循迹的目的。

所述的飞行器控制模块接收角度和距离的偏差信息后，转换生成四元数的偏航角、俯仰角和横滚角，通过互补滤波算法和当前飞行器角度信息融合采用PID控制，最终通过PWM输出信号控制无刷直流电机，实现控制旋翼飞行器。

飞控板内部集成的三轴加速度计、数字罗盘等传感器获得飞行器姿态参数，通过互补滤波算法能够有效融合的三轴加速度计、数字罗盘的数据，输出的姿态误差小，能够满足飞行器姿态控制的需要，而且计算量小。将融合后的信息作为反馈输入信息。将机载处理器模块数据作为期望值，飞行器将接收到的PWM信号分析并转化成期望的偏航角、俯仰角和横滚角信息。

通过高度测量模块将高度信息传至机载处理器模块，当高度测量模块检测到飞行器所在高度超过预设值90％以上时，机载处理器模块通过串口向飞行器处理器发送定高模式信号，控制飞行器悬停或定高动作。

所述的机载处理器模块采用ARM Cortex-A53架构1.2GHz 64位四核处理器。

电源管理模块是将锂电池电压降至机载处理器模块和飞控单元所需的电压5V和输出电流2A。

地面站是用来实时接收图像采集模块发送的图像以及机载处理器模块传输的信息。

高度测量模块采用外接超声波传感器对飞行器高度信息的测量和相应数据的发送。

本发明和现有技术相比，具有以下优点：

本发明采用机载处理器模块处理视频图像信息，不仅能很好的实现实时处理图像的要求，同时减少自身处理器资源消耗。由机载处理器模块模拟出控制飞行器的6路PWM信号，可实现完全脱离遥控控制。

本发明自主循迹飞行下的视觉导航具有精度高、体积小、信息量大、无源性和信息丰富的优点。

本发明的自主循迹方式能使得飞行器在外界干扰强的地区工作，能够在完成管道巡检、电力巡检等方面具有重要社会和经济价值。

附图说明

图1是轨迹图案示意图。

图2是本发明图像处理流程图。

图3是串级PID控制流程图。

具体实施方式

结合附图对本发明进一步说明。

本发明具体实施采用主要由飞行器控制模块、机载处理器模块、图像采集模块、高度测量模块、信号接收机以及PC地面站单元组成的系统。飞行器装载有摄像头、飞行器控制模块、机载处理器模块、图像采集模块、高度测量模块和信号接收机，摄像头经过三轴云台连接在飞行器机体中心正下方；PC地面站单元和飞行器之间通过图像传输模块连接；高度测量模块和机载处理器模块连接，机载处理器模块经图像采集模块后与摄像头连接，机载处理器模块经信号接收机连接到飞行器控制模块，图像采集模块将通过摄像头采集的图像信息传输至机载处理器模块处理，飞行控制模块上集成了数字罗盘和三轴加速度计。高度测量模块可以采用气压计。

飞行器控制模块采用ATMEGA2560的处理器模块，用于对三轴加速度计和数字罗盘的数据接收和处理。

飞行器控制模块接收角度和距离的偏差信息后，转换生成四元数的偏航角、俯仰角和横滚角，通过互补滤波算法和当前飞行器角度信息融合采用PID控制，最终通过PWM输出信号控制无刷直流电机，实现控制旋翼飞行器。

通过高度测量模块将高度信息传至机载处理器模块，当高度测量模块检测到飞行器所在高度超过预设值90％以上时，机载处理器模块通过串口向飞行器处理器发送定高模式信号，控制飞行器悬停或定高动作。

机载处理器模块采用ARM Cortex-A53架构1.2GHz 64位四核处理器，搭载无线网卡，能较好的实现处理视频图像以及实时发送视频信息等任务。

机载处理器模块将摄像头采集到的图像通过串口传至机载处理器模块，机载处理器模块通过图像处理获得飞行器机体与轨迹图案之间的偏差通过串口发送至飞行器控制模块，实现飞行器循迹的目的。

具体实施采用采用OV2710摄像单元和可控制的三轴云台，云台将飞行器飞行过程的抖动影响减小到最小，从而减少图像的畸变。摄像头将采集到的视频信息传送到机载处理器模块，实现对旋翼飞行器偏离轨迹的偏差计算。

如图2所示，本发明具体实施过程如下：

1)飞行器装载有高度测量模块和摄像头，通过高度测量模块检测到飞行器达到预设高度后保持悬停；

2)悬停后采用主要由基于机器视觉的方法控制飞行：飞行器正下方的地面上布置有带有黑线的特殊轨迹图案，飞行器飞行时通过摄像头朝下正下方采集地面上的轨迹图案图像，然后将图像信息传输到机载处理器模块采用以下方式处理生成飞行器相对于轨迹的角度和距离偏差信息：

如图1所示，具体实施的特殊轨迹图案为两条间隔距离且平行布置的黑线，以白色为背景，飞行器以机头和机尾连线接近平行黑条带的方向飞行。

2.1)对采集的图像序列以每隔50ms保存一帧图像，针对每一帧图像进行高斯滤波，再通过自动阈值算法得到二值化图像，由二值化图像提取图像的第1行到第50行像素点信息；

2.2)针对每一行，记录每行像素点中由黑变白的像素点A和由白到黑的像素点B作为边缘像素点，从而记录获得第1行的边缘像素点(A₁，B₁)到第50行的边缘像素点(A₅₀，B₅₀)；例如，从第1行开始记录第1行像素点中由黑变白的像素点A₁和由白到黑的像素点B₁，同理记录获得第2行像素(A₂，B₂)到第50行像素点(A₅₀，B₅₀)。

其中摄像头采集图像正向下俯视拍摄，图像的第一行朝向飞行器机头并接近垂直于黑线，最后一行朝向飞行器机尾并接近垂直于黑线。

2.3)比较得到前50行的100个边缘像素点，采用以下公式计算得到飞行器机体中心纵坐标与黑线中心纵坐标之间的偏差A_d，其中飞行器机体中心坐标为图像正中心(O_x，O_y)：

其中，A_1y、B_1y、A_50y、B_50y分别是边缘像素点A₁₁、B₁₁、A₅₀、B₅₀的纵坐标分量，y表示纵坐标方向；本发明以图像中心点作为飞行器中心。

2.4)根据高度测量模块检测到的高度h采用以下公式计算获得得飞行器机体中心与黑线中心之间的实际距离偏差d：

其中，f为摄像头内参中的焦距，h为飞行器到地面的距离；

2.5)分别取图像第11行、第18行和第25行的边缘像素点(A₁₁，B₁₁)、(A₁₈，B₁₈)和(A₂₅，B₂₅)，根据这六个像素点纵坐标分量采用以下公式求出飞行器机头方向与黑线之间的角度偏差angle：

其中，k₁、k₂分别为第一、第二权重系数，A_11y、B_11y、A_18y、B_18y、A_25y、B_25y分别为边缘像素点A₁₁、B₁₁、A₁₈、B₁₈、A₂₅、B₂₅的纵坐标分量；

3)最后将角度和距离的偏差信息转换成控制飞行器飞行的PWM信号，通过信号接收机传输到飞行器上的飞行器控制模块，实现飞行器的自主循迹飞行。

如图3所示，采用串级PID控制算法控制飞行器飞行姿态，期望角度就是机载处理器模块通过串口传输到飞控板的偏差信息。反馈角度来自飞控板内部传感器融合后的数据，二者的偏差作为外环角度环的输入，角度环PID输出角速度的期望值：角速度期望值减去传感器反馈的角速度得到角速度的偏差值，这个值作为内环角速度环的输入，角速度环PID输出姿态控制量，控制量转换为PWM去控制电机，调整相应电机转速实现飞行器期望姿态，从而控制旋翼飞行器。

通过实际测试，该系统在理想的以白色为背景黑色为轨迹的情况下能够比较准确的求出实际飞行器与轨迹的偏差值，使用机载处理器能够很好的将视频传输至地面站。图像的处理速度在1s内能达到30帧，完全满足实时性的要求。

Claims (6)

1.一种旋翼飞行器自主循迹飞行方法，其特征在于包括：

1)飞行器装载有高度测量模块和摄像头，通过高度测量模块检测到飞行器达到预设高度后保持悬停；

2)悬停后采用主要由基于机器视觉的方法控制飞行：飞行器正下方的地面上布置有带有黑线的特殊轨迹图案，飞行器飞行时通过摄像头朝下正下方采集地面上的轨迹图案图像，然后将图像信息传输到机载处理器模块采用以下方式处理生成飞行器相对于轨迹的角度和距离偏差信息：

2.1)对采集的图像序列以每隔50ms保存一帧图像，针对每一帧图像进行高斯滤波，再通过自动阈值算法得到二值化图像，由二值化图像提取图像的第1行到第50行像素点信息；

2.2)针对每一行，记录每行像素点中由黑变白的像素点A和由白到黑的像素点B作为边缘像素点，从而记录获得第1行的边缘像素点(A₁，B₁)到第50行的边缘像素点(A₅₀，B₅₀)；

2.3)比较得到前50行的100个边缘像素点，采用以下公式计算得到飞行器机体中心纵坐标与黑线中心纵坐标之间的偏差A_d，其中飞行器机体中心坐标为图像正中心(O_x，O_y)：

其中，A_1y、B_1y、A_50y、B_50y分别是边缘像素点A₁₁、B₁₁、A₅₀、B₅₀的纵坐标分量，y表示纵坐标方向；

2.4)根据高度测量模块检测到的高度h采用以下公式计算获得得飞行器机体中心与黑线中心之间的实际距离偏差d：

其中，f为摄像头内参中的焦距，h为飞行器到地面的距离；

2.5)分别取图像第11行、第18行和第25行的边缘像素点(A₁₁，B₁₁)、(A₁₈，B₁₈)和(A₂₅，B₂₅)，根据这六个像素点纵坐标分量采用以下公式求出飞行器机头方向与黑线之间的角度偏差angle：

其中，k₁、k₂分别为第一、第二权重系数，A_11y、B_11y、A_18y、B_18y、A_25y、B_25y分别为边缘像素点A₁₁、B₁₁、A₁₈、B₁₈、A₂₅、B₂₅的纵坐标分量；

3)最后将角度和距离的偏差信息转换成控制飞行器飞行的PWM信号，通过信号接收机传输到飞行器上的飞行器控制模块，实现飞行器的自主循迹飞行。

2.根据权利要求1所述的一种旋翼飞行器自主循迹飞行方法，其特征在于：

所述的特殊轨迹图案为两条间隔距离且平行布置的黑线，以白色为背景。

3.根据权利要求1所述的一种旋翼飞行器自主循迹飞行方法，其特征在于：

所述的机载处理器模块将摄像头采集到的图像通过串口传至机载处理器模块，机载处理器模块通过图像处理获得飞行器机体与轨迹图案之间的偏差通过串口发送至飞行器控制模块，实现飞行器循迹的目的。

4.根据权利要求1所述的一种旋翼飞行器自主循迹飞行方法，其特征在于：

所述的飞行器控制模块接收角度和距离的偏差信息后，转换生成四元数的偏航角、俯仰角和横滚角，通过互补滤波算法和当前飞行器角度信息融合采用PID控制，最终通过PWM输出信号控制无刷直流电机，实现控制旋翼飞行器。

5.根据权利要求1所述的一种旋翼飞行器自主循迹飞行方法，其特征在于：

通过高度测量模块将高度信息传至机载处理器模块，当高度测量模块检测到飞行器所在高度超过预设值90％以上时，机载处理器模块通过串口向飞行器处理器发送定高模式信号，控制飞行器悬停或定高动作。

6.根据权利要求1所述的一种旋翼飞行器自主循迹飞行方法，其特征在于：所述的机载处理器模块采用ARM Cortex-A53架构1.2GHz 64位四核处理器。