CN108829130A - 一种无人机巡线飞行控制系统及方法 - Google Patents

Abstract

本发明涉及一种无人机巡线飞行控制系统及方法，系统包括无人机、数据采集组件和控制器；数据采集组件用于采集飞行有关数据传至控制器，控制器包括无人机驱动节点和巡线飞行控制节点；控制器接收无人机的视频图像数据，由其中的无人机驱动节点处理后发送到巡线飞行控制节点，巡线飞行控制节点对视频图像信息进行处理并识别轨迹，再检测轨迹误差，经PI控制后得到左右线速度和偏转角速度，再加上向前线速度发送到无人机驱动节点，再由无人机驱动节点处理后发送到无人机，使无人机巡线飞行。该方法利用前述系统进行巡线飞行，由于飞行误差进行PI控制，无人机飞行轨迹接近于预设轨迹，能良好的自主跟随预设轨迹进行飞行，实现无人机的巡线飞行。

Description

一种无人机巡线飞行控制系统及方法

技术领域

本发明涉及无人机视觉导航自主飞行技术领域，特别涉及无人机巡线飞行控制系统及方法。

背景技术

多旋翼无人机，是一种具有三个及以上旋翼轴的特殊的无人驾驶直升机。其通过每个轴上的电动机转动，带动旋翼，从而产生升推力。通过改变不同旋翼之间的相对转速，可以改变单轴推进力的大小，从而控制飞行器的运行轨迹。比如四旋翼无人机，当飞机四个螺旋桨的升力之和等于飞机总重量时，飞机的升力与重力相平衡，飞机就可以悬停在空中，实现定高飞行。根据牛顿第三定律，旋翼在旋转的同时，也会同时向电机施加一个反作用力(反扭矩)，促使电机向反方向旋转，无人机会做自旋运动。所以为了避免飞机自旋，四旋翼飞机的四个螺旋桨中，相邻的两个螺旋桨旋转方向是相反的。当飞机需要升高高度时，四个螺旋桨同时加速旋转，升力加大，飞机就会上升，当飞机需要降低高度时同理。当要飞机原地旋转时，我们就可以利用反扭矩，相对的两个顺时针旋转的电机转速增加，相对的两个逆时针旋转的电机转速降低，由于反扭矩影响，飞机就会产生逆时针方向的旋转。前进时，后面两个电机螺旋桨会提高转速，同时前面两个电机螺旋桨降低转速，由于飞机后部的升力大于飞机前部，飞机的姿态会向前倾斜，已达到前后偏航角的控制，螺旋桨产生的升力除了在竖直方向上抵消飞机重力外，还在水平方向上有一个分力，这个分力就让飞机有了水平方向上的加速度，飞机也因而能向前飞行。后退和左右飞行同理。

多旋翼无人机采用光流传感器实现相对于地面的定位，已达到对位置的控制。多旋翼无人机操控性强，可垂直起降和悬停，主要适用于低空、低速、有垂直起降和悬停要求的任务类型；

无人机的控制方式发展至今，主要形成了遥控、程序控制/指令控制、半自主控制和自主控制等四种控制方式。

数字图像处理是指利用计算机对图像进行处理的方法和技术。常用的图像中物体检测查找方法有二值化、反投影直方图、均值漂移、形态学滤波、分水岭算法、方向滤波、拉普拉斯变换、Canny算子、霍夫变换等等，再配合图像颜色空间转换，直方图均衡化、滤波操作等图像处理的方法。计算机中，按照颜色和灰度的多少可以将图像分为二值图像、灰度图像、索引图像和真彩色RGB图像四种基本类型。

控制理论的发展经历了古典控制理论、现代控制理论和智能控制理论三个阶段。但目前在工业届中还是古典控制理论用得比较多，在古典控制理论中，应用最为广泛的调节器控制规律为比例、积分、微分控制，简称PID控制，又称PID调节。PID控制器问世至今已有近70年历史，它以其结构简单、稳定性好、工作可靠、调整方便而成为工业控制的主要技术之一。当被控对象的结构和参数不能完全掌握，或得不到精确的数学模型时，控制理论的其它技术难以采用时，系统控制器的结构和参数必须依靠经验和现场调试来确定，这时应用PID控制技术最为方便。PID控制，实际中也有PI和PD控制。PID控制器就是根据系统的误差，利用比例、积分、微分计算出控制量进行控制的。

比例控制是一种最简单的控制方式。其控制器的输出与输入误差信号成比例关系。当仅有比例控制时系统输出存在稳态误差(Steady-state error)。

在积分控制中，控制器的输出与输入误差信号的积分成正比关系。对一个自动控制系统，如果在进入稳态后存在稳态误差，则称这个控制系统是有稳态误差的或简称有差系统(System with Steady-state Error)。为了消除稳态误差，在控制器中必须引入“积分项”。积分项对误差取决于时间的积分，随着时间的增加，积分项会增大。这样，即便误差很小，积分项也会随着时间的增加而加大，它推动控制器的输出增大使稳态误差进一步减小，直到接近于零。因此，比例+积分(PI)控制器，可以使系统在进入稳态后几乎无稳态误差。

在微分控制中，控制器的输出与输入误差信号的微分(即误差的变化率)成正比关系。自动控制系统在克服误差的调节过程中可能会出现振荡甚至失稳。其原因是由于存在有较大惯性组件(环节)或有滞后(delay)组件，具有抑制误差的作用，其变化总是落后于误差的变化。解决的办法是使抑制误差的作用的变化“超前”，即在误差接近零时，抑制误差的作用就应该是零。这就是说，在控制器中仅引入“比例”项往往是不够的，比例项的作用仅是放大误差的幅值，而需要增加的是“微分项”，它能预测误差变化的趋势，这样，具有比例+微分的控制器，就能够提前使抑制误差的控制作用等于零，甚至为负值，从而避免了被控量的严重超调。所以对有较大惯性或滞后的被控对象，比例+微分(PD)控制器能改善系统在调节过程中的动态特性。

PID控制系统原理图1所示；

PID控制的公式如下所示；

其中Kp为比例系数，Ti为积分时间常量，Kp/Ti为积分系数，Td为微分时间常量，Kp*Td为微分系数，e(t)为误差，u(x)为输出量。

常用的巡线方法有红外传感技术，在巡线小车当中应用比较多，由红外发射器与接收探头来完成的。光有反射的特性，当前方的红外发射出来的光线遇到物体时，就会形成反射的光线，而这个经反射的红外光线刚好被红外接收探头接收到。红外光线对于不同的物体反射特性是不一样的，例如对白色反光的物体，红外光线的反射量将会多一点。对黑色不反光的物体，红外反射量将会大量的减少。利用这个特性来完成轨迹的识别。然后将这种接收到的红外光线变化量转换为电压值传送到控制器中。在控制器中应用PID控制的方法对其进行控制已达到巡线的目的。但用红外传感技术用于无人机巡线有以下缺点，首先是需要安装红外发射接收器，如果需要大面积检测，需要安装多个红外发射接收器，其次，对轨迹很难做到整体的精确识别，最后，会受强太阳光等多种含有红外线的光源干扰，在复杂环境下影响轨迹检测。

发明内容

针对现有技术存在的上述问题，本发明的目的是提供一种无人机巡线飞行控制系统及方法，该算法可以精确识别轨迹，抗干扰能力强。

为实现上述目的，本发明采用如下技术方案：一种无人机巡线飞行控制系统，包括无人机、数据采集组件和控制器；

所述数据采集组件设置在无人机上，并包括摄像头、光流传感器和气压计；

所述摄像头用于采集图像，光流传感器用于室内的定位，气压计用于测量高度；

所述控制器用于与数据采集组件通信连接；

控制器包括无人机驱动节点和巡线飞行控制节点；

控制器接收无人机的视频图像数据，由其中的无人机驱动节点处理后发送到巡线飞行控制节点，巡线飞行控制节点对视频图像信息进行处理并识别轨迹，再检测轨迹相对于无人机的偏角和相对于无人机中心的偏距，经PI控制后得到左右线速度和偏转角速度，再加上前后线速度发送到无人机驱动节点，再由无人机驱动节点处理后发送到无人机，使无人机巡线飞行。

作为改进，所述无人机驱动节点：

用于接收数据采集组件发送的数据信息，并对其处理之后再发送到巡线飞行控制节点中；

用于接收巡线飞行控制节点发送过来的信息，处理之后再发送给无人机；

在巡线飞行中，无人机驱动节点把接收到的视频图像处理之后发送到巡线飞行控制节点，再接收巡线飞行控制节点发送过来的速度信息，处理后发送给无人机进行飞行以及巡线调整。

一种无人机巡线飞行方法，其特征在于：采用上述的无人机巡线飞行控制系统；

步骤如下：

S1：启动无人机和控制器，连上WIFI：启动无人机驱动节点，对无人机进行设置，启动巡线飞行控制节点,并起飞无人机，无人机起飞后使用手动控制无人机飞到轨迹上方，然后开始巡线；

S2：无人机通过WIFI将摄像头拍摄的视频数据以固定频率发送到控制器中，控制器中的无人机驱动节点接收发送的视频图像数据，并将对视频图像数据进行格式转换后发送到巡线飞行控制节点；

S3:提取轨迹：控制器中的巡线飞行控制节点接收所述S2处理后的视频图像数据，使用回调函数的方式对视频图像进行处理识别轨迹，得到二值化轨迹图像；

S4：检测S3得到的二值轨迹图像中轨迹误差：检测所述二值化轨迹图像中轨迹相对于无人机的偏角和偏距；

S5：对所述S4得到的偏角与偏距分别使用PI控制，逐渐消除偏角和偏距，得到无人机旋转角速度angular.z和左右飞行速度linear.y；

S6：发送速度参数数据给无人机；将所述S5得到的旋转角速度angular.z和左右飞行速度linear.y以及无人机本来的前向飞行速度linear,x，三项速度信息发送到无人机驱动节点，无人机驱动节点再将所述速度信息发送给无人机，无人机调整飞行进行巡线；

S7：当无人机巡线结束或者长时间检测不到轨迹时，无人机开始降落，由巡线飞行控制节点发送降落信息到无人机驱动节点中，由无人机驱动节点处理后再发送给无人机完成降落。

作为改进，所述S3中提取轨迹的方法为：先将所述视频图像数据从颜色空间RGB格式转换到颜色空间模型HSV，然后对灰度V进行直方图均衡化，之后再设置阈值对图像进行二值化处理，得到轨迹标为白色，背景为黑色的二值化轨迹图像，接着做形态学的开闭操作让轨迹更加规则完整。

作为改进，所述将视频图像数据从颜色空间RGB格式转换成颜色空间模型HSV的步骤为：

无人机驱动节点接收到的视频图像数据颜色空间是RGB格式，将视频图像数据转换成颜色空间模型HSV，其中，H代表色调即颜色，S为饱和度表示颜色接近光谱色的程度，V为明度表示颜色明亮的程度；

1)令：

2)

3)H＝H*60；

4)如果H<0,H＝H+360，则

作为改进，将转化为颜色空间模型HSV的视频图像进行直方图均衡化步骤为：

i)将所述颜色空间模型HSV的视频图像的每一帧作为输入，将每一帧图像的H、S、V三个通道分割开来，然后将V明度也叫灰度进行直方图均衡化；

ii)设一幅图像的像素个数为n，n_k代表该图像中灰度级为r_k的像素个数，第K个灰度级出现的概率可采用公式(1)计算：

iii)定义变换函数如公式(2)；

其中，s_k表示像素点变换后的像素；

将每一帧图像中的每个像素点都采用公式(2)进行变换。

作为改进，将直方图均衡化后的视频图像做二值化处理，步骤如下：

设立阈值，所述S3b得到的视频图像包括若干图像帧，每一图像帧中包括若干像素点，采用如下方法遍历图像帧中的所有像素点完成一幅图像帧的处理，遍历所有图像帧完成对直方图均衡化后的视频图像的二值化处理；

如果图像帧中一个像素点的像素大于所述阈值，则判定为目标物体，将该像素点的灰度值设为255，否则，判定为目标区域以外，将该像素点的灰度值设为0。

作为改进，将二值化处理后的视频图像做形态学开闭运算，步骤如下；

a)对二值化处理后的视频图像进行开运算：采用结构元对二值化处理后的视频图像的每一帧图像进行先腐蚀后膨胀的过程；

b)对经过开运算处理的视频图像进行闭运算：采用结构元对经过开运算处理的视频图像的每一帧图像进行先腐蚀后膨胀的过程。

作为改进，所述S4中检测所述二值化图轨迹相对于无人机的偏角和偏距的方法为：

所述偏角的计算方法如下：

从二值化图轨迹图像中选取一行进行像素扫描，检测到255的像素点标记，再从右到左进行像素扫描，同样检测到255的像素点标记，最后取两个标记点的中间点进行检测，如果同样是255，则检测到目标点，且此中间点为目标点1；

用同样的方法再检测另一行进行检测，检测到目标点2；

把目标点1和目标点2连在一起看成一段向量，向量与垂直线的夹角即为向量的方向，目标点1与目标点2横坐标之差为x，纵坐标之差为y，用正切函数算出该夹角，并将该夹角作为轨迹偏离无人机正方向的偏角；

所述偏距的计算方法如下：

所述目标点1与二值化图轨迹图像中心线的距离即为轨迹与无人机中心的偏差。

作为改进，所述S5所述的消除偏角和偏距的方法如下：

PI算法如公式(3)所示：

u(n)为控制器输出，k_p为比例系数，为积分系数，e(n)为输入误差，e(k)、k＝0...n，为历史误差；

当e(n)输入的是无人机的偏角时，u(n)输出的则是无人机旋转角速度angular.z，当当e(n)输入的是无人机的偏差时，则u(n)输出的则是无人机左右飞行速度linear.y。

相对于现有技术，本发明至少具有如下优点：

1、本发明无人机巡线飞行控制系统能够对飞行误差进行PI控制，无人机飞行轨迹接近于预设轨迹，能良好的自主跟随预设轨迹进行飞行，实现无人机的巡线飞行。

2、使用图像处理的方式检测轨迹，能对轨迹进行完整的检测，并且精确到像素级。

3、对轨迹相对于无人机的偏差和偏角分别使用PI控制，系统稳定性更好。

4、把无人机的驱动部分和巡线飞行控制部分分开，各自完成自己的功能任务，系统层次性更好。

附图说明

图1为现有技术中PID控制系统原理图。

图2为本发明控制系统框架图。

图3为无人机巡线流程图。

图4为提取轨迹的流程图。

图5为PI控制框架图。

图6为无人机示意图。

图7为无人机误差检测方法示意图。

具体实施方式

下面对本发明作进一步详细说明。

实施例1：参见图1图，一种无人机巡线飞行控制系统，包括多旋翼无人机、数据采集组件和控制器；

所述数据采集组件设置在无人机上，并包括摄像头、光流传感器和气压计；

所述摄像头用于采集图像，光流传感器用于室内的定位，气压计用于测量高度；

本发明中的无人机为多旋翼无人机，多旋翼无人机由机架、马达、旋叶、飞控和数据采集组件即多种传感器组成。其中传感器主要有摄像头负责拍摄图像，光流传感器负责室内的定位，气压计测量高度，此外还有加速度计和陀螺仪等等。摄像头拍摄的视频图像和其他传感器采集的数据，通过WIFI以固定频率发送到控制器中。

所述控制器用于与数据采集组件通信连接，具体地，通过WIFI连接，摄像头拍摄的视频图像和其他传感器采集的数据，通过WIFI以固定频率发送到控制器中；

控制器包括无人机驱动节点和巡线飞行控制节点。

控制器接收无人机的视频图像数据，由其中的无人机驱动节点处理后发送到巡线飞行控制节点，巡线飞行控制节点对视频图像信息进行处理并识别轨迹，再检测轨迹相对于无人机的偏角和相对于无人机中心的偏距，经PI控制后得到左右线速度和偏转角速度，再加上前后线速度发送到无人机驱动节点，再由无人机驱动节点处理后发送到无人机，使无人机巡线飞行。

所述无人机驱动节点：用于接收数据采集组件发送的数据信息，并对其处理之后再发送到巡线飞行控制节点中；用于接收巡线飞行控制节点发送过来的信息，处理之后再发送给无人机；

在巡线飞行中，无人机驱动节点把接收到的视频图像处理之后发送到巡线飞行控制节点，再接收巡线飞行控制节点发送过来的速度信息，处理后发送给无人机进行飞行以及巡线调整。

实施例2：参见图3至图7一种无人机巡线飞行方法，采用实施例1所述的无人机巡线飞行控制系统；

该无人机巡线飞行方法的步骤如下：

S1：启动无人机和控制器，连上WIFI：启动无人机驱动节点，对无人机进行设置，启动巡线飞行控制节点,并起飞无人机，无人机起飞后使用手动控制无人机飞到轨迹上方，然后开始巡线；

S2：无人机通过WIFI将摄像头拍摄的视频数据以固定频率发送到控制器中，控制器中的无人机驱动节点接收发送的视频图像数据，对视频图像数据进行格式转换后发送到巡线飞行控制节点(由于视频数据是通过WIFI网络传输的，因此需要先对视频图像数据进行解压缩之后再发送给巡线飞行控制节点)；

S3:提取轨迹：控制器中的巡线飞行控制节点接收所述S2处理后的视频图像数据，使用回调函数的方式对视频图像进行处理识别轨迹，在回调函数中，对视频图像进行处理得到二值化轨迹图像；

具体地，提取轨迹的方法为：先将所述视频图像数据从颜色空间RGB格式转换到颜色空间模型HSV，然后对灰度V进行直方图均衡化，让图像更清晰，之后再设置阈值对图像进行二值化处理，得到轨迹标为白色，背景为黑色的二值化轨迹图像，接着做形态学的开闭操作让轨迹更加规则完整。

所述将视频图像数据从颜色空间RGB格式转换成颜色空间模型HSV的步骤为：

无人机驱动节点接收到的视频图像数据颜色空间是RGB格式，将视频图像数据转换成颜色空间模型HSV，其中，H代表色调即颜色，S为饱和度表示颜色接近光谱色的程度，V为明度表示颜色明亮的程度；

无人机驱动节点接收到的视频图像数据颜色空间是RGB格式，在计算机中分别是红绿蓝三通道，每个通道的值为0-255，由于需要对图像进行后续的处理，需要转换成更加直观的颜色空间模型HSV。

1)令：

2)

3)H＝H*60；

如果H<0,H＝H+360，则V＝max(R,G,B)。

S＝(max-min)/max

将转化为颜色空间模型HSV的视频图像进行直方图均衡化步骤为：直方图均衡化作用是使无人机拍摄到的图像增强，变得更加清晰，便于后续处理。如果一副图像的像素占有很多的灰度级而且分布均匀，那么这样的图像往往有高对比度和多变的灰度色调。它的基本思想是对图像中像素个数多的灰度级进行展宽，而对图像中像素个数少的灰度进行压缩，从而扩展像元取值的动态范围，提高了对比度和灰度色调的变化，使图像更加清晰。数学原理如下。

i)将所述颜色空间模型HSV的视频图像的每一帧作为输入，将每一帧图像的H、S、V三个通道分割开来，然后将V明度也叫灰度进行直方图均衡化；

ii)设一幅图像的像素个数为n,一共有256个灰度级。n_k代表图像中灰度级为r_k的像素个数，第K个灰度级出现的概率可采用公式(1)计算：

iii)定义变换函数如公式(2)：

其中，s_k表示像素点变换后的像素，r_k表示像素点变换前的像素；

将每一帧图像中的每个像素点都采用公式(2)进行变换。一幅图像中的所有像素点都采用公式(2)变换后，则该一帧图像处理完成，将组成所述视频图像的所有帧图像都处理完成后，该视频图像则处理完成，均衡后各像素的灰度值可直接由该函数算出

将直方图均衡化后的视频图像做二值化处理，步骤如下：我们希望把原始图像中的轨迹提取出来，轨迹单独为白色，其余背景为黑色。这需要对图像进行二值化处理，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。对单通道或多通道设立阈值，所有大于或等于阈值的像素被判定为属于目标物体，其灰度值为255表示，为白色，否则这些像素点被排除在目标区域以外，值为0，为黑色。

设立阈值，所述S3b得到的视频图像包括若干图像帧，每一图像帧中包括若干像素点，采用如下方法遍历图像帧中的所有像素点完成一幅图像帧的处理，遍历所有图像帧完成对直方图均衡化后的视频图像的二值化处理；

如果图像帧中一个像素点的像素大于所述阈值，则判定为目标物体，将该像素点的灰度值设为255，否则，判定为目标区域以外，将该像素点的灰度值设为0。

图像经过二值化之后，往往都不是完整规则的物体，需要经过形态学的开闭运算来去除去噪点毛刺和补全黑洞。将二值化处理后的视频图像做形态学开闭运算，图像膨胀和腐蚀，膨胀会扩大一副图像的组成部分，腐蚀会缩小一幅图像的组成部分，结构元是一个核，对图像的每个组成部分进行处理，结构元可以矩形，也可以椭圆形等结构，是一个现有概念。

将二值化处理后的视频图像做形态学开闭运算，步骤如下；

a)对二值化处理后的视频图像进行开运算：采用结构元对二值化处理后的视频图像的每一帧图像进行先腐蚀后膨胀的过程；结构元遍历组成该视频图像的每一帧图像的每个组成部分，则完成对二值化处理后的视频图像的处理。

具体地，开运算就是利用结构元对图像进行先腐蚀后膨胀的过程，开操作一般会平滑物体的轮廓、断开较窄的狭颈、并消除细的突出物。结构元B对图像A的开操作，表示为其定义如下：

其中A-B为机构元B对图像A的腐蚀，(A-B)+B表示结构元B再对腐蚀后的图像进行膨胀。

b)对经过开运算处理的视频图像进行闭运算：采用结构元对经过开运算处理的视频图像的每一帧图像进行先腐蚀后膨胀的过程。结构元遍历组成该视频图像的每一帧图像的每个组成部分，则完成对经过开运算处理的视频图像的处理。

具体地，闭运算就是利用结构元对图像进行先膨胀后腐蚀的过程，闭操作同样也会平滑物体轮廓的一部分、但与开操作相反，通常会拟合较窄的间断和细长的沟壑、并消除小的孔洞，填补轮廓线中的断裂。结构元B对图像A的闭操作，表示为A·B，其定义如下：

其中A+B为结构元B对图像A的膨胀，(A+B)-B表示结构元B再对膨胀后的图像进行腐蚀。

经过开闭运算后，则提取出一个完整的二值化轨迹图像。

S4：检测S3得到的二值轨迹图像中轨迹误差：检测所述二值化轨迹图像中轨迹相对于无人机的偏角和偏距；

具体地，所述、检测所述二值化图轨迹相对于无人机的偏角和偏距的方法为：

所述偏角的计算方法如下：

如附图7中所示，从二值化图轨迹图像中选取一行进行像素扫描，比如第一行从左到右进行像素扫描，检测到255的像素点标记，再从右到左进行像素扫描，同样检测到255的像素点标记，最后取两个标记点的中间点进行检测，如果同样是255，则检测到目标点，且此中间点为目标点1；

用同样的方法再检测另一行进行检测，两行之间最好有间距，且间距不远，比如图片高度的1/20～1/10之间，检测到目标点2；

把目标点1和目标点2连在一起看成一段向量，向量与垂直线的夹角即为向量的方向，目标点1与目标点2横坐标之差为x，纵坐标之差为y，用正切函数算出该夹角，并将该夹角作为轨迹偏离无人机正方向的偏角。正切函数计算所述夹角的方法为现有技术，为避免赘述，文本中不做描述；

所述偏距的计算方法如下：

所述目标点1与二值化图轨迹图像中心线，二值化图轨迹中心线指的是二值化图轨迹这幅图像的中心线的距离即为轨迹与无人机中心的偏差。轨迹误差检测方法示意图见附图7。

S5：对所述S4得到的偏角与偏距分别使用PI控制，逐渐消除偏角和偏距，得到无人机旋转角速度angular.z和左右飞行速度linear.y；

具体地，所述消除偏角和偏距的方法如下：

即对无人机进行旋转减小偏角，进行左右平移减小偏差，使轨迹与图像中心线也就是无人机中心轴重合。具体做法是配置无人机的旋转角速度angular.z和左右飞行速度linear.y，使对偏角和偏差的控制转为对旋转角速度angular.z和左右飞行速度linear.y的控制。偏角和偏距是两个独立的误差，分别采用PI控制。

PI控制器是一种线性控制器，它根据给定值与实际输出值构成控制偏差，将偏差的比例和积分通过线性组合构成控制量，对被控对象进行控制。比例环节即成比例的反映控制系统的偏差信号，偏差一旦产生，控制器立即产生控制作用，以减少偏差，积分环节主要用于消除静差，提高系统的无差度，PI控制器主要是用来改善控制系统的稳态性能。

PI算法如公式(3)所示：

u(n)为控制器输出，k_p为比例系数，为积分系数，e(n)为输入误差，e(k)、k＝0...n，为历史误差；

历史误差的获得，在使用本发明方法对无人机进行巡线飞行控制时，首先需要对控制器做训练，得到多次偏角(历史偏角)或偏差(历史偏差)，例如可以是记录前100次控制的历史偏角和历史偏差，然后向控制器输入第101次偏角，则可得到无人机旋转角速度angular.z，输入第101次偏差，则可得到无人机左右飞行速度linear.y。

比列项只需要当前误差乘以比例系数，积分项需要所有的历史误差和乘以积分系数输出为比列项和积分项的和，比例系数k_p和积分系数是经验值，当误差接近为O时总积分重新归0。

PI控制器的输入为偏差和偏角，输出为旋转角速度angular.z和左右飞行速度linear.y，

为闭环控制系统。PI控制器框图见附图5；

S6：发送速度参数数据给无人机；将所述S5得到的旋转角速度angular.z和左右飞行速度linear.y以及无人机本来的前向飞行速度linear,x，前向飞行速度linear.x受偏角影响，与其成反比，三项速度信息发送到无人机驱动节点，无人机驱动节点再对所述速度信息发送给无人机，无人机调整飞行进行巡线；

S7：当无人机巡线结束或者长时间检测不到轨迹时，无人机开始降落，由巡线飞行控制节点发送降落信息到无人机驱动节点中，由无人机驱动节点处理后再发送给无人机完成降落。

无人机通过WIFI与控制器通信。控制器中包括无人机驱动节点和巡线飞行控制节点。驱动节点负责接收无人机数据信息，对其处理之后再发送到控制节点中，和接收控制节点发送过来的信息，处理之后再发送给无人机。控制节点负责接收驱动节点发送过来的视频图像信息，并识别轨迹，检测轨迹相对于无人机的偏角和相对于无人机中心的偏距，通过PI控制算法算出控制量后发送给驱动节点。无人机通过相机实时拍摄视频图像，并将视频图像数据以固定频率通过WIFI发送到控制器中，由控制器中的驱动节点接收数据，经处理后发送到控制节点中去。控制节点接收到视频数据后，使用颜色空间转换、直方图均衡化、二值化、形态学开闭运算等图像处理的方法对视频图像帧进行线路轨迹的检测，然后扫描两行像素检测目标点后计算出轨迹的偏角和偏距，经PI控制后得到左右线速度和偏转角速度，再加上前后线速度发送到驱动节点，再由驱动节点处理后发送指令到无人机，使无人机巡线飞行。整体系统框架如下图所示。本发明无人机巡线飞行控制系统能够对飞行误差进行PI控制，无人机飞行轨迹接近于预设轨迹，能良好的自主跟随预设轨迹进行飞行，实现无人机的巡线飞行。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种无人机巡线飞行控制系统，其特征在于：包括无人机、数据采集组件和控制器；

所述数据采集组件设置在无人机上，并包括摄像头、光流传感器和气压计；

所述摄像头用于采集图像，光流传感器用于室内的定位，气压计用于测量高度；

所述控制器用于与数据采集组件通信连接；

控制器包括无人机驱动节点和巡线飞行控制节点；

控制器接收无人机的视频图像数据，由其中的无人机驱动节点处理后发送到巡线飞行控制节点，巡线飞行控制节点对视频图像信息进行处理并识别轨迹，再检测轨迹相对于无人机的偏角和相对于无人机中心的偏距，经PI控制后得到左右线速度和偏转角速度，再加上前后线速度发送到无人机驱动节点，再由无人机驱动节点处理后发送到无人机，使无人机巡线飞行。

2.如权利要求1所述的无人机巡线飞行控制系统，其特征在于：

所述无人机驱动节点：

用于接收数据采集组件发送的数据信息，并对其处理之后再发送到巡线飞行控制节点中；

用于接收巡线飞行控制节点发送过来的信息，处理之后再发送给无人机；

在巡线飞行中，无人机驱动节点把接收到的视频图像处理之后发送到巡线飞行控制节点，再接收巡线飞行控制节点发送过来的速度信息，处理后发送给无人机进行飞行以及巡线调整。

3.一种无人机巡线飞行方法，其特征在于：采用权利要求2所述的无人机巡线飞行控制系统；

步骤如下：

S1：启动无人机和控制器，连上WIFI：启动无人机驱动节点，对无人机进行设置，启动巡线飞行控制节点,并起飞无人机，无人机起飞后使用手动控制无人机飞到轨迹上方，然后开始巡线；

S2：无人机通过WIFI将摄像头拍摄的视频数据以固定频率发送到控制器中，控制器中的无人机驱动节点接收发送的视频图像数据，并将对视频图像数据进行格式转换后发送到巡线飞行控制节点；

S3:提取轨迹：控制器中的巡线飞行控制节点接收所述S2处理后的视频图像数据，使用回调函数的方式对视频图像进行处理识别轨迹，得到二值化轨迹图像；

S4：检测S3得到的二值轨迹图像中轨迹误差：检测所述二值化轨迹图像中轨迹相对于无人机的偏角和偏距；

S5：对所述S4得到的偏角与偏距分别使用PI控制，逐渐消除偏角和偏距，得到无人机旋转角速度angular.z和左右飞行速度linear.y；

S6：发送速度参数数据给无人机；将所述S5得到的旋转角速度angular.z和左右飞行速度linear.y以及无人机本来的前向飞行速度linear,x，三项速度信息发送到无人机驱动节点，无人机驱动节点再将所述速度信息发送给无人机，无人机调整飞行进行巡线；

S7：当无人机巡线结束或者长时间检测不到轨迹时，无人机开始降落，由巡线飞行控制节点发送降落信息到无人机驱动节点中，由无人机驱动节点处理后再发送给无人机完成降落。

4.如权利要求1所述的无人机巡线飞行方法，其特征在于：所述S3中提取轨迹的方法为：先将所述视频图像数据从颜色空间RGB格式转换到颜色空间模型HSV，然后对灰度V进行直方图均衡化，之后再设置阈值对图像进行二值化处理，得到轨迹标为白色，背景为黑色的二值化轨迹图像，接着做形态学的开闭操作让轨迹更加规则完整。

5.如权利要求4所述的无人机巡线飞行方法，其特征在于：所述将视频图像数据从颜色空间RGB格式转换成颜色空间模型HSV的步骤为：

无人机驱动节点接收到的视频图像数据颜色空间是RGB格式，将视频图像数据转换成颜色空间模型HSV，其中，H代表色调即颜色，S为饱和度表示颜色接近光谱色的程度，V为明度表示颜色明亮的程度；

1)令：

如果R＝max,则H＝(G-B)/(max-min)

2)如果G＝max,则H＝2+(B-R)/(max-min)；

如果B＝max,则H＝4+(R-G)/(max-min)

3)H＝H*60；

4)如果H<0,H＝H+360，则

6.如权利要求4或5所述的无人机巡线飞行方法，其特征在于：将转化为颜色空间模型HSV的视频图像进行直方图均衡化步骤为：

i)将所述颜色空间模型HSV的视频图像的每一帧作为输入，将每一帧图像的H、S、V三个通道分割开来，然后将V明度也叫灰度进行直方图均衡化；

ii)设一幅图像的像素个数为n，n_k代表该图像中灰度级为r_k的像素个数，第K个灰度级出现的概率可采用公式(1)计算：

iii)定义变换函数如公式(2)；

其中，s_k表示像素点变换后的像素；

将每一帧图像中的每个像素点都采用公式(2)进行变换。

7.如权利要求6所述的无人机巡线飞行方法，其特征在于：将直方图均衡化后的视频图像做二值化处理，步骤如下：

设立阈值，所述S3b得到的视频图像包括若干图像帧，每一图像帧中包括若干像素点，采用如下方法遍历图像帧中的所有像素点完成一幅图像帧的处理，遍历所有图像帧完成对直方图均衡化后的视频图像的二值化处理；

如果图像帧中一个像素点的像素大于所述阈值，则判定为目标物体，将该像素点的灰度值设为255，否则，判定为目标区域以外，将该像素点的灰度值设为0。

8.如权利要求7所述的无人机巡线飞行方法，其特征在于：将二值化处理后的视频图像做形态学开闭运算，步骤如下；

a)对二值化处理后的视频图像进行开运算：采用结构元对二值化处理后的视频图像的每一帧图像进行先腐蚀后膨胀的过程；

b)对经过开运算处理的视频图像进行闭运算：采用结构元对经过开运算处理的视频图像的每一帧图像进行先腐蚀后膨胀的过程。

9.如权利要求8所述无人机巡线飞行方法，其特征在于：所述S4中检测所述二值化图轨迹相对于无人机的偏角和偏距的方法为：

所述偏角的计算方法如下：

从二值化图轨迹图像中选取一行进行像素扫描，检测到255的像素点标记，再从右到左进行像素扫描，同样检测到255的像素点标记，最后取两个标记点的中间点进行检测，如果同样是255，则检测到目标点，且此中间点为目标点1；

用同样的方法再检测另一行进行检测，检测到目标点2；

把目标点1和目标点2连在一起看成一段向量，向量与垂直线的夹角即为向量的方向，目标点1与目标点2横坐标之差为x，纵坐标之差为y，用正切函数算出该夹角，并将该夹角作为轨迹偏离无人机正方向的偏角；

所述偏距的计算方法如下：

所述目标点1与二值化图轨迹图像中心线的距离即为轨迹与无人机中心的偏差。

10.如权利要求9所述无人机巡线飞行方法，其特征在于：所述S5所述的消除偏角和偏距的方法如下：

PI算法如公式(3)所示：

u(n)为控制器输出，k_p为比例系数，为积分系数，e(n)为输入误差，e(k)、k＝0...n，为历史误差；

当e(n)输入的是无人机的偏角时，u(n)输出的则是无人机旋转角速度angular.z，当当e(n)输入的是无人机的偏差时，则u(n)输出的则是无人机左右飞行速度linear.y。