CN104199460A

CN104199460A - 基于图像识别跟踪的四旋翼飞行器智能侦察系统

Info

Publication number: CN104199460A
Application number: CN201410433488.7A
Authority: CN
Inventors: 徐迎曦; 徐美玉; 张松灿; 袁澜; 李传锋; 杨威
Original assignee: Henan University of Science and Technology
Current assignee: Henan University of Science and Technology
Priority date: 2014-08-29
Filing date: 2014-08-29
Publication date: 2014-12-10

Abstract

基于图像识别跟踪的四旋翼飞行器智能侦察系统，微处理器Ⅰ作为中央处理器，由四旋翼飞行器本体搭载的微处理器Ⅰ，通过图像传感器采集图像信息，并通过无线传输模块将采集的图像数据发送出去，由手持终端搭载的微处理器Ⅱ通过无线传输模块接收图像信息并在液晶显示屏上显示，同时手持终端搭载的控制器Ⅱ通过三维加速度倾角传感器和无线传输模块、重力感应四旋翼飞行器的运动方向，控制器Ⅰ通过无线传输模块接收手持终端的控制指令，并控制四旋翼飞行器的方向；本发明能对人不易到达的地方进行图像采集、传输、处理与控制，使得监测信息一目了然。

Description

基于图像识别跟踪的四旋翼飞行器智能侦察系统

技术领域

本发明涉及一种侦察系统，具体的说是涉及一种基于图像识别跟踪的四旋翼飞行器智能侦察系统。

背景技术

图像识别技术是人工智能的一个重要领域，为了编制模拟人类图像识别活动的计算机程序，人们提出了不同的图像识别模型图像，已广泛应用于各个领域。与传统的有线传输相比，图像无线传输无需布线，在安装监控、节点增加和节点的移动等方面都比较方便。尤其在有毒场所、环境侦察、危险地方信息采集以及一些空间狭小、人们到达不了的恶劣环境，更需要一种灵活机动的侦察系统来对周围的环境侦察并及时反馈，以利于快速判断、掌握故障所在，直至清除故障。

发明内容

本发明为了解决上述技术问题，提供一种基于图像识别跟踪的四旋翼飞行器智能侦察系统，其体积小巧、灵活方便，可用于不同的应用领域，本发明能对人不易到达的地方进行图像采集、传输、处理与控制，使得监测信息一目了然。

本发明所采用的技术方案是：基于图像识别跟踪的四旋翼飞行器智能侦察系统，包括四旋翼飞行器本体和手持终端，所述四旋翼飞行器本体上还设有微处理器Ⅰ、控制器Ⅰ、自稳定陀螺仪、GPS定位仪、超声波避障模块和用于采集目标图像信息的图像传感器，其中自稳定陀螺仪、超声波避障模块和GPS定位仪与控制器Ⅰ连接，控制器Ⅰ通过直流电机驱动板控制四旋翼飞行器的平衡和运行；

所述手持终端包括微处理器Ⅱ、控制器Ⅱ、3D遥感控制器、三维加速度倾角传感器、PID控制器、按键输入模块和内部存储有基准图像的液晶显示屏，所述微处理器Ⅱ与微处理器Ⅰ无线相连，并将接收到的目标图像信息与其内部存储的基准图形进行匹配，将匹配图像传输至液晶显示屏，所述PID控制器分别与3D遥感控制器、三维加速度倾角传感器以及控制器Ⅱ连接，其中，3D遥感控制器发出的遥控信号及三维加速度倾角传感器采集的姿态信号发送给PID控制器，PID控制器根据接收到的信号进行姿态解算，得到当前姿态和预期姿态的偏差，将得到的偏差值进行系列换算后得到用于消除控制信号和姿态信号偏差的控制量，并将该控制量反馈给控制器Ⅱ，控制器Ⅱ将接收到控制信息通过无线传输模块传输至控制器Ⅰ，控制器Ⅰ根据接收到的信息驱动直流电机驱动板控制四旋翼飞行器的运行。

所述的图像传感器采用带有AL422B高速缓存的OV7670模块，所述的三维加速度倾角传感器是MMA845数字传感器。

所述微处理器Ⅰ和微处理器Ⅱ是STM32F103嵌入式控制芯片。

所述控制器Ⅱ上还连接有控制显示指示灯。

还包括多个电源，每个电源经整压稳流后给其上连接的微处理器Ⅰ、控制器Ⅰ、处理器Ⅱ或控制器Ⅱ供电。

所述的无线传输模块采用nRF24L01无线传输模块。

本发明中由于OV7670输出的图像数据流频率较高，为了使得微处理器Ⅰ和传感器之间的速度匹配，因而在OV7670和微处理器Ⅰ之间添加AL422B高速缓存，将输入的高速图像数据流暂存，供微处理器Ⅰ读出，从而实现完整一帧图像的采集。因此图像传感器采用带有AL422B高速缓存的OV7670模块，该模块内部电路已经连接好，外部预留OV7670传感器的各引脚接口，方便与外电路的连接。OV7670输出的图像数据先暂存在AL422B中，然后由微处理器Ⅰ读取，因此AL422B的数据输入是OV7670的输出，AL422B的数据输出是微处理器Ⅰ的输入。

本发明的有益效果：

（1）本发明四旋翼飞行器本体上设有超声波避障模块，能够有效使运动中的四旋翼飞行器及时的躲开障碍物，从而保护四旋翼飞行器本体及图像采集设备的安全；

（2）本发明设计了两种无线数据传输方案，成功解决了无线传输数据丢包的问题；

（3）本发明具有无线遥控功能、GPS定位功能、自稳定功能、图像信息识别采集功能、图像存储及无线传输功能。通过各模块的相互配合，能够及时有效的将采集到的图像信息准确地传递给液晶显示屏，让故障目标采集更加方便，故障处理更加及时到位，做到故障发现、处理的有效统一；

（4）本发明设有自稳定陀螺仪能够有效保证四旋翼飞行器飞行平稳不坠落；

（5）本发明装置可进入危险场所、人不易到达的地方及空间狭小的地方去侦察，来降低人的工作成本，且低电压供电安全性高，功耗低；

（6）本发明中模块采集数据精度高、图像传输速度快，系统工作稳定。此外，各模块抗扰能力强，受到外界因素的影响较小，本产品也可以用于其他方面，如环境勘探、有毒场所信息采集等。

附图说明

图1为本发明的结构框图；

图2为微处理器Ⅰ与各模块接线图；

图3为三维加速度倾角传感器电路图；

图4为无线传输模块结构图；

图5为无线传输模块电路图；

图6为图像传感器结构图；

图7为微处理器Ⅱ与液晶显示屏连接图；

图8为四旋翼飞行器本体飞行控制流程图；

图9为三维加速度倾角传感器姿态解算流程图；

图10为四旋翼飞行器控制算法流程图；

图11为roll 和 pitch 角度姿态解算算法流程图；

图12为四旋翼飞行器roll的P测试图；

图13为Pitch方向角度大小变化图。

具体实施方式

如图所示，基于图像识别跟踪的四旋翼飞行器智能侦察系统，包括四旋翼飞行器本体和手持终端，所述四旋翼飞行器本体上还设有微处理器Ⅰ、控制器Ⅰ、自稳定陀螺仪、GPS定位仪、超声波避障模块和用于采集目标图像信息的图像传感器，其中自稳定陀螺仪、超声波避障模块和GPS定位仪与控制器Ⅰ连接，控制器Ⅰ通过直流电机驱动板控制四旋翼飞行器的平衡和运行；

所述微处理器Ⅰ和微处理器Ⅱ是STM32F103嵌入式控制芯片。

所述控制器Ⅱ上还连接有控制显示指示灯。

如图1所示，本发明在工作过程中，四旋翼飞行器本体上搭载的微处理器Ⅰ通过摄像头采集图像信息，并通过无线传输模块将采集的图像数据发送出去，由手持终端搭载的微处理器Ⅱ通过无线接收模块接收图像信息并将接收到的信息与其内存储的标准图像信息进行对比，经对比图像在液晶显示屏上显示，同时，手持终端搭载的控制器Ⅱ通过三维加速度倾角传感器和3D遥感控制器重力遥感四旋翼飞行器本体的运动信息，并将检测到的信息传送至PID控制器，PID控制器根据接收到的偏差信息，经计算后得到四旋翼飞行器需要的控制量，四旋翼飞行器本体上搭载的控制器Ⅰ通过无线接收模块接收手持终端的控制指令，并根据控制指令控制四旋翼飞行器的运行。

如图2所示，本发明微处理器Ⅰ的电压为5V或者3.3V，是由电源经稳压整流后转换过来的。工作时钟信号是由一个8MHz的晶振提供，晶振两端有两个22pF的电容滤波电路，其作用就是滤去电源电路中的杂波电压。晶振下面是一个复位电路，通过一个10K的电阻完成STM32上拉复位电路。

四旋翼飞行器虽然机械结构简单，但是由于多个电机同时工作，各个电机之间有旋转的干扰，这就导致飞行器在飞行过程中不稳定，这就加大了对四旋翼飞行器的控制难度。因此姿态的测量对飞行器的控制就非常的重要，对相应的运动姿态进行测量，有助于及时发现当前姿态并改进姿态控制，确保飞行稳定。本发明中选用三维倾角加速度传感器对姿态进行测量，通过对角速度和加速度的测量的数据相互弥补不足。三维加速度倾角传感器电路图如图3所示。

本发明中还是有无线传输模块，其主要包括编/解码电路，高频电路和操作器等组成，发送端通过操作手柄发出的通道控制信号经 PPM 编码，搭载 2.4G 高频经调制发送出去；而在接收端，无线信号则由相应的电路进行解调，还原出原始的 PPM 信号，最终相应控制器或微处理器对信号进行解码，得到各个通道的控制量（如图4所示）。其中无线24L01接收模块电路图如图5所示，CE端口选择1是工作在RX或者是TX模式，CSN是片选低电平有效，SCK是时钟信号输入端口，5号和6号接口是SPI输入输出端口，IRQ是中断输出端口。

本发明中图像传感器采用带有AL422B高速缓存的OV7670模块，该模块内部电路已经连接好，外部预留OV7670传感器的各引脚接口，方便与外电路的连接。OV7670输出的图像数据先暂存在AL422B中，然后由STM32处理器读取，因此AL422B的数据输入是OV7670的输出，AL422B的数据输出是STM32处理器的输入，AL422B是整个系统传输的关键，它在图像采集电路中的连接设计最为重要。

由于OV7670输出的图像数据流频率较高，为了使得STM32处理器和传感器之间的速度匹配，在OV7670和STM32F103VET6处理器之间添加AL422B高速缓存，将输入的高速图像数据流暂存，供STM32处理器读出，从而实现完整一帧图像的采集，其总体结构如图6所示。

本发明中还设有3D摇杆传感器，通过摇杆的判断，对四旋翼飞行器进行无线遥控，在方便使用的同时，还对四旋翼飞行器的重力感应进行了优化，在使用的时候才打开，这样，就减少了外部因素对四旋翼飞行器的影响。本发明分左右两个摇杆，左边摇杆控制的是四旋翼飞行器的四个电机转速的总体速度。右边摇杆控制的是四旋翼飞行器的飞行方向，摇杆向左时向左运动，摇杆向右时向右运动，摇杆向前时向前运动，摇杆向后时向后运动。

本发明中的液晶显示屏采用触摸屏设计，支持240RGBx320点分辨率，支持262,144色的系统单芯片包括720通道的原驱动，320通道的门驱动器，172800字节的图形数据和电源电路的RAM驱动。LCD由驱动IC SSD1298控制，SSD1298内有172800Byte的图形显示数据存储器（GDDRAM），在LCD液晶屏上显示数据时，通过LCM和处理器的接口把像素值写入SSD1298的GDDRAM中，其余工作由SSD1298完成与处理器无关。LCM和微处理器Ⅱ的连接如图7所示。

本发明在工作过程中，系统上电后，进行程序初始化，系统检测是否有手持终端发射给四旋翼飞行器本体信号，同时三维倾角加速度传感器与陀螺仪检测四旋翼飞行器本体是否平衡，然后3D遥感控制器加大油门，四旋翼飞行器接收到信号后发给直流电机驱动板信信息，电机开始旋转，同时三维倾角加速度传感器和陀螺仪开始工作反馈给控制器Ⅰ。控制器Ⅰ通过反馈信号再次给直流电机驱动板信号使四旋翼飞行器保持平衡，飞行控制流程图如图8所示。

本发明中，三维加速度倾角传感器采用MPU-6050三维加速度倾角传感器，MPU-6050 数据包的读取包括角速度和加速度两个部分，本发明中使用 STM32的硬件 IIC 资源，具体的读取指定如下：

i2cRead(MPU-6050_ADDRESS, MPU_RA_ACCEL_XOUT_H, 6, buf); //加速度传感器读取程序

i2cRead(MPU-6050_ ADDRESS, MPU_RA_GYRO_XOUT_H, 6, buf); //角速度传感器读取程序

其中 MPU_ADDRESS 为 MPU-6050 的 IIC 总线地址，MPU_RA_ACCEL_XOUT_H是X轴加速度高位寄存器在 MPU-6050 中的地址，MPU_RA_GYRO_XOUT_H 是 X轴角速度高位地址，微控制器操作 IIC 总线从指定地址开始读取 6字节存入 buf，将取得的数据通过移位即得到三个轴的 16 位测量值。

对四旋翼飞行器的姿态进行解算，3D摇杆器发送的遥控数据信号就是四旋翼飞行器的期望姿态，而三维加速度倾角传感器测量的数据信号就是四旋翼飞行器当前的姿态，把期望的姿态数据和当前的姿态数据的差值发送给PID控制器，就可以得到控制器需要发送给电机的控制量。姿态解算流程如图 9所示。

对于只有加速度和角速度信息的姿态系统，分别对 roll 和pitch 这两个姿态角进行过滤和计算，其流程图如图11所示，roll 和 pitch 角度轴所采用的数据滤波方法和融合的算法。对于偏航角（yaw），在 X-Y 平面内的运动，只能通过角速度传感器进行测量，通过角速度传感器得到的数据即可计算出旋转过程中绕 Z 轴转动的角度；但是在实际飞行时，飞行器产生的偏航是遥控器发出的指令发出的，即遥控器发出旋转命令（yaw 通道的控制量）来操作飞行器旋转。

PID控制中比例调节P的作用就是经过姿态解算，得到当前姿态和控制量的偏差，在理论上是可以经过一定比例的换算之后，得到的控制量输出即可消除这些偏差，能够减少控制量的误差。比例系数Kp 决定了减少偏差的速度，虽然Kp 越大偏差的减少越快，但是过度的增大Kp的数值，会引起系统的震荡，特别是在滞后环节较大的情况下；减小Kp 值，产生振荡的可能性虽然也会随之减小，但是调节的速度就会相应变慢，所以单纯的比例调节P存在着静差不能消除的缺陷，这就需要通过积分像控制来弥补，积分控制I本质上是对累积的偏差进行的调节，一直调节到累积偏差为零。

飞行控制部分解码出遥控信号或者采集到三维加速度倾角传感器数据之后，随即将两者进行融合计算，根据融合的结果对姿态进行相应的数据调整，即通过 PWM 信号对飞行器电机进行控制，这时就需要设置合适的 PID 控制率输出合适的控制量，以避免电机转速过大的变化而引起飞行器剧烈抖动，使得四旋翼飞行器电机的旋转速度可以得到有效调节，确保飞行器稳定。

电机的调速系统的工作原理：将实际转速 n (t ) 与设定速度n ₀ (t)进行比较，得到差值0。e ( n ) = n ₀(t ) ?? n (t )，将其通过 PID 控制器的调整后，得到的u (t )为电压控制信号，再经过处理器发送给驱动电机信号改变其转速。经上述设计的 PID 算法计算得到各个通道的相对控制量，对于四旋翼飞行器的运动特性，需要采用特定的控制算法将控制量换算为每个电机的输出值，其具体换算流程如图10所示。

在图10中，副翼、升降、方向通道的值为 PID 算法计算得到，油门量（THRO）则是由遥控指令中 THRO 通道值折算得到。通过计算即可得到四个电机的控制值，实现代码如下：

#define PIDMIX(X,Y,Z) rc[THRO] + axisPID[ROLL]*X + axisPID[PITCH]*Y - * axisPID[YAW]*Z

motor[0] = PIDMIX( 0,+1,-1); //２号电机ＰＩＤ控制程序

motor[1] = PIDMIX(-1, 0,+1); //４号电机ＰＩＤ控制程序

motor[2] = PIDMIX(+1, 0,+1); //３号电机ＰＩＤ控制程序

motor[3] = PIDMIX( 0,-1,-1); //1号电机ＰＩＤ控制程序

其中 motor[]是输出至电机的控制量，控制系统将 motor[]值写入到PWM 的 ccr 寄存器，即可触发中断实现 PWM 输出。

在四旋翼飞行器的实际调试中，PID 参数的调整按照一定的规律和调试经验进行逐步确定。

（1）将控制器的积分系数 Ki 和微分系数 Kd 设定为 0，控制系统在该闭环运行，由小到大增加比例系数 Kp，让该干扰信号逐步增加，观察整个控制的过程，比例调节直至飞行器能够产生较大升力抵消掉外界作用力。

（2）将比例系数 Kp 设定为当前值的5/6，由小到大改变积分系数 Ki，同样让逐步增加，直至达到（1）中的最终满意控制过程。

（3）保持积分 Ki 不变，改变比例 Kp，观察整个控制过程，如果控制过程有所改善，则继续调节直至过程满意为止；否则，增加原先的比例系数 Kp，重新调整积分系数 Ki，追求控制过程的改善，通过如此反复的试凑，直到找到一个满意的积分系数 Ki和比例系数Kp为止。

（4）引入适当的微分系数 Kd，再依据上述过程，适当的增大积分系数Ki和比例系数 Kp，直到满意的控制过程。

四旋翼飞行器roll的P测试如图12所示，横坐标是时间坐标轴，纵坐标是角度大小，在开始时刻给飞行器一个外力，然后显示roll方向角度有一个系统偏差，然后在PID的调节下，系统逐步趋向于期望值而图13是Pitch方向角度大小变化的一个图形显示中间那条线是显示0度的角度，在系统给一个外力后，Pitch发生的角度偏转变化。最后系统达到平衡。

本发明中采用两种无线数据传输方案，成功解决了无线传输数据丢包的问题，并对两种方案进行了论证，设计出适用于本图像无线传输系统的通信程序，最终实现了数据的百分之百发送接收，并对无线传输模块进行了接收数据的正确性和静态数据的传输速度测试。

Claims

1.基于图像识别跟踪的四旋翼飞行器智能侦察系统，其特征在于：包括四旋翼飞行器本体和手持终端，所述四旋翼飞行器本体上还设有微处理器Ⅰ、控制器Ⅰ、自稳定陀螺仪、GPS定位仪、超声波避障模块和用于采集目标图像信息的图像传感器，其中自稳定陀螺仪、超声波避障模块和GPS定位仪与控制器Ⅰ连接，控制器Ⅰ通过直流电机驱动板控制四旋翼飞行器的平衡和运行；

所述手持终端包括微处理器Ⅱ、控制器Ⅱ、3D遥杆控制器、三维加速度倾角传感器、PID控制器、按键输入模块和液晶显示屏，所述微处理器Ⅱ与微处理器Ⅰ无线相连，并将接收到的目标图像信息传输至液晶显示屏，所述PID控制器分别与3D遥杆控制器、三维加速度倾角传感器以及控制器Ⅱ连接，其中，3D遥杆控制器发出的遥控信号及三维加速度倾角传感器采集的姿态信号发送给PID控制器， PID控制器根据接收到的信号进行姿态解算，得到当前姿态和预期姿态的偏差，将得到的偏差值进行系列换算后得到用于消除控制信号和姿态信号偏差的控制量，并将该控制量反馈给控制器Ⅱ，控制器Ⅱ将接收到控制信息通过无线传输模块传输至控制器Ⅰ，控制器Ⅰ根据接收到的信息驱动直流电机驱动板控制四旋翼飞行器的运行。

2.如权利要求1所述的基于图像识别跟踪的四旋翼飞行器智能侦察系统，其特征在于：所述的图像传感器采用带有AL422B高速缓存的OV7670模块，所述的三维加速度倾角传感器是MMA845数字传感器。

3.如权利要求1所述的基于图像识别跟踪的四旋翼飞行器智能侦察系统，其特征在于：所述微处理器Ⅰ和微处理器Ⅱ均采用STM32F103嵌入式控制芯片。

4.如权利要求1所述的基于图像识别跟踪的四旋翼飞行器智能侦察系统，其特征在于：所述控制器Ⅱ上还连接有控制显示指示灯。

5.如权利要求1所述的基于图像识别跟踪的四旋翼飞行器智能侦察系统，其特征在于：还包括多个电源，每个电源经整压稳流后给其上连接的微处理器Ⅰ、控制器Ⅰ、处理器Ⅱ或控制器Ⅱ供电。