CN108255187A - 一种微型扑翼飞行器视觉反馈控制方法 - Google Patents

Abstract

本发明提供一种微型扑翼飞行器视觉反馈控制方法，能够实现微型扑翼飞行器的快速定位和飞行控制。所述方法包括：利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像；根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标；根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。本发明适用于微型扑翼飞行器控制领域。

Description

一种微型扑翼飞行器视觉反馈控制方法

技术领域

本发明涉及自动控制领域，特别是指一种微型扑翼飞行器视觉反馈控制方法。

背景技术

扑翼飞行器是指机翼能像鸟和昆虫翅膀一样上下扑动的重于空气的航空器。扑翼飞行器与常见的固定翼、旋翼飞行器相比，具有效率高、质量轻、耗能低等显著有点，而且扑翼飞行器在安全性和隐蔽性方面有着天然的优势，是飞行器发展的重要方向。

微型扑翼飞行器是指尺寸较小的扑翼飞行器，主要应用在室内监控、救灾现场室内搜救等空间有限场景。不同于旋翼机飞行属于准定常空气动力学系统，由于扑翼飞行的方式会使微型扑翼飞行器周围的空气产生非定常涡流，因此，微型扑翼飞行器是一个复杂的非线性、非定常的系统。微型扑翼飞行器的体型较小且多采用柔性结构，易受扰动的影响。同时，传感器和执行机构随着尺寸的减少性能也急剧下降，所以需要更良好的控制算法来实现系统的稳定性。

现有的微型扑翼飞行器的负载能力较差，无法带动过多的传感器飞行。GPS在室内信号受到建筑物的影响，难以用来获取准确的位置，陀螺仪和加速度计等惯性传感器受微型扑翼飞行器本身振动影响较大，同样不利于获取微型扑翼飞行器准确的位置信息。

现有的微型扑翼飞行器一般通过机载传感器获取其位置信息，但是由于机载传感器受微型扑翼飞行器本身振动影响较大，难以获取准确的位置信息。

发明内容

本发明要解决的技术问题是提供一种微型扑翼飞行器视觉反馈控制方法，以解决现有技术所存在的通过机载传感器难以获取微型扑翼飞行器准确的位置信息的问题。

为解决上述技术问题，本发明实施例提供一种微型扑翼飞行器视觉反馈控制方法，包括：

利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像；

根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标；

根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。

进一步地，所述利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像包括：

控制外设的Kinect传感器的俯仰角，捕获所述微型扑翼飞行器飞行时的运动图像。

进一步地，所述利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像包括：

利用Kinect传感器的红外相机，捕获所述微型扑翼飞行器飞行时的深度图像；

利用Kinect传感器的彩色相机，捕获所述微型扑翼飞行器飞行时的彩色图像。

进一步地，所述根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标包括：

根据捕获的微型扑翼飞行器飞行时的彩色图像进行微型扑翼飞行器识别；

基于识别出的微型扑翼飞行器，结合捕获的微型扑翼飞行器飞行时的深度图像对微型扑翼飞行器进行坐标变换，得到微型扑翼飞行器所处的三维空间坐标。

进一步地，所述基于识别出的微型扑翼飞行器，结合捕获的微型扑翼飞行器飞行时的深度图像对微型扑翼飞行器进行坐标变换，得到微型扑翼飞行器所处的三维空间坐标包括：

根据所述彩色图像和所述深度图像的融合关系，将识别出的所述微型扑翼飞行器的二维图像信息变换到深度图像中，得到所述微型扑翼飞行器的三维图像信息；

结合所述Kinect传感器自身在空间中的位置信息，对得到的所述微型扑翼飞行器的三维图像信息进行坐标变换，得到所述微型扑翼飞行器所处的三维空间坐标。

进一步地，所述根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行包括：

根据确定的所述微型扑翼飞行器所处的三维空间坐标，得到所述微型扑翼飞行器所处的空间高度信息；

确定所述微型扑翼飞行器所处的空间高度信息与预先设定的高度值之间的偏差量；

根据得到的偏差量，控制所述微型扑翼飞行器按照预先设定的高度值进行定高飞行。

进一步地，所述根据得到的偏差量，控制所述微型扑翼飞行器按照预先设定的高度值进行定高飞行包括：

根据得到的偏差量控制驱动所述微型扑翼飞行器的电机执行闭环调节，使所述微型扑翼飞行器按照预先设定的高度值进行定高飞行。

进一步地，所述方法还包括：

通过所述微型扑翼飞行器搭载的气压传感器，获取所述微型扑翼飞行器所处的空间高度信息；

根据获取的所述微型扑翼飞行器所处的空间高度信息，对确定的所述微型扑翼飞行器的三维空间坐标进行修正。

进一步地，在根据获取的所述微型扑翼飞行器所处的空间高度信息，对确定的所述微型扑翼飞行器的三维空间坐标进行修正之后，所述方法还包括：

根据修正后的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。

本发明的上述技术方案的有益效果如下：

上述方案中，通过外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像；根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标；根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。这样，相比于传统的机载传感器，使用外设的Kinect传感器进行视觉反馈控制，减轻了微型扑翼飞行器搭载更多传感器的负担，还能避免微型扑翼飞行器本身振动影响，从而能够快速准确地得到微型扑翼飞行器的位置信息，实现微型扑翼飞行器的快速定位和飞行控制。

附图说明

图1为本发明实施例提供的微型扑翼飞行器视觉反馈控制方法的流程示意图；

图2为本发明实施例提供的飞行控制上位机显示示意图；

图3为本发明实施例提供的微型扑翼飞行器视觉反馈控制流程示意图；

图4为本发明实施例提供的微型扑翼飞行器视觉反馈控制原理示意图；

图5为本发明实施例提供的室内定高飞行实验结果示意图；

图6为本发明实施例提供的捕获的微型扑翼飞行器的飞行轨迹和预设轨迹。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的通过机载传感器难以获取微型扑翼飞行器准确的位置信息的问题，提供一种微型扑翼飞行器视觉反馈控制方法。

如图1所示，本发明实施例提供的微型扑翼飞行器视觉反馈控制方法，包括：

S101，利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像；

S102，根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标；

S103，根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。

本发明实施例所述的微型扑翼飞行器视觉反馈控制方法，通过外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像；根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标；根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。这样，相比于传统的机载传感器，使用外设的Kinect传感器进行视觉反馈控制，减轻了微型扑翼飞行器搭载更多传感器的负担，还能避免微型扑翼飞行器本身振动影响，从而能够快速准确地得到微型扑翼飞行器的位置信息，实现微型扑翼飞行器的快速定位和飞行控制。

本实施例中，所述外设的Kinect传感器是指不由所述微型扑翼飞行器搭载的Kinect传感器，例如，所述外设的Kinect传感器可以是放置于桌面或固定于墙上的Kinect传感器。

为了实现本发明实施例所述的微型扑翼飞行器视觉反馈控制方法，还需一套实现微型扑翼飞行器视觉反馈控制的控制系统，所述控制系统包括：微型扑翼飞行器上搭载的飞行控制电路板和飞行控制上位机两个部分。

本实施例中，所述飞行控制电路板包括：电源模块、惯性测量模块、气压传感器模块、通信模块和驱动模块；其中，

所述电源模块，包含电池和稳压电路，为整个飞行控制电路板的工作提供能量和合适的工作电压；

所述惯性测量模块包括但不限于：三轴陀螺仪、三轴加速度计和三轴磁力计，用于测量微型扑翼飞行器飞行姿态，实时监控扑翼飞行器的俯仰角、偏航角和翻滚角；

所述气压传感器模块，作为微型扑翼飞行器飞行高度测量单元，通过捕获气压传感器的数值经过处理得到微型扑翼飞行器所处的空间高度信息，能够修正基于Kinect传感器捕获到的运动图像确定的所述微型扑翼飞行器所处的三维空间坐标；

所述通信模块，采用蓝牙模块用于实现飞行控制电路板和飞行控制上位机之间的双向通信；

所述驱动模块，通过电机驱动电路进行PWM波调制，根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量，控制驱动微型扑翼飞行器的电机执行闭环调节，从而改变微型扑翼飞行器的空间位置，使扑翼飞行器按照预先设定的轨迹飞行。

本实施例中，所述飞行控制上位机具有Kinect控制功能、图像处理功能和数据通信功能；其中，

Kinect控制功能，能够控制Kinect传感器的俯仰角，利用Kinect传感器的红外相机，捕获所述微型扑翼飞行器飞行时的深度图像，利用Kinect传感器的彩色相机，捕获所述微型扑翼飞行器飞行时的彩色图像；并通过调用Kinect传感器的接口，获取Kinect传感器捕获到的的深度图像和彩色图像；

图像处理功能，根据捕获的微型扑翼飞行器飞行时的彩色图像进行微型扑翼飞行器识别，基于识别出的微型扑翼飞行器，结合捕获的微型扑翼飞行器飞行时的深度图像对微型扑翼飞行器进行坐标变换，从而得到微型扑翼飞行器所处的三维空间坐标；具体步骤可以包括：

根据所述微型扑翼飞行器实际活动的空间，对捕获的所述深度图像进行三维分割，去除边缘与背景部分，得到包含所述微型扑翼飞行器的目标区域；

将捕获的所述彩色图像与捕获的所述深度图像进行融合，并根据得到的目标区域对所述彩色图像进行分割，并去除所述彩色图像中属于边缘和背景的部分；

在去除边缘和背景的彩色图像中，根据所述微型扑翼飞行器自身的色彩与周围环境的差别，按照颜色将所述彩色图像划分为不同的区域，再利用特征提取的方法获取所述微型扑翼飞行器在所述彩色图像中的二维图像信息，完成微型扑翼飞行器的识别；

根据所述彩色图像和所述深度图像的融合关系，将识别出的所述微型扑翼飞行器的二维图像信息变换到深度图像中，得到所述微型扑翼飞行器的三维图像信息；

结合所述Kinect传感器自身在空间中的位置信息，对得到的所述微型扑翼飞行器的三维图像信息进行坐标变换，得到所述微型扑翼飞行器所处的三维空间坐标。

本实施例中，优选地，在对捕获的深度图像、彩色图像进行分割之前，所述方法还包括：

对捕获的深度图像、彩色图像进行预处理，其中，所述预处理包括：灰度化、直方图均衡化、二值化操作。

数据通信功能，利用串口通信原理，将飞行控制上位机与飞行控制电路板用蓝牙转串口模块进行配对连接，实现微型扑翼飞行器与飞行控制上位机之间的通信，从而将上位机计算得到的所述微型扑翼飞行器所处的三维空间坐标(位置信息)发送到微型扑翼飞行器(搭载的飞行控制电路板)上，微型扑翼飞行器根据位置信息的变化完成闭环反馈控制。

如图2所示，在微型扑翼飞行器的控制过程中，首先要预先设定一系列的三维空间坐标点(即：设定飞行轨迹)，然后使用Kinect传感器实时捕获所述微型扑翼飞行器飞行时的运动图像，利用图像处理后得到的所述微型扑翼飞行器所处的实际三维空间坐标，将实际三维空间坐标与预先设定的三维空间坐标之间的偏差量作为控制输入发送到微型扑翼飞行器(搭载的飞行控制电路板)上，通过相应的驱动模块消除偏差，完成微型扑翼飞行器按照既定轨迹的飞行控制。

在前述微型扑翼飞行器视觉反馈控制方法的具体实施方式中，进一步地，所述根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行包括：

根据确定的所述微型扑翼飞行器所处的三维空间坐标，得到所述微型扑翼飞行器所处的空间高度信息；

确定所述微型扑翼飞行器所处的空间高度信息与预先设定的高度值之间的偏差量；

根据得到的偏差量，控制所述微型扑翼飞行器按照预先设定的高度值进行定高飞行。

需要说明的是：此处是只针对微型扑翼飞行器高度的控制方法，如果要控制微型扑翼飞行器的方向，可以通过调节尾舵方向控制微型扑翼飞行器的飞行方向。

如图3-图4所示，为了验证本实施例所述的微型扑翼飞行器视觉反馈控制方法的效果，设计了室内定高飞行实验。通过在微型扑翼飞行器模型上搭载本实施例设计的飞行控制电路板，使用蓝牙将本实施例设计的飞行控制上位机与微型扑翼飞行器进行无线连接，使用Kinect传感器实时捕捉微型扑翼飞行器飞行时的运动图像，根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的实际三维空间坐标(实际位置)；将所述实际三维空间坐标发送到微型扑翼飞行器的飞行控制板；所述飞行控制板根据确定的所述微型扑翼飞行器所处的三维空间坐标，得到所述微型扑翼飞行器所处的空间高度信息，并确定所述微型扑翼飞行器所处的空间高度信息与预先设定的高度值(所述预先设定的高度值是在飞行控制上位机上设置，并发送至微型扑翼飞行器，也可以称为参考高度)之间的偏差量，然后根据得到的偏差量，控制所述微型扑翼飞行器按照预先设定的高度值进行定高飞行。

在前述微型扑翼飞行器视觉反馈控制方法的具体实施方式中，进一步地，所述根据得到的偏差量，控制所述微型扑翼飞行器按照预先设定的高度值进行定高飞行包括：

根据得到的偏差量控制驱动所述微型扑翼飞行器的电机执行闭环调节，使所述微型扑翼飞行器按照预先设定的高度值进行定高飞行。

如图4所示，本实施例中，所述微型扑翼飞行器采用PID控制进行闭环调节，从而达到定高飞行的目的。

如图5所示，分别使用不同的曲线绘制了微型扑翼飞行器设定高度和实际飞行测量高度。当设定微型扑翼飞行器的飞行高度为1.73米(1730毫米)时，微型扑翼飞行器经过PID调节，稳定后的实际高度在设定高度附近上下波动，多数时间波动范围在上下2厘米以内，极少数时间会波动超过5厘米，整体控制效果良好。如图6所示，图6为捕获的微型扑翼飞行器的飞行轨迹和预设轨迹示意图。

在前述微型扑翼飞行器视觉反馈控制方法的具体实施方式中，进一步地，所述方法还包括：

通过所述微型扑翼飞行器搭载的气压传感器，获取所述微型扑翼飞行器所处的空间高度信息；

根据获取的所述微型扑翼飞行器所处的空间高度信息，对确定的所述微型扑翼飞行器的三维空间坐标进行修正。

在前述微型扑翼飞行器视觉反馈控制方法的具体实施方式中，进一步地，在根据获取的所述微型扑翼飞行器所处的空间高度信息，对确定的所述微型扑翼飞行器的三维空间坐标进行修正之后，所述方法还包括：

根据修正后的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种微型扑翼飞行器视觉反馈控制方法，其特征在于，包括：

利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像；

根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标；

根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。

2.根据权利要求1所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，所述利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像包括：

控制外设的Kinect传感器的俯仰角，捕获所述微型扑翼飞行器飞行时的运动图像。

3.根据权利要求1所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，所述利用外设的Kinect传感器，捕获所述微型扑翼飞行器飞行时的运动图像包括：

利用Kinect传感器的红外相机，捕获所述微型扑翼飞行器飞行时的深度图像；

利用Kinect传感器的彩色相机，捕获所述微型扑翼飞行器飞行时的彩色图像。

4.根据权利要求3所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，所述根据捕获的所述运动图像，确定所述微型扑翼飞行器所处的三维空间坐标包括：

根据捕获的微型扑翼飞行器飞行时的彩色图像进行微型扑翼飞行器识别；

基于识别出的微型扑翼飞行器，结合捕获的微型扑翼飞行器飞行时的深度图像对微型扑翼飞行器进行坐标变换，得到微型扑翼飞行器所处的三维空间坐标。

5.根据权利要求4所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，所述基于识别出的微型扑翼飞行器，结合捕获的微型扑翼飞行器飞行时的深度图像对微型扑翼飞行器进行坐标变换，得到微型扑翼飞行器所处的三维空间坐标包括：

根据所述彩色图像和所述深度图像的融合关系，将识别出的所述微型扑翼飞行器的二维图像信息变换到深度图像中，得到所述微型扑翼飞行器的三维图像信息；

结合所述Kinect传感器自身在空间中的位置信息，对得到的所述微型扑翼飞行器的三维图像信息进行坐标变换，得到所述微型扑翼飞行器所处的三维空间坐标。

6.根据权利要求1所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，所述根据确定的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行包括：

根据确定的所述微型扑翼飞行器所处的三维空间坐标，得到所述微型扑翼飞行器所处的空间高度信息；

确定所述微型扑翼飞行器所处的空间高度信息与预先设定的高度值之间的偏差量；

根据得到的偏差量，控制所述微型扑翼飞行器按照预先设定的高度值进行定高飞行。

7.根据权利要求6所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，所述根据得到的偏差量，控制所述微型扑翼飞行器按照预先设定的高度值进行定高飞行包括：

根据得到的偏差量控制驱动所述微型扑翼飞行器的电机执行闭环调节，使所述微型扑翼飞行器按照预先设定的高度值进行定高飞行。

8.根据权利要求1所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，所述方法还包括：

通过所述微型扑翼飞行器搭载的气压传感器，获取所述微型扑翼飞行器所处的空间高度信息；

根据获取的所述微型扑翼飞行器所处的空间高度信息，对确定的所述微型扑翼飞行器的三维空间坐标进行修正。

9.根据权利要求8所述的微型扑翼飞行器视觉反馈控制方法，其特征在于，在根据获取的所述微型扑翼飞行器所处的空间高度信息，对确定的所述微型扑翼飞行器的三维空间坐标进行修正之后，所述方法还包括：

根据修正后的所述微型扑翼飞行器所处的三维空间坐标与预先设定的三维空间坐标之间的偏差量控制所述微型扑翼飞行器按照预先设定的三维空间坐标进行飞行。