CN112254721A

CN112254721A - 一种基于光流相机的姿态定位方法

Info

Publication number: CN112254721A
Application number: CN202011235690.0A
Authority: CN
Inventors: 王元庆; 刘捷; 李希才
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2020-11-06
Filing date: 2020-11-06
Publication date: 2021-01-22

Abstract

本发明公开了一种基于光流相机的姿态定位方法，涉及无人机定位技术领域，主要用于实现无人机的自主控制飞行。本发明的系统结构主要由中央处理单元、图像传感单元、姿态传感单元、高度传感单元、补光单元、预警单元和电源单元组成。中央处理单元与图像传感单元、姿态传感单元、高度传感单元相连，分别对图像传感数据进行光流算法处理、对姿态传感数据进行二维速度补偿、对高度传感数据进行三维速度计算。中央处理单元与补光单元、预警单元相连，分别控制近红外补光灯、声光预警的开启与关闭。电源单元为上述单元提供供电。本发明在克服传统视觉定位方法精度不高、准度随时间漂移的同时，还保证低亮度情况下系统的稳定运转，提供实时监测和预警。

Description

一种基于光流相机的姿态定位方法

技术领域

本发明涉及无人机定位技术领域，特别是一种基于光流相机的姿态定位方法。

背景技术

近年来，随着科学技术的日益发展，无人机已被广泛应用于军事领域和民用领域中，如在室外环境中用于空中预警、低空摄影，室内环境中用于情报侦察、搜索救援等。然而，无人机能否实时感知自身的位置信息和速度信息对于其实现自主飞行至关重要，目前广泛使用的定位方法主要是基于全球卫星定位系统(GPS)的定位方法。但在一些GPS信号较弱的环境中，如楼群之间、大型建筑之内等，传统定位方法就无法发挥出作用。而基于视觉的定位方法不需要依靠GPS信号，且具有体积小、重量轻、价格低、精度高等优势，正逐渐成为无人机实现自主飞行的主流定位方法。

传统视觉定位方法系统组成实例结构如图1所示，主要由图像传感器MT9V034 1、陀螺仪L3GD20 2、声呐MB1240 3以及微控制器STM32F407 4组成。图像传感器MT9V034 1是一款1/3英寸CMOS有源数字图像传感器，负责视觉图像数据的采集与发送。陀螺仪L3GD20 2是一款三轴角速度传感器，负责系统角速度数据的采集与发送。声呐MB1240 3是一款超声波测距传感器，通过声波发送和接收的时间差来计算距离，负责系统高度数据的采集与发送。微控制器STM32F407 4是一款具有Cortex M4F内核的168MHz的32位微控制器，包含图像采集卡401、直接存储器访问402、内存403、中央处理器404，负责图像数据、角速度数据、高度数据的接收与处理，并发送当前速度数据以进行积分定位。

由此可知，现有方法存在如下缺点：

1.图像传感器MT9V034 1在图像最高分辨率752×480下的最高帧率为60fps，当无人机在复杂场景中进行高速飞行任务时，受分辨率低的影响，导致微控制器不能精准计算出速度数据；受帧率低的影响，导致微控制器不能实时发送出速度数据。

2.陀螺仪L3GD20 2测量的角速度数据具有不确定性，且随着时间的推移，陀螺仪会出现稳定增大的角速度误差，导致微控制器用角速度数据补偿计算的速度数据的误差会越来越大。

3.声呐MB1240 3超声波测距的测量精度是厘米级的，易受温度和风向的影响，且在障碍物较多的环境中回波干扰较多，导致无人机不能精准定位当前飞行高度。

4.微控制器STM32F407 4提供的工作频率为168MHz的Cortex M4F内核浮点运算性能不足以支撑高分辨率高帧率的图像光流计算，目前仅可支持到图像分辨率为64*64，帧率为30fps的图像光流计算。

5.在亮度较低情况下，图像传感器不能较好的对周围环境进行感知，导致微控制器的光流算法失效，无法给出正确的速度数据。

6.当系统运行不正常时，无法实时查看各个单元的运转情况，缺乏一定的指示及预警。

发明内容

针对上述现有方法的缺点，本发明提供了一种基于光流相机的姿态定位方法，用于无人机的视觉定位导航。

为解决上述问题，本发明采用如下技术方案：

一种基于光流相机的姿态定位方法，系统结构主要由中央处理单元、图像传感单元、姿态传感单元、高度传感单元、补光单元、预警单元和电源单元组成；

所述中央处理单元用于接收所述图像传感单元、所述姿态传感单元、所述高度传感单元的数据输入，并对输入数据进行综合处理，在输出结果数据的同时，发送出用于控制所述补光单元、所述预警单元的控制信号；

所述图像传感单元与所述中央处理单元相连，用于视觉图像数据的采集与发送；

所述姿态传感单元包含传统陀螺仪和加速计陀螺仪，与所述中央处理单元相连，用于姿态角速度数据的采集与发送；

所述高度传感单元包含激光雷达，与所述中央处理单元相连，用于高度数据的采集与发送；

所述补光单元包含近红外补光灯，与所述中央处理单元相连，用于确保低亮度情况下所述中央处理单元的光流算法正常执行；

所述预警单元包含声光预警，与所述中央处理单元相连，其中声预警部分用于对系统非正常运行情况进行预警，光预警部分用于指示所述图像传感单元、所述姿态传感单元、所述高度传感单元是否正常运转；

所述电源单元包含相机电源和公用电源，相机电源用于给所述图像传感单元供电，公用电源用于给相机电源、所述中央处理单元、所述姿态传感单元、所述高度传感单元、所述补光单元以及所述预警单元供电。

所述中央处理单元先对所述图像传感单元获取的图像数据进行预处理，判断图像传感单元获取的图像数据是否需要补光，若需要补光则控制所述补光单元开启，否则进入光流算法流程，包括中值滤波、特征点计算、特征点匹配、光流速度计算等本领域常规算法。

所述中央处理单元接着对所述姿态传感单元获取的姿态角速度数据进行二维速度补偿。

所述中央处理单元最后对所述高度传感单元获取的高度数据进行三维速度的计算及输出。

所述中央处理单元会分别在所述图像传感单元、所述姿态传感单元、所述高度传感单元的关键节点判断其是否正常运转，若否则会控制所述预警单元给出声光指示。

本发明的有益效果如下：

1.图像传感器OV5647在图像最高分辨率为2592×1944情况下的帧率为15fps，在最高帧率为120fps情况下的图像分辨率为320×240，能有效应对无人机不同场景、不同应用的需求，使得系统能实时精准的发送出速度数据。

2.采用传统陀螺仪和加速计陀螺仪分别对系统姿态角速度数据进行测量，依据累计飞行时间对二者测量角速度进行加权处理，使得角速度误差不会随着时间推移而稳定增大，且当一方出现故障时仍能保证系统稳定运行。

3.采用激光雷达对系统飞行高度进行测量，其测量精度可达毫米级，且几乎不受所处环境干扰。

4.树莓派Raspberry Pi 4B的四核Cortex-A72处理器速度高达1.5GHz，浮点运算性能得到明显提升，并且还能对数据进行并行处理，保证系统的数据综合处理性能。

5.系统自动检测当前所处环境的亮度，当亮度不足以支持光流算法的正确性时，系统会自动开启近红外补光灯，在提供亮度的同时，保证自身的隐蔽性。

6.采用指示灯对各个单元的运转情况进行实时监测，并在系统将无法正常运转时使用蜂鸣器主动预警。

附图说明

图1为无人机传统视觉定位方法系统组成实例结构示意图；

图2为本发明具体实施例系统组成结构示意图；

图3为本发明具体实施例系统组成结构中中央处理单元接口电路原理图；

图4为本发明具体实施例系统组成结构中图像传感单元电路原理图；

图5为本发明具体实施例系统组成结构中姿态传感单元电路原理图；

图6为本发明具体实施例系统组成结构中高度传感单元电路原理图；

图7为本发明具体实施例系统组成结构中补光单元电路原理图；

图8为本发明具体实施例系统组成结构中预警单元电路原理图；

图9为本发明具体实施例系统组成结构中电源单元电路原理图；

图10为本发明具体实施例系统组成结构中中央处理单元数据综合处理流程图。

具体实施方式

为使本发明的目的、特征、优点更加明显易懂，下面结合附图中所涉及的具体实施方式，对本发明的实施例进行清楚、完整地描述。显然，所描述的实施例仅为本发明的一部分实施例，而不是全部实施例。基于本发明的实施例，本领域技术人员在未进行创造性劳动前提下获得的所有其它实施例，如只改变用途而不改变权利要求涉及基本原理的实施例，都属于本发明保护的范围。

如图2所示，系统结构主要由中央处理单元5、图像传感单元6、姿态传感单元7、高度传感单元8、补光单元9、预警单元10和电源单元11组成。所述中央处理单元5由树莓派Raspberry Pi 4B构成，包含接口501、内核502、用户态程序503和中央处理器504等，由接口501同所述图像传感单元6、所述姿态传感单元7、所述高度传感单元8进行数据交互。所述图像传感单元6由图像传感器OV5647 601构成，同所述中央处理单元5通过MIPI接口相连，提供高帧率高分辨率的图像传感数据，用于光流算法的计算，得到二维光流速度。所述姿态传感单元7由传统陀螺仪L3GD20 701、加速计陀螺仪MPU-6000 702构成，传统陀螺仪L3GD20701同所述中央处理单元5通过SPI接口相连，加速计陀螺仪MPU-6000 702同所述中央处理单元5通过IIC接口相连，提供稳定的姿态角速度传感数据，用于二维光流速度的补偿计算，得到校准后的二维光流速度。所述高度传感单元8由激光雷达VL53L0X 801构成，同所述中央处理单元5通过IIC接口相连，提供精准的高度传感数据，用于竖直方向速度的计算，得到三维速度。所述补光单元9由近红外补光灯901构成，同所述中央处理单元5通过GPIO口相连，提供低亮度情况下的图像数据补光，用于保证光流算法得到的二维光流速度的正确性。所述预警单元10由声光预警电路构成，同所述中央处理单元5通过GPIO口相连，提供蜂鸣和灯闪，用于实时监测系统和各个单元的运行状况。所述电源单元11由相机电源1101、公用电源1102构成，相机电源1101用于给所述图像传感单元6提供2.8V、1.5V电压；公用电源1102用于给相机电源1101、所述中央处理单元5、所述姿态传感单元7、所述高度传感单元8、所述补光单元9以及所述预警单元10提供3.3V电压。

如图3所示，所述中央处理单元5的接口电路原理图由12、13两部分组成。12负责同所述姿态传感单元7、所述高度传感单元8、所述补光单元9、所述预警单元10相连，其中S11201为复用型开关，长按可作为开关机按键，短按可作为功能按键；1202中L1、C35、C36、C37组成\pi型LC滤波电路，用于滤除多余的谐波；1203中R20、R21为两个0欧电阻，用于分开数字模拟混合电路中的地，降低电路噪声。13负责同所述图像传感单元6相连，其中1301中R23、R24为下拉电阻，用于驱动IIC总线中的SDA数据线与SCL控制线；D1 1302为发光二极管，用于指示传感时钟使能信号是否正常。

如图4所示，所述图像传感单元6的电路原理图由14、15两部分组成。14负责图像传感器OV5647的图像传感数据通过MIPI接口接入所述中央处理单元5，其中网络标号MIPIData lane 0_N、MIPI Data lane 0_P、MIPI Data lane 1_N、MIPI Data lane 1_P、MIPIClock_N、MIPI Clock_P、SDA、SCL分别同所述13中对应相同网络标号相连，1401中MIPI接口通过差分信号进行数据的传输，两者之间相位相差180度，在抑制共模干扰的同时还能提升信号幅度。15负责图像传感器OV5647的时钟输入，使用ASEMB-25MHz芯片提供25MHz的时钟信号，其中网络编号OSC-OUT_RGB同所述14中相同网络编号相连，C29 1501为滤波电容，用于滤掉电磁干扰杂波。

如图5所示，所述姿态传感单元7的电路原理图由16、17两部分组成。16负责姿态角速度传感数据的采集，并通过SPI接口接入所述中央处理单元5，其中网络编号SPI_INT_SCK、SPI_INT_MOSI、SPI_INT_MISO、GYRO_CS、GYRO_DDRY分别同所述12中对应相同网络编号相连，1601中C21、C22分别为10微法电解电容、0.1微法非电解电容，并联连接用于使电源线和地线之间为低阻抗，保证电源接近理想电压源。17同样是负责姿态角速度传感数据的采集，并通过IIC接口接入所述中央处理单元5，其中网络编号PI_SDA、PI_SCL分别同所述12中对应相同网络编号相连。需要说明的是，虽然16、17都是用来采集姿态角速度传感数据的，但16的芯片型号为L3GD20，是传统功能的陀螺仪传感器，17的芯片型号为MPU_6000，集成了加速计传感器和陀螺仪传感器。这样做一来是可以对二者所测角速度数据做一定的加权处理，降低随时间漂移的误差；二来是可以在一方出现故障时仍能保证系统的正常运行。

如图6所示，所述高度传感单元8的电路原理图由18组成。18负责高度传感数据的采集，并通过IIC接口接入所述中央处理单元5，其中网络编号PI_SDA、PI_SCL分别同所述12中对应相同网络编号相连，1801中R13、R14为上拉电阻，用于放置漏电流。需要说明的是，芯片VL53L0X是新一代飞行时间激光测距模块，无论目标反射率如何，都能提供精确的距离测量。

如图7所示，所述补光单元9的电路原理图由19组成。19负责提供近红外补光灯的照明，并通过GPIO口接入所述中央处理单元5，其中网络编号IO24同所述12中相同网络编号相连，1901中D5、D6、D7、D8组成光源串联电路，R13为限流电阻，1902中C1、C2、C3为旁路滤波电容，T4 1903为高速响应的增强型NMOS管。

如图8所示，所述预警单元10的电路原理图由20、21两部分组成。20负责系统运转不正常时的蜂鸣预警，并通过GPIO口接入所述中央处理单元5，其中网络编号IO25同所述12中相同网络编号相连，R7 2001为三极管静态工作点调节电阻，使得三极管在没有交流信号输入的情况下处于直流工作状态。21负责实时监测各单元的运转情况，并通过GPIO口接入所述中央处理单元5相连，其中网络编号BLUE、GREEN、RED分别同所述12中对应相同网络编号相连，2101中R8、R10、R11组成发光二极管光色调节电路，R9 2102为限流电阻。

如图9所示，所述电源单元11的电路原理图由22、23、24、25、26五部分组成。22、23负责向所述图像传感单元6供电，其中22用芯片CAT6219-280TD在给定3.3V输入电压的情况下提供2.8V的输出电压，23用芯片ME6211C15M5G在给定3.3V输入电压的情况下提供1.5V的输出电压，网络编号AVDD_2.8V_OSC、DOVDD_2.8V_Rgb、DVDD_1.5V分别同所述14对应相同网络编号相连。24、25、26负责向所述姿态传感单元7、所述高度传感单元8、所述补光单元9、所述预警单元10供电，其中24、25用芯片AMS1117-3.3在给定5V输入电压的情况下提供3.3V的输出电压，26用芯片CAT6219-280TD在给定3.3V输入电压的情况下提供2.8V的输出电压。需要说明的是，单独使用22、23向所述图像传感单元6供电，主要是防止因电压不稳而造成的图像传感数据噪声过大。

如图10所示，所述中央处理单元5的数据综合处理流程主要有S101、S102、S103、S104四个步骤。

S101，对图像传感器OV5647的输入图像进行预处理，判断图像数据是否需要补光，若需要补光则控制补光灯开启，否则进入光流算法流程；

S102，光流算法流程，对图像数据进行中值滤波，平滑掉部分噪声；然后对当前图像进行特征点计算，并同上一帧图像进行特征点匹配，计算出光流速度；

S103，用传统陀螺仪L3GD20输入角速度w1和加速计陀螺仪MPU-6000输入角速度w2对光流速度进行补偿处理，得到更加精确的二维速度；

S104，用激光雷达VL53L0X输入高度h得到三维速度并输出。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.一种基于光流相机的姿态定位方法，其特征在于，系统结构主要由中央处理单元、图像传感单元、姿态传感单元、高度传感单元、补光单元、预警单元和电源单元组成；

2.根据权利要求1所述的一种基于光流相机的姿态定位方法，其特征在于，所述中央处理单元先对所述图像传感单元获取的图像数据进行预处理，判断图像传感单元获取的图像数据是否需要补光，若需要补光则控制所述补光单元开启，否则进入光流算法流程，包括中值滤波、特征点计算、特征点匹配、光流速度计算等本领域常规算法。

3.根据权利要求1所述的一种基于光流相机的姿态定位方法，其特征在于，所述中央处理单元接着对所述姿态传感单元获取的姿态角速度数据进行二维速度补偿。

4.根据权利要求1所述的一种基于光流相机的姿态定位方法，其特征在于，所述中央处理单元最后对所述高度传感单元获取的高度数据进行三维速度的计算及输出。

5.根据权利要求1所述的一种基于光流相机的姿态定位方法，其特征在于，所述中央处理单元会分别在所述图像传感单元、所述姿态传感单元、所述高度传感单元的关键节点判断其是否正常运转，若否则会控制所述预警单元给出声光指示。