CN214409706U - 一种基于机器视觉的室内无人机定位系统 - Google Patents
一种基于机器视觉的室内无人机定位系统 Download PDFInfo
- Publication number
- CN214409706U CN214409706U CN202121061464.5U CN202121061464U CN214409706U CN 214409706 U CN214409706 U CN 214409706U CN 202121061464 U CN202121061464 U CN 202121061464U CN 214409706 U CN214409706 U CN 214409706U
- Authority
- CN
- China
- Prior art keywords
- camera
- unmanned aerial
- aerial vehicle
- machine vision
- positioning system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本实用新型公开了一种基于机器视觉的室内无人机定位系统，属于无人机定位技术领域，包括机体和设于机体上的旋翼，所述机体的中部设置有Pixhawk飞行控制器和机载计算机，机体前端安装有镜头朝前的双目摄像头，机体重心位置下方安装有镜头朝下的单目摄像头，所述机体上位于单目摄像头附近设置有用于获取无人机高度信息的激光测距模块，所述激光测距模块与单目摄像头水平设置；所述机载计算机通过MAVLink协议与Pixhawk飞行控制器实时通讯连接；所述双目摄像头、单目摄像头和激光测距模块分别与机载计算机电性连接。本实用新型能够利用机器视觉技术实现无人机在室内无GPS信号的环境下精确定位和自主避障飞行。
Description
技术领域
本实用新型属于无人机定位技术领域，涉及一种基于机器视觉的室内无人机定位系统。
背景技术
无人机简称无人驾驶飞机，是利用无线遥控设备或自主程序控制操作的飞行器。随着技术的发展，无人机的稳定性在逐渐提高而成本在逐渐降低，由于其具有的灵活度高、低成本、高机动性、拓展性强的特点，备受工业界和学术界的青睐，成为近年来的研究热点。
无人机实现各种复杂任务的前提是自身的精确定位，在室外可以利用GPS实现低成本、高精度的定位，在室内无GPS信号的环境下，无人机的定位变得十分困难。因此，如何在无GPS信号的特殊环境下，实现精确定位和避障飞行一直是人们热切关注的问题。
实用新型内容
本实用新型要解决的技术问题是：提供一种基于机器视觉的室内无人机定位系统，能够利用机器视觉技术实现无人机在室内无GPS信号的环境下精确定位和自主避障飞行。
为了实现上述目的，本实用新型采用的技术方案是：一种基于机器视觉的室内无人机定位系统，包括机体和设于机体上的旋翼，所述机体的中部设置有 Pixhawk飞行控制器和机载计算机，机体前端安装有镜头朝前的双目摄像头，机体重心位置下方安装有镜头朝下的单目摄像头，所述机体上位于单目摄像头附近设置有用于获取无人机高度信息的激光测距模块，所述激光测距模块与单目摄像头水平设置；所述机载计算机通过MAVLink协议与Pixhawk飞行控制器实时通讯连接；所述双目摄像头、单目摄像头和激光测距模块分别与机载计算机电性连接。
进一步地，所述Pixhawk飞行控制器上集成有陀螺仪传感器、气压传感器、加速度计、磁力计和电子罗盘。
进一步地，所述双目摄像头包括第一相机和第二相机，第一相机和第二相机位于同一水平面上，且两者间隔设置。
进一步地，所述机载计算机采用运行ROS机器人操作系统的树莓派4B。
进一步地，所述树莓派4B通过局域网与PC机通讯连接；PC机上安装有调控无人机的程序模块。
进一步地，所述激光测距模块采用VL53L1X TOF测距传感器。
进一步地，所述旋翼共有四个。
本实用新型带来的有益效果为：本系统采用Pixhawk飞行控制器作为四旋翼无人机的主控，Pixhawk飞行控制器上集成了陀螺仪传感器、气压传感器、电子罗盘等传感器。机载计算机使用树莓派4B，连接一个前视双目摄像头以及一个下视单目摄像头，下视单目摄像头使用光流法可获取自身在二维平面的位置信息，再通过测距传感器获取高度信息最终实现在三维空间上的定位。而前视双目摄像头能获取前方障碍物的距离信息，实现避障飞行。本系统通过测距传感器以及单双目视觉相结合的方法，最终实现了无人机在室内无GPS信号环境下的自主避障飞行，功耗低、体积小，精度高，实用性强。
附图说明
图1是本实用新型实施例的原理框架图。
具体实施方式
下面结合附图及具体实施例对本实用新型作进一步的详细说明。
如图1、一种基于机器视觉的室内无人机定位系统，包括机体和设于机体上的旋翼，本实施例采用四旋翼无人机。在四旋翼无人机的机体中部设置 Pixhawk飞行控制器和机载计算机，机体前端安装镜头朝前的双目摄像头，机体重心位置下方安装镜头朝下的单目摄像头，机体上位于单目摄像头附近设置有用于获取无人机高度信息的激光测距模块，所述激光测距模块与单目摄像头水平设置。
具体实施时，所述机载计算机采用树莓派4B，所述树莓派4B通过局域网与PC机通讯连接；PC机上安装有调控无人机的程序模块。所述激光测距模块优选为VL53L1X TOF测距传感器，用于定位无人机在垂直于地平面方向的高度。
本系统中，所述双目摄像头、单目摄像头、激光测距模块分别与树莓派4B电性连接。所述Pixhawk飞行控制器上集成有陀螺仪传感器、气压传感器、加速度计、磁力计、电子罗盘等传感器。所述树莓派4B通过mavros使用MAVLink协议与Pixhawk飞行控制器实时通讯连接。
MAVLink协议是一种专门为无人机设计的通信协议，可以实现多机多控制端的可靠通信。通过使用MAVLink协议，无人机和地面站、机载计算机之间可以实现稳定的通信。系统使用QGC地面站软件通过TCP协议将数据以MAVLink协议的方式进行传输，从而摆脱数据线实现了地面站与飞控之间的通信。
所述Pixhawk飞行控制器的软件使用PX4固件。PX4是一款开源的无人机固件，该固件支持包括Pixhawk在内的无人机飞控并且支持不同类型的多旋翼、固定翼无人机。PX4基于嵌入式实时操作系统Nuttx，在系统中运行有各种应用程序，主要包括传感器校正、传感器数据获取、姿态估计、姿态控制等。本系统采用的是多旋翼版本固件，该版本固件需要先在QGC地面站中设置好机架类型，首次飞行前需要校准各个传感器的数据。
所述树莓派4B运行ROS机器人操作系统。ROS机器人操作系统是开发机器人程序的一个灵活的框架，旨在创建一个在多数机器人平台上进行复杂的机器人行为的任务的工具、库的集合。本系统中的机载计算机通过mavros使用MAVLink协议与Pixhawk飞行控制器通讯连接，Pixhawk飞行控制器向机载计算机传输姿态、速度、飞行模式等信息，而机载计算机向飞控提供离地高度、水平位移以及漂移速度等信息。机载计算机还有一个重要的作用就是给飞控发送指令，实现如切换飞行模式、以恒定的速度朝某个方向移动一段距离等功能。
本系统中单目视觉原理：基于光流法获得无人机在水平方向上的速度，在室内无GPS信号的情况下为无人机的飞行控制提供负反馈，从而使室内无GPS信号环境下无人机定点飞行成为可能。此外，本系统搭载的激光测距传感器能获取无人机离地的高度信息，再与通过光流法获取的二维平面速度、位移信息结合就能确定无人机在三维空间中的运动状态，实现无人机在三维空间上的定点悬停。
更进一步地，本系统可按照一定间距和一定规律部署ArUco标识，无人机通过标识来获取自身的位置。对于较大的空间，可以采用二维码阵列的方式，将已知各地标在阵列中精确标记。其中，ArUco（全称：Augmented Reality University of Cordoba，科尔多瓦大学增强现实）是一种用于机器人定位和增强现实等领域的标记系统，这类标记具有较高的鲁棒性，将其标记在地面或物体的表面，可以实现快速精确定位。
本系统中双目视觉原理：在机器视觉系统中，双目视觉一般由双摄像机从不同角度同时获取周围景物的两幅数字图像，或由单摄像机在不同时刻从不同角度获取周围景物的两幅数字图像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物的三维形状与位置。本实施例中，双目摄像头包括第一相机和第二相机，第一相机和第二相机位于同一水平面上，且两者间隔设置。
通过双目相机标定可获得摄像头的内参、畸变参数和外参，这些参数就是确定相机将三维世界转为二维图像的最主要因素。本实施例中，双目相机标定使用matlab的标定工具箱和棋盘图进行。为了标定结果的准确，棋盘图粘贴的表面要平整不能有凹陷、突起和扭曲。需要注意的是，在采集棋盘图时，尽量让棋盘占据尽可能多的画面，尽可能地尝试更多的角度以及采集尽可能多的图片，这样能得到更多有关摄像头畸变方面的信息，提高双目测距的精度。
通过分离视差图上相近视差区域，并判断该区域中像素值决定是否为障碍物。视差越大表明距离越近，灰度值越高的区域亮度越高，说明障碍物与摄像头的距离越近。最终，通过视差图分离出障碍物。
当发现前方有障碍物时，避障的具体操作步骤如下：
（1）判断障碍物能否越过；
（2）如果无法越过，判断障碍物的形状、尺寸；
（3）根据障碍物的形状、尺寸改变航向，移动一段距离；
（4）恢复原航向，绕过障碍物后回到原航线。
相比超声波避障和激光避障，测距传感器结合单双目机器视觉的方法可以在低功耗、小体积的前提下，获得眼前场景的深度图，结合深度图就能进行障碍物识别的躲避，精度高、实用性强。
以上所述，仅为本实用新型之较佳实施例而已，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和修饰，这些改进和修饰也应视为本实用新型的保护范围。
Claims (7)
1.一种基于机器视觉的室内无人机定位系统，包括机体和设于机体上的旋翼，其特征在于：所述机体的中部设置有 Pixhawk飞行控制器和机载计算机，机体前端安装有镜头朝前的双目摄像头，机体重心位置下方安装有镜头朝下的单目摄像头，所述机体上位于单目摄像头附近设置有用于获取无人机高度信息的激光测距模块，所述激光测距模块与单目摄像头水平设置；
所述机载计算机通过MAVLink协议与Pixhawk飞行控制器实时通讯连接；所述双目摄像头、单目摄像头和激光测距模块分别与机载计算机电性连接。
2.根据权利要求1所述的一种基于机器视觉的室内无人机定位系统，其特征在于：所述Pixhawk飞行控制器上集成有陀螺仪传感器、气压传感器、加速度计、磁力计和电子罗盘。
3.根据权利要求1所述的一种基于机器视觉的室内无人机定位系统，其特征在于：所述双目摄像头包括第一相机和第二相机，第一相机和第二相机位于同一水平面上，且两者间隔设置。
4.根据权利要求1所述的一种基于机器视觉的室内无人机定位系统，其特征在于：所述机载计算机采用运行ROS机器人操作系统的树莓派4B。
5.根据权利要求4所述的一种基于机器视觉的室内无人机定位系统，其特征在于：所述树莓派4B通过局域网与PC机通讯连接；PC机上安装有调控无人机的程序模块。
6.根据权利要求1所述的一种基于机器视觉的室内无人机定位系统，其特征在于：所述激光测距模块采用VL53L1X TOF测距传感器。
7.根据权利要求1所述的一种基于机器视觉的室内无人机定位系统，其特征在于：所述旋翼共有四个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202121061464.5U CN214409706U (zh) | 2021-05-18 | 2021-05-18 | 一种基于机器视觉的室内无人机定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202121061464.5U CN214409706U (zh) | 2021-05-18 | 2021-05-18 | 一种基于机器视觉的室内无人机定位系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN214409706U true CN214409706U (zh) | 2021-10-15 |
Family
ID=78032916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202121061464.5U Expired - Fee Related CN214409706U (zh) | 2021-05-18 | 2021-05-18 | 一种基于机器视觉的室内无人机定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN214409706U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114115349A (zh) * | 2021-12-02 | 2022-03-01 | 深圳慧源创新科技有限公司 | 双目辅助避障方法、装置、无人机及存储介质 |
| CN114442663A (zh) * | 2022-01-12 | 2022-05-06 | 苏州大学 | 多工作模式的自动巡航无人机系统 |
-
2021
- 2021-05-18 CN CN202121061464.5U patent/CN214409706U/zh not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114115349A (zh) * | 2021-12-02 | 2022-03-01 | 深圳慧源创新科技有限公司 | 双目辅助避障方法、装置、无人机及存储介质 |
| CN114442663A (zh) * | 2022-01-12 | 2022-05-06 | 苏州大学 | 多工作模式的自动巡航无人机系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11218689B2 (en) | Methods and systems for selective sensor fusion | |
| US10914590B2 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
| US10599149B2 (en) | Salient feature based vehicle positioning | |
| US11822353B2 (en) | Simple multi-sensor calibration | |
| CN109911188B (zh) | 非卫星导航定位环境的桥梁检测无人机系统 | |
| EP3123260B1 (en) | Selective processing of sensor data | |
| US8666571B2 (en) | Flight control system for flying object | |
| EP2895819B1 (en) | Sensor fusion | |
| CN117310739A (zh) | 在可移动物体之间共享绘图数据的技术 | |
| CN107272740B (zh) | 一种新型四旋翼无人机控制系统 | |
| US20200191556A1 (en) | Distance mesurement method by an unmanned aerial vehicle (uav) and uav | |
| WO2016033797A1 (en) | Multi-sensor environmental mapping | |
| CN111670339B (zh) | 用于无人飞行器和地面载运工具之间的协作地图构建的技术 | |
| CN105182992A (zh) | 无人机的控制方法、装置 | |
| CN102914294A (zh) | 一种基于图像的无人机电力巡线测量系统及方法 | |
| JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
| EP3754302A1 (en) | Flight control and navigation integrated machine | |
| JP2019032234A (ja) | 表示装置 | |
| CN109254587A (zh) | 可在无线充电条件下稳定悬停的小型无人机及其控制方法 | |
| CN109857133A (zh) | 基于双目视觉的多旋翼无人机选择性避障控制方法 | |
| CN214409706U (zh) | 一种基于机器视觉的室内无人机定位系统 | |
| US20220019222A1 (en) | Unmanned Aerial Vehicle, Unmanned Aerial Vehicle Flight Control Device, Unmanned Aerial Vehicle Flight Control Method and Program | |
| CN112198903A (zh) | 一种模块化的多功能机载计算机体系 | |
| CN111665870B (zh) | 一种轨迹跟踪方法及无人机 | |
| CN114296471B (zh) | 一种基于全捷联下视相机的无人机精准着陆控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211015 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |