CN106502267A - 一种无人机避让系统 - Google Patents
一种无人机避让系统 Download PDFInfo
- Publication number
- CN106502267A CN106502267A CN201611108352.4A CN201611108352A CN106502267A CN 106502267 A CN106502267 A CN 106502267A CN 201611108352 A CN201611108352 A CN 201611108352A CN 106502267 A CN106502267 A CN 106502267A
- Authority
- CN
- China
- Prior art keywords
- barrier
- dimensional
- unmanned plane
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Abstract
一种无人机避让系统，包括处理器、深度摄像头、人际交互单元和三维经验库，深度摄像头，用于从不同角度获取障碍物的图像，三维经验库用于保存三维图像信息，通过三维经验库，记录各种障碍物的色彩深度信息、尺寸和安全距离信息，提供处理器获取信息后的查询和匹配功能，处理器用于对图像的深度计算，人机交互单元，用于增加三维数据的属性，通过对设定距离范围内的障碍物进行属性编辑，确定障碍物的安全距离并存入三维经验库，属性记录有物象正面尺寸、颜色深度、像素点数和安全距离。系统通过对障碍物的色彩深度计算，获取障碍物的边缘信息，计算出障碍物的三维物理尺寸，通过对图像像素的计算以及三维经验库，获取到障碍物的距离、大小信息。
Description
技术领域
本发明属于无人机技术领域，特别涉及一种无人机避让系统。
背景技术
随着无人机技术的不断发展，无人机不仅在工业大量应用，军事、民用、研究等多方面都有涉及。由于任务的复杂性，无人机在飞行过程中不可避免要避让障碍物，无人机避让的方式有很多种，常见的技术有超声波技术、红外技术、激光定位技术。各种技术间都有各自优缺点，如超声波技术，有一定的距离限制，同时对反射物的表面反射能力有一定要求。红外技术接收范围小，障碍物的温度对测量也有一定影响。
发明内容
本发明的目的是提供一种无人机避让系统，以解决现有无人机避让系统中的缺陷。
本发明的技术方案是，一种无人机避让系统，包括处理器、深度摄像头、人际交互单元和三维经验库，
深度摄像头，用于从不同角度获取障碍物的图像，
三维经验库用于保存三维图像信息，通过三维经验库，记录各种障碍物的色彩深度信息、尺寸和安全距离信息，提供处理器获取信息后的查询和匹配功能，
处理器用于对图像的深度计算，
人机交互单元，用于增加三维数据的属性，通过对设定距离范围内的障碍物进行属性编辑，确定障碍物的安全距离并存入三维经验库，属性记录有物象正面尺寸、颜色深度、像素点数和安全距离。
系统通过对障碍物的色彩深度计算，获取障碍物的边缘信息，计算出障碍物的三维物理尺寸，通过对图像像素的计算以及三维经验库，获取到障碍物的距离、大小信息。
所述的人机交互单元，使用麦克风作为输入源，通过声音解析，对接收到的目标障碍物进行属性添加，存入三维经验库。
无人机到物体的距离通过公式获取，
公式中S表示到障碍物的距离，H为摄像头的高度，K1和K2表示常数，β表示物点和光轴夹角，h表示成像平面的高度，F表示焦距。
处理器对障碍物的处理包括以下步骤：
步骤1，通过深度摄像头获取图像色域色调以及饱和度；
步骤2，选取可获取范围图像的最大像素区域作为参考色调；
步骤3，根据参考色调分割图像的色域区间；
步骤4，通过阈值判断色域区差值最大区，将差值区域作为障碍物和可通过区的分界区；
步骤5，通过确定障碍物，测量其三维空间中的数据，计算几何中心位置和相关的偏移数据；
步骤6，调用三维经验库，查询得到相似数据，最终获取安全避让空间。
系统获取到障碍物的三维信息，以及该障碍物的色彩深度信息，通过三维经验库，首先通过物象中心和关键三维尺寸，查询经验库中是否满足条件的信息，如有相似度超过一定阈值，则认为就是经验模型库中的物体信息，获得距离该物的安全距离，并进行合理避让。
其中的安全距离设置有两种方式进行输入，
一种通过系统的人机交互单元，即当无人机靠近某一物体时，通过人机交互获得不能进一步靠近的指令，将此时的距离记录并保存到三维经验库中，
另一种通过预设阈值，即对应于三维经验库中的不同物进行阈值设置，当物距接近该阈值时，无人机进行转向避让操作。
进一步的，无人机对于接近物体的距离测量采用TOF(Time of Flight)红外光电测距，包括一个红外线发射器和一个红外接收器，
这里D表示物体到无人机的距离，fmod表示调制频率，表示发射和返回信号间的相位差，C表示光速。
本发明通过图像采集技术，采用接近人工智能的方法，使得无人机具备了全面的避让障碍物的能力，是无人机技术发展的一次飞跃。
附图说明
图1本发明系统的结构图。
图2本发明系统软件工作流程图。
具体实施方式
本发明涉及到的是一种基于三维模型的避让系统，以下实例通过结合无人飞机的避让系统作为实施例，进一步阐述发明内容。
无人机的最新研究已经展示了其自动避让技术，通过多个3D摄像头，可以探测地理环境和位置信息。如图1所示，本发明的基于三维经验模型的避让系统包括了2个或以上的色彩深度摄像头，视觉处理单元和人机交互单元。摄像头安装于无人机上，通过导线和视觉处理器连接。
三维经验模型主要记录日常常见物体的三维态信息，包括色彩信息，对应的像素点信息，安全距离信息。当无人机工作时，摄像头记录有效距离内的各种障碍物，通过边缘计算获取物体的三维信息，假设，获取到一物体的三维信息，以及该物的色彩深度信息，通过三维经验库，首先通过物象中心和关键三维尺寸，查询经验库中是否满足条件的信息，如有相似度超过一定阈值，则认为就是经验模型库中的物体信息，获得距离该物的安全距离，并进行合理避让。系统工作流程如图2所示。
其中的安全距离设置有两种方式进行输入。一种通过系统的人机交互单元。即当无人机靠近某一物体时，通过人机交互获得不能进一步靠近的指令，将此时的距离记录并保存到经验模型库中。另一种通过预设阈值，即对应于经验模型库中的不同物进行阈值设置，当物距接近该阈值时，无人机进行转向避让操作。
其中的视觉处理单元对障碍物的处理主要通过以下方式实现：
步骤1，通过深度摄像头获取图像色域色调以及饱和度。
步骤2，选取可获取范围图像的最大像素区域作为参考色调。
步骤3，根据参考色调分割图像的色域区间。
步骤4，通过阈值判断色域区差值最大区，将差值区域作为障碍物和可通过区的分界区。
步骤5，通过确定障碍物，测量其三维空间中的数据，计算几何中心位置和相关的偏移数据。
步骤6，调用经验库，查询得到相似数据，最终获取安全避让空间。
当安全距离需要修正时，通过人机接口，如声控发出靠近的指令，那么无人机通过距离控制飞行速度，并逐步按照指令靠近障碍物。如声控发出避让指令，那么按指令进行调整飞行方向，并更新经验模型库，在面对相同障碍物时以更新后的安全距离进行避让。
Claims (7)
1.一种无人机避让系统，包括处理器、深度摄像头、人际交互单元和三维经验库，
深度摄像头，用于从不同角度获取障碍物的图像，
三维经验库用于保存三维图像信息，通过三维经验库，记录各种障碍物的色彩深度信息、尺寸和安全距离信息，提供处理器获取信息后的查询和匹配功能，
处理器用于对图像的深度计算，
人机交互单元，用于增加三维数据的属性，通过对设定距离范围内的障碍物进行属性编辑，确定障碍物的安全距离并存入三维经验库，属性记录有物象正面尺寸、颜色深度、像素点数和安全距离。
系统通过对障碍物的色彩深度计算，获取障碍物的边缘信息，计算出障碍物的三维物理尺寸，通过对图像像素的计算以及三维经验库，获取到障碍物的距离、大小信息。
2.如权利要求1所述的无人机避让系统，其特征在于，所述的人机交互单元，使用麦克风作为输入源，通过声音解析，对接收到的目标障碍物进行属性添加，存入三维经验库。
3.如权利要求1所述的无人机避让系统，其特征在于，
无人机到物体的距离通过公式获取，
公式中S表示到障碍物的距离，H为摄像头的高度，K1和K2表示常数，β表示物点和光轴夹角，h表示成像平面的高度，F表示焦距。
4.如权利要求1所述的无人机避让系统，其特征在于，
处理器对障碍物的处理包括以下步骤：
步骤1，通过深度摄像头获取图像色域色调以及饱和度；
步骤2，选取可获取范围图像的最大像素区域作为参考色调；
步骤3，根据参考色调分割图像的色域区间；
步骤4，通过阈值判断色域区差值最大区，将差值区域作为障碍物和可通过区的分界区；
步骤5，通过确定障碍物，测量其三维空间中的数据，计算几何中心位置和相关的偏移数据；
步骤6，调用三维经验库，查询得到相似数据，最终获取安全避让空间。
5.如权利要求4所述的无人机避让系统，其特征在于，
系统获取到障碍物的三维信息，以及该障碍物的色彩深度信息，通过三维经验库，首先通过物象中心和关键三维尺寸，查询经验库中是否满足条件的信息，如有相似度超过一定阈值，则认为就是经验模型库中的物体信息，获得距离该物的安全距离，并进行合理避让。
6.如权利要求5所述的无人机避让系统，其特征在于，其中的安全距离设置有两种方式进行输入，
一种通过系统的人机交互单元，即当无人机靠近某一物体时，通过人机交互获得不能进一步靠近的指令，将此时的距离记录并保存到三维经验库中，
另一种通过预设阈值，即对应于三维经验库中的不同物进行阈值设置，当物距接近该阈值时，无人机进行转向避让操作。
7.如权利要求6所述的无人机避让系统，其特征在于，无人机对于接近物体的距离测量采用TOF(Time of Flight)红外光电测距，包括一个红外线发射器和一个红外接收器，
D表示物体到无人机的距离，fmod表示调制频率，表示发射和返回信号间的相位差，C表示光速。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611108352.4A CN106502267B (zh) | 2016-12-06 | 2016-12-06 | 一种无人机避让系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611108352.4A CN106502267B (zh) | 2016-12-06 | 2016-12-06 | 一种无人机避让系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106502267A true CN106502267A (zh) | 2017-03-15 |
| CN106502267B CN106502267B (zh) | 2019-03-29 |
Family
ID=58330515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611108352.4A Active CN106502267B (zh) | 2016-12-06 | 2016-12-06 | 一种无人机避让系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106502267B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107270890A (zh) * | 2017-04-25 | 2017-10-20 | 深圳大学 | 一种无人机上tof距离传感器的测距方法及系统 |
| CN108045567A (zh) * | 2017-12-13 | 2018-05-18 | 王俊梅 | 一种多旋翼无人机及其低空隐匿飞行方法 |
| CN108323190A (zh) * | 2017-12-15 | 2018-07-24 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和无人机 |
| CN108986552A (zh) * | 2017-06-02 | 2018-12-11 | 北京石油化工学院 | 一种无人机避险方法、装置与系统 |
| CN109116374A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 确定障碍物距离的方法、装置、设备及存储介质 |
| CN109720381A (zh) * | 2018-12-28 | 2019-05-07 | 深圳华侨城卡乐技术有限公司 | 一种轨道车防撞方法及其系统 |
| CN110149522A (zh) * | 2019-06-14 | 2019-08-20 | 哈尔滨理工大学 | 一种基于人工智能的无人机全方位避让装置 |
| CN110463178A (zh) * | 2017-03-31 | 2019-11-15 | 日本电气株式会社 | 信息处理设备、信息处理方法和信息处理程序 |
| CN112605999A (zh) * | 2020-12-22 | 2021-04-06 | 杭州北冥星眸科技有限公司 | 基于红外线深度摄像头技术的机器人障碍检测方法及系统 |
| CN114460078A (zh) * | 2022-02-08 | 2022-05-10 | 赣南师范大学 | 一种脐橙病虫害监测方法及装置 |
| CN114489133A (zh) * | 2022-01-26 | 2022-05-13 | 深圳市奥拓电子股份有限公司 | 一种无人机自动校正led显示屏的距离保持方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130253733A1 (en) * | 2012-03-26 | 2013-09-26 | Hon Hai Precision Industry Co., Ltd. | Computing device and method for controlling unmanned aerial vehicle in flight space |
| CN103984357A (zh) * | 2014-05-30 | 2014-08-13 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行系统 |
| CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技（北京）有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
| CN105759836A (zh) * | 2016-03-14 | 2016-07-13 | 武汉卓拔科技有限公司 | 一种基于3d摄像头的无人机避障方法及装置 |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN105865454A (zh) * | 2016-05-31 | 2016-08-17 | 西北工业大学 | 一种基于实时在线地图生成的无人机导航方法 |
-
2016
- 2016-12-06 CN CN201611108352.4A patent/CN106502267B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130253733A1 (en) * | 2012-03-26 | 2013-09-26 | Hon Hai Precision Industry Co., Ltd. | Computing device and method for controlling unmanned aerial vehicle in flight space |
| CN103984357A (zh) * | 2014-05-30 | 2014-08-13 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行系统 |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技（北京）有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
| CN105759836A (zh) * | 2016-03-14 | 2016-07-13 | 武汉卓拔科技有限公司 | 一种基于3d摄像头的无人机避障方法及装置 |
| CN105865454A (zh) * | 2016-05-31 | 2016-08-17 | 西北工业大学 | 一种基于实时在线地图生成的无人机导航方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11604478B2 (en) | 2017-03-31 | 2023-03-14 | Nec Corporation | Information processing apparatus, information processing method, and information processing program |
| CN110463178A (zh) * | 2017-03-31 | 2019-11-15 | 日本电气株式会社 | 信息处理设备、信息处理方法和信息处理程序 |
| CN107270890A (zh) * | 2017-04-25 | 2017-10-20 | 深圳大学 | 一种无人机上tof距离传感器的测距方法及系统 |
| CN108986552A (zh) * | 2017-06-02 | 2018-12-11 | 北京石油化工学院 | 一种无人机避险方法、装置与系统 |
| CN109116374A (zh) * | 2017-06-23 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 确定障碍物距离的方法、装置、设备及存储介质 |
| CN108045567A (zh) * | 2017-12-13 | 2018-05-18 | 王俊梅 | 一种多旋翼无人机及其低空隐匿飞行方法 |
| CN108045567B (zh) * | 2017-12-13 | 2020-11-27 | 王俊梅 | 一种多旋翼无人机及其低空隐匿飞行方法 |
| CN108323190A (zh) * | 2017-12-15 | 2018-07-24 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和无人机 |
| CN109720381A (zh) * | 2018-12-28 | 2019-05-07 | 深圳华侨城卡乐技术有限公司 | 一种轨道车防撞方法及其系统 |
| CN110149522A (zh) * | 2019-06-14 | 2019-08-20 | 哈尔滨理工大学 | 一种基于人工智能的无人机全方位避让装置 |
| CN112605999A (zh) * | 2020-12-22 | 2021-04-06 | 杭州北冥星眸科技有限公司 | 基于红外线深度摄像头技术的机器人障碍检测方法及系统 |
| CN114489133A (zh) * | 2022-01-26 | 2022-05-13 | 深圳市奥拓电子股份有限公司 | 一种无人机自动校正led显示屏的距离保持方法 |
| CN114489133B (zh) * | 2022-01-26 | 2023-12-26 | 深圳市奥拓电子股份有限公司 | 一种无人机自动校正led显示屏的距离保持方法 |
| CN114460078A (zh) * | 2022-02-08 | 2022-05-10 | 赣南师范大学 | 一种脐橙病虫害监测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106502267B (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106502267B (zh) | 一种无人机避让系统 | |
| US11915502B2 (en) | Systems and methods for depth map sampling | |
| US20240062663A1 (en) | User Interaction With An Autonomous Unmanned Aerial Vehicle | |
| US20220043449A1 (en) | Multi-channel sensor simulation for autonomous control systems | |
| US9981742B2 (en) | Autonomous navigation method and system, and map modeling method and system | |
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| US10402984B2 (en) | Monitoring | |
| US11407116B2 (en) | Robot and operation method therefor | |
| WO2020043041A1 (zh) | 点云数据的分割方法和装置、存储介质、电子装置 | |
| CN107329490B (zh) | 无人机避障方法及无人机 | |
| US10027888B1 (en) | Determining area of interest in a panoramic video or photo | |
| US9275302B1 (en) | Object detection and identification | |
| US20030055532A1 (en) | Autonomous action robot | |
| CN110568861B (zh) | 一种人机运动障碍物监测方法、可读存储介质和无人机 | |
| CN112712129A (zh) | 多传感器融合方法、装置、设备及存储介质 | |
| JP7224592B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| EP3115978B1 (en) | Monitoring | |
| JP2018523231A5 (zh) | ||
| WO2023065312A1 (zh) | 障碍物识别方法、装置、存储介质及电子设备 | |
| CN111736622B (zh) | 基于双目视觉与imu相结合的无人机避障方法及系统 | |
| WO2022160101A1 (zh) | 朝向估计方法、装置、可移动平台及可读存储介质 | |
| Even et al. | Audio augmented point clouds for applications in robotics | |
| Aziz et al. | A Review on Method of Obstacle Detection and Avoidance Systems for Unmanned Aerial Vehicles: Monocular Camera | |
| CN117218628A (zh) | 多目标检测的方法、系统及服务器 | |
| Liu | Comprehensive Analysis of Mobile Robot Target Tracking Technology Based on Computer Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |