CN113469037A - 一种基于机器视觉的水下无人机智能避障方法和系统 - Google Patents

一种基于机器视觉的水下无人机智能避障方法和系统 Download PDF

Info

Publication number
CN113469037A
CN113469037A CN202110738199.8A CN202110738199A CN113469037A CN 113469037 A CN113469037 A CN 113469037A CN 202110738199 A CN202110738199 A CN 202110738199A CN 113469037 A CN113469037 A CN 113469037A
Authority
CN
China
Prior art keywords
unmanned aerial
obstacle
aerial vehicle
motion state
underwater unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110738199.8A
Other languages
English (en)
Inventor
彭绍湖
陈浩然
林德裕
谭泰臻
江沐鸿
刘长红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110738199.8A priority Critical patent/CN113469037A/zh
Publication of CN113469037A publication Critical patent/CN113469037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于机器视觉的水下无人机智能避障方法和系统，该方法包括：S1，获取水下无人机视野中障碍物的视频图像；S2，通过神经网络模型检测视野中障碍物的相对运动状态和种类；S3，根据障碍物的相对运动状态和种类估测出的障碍物运动状态，结合水下机器人本身的运动状态和位置状况获得最优避障方案。本发明采用内置补光系统的视觉模块获取水下无人机视野中障碍物的视频图像，根据捕捉到的视频图像使用神经网络算法yolov4对当前较高危险级别的障碍物进行稳定精准的识别，障碍物识别精度高，避障效率高，能耗更低。

Description

一种基于机器视觉的水下无人机智能避障方法和系统
技术领域
本发明涉及机器人技术领域，具体涉及一种基于机器视觉的水下无人机智能避障方法和系统。
背景技术
水下机器人在海洋中工作时，会遇到很多大小不一、种类不同的障碍物，这些障碍物会严重影响到水下机器人的运作安全。而当今在障碍物检测技术方面，水下机器人一般都有装载声纳探测系统(工作原理如图1)，但是由于声纳系统的探测波长和检测对象限制，导致了水下机器人的运动无法达到预期；有些水下机器人还装载了磁探测系统，可以通过判断磁性目标引起的磁异常信息变化来确定障碍物的位置，但由于这些传感器目前能达到的检测障碍物的精度以及速度都不太理想，因此其使用范围也受到了严重影响；还有的机器人装载了激光探测器，激光探测器具备精度高、速度快、抗干扰能力强等特点，但是由于其价格较为昂贵，无法在水下机器人领域中得到普及。在避障算法方面，虽然传统的dwa算法可以通过获取目标点信息(机器人与目标点的距离、机器人与障碍物的距离等)来计算出下一刻机器人的最佳运动速度以及运动路径，但有时这种通过前一时刻目标点数据预估出来的运动速度或运动路径也会因为障碍物的种类等因素，导致其并非完全符合此刻机器人和障碍物之间应有的状态关系，这就容易导致机器人做出一些违反常规的不符合预期结果的动作；此外还有一些其他的常用的避障算法，它们的缺点也比较相似，都是在某些特殊情况下无法对机器人和障碍物之间的状态进行合理的判断并做出符合预期效果的反应。
因此,行业内急需研发一种提高水下无人机的避障精度与效率的智能避障方法或者系统。
发明内容
本发明的目的是为了克服以上现有技术存在的不足，提供了一种避障精高的基于机器视觉的水下无人机智能避障方法和系统。
本发明的目的通过以下的技术方案实现：
一种基于机器视觉的水下无人机智能避障方法，包括：
S1，获取水下无人机视野中障碍物的视频图像；
S2，通过神经网络模型检测视野中障碍物的相对运动状态和种类；
S3，根据障碍物的相对运动状态和种类估测出的障碍物运动状态，结合水下机器人本身的运动状态和位置状况获得最优避障方案。
优选地，步骤S2包括：利用已训练的yolov4目标检测模型对视频图像进行目标检测与定位，获得障碍物种类信息，使用kalman滤波器根据被定位的目标物体上一时刻的最佳估计运动状态与当前的位置观测数据来预测下一刻物体最佳估计运动状态。
优选地，yolov4目标检测模型的训练过程为：获取水下环境中的障碍物图像，并作为数据集，对图像中目标障碍物进行人工标记，再将带标记的障碍物图像数据集导入yolov4神经网络进行训练，实现对目标检测模型的训练。
优选地，步骤S2之后还包括：通过神经网络算法检测视野中障碍物的危险等级，具体步骤为：将神经网络模型检测的障碍物种类信息导入数据库中进行检索，基于决策算法匹配出当前障碍物的威胁值，并结合该障碍物的速度与当前运动方向综合判断得出危险等级。
一种基于机器视觉的水下无人机智能避障系统，包括：水下无人机本体，水下无人机本体上搭载视频采集模块、移动模块、识别模块和处理模块；视频采集模块，用于获取水下无人机视野中障碍物的视频图像；移动模块，用于使水下无人机本体进行移动；识别模块，用于通过神经网络算法检测视野中障碍物的相对运动状态和种类；处理模块，用于根据障碍物的相对运动状态和种类估测出的障碍物运动状态，结合水下机器人本身的运动状态和位置状况获得最优避障方案。
优选地，水下无人机本体上还搭载用于对水下环境进行补光的补光模块。
优选地，处理模块为ARM处理器或微处理器。
优选地，视频采集模块为摄像头，摄像头安装在水下无人机本体的上部，补光模块集成于摄像头中。
本发明相对于现有技术具有如下优点：
本发明采用内置补光系统的视觉模块获取水下无人机视野中障碍物的视频图像，根据捕捉到的视频图像使用神经网络算法yolov4对当前较高危险级别的障碍物进行稳定精准的识别，从而分析得出障碍物的体积、种类、离无人机的距离、相对无人机的速度、相对无人机的运动方向以及最终的危险等级，最终结合水下机器人本身的运动状态和位置状况获得最优避障方案，相较于现有技术本方案算法精度与效率更高，能耗更低。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为现有的装载声纳探测系统的水下机器人的原理框图。
图2为本发明的基于机器视觉的水下无人机智能避障方法的流程示意图。
图3为本发明的水下无人机本体的结构图。
其中，1-摄像头，2-识别模块。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参见图2-3、一种基于机器视觉的水下无人机智能避障方法，包括：
S1，获取水下无人机视野中障碍物的视频图像；
S2，通过神经网络模型检测视野中障碍物的相对运动状态和种类；具体的，步骤S2包括：利用已训练的yolov4目标检测模型对视频图像进行目标检测与定位，获得障碍物种类信息，使用kalman滤波器根据被定位的目标物体上一时刻的最佳估计运动状态与当前的位置观测数据来预测下一刻物体最佳估计运动状态。
其中，yolov4目标检测模型的训练过程为：获取水下环境中的障碍物图像，并作为数据集，对图像中目标障碍物进行人工标记，再将带标记的障碍物图像数据集导入yolov4神经网络进行训练，实现对目标检测模型的训练。
S3，根据障碍物的相对运动状态和种类估测出的障碍物运动状态，结合水下机器人本身的运动状态和位置状况获得最优避障方案。
在本实施例，步骤S2之后还包括：通过神经网络算法检测视野中障碍物的危险等级，具体步骤为：将神经网络模型检测的障碍物种类信息导入数据库中进行检索，基于决策算法匹配出当前障碍物的威胁值，并结合该障碍物的速度与当前运动方向综合判断得出危险等级。
上述基于机器视觉的水下无人机智能避障方法适用的一种基于机器视觉的水下无人机智能避障系统，包括：水下无人机本体，水下无人机本体上搭载视频采集模块、移动模块、识别模块和处理模块；视频采集模块，用于获取水下无人机视野中障碍物的视频图像；移动模块，用于使水下无人机本体进行移动；识别模块，用于通过神经网络算法检测视野中障碍物的相对运动状态和种类；处理模块，用于根据障碍物的相对运动状态和种类估测出的障碍物运动状态，结合水下机器人本身的运动状态和位置状况获得最优避障方案。
在本实施例移动模块的作用是使该系统具备一定的自动化移动能力，以此保证其可以全面探测到机器人的周围环境，从而进行全方位的信息采集，该移动模块由电机、舵机等器件组成，在移动模块的辅助下可相对水下机器人做二自由度的旋转运动。识别模块可以获取视频图像并通过神经网络算法检测视野中障碍物的相对运动状态，以及障碍物的种类与危险级等相关指标。
在本实施例，水下无人机本体上还搭载用于对水下环境进行补光的补光模块。补光模块为基础模块，在不使用深度摄像头或者激光探测手段的情况下可以通过补光灯补光有效解决阴暗的水下环境光线问题；
在本实施例，处理模块为ARM处理器或微处理器。
在本实施例，视频采集模块为摄像头，摄像头安装在水下无人机本体的上部，补光模块集成于摄像头中，可根据环境寻求调节亮度。
综上，本发明通过机器视觉与高效神经网络算法取代传统声纳探测器进行障碍物的识别分类与定位的方案，最终分析计算得出的移动轨迹数据精确度可随水下机器总功耗的要求自适应或手动调节，此技术可以有效地避免声纳探测系统探测波长与检测对象限制等问题，为水下无人机的发展提供一种更为简便且高效而又低成本的避障条件。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的水下无人机智能避障方法，其特征在于，包括：
S1，获取水下无人机视野中障碍物的视频图像；
S2，通过神经网络模型检测视野中障碍物的相对运动状态和种类；
S3，根据障碍物的相对运动状态和种类估测出的障碍物运动状态，结合水下机器人本身的运动状态和位置状况获得最优避障方案。
2.根据权利要求1所述的基于机器视觉的水下无人机智能避障方法，其特征在于，步骤S2包括：利用已训练的yolov4目标检测模型对视频图像进行目标检测与定位，获得障碍物种类信息，使用kalman滤波器根据被定位的目标物体上一时刻的最佳估计运动状态与当前的位置观测数据来预测下一刻物体最佳估计运动状态。
3.根据权利要求2所述的基于机器视觉的水下无人机智能避障方法，其特征在于，yolov4目标检测模型的训练过程为：
获取水下环境中的障碍物图像，并作为数据集，对图像中目标障碍物进行人工标记，再将带标记的障碍物图像数据集导入yolov4神经网络进行训练，实现对目标检测模型的训练。
4.根据权利要求1所述的基于机器视觉的水下无人机智能避障方法，其特征在于，步骤S2之后还包括：通过神经网络算法检测视野中障碍物的危险等级，具体步骤为：
将神经网络模型检测的障碍物种类信息导入数据库中进行检索，基于决策算法匹配出当前障碍物的威胁值，并结合该障碍物的速度与当前运动方向综合判断得出危险等级。
5.一种基于机器视觉的水下无人机智能避障系统，其特征在于，包括：水下无人机本体，水下无人机本体上搭载视频采集模块、移动模块、识别模块和处理模块；
视频采集模块，用于获取水下无人机视野中障碍物的视频图像；
移动模块，用于使水下无人机本体进行移动；
识别模块，用于通过神经网络算法检测视野中障碍物的相对运动状态和种类；
处理模块，用于根据障碍物的相对运动状态和种类估测出的障碍物运动状态，结合水下机器人本身的运动状态和位置状况获得最优避障方案。
6.根据权利要求5所述的基于机器视觉的水下无人机智能避障系统，其特征在于，水下无人机本体上还搭载用于对水下环境进行补光的补光模块。
7.根据权利要求5所述的基于机器视觉的水下无人机智能避障系统，其特征在于，处理模块为ARM处理器或微处理器。
8.根据权利要求5所述的基于机器视觉的水下无人机智能避障系统，其特征在于，视频采集模块为摄像头，摄像头安装在水下无人机本体的上部，补光模块集成于摄像头中。
CN202110738199.8A 2021-06-30 2021-06-30 一种基于机器视觉的水下无人机智能避障方法和系统 Pending CN113469037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738199.8A CN113469037A (zh) 2021-06-30 2021-06-30 一种基于机器视觉的水下无人机智能避障方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738199.8A CN113469037A (zh) 2021-06-30 2021-06-30 一种基于机器视觉的水下无人机智能避障方法和系统

Publications (1)

Publication Number Publication Date
CN113469037A true CN113469037A (zh) 2021-10-01

Family

ID=77876681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738199.8A Pending CN113469037A (zh) 2021-06-30 2021-06-30 一种基于机器视觉的水下无人机智能避障方法和系统

Country Status (1)

Country Link
CN (1) CN113469037A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117590857A (zh) * 2024-01-19 2024-02-23 南京杰辉智能科技有限公司 一种基于机器视觉的水下环境探测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
CN104597910A (zh) * 2014-11-27 2015-05-06 中国人民解放军国防科学技术大学 一种基于瞬时碰撞点的无人机非协作式实时避障方法
CN104777839A (zh) * 2015-04-16 2015-07-15 北京工业大学 基于bp神经网络和距离信息的机器人自主避障方法
CN107728618A (zh) * 2017-09-28 2018-02-23 南通大学 一种无人船的避障方法
CN108583571A (zh) * 2018-04-28 2018-09-28 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN109634286A (zh) * 2019-01-21 2019-04-16 深圳市傲基电子商务股份有限公司 割草机器人视觉避障方法、割草机器人和可读存储介质
CN110962819A (zh) * 2018-09-28 2020-04-07 广州汽车集团股份有限公司 行车方向安全预警方法及装置、行车控制器
CN111186432A (zh) * 2018-11-13 2020-05-22 杭州海康威视数字技术股份有限公司 一种车辆盲区预警的方法及装置
CN111666891A (zh) * 2020-06-08 2020-09-15 北京百度网讯科技有限公司 用于估计障碍物运动状态的方法和装置
CN111696387A (zh) * 2020-05-21 2020-09-22 东南大学 一种基于前向障碍物识别的自适应防撞分级预警方法
CN111913484A (zh) * 2020-07-30 2020-11-10 杭州电子科技大学 一种变电站巡检机器人在未知环境下的路径规划方法
CN111930127A (zh) * 2020-09-02 2020-11-13 广州赛特智能科技有限公司 一种机器人障碍物识别及避障方法
CN112987002A (zh) * 2021-02-22 2021-06-18 广州大学 一种障碍物危险性识别方法、系统及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
CN104597910A (zh) * 2014-11-27 2015-05-06 中国人民解放军国防科学技术大学 一种基于瞬时碰撞点的无人机非协作式实时避障方法
CN104777839A (zh) * 2015-04-16 2015-07-15 北京工业大学 基于bp神经网络和距离信息的机器人自主避障方法
CN107728618A (zh) * 2017-09-28 2018-02-23 南通大学 一种无人船的避障方法
CN108583571A (zh) * 2018-04-28 2018-09-28 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN110962819A (zh) * 2018-09-28 2020-04-07 广州汽车集团股份有限公司 行车方向安全预警方法及装置、行车控制器
CN111186432A (zh) * 2018-11-13 2020-05-22 杭州海康威视数字技术股份有限公司 一种车辆盲区预警的方法及装置
CN109634286A (zh) * 2019-01-21 2019-04-16 深圳市傲基电子商务股份有限公司 割草机器人视觉避障方法、割草机器人和可读存储介质
CN111696387A (zh) * 2020-05-21 2020-09-22 东南大学 一种基于前向障碍物识别的自适应防撞分级预警方法
CN111666891A (zh) * 2020-06-08 2020-09-15 北京百度网讯科技有限公司 用于估计障碍物运动状态的方法和装置
CN111913484A (zh) * 2020-07-30 2020-11-10 杭州电子科技大学 一种变电站巡检机器人在未知环境下的路径规划方法
CN111930127A (zh) * 2020-09-02 2020-11-13 广州赛特智能科技有限公司 一种机器人障碍物识别及避障方法
CN112987002A (zh) * 2021-02-22 2021-06-18 广州大学 一种障碍物危险性识别方法、系统及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117590857A (zh) * 2024-01-19 2024-02-23 南京杰辉智能科技有限公司 一种基于机器视觉的水下环境探测方法
CN117590857B (zh) * 2024-01-19 2024-03-26 南京杰辉智能科技有限公司 一种基于机器视觉的水下环境探测方法

Similar Documents

Publication Publication Date Title
CN110979321B (zh) 一种用于无人驾驶车辆的障碍物躲避方法
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN107421540B (zh) 一种基于视觉的移动机器人导航方法及系统
CN108416320B (zh) 巡检设备、巡检设备的控制方法及控制装置
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
CN107315410B (zh) 一种机器人自动排障方法
WO2020051923A1 (en) Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device
KR20150049529A (ko) 차량의 위치 추정 장치 및 방법
Balta et al. Terrain traversability analysis for off-road robots using time-of-flight 3d sensing
Neto et al. Real-time estimation of drivable image area based on monocular vision
CN110083099B (zh) 一种符合汽车功能安全标准自动驾驶架构系统和工作方法
US11482007B2 (en) Event-based vehicle pose estimation using monochromatic imaging
CN113469037A (zh) 一种基于机器视觉的水下无人机智能避障方法和系统
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
KR101594113B1 (ko) 스케일을 고려한 이미지 패치 추적 장치 및 방법
Muhammad et al. Visual object detection based lidar point cloud classification
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
Mount et al. Automatic coverage selection for surface-based visual localization
Noaman et al. Landmarks exploration algorithm for mobile robot indoor localization using VISION sensor
Lu et al. Application of Path Planning and Image Processing for Rescue Robots.
CN111284337B (zh) 运载工具无线充电对准的方法及其系统
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
CN113721615A (zh) 一种基于机器视觉的海航路径规划方法及系统
Calderon et al. Road detection algorithm for an autonomous UGV based on monocular vision
CN116820096A (zh) 一种基于人工智能的机器人自动避障识别控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination