CN110667783A - 一种无人艇辅助驾驶系统及其方法 - Google Patents
一种无人艇辅助驾驶系统及其方法 Download PDFInfo
- Publication number
- CN110667783A CN110667783A CN201910815597.8A CN201910815597A CN110667783A CN 110667783 A CN110667783 A CN 110667783A CN 201910815597 A CN201910815597 A CN 201910815597A CN 110667783 A CN110667783 A CN 110667783A
- Authority
- CN
- China
- Prior art keywords
- unmanned ship
- obstacle
- position information
- information
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B35/00—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B35/00—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
- B63B2035/006—Unmanned surface vessels, e.g. remotely controlled
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Ocean & Marine Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种无人艇辅助驾驶系统及其方法,系统包括监测模块、导航单元和障碍物测距单元。方法包括采集无人艇周围环境画面以及获取无人艇周围障碍物相对于雷达的位置信息;导航单元获取无人艇位置信息后上传至障碍物测距单元;障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息;对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理并显示。该系统辅助人工远程驾驶更加直观、安全,对水域中的障碍物信息进行获取以及避障,可以航行在更加复杂的水域;融合了全景图像,提供直观可靠的第一视角信息。
Description
技术领域
本发明涉及无人艇辅助驾驶技术领域,具体涉及一种无人艇辅助驾驶系统及其方法。
背景技术
当前环境检测、水质采样、水上测绘(海洋、湖泊、河流、港口)等对无人艇的需求越来越大。当前的无人艇自动驾驶很不成熟,环境感知和避障水平都有待提升,不能满足复杂环境下的航行精度需求。比如,测绘作业时,要求无人艇尽可能靠近航标、码头、岸边、桥墩等,而当前的无人艇避障精度无法满足需求。
发明内容
本发明提供一种无人艇辅助驾驶系统及其方法。
为解决上述技术问题,本发明采用如下技术方案:
一种无人艇辅助驾驶系统,包括:
监测模块,用于采集无人艇周围环境画面以及获取无人艇周围障碍物相对于监测模块的位置信息,并标定监测模块的坐标;
导航单元,用于获取无人艇位置信息并上传至障碍物测距单元;以及
障碍物测距单元,用于根据无人艇周围障碍物相对于监测模块的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息。
进一步地,所述监测模块包括:
摄像头,用于监控和采集无人艇周围环境画面;
雷达,用于获取无人艇周围障碍物相对于雷达的位置信息;以及
标定单元,用于对摄像头和雷达的位置坐标进行标定。
进一步地,还包括用于确定无人艇周围环境画面中障碍物位置信息的融合单元,以及用于对无人艇周围环境画面中的障碍物类型进行识别的障碍物识别单元。
进一步地,还包括显示模块,所述显示模块包括:
图像处理单元,用于获取无人艇周围环境画面并处理成全景画面,上传至显示机构。
显示机构,用于显示全景画面,并将无人艇周围环境画面中障碍物位置信息和障碍物类型在全景画面进行显示。
一种无人艇辅助驾驶方法,包括如下步骤:
采集无人艇周围环境画面以及获取无人艇周围障碍物相对于雷达的位置信息;
导航单元获取无人艇位置信息后上传至障碍物测距单元;
障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息;
对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理并显示。
进一步地,所述无人艇位置信息的具体包括坐标信息和姿态信息,所述姿态信息包括偏航角、俯仰角和横滚角。
进一步地,所述障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息的具体方法为:获取无人艇上监测模块识别到无人艇周围障碍物相对于该雷达安装位置的距离、方位,根据当前无人艇的姿态和坐标信息计算出障碍物相对于无人艇的距离、方位。
进一步地,所述根据当前无人艇的姿态和定位信息计算障碍物相对于无人艇的距离、方位的具体计算方法为:若无人艇偏航角为a,雷达相对于无人艇船艏方向水平角度为b,障碍物相对于雷达的角度为c,距离为d,则障碍物相对于无人艇的方位为a+b+c度,与无人艇的距离为d。
进一步地,所述对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理的具体方法为:
障碍物识别单元对无人艇周围环境画面中的障碍物进行识别,获取障碍物类型;
确定无人艇周围环境画面中障碍物位置信息;
将采集到的无人艇周围环境画面进行处理整合成全景画面,然后将无人艇周围环境画面中障碍物位置以及障碍物类别叠加在全景画面。
进一步地,所述障碍物识别单元对无人艇周围环境画面中的障碍物进行识别,获取障碍物类型的具体方法为:
S1、获取无人艇周围环境画面信息;
S2、对无人艇周围环境画面信息中的水上物体进行标识后训练,获取水上物体的识别模型;
S3、将水上物体的识别模型以及预先设定的识别阈值进行对比,判断识别到的水上物体的类型。
与现有技术相比,本发明的有益效果:
该系统辅助人工远程驾驶更加直观、安全,对水域中的障碍物信息进行获取以及避障,可以航行在更加复杂的水域;融合了全景图像,提供直观可靠的第一视角信息。
附图说明
图1为本发明系统流程结构图;
图2为本发明无人艇结构图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
如图1-2所示,一种无人艇辅助驾驶系统,包括监测模块1、导航单元2、障碍物测距单元3、融合单元4、障碍物识别单元5和显示模块6,监测模块1包括摄像头、雷达和标定单元,摄像头用于监控和采集无人艇周围环境画面,雷达获取无人艇周围障碍物相对于雷达的位置信息,标定单元使用张正友标定法对摄像头和雷达的位置坐标进行标定,在对雷达进行位置坐标进行标定时,要确保水平角、俯仰角和横滚角满足安装要求,雷达为毫米波雷达,摄像头为广角摄像头,摄像头和雷达为一组,共设置有四组,分别安装在无人艇的前后左右四个位置;
导航单元具体为惯性导航,导航单元获取无人艇位置、偏航角、俯仰角、横滚角信息并上传至障碍物测距单元;障碍物测距单元根据无人艇前后左右四个方向每个雷达识别到的水上物体(即障碍物)相对于该雷达安装位置的距离、方位,根据当前无人艇的姿态和坐标信息计算障碍物相对于无人艇的距离、方位;
融合单元在时间上通过多个线程同时获取摄像头识别结果和雷达的测试数据,在空间上通过坐标转换,获取视频帧中障碍物和毫米波雷达检测到的障碍物的对应关系,最终获取视频帧中每个障碍物对应距离、方位;
障碍物识别单元对采集到的水上视频数据集打标签,标签主要包含船只、航标、小岛、礁石、桥墩、岸边等,采用SSD进行训练,训练后获取水上物体的识别模型Data model,根据训练好的模型以及预先设置的识别率阈值P分别以16*16、32*32、48*48、64*64 大小的滑动窗口识别无人艇四周船只、航标、小岛、礁石、桥墩、岸边等,若某一类型障碍物识别率大于该阈值P,则判定识别到该类型障碍物,否则未识别到该类型障碍物;
显示模块包括图像处理单元和显示机构,图像处理单元将前后左右四个摄像头的视频帧数据俯视处理,然后采用基于特征的算法surf算法进行拼接,拼接成360°全景数据帧,上传至显示机构;显示机构用于显示全景画面,并将无人艇周围环境画面中障碍物位置信息和障碍物类型叠加在全景画面进行显示。
一种无人艇辅助驾驶方法,包括如下步骤:
通过摄像头采集无人艇周围环境画面以及通过雷达获取无人艇周围障碍物相对于雷达的位置信息;
导航单元获取无人艇的坐标信息、偏航角、俯仰角和横滚角信息后上传至障碍物测距单元;
障碍物测距单元获取无人艇上监测模块识别到无人艇周围障碍物相对于该雷达安装位置的距离、方位,根据当前无人艇的姿态和定位信息计算出障碍物相对于无人艇的距离、方位,若无人艇偏航角为a,雷达相对于无人艇船艏方向水平角度为b,障碍物相对于雷达的角度为c,距离为d,a、b、c的取值范围为-180°~180°,顺时针增加,逆时针减小,则障碍物相对于无人艇的方位为a+b+c度,与无人艇的距离为d;
获取无人艇周围环境画面信息;
对无人艇周围环境画面信息中的水上物体进行标识后训练,获取水上物体的识别模型,其中标签主要包含船只、航标、小岛、礁石、桥墩、岸边等;
将水上物体的识别模型以及预先设定的识别阈值进行对比,判断识别到的水上物体的类型;
在时间上通过多个线程同时获取摄像头识别结果和雷达的测试数据,在空间上通过坐标转换,获取视频帧中障碍物和毫米波雷达检测到的障碍物的对应关系,最终获取视频帧中每个障碍物对应距离、方位,确定无人艇周围环境画面中障碍物位置信息;
将采集到的无人艇周围环境画面通过基于特征的surf算法处理整合成360°全景画面,然后将无人艇周围环境画面中障碍物位置以及障碍物类别叠加在全景画面,通过专用通信设备比如LTE发送给岸端上位机显示机构显示。
以上所述实施方式仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明的权利要求书确定的保护范围内。
Claims (10)
1.一种无人艇辅助驾驶系统,其特征在于,包括:
监测模块(1),用于采集无人艇周围环境画面以及获取无人艇周围障碍物相对于监测模块的位置信息,并标定监测模块的坐标;
导航单元(2),用于获取无人艇位置信息并上传至障碍物测距单元;以及
障碍物测距单元(3),用于根据无人艇周围障碍物相对于监测模块的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息。
2.根据权利要求1所述的无人艇辅助驾驶系统,其特征在于,所述监测模块包括:
摄像头,用于监控和采集无人艇周围环境画面;
雷达,用于获取无人艇周围障碍物相对于雷达的位置信息;以及
标定单元,用于对摄像头和雷达的位置坐标进行标定。
3.根据权利要求2所述的无人艇辅助驾驶系统,其特征在于,还包括用于确定无人艇周围环境画面中障碍物位置信息的融合单元(4),以及用于对无人艇周围环境画面中的障碍物类型进行识别的障碍物识别单元(5)。
4.根据权利要求3所述的无人艇辅助驾驶系统,其特征在于,还包括显示模块(6),所述显示模块包括:
图像处理单元,用于获取无人艇周围环境画面并处理成全景画面,上传至显示机构;
显示机构,用于显示全景画面,并将无人艇周围环境画面中障碍物位置信息和障碍物类型在全景画面进行显示。
5.一种如权利要求1-4任一项所述系统的无人艇辅助驾驶方法,包括如下步骤:
采集无人艇周围环境画面以及获取无人艇周围障碍物相对于雷达的位置信息;
导航单元获取无人艇位置信息后上传至障碍物测距单元;
障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息;
对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理并显示。
6.根据权利要求5所述的无人艇辅助驾驶方法,其特征在于,所述无人艇位置信息的具体包括坐标信息和姿态信息,所述姿态信息包括偏航角、俯仰角和横滚角。
7.根据权利要求5所述的无人艇辅助驾驶方法,其特征在于,所述障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息的具体方法为:获取无人艇上监测模块识别到无人艇周围障碍物相对于该雷达安装位置的距离、方位,根据当前无人艇的姿态和坐标信息计算出障碍物相对于无人艇的距离、方位。
8.根据权利要求7所述的无人艇辅助驾驶方法,其特征在于,所述根据当前无人艇的姿态和定位信息计算障碍物相对于无人艇的距离、方位的具体计算方法为:若无人艇偏航角为a,雷达相对于无人艇船艏方向水平角度为b,障碍物相对于雷达的角度为c,距离为d,则障碍物相对于无人艇的方位为a+b+c度,与无人艇的距离为d。
9.根据权利要求5所述的无人艇辅助驾驶方法,其特征在于,所述对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理的具体方法为:
障碍物识别单元对无人艇周围环境画面中的障碍物进行识别,获取障碍物类型;
确定无人艇周围环境画面中障碍物位置信息;
将采集到的无人艇周围环境画面进行处理整合成全景画面,然后将无人艇周围环境画面中障碍物位置以及障碍物类别叠加在全景画面上。
10.根据权利要求5所述的无人艇辅助驾驶方法,其特征在于,所述障碍物识别单元对无人艇周围环境画面中的障碍物进行识别,获取障碍物类型的具体方法为:
S1、获取无人艇周围环境画面信息;
S2、对无人艇周围环境画面信息中的水上物体进行标识后训练,获取水上物体的识别模型;
S3、将水上物体的识别模型以及预先设定的识别阈值进行对比,判断识别到的水上物体的类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815597.8A CN110667783A (zh) | 2019-08-30 | 2019-08-30 | 一种无人艇辅助驾驶系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910815597.8A CN110667783A (zh) | 2019-08-30 | 2019-08-30 | 一种无人艇辅助驾驶系统及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110667783A true CN110667783A (zh) | 2020-01-10 |
Family
ID=69076545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910815597.8A Pending CN110667783A (zh) | 2019-08-30 | 2019-08-30 | 一种无人艇辅助驾驶系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110667783A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021208797A1 (zh) * | 2020-04-13 | 2021-10-21 | 京东数科海益信息科技有限公司 | 障碍物数据处理方法、装置、设备及存储介质 |
CN114839967A (zh) * | 2022-03-29 | 2022-08-02 | 广州小鹏自动驾驶科技有限公司 | 一种远程辅助驾驶方法、装置、车辆和存储介质 |
CN116592871A (zh) * | 2023-04-28 | 2023-08-15 | 连云港杰瑞科创园管理有限公司 | 一种无人艇多源目标信息融合方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105241457A (zh) * | 2015-08-10 | 2016-01-13 | 武汉理工大学 | 一种用于船舶驾驶的三维辅助导航系统建立方法 |
EP3157322A1 (en) * | 2015-07-13 | 2017-04-26 | Agerpoint, Inc. | Modular systems and methods for determining crop yields with high resolution geo-referenced sensors |
EP3268829A1 (en) * | 2015-03-12 | 2018-01-17 | Transocean Sedco Forex Ventures Limited | Dynamic positioning (dp) drive-off (do) mitigation with inertial navigation system |
CN109282813A (zh) * | 2018-11-26 | 2019-01-29 | 深圳市海斯比船艇科技股份有限公司 | 一种无人艇全局障碍物识别的方法 |
CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
-
2019
- 2019-08-30 CN CN201910815597.8A patent/CN110667783A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3268829A1 (en) * | 2015-03-12 | 2018-01-17 | Transocean Sedco Forex Ventures Limited | Dynamic positioning (dp) drive-off (do) mitigation with inertial navigation system |
EP3157322A1 (en) * | 2015-07-13 | 2017-04-26 | Agerpoint, Inc. | Modular systems and methods for determining crop yields with high resolution geo-referenced sensors |
CN105241457A (zh) * | 2015-08-10 | 2016-01-13 | 武汉理工大学 | 一种用于船舶驾驶的三维辅助导航系统建立方法 |
CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
CN109282813A (zh) * | 2018-11-26 | 2019-01-29 | 深圳市海斯比船艇科技股份有限公司 | 一种无人艇全局障碍物识别的方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021208797A1 (zh) * | 2020-04-13 | 2021-10-21 | 京东数科海益信息科技有限公司 | 障碍物数据处理方法、装置、设备及存储介质 |
CN114839967A (zh) * | 2022-03-29 | 2022-08-02 | 广州小鹏自动驾驶科技有限公司 | 一种远程辅助驾驶方法、装置、车辆和存储介质 |
CN116592871A (zh) * | 2023-04-28 | 2023-08-15 | 连云港杰瑞科创园管理有限公司 | 一种无人艇多源目标信息融合方法 |
CN116592871B (zh) * | 2023-04-28 | 2024-04-23 | 连云港杰瑞科创园管理有限公司 | 一种无人艇多源目标信息融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102566724B1 (ko) | 항만 모니터링 장치 및 항만 모니터링 방법 | |
KR102530691B1 (ko) | 접안 모니터링 장치 및 방법 | |
US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
US20230023434A1 (en) | Deep learning-based marine object classification using 360-degree images | |
CN110414396A (zh) | 一种基于深度学习的无人艇感知融合算法 | |
WO2016112714A1 (zh) | 一种船舶辅助泊岸方法和系统 | |
CN110667783A (zh) | 一种无人艇辅助驾驶系统及其方法 | |
CN114782905B (zh) | 一种基于视频监控的船舶吃水深度检测方法 | |
KR102520844B1 (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
US20220392211A1 (en) | Water non-water segmentation systems and methods | |
CN110393165B (zh) | 一种基于自动投饵船的远海养殖网箱投饵方法 | |
CN115131720A (zh) | 一种基于人工智能的船舶靠泊辅助方法 | |
CN118366033A (zh) | 一种基于多传感器融合的中大型智能船舶目标检测方法 | |
CN111860215B (zh) | 目标对象的位置确定方法、终端设备及航行系统 | |
CN113933828A (zh) | 一种无人艇环境自适应多尺度目标检测方法及系统 | |
CN111103977B (zh) | 一种船舶辅助驾驶数据的处理方法和系统 | |
CN113450598B (zh) | 基于红外视频的船舶辅助航行方法及系统 | |
CN114821494B (zh) | 船舶信息匹配方法及装置 | |
CN114022775B (zh) | 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 | |
US11892854B2 (en) | Assistance system for correcting vessel path and operation method thereof | |
CN115830140A (zh) | 一种海上近程光电监控方法、系统、介质、设备及终端 | |
CN105785990B (zh) | 基于全景环视的船只停泊系统及障碍物识别方法 | |
CN113942623A (zh) | 一种智慧航行平台和航行方法 | |
US20240104746A1 (en) | Vessel tracking and monitoring system and operating method thereof | |
EP4296968A1 (en) | Method for labelling a water surface within an image, method for providing a training dataset for training, validating, and/or testing a machine learning algorithm, machine learning algorithm for detecting a water surface in an image, and water surface detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |
|
RJ01 | Rejection of invention patent application after publication |