CN113156960A - 基于双目视觉与毫米波雷达结合的无人船自主避障系统 - Google Patents
基于双目视觉与毫米波雷达结合的无人船自主避障系统 Download PDFInfo
- Publication number
- CN113156960A CN113156960A CN202110464983.4A CN202110464983A CN113156960A CN 113156960 A CN113156960 A CN 113156960A CN 202110464983 A CN202110464983 A CN 202110464983A CN 113156960 A CN113156960 A CN 113156960A
- Authority
- CN
- China
- Prior art keywords
- unmanned ship
- millimeter wave
- wave radar
- binocular vision
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000026676 system process Effects 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于双目视觉与毫米波雷达结合的无人船自主避障系统。本发明的技术方案是：包括与无人船舵机组连接的无人船控制系统，所述无人船控制系统包括无人船主控制器以及电源管理模块，所述无人船控制系统通过无线链路分别连接地面基站以及遥控器，无人船控制系统还通过数据融合系统分别连接双目视觉系统以及毫米波雷达系统，所述双目视觉系统包括两台立体相机，所述两台立体相机均包括视觉采集处理单元，所述毫米波雷达系统由信号收发、数据采集与运算单元构成。本发明提供的方案能够稳定准确的判断是否需要避障。
Description
技术领域
本发明涉及无人船避障技术领域，特别涉及一种基于双目视觉与毫米波雷达结合的无人船自主避障系统。
背景技术
无人船是一种可以无需遥控，借助精确卫星定位和自身传感器即可按照预设任务在水面航行的全自动水面机器人，避障技术，顾名思义就是无人船自主躲避障碍物的智能技术，根据目前无人船避障技术的发展以及其未来的研究态势，无人船避障技术可分为三个阶段，一是感知障碍物阶段；二是绕过障碍物阶段；三是场景建模和路径搜索阶段。这三个阶段其实是无人船避障技术的作用过程，从无人船发现障碍物，到可以自动绕开障碍物，再达到自我规划路径的过程。现有技术中多采用视觉系统进行障碍物的判断，但是其受光线影响较大，导致检测结果不准确。
发明内容
针对现有技术存在的不足，本发明的主要目的在于提供一种能够稳定准确的判断是否需要避障的系统。
为实现上述目的，本发明提供了如下技术方案：一种基于双目视觉与毫米波雷达结合的无人船自主避障系统，包括与无人船舵机组连接的无人船控制系统，所述无人船控制系统包括无人船主控制器以及电源管理模块，所述无人船控制系统通过无线链路分别连接地面基站以及遥控器，无人船控制系统还通过数据融合系统分别连接双目视觉系统以及毫米波雷达系统，所述双目视觉系统包括两台立体相机，所述两台立体相机均包括视觉采集处理单元，所述毫米波雷达系统由信号收发、数据采集与运算单元构成。
优选的，所述双目视觉系统通过CAN总线与数据融合系统通信连接，所述毫米波雷达系统通过RS232协议与数据融合系统通信连接。
优选的，避障步骤包括，
a、双目视觉系统获取无人船前方的视觉图像，毫米波雷达系统获取无人船前方的物体距离以及方位信息；
b、双目视觉系统以及毫米波雷达系统的数据通过总线传输到数据融合系统，数据融合系统通过卡尔曼滤波算法处理接受的数据，处理的数据传输到无人船控制系统；
c、无人船控制系统根据所获取的数据信息判断前方是否有目标对象，若有目标对象则转至步骤d，如无目标对象则则无人船不采取避障措施转至步骤a；
d、有目标对象时，无人船控制系统获取无人船当前位置、姿态信息以及目标对象深度信息判断前方是目标对象否有障碍物；若目标对象存在障碍物，则转至步骤e，若若目标对象不存在障碍物，则无人船不采取避障措转至步骤a
e、若存在障碍物，获取无人船和障碍的距离与速度，根据Dijkstra算法重新规划航行路线。
本发明相对于现有技术具有如下优点，在无人船上装载有双目视觉系统，毫米波雷达系统，数据融合系统及航行控制系统；双目视觉系统由两台立体像机、视觉采集处理单元构成；毫米波雷达系统由信号收发、数据采集与运算构成；数据融合系统是单独的一块处理单元；航行控制系统通过融合处理生成航行控制指令，用于控制无人船航行；无人船根据航行控制系统的航行控制指令进行航行，实现自主避障功能。本系统将双目视觉系统与毫米波雷达系统采集的物体信息通过各自总线传输到数据融合系统单元，数据融合系统通过扩展卡尔曼滤波算法将两个系统采集的信息进行融合与滤波，将处理的结果信息传输到航行控制系统，航行控制系统根据Dijkstra算法进行航行路径控制和航线规划，实现自主避障功能。能有效地解决无人船避障的问题。基于视觉的环境感知属于被动测量方式，与激光、雷达及超声等主动测量方式相比，可减少多个测量装置在检测过程中的相互干扰，但双目视觉系统容易受到光线的影响，在光线暗或者强光下，识别物体效果不是太好，毫米波雷达不受光线的影响，但毫米波雷达信号不稳定，容易受雨水和水面浪花的影响，而且无法获取障碍物大小信息，本发明采用两个系统数据的融合可以有效解决各自的缺陷。
附图说明
图1为本发明的结构框图；
图2为本发明的流程示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种基于双目视觉与毫米波雷达结合的无人船自主避障系统，包括与无人船舵机组连接的无人船控制系统，所述无人船控制系统包括无人船主控制器以及电源管理模块，所述无人船控制系统通过无线链路分别连接地面基站以及遥控器，无人船控制系统还通过数据融合系统分别连接双目视觉系统以及毫米波雷达系统，所述双目视觉系统包括两台立体相机，所述两台立体相机均包括视觉采集处理单元，所述毫米波雷达系统由信号收发、数据采集与运算单元构成。
优选的，所述双目视觉系统通过CAN总线与数据融合系统通信连接，所述毫米波雷达系统通过RS232协议与数据融合系统通信连接。
在无人船上装载有双目视觉系统，毫米波雷达系统，数据融合系统及航行控制系统；双目视觉系统由两台立体像机、视觉采集处理单元构成；毫米波雷达系统由信号收发、数据采集与运算构成；数据融合系统是单独的一块处理单元；航行控制系统通过融合处理生成航行控制指令，用于控制无人船航行；无人船根据航行控制系统的航行控制指令进行航行，实现自主避障功能。本系统将双目视觉系统与毫米波雷达系统采集的物体信息通过各自总线传输到数据融合系统单元，数据融合系统通过扩展卡尔曼滤波算法将两个系统采集的信息进行融合与滤波，将处理的结果信息传输到航行控制系统，航行控制系统根据Dijkstra算法进行航行路径控制和航线规划，实现自主避障功能。能有效地解决无人船避障的问题。基于视觉的环境感知属于被动测量方式，与激光、雷达及超声等主动测量方式相比，可减少多个测量装置在检测过程中的相互干扰，但双目视觉系统容易受到光线的影响，在光线暗或者强光下，识别物体效果不是太好，毫米波雷达不受光线的影响，但毫米波雷达信号不稳定，容易受雨水和水面浪花的影响，而且无法获取障碍物大小信息，本发明采用两个系统数据的融合可以有效解决各自的缺陷。
优选的，避障步骤包括，
a、双目视觉系统获取无人船前方的视觉图像，毫米波雷达系统获取无人船前方的物体距离以及方位信息；
b、双目视觉系统以及毫米波雷达系统的数据通过总线传输到数据融合系统，数据融合系统通过卡尔曼滤波算法处理接受的数据，处理的数据传输到无人船控制系统；
c、无人船控制系统根据所获取的数据信息判断前方是否有目标对象，若有目标对象则转至步骤d，如无目标对象则则无人船不采取避障措施转至步骤a；
d、有目标对象时，无人船控制系统获取无人船当前位置、姿态信息以及目标对象深度信息判断前方是目标对象否有障碍物；若目标对象存在障碍物，则转至步骤e，若若目标对象不存在障碍物，则无人船不采取避障措转至步骤a
e、若存在障碍物，获取无人船和障碍的距离与速度，根据Dijkstra算法重新规划航行路线。
通过双目摄像机获取无人船前方的环境图象；毫米波雷达系统获取无人船前方物体距离、方位信息；两个系统数据通过总线传输到数据融合系统；数据融合系统通过卡尔曼滤波算法处理接受的数据；处理的数据传输到无人船控制系统；无人船控制系统根据所获取的数据信息判断前方是否有障碍物；若存在障碍物，获取无人船和障碍的距离与速度，根据Dijkstra算法重新规划航行路线；若目标对象不存在障碍物，则无人船不采取避障措施。本发明所提供的基于双目视觉与毫米波雷达结合的无人船避障方法及系统，实现了无人船在自主航行环境下有效判断障碍物信息的功能，避免在航行中与障碍物发生碰撞。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于双目视觉与毫米波雷达结合的无人船自主避障系统，包括与无人船舵机组连接的无人船控制系统，所述无人船控制系统包括无人船主控制器以及电源管理模块，所述无人船控制系统通过无线链路分别连接地面基站以及遥控器，其特征在于：无人船控制系统还通过数据融合系统分别连接双目视觉系统以及毫米波雷达系统，所述双目视觉系统包括两台立体相机，所述两台立体相机均包括视觉采集处理单元，所述毫米波雷达系统由信号收发、数据采集与运算单元构成。
2.根据权利要求1所述的一种基于双目视觉与毫米波雷达结合的无人船自主避障系统，其特征在于：所述双目视觉系统通过CAN总线与数据融合系统通信连接，所述毫米波雷达系统通过RS232协议与数据融合系统通信连接。
3.根据权利要求1所述的一种基于双目视觉与毫米波雷达结合的无人船自主避障系统，其特征在于：避障步骤包括，
a、双目视觉系统获取无人船前方的视觉图像，毫米波雷达系统获取无人船前方的物体距离以及方位信息；
b、双目视觉系统以及毫米波雷达系统的数据通过总线传输到数据融合系统，数据融合系统通过卡尔曼滤波算法处理接受的数据，处理的数据传输到无人船控制系统；
c、无人船控制系统根据所获取的数据信息判断前方是否有目标对象，若有目标对象则转至步骤d，如无目标对象则则无人船不采取避障措施转至步骤a；
d、有目标对象时，无人船控制系统获取无人船当前位置、姿态信息以及目标对象深度信息判断前方是目标对象否有障碍物；若目标对象存在障碍物，则转至步骤e，若若目标对象不存在障碍物，则无人船不采取避障措转至步骤a；
e、若存在障碍物，获取无人船和障碍的距离与速度，根据Dijkstra算法重新规划航行路线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110464983.4A CN113156960A (zh) | 2021-04-28 | 2021-04-28 | 基于双目视觉与毫米波雷达结合的无人船自主避障系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110464983.4A CN113156960A (zh) | 2021-04-28 | 2021-04-28 | 基于双目视觉与毫米波雷达结合的无人船自主避障系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113156960A true CN113156960A (zh) | 2021-07-23 |
Family
ID=76871706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110464983.4A Pending CN113156960A (zh) | 2021-04-28 | 2021-04-28 | 基于双目视觉与毫米波雷达结合的无人船自主避障系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113156960A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107728618A (zh) * | 2017-09-28 | 2018-02-23 | 南通大学 | 一种无人船的避障方法 |
| CN108303988A (zh) * | 2018-03-28 | 2018-07-20 | 大连海事大学 | 一种无人船的目标识别追踪系统及其工作方法 |
| CN110580044A (zh) * | 2019-08-30 | 2019-12-17 | 天津大学 | 基于智能感知的无人船全自动航行异构系统 |
| CN111309022A (zh) * | 2020-03-02 | 2020-06-19 | 北京优世达科技有限公司 | 一种基于双目视觉的无人船自主避障系统的自动避障方法 |
| CN212322115U (zh) * | 2020-07-31 | 2021-01-08 | 南京开天眼无人机科技有限公司 | 一种无人船巡检避障系统 |
-
2021
- 2021-04-28 CN CN202110464983.4A patent/CN113156960A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107728618A (zh) * | 2017-09-28 | 2018-02-23 | 南通大学 | 一种无人船的避障方法 |
| CN108303988A (zh) * | 2018-03-28 | 2018-07-20 | 大连海事大学 | 一种无人船的目标识别追踪系统及其工作方法 |
| CN110580044A (zh) * | 2019-08-30 | 2019-12-17 | 天津大学 | 基于智能感知的无人船全自动航行异构系统 |
| CN111309022A (zh) * | 2020-03-02 | 2020-06-19 | 北京优世达科技有限公司 | 一种基于双目视觉的无人船自主避障系统的自动避障方法 |
| CN212322115U (zh) * | 2020-07-31 | 2021-01-08 | 南京开天眼无人机科技有限公司 | 一种无人船巡检避障系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3491474B1 (en) | System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning | |
| CN110244772B (zh) | 移动机器人的领航跟随系统和领航跟随控制方法 | |
| CN107650908B (zh) | 无人车环境感知系统 | |
| US20180032042A1 (en) | System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data | |
| CN106873627B (zh) | 一种自动巡检输电线路的多旋翼无人机及方法 | |
| US10393527B2 (en) | UAV navigation obstacle avoidance system and method thereof | |
| CN109460035A (zh) | 一种无人艇高速状态下的二级自主避障系统及避障方法 | |
| EP3913328B1 (en) | Vehicle positioning system and method, and vehicle | |
| CN110716549A (zh) | 用于无地图区域巡逻的自主导航机器人系统及其导航方法 | |
| US11538335B2 (en) | Traffic control system for automatic driving vehicle | |
| Lee | Cooperative drone positioning measuring in internet-of-drones | |
| US20230213946A1 (en) | Vehicle Navigation Positioning Method and Apparatus, and Base Station, System and Readable Storage Medium | |
| CN211529000U (zh) | 一种基于激光雷达和摄像头的无人驾驶小车 | |
| CN207274661U (zh) | 无人车环境感知系统 | |
| CN107908163A (zh) | 一种基于无人舰艇的无人机侦查系统 | |
| CN111309022A (zh) | 一种基于双目视觉的无人船自主避障系统的自动避障方法 | |
| WO2019022910A2 (en) | SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA | |
| JP2020154622A (ja) | 交通制御システム | |
| CN113156960A (zh) | 基于双目视觉与毫米波雷达结合的无人船自主避障系统 | |
| CN207571587U (zh) | 一种基于psd测距和ccd夜视成像的自动避障航行无人机 | |
| CN115615425A (zh) | 一种agv车辆分区域按需高精度室内定位控制系统 | |
| CN115390575A (zh) | 一种基于ads-b的无人机自动跟随实现方法及装置 | |
| KR102446517B1 (ko) | 실내환경 및 실외환경에서 경로주행이 가능한 무인 운반차 | |
| CN114281109A (zh) | 一种无人机引导的多机协作控制系统 | |
| CN111580538A (zh) | 一种无人平台障碍避障系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |
|
| RJ01 | Rejection of invention patent application after publication |