CN111508005A - 一种基于双目视觉无人船水上障碍物自主检测系统 - Google Patents
一种基于双目视觉无人船水上障碍物自主检测系统 Download PDFInfo
- Publication number
- CN111508005A CN111508005A CN202010136089.XA CN202010136089A CN111508005A CN 111508005 A CN111508005 A CN 111508005A CN 202010136089 A CN202010136089 A CN 202010136089A CN 111508005 A CN111508005 A CN 111508005A
- Authority
- CN
- China
- Prior art keywords
- unmanned ship
- binocular vision
- navigation
- vision
- navigation control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 26
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000002604 ultrasonography Methods 0.000 abstract 1
- 230000004888 barrier function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B35/00—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B35/00—Vessels or similar floating structures specially adapted for specific purposes and not otherwise provided for
- B63B2035/006—Unmanned surface vessels, e.g. remotely controlled
- B63B2035/007—Unmanned surface vessels, e.g. remotely controlled autonomously operating
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Ocean & Marine Engineering (AREA)
- Navigation (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于双目视觉无人船水上障碍物自主检测系统，所述在无人船上装载有双目视觉系统、其他传感器模块和航行控制系统，所述双目视觉系统由两台立体像机、视觉采集处理单元构成，其他传感器模块由GPS、IMU、流速传感器和陀螺仪组成，双目视觉系统与其他传感器单元与激光，雷达及超声等主动测量方式相比，可减少多个测量装置在检测过程中的相互干扰，可降低在某些特定环境使用时被发现的概率，具有较强的隐蔽性，其中双目视觉其产生的立体视觉信息可以直接恢复目标环境的三维坐标，可获得环境的深度信息，对于未知航行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。
Description
技术领域
本发明涉及一种无人船，具体是一种基于双目视觉无人船水上障碍物自主检测系统。
背景技术
无人船是一种可以无需遥控，借助精确卫星定位和自身传感即可按照预设任务在水面航行的全自动水面机器人，英文缩写为USV，无人船可应用于环保，水文等行业的湖泊、水库、江河、近海等地表水的突发环境事件处置时，利用GPS定位，自主导航和控制设备,根据监测工作的需要可搭载连续流动分析仪，多参数水质分析仪以及采样模块。以人工遥控或者全自动自主导航的工作方式，在航行过程中可到达水体的绝大部分区域，传统的无人船精度不高，定位不准确，数据采集繁琐。
发明内容
本发明的目的在于提供一种基于双目视觉无人船水上障碍物自主检测系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于双目视觉无人船水上障碍物自主检测系统，包括双目视觉系统、其他传感器模块、航行控制系统、GPS、IMU、流速传感器、陀螺仪、立体像机和视觉采集处理单元；所述在无人船上装载有双目视觉系统、其他传感器模块和航行控制系统；所述双目视觉系统由两台立体像机和视觉采集处理单元构成，所述视觉采集处理单元内部设置Dual-Core-ARM，所述Dual-Core-ARM内部连接1G内存和8G闪存，Dual-Core-ARM的数据都是在1G内存上运行，Dual-Core-ARM一端连接CAN、RS485、网口和USB，其他传感器模块用于获取无人船的航行状态信息；其他传感器模块由GPS、IMU、流速传感器和陀螺仪组成；航行控制系统通过融合处理生成航行控制指令，用于控制无人船航行；无人船根据航行控制系统的航行控制指令进行航行，所述将双目视觉系统与其他传感器单元通过扩展卡尔曼滤波融合在一起。
作为本发明进一步的方案：Dual-Core-ARM模块通过USB接口采集两路立体像机的图像数据，通过AXI接口高速的将视频流传输给FPGA模块，并将处理结果反馈给ARM模块，处理结果通过CAN总线等传输接口发送给无人船主控制器。
与现有技术相比，本发明的有益效果是：双目视觉系统与其他传感器单元与激光，雷达及超声等主动测量方式相比，双目视觉系统与其他传感器单元可减少多个测量装置在检测过程中的相互干扰，更为重要的是可降低在某些特定环境使用时被发现的概率，双目视觉系统与其他传感器单元具有较强的隐蔽性，激光避障在水面容易受到水的干扰，搭载在小型无人船不方便，超声波测距极易受到干扰，信号不稳定，而且测距较短，视觉的航行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉可获得较单目视觉更高的精度，而应用较为广泛，单目视觉使用一台机载摄像机获取障碍物图像，然而障碍物的三维信息会在图像投影过程中丢失，虽可利用多帧图像或离线训练的方法还原环境的深度信息，但处理过程复杂，导致机载嵌入式处理器难以实现实时处理，目前只能做到将图像传回地面站解算后再返回无人船的方式进行障碍物规避控制，而双目视觉基于视差原理，其产生的立体视觉信息可以直接恢复目标环境的三维坐标，进而可获得环境的深度信息，对于未知航行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。
附图说明
图1为一种基于双目视觉无人船水上障碍物自主检测系统的自主障碍物检测系统示意图。
图2为一种基于双目视觉无人船水上障碍物自主检测系统中双目视觉处理单元系统示意图。
图3为一种基于双目视觉无人船水上障碍物自主检测系统中视觉采集处理单元的结构示意图。
如图所示：双目视觉系统1、其他传感器模块2、航行控制系统3、GPS4、IMU5、流速传感器6、陀螺仪7、立体像机8和视觉采集处理单元9。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～3，本发明实施例中，一种基于双目视觉无人船水上障碍物自主检测系统，包括 双目视觉系统1、其他传感器模块2、航行控制系统3、GPS4、IMU5、流速传感器6、陀螺仪7、立体像机8和视觉采集处理单元9；所述在无人船上装载有双目视觉系统1、其他传感器模块2和航行控制系统3。
所述双目视觉系统1由两台立体像机8和视觉采集处理单元9构成，立体像机8可以将所拍摄到的平面图像从而获得视线深度方向上的影像数据，实现静态景物拍摄和动态景物拍摄，所述视觉采集处理单元9是指图像经过采样，量化以后转换为数字图像并输入，存储到帧存储器；对图像进行分析，以达到所需结果的处理，所述视觉采集处理单元9内部设置Dual-Core-ARM，所述Dual-Core-ARM内部连接1G内存和8G闪存，Dual-Core-ARM的数据都是在1G内存上运行，但是由于1G内存没有长期存储的功能，立体像机8断电后上面的数据就会被清除，而8G闪存断电后数据任然可以保留，Dual-Core-ARM一端连接CAN、RS485、网口和USB，所述的Dual-Core-ARM模块通过USB接口采集两路立体像机8的图像数据，通过AXI接口高速的将视频流传输给FPGA模块，进行两路视觉信息的并行处理，并将处理结果反馈给ARM模块，ARM模块进行后续处理，ARM模块处理结果通过CAN总线等传输接口发送给无人船主控制器，两路立体像机8的同步控制信号，由 FPGA 控制同步触发单元产生，所述目视觉系统内部的视觉采集处理单元采用 FPGA与Dual-Core-ARM相结合设计，且完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果的发布的嵌入式处理器Dual-Core-ARM模块构成。
其他传感器模块2用于获取无人船的航行状态信息；其他传感器模块2由GPS4、IMU5、流速传感器6和陀螺仪7组成；GPS4是一种以空中卫星为基础的高精度无线电导航的定位系统；IMU5用在需要进行运动控制的无人船上；流速传感器6是一种水流检测装置，能将感受到被测量的信息，并能将感受到的信息按一定规律变换成为电信号或其他所需形式的信息输出到无人船上，以满足无人船上信息传输，信息处理，信息存储，信息显示，信息记录和信息控制等要求，陀螺仪7多用于无人船上导航定位等，陀螺仪7是一种定向仪器。
航行控制系统3通过融合处理生成航行控制指令，航行控制指令用于控制无人船航行；无人船根据航行控制系统的航行控制指令进行航行，无人船实现对障碍物规避航行功能。
所述将双目视觉系统1与其他传感器单元2通过扩展卡尔曼滤波融合在一起，无人船需要进行航行路径控制和航线规划以对障碍物进行规避，双目视觉系统1与其他传感器单元2可以实现了无人船对所在航行环境中存在的障碍物进行有效避障的功能，而双目视觉基于视差原理，双目视觉产生的立体视觉信息可以直接恢复目标环境的三维坐标，进而双目视觉可获得环境的深度信息，双目视觉对于未知航行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于双目视觉无人船水上障碍物自主检测系统，包括双目视觉系统（1）、其他传感器模块（2）、航行控制系统（3）、GPS（4）、IMU（5）、流速传感器（6）、陀螺仪（7）、立体像机（8）和视觉采集处理单元（9）；其特征在于，所述在无人船上装载有双目视觉系统（1）、其他传感器模块（2）和航行控制系统（3），所述双目视觉系统（1）由两台立体像机（8）和视觉采集处理单元（9）构成，Dual-Core-ARM一端连接CAN、RS485、网口和USB，所述目视觉系统内部的视觉采集处理单元采用 FPGA与Dual-Core-ARM相结合设计，且完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果的发布的嵌入式处理器Dual-Core-ARM模块构成，其他传感器模块（2）用于获取无人船的航行状态信息；其他传感器模块由GPS（4）、IMU（5）、流速传感器（6）和陀螺仪（7）组成，航行控制系统3通过融合处理生成航行控制指令，用于控制无人船航行；无人船根据航行控制系统的航行控制指令进行航行，所述将双目视觉系统1与其他传感器单元（2）通过扩展卡尔曼滤波融合在一起，无人船需要进行航行路径控制和航线规划以对障碍物进行规避。
2.根据权利要求1所述的一种基于双目视觉无人船水上障碍物自主检测系统，其特征在于，所述Dual-Core-ARM模块通过USB接口采集两路立体像机（8）的图像数据，通过AXI接口高速的将视频流传输给FPGA模块，并将处理结果反馈给ARM模块，处理结果通过CAN总线等传输接口发送给无人船主控制器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010136089.XA CN111508005A (zh) | 2020-03-02 | 2020-03-02 | 一种基于双目视觉无人船水上障碍物自主检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010136089.XA CN111508005A (zh) | 2020-03-02 | 2020-03-02 | 一种基于双目视觉无人船水上障碍物自主检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111508005A true CN111508005A (zh) | 2020-08-07 |
Family
ID=71877418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010136089.XA Pending CN111508005A (zh) | 2020-03-02 | 2020-03-02 | 一种基于双目视觉无人船水上障碍物自主检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111508005A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114023135A (zh) * | 2021-11-08 | 2022-02-08 | 哈尔滨工程大学 | 一种auv避碰训练系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120047672A (ko) * | 2010-11-04 | 2012-05-14 | 목포대학교산학협력단 | 3ｄ 디스플레이 장치를 이용한 선박 조종 시뮬레이터 시스템 |
| CN105204411A (zh) * | 2015-08-11 | 2015-12-30 | 上海交通大学 | 一种基于双目立体视觉的船舶靠泊辅助系统及方法 |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
| CN108733064A (zh) * | 2017-04-18 | 2018-11-02 | 中交遥感载荷（北京）科技有限公司 | 一种无人机的视觉定位避障系统及其方法 |
| CN110580044A (zh) * | 2019-08-30 | 2019-12-17 | 天津大学 | 基于智能感知的无人船全自动航行异构系统 |
-
2020
- 2020-03-02 CN CN202010136089.XA patent/CN111508005A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120047672A (ko) * | 2010-11-04 | 2012-05-14 | 목포대학교산학협력단 | 3ｄ 디스플레이 장치를 이용한 선박 조종 시뮬레이터 시스템 |
| CN105204411A (zh) * | 2015-08-11 | 2015-12-30 | 上海交通大学 | 一种基于双目立体视觉的船舶靠泊辅助系统及方法 |
| CN105222760A (zh) * | 2015-10-22 | 2016-01-06 | 一飞智控(天津)科技有限公司 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
| CN108733064A (zh) * | 2017-04-18 | 2018-11-02 | 中交遥感载荷（北京）科技有限公司 | 一种无人机的视觉定位避障系统及其方法 |
| CN110580044A (zh) * | 2019-08-30 | 2019-12-17 | 天津大学 | 基于智能感知的无人船全自动航行异构系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114023135A (zh) * | 2021-11-08 | 2022-02-08 | 哈尔滨工程大学 | 一种auv避碰训练系统 |
| CN114023135B (zh) * | 2021-11-08 | 2024-06-11 | 哈尔滨工程大学 | 一种auv避碰训练系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Survey of underwater robot positioning navigation | |
| CN109887057B (zh) | 生成高精度地图的方法和装置 | |
| Zhang et al. | Autonomous underwater vehicle navigation: a review | |
| AU2019217205B2 (en) | Method of and apparatus for analyzing images | |
| CN104932515B (zh) | 一种自主巡航方法以及巡航设备 | |
| CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
| WO2017131838A2 (en) | Sonar sensor fusion and model based virtual and augmented reality systems and methods | |
| CN102042835A (zh) | 自主式水下机器人组合导航系统 | |
| CN113820735B (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
| Holz et al. | Towards multimodal omnidirectional obstacle detection for autonomous unmanned aerial vehicles | |
| CN109240315A (zh) | 一种新型水下自主避障系统及水下避障方法 | |
| CN111090283A (zh) | 一种无人艇组合定位定向方法和系统 | |
| CN115077655A (zh) | 一种极区湖泊容水量测量系统及方法 | |
| CN103090861A (zh) | 水下机器人的多线地形匹配导航方法 | |
| CN108227744B (zh) | 一种水下机器人定位导航系统及定位导航方法 | |
| Yin et al. | Study on underwater simultaneous localization and mapping based on different sensors | |
| CN111508005A (zh) | 一种基于双目视觉无人船水上障碍物自主检测系统 | |
| CN113219492A (zh) | 一种河道船舶行驶定位导航的方法及系统 | |
| Pfingsthorn et al. | Full 3D navigation correction using low frequency visual tracking with a stereo camera | |
| Alamleh et al. | Comparative analysis of underwater positioning and navigation systems | |
| Troll et al. | Indoor Localization of Quadcopters in Industrial Environment | |
| Kondo et al. | Structure tracing with a ranging system using a sheet laser beam | |
| Makiello | Multi-Sensor Fusion for a UAV/USV Tandem System for Spatial Data Collection of Waterways | |
| Chen et al. | Station keeping of an autonomous surface vehicle in surf zone | |
| Kapetanović et al. | Acoustical underwater localization of a remotely operated vehicle in mariculture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |