CN111638523A - 一种水下机器人对失踪者的搜寻和定位系统及方法 - Google Patents
一种水下机器人对失踪者的搜寻和定位系统及方法 Download PDFInfo
- Publication number
- CN111638523A CN111638523A CN202010384058.6A CN202010384058A CN111638523A CN 111638523 A CN111638523 A CN 111638523A CN 202010384058 A CN202010384058 A CN 202010384058A CN 111638523 A CN111638523 A CN 111638523A
- Authority
- CN
- China
- Prior art keywords
- underwater
- sonar
- processing system
- underwater robot
- system control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 54
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 239000003153 chemical reaction reagent Substances 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 123
- 238000013135 deep learning Methods 0.000 claims description 17
- 241000282414 Homo sapiens Species 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 239000013307 optical fiber Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 239000000700 radioactive tracer Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000008786 sensory perception of smell Effects 0.000 claims description 2
- 238000011835 investigation Methods 0.000 abstract description 3
- 101100278756 Arabidopsis thaliana DVL18 gene Proteins 0.000 description 7
- 230000006870 function Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8902—Side-looking sonar
- G01S15/8904—Side-looking sonar using synthetic aperture techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/22—Adaptations for optical transmission
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明提供一种水下机器人对失踪者的搜寻和定位系统及方法，在无缆作业模式下，采取自主探测，通过所装备的侧扫声纳及其处理系统控制舱在灾害区域内进行大范围搜索作业，获得不同置信率的疑似失踪者水下位置信息。在带缆作业模式下，按疑似失踪者目标置信度由高到低，分别在各疑似区域内进行精细搜寻，船上人员观察实时上传到母船上水下光学与声学图像，通过人机协同判断进行精细化失踪者搜寻作业。本发明是一种高效、多方法配合的探测手段，能够在恶劣复杂的水体状况下，对水下情况进行探测，通过区域排查，人机协同，化学试剂嗅探追踪等手段，对遇险人员进行及时定位，为进一步施救奠定基础。
Description
技术领域
本发明涉及一种水下机器人对失踪者的搜寻和定位系统及方法，属于水下探测救援领域。
背景技术
随着经济的不断发展，能源和资源的高效利用逐渐成为热门的讨论话题，我国地域广袤，水资源尤其丰富，利用水资源进行航运、生产、发电等已经成为了十分常见的方式。在众多的水资源利用方法中，海上航线连接着各个国家与地区具有沟通世界的作用；大坝作为水利工程的分支具有防洪、储水、供水、发电等作用。但是在全球范围内各种航运事故、大坝坍塌的事故时有发生，事故发生时往往会造成人员遇险失踪，但是水域的不确定性，水文条件的复杂性会造成附近水域的水体浑浊、能见度差等问题，水下摄像机难以进行远距离搜寻工作，普通的水下光视觉已经不再适用于紧急的救援情况。因此，为了保证遇险人员的生命安全，就必须掌握对失踪者的探测和识别的技术。
水下机器人作为一种重要的探测工具，在完成危险恶劣的水下环境搜救任务中通常能够代替人类扮演着重要角色，一般搜救任务可以分为两个阶段，分别是海面搜救阶段和水底搜救阶段，第一阶段主要是确定遇难人员的位置，根据飞机、雷达以及卫星信息等尽可能精确地确定小的范围或者方向；第二阶段实施救援。但如果海面没有发现救捞对象，则需要利用水下机器人检测设备进行全覆盖扫描，根据扫描结果确定可疑位置，然后再进一步利用水下机器人搭载探测设备进行定位识别。本发明提出了一种水下机器人对失踪者的搜寻和定位方法，能够在浑浊、低能见度的环境下实现对落水失踪者位置的探测。
发明内容
本发明的目的是为了提供一种水下机器人对失踪者的搜寻和定位系统及方法，具有无缆作业模式和带缆作业模式，可以在两者之间进行切换，无缆作业模式进行快速航行，自主拍摄并预测可能位置，将探测结果存储在硬盘中，带缆作业模式可以通过光纤在母船上实时人机协同排查探测结果。此外，水下机器人的探测分段可以模块化搭载不同的声纳载荷，来适应不同的任务需要。该系统通过水下多种探测设备以及人机协同的同步探测，可获得水下环境、水底地形、遇险人员位置等多种探测结果，进而为人民的生命安全提供保障。
本发明的目的是这样实现的：水下机器人本体14上搭载有水下高清网络摄像机1、2、水下可调节LED灯3、4、侧扫声纳5及其处理系统控制舱、光端机6、主控计算机7、网络交换机8、深度计11、图像处理嵌入式计算机12、声速剖面仪13、DVL18、罗经19，惯导 20和GPS21；水下机器人内还设置有由遇险人员主/被动释放的水溶性化学试剂盒17，在水下机器人本体14中部设置有模块化搭载舱段，模块化搭载舱段可搭载多波束声纳9及其处理系统控制舱或合成孔径声纳10及其处理系统控制舱；水下机器人内还搭载检测失踪者目标释放化学物质的水下嗅觉传感器17；水下机器人搜寻和定位作业包括无缆作业和有缆作业两种模式。
本发明还包括这样一些结构特征：
1.水下高清网络摄像机安装在水下机器人本体14艏部斜下方，对灾害区域水下环境进行拍摄，用于近距离观测灾害区域水下复杂恶劣的环境状况；水下可调节LED灯提供辅助灯光；侧扫声纳5及其处理系统控制舱对失踪者和其他水下目标进行搜寻；多波束声纳9及其处理系统控制舱可发射多波束声脉冲，以获得水底三维地形数据；合成孔径声纳10及其处理系统控制舱获得分辨率比侧扫声纳5及其处理系统控制舱更高的二维图像以提供精细探测数据；图像处理嵌入式计算机12实时处理侧扫声纳5及其处理系统控制舱获取的声纳图像，根据已训练的深度模型判断识别失踪者目标，将置信率高的疑似目标位置记录下来；网络交换机8 为子网络中提供更多的连接端口，以连接两个水下高清网络摄像机1、2、侧扫声纳5及其处理系统控制舱及其处理系统控制舱、光端机6、主控计算机7、多波束声纳9及其处理系统控制舱或合成孔径声纳10及其处理系统控制舱、图像处理嵌入式计算机12和声速剖面仪13；声速剖面仪13测量当前环境水下分层声速，实时修正声纳探测测量的水下声速数据；深度计 11、DVL18、罗经19和惯导20用于进行水下机器人水下无GPS信号下的推位导航；GPS21 用于水下机器人水面航行时的位置校正。
2.水下机器人所搭载的水下嗅觉传感器17，通过检测追踪失踪者释放水中的化学试剂，溯源化学试剂产生的羽状流源头，以定位失踪者位置。
3.无缆作业时：水下机器人采取自主探测模式，通过所装备的侧扫声纳5及其处理系统控制舱在灾害区域内进行大范围搜索作业，在图像处理嵌入式计算机12内，利用轻量化深度学习神经网络对获得的声纳图像实时分析处理，以不同的置信度标记疑似失踪者目位置，同时结合推位导航获得水下机器人位置计算获得疑似失踪者位置并记录下来，待水下机器人回收后上传数据，获得不同置信率的疑似失踪者水下位置信息。
带缆作业时：在带缆作业保证实时通信的条件下，按疑似失踪者目标置信度由高到低，分别在各疑似区域内进行精细搜寻，通过母船16上的光端机15与水下机器人本体上的光端机6相连实时上传水下高清网络摄像机1、2视频流信息和侧扫声纳5及其处理系统控制舱获取的声学图像，在母船16通过人机协同判断进行精细化失踪者搜寻作业。
4.无缆作业步骤如下：
步骤一：将水下机器人释放入水，下潜之前利用GPS21校准位置并记录初始位置；
步骤二：主控计算机7发送上电指令给图像处理嵌入式计算机12，同时主控计算机7发送上电指令给侧扫声纳5及其处理系统控制舱和多波束声纳9及其处理系统控制舱通电；
步骤三：水下机器人在指定作业区域沿着规划路径进行大范围梳状扫描，利用侧扫声纳 5及其处理系统控制舱对灾害区域水下环境进行探测，获得水下声纳图像，多波束声纳9及其处理系统控制舱向水底方向发射多波束获取三维地形数据，以生成探测区域内的三维地形，选择搭载合成孔径声纳10及其处理系统获得精度更高的水下二维图像；
步骤四：侧扫声纳5及其处理系统控制舱将采集到的声学图像信息通过网络接口上传给图像处理嵌入式计算机12，根据已经训练好的轻量化深度学习神经网络模型，对声纳图像进行实时检测，获得疑似失踪者声纳中失踪者的目标和置信度；利用深度计11、DVL18、罗经 19和惯导20进行推位导航计算获得水下机器人位置，以此计算疑似失踪者目标的实际位置，并将疑似失踪者的置信率和位置信息记录在图像处理嵌入式计算机12的硬盘中；利用搭载的多波束声纳9获得水下三维地形数据，在生成的三维地形图中标记疑似失踪者的位置，并获得疑似失踪者的深度信息。
步骤五：任务结束，对水下机器人进行回收，上传各传感器的探测结果；
带缆作业步骤如下：
步骤一：水下机器人在置信度高的疑似失踪者所在区域释放入水，水下机器人在水面航行，在GPS21引导下航行到各疑似失踪者区域，并按脱缆作业下获得失踪者目标探测置信率由高到低航行到每个失踪者疑似区域；
步骤二：主控计算机7发送上电指令给图像处理嵌入式计算机12，图像处理嵌入式计算机12接收到上电指令后，给两个水下高清网络摄像机1、2和两个水下可调节LED照明灯3 和4通电；同时主控计算机7发送上电指令给侧扫声纳5及其处理系统控制舱及其处理系统控制舱和多波束声纳9或合成孔径声纳10及其处理系统控制舱通电；
步骤三：水下机器人在标定的疑似失踪者区域内，在不同水深层面上，分别沿着规划路径进行梳状扫描，利用侧扫声纳5及其处理系统控制舱对灾害区域水下环境进行探测收集声学图像，同时水下高清网络摄像机1、2对灾害区域水下环境进行拍摄，利用多波束声纳9及其处理系统控制舱向水底方向发射多波束获取水底三维地形数据；
步骤四：侧扫声纳5及其处理系统控制舱对灾害区域水下环境进行探测收集的声学图像和水下高清网络摄像机1、2收集的视频流通过光端机及光纤上传给母船16的监控计算机，在母船16监控计算机上实时获取受灾害区域水下声学图像和光学图像，母船16上的操作人员利用远程登陆对水下机器人进行实时的人机协同探测作业，直至发现并确认水下失踪者目标；
步骤五：任务结束，对水下机器人进行回收。
5.探测识别采用轻量化深度学习方法，通过对传统深度学习网络结构通过参数修剪、权值共享、矩阵分解进行轻量化处理；模型训练数据集通过水池、河流、海洋三种环境下5m-100m 不同探测距离的实际人体和人体模型利用侧扫声纳获取图像并通过人工标注生成数据集，人体模型声学反射特性需与人体一致；在水下失踪者侧扫声纳图像增强方面，利用一种由卷积子网和逆卷积子网组成的卷积神经网络框架，利用卷积层在声纳图像中学习侧扫声纳噪声特征，有效细化卷积层特征映射的细节，滤除声纳图像中的噪声信息，实现声纳图像增强；同时通过构建超分辨率重建网络重建失踪者目标图像进行搜索定位，解决失踪者目标小、分辨率低的问题。
与现有技术相比，本发明的有益效果是：本发明的水下机器人对失踪者的搜寻和定位方法，使用无缆作业和带缆作业两种作业模式，充分利用水下机器人的优势，能够大范围，快速，灵活，准确，高效的完成任务，提高救援效率。本发明提出的探测识别采用轻量化深度学习方法，通过对传统深度学习网络结构进行轻量化处理，提前对模型通过人工标注生成数据集进行训练，在无缆作业过程中就可以对可疑区域进行识别标记。本发明利用一种由卷积子网和逆卷积子网组成的卷积神经网络框架，学习侧扫声纳噪声特征，有效细化卷积层特征映射的细节，滤除声纳图像中的噪声信息，实现声纳图像增强；同时通过构建超分辨率重建网络重建失踪者目标图像进行搜索定位，解决失踪者目标小、分辨率低的问题。本发明提出一种遇险人员佩戴能够在水中释放特殊化学试剂产生羽状流的特定水溶性试剂盒，配合水下机器人的搜救任务，从单方面救援变为互动式救援行动，进一步提高搜救效率。
附图说明
图1为水下机器人示意图。
图2为水下机器人对失踪者的搜寻无缆作业模式流程图。
图3为水下机器人对失踪者的搜寻带缆作业模式流程图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
如图1所示，一种适用于水下机器人在海洋、湖泊、河流等灾害区域的水下机器人对失踪者的搜寻和定位方法，其特征是：水下机器人本体14上搭载水下高清网络摄像机1和2、水下可调节LED灯3和4、侧扫声纳5及其处理系统控制舱、光端机6、主控计算机7、网络交换机8、深度计11、图像处理嵌入式计算机12、声速剖面仪13、水下嗅觉传感器17、 DVL18、罗经19、惯导20和GPS21。水下机器人本体14的斜下方安装水下高清网络摄像机 1和2，对灾害区域水下环境进行拍摄，用于近距离观测灾害区域水下复杂恶劣的环境状况，水下可调节LED灯3和4提供辅助灯光。侧扫声纳5及其处理系统控制舱对失踪者和其他水下目标进行搜寻。所述模块化搭载舱段安装在水下机器人本体14中部，可选择搭载多波束声纳9及其处理系统控制舱或合成孔径声纳10及其处理系统控制舱。多波束声纳9及其处理系统控制舱可发射多波束声脉冲，以获得水底三维地形数据，合成孔径声纳10及其处理系统控制舱获得分辨率比侧扫声纳5及其处理系统控制舱更高的二维图像以提供精细探测数据。图像处理嵌入式计算机12实时处理侧扫声纳5及其处理系统控制舱获取的声纳图像，根据已经训练好的深度模型判断识别失踪者目标，将置信率高的目标位置作为可疑区域记录下来。网络交换机8能够扩大网络，为子网络中提供更多的连接端口，以连接两个水下高清网络摄像机1和2、侧扫声纳5及其处理系统控制舱及其处理系统控制舱、光端机6、主控计算机7、多波束声纳9及其处理系统控制舱、合成孔径声纳10及其处理系统控制舱、图像处理嵌入式计算机12和声速剖面仪13。声速剖面仪13测量当前环境水下分层声速，实时修正声纳探测测量的水下声速数据。深度计11，DVL18，罗经19和惯导20用于进行水下机器人水下无 GPS信号下的推位导航，GPS21用于水下机器人水面航行时的位置校正。本发明提出的水下机器人探测系统共有两种工作模式：第一，无缆作业模式：水下机器人采取自主探测模式，通过所装备的侧扫声纳5及其处理系统控制舱在灾害区域内进行大范围搜索作业，在图像处理嵌入式计算机12内，利用轻量化深度学习神经网络对获得的声纳图像实时分析处理，标记出置信度高的失踪者位置，并将疑似区域记录下来，待水下机器人回收后取出做进一步处理。第二，带缆作业模式：在带缆作业保证实时通信的条件下，按置信度由高到低，在无缆作业模式下所获得的各疑似区域内进行搜寻，通过母船16上的光端机15与水下机器人上的光端机6之间的连接实时上传水下高清网络摄像机1和2视频流信息和侧扫声纳5及其处理系统控制舱获取的声学图像，在母船16通过人机协同进行精细化失踪者搜寻作业。水下机器人内还搭载检测失踪者目标释放化学物质的水下嗅觉传感器17。本发明提出的水下机器人对失踪者的搜索和定位方法运用的是一种高效、多方法配合的探测手段，能够在恶劣复杂的水体状况下，对水下情况进行探测，通过区域排查，人机协同，化学试剂嗅探追踪等手段，对水下失踪者进行及时定位，为进一步施救奠定基础。
所述水下机器人对失踪者的探测系统一共有两种工作模式：一种无缆作业模式：水下机器人采取自主探测模式，下潜之前利用GPS21校准位置并记录初始位置。主控计算机7发送上电指令给图像处理嵌入式计算机12，同时主控计算机7发送上电指令给侧扫声纳5及其处理系统控制舱及其处理系统控制舱和多波束声纳9及其处理系统控制舱通电。水下机器人在指定作业区域沿着规划路径进行大范围梳状扫描，利用侧扫声纳5及其处理系统控制舱对灾害区域水下环境进行探测，获得水下声纳图像，多波束声纳9及其处理系统控制舱向水底方向发射多波束获取三维地形数据，以生成探测区域内的三维地形，选择搭载合成孔径声纳10 及其处理系统获得精度更高的水下二维图像。侧扫声纳5及其处理系统控制舱将采集到的声学图像信息通过网络接口上传给图像处理嵌入式计算机12，根据已经训练好的轻量化深度学习神经网络模型，对声纳图像进行实时检测，获得疑似失踪者声纳中失踪者的目标和置信度。利用深度计11，DVL18，罗经19和惯导20进行推位导航计算获得水下机器人位置，由此计算出声纳图像中疑似失踪者目标的位置，并疑似失踪者的置信率和位置信息记录在硬盘12 中。搭载的多波束声纳9或合成孔径声纳10的声学数据储存在硬盘12中。对水下机器人进行回收，回收后上传各传感器的探测结果，在生成的三维地形图中标记疑似失踪者的位置，并获得疑似失踪者的深度信息。另一种是带缆作业模式：将水下机器人在置信度高的疑似失踪者所在区域释放入水，在GPS21引导下航行到各疑似失踪者区域，并按脱缆作业下获得失踪者目标探测置信率由高到低航行到每个失踪者疑似区域。主控计算机7发送上电指令给图像处理嵌入式计算机12，图像处理嵌入式计算机12接收到上电指令后，给两个水下高清网络摄像机1和2和两个水下可调节LED照明灯3和4通电。同时主控计算机7发送上电指令给侧扫声纳5及其处理系统控制舱及其处理系统控制舱和多波束声纳9或合成孔径声纳10及其处理系统控制舱通电。水下机器人在标定的疑似失踪者区域内，沿不同水深分层在不同水深层面上分别沿着规划路径进行梳状扫描。利用侧扫声纳5及其处理系统控制舱对灾害区域水下环境进行探测收集声学图像，同时水下高清网络摄像机1和2对灾害区域水下环境进行拍摄，利用多波束声纳9及其处理系统控制舱向水底方向发射多波束获取水底三维地形数据。侧扫声纳5及其处理系统控制舱对灾害区域水下环境进行探测收集的声学图像和水下高清网络摄像机1和2收集的视频流通过光端机及光纤上传给母船16的监控计算机。在母船16监控计算机上实时获取受灾害区域水下声学图像和光学图像。母船16上的操作人员利用远程登陆对水下机器人进行实时的人机协同探测作业，任务结束后对水下机器人进行回收。
如图2所示，水下机器人对失踪者的探测系统的无缆作业模式工作过程如下：
步骤一：将水下机器人释放入水，下潜之前利用GPS21校准位置并记录初始位置。
步骤二：主控计算机7发送上电指令给图像处理嵌入式计算机12，同时主控计算机7发送上电指令给侧扫声纳5及其处理系统控制舱和多波束声纳9及其处理系统控制舱通电。
步骤三：水下机器人在指定作业区域沿着规划路径进行大范围梳状扫描，利用侧扫声纳 5及其处理系统控制舱对灾害区域水下环境进行探测，获得水下声纳图像，多波束声纳9及其处理系统控制舱向水底方向发射多波束获取三维地形数据，以生成探测区域内的三维地形，选择搭载合成孔径声纳10及其处理系统获得精度更高的水下二维图像。
步骤四：侧扫声纳5及其处理系统控制舱将采集到的声学图像信息通过网络接口上传给图像处理嵌入式计算机12，根据已经训练好的轻量化深度学习神经网络模型，对声纳图像进行实时检测，获得疑似失踪者声纳中失踪者的目标和置信度。利用深度计11，DVL18，罗经 19和惯导20进行推位导航计算获得水下机器人位置，由此计算出声纳图像中疑似失踪者目标的位置，并疑似失踪者的置信率和位置信息记录在硬盘12中。搭载的多波束声纳9或合成孔径声纳10的声学数据储存在硬盘12中。
步骤五：任务结束，对水下机器人进行回收，上传各传感器的探测结果，在生成的三维地形图中标记疑似失踪者的位置，并获得疑似失踪者的深度信息。
如图3所示，水下机器人对失踪者的探测系统的带缆作业模式工作过程如下：
步骤一：水下机器人在置信度高的疑似失踪者所在区域释放入水，水下机器人在水面航行，在GPS21引导下航行到各疑似失踪者区域，并按脱缆作业下获得失踪者目标探测置信率由高到低航行到每个失踪者疑似区域。
步骤二：主控计算机7发送上电指令给图像处理嵌入式计算机12，图像处理嵌入式计算机12接收到上电指令后，给两个水下高清网络摄像机1和2和两个水下可调节LED照明灯 3和4通电。同时主控计算机7发送上电指令给侧扫声纳5及其处理系统控制舱及其处理系统控制舱和多波束声纳9或合成孔径声纳10及其处理系统控制舱通电。
步骤三：水下机器人在标定的疑似失踪者区域内，沿不同水深分层在不同水深层面上分别沿着规划路径进行梳状扫描。利用侧扫声纳5及其处理系统控制舱对灾害区域水下环境进行探测收集声学图像，同时水下高清网络摄像机1和2对灾害区域水下环境进行拍摄，利用多波束声纳9及其处理系统控制舱向水底方向发射多波束获取水底三维地形数据。
步骤四：侧扫声纳5及其处理系统控制舱对灾害区域水下环境进行探测收集的声学图像和水下高清网络摄像机1和2收集的视频流通过光端机及光纤上传给母船16的监控计算机。在母船16监控计算机上实时获取受灾害区域水下声学图像和光学图像。母船16上的操作人员利用远程登陆对水下机器人进行实时的人机协同探测作业。
步骤五：任务结束，对水下机器人进行回收。
上述的水下机器人对失踪者的搜寻和定位时探测识别采用轻量化深度学习方法，通过对传统深度学习网络结构通过参数修剪、权值共享、矩阵分解进行轻量化处理。模型训练数据集通过水池、河流、海洋三种环境下5m-100m不同探测距离的实际人体和人体模型利用侧扫声纳获取图像并通过人工标注生成数据集，人体模型声学反射特性需与人体一致。在水下失踪者侧扫声纳图像增强方面，利用一种由卷积子网和逆卷积子网组成的卷积神经网络框架，利用卷积层在声纳图像中学习侧扫声纳噪声特征，有效细化卷积层特征映射的细节，滤除声纳图像中的噪声信息，实现声纳图像增强；同时通过构建超分辨率重建网络重建失踪者目标图像进行搜索定位，解决失踪者目标小、分辨率低的问题。
上述的水下机器人带缆作业模式搜寻的疑似区域，定义为以无缆作业模式下所获得疑似失踪者坐标点为中心的半径为1000m的圆形区域。
上述探测系统所搭载的水下嗅觉传感器17，通过检测追踪失踪者释放水中的化学试剂，溯源化学试剂产生的羽状流源头，以定位失踪者位置。
本发明的水下机器人对失踪者的探测系统通过无缆作业在大范围内快速搜索灾害区域，利用轻量化深度学习神经网络进行失踪者在线识别，在第一次搜索的同时标记置信度高的位置作为失踪者区域，大大节省救援时间；在带缆作业时通过光端机连接母船保证实时通信，在所标记并排查后的可疑区域内进行人机协同作业，配合检测遇险人员装备的特定水溶性化学试剂盒产生的羽状流，利用一种由卷积子网和逆卷积子网组成的卷积神经网络框架，利用卷积层在声纳图像中学习侧扫声纳噪声特征，有效细化卷积层特征映射的细节，滤除声纳图像中的噪声信息，实现声纳图像增强；同时通过构建超分辨率重建网络重建失踪者目标图像进行搜索定位，解决失踪者目标小、分辨率低的问题。利用水下声光传感器精确定位失踪者目标所在坐标和周围环境情况，为进一步制定施救计划奠定基础。
综上，本发明涉及水下探测救援领域，是一种适用于水下机器人在海洋、湖泊、河流等灾害区域对失踪者进行搜寻和定位的方法。包括水下高清网络摄像机、水下可调节LED灯、侧扫声纳及其处理系统控制舱、光端机、主控计算机、网络交换机、深度计、图像处理嵌入式计算机，声速剖面仪，DVL，罗经，惯导和GPS。水下机器人安装水下高清网络摄像机对灾害区域水下环境进行拍摄，用于近距离观测灾害区域水下复杂恶劣的环境状况，水下可调节LED灯提供辅助灯光。本发明提出的水下机器人搜寻和定位系统共有两种工作模式：第一，无缆作业模式：水下机器人采取大范围自主探测，通过所装备的侧扫声纳及其处理系统控制舱在灾害区域内进行大范围搜索作业，在图像处理嵌入式计算机内，利用轻量化深度学习神经网络模型对侧扫声纳及其处理系统控制舱获取的声纳图像实时探测与识别，以不同的置信度标记疑似失踪者目位置，同时结合推位导航获得水下机器人位置计算获得疑似失踪者位置并记录下来，待水下机器人回收后上传数据。第二，带缆作业模式：在带缆作业保证实时通信的条件下，按疑似失踪者目标置信度由高到低，在已获得的各疑似区域内进行搜寻，通过光端机实时上传水下高清网络摄像机的视频流信息和侧扫声纳及其处理系统控制舱获取的声学图像，在母船通过人机协同进行精细化搜寻失和定位失踪者。本发明提出的水下机器人对失踪者的搜寻和定位方法运用的是一种高效、多方法配合的探测手段，能够在恶劣复杂的水体状况下，对水下情况进行探测，通过区域排查，人机协同，化学试剂嗅探追踪等手段，对遇险人员进行及时定位，为进一步施救奠定基础。
Claims (6)
1.一种水下机器人对失踪者的搜寻和定位系统，其特征在于：水下机器人本体(14)上搭载有水下高清网络摄像机(1、2)、水下可调节LED灯(3、4)、侧扫声纳(5)及其处理系统控制舱、光端机(6)、主控计算机(7)、网络交换机(8)、深度计(11)、图像处理嵌入式计算机(12)、声速剖面仪(13)、DVL(18)、罗经(19)，惯导(20)和GPS(21)；水下机器人内还搭载检测失踪者目标释放化学物质的水下嗅觉传感器(17)，在水下机器人本体(14)中部设置有模块化搭载舱段，模块化搭载舱段可搭载多波束声纳(9)及其处理系统控制舱或合成孔径声纳(10)及其处理系统控制舱；水下机器人搜寻和定位作业包括无缆作业和有缆作业两种模式。
2.根据权利要求1所述的一种水下机器人对失踪者的搜寻和定位系统，其特征在于：水下高清网络摄像机安装在在水下机器人本体(14)艏部斜下方，对灾害区域水下环境进行拍摄，用于近距离观测灾害区域水下复杂恶劣的环境状况；水下可调节LED灯提供辅助灯光；侧扫声纳(5)及其处理系统控制舱对失踪者和其他水下目标进行搜寻；多波束声纳(9)及其处理系统控制舱可发射多波束声脉冲，以获得水底三维地形数据；合成孔径声纳(10)及其处理系统控制舱获得分辨率比侧扫声纳(5)更高的二维图像以提供精细探测数据；图像处理嵌入式计算机(12)实时处理侧扫声纳(5)及其处理系统控制舱获取的声纳图像，根据已训练的深度模型判断识别失踪者目标，将置信率高的疑似目标位置记录下来；网络交换机(8)为子网络中提供更多的连接端口，以连接两个水下高清网络摄像机(1、2)、侧扫声纳(5)及其处理系统控制舱及其处理系统控制舱、光端机(6)、主控计算机(7)、多波束声纳(9)及其处理系统控制舱或合成孔径声纳(10)及其处理系统控制舱、图像处理嵌入式计算机(12)和声速剖面仪(13)；声速剖面仪(13)测量当前环境水下分层声速，实时修正声纳探测测量的水下声速数据；深度计(11)、DVL(18)、罗经(19)和惯导(20)用于进行水下机器人水下无GPS信号下的推位导航；GPS(21)用于水下机器人水面航行时的位置校正。
3.根据权利要求1或2所述的一种水下机器人对失踪者的搜寻和定位系统，其特征在于：水下机器人所搭载的水下嗅觉传感器(17)，通过检测追踪失踪者释放水中的化学试剂，溯源化学试剂产生的羽状流源头，以追踪和定位失踪者位置。
4.根据权利要求1或2所述的一种水下机器人对失踪者的搜寻和定位系统，其特征在于：无缆作业时：水下机器人采取自主探测模式，通过所装备的侧扫声纳(5)及其处理系统控制舱在灾害区域内进行大范围搜索作业，在图像处理嵌入式计算机(12)内，利用轻量化深度学习神经网络对获得的声纳图像实时分析处理，以不同的置信度标记疑似失踪者目位置，同时结合推位导航获得水下机器人位置计算获得疑似失踪者位置并记录下来，待水下机器人回收后上传数据，获得不同置信率的疑似失踪者水下位置信息；
带缆作业时：在带缆作业保证实时通信的条件下，按疑似失踪者目标置信度由高到低，分别在各疑似区域内进行精细搜寻，通过母船(16)上的光端机(15)与水下机器人本体上的光端机(6)相连实时上传水下高清网络摄像机(1、2)视频流信息和侧扫声纳(5)及其处理系统控制舱获取的声学图像，在母船(16)通过人机协同判断进行精细化失踪者搜寻作业。
5.一种应用权利要求4所述的一种水下机器人对失踪者的搜寻和定位系统的搜寻和定位方法，其特征在于：
无缆作业步骤如下：
步骤一：将水下机器人释放入水，下潜之前利用GPS(21)校准位置并记录初始位置；
步骤二：主控计算机(7)发送上电指令给图像处理嵌入式计算机(12)，同时主控计算机(7)发送上电指令给侧扫声纳(5)及其处理系统控制舱和多波束声纳(9)及其处理系统控制舱通电；
步骤三：水下机器人在指定作业区域沿着规划路径进行大范围梳状扫描，利用侧扫声纳(5)及其处理系统控制舱对灾害区域水下环境进行探测，获得水下声纳图像，多波束声纳(9)及其处理系统控制舱向水底方向发射多波束获取三维地形数据，以生成探测区域内的三维地形，选择搭载合成孔径声纳(10)及其处理系统获得精度更高的水下二维图像；
步骤四：侧扫声纳(5)及其处理系统控制舱将采集到的声学图像信息通过网络接口上传给图像处理嵌入式计算机(12)，根据已经训练好的轻量化深度学习神经网络模型，对声纳图像进行实时检测，获得疑似失踪者声纳中失踪者的目标和置信度；利用深度计(11)、DVL(18)、罗经(19)和惯导(20)进行推位导航计算获得水下机器人位置，以此计算疑似失踪者目标的实际位置，并将疑似失踪者的置信率和位置信息记录在图像处理嵌入式计算机(12)的硬盘中；利用搭载的多波束声纳(9)获得水下三维地形数据，在生成的三维地形图中标记疑似失踪者的位置，并获得疑似失踪者的深度信息；
步骤五：任务结束，对水下机器人进行回收，上传各传感器的探测结果；
带缆作业步骤如下：
步骤一：水下机器人在置信度高的疑似失踪者所在区域释放入水，水下机器人在水面航行，在GPS(21)引导下航行到各疑似失踪者区域，并按脱缆作业下获得失踪者目标探测置信率由高到低航行到每个失踪者疑似区域；
步骤二：主控计算机(7)发送上电指令给图像处理嵌入式计算机(12)，图像处理嵌入式计算机(12)接收到上电指令后，给两个水下高清网络摄像机(1、2)和两个水下可调节LED照明灯(3)和(4)通电；同时主控计算机(7)发送上电指令给侧扫声纳(5)及其处理系统控制舱及其处理系统控制舱和多波束声纳(9)或合成孔径声纳(10)及其处理系统控制舱通电；
步骤三：水下机器人在标定的疑似失踪者区域内，在不同水深层面上，分别沿着规划路径进行梳状扫描，利用侧扫声纳(5)及其处理系统控制舱对灾害区域水下环境进行探测收集声学图像，同时水下高清网络摄像机(1、2)对灾害区域水下环境进行拍摄，利用多波束声纳(9)及其处理系统控制舱向水底方向发射多波束获取水底三维地形数据；
步骤四：侧扫声纳(5)及其处理系统控制舱对灾害区域水下环境进行探测收集的声学图像和水下高清网络摄像机(1、2)收集的视频流通过光端机及光纤上传给母船(16)的监控计算机，在母船(16)监控计算机上实时获取受灾害区域水下声学图像和光学图像，母船(16)上的操作人员利用远程登陆对水下机器人进行实时的人机协同探测作业，直至发现并确认水下失踪者目标；
步骤五：任务结束，对水下机器人进行回收。
6.根据权利要求5所述的一种水下机器人对失踪者的搜寻和定位方法，其特征在于：探测识别采用轻量化深度学习方法，通过对传统深度学习网络结构通过参数修剪、权值共享、矩阵分解进行轻量化处理；模型训练数据集通过水池、河流、海洋三种环境下5m-100m不同探测距离的实际人体和人体模型利用侧扫声纳获取图像并通过人工标注生成数据集，人体模型声学反射特性需与人体一致；在水下失踪者侧扫声纳图像增强方面，利用一种由卷积子网和逆卷积子网组成的卷积神经网络框架，利用卷积层在声纳图像中学习侧扫声纳噪声特征，有效细化卷积层特征映射的细节，滤除声纳图像中的噪声信息，实现声纳图像增强；同时通过构建超分辨率重建网络重建失踪者目标图像进行搜索定位，解决失踪者目标小、分辨率低的问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010384058.6A CN111638523A (zh) | 2020-05-08 | 2020-05-08 | 一种水下机器人对失踪者的搜寻和定位系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010384058.6A CN111638523A (zh) | 2020-05-08 | 2020-05-08 | 一种水下机器人对失踪者的搜寻和定位系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111638523A true CN111638523A (zh) | 2020-09-08 |
Family
ID=72333176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010384058.6A Pending CN111638523A (zh) | 2020-05-08 | 2020-05-08 | 一种水下机器人对失踪者的搜寻和定位系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111638523A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418181A (zh) * | 2020-12-13 | 2021-02-26 | 西北工业大学 | 一种基于卷积神经网络的人员落水检测方法 |
| CN113074725A (zh) * | 2021-05-11 | 2021-07-06 | 哈尔滨工程大学 | 一种基于多源信息融合的小型水下多机器人协同定位方法及系统 |
| CN113163274A (zh) * | 2021-06-24 | 2021-07-23 | 深之蓝(天津)水下智能科技有限公司 | 一种水下机器人通信系统 |
| CN113252028A (zh) * | 2021-06-28 | 2021-08-13 | 深之蓝海洋科技股份有限公司 | 输水隧洞内机器人的定位方法、电子设备及存储介质 |
| CN113741489A (zh) * | 2021-07-30 | 2021-12-03 | 中南安全环境技术研究院股份有限公司 | 一种用于排污口溯源的水下机器人及搜寻定位方法 |
| CN114283327A (zh) * | 2021-12-24 | 2022-04-05 | 杭州电子科技大学 | 一种基于水下搜寻机器人的目标搜寻与抵近方法 |
| CN114779801A (zh) * | 2021-01-22 | 2022-07-22 | 中国科学院沈阳自动化研究所 | 一种面向目标探测的自主遥控水下机器人路径规划方法 |
| CN117423137A (zh) * | 2023-12-18 | 2024-01-19 | 广东省安全生产科学技术研究院 | 一种基于水域的救援方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160059418A1 (en) * | 2014-08-27 | 2016-03-03 | Honda Motor Co., Ltd. | Autonomous action robot, and control method for autonomous action robot |
| CN108492323A (zh) * | 2018-01-18 | 2018-09-04 | 天津大学 | 融合机器视觉与听觉的水下运动物体检测与识别方法 |
| CN110261932A (zh) * | 2019-06-10 | 2019-09-20 | 哈尔滨工程大学 | 一种极地auv声光探测系统 |
| CN110781924A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 |
-
2020
- 2020-05-08 CN CN202010384058.6A patent/CN111638523A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160059418A1 (en) * | 2014-08-27 | 2016-03-03 | Honda Motor Co., Ltd. | Autonomous action robot, and control method for autonomous action robot |
| CN108492323A (zh) * | 2018-01-18 | 2018-09-04 | 天津大学 | 融合机器视觉与听觉的水下运动物体检测与识别方法 |
| CN110261932A (zh) * | 2019-06-10 | 2019-09-20 | 哈尔滨工程大学 | 一种极地auv声光探测系统 |
| CN110781924A (zh) * | 2019-09-29 | 2020-02-11 | 哈尔滨工程大学 | 一种基于全卷积神经网络的侧扫声纳图像特征提取方法 |
Non-Patent Citations (3)
| Title |
|---|
| 邓薇;韩端锋;纠海峰;: "基于嗅觉的水下机器人化学羽状物追踪定位方法" * |
| 顾临怡 等: "基于ROV 等载体的水下搜救流程综述" * |
| 顾临怡;宋琦;殷宏伟;贾杰;: "基于ROV等载体的水下搜救流程综述" * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418181A (zh) * | 2020-12-13 | 2021-02-26 | 西北工业大学 | 一种基于卷积神经网络的人员落水检测方法 |
| CN112418181B (zh) * | 2020-12-13 | 2023-05-02 | 西北工业大学 | 一种基于卷积神经网络的人员落水检测方法 |
| CN114779801B (zh) * | 2021-01-22 | 2024-05-31 | 中国科学院沈阳自动化研究所 | 一种面向目标探测的自主遥控水下机器人路径规划方法 |
| CN114779801A (zh) * | 2021-01-22 | 2022-07-22 | 中国科学院沈阳自动化研究所 | 一种面向目标探测的自主遥控水下机器人路径规划方法 |
| CN113074725B (zh) * | 2021-05-11 | 2022-07-22 | 哈尔滨工程大学 | 一种基于多源信息融合的小型水下多机器人协同定位方法及系统 |
| CN113074725A (zh) * | 2021-05-11 | 2021-07-06 | 哈尔滨工程大学 | 一种基于多源信息融合的小型水下多机器人协同定位方法及系统 |
| CN113163274A (zh) * | 2021-06-24 | 2021-07-23 | 深之蓝(天津)水下智能科技有限公司 | 一种水下机器人通信系统 |
| CN113252028A (zh) * | 2021-06-28 | 2021-08-13 | 深之蓝海洋科技股份有限公司 | 输水隧洞内机器人的定位方法、电子设备及存储介质 |
| CN113252028B (zh) * | 2021-06-28 | 2021-09-21 | 深之蓝海洋科技股份有限公司 | 输水隧洞内机器人的定位方法、电子设备及存储介质 |
| CN113741489A (zh) * | 2021-07-30 | 2021-12-03 | 中南安全环境技术研究院股份有限公司 | 一种用于排污口溯源的水下机器人及搜寻定位方法 |
| CN114283327A (zh) * | 2021-12-24 | 2022-04-05 | 杭州电子科技大学 | 一种基于水下搜寻机器人的目标搜寻与抵近方法 |
| CN114283327B (zh) * | 2021-12-24 | 2024-04-05 | 杭州电子科技大学 | 一种基于水下搜寻机器人的目标搜寻与抵近方法 |
| CN117423137A (zh) * | 2023-12-18 | 2024-01-19 | 广东省安全生产科学技术研究院 | 一种基于水域的救援方法、装置、设备及存储介质 |
| CN117423137B (zh) * | 2023-12-18 | 2024-03-22 | 广东省安全生产科学技术研究院 | 一种基于水域的救援方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111638523A (zh) | 一种水下机器人对失踪者的搜寻和定位系统及方法 | |
| Wu et al. | Survey of underwater robot positioning navigation | |
| Kondo et al. | Navigation of an AUV for investigation of underwater structures | |
| CN108045531A (zh) | 用于海底电缆巡检的水下机器人控制系统及方法 | |
| CN104215988A (zh) | 一种水下目标定位方法 | |
| CN109515086A (zh) | 海洋探测机器人及其作业方法 | |
| CN107231181A (zh) | 一种跨介质通信的海空协同监测系统及其使用方法 | |
| CN112644646A (zh) | 大水域鱼类资源调查的水下机器人智能系统及工作方法 | |
| CN104267643A (zh) | 水下机器人目标定位识别系统 | |
| CN112146654B (zh) | 基于关键约束帧的前视成像声呐水下定位与导航方法 | |
| CN105184816A (zh) | 基于usv的视觉检测和水面目标追踪系统及其检测追踪方法 | |
| CN102306025A (zh) | 无线遥控的自动采样监测船 | |
| Silva et al. | C. Almeida | |
| CN109631857B (zh) | 一种多无人艇联合岛礁测绘系统和方法 | |
| CN108303508A (zh) | 基于激光雷达和深度学习路径寻优的生态预警系统及方法 | |
| KR20210007767A (ko) | 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템 | |
| Sheikh et al. | Challenges and opportunities for underwater sensor networks | |
| CN112644647A (zh) | 采用海上流动实验室系统对深渊进行考察作业的方法 | |
| CN103090861B (zh) | 水下机器人的多线地形匹配导航方法 | |
| CN115019412A (zh) | 一种基于多传感器的水下auv海缆巡检系统及方法 | |
| CN202120123U (zh) | 无线遥控的自动采样监测船 | |
| CN108287538A (zh) | 一种基于rtk技术无人驾驶船系统 | |
| CN111703559B (zh) | 一种搜寻水下失踪者的rov探测系统及探测方法 | |
| CN215643053U (zh) | 一种基于水下潜摄设备的滑坡安全监测装置 | |
| CN115167485A (zh) | 一种自主水下航行器和载人潜水器的协同作业系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200908 |
|
| WD01 | Invention patent application deemed withdrawn after publication |