CN110954965A - 一种多rov系统及浅水珊瑚探测方法 - Google Patents

一种多rov系统及浅水珊瑚探测方法 Download PDF

Info

Publication number
CN110954965A
CN110954965A CN201911201377.2A CN201911201377A CN110954965A CN 110954965 A CN110954965 A CN 110954965A CN 201911201377 A CN201911201377 A CN 201911201377A CN 110954965 A CN110954965 A CN 110954965A
Authority
CN
China
Prior art keywords
rov
coral
image
images
shallow water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911201377.2A
Other languages
English (en)
Inventor
盛明伟
李俊
万磊
秦洪德
王玮哲
刘奕晖
武万琦
崔壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201911201377.2A priority Critical patent/CN110954965A/zh
Publication of CN110954965A publication Critical patent/CN110954965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/02Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance
    • G01N27/04Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18Water

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Processing (AREA)

Abstract

本发明属于水下探测技术领域,具体涉及一种多ROV系统及浅水珊瑚探测方法。本发明的多ROV系统通过水密线缆与到水面的控制台连接,控制台在水面通过无线电收发指令,实现实时几乎无时间延迟的同时定位与建图。本发明的多ROV浅水珊瑚探测方法采用多ROV系统对浅水海域的热带珊瑚进行探测,根据决策算法、最优化算法和行为检测对全局调度方案进行一定的修正,从而实现局部任务分配,使整个系统具有更强的环境适应能力。提高了探测效率,节省了探测时间;采用了三步提纯手段对误匹配点进行剔除,解决浅水热带珊瑚探测区域图像拼接融合问题。

Description

一种多ROV系统及浅水珊瑚探测方法
技术领域
本发明属于水下探测技术领域,具体涉及一种多ROV系统及浅水珊瑚探测方法。
背景技术
热带珊瑚礁被称为“热带海洋沙漠中的绿洲”,主要由造礁珊瑚死后的残肢遗骸经生物、成岩作用堆积而成,通常在水温18~35℃、水深3~18m,盐度范围27~40的水体中发育良好。珊瑚礁蕴藏着丰富的矿产资源。礁灰岩是多孔隙岩类,渗透性好,有机质丰度高,是油气良好的生储层。目前已发现和开采的礁型大油田有十多个,可采储量50多亿吨。礁型气田也是高产的。大型油气田多产于古代的堡礁中。珊瑚礁及其泻湖沉积层中,还有煤炭、铝土矿、锰矿、磷矿。礁体粗碎屑中发现铜、铅、锌等多金属层控矿床。礁作为储水层具有工业利用价值。珊瑚灰岩可作为烧制石灰、水泥的良好原料。有潮汐通道与外海沟通的环礁泻湖,可辟为船舶的天然避风港。珊瑚礁灰岩覆盖的平顶海山,可作为水下实验的优良基地。千姿百态的珊瑚可作为装饰工艺品。五彩缤纷的礁栖热带鱼类可供人们观赏。有些珊瑚早已被用作药材。礁区具有丰富的渔业、水产资源。不少礁区已开辟为旅游场所。
热带珊瑚礁具有良好的研究价值,并且其处于浅海水域,因此通信状况良好的ROV比较适合作为探测器。单个ROV在搜寻热带珊瑚礁海域的位置和采集热带珊瑚图像时,效率过于低下,因而,为了提高探测效率、适应复杂环境,采用多ROV热带珊瑚协同系统来采集热带珊瑚图像,对热带珊瑚进行探测。
发明内容
本发明的目的在于提供用于浅海水域采集热带珊瑚图像,对热带珊瑚进行探测的一种多ROV系统。
本发明的目的通过如下技术方案来实现:包括母船和多台ROV;每台ROV配备独立的控制台,各ROV通过水密线缆与各自的控制台连接;所述的母船上搭载有智能中心和换能器;所述的智能中心是控制决策中心,主要实现多ROV系统作业任务的分解、分配和规划,以及各ROV之间作业任务的协调和优化;各ROV的控制台通过无线电与母船上的智能中心连接;所述的ROV通过脐带缆与母船连接,从而获取ROV工作所需的电力,实现数据交换以及遥控功能;所述的脐带缆为自动收放,脐带缆长度根据母船与ROV的相对距离和ROV的活动半径来确定,当ROV超出其活动半径时,母船将跟随其移动,保持ROV一直在安全的工作半径内;所述母船上的换能器通过接收到ROV上应答信号的声信号测定出母船到ROV的距离和方向;所述的ROV上携带有CTD探测仪、PH探测器、CO2探测器、水下摄像机和机械手;各ROV之间只作状态信息的实时通信,根据其作业目标和作业周边环境,各自进行规划作业轨迹和作业姿态,以最优化的方式完成任务。
本发明还可以包括:
工作人员具有最高操作优先级,在母船上可通过智能中心对多ROV系统作业现场实施远程监控,必要时根据多ROV系统作业状况进行决策和控制,在线干预处理紧急或意外情况。
本发明的目的还在于提供采用多ROV系统进行浅海水域采集热带珊瑚图像,对热带珊瑚进行探测的一种多ROV浅水珊瑚探测方法。
本发明的目的通过如下技术方案实现:包括以下步骤:
步骤1:母船行驶至浅水海域上方,将多ROV系统中的ROV投放入水,各ROV的控制台位于水面上;
步骤2:智能中心根据ROV上传的所处经纬度信息、周边环境信息检测各ROV状态,并对多ROV协同作业任务进行规划,将规划结果通过无线电传递给各ROV的水面控制台,、各水面控制台再通过水密线缆将任务传递给各ROV;
步骤3:接收到任务指令的ROV通过其携带的水下摄像机在任务区域的活动半径内对浅海区域进行协同探测,协同采集浅海区域的图像信息;ROV通过其上携带的CTD探测仪、PH探测器、CO2探测器记录所处位置海水的温度、盐度、PH值和CO2浓度信息;各ROV分别通过水密线缆将视频图像信息上传至各自的水面控制台,水面控制台再通过无线电将视频图像信息传给智能中心;
步骤4:智能中心提前通过大量的浅水珊瑚图像进行离线训练,训练分类目标为海藻、沙地和珊瑚,生成检测模型;智能中心通过离线训练好的检测模型对多ROV协同采集的浅海区域图像进行检测识别,当连续多帧视频图像检测出珊瑚时,将该区域视为浅水珊瑚区域;
步骤5:当发现浅水珊瑚区域时,智能中心向各ROV发送指令使所有ROV向浅水珊瑚区域聚集;
步骤6:智能中心自主决策,分配采集浅水珊瑚图像的协同作业任务给各ROV;个ROV根据其作业目标和作业周边环境,规划作业轨迹和作业姿态,以最优化的方式对浅水珊瑚区域进行协同探测和样本抓取;各ROV利用机械手抓取浅水珊瑚区域的生物样品,通过其携带的水下摄像机采集图像数据;各ROV分别通过水密线缆将采集到的图像数据上传至各自的水面控制台,水面控制台再通过无线电将图像数据传给智能中心;
步骤7:智能中心将各ROV获取的海底图像拼接成浅水珊瑚栖息地全景图。
本发明还可以包括:
所述的步骤2及步骤6中对多ROV协同作业任务分配过程中,首先进行全局任务分配,根据已知环境信息和任务信息,将初始任务合理地分配给各个ROV,生成效率高、资源配置合理的全局调度方案;然后各个ROV在作业过程中实时获取动态任务信息,根据决策算法、最优化算法和行为检测对全局调度方案进行一定的修正,从而实现局部任务分配,使整个系统具有更强的环境适应能力。
工作人员具有最高操作优先级,在母船上可通过智能中心对多ROV系统作业现场实施远程监控,必要时根据多ROV系统作业状况进行决策和控制,在线干预处理紧急或意外情况;当发现浅水珊瑚区域时,工作人员通过智能中心向各ROV发送指令使各ROV向浅水珊瑚区域聚集;当智能中心生成浅水珊瑚栖息地全景图后,工作人员在浅水珊瑚栖息地全景图中选择区域,并控制ROV利用机械手抓取珊瑚栖息地生物样品,同时根据相应ROV的经纬度信息,记录样品所处位置。
所述的步骤7中智能中心将各ROV获取的海底图像拼接成浅水珊瑚栖息地全景图的具体步骤为:
步骤7.1:预处理,筛选排除质量差的图像数据,使用二维中值滤波器对筛选后的图像进行去躁处理;对图像中的任意一点(x,y),以该点为中心的滤波窗口设为Sxy,再将Sxy中的所有像素点进行从小到大的排序,将排序处于中间点的值,作为该滤波的结果;所述的质量差的图像数据包括水质较差、采集过快或导航不良的图像;
步骤7.2:使用特征点提取算法提取每幅图像的特征点;
步骤7.3:特征点Brute Force匹配;
步骤7.4:对Brute Force匹配后的特征点进行提纯,采用基于阈值的方法,将Hanming距离大于30的特征点剔除;
步骤7.5:找到两幅图像中距离差Δd相同的特征点对,对Δd>5的特征点对进行剔除提纯;
步骤7.6:利用RANSAC算法剔除剩余的特征点对误匹配点,求解变换矩阵并采用光束法平差实现全局配准;
步骤7.7:将每幅图像投影到统一坐标系下对图像进行拼接和融合;先采用最佳缝合线法进行图像融合,然后采用多通道法对图像进行二次融合,消除第一次融合产生的鬼影现象,实现平滑自然的无鬼影拼接,输出全景图像。
所述的步骤7.7中的最佳缝合线法是两幅图像重叠区域的差值图像上颜色、结构强度差最小的线,缝合线的求解准则如下:
E(x,y)=Ecolor(x,y)2+Egemetry(x,y)2
其中,Ecolor(x,y)为重叠像素的颜色值之差;Egenetry(x,y)为结构差值,它是通过修改Sobel算子实现的;从重叠区域差值图像的第一列开始,建立以该列每一个像素为起点的缝合线,最后从所有的缝合线中寻找一个最优解作为最佳缝合线;
所述的步骤7.7中的多通道融合法的基本原理是构建出重叠部分的拉普拉斯金字塔,将不同层的图像进行融合从而重构出图像;由于图像通常存在曝光差异,使用最佳缝合线法融合的图像在拼接区域会存在鬼影,因此通过二次融合消除鬼影现象。
本发明的有益效果在于:
本发明的多ROV系统通过水密线缆与到水面的控制台连接,控制台在水面通过无线电收发指令,实现实时几乎无时间延迟的同时定位与建图。本发明的多ROV浅水珊瑚探测方法采用多ROV系统对浅水海域的热带珊瑚进行探测,根据决策算法、最优化算法和行为检测对全局调度方案进行一定的修正,从而实现局部任务分配,使整个系统具有更强的环境适应能力。提高了探测效率,节省了探测时间;采用了三步提纯手段对误匹配点进行剔除,解决浅水热带珊瑚探测区域图像拼接融合问题。
附图说明
图1为多遥控潜水器热带珊瑚协同探测示意图。
图2为浅水珊瑚探测区域地图融合流程图。
图3为ROV自主避障过程流程图。
图4为ROV某时刻路径规划示意图。
图5为多ROV系统协作体系结构图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明提供了一种多ROV系统,包括母船和多台ROV;每台ROV配备独立的控制台,各ROV通过水密线缆与各自的控制台连接;所述的母船上搭载有智能中心和换能器;所述的智能中心是控制决策中心,主要实现多ROV系统作业任务的分解、分配和规划,以及各ROV之间作业任务的协调和优化;各ROV的控制台通过无线电与母船上的智能中心连接;所述的ROV通过脐带缆与母船连接,从而获取ROV工作所需的电力,实现数据交换以及遥控功能;所述的脐带缆为自动收放,脐带缆长度根据母船与ROV的相对距离和ROV的活动半径来确定,当ROV超出其活动半径时,母船将跟随其移动,保持ROV一直在安全的工作半径内;所述母船上的换能器通过接收到ROV上应答信号的声信号测定出母船到ROV的距离和方向;所述的ROV上携带有CTD探测仪、PH探测器、CO2探测器、水下摄像机和机械手;各ROV之间只作状态信息的实时通信,根据其作业目标和作业周边环境,各自进行规划作业轨迹和作业姿态,以最优化的方式完成任务。
工作人员具有最高操作优先级,在母船上可通过智能中心对多ROV作业现场实施远程监控,必要时根据多ROV作业状况进行决策和控制,在线干预处理紧急或意外情况。智能中心(服务器)是控制决策中心,对多ROV具有一定控制权,其主要实现多ROV作业任务的分解、分配和规划,以及各ROV之间作业任务的协调和优化。各ROV之间只作状态信息的实时通信,根据其作业目标和作业周边环境,各自进行规划作业轨迹和作业姿态,以最优化的方式完成任务。
ROV有缆,利用水密线缆连接到水面各自的控制台,各控制台通过无线电与母船上的智能中心(服务器)相连接。水面通过无线电收发指令,水下通过水密线缆连接ROV本体与控制台,实现实时几乎无时间延迟的同时定位与建图。
ROV通过脐带缆与母船之间连接,从而获取ROV工作所需的电力,实现数据交换以及遥控功能。脐带缆释放过程进行自动收放,避免人为收放出现失误。母船上的换能器接收到ROV上应答信号的声信号测定出母船到ROV的距离和方向。脐带缆长度根据母船与ROV的相对距离和ROV的活动半径来确定,当ROV超出其活动半径时,母船将跟随其移动,保持ROV一直在安全的工作半径内。
在多ROV系统协同作业任务分配过程中,首先进行全局任务分配,根据已知环境信息和任务信息,将初始作业任务合理地分配给各个ROV,生成效率高、资源配置合理的全局调度方案;然后各个ROV在作业过程中实时获取动态任务信息,根据ROV智能模块中的决策算法和最优化算法对全局调度方案进行一定的修正,从而实现局部任务分配,使整个系统具有更强的环境适应能力。
本发明针对单个ROV在搜寻热带珊瑚礁海域的位置和采集热带珊瑚图像时,效率过于低下的问题,利用上述的一种多ROV系统,提供一种多遥控潜水器(Remotely OperatedVehicle,ROV)对热带珊瑚栖息地进行协同探测的方法,通过安装有高分辨率水下光学摄像机的多个有缆ROV协同对浅水热带珊瑚区域进行探测和采样抓取。
一种多ROV浅水珊瑚探测方法,包括以下步骤:
(1)母船行驶至浅水海域上方投放多个ROV入水。
(2)工作人员对向智能中心(服务器)发送作业任务,服务器检测各ROV状态,并对多ROV协作任务进行规划,下达各ROV作业指令。
(3)各ROV携带高分辨率水下光学摄像机在其各自任务区域的活动半径内探测,对浅水热带珊瑚区域进行搜索,同时记录ROV所处经纬度信息,ROV将记录信息先经水密线缆传递到水面控制台,水面控制台通过无线电将图像和位置信息实时传送给智能中心。
(4)ROV上搭载电导率-温度-深度传感器(CTD)、PH探测器、CO2探测仪记录所处位置上海水的温度、盐度、PH值、CO2浓度信息。
(5)工作人员在母船上远程监控,当发现浅水珊瑚区域时,通过智能中心向各ROV发送指令使各ROV向浅水珊瑚区域聚集。
(6)智能中心自主决策,分配采集浅水珊瑚图像任务给各ROV。
(7)各ROV根据其作业目标和作业周边环境,规划作业轨迹和作业姿态,以最优化的方式完成采集浅水珊瑚的任务,并将采集的图像数据上传给智能中心。
(8)智能中心将多ROV获取的海底图像拼接成浅水珊瑚栖息地全景图。
(9)工作人员在全景图中选择感兴趣的区域,利用单个ROV或多个ROV同时利用柔性机械手抓取珊瑚栖息地生物样品,同时根据相应ROV的经纬度信息,记录样品所处位置。
将多ROV实时获取海底图像进行拼接获得所探测区域内热带珊瑚栖息地全景图之后,在全景图中感兴趣区域利用单个ROV或多个ROV同时利用柔性机械手抓取珊瑚栖息地生物样品,同时根据相应ROV的经纬度信息,记录样品所处位置。拼接成全景图的工作步骤如下所示:
(1)进行筛选,排除质量差的图像数据(例如水质较差,采集过快或导航不良的图像),并使用二维中值滤波器对筛选后的图像进行去噪处理。
(2)使用特征点提取算法提取每幅图像的特征点,进而对特征点进行筛选。其中采用了三步提纯手段对误匹配点进行剔除。第一步,对Brute Force匹配后的特征点进行提纯,采用基于阈值的方法,首先将Hanming距离大于30的特征点剔除,第二步,找到两幅地图中距离差Δd相同的特征点对,对Δd>5的特征点对进行剔除提纯;第三步,利用RANSAC算法剔除剩余的特征点对误匹配点。
(3)利用RANSAC算法求解变换矩阵并采用光束法平差实现全局配准。
(4)将每幅图像投影到统一坐标系下对图像进行拼接和融合。先采用最佳缝合线法进行图像融合,然后采用多通道法对图像进行二次融合,消除第一次融合产生的鬼影现象,实现平滑自然的无鬼影拼接,输出全景图像。
采用高分辨率水下光学摄像机在浅水热带珊瑚区域探测作业中面临避障问题有两种解决方法。一是通过母船上的操作人员实时的操控ROV,及时调整路径,避开障碍物。二是通过局部路径规划方法使ROV能够通过自身的传感器信息,感受障碍物的位置和距离,得到运动偏转指令,自主地规划出一条无碰路径,避开障碍物。
ROV携电导率-温度-深度传感器(CTD)探测仪、PH探测器、CO2探测器实时获取所处海洋位置的多种参数,各ROV通过水密信号缆与水面无线电将各位置上海洋参数实时传递到主控制计算机,主控制计算机实时汇总所有接收到的参数获得随时间变化的各探测位置上的海洋参数信息数据库。
对多ROV柔性抓取获得的海底珊瑚栖息地生物样品进行病变组织分析,通过对珊瑚及其共生微生物的基因提取和分析,对珊瑚的致病机理进行判断。通过不同的珊瑚样本对比分析,结合获得的海洋环境参数,分析海洋参数变化对珊瑚的影响。
多ROV系统在无人工干预情况下,也可自主进行协同作业。智能中心根据ROV上传的所处经纬度信息、周边环境信息,进行任务规划,将分配结果通过无线电传递给水面控制台,水面控制台再通过水密线缆将任务传递给各ROV。携带有高分辨率水下光学摄像机的多个ROV接收到任务指令后对浅海区域进行协同探测,协同采集浅海区域的图像信息,并通过水密线缆将视频图像信息上传至水面控制台,水面控制台再通过无线电将视频图像信息传给智能中心。智能中心提前通过大量的浅水珊瑚图像进行离线训练,训练分类目标为海藻、沙地和热带珊瑚,生成检测模型。智能中心通过离线训练好的检测模型对多ROV协同采集的浅海区域图像进行检测识别。当连续多帧视频图像检测出热带珊瑚时,将该区域视为浅水热带珊瑚区域。智能中心下达指令,将多ROV聚集在该片区域,对浅水热带珊瑚区域进行协同探测和样本抓取。具体步骤如下:
包括以下步骤:
步骤1:母船行驶至浅水海域上方,将多ROV系统中的ROV投放入水,各ROV的控制台位于水面上;
步骤2:智能中心根据ROV上传的所处经纬度信息、周边环境信息检测各ROV状态,并对多ROV协同作业任务进行规划,将规划结果通过无线电传递给各ROV的水面控制台,、各水面控制台再通过水密线缆将任务传递给各ROV;
步骤3:接收到任务指令的ROV通过其携带的水下摄像机在任务区域的活动半径内对浅海区域进行协同探测,协同采集浅海区域的图像信息;ROV通过其上携带的CTD探测仪、PH探测器、CO2探测器记录所处位置海水的温度、盐度、PH值和CO2浓度信息;各ROV分别通过水密线缆将视频图像信息上传至各自的水面控制台,水面控制台再通过无线电将视频图像信息传给智能中心;
步骤4:智能中心提前通过大量的浅水珊瑚图像进行离线训练,训练分类目标为海藻、沙地和珊瑚,生成检测模型;智能中心通过离线训练好的检测模型对多ROV协同采集的浅海区域图像进行检测识别,当连续多帧视频图像检测出珊瑚时,将该区域视为浅水珊瑚区域;
步骤5:当发现浅水珊瑚区域时,智能中心向各ROV发送指令使所有ROV向浅水珊瑚区域聚集;
步骤6:智能中心自主决策,分配采集浅水珊瑚图像的协同作业任务给各ROV;个ROV根据其作业目标和作业周边环境,规划作业轨迹和作业姿态,以最优化的方式对浅水珊瑚区域进行协同探测和样本抓取;各ROV利用机械手抓取浅水珊瑚区域的生物样品,通过其携带的水下摄像机采集图像数据;各ROV分别通过水密线缆将采集到的图像数据上传至各自的水面控制台,水面控制台再通过无线电将图像数据传给智能中心;
步骤7:智能中心将各ROV获取的海底图像拼接成浅水珊瑚栖息地全景图。
实施例1:
本发明涉及水下探测技术领域,首先,母船行驶至浅水海域上方投放多个ROV入水;其次,工作人员对向智能中心(服务器)发送作业任务,服务器检测各ROV状态,并对多ROV协作任务进行规划,下达各ROV作业指令;再次,各ROV携带高分辨率水下光学摄像机在其各自任务区域的活动半径内探测,对浅水热带珊瑚区域进行搜索,同时记录ROV所处经纬度信息,ROV将记录信息先经水密线缆传递到水面控制台,水面控制台通过无线电将图像和位置信息实时传送给智能中心;之后,ROV上搭载电导率-温度-深度传感器(CTD)、PH探测器、CO2探测仪记录所处位置上海水的温度、盐度、PH值、CO2浓度信息;接着,工作人员在母船上远程监控,当发现浅水珊瑚区域时,通过智能中心向各ROV发送指令使各ROV向浅水珊瑚区域聚集;之后,智能中心自主决策,分配采集浅水珊瑚图像任务给各ROV;然后,各ROV根据其作业目标和作业周边环境,规划作业轨迹和作业姿态,以最优化的方式完成采集浅水珊瑚的任务,并将采集的图像数据上传给智能中心,智能中心将多ROV获取的海底图像拼接成浅水珊瑚栖息地全景图;最后,工作人员在全景图中选择感兴趣的区域,利用单个ROV或多个ROV同时利用柔性机械手抓取珊瑚栖息地生物样品,同时根据相应ROV的经纬度信息,记录样品所处位置。本发明通过安装有高分辨率水下光学摄像机的多个有缆ROV采集浅水海域的热带珊瑚图像,并通过柔性机械手抓取珊瑚栖息地感兴趣的生物样品,提高作业效率。
本发明具有以下优点:
1.本发明根据决策算法、最优化算法和行为检测对全局调度方案进行一定的修正,从而实现局部任务分配,使整个系统具有更强的环境适应能力。
2.本发明采用了三步提纯手段对误匹配点进行剔除,解决浅水热带珊瑚探测区域图像拼接融合问题。
3.本发明使用两种方法来解决ROV避障问题,一种是通过母船上的操作人员实时的操控ROV,调整路径,避开障碍物。二是通过局部路径规划方法使ROV能够通过自身的传感器信息,感受障碍物的位置和距离,得到运动偏转指令,自主地规划出一条无碰路径,避开障碍物。两种方法相结合避免操作员长时间操作产生疲劳带来的隐患。
4.本发明采用多ROV热带珊瑚协同系统来对浅水海域的热带珊瑚进行探测,提高了探测效率,节省了探测时间。
如图2所示,为浅水珊瑚探测区域地图融合流程图。多ROV系统获取的海底图像拼接成浅水珊瑚栖息地全景图的具体工作步骤如下所示:
(一)进行筛选,排除质量差的图像数据(例如水质较差,采集过快或导航不良的图像),使用二维中值滤波器对筛选后的图像进行去躁处理。对图像中的任意一点(x,y),以该点为中心的滤波窗口设为Sxy,再将Sxy中的所有像素点进行从小到大的排序,将排序处于中间点的值,作为该滤波的结果。
(二)使用特征点提取算法提取每幅图像的特征点,进而对特征点进行筛选。其中采用了三步提纯手段对误匹配点进行剔除。第一步,对Brute Force匹配后的特征点进行提纯,采用基于阈值的方法,将Hanming距离大于30的特征点剔除,第二步,找到两幅地图中距离差Δd相同的特征点对。定义为
Figure BDA0002295963250000091
对Δd>5的特征点对进行剔除提纯;第三步,利用RANSAC算法剔除剩余的特征点对误匹配点。
(三)利用RANSAC算法求解变换矩阵并采用光束法平差实现全局配准。
(四)将每幅图像投影到统一坐标系下对图像进行拼接和融合。先采用最佳缝合线法进行图像融合,然后采用多通道法对图像进行二次融合,消除第一次融合产生的鬼影现象,实现平滑自然的无鬼影拼接,输出全景图像。
理想的最佳缝合线法是两幅图像重叠区域的差值图像上颜色、结构强度差最小的线,因此缝合线的求解准则如下:
E(x,y)=Ecolor(x,y)2+Egemetry(x,y)2
其中,Ecolor(x,y)为重叠像素的颜色值之差,Egenetry(x,y)为结构差值,它是通过修改Sobel算子实现的。从重叠区域差值图像的第一列开始,建立以该列每一个像素为起点的缝合线,最后从所有的缝合线中寻找一个最优解作为最佳缝合线。
多通道融合法的基本原理是构建出重叠部分的拉普拉斯金字塔,将不同层的图像进行融合从而重构出图像。由于图像通常存在曝光差异,使用最佳缝合线法融合的图像在拼接区域会存在鬼影,因此通过二次融合消除鬼影现象。
如图3所示,所述的多ROV热带珊瑚协同系统采用高分辨率水下光学摄像机近地探测作业中面临避障问题有两种解决方法。一是通过母船上的操作人员实时的操控ROV,调整路径,避开障碍物。二是通过局部路径规划方法使ROV能够通过自身的传感器信息,感受障碍物的位置和距离,得到运动偏转指令,自主地规划出一条无碰路径,避开障碍物。局部路径规划方法的主要工作步骤如下所示:首先初始化ROV的起始点坐标,目标点坐标。然后循环检测ROV是否达到规划的目标位置。如果达到规划的目标位置,路径规划结束。如果没有达到规划的目标位置,判断ROV是否检测到障碍物,如果ROV没有检测到障碍物,则沿着航线前进。如果ROV检测到障碍物,则采用基于模糊神经网络系统的避障模式。
ROV在前往目标点的过程中,利用声纳实时地对周围环境进行扫描,扫描范围是-60°~+60°。ROV在某时刻的路径规划示意图如图4所示。假设ROV的体积相对于障碍物体积很小,而且声纳探测距离远,ROV能够在较远距就开始路径规划,机动性能满足避障要求,所以为了便于局部路径规划控制器的设计与调试,将ROV看成一个质点。设图中(x,y)坐标是ROV在某一时刻的坐标位置,(a,b)坐标是设定的目标位置,将ROV的位置与目标位置的连线称为“航线”,即在ROV没有检测到障碍物时,ROV以正常模式前进,运动方向始终沿着“航线”;当ROV检测到障碍物时,切换到避障模式,通过声纳可以获得ROV与最近障碍物的距离d=min{d1,d2,d3,…,dn},同时还可以获得与最近障碍物的夹角α。将α和d作为路径规划控制器的输入,需要调整的角度增量
Figure BDA0002295963250000101
作为控制器的输出,从而规划出一条无碰路径。
如图5所示,工作人员具有最高操作优先级,可通过智能中心多ROV进行控制。工作人员在母船上对多ROV作业现场实施远程监控,必要时根据多ROV作业状况进行决策和控制,对一些意外进行应急处理。智能中心(服务器)是控制决策中心,对多ROV有一定控制权,其主要实现多ROV作业任务的分解、分配和规划,以及各ROV之间作业任务的协调和优化。ROV中的智能决策模块根据其作业目标和作业周边环境,规划作业轨迹和作业姿态,以最优化的方式完成任务。各ROV之间只作状态信息的实时通信,各自进行运动规划和优化。
在多ROV协同作业任务分配过程中,首先进行全局任务分配,根据已知环境信息和任务信息,将初始任务合理地分配给各个ROV,生成效率高、资源配置合理的全局调度方案;然后各个ROV在作业过程中实时获取动态任务信息,根据决策算法、最优化算法和行为检测对全局调度方案进行一定的修正,从而实现局部任务分配,使整个系统具有更强的环境适应能力。
ROV携电导率-温度-深度传感器(CTD)探测仪、PH探测器、CO2探测器实时获取所处海洋位置的多种参数,各ROV通过水密信号缆与水面无线电将各位置上海洋参数实时传递到主控制计算机,主控制计算机实时汇总所有接收到的参数获得随时间变化的各探测位置上的海洋参数信息数据库。多ROV柔性抓取获得的海底珊瑚栖息地生物样品进行病变组织分析,通过对珊瑚及其共生微生物的基因提取和分析,对珊瑚的致病机理进行判断。通过不同的珊瑚样本对比分析,结合获得的海洋环境参数,分析海洋参数变化对珊瑚的影响。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种多ROV系统,其特征在于:包括母船和多台ROV;每台ROV配备独立的控制台,各ROV通过水密线缆与各自的控制台连接;所述的母船上搭载有智能中心和换能器;所述的智能中心是控制决策中心,主要实现多ROV系统作业任务的分解、分配和规划,以及各ROV之间作业任务的协调和优化;各ROV的控制台通过无线电与母船上的智能中心连接;所述的ROV通过脐带缆与母船连接,从而获取ROV工作所需的电力,实现数据交换以及遥控功能;所述的脐带缆为自动收放,脐带缆长度根据母船与ROV的相对距离和ROV的活动半径来确定,当ROV超出其活动半径时,母船将跟随其移动,保持ROV一直在安全的工作半径内;所述母船上的换能器通过接收到ROV上应答信号的声信号测定出母船到ROV的距离和方向;所述的ROV上携带有CTD探测仪、PH探测器、CO2探测器、水下摄像机和机械手;各ROV之间只作状态信息的实时通信,根据其作业目标和作业周边环境,各自进行规划作业轨迹和作业姿态,以最优化的方式完成任务。
2.根据权利要求1所述的一种多ROV系统,其特征在于:工作人员具有最高操作优先级,在母船上可通过智能中心对多ROV系统作业现场实施远程监控,必要时根据多ROV系统作业状况进行决策和控制,在线干预处理紧急或意外情况。
3.一种基于权利要求1所述的一种多ROV系统的多ROV浅水珊瑚探测方法,其特征在于,包括以下步骤:
步骤1:母船行驶至浅水海域上方,将多ROV系统中的ROV投放入水,各ROV的控制台位于水面上;
步骤2:智能中心根据ROV上传的所处经纬度信息、周边环境信息检测各ROV状态,并对多ROV协同作业任务进行规划,将规划结果通过无线电传递给各ROV的水面控制台,、各水面控制台再通过水密线缆将任务传递给各ROV;
步骤3:接收到任务指令的ROV通过其携带的水下摄像机在任务区域的活动半径内对浅海区域进行协同探测,协同采集浅海区域的图像信息;ROV通过其上携带的CTD探测仪、PH探测器、CO2探测器记录所处位置海水的温度、盐度、PH值和CO2浓度信息;各ROV分别通过水密线缆将视频图像信息上传至各自的水面控制台,水面控制台再通过无线电将视频图像信息传给智能中心;
步骤4:智能中心提前通过大量的浅水珊瑚图像进行离线训练,训练分类目标为海藻、沙地和珊瑚,生成检测模型;智能中心通过离线训练好的检测模型对多ROV协同采集的浅海区域图像进行检测识别,当连续多帧视频图像检测出珊瑚时,将该区域视为浅水珊瑚区域;
步骤5:当发现浅水珊瑚区域时,智能中心向各ROV发送指令使所有ROV向浅水珊瑚区域聚集;
步骤6:智能中心自主决策,分配采集浅水珊瑚图像的协同作业任务给各ROV;个ROV根据其作业目标和作业周边环境,规划作业轨迹和作业姿态,以最优化的方式对浅水珊瑚区域进行协同探测和样本抓取;各ROV利用机械手抓取浅水珊瑚区域的生物样品,通过其携带的水下摄像机采集图像数据;各ROV分别通过水密线缆将采集到的图像数据上传至各自的水面控制台,水面控制台再通过无线电将图像数据传给智能中心;
步骤7:智能中心将各ROV获取的海底图像拼接成浅水珊瑚栖息地全景图。
4.根据权利要求3所述的一种多ROV浅水珊瑚探测方法,其特征在于:所述的步骤2及步骤6中对多ROV协同作业任务分配过程中,首先进行全局任务分配,根据已知环境信息和任务信息,将初始任务合理地分配给各个ROV,生成效率高、资源配置合理的全局调度方案;然后各个ROV在作业过程中实时获取动态任务信息,根据决策算法、最优化算法和行为检测对全局调度方案进行一定的修正,从而实现局部任务分配,使整个系统具有更强的环境适应能力。
5.根据权利要求3或4所述的一种多ROV浅水珊瑚探测方法,其特征在于:工作人员具有最高操作优先级,在母船上可通过智能中心对多ROV系统作业现场实施远程监控,必要时根据多ROV系统作业状况进行决策和控制,在线干预处理紧急或意外情况;当发现浅水珊瑚区域时,工作人员通过智能中心向各ROV发送指令使各ROV向浅水珊瑚区域聚集;当智能中心生成浅水珊瑚栖息地全景图后,工作人员在浅水珊瑚栖息地全景图中选择区域,并控制ROV利用机械手抓取珊瑚栖息地生物样品,同时根据相应ROV的经纬度信息,记录样品所处位置。
6.根据权利要求3或4所述的一种多ROV浅水珊瑚探测方法,其特征在于:所述的步骤7中智能中心将各ROV获取的海底图像拼接成浅水珊瑚栖息地全景图的具体步骤为:
步骤7.1:预处理,筛选排除质量差的图像数据,使用二维中值滤波器对筛选后的图像进行去躁处理;对图像中的任意一点(x,y),以该点为中心的滤波窗口设为Sxy,再将Sxy中的所有像素点进行从小到大的排序,将排序处于中间点的值,作为该滤波的结果;所述的质量差的图像数据包括水质较差、采集过快或导航不良的图像;
步骤7.2:使用特征点提取算法提取每幅图像的特征点;
步骤7.3:特征点Brute Force匹配;
步骤7.4:对Brute Force匹配后的特征点进行提纯,采用基于阈值的方法,将Hanming距离大于30的特征点剔除;
步骤7.5:找到两幅图像中距离差Δd相同的特征点对,对Δd>5的特征点对进行剔除提纯;
步骤7.6:利用RANSAC算法剔除剩余的特征点对误匹配点,求解变换矩阵并采用光束法平差实现全局配准;
步骤7.7:将每幅图像投影到统一坐标系下对图像进行拼接和融合;先采用最佳缝合线法进行图像融合,然后采用多通道法对图像进行二次融合,消除第一次融合产生的鬼影现象,实现平滑自然的无鬼影拼接,输出全景图像。
7.根据权利要求5所述的一种多ROV浅水珊瑚探测方法,其特征在于:所述的步骤7中智能中心将各ROV获取的海底图像拼接成浅水珊瑚栖息地全景图的具体步骤为:
步骤7.1:预处理,筛选排除质量差的图像数据,使用二维中值滤波器对筛选后的图像进行去躁处理;对图像中的任意一点(x,y),以该点为中心的滤波窗口设为Sxy,再将Sxy中的所有像素点进行从小到大的排序,将排序处于中间点的值,作为该滤波的结果;所述的质量差的图像数据包括水质较差、采集过快或导航不良的图像;
步骤7.2:使用特征点提取算法提取每幅图像的特征点;
步骤7.3:特征点Brute Force匹配;
步骤7.4:对Brute Force匹配后的特征点进行提纯,采用基于阈值的方法,将Hanming距离大于30的特征点剔除;
步骤7.5:找到两幅图像中距离差Δd相同的特征点对,对Δd>5的特征点对进行剔除提纯;
步骤7.6:利用RANSAC算法剔除剩余的特征点对误匹配点,求解变换矩阵并采用光束法平差实现全局配准;
步骤7.7:将每幅图像投影到统一坐标系下对图像进行拼接和融合;先采用最佳缝合线法进行图像融合,然后采用多通道法对图像进行二次融合,消除第一次融合产生的鬼影现象,实现平滑自然的无鬼影拼接,输出全景图像。
8.根据权利要求6所述的一种多ROV浅水珊瑚探测方法,其特征在于:所述的步骤7.7中的最佳缝合线法是两幅图像重叠区域的差值图像上颜色、结构强度差最小的线,缝合线的求解准则如下:
E(x,y)=Ecolor(x,y)2+Egemetry(x,y)2
其中,Ecolor(x,y)为重叠像素的颜色值之差;Egenetry(x,y)为结构差值,它是通过修改Sobel算子实现的;从重叠区域差值图像的第一列开始,建立以该列每一个像素为起点的缝合线,最后从所有的缝合线中寻找一个最优解作为最佳缝合线;
所述的步骤7.7中的多通道融合法的基本原理是构建出重叠部分的拉普拉斯金字塔,将不同层的图像进行融合从而重构出图像;由于图像通常存在曝光差异,使用最佳缝合线法融合的图像在拼接区域会存在鬼影,因此通过二次融合消除鬼影现象。
9.根据权利要求7所述的一种多ROV浅水珊瑚探测方法,其特征在于:所述的步骤7.7中的最佳缝合线法是两幅图像重叠区域的差值图像上颜色、结构强度差最小的线,缝合线的求解准则如下:
E(x,y)=Ecolor(x,y)2+Egemetry(x,y)2
其中,Ecolor(x,y)为重叠像素的颜色值之差;Egenetry(x,y)为结构差值,它是通过修改Sobel算子实现的;从重叠区域差值图像的第一列开始,建立以该列每一个像素为起点的缝合线,最后从所有的缝合线中寻找一个最优解作为最佳缝合线;
所述的步骤7.7中的多通道融合法的基本原理是构建出重叠部分的拉普拉斯金字塔,将不同层的图像进行融合从而重构出图像;由于图像通常存在曝光差异,使用最佳缝合线法融合的图像在拼接区域会存在鬼影,因此通过二次融合消除鬼影现象。
CN201911201377.2A 2019-11-29 2019-11-29 一种多rov系统及浅水珊瑚探测方法 Pending CN110954965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911201377.2A CN110954965A (zh) 2019-11-29 2019-11-29 一种多rov系统及浅水珊瑚探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911201377.2A CN110954965A (zh) 2019-11-29 2019-11-29 一种多rov系统及浅水珊瑚探测方法

Publications (1)

Publication Number Publication Date
CN110954965A true CN110954965A (zh) 2020-04-03

Family

ID=69979052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911201377.2A Pending CN110954965A (zh) 2019-11-29 2019-11-29 一种多rov系统及浅水珊瑚探测方法

Country Status (1)

Country Link
CN (1) CN110954965A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162562A (zh) * 2020-10-20 2021-01-01 中国石油大学(华东) 一种多平台基桩rov协同作业系统及方法
CN114442655A (zh) * 2020-11-04 2022-05-06 中国科学院沈阳自动化研究所 一种基于卫星通信的rov远程驾驶监控方法
CN114778648A (zh) * 2022-04-24 2022-07-22 深圳科瑞德健康科技有限公司 一种水溶液氧化还原电位值的测试系统及测量方法
CN116972815A (zh) * 2023-08-04 2023-10-31 中国海洋大学 一种基于多平台的河口羽流锋面观测系统的工作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105329418A (zh) * 2015-12-11 2016-02-17 四方继保(武汉)软件有限公司 一种无人船载水下机器人混合系统
CN106335617A (zh) * 2016-09-18 2017-01-18 河海大学常州校区 水下机器人供能系统、水下机器人及水下机器人群系统
CN106814408A (zh) * 2017-01-12 2017-06-09 浙江大学 基于rov平台的水下文物集成探测装置
CN108008454A (zh) * 2017-11-28 2018-05-08 中南大学 一种浮游式海底高精度瞬变电磁探测系统
CN108037771A (zh) * 2017-12-07 2018-05-15 淮阴师范学院 一种多自治水下机器人搜索控制系统及其方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105329418A (zh) * 2015-12-11 2016-02-17 四方继保(武汉)软件有限公司 一种无人船载水下机器人混合系统
CN106335617A (zh) * 2016-09-18 2017-01-18 河海大学常州校区 水下机器人供能系统、水下机器人及水下机器人群系统
CN106814408A (zh) * 2017-01-12 2017-06-09 浙江大学 基于rov平台的水下文物集成探测装置
CN108008454A (zh) * 2017-11-28 2018-05-08 中南大学 一种浮游式海底高精度瞬变电磁探测系统
CN108037771A (zh) * 2017-12-07 2018-05-15 淮阴师范学院 一种多自治水下机器人搜索控制系统及其方法
CN108769578A (zh) * 2018-05-17 2018-11-06 南京理工大学 一种基于多路摄像头的实时全景成像系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卫恒 等: ""基于ORB 的多机器人SLAM地图融合算法"", 《装甲兵工程学院学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162562A (zh) * 2020-10-20 2021-01-01 中国石油大学(华东) 一种多平台基桩rov协同作业系统及方法
CN114442655A (zh) * 2020-11-04 2022-05-06 中国科学院沈阳自动化研究所 一种基于卫星通信的rov远程驾驶监控方法
CN114778648A (zh) * 2022-04-24 2022-07-22 深圳科瑞德健康科技有限公司 一种水溶液氧化还原电位值的测试系统及测量方法
CN114778648B (zh) * 2022-04-24 2023-10-31 深圳科瑞德健康科技有限公司 一种水溶液氧化还原电位值的测试系统及测量方法
CN116972815A (zh) * 2023-08-04 2023-10-31 中国海洋大学 一种基于多平台的河口羽流锋面观测系统的工作方法

Similar Documents

Publication Publication Date Title
CN110954965A (zh) 一种多rov系统及浅水珊瑚探测方法
Zereik et al. Challenges and future trends in marine robotics
CN104142688B (zh) 一种水下机器人平台
CN106843242B (zh) 一种水下船体清洁的群体机器人系统
JP6001085B2 (ja) 歩行と遊泳の複合移動機能を有する多関節海底ロボット及びこれを用いた海底探査システム
CN109515086A (zh) 海洋探测机器人及其作业方法
Huntsberger et al. Intelligent autonomy for unmanned surface and underwater vehicles
CN103057678A (zh) 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统
CN111348161B (zh) 一种应用于海洋牧场的资源环境监测系统及其操作方法
CN209426501U (zh) 海洋探测机器人
CN112644646A (zh) 大水域鱼类资源调查的水下机器人智能系统及工作方法
CN112644647A (zh) 采用海上流动实验室系统对深渊进行考察作业的方法
DE102018217164B4 (de) Verfahren und System zur Datenanalyse
CN109613559A (zh) 基于视觉和激光雷达的水陆边界漂浮物判别装置与方法
CN111308576A (zh) 一种多auv系统及深海珊瑚探测方法
Karapetyan et al. Human diver-inspired visual navigation: Towards coverage path planning of shipwrecks
TWI304038B (zh)
CN101863528A (zh) 一种蓝藻处理方法及其系统
Inzartsev et al. Detection and inspection of local bottom objects with the help of a group of special-purpose AUVs
Ferreira et al. Enhancing autonomous capabilities and human-robot interaction for unmanned surface vehicles
CN212586555U (zh) 一种用于海洋牧场鱼类资源声光综合探测识别与评估装置
Pedersen et al. Ghost nets in Danish waters: Appendices
CN114046777A (zh) 适用于大范围浅海珊瑚礁制图的水下光学成像系统及方法
Godø et al. The Hermes Lander project-the technology, the data, and the evaluation of concept and results
Casalino et al. ISME research trends: Marine robotics for emergencies at sea

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403

RJ01 Rejection of invention patent application after publication