CN110686669A - 基于定位补偿与视觉感知的rov海参分布统计方法及装置 - Google Patents

基于定位补偿与视觉感知的rov海参分布统计方法及装置 Download PDF

Info

Publication number
CN110686669A
CN110686669A CN201910896894.XA CN201910896894A CN110686669A CN 110686669 A CN110686669 A CN 110686669A CN 201910896894 A CN201910896894 A CN 201910896894A CN 110686669 A CN110686669 A CN 110686669A
Authority
CN
China
Prior art keywords
positioning
sea cucumber
rov
underwater
compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910896894.XA
Other languages
English (en)
Other versions
CN110686669B (zh
Inventor
李坤乾
宋大雷
胡少宝
张永昌
李崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN201910896894.XA priority Critical patent/CN110686669B/zh
Publication of CN110686669A publication Critical patent/CN110686669A/zh
Application granted granted Critical
Publication of CN110686669B publication Critical patent/CN110686669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Abstract

本发明提供了一种基于定位补偿与视觉感知的ROV海参分布统计方法及装置，涉及海参养殖及捕捞技术领域，包括地形图构建与更新模块、ROV快速定位模块和海参识别计数与多元定位补偿模块，地形图构建模块实现待统计海底区域的地形构建，并根据测深及定位数据对历史地形数据进行更新；ROV快速定位与补偿模块利用历史地形数据中的刚性定位锚点实现快速的ROV粗定位；海参识别计数与多元定位补偿模块基于视觉感知的海参目标识别，并通过联立以惯性导航、地形匹配、刚性和柔性定位锚点信息为载体的多元约束，实现对ROV位置的精确定位补偿，进而在海图中实现对定位点的准确海参分布标记；该方法及装置实现了视野间重复计数的剔除，提高了ROV水下作业的效率和精度。

Description

基于定位补偿与视觉感知的ROV海参分布统计方法及装置
技术领域
本发明涉及海参养殖及捕捞技术领域，尤其是一种基于多元定位补偿与视觉感知的ROV海参栖息分布统计方法及装置。
背景技术
目前，水下机器人定位技术由于其灵活性和便利性，被广泛应用于水下作业任务中。其中，遥控式水下机器人(Remotely Operated Underwater Vehicle,ROV)以及自主式水下机器人(Autonomous Underwater Vehicle,AUV)是两类最重要的无人水下机器人。视频目标识别技术随着高性价比影像采集设备的日益普及，越来越多的水下机器人配备了高性能影像传感器，可获得较为清晰的水底视频影像数据。
在海参人工增殖与捕捞领域，海参栖息分布的统计可为增殖投苗与捕捞作业规划提供丰富的先验指导信息，从而优化参苗投放密度并提高海参采捕效率。然而，目前海参栖息分布的统计仍采用人工方式，即潜水实地观察或拍摄视频进行人工统计。人工统计方式主观性强，难以获得准确的统计分布数据，且水下作业强度高，难以长时间作业，应用于成规模的海参牧场有较大困难。
如果将水下机器人定位技术和视频目标识别技术应用于海参栖息分布统计当中，现有水下机器人定位技术方案仍存在如下的缺陷，例如，由于受泥沙流动等因素的影响，同一位置区域的历史地形数据与实时采集数据或存在一定偏差，加之缺乏具有不变性的定位锚点信息，基于传统地形定位补偿的技术手段容易发生偏离。此外，采用滑窗式搜索策略的地形匹配方法效率较低，较难实时地获取定位信息，效率较低，无法满足海参栖息分布统计任务中的实际应用需求。视频目标识别技术同样无法满足海参栖息分布统计任务需求；首先，水下现有海参识别技术方案仅面向图像数据，无法结合分布统计任务中的计数需求进行有效的视频处理。事实上，受到水下复杂成像环境的干扰，面向水下视频的目标识别技术仍存在较大困难。常规视频目标识别技术中经常采用的显著性检测、运动估计等手段并不适用于复杂水底环境的海参识别任务，进而影响海参栖息分布统计精度。而且，上述方法未针对复杂的水下视频检测任务设计有效的结果校验及补偿策略难以应用于真实的水下作业场景。
惯性导航技术往往存在误差累积的缺陷，需要借助偏离地形配准等手段进行定位补偿，例如：(1)公开号为CN104154911A的中国专利公开了一种具有旋转不变性的海底地形二维匹配辅助导航方法，该方法将主导航误差区域范围内的模版高程阵列值以及实时采集高程阵列值转化为灰度图，采用旋转不变的图像矩函数作为特征，对二者进行匹配，实现主导航系统外的辅助定位。(2)公开号为CN104390646A的中国专利公开了一种水下潜器地形辅助惯性导航系统的位置匹配方法，该方法计算矩形区域内的水深累积直方图作为特征，通过滑动窗搜索的方式获取满足匹配准则的最优匹配中心位置，从而实现辅助定位。(3)公开号为CN109186610A的中国专利公开了一种AUV地形匹配导航的鲁棒BSLAM方法，该方法通过对测深数据与惯导数据的处理和闭环检测，能够减少测量数据噪声对导航精度的干扰。
目标计数技术中：(1)公开号为CN108921822A的中国专利公开了一种基于卷积神经网络的图像目标计数方法，该方法通过引入鲁棒增强层在提高模型检测鲁棒性的同时，也降低模型的计算复杂度；同时该方法充分利用多尺度信息，提高计算效率和性能。(2)公开号为CN109886085A的中国专利公开了一种基于DarkNet目标检测框架的人群计数方法，通过多场景下获取人群图像数据，并进行训练集样本扩充，提升了检测效率与精度。上述目标技术由于未引入定位信息，无法区分不同视野间的重叠关系，无法适用于水下大范围作业任务。
针对海参栖息分布统计这一需求，需要提供一种基于多元定位补偿与视觉感知的ROV海参栖息分布统计方法及装置，实现全自动的精确海参分布统计。
发明内容
为了实现全自动的精确海参分布统计，完成视野间重复计数的剔除，提高了ROV水下作业的效率和精度，本发明提供了一种基于定位补偿与视觉感知的ROV海参分布统计方法及装置，具体技术方案如下。
一种基于定位补偿与视觉感知的ROV海参分布统计方法，包括地形图构建与更新模块、ROV快速定位模块和海参识别计数与多元定位补偿模块；地形图构建与更新模块利用历史水下地形数据或探测水下地形数据绘制初始水下地形图并划分网格，结合不变形地形特征筛选刚性定位锚点；ROV快速定位模块通过刚性定位锚点和已识别海参的柔性定位锚点进行局部定位；海参识别计数与多元定位补偿模块利用短序列目标匹配及长序列轨迹关联验证的算法进行海参目标识别和计数；通过联立以惯性导航、地形匹配、刚性和柔性定位锚点信息为载体的多元约束对ROV位置的精确定位补偿，在水下地形图中标记海参的定位分布。
优选的是，地形图构建与更新模块实现水下地形图构建与更新的步骤包括：
步骤S101.搭载多波束探测仪的拖船进入指定海域，结合多波束探测仪的测深数据和船载GPS绘制初始水下地形图；或者直接载入历史水下地形数据绘制得到初始水下地形图；
步骤S102.根据初始水下地形图进行网格划分，划分为n个网格区域，将网格区域分别标记为G＝{g1,g2,…,gn}；
步骤S103.在每个网格区域内筛选不变形地形点作为刚性定位锚点记为A＝{a1,a2,…,an}；
步骤S104.更新并修正水深数据，得到水下地形图。
还优选的是，ROV快速定位模块的定位步骤包括：
步骤S201.根据船载GPS的定位信息投放遥控式水下机器人ROV至指定网格区域gi；
步骤S202.遥控式水下机器人ROV探测得到的深度数据，与多波束探测仪探测得到的测深数据联立，求解实际水深数据；
步骤S203.根据实际水深数据输入计算网格区域的局部极值点，并与步骤S103中的刚性定位锚点进行快速匹配，同时计算局部极值点与多组刚性定位锚点的相对位置，得到ROV在当前水下地形图中的粗定位pi；
步骤S204.控制ROV在当前网格区域移动，记录运动时间段Δtk和位置偏移量，通过与刚性定位锚点的位置进行实时比对，并实时矫正位置，记录ROV的深度和测深数据。
还优选的是，步骤S204得到的测深数据反馈至地形图构建与更新模块中用于步骤S104更新并修正水深数据。
还优选的是，海参识别计数与多元定位补偿模块标记海参栖息定位分布的步骤包括：
步骤S301.海参栖息分布图初始化，采集当前位置定位点pi的静态图像Ipi，以及步骤S204中ROV在时间段Δtk内采集的视频影像；
步骤S302.对时间段Δtk内的视频影像数据按帧间隔采样，通过海参样本集对深度学习框架目标识别方法进行训练，训练后识别海参目标；
步骤S303.采用短序列目标匹配和长序列轨迹关联策略对视频影像数据中识别目标的可靠性验证，利用时空一致性约束有效剔除误检并对漏检进行补全，然后将优化后的海参目标识别结果标记于静态图像Ipi中；
步骤S304.选取静态图像Ipi内视野边界处的海参目标或水深数据的局部极值点作为新建柔性定位锚点Bi＝{b1,b2,…,bn}，其中n为不小于4的整数，所述新建柔性定位锚点用于视野拼接、重复检测结果剔除以及多元定位补偿；
步骤S305.联立惯导定位、地形匹配、刚性定位锚点和柔性定位锚点对新建柔性定位锚点和ROV位置进行定位补偿；
步骤S306.利用定位补偿后的得到的定位信息判断当前视野与已测区域是否重叠：若重叠，根据两重叠视野的柔性锚点估计透视矩阵H，并根据透视矩阵将两幅图像进行拼接，进而剔除重复检测结果；若不重叠，记录当前定位信息，更新海参栖息定位分布统计图。
还优选的是，历史水下地形数据为高程图时，以高斯差分金字塔的极值点作为刚性定位锚点。
还优选的是，遥控式水下机器人ROV搭载有压力传感器、多波束测深仪、水下惯导系统以及影像采集设备；深度学习框架目标识别方法具体为YOLOv3深度学习框架目标识别方法。
一种基于定位补偿与视觉感知的ROV海参分布统计装置，包括
拖船单元，用于搭载遥控式水下机器人、多波束探测仪、船载GPS和计算机单元；地形图输入单元，用于输入或绘制初始水下地形图；地形图构件更新单元，用于网格划分和刚性定位锚点确定，更新并修正水下地形图；遥控式水下机器人单元，用于惯导定位、地形匹配、采集视频影像以及进行水下作业；海参识别计数单元，用于识别确定海参位置；多元定位补偿单元，对新建柔性定位锚点和ROV的位置进行定位补偿；计算机单元包括存储器和处理器，所述储存器用于存储计算机程序和统计数据，所述处理器，用于执行所述计算机程序时实现如上所述一种基于定位补偿与视觉感知的ROV海参分布统计方法的步骤。
进一步优选的是，遥控式水下机器人配备影像传感器采集水下视频影像，所述遥控式水下机器人配备压力传感器通过水压换算确定深度信息。
本发明的有益效果包括，
(1)提供了一种多元定位补偿机制用于提高ROV的定位精度和定位效率，通过引入具有不变性特征的刚性定位锚点以及已识别海参的柔性定位锚点，实现快速的局部点匹配，进而加速ROV定位；还通过引入差分高程阵列的定位补偿约束，缓解因局部地形演变而引起的定位补偿偏移。
(2)利用了基于短序列目标匹配及长序列轨迹关联验证的海参目标识别与计数方法，利用帧间时空关联信息，通过目标的片段间的轨迹关联策略有效地减少误检，提高海参计数精度，引入基于定位信息及柔性定位锚点拼接的重复检测剔除机制，进一步提高分布统计精度。
(3)该方法及装置通过联立水下惯导系统，与历史水下地形数据进行匹配，大大提升水下定位效率和精度；还利用时空一致性约束有效剔除误检并对漏检进行补全；采用网格化的分布统计策略，以能够有效观察的最大视野为最小统计区域单位，利用柔性定位锚点对相邻视野进行拼接，实现对重复统计的有效剔除，提高了分布统计精度。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于定位补偿与视觉感知的ROV海参分布统计方法流程图；
具体实施方式
结合图1所示，本发明提供的一种基于定位补偿与视觉感知的ROV海参分布统计方法及装置具体实施方式如下。
海参栖息分布的统计对优化参苗投放密度并提高海参采捕效率具有重要意义，在基于水下机器人的海参栖息分布统计任务中，需要借助定位技术将当前位置点的统计分布情况进行存储和标记，并利用定位信息的唯一性去除目标重复计数。而面向水下机器人的定位方法主要依赖惯性导航技术，但惯性导航技术存在误差累积的缺陷，往往需要借助偏离地形配准等手段进行定位补偿。
在基于水下机器人的海参栖息分布统计任务中，需借助视频目标识别技术对视频视野内的海参目标进行识别和计数，通过对海参目标样本的构建及模型参数训练，实现对图像中海参目标的检测功能。鉴于常用的统计计数方法仅适用于静态图像目标检测，或未针对复杂的水下视频检测任务设计有效的结果校验及补偿策略，难以应用于真实的水下作业场景。同样目标技术由于未引入定位信息，无法区分不同视野间的重叠关系，也无法适用于水下大范围作业任务。
本发明一种基于多元定位补偿与视觉感知的ROV海参栖息分布统计方法及装置，其流程框图如图1所示。技术流程包含地形图构建与更新模块、ROV快速定位模块和海参识别计数与多元定位补偿模块这三个模块。具体地，在地形图构建与更新模块实现待统计海底区域的地形构建，并且在实际的分布统计作业过程中根据测深及定位数据对历史地形数据进行更新；ROV快速定位模块，借助历史地形数据中的刚性定位锚点实现快速的ROV粗定位；在海参识别计数与多元定位补偿模块中，实现基于视觉感知的海参目标识别，并通过联立以惯性导航、地形匹配、刚性和柔性定位锚点信息为载体的多元约束，实现对ROV位置的精确定位补偿，进而在水下地形图中实现对该定位点的准确海参分布标记。
一种基于定位补偿与视觉感知的ROV海参分布统计方法具体包括地形图构建与更新模块、ROV快速定位模块和海参识别计数与多元定位补偿模块。地形图构建与更新模块利用历史水下地形数据或探测水下地形数据绘制初始水下地形图并划分网格，结合不变形地形特征筛选刚性定位锚点。ROV快速定位模块通过刚性定位锚点和已识别海参的柔性定位锚点进行局部定位。海参识别计数与多元定位补偿模块利用短序列目标匹配及长序列轨迹关联验证的算法进行海参目标识别和计数；通过联立以惯性导航、地形匹配、刚性和柔性定位锚点信息为载体的多元约束对ROV位置的精确定位补偿，在水下地形图中标记海参的定位分布。
其中，地形图构建与更新模块实现水下地形图构建与更新的步骤包括：
步骤S101.搭载多波束探测仪的拖船进入指定海域，结合多波束探测仪的测深数据和船载GPS绘制初始水下地形图；或者直接载入历史水下地形数据绘制得到初始水下地形图。
步骤S102.根据初始水下地形图进行网格划分，划分为n个网格区域，将网格区域分别标记为G＝{g1,g2,…,gn}。
步骤S103.在每个网格区域内筛选不变形地形点作为刚性定位锚点记为A＝{a1,a2,…,an}。历史水下地形数据为高程图时，以高斯差分金字塔的极值点作为刚性定位锚点。
步骤S104.更新并修正水深数据，得到水下地形图。包括在作业过程中，以步骤S204返回的ROV深度信息及多波束测深数据为输入，与历史水下地形数据匹配，并对显著偏离的水深历史数据进行更新和修正。
其中，ROV快速定位模块的定位步骤包括：
步骤S201.根据船载GPS的定位信息投放遥控式水下机器人ROV至指定网格区域gi；遥控式水下机器人ROV搭载有压力传感器、多波束测深仪、水下惯导系统以及影像采集设备；深度学习框架目标识别方法具体为YOLOv3等深度学习框架目标识别方法。YOLOv3是由Redmon等人提出的一种基于深度卷积神经网络的经典目标检测方法，该方法基于DarkNet-19网络模型，进而在该模型基础上引入残差网络，设计多标签分类预测策略，并利用跨尺度预测机制提升目标(尤其是弱小目标)的检测精度。
步骤S202.遥控式水下机器人ROV探测得到的深度数据，与多波束探测仪探测得到的测深数据联立，求解实际水深数据。
步骤S203.根据实际水深数据输入计算网格区域的局部极值点，并与步骤S103中的刚性定位锚点进行快速匹配，同时计算局部极值点与多组刚性定位锚点的相对位置，得到ROV在当前水下地形图中的粗定位pi。
步骤S204.控制ROV在当前网格区域移动，记录运动时间段Δtk和位置偏移量，通过与刚性定位锚点的位置进行实时比对，并实时矫正位置，记录ROV的深度和测深数据。
上述的步骤S204得到的测深数据反馈至地形图构建与更新模块中用于步骤S104更新并修正水深数据。
其中，海参识别计数与多元定位补偿模块标记海参栖息定位分布的步骤包括：
步骤S301.海参栖息分布图初始化，采集当前位置定位点pi的静态图像Ipi，以及步骤S204中ROV在时间段Δtk内采集的视频影像。
步骤S302.对时间段Δtk内的视频影像数据按帧间隔采样，通过海参样本集对深度学习框架目标识别方法进行训练，训练后识别海参目标。
步骤S303.采用短序列目标匹配和长序列轨迹关联策略对视频影像数据中识别目标的可靠性验证，利用时空一致性约束有效剔除误检并对漏检进行补全，然后将优化后的海参目标识别结果标记于静态图像Ipi中。
步骤S304.选取静态图像Ipi内视野边界处的海参目标或水深数据的局部极值点作为新建柔性定位锚点Bi＝{b1,b2,…,bn}，其中n为不小于4的整数，所述新建柔性定位锚点用于视野拼接、重复检测结果剔除以及多元定位补偿。
步骤S305.联立惯导定位、地形匹配、刚性定位锚点和柔性定位锚点对新建柔性定位锚点和ROV位置进行定位补偿。
步骤S306.利用定位补偿后的得到的定位信息判断当前视野与已测区域是否重叠：若重叠，根据两重叠视野的柔性锚点估计透视矩阵H，并根据透视矩阵将两幅图像进行拼接，进而剔除重复检测结果；若不重叠，记录当前定位信息，更新海参栖息定位分布统计图。
一种基于定位补偿与视觉感知的ROV海参分布统计装置，包括拖船单元，用于搭载遥控式水下机器人、多波束探测仪、船载GPS和计算机单元；地形图输入单元，用于输入或绘制初始水下地形图；地形图构件更新单元，用于网格划分和刚性定位锚点确定，更新并修正水下地形图；遥控式水下机器人单元，用于惯导定位、地形匹配、采集视频影像以及进行水下作业；海参识别计数单元，用于识别确定海参位置；多元定位补偿单元，对新建柔性定位锚点和ROV的位置进行定位补偿；计算机单元包括存储器和处理器，储存器用于存储计算机程序和统计数据，处理器用于执行所述计算机程序时实现如上所述一种基于定位补偿与视觉感知的ROV海参分布统计方法的步骤。
实施例描述的模块及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
与其他水下机器人定位技术相比，本发明提供的一种基于定位补偿与视觉感知的ROV海参分布统计方法及装置，创新性地引入了网格划分及刚性锚点辅助定位策略，实现了ROV快速粗定位，通过进一步联立水下惯导系统，与历史水下地形数据进行匹配，可大大提升水下定位效率和精度。另外，采用短序列目标匹配和长序列轨迹关联策略，实现视频目标检测结果的可靠性验证，利用时空一致性约束有效剔除误检并对漏检进行补全。网格化的分布统计策略，以能够有效观察的最大视野为最小统计区域单位，并利用柔性锚点对相邻视野进行拼接，实现对重复统计的有效剔除，提高了分布统计精度。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (9)

1.一种基于定位补偿与视觉感知的ROV海参分布统计方法，其特征在于，包括地形图构建与更新模块、ROV快速定位模块和海参识别计数与多元定位补偿模块；
所述地形图构建与更新模块利用历史水下地形数据或探测水下地形数据绘制初始水下地形图并划分网格，结合不变形地形特征筛选刚性定位锚点；
所述ROV快速定位模块通过刚性定位锚点和已识别海参的柔性定位锚点进行局部定位；
所述海参识别计数与多元定位补偿模块利用短序列目标匹配及长序列轨迹关联验证的算法进行海参目标识别和计数；通过联立以惯性导航、地形匹配、刚性和柔性定位锚点信息为载体的多元约束对ROV位置的精确定位补偿，在水下地形图中标记海参的定位分布。
2.根据权利要求1所述的一种基于定位补偿与视觉感知的ROV海参分布统计方法，其特征在于，所述地形图构建与更新模块实现水下地形图构建与更新的步骤包括：
步骤S101.搭载多波束探测仪的拖船进入指定海域，结合多波束探测仪的测深数据和船载GPS绘制初始水下地形图；或者直接载入历史水下地形数据绘制得到初始水下地形图；
步骤S102.根据初始水下地形图进行网格划分，划分为n个网格区域，将网格区域分别标记为G＝{g1,g2,…,gn}；
步骤S103.在每个网格区域内筛选不变形地形点作为刚性定位锚点记为A＝{a1,a2,…,an}；
步骤S104.更新并修正水深数据，得到水下地形图。
3.根据权利要求2所述的一种基于定位补偿与视觉感知的ROV海参分布统计方法，其特征在于，所述ROV快速定位模块的定位步骤包括：
步骤S201.根据船载GPS的定位信息投放遥控式水下机器人ROV至指定网格区域gi；
步骤S202.遥控式水下机器人ROV探测得到的深度数据，与多波束探测仪探测得到的测深数据联立，求解实际水深数据；
步骤S203.根据实际水深数据输入计算网格区域的局部极值点，并与步骤S103中的刚性定位锚点进行快速匹配，同时计算局部极值点与多组刚性定位锚点的相对位置，得到ROV在当前水下地形图中的粗定位pi；
步骤S204.控制ROV在当前网格区域移动，记录运动时间段Δtk和位置偏移量，通过与刚性定位锚点的位置进行实时比对，并实时矫正位置，记录ROV的深度和测深数据。
4.根据权利要求3所述的一种基于定位补偿与视觉感知的ROV海参分布统计方法，其特征在于，所述步骤S204得到的测深数据反馈至地形图构建与更新模块中用于步骤S104更新并修正水深数据。
5.根据权利要求3所述的一种基于定位补偿与视觉感知的ROV海参分布统计方法，其特征在于，所述海参识别计数与多元定位补偿模块标记海参栖息定位分布的步骤包括：
步骤S301.海参栖息分布图初始化，采集当前位置定位点pi的静态图像Ipi，以及步骤S204中ROV在时间段Δtk内采集的视频影像；
步骤S302.对时间段Δtk内的视频影像数据按帧间隔采样，通过海参样本集对深度学习框架目标识别方法进行训练，训练后用于识别海参目标；
步骤S303.采用短序列目标匹配和长序列轨迹关联策略对视频影像数据中识别目标的可靠性验证，利用时空一致性约束有效剔除误检并对漏检进行补全，然后将优化后的海参目标识别结果标记于静态图像Ipi中；
步骤S304.选取静态图像Ipi内视野边界处的海参目标或水深数据的局部极值点作为新建柔性定位锚点Bi＝{b1,b2,…,bn}，其中n为不小于4的整数，所述新建柔性定位锚点用于视野拼接、重复检测结果剔除以及多元定位补偿；
步骤S305.联立惯导定位、地形匹配、刚性定位锚点和柔性定位锚点对新建柔性定位锚点和ROV位置进行定位补偿；
步骤S306.利用定位补偿后的得到的定位信息判断当前视野与已测区域是否重叠：若重叠，根据两重叠视野的柔性锚点估计透视矩阵H，并根据透视矩阵将两幅图像进行拼接，进而剔除重复检测结果；若不重叠，记录当前定位信息，更新海参栖息定位分布统计图。
6.根据权利要求2所述的一种基于定位补偿与视觉感知的ROV海参分布统计方法，其特征在于，所述历史水下地形数据为高程图时，以高斯差分金字塔的极值点作为刚性定位锚点。
7.根据权利要求5所述的一种基于定位补偿与视觉感知的ROV海参分布统计方法，其特征在于，所述遥控式水下机器人ROV搭载有压力传感器、多波束测深仪、水下惯导系统以及影像采集设备；所述深度学习框架目标识别方法具体为YOLOv3深度学习框架目标识别方法。
8.一种基于定位补偿与视觉感知的ROV海参分布统计装置，其特征在于，包括
拖船单元，用于搭载遥控式水下机器人、多波束探测仪、船载GPS和计算机单元；地形图输入单元，用于输入或绘制初始水下地形图；地形图构件更新单元，用于网格划分和刚性定位锚点确定，更新并修正水下地形图；遥控式水下机器人单元，用于惯导定位、地形匹配、采集视频影像以及进行水下作业；海参识别计数单元，用于识别确定海参位置；多元定位补偿单元，对新建柔性定位锚点和ROV的位置进行定位补偿；计算机单元包括存储器和处理器，所述储存器用于存储计算机程序和统计数据，所述处理器用于执行所述计算机程序时实现如权利要求1至7任一项所述一种基于定位补偿与视觉感知的ROV海参分布统计方法的步骤。
9.根据权利要求8所述的一种基于定位补偿与视觉感知的ROV海参分布统计装置，其特征在于，所述遥控式水下机器人配备影像传感器采集水下视频影像，所述遥控式水下机器人配备压力传感器通过水压换算确定深度信息。
CN201910896894.XA 2019-09-23 2019-09-23 基于定位补偿与视觉感知的rov海参分布统计方法及装置 Active CN110686669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910896894.XA CN110686669B (zh) 2019-09-23 2019-09-23 基于定位补偿与视觉感知的rov海参分布统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910896894.XA CN110686669B (zh) 2019-09-23 2019-09-23 基于定位补偿与视觉感知的rov海参分布统计方法及装置

Publications (2)

Publication Number Publication Date
CN110686669A true CN110686669A (zh) 2020-01-14
CN110686669B CN110686669B (zh) 2021-03-30

Family

ID=69109730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910896894.XA Active CN110686669B (zh) 2019-09-23 2019-09-23 基于定位补偿与视觉感知的rov海参分布统计方法及装置

Country Status (1)

Country Link
CN (1) CN110686669B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189598A (zh) * 2021-05-13 2021-07-30 无锡德林海环保科技股份有限公司 一种湖床盆地快速定位及淤泥分布及厚度快速测定方法
CN114190341A (zh) * 2021-12-14 2022-03-18 中国海洋大学 捕集装置和海参捕集机器人
CN115951361A (zh) * 2023-03-13 2023-04-11 珠江水利委员会珠江水利科学研究院 基于大数据平台的海上风电桩的智能地形扫测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036013A1 (de) * 2009-09-24 2011-03-31 Atlas Elektronik Gmbh Verfahren und vorrichtung zum bestimmen der position eines wasserfahrzeugs
CN102042835A (zh) * 2010-11-05 2011-05-04 中国海洋大学 自主式水下机器人组合导航系统
CN104299248A (zh) * 2014-11-04 2015-01-21 哈尔滨工程大学 利用前视声呐图像对水下多个动态目标运动预测的方法
CN105787962A (zh) * 2016-02-25 2016-07-20 哈尔滨工程大学 一种基于uuv水下回收的单目视觉跟踪方法
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
US10061320B2 (en) * 2017-01-18 2018-08-28 Aquabotix Technology Corporation Remotely operated vehicle camera apparatus
CN208021692U (zh) * 2018-03-27 2018-10-30 中国海洋大学 一种集rov与水下助力功能于一体的新型潜水器
CN108919324A (zh) * 2018-03-20 2018-11-30 中国海洋大学 一种水下滑翔机的定位方法
CN109344717A (zh) * 2018-09-01 2019-02-15 哈尔滨工程大学 一种多阈值动态统计的深海目标在线检测识别方法
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036013A1 (de) * 2009-09-24 2011-03-31 Atlas Elektronik Gmbh Verfahren und vorrichtung zum bestimmen der position eines wasserfahrzeugs
CN102042835A (zh) * 2010-11-05 2011-05-04 中国海洋大学 自主式水下机器人组合导航系统
CN104299248A (zh) * 2014-11-04 2015-01-21 哈尔滨工程大学 利用前视声呐图像对水下多个动态目标运动预测的方法
CN105787962A (zh) * 2016-02-25 2016-07-20 哈尔滨工程大学 一种基于uuv水下回收的单目视觉跟踪方法
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
US10061320B2 (en) * 2017-01-18 2018-08-28 Aquabotix Technology Corporation Remotely operated vehicle camera apparatus
CN108919324A (zh) * 2018-03-20 2018-11-30 中国海洋大学 一种水下滑翔机的定位方法
CN208021692U (zh) * 2018-03-27 2018-10-30 中国海洋大学 一种集rov与水下助力功能于一体的新型潜水器
CN109344717A (zh) * 2018-09-01 2019-02-15 哈尔滨工程大学 一种多阈值动态统计的深海目标在线检测识别方法
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI JI-YONG 等: "Design and Vision Based Autonomous Capture of Sea Organism With Absorptive Type Remotely Operated Vehicle", 《IEEE ACCESS》 *
宋大雷 等: "服务机器人工作环境下导航定位仿真研究", 《计算机仿真》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189598A (zh) * 2021-05-13 2021-07-30 无锡德林海环保科技股份有限公司 一种湖床盆地快速定位及淤泥分布及厚度快速测定方法
CN113189598B (zh) * 2021-05-13 2021-12-07 无锡德林海环保科技股份有限公司 一种湖床盆地快速定位及淤泥分布及厚度快速测定方法
CN114190341A (zh) * 2021-12-14 2022-03-18 中国海洋大学 捕集装置和海参捕集机器人
CN115951361A (zh) * 2023-03-13 2023-04-11 珠江水利委员会珠江水利科学研究院 基于大数据平台的海上风电桩的智能地形扫测方法
CN115951361B (zh) * 2023-03-13 2023-05-30 珠江水利委员会珠江水利科学研究院 基于大数据平台的海上风电桩的智能地形扫测方法

Also Published As

Publication number Publication date
CN110686669B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN110686669B (zh) 基于定位补偿与视觉感知的rov海参分布统计方法及装置
CN104062973B (zh) 一种基于图像标志物识别的移动机器人slam方法
Johannsson et al. Imaging sonar-aided navigation for autonomous underwater harbor surveillance
Ribas et al. Underwater SLAM in man‐made structured environments
CN111486845B (zh) 基于海底地形匹配的auv多策略导航方法
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
CN109815300B (zh) 一种车辆定位方法
CN112146654B (zh) 基于关键约束帧的前视成像声呐水下定位与导航方法
JP2005528707A (ja) データ組間の特徴マッピング
CN110378411B (zh) 一种基于交互式多模型的支持向量机辅助水下机动目标跟踪方法
Williams et al. Adaptive underwater sonar surveys in the presence of strong currents
Vasilijevic et al. Monitoring of seagrass by lightweight AUV: A Posidonia oceanica case study surrounding Murter island of Croatia
US20140320653A1 (en) System and method for automated bottom feature navigator
CN113084817A (zh) 扰流环境下水下仿生机器人的物体搜索及抓取控制方法
CN112581610A (zh) 从多波束声呐数据中建立地图的鲁棒优化方法和系统
CN117173215A (zh) 一种跨摄像头的内河航船全程轨迹识别方法及系统
Li et al. Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety
CN111948658A (zh) 水底地貌影像识别匹配的深水区定位方法
Ruscio et al. Visual-based navigation strategy for autonomous underwater vehicles in monitoring scenarios
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法
CN115373383A (zh) 一种垃圾回收无人艇的自主避障方法、装置及相关设备
Zhang et al. Vehicle detection and tracking in remote sensing satellite vidio based on dynamic association
King et al. Sonar image registration for localization of an underwater vehicle
Ruscio et al. Information communication technology (ict) tools for preservation of underwater environment: A vision-based posidonia oceanica monitoring
Zalewski et al. Computer Vision-Based Position Estimation for an Autonomous Underwater Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant