CN113327297B - 基于深度学习的深海海底障碍物测量系统与识别方法 - Google Patents

基于深度学习的深海海底障碍物测量系统与识别方法 Download PDF

Info

Publication number
CN113327297B
CN113327297B CN202110735441.6A CN202110735441A CN113327297B CN 113327297 B CN113327297 B CN 113327297B CN 202110735441 A CN202110735441 A CN 202110735441A CN 113327297 B CN113327297 B CN 113327297B
Authority
CN
China
Prior art keywords
camera
obstacle
parameters
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110735441.6A
Other languages
English (en)
Other versions
CN113327297A (zh
Inventor
宁宇
金永平
彭佑多
何术东
颜健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN202110735441.6A priority Critical patent/CN113327297B/zh
Publication of CN113327297A publication Critical patent/CN113327297A/zh
Application granted granted Critical
Publication of CN113327297B publication Critical patent/CN113327297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明公开了基于深度学习的深海海底障碍物识别方法，包括以下步骤：对摄像机进行标定，获取摄像机的内外参数；收集图像数据集并进行预处理，离线训练模型并评估；采集海底地形图像，测量摄像机离障碍物的距离；基于深度学习语义分割技术对采集到的图像进行处理，并获得障碍物的特征参数；利用数据融合模块融合标定所得的内外参数和测得的距离参数，将障碍物的特征参数转换成障碍物的实际参数，从而得到障碍物的基本信息。本发明的识别方法将深度学习技术与摄像机标定和激光测距等方法进行融合，得到障碍物实际特征参数，将有利于移动式深海取样装备进行行驶可通行性分析、自动避障及路径规划研究。

Description

基于深度学习的深海海底障碍物测量系统与识别方法
技术领域
本发明涉及一种基于深度学习的深海海底障碍物测量系统与识别方法。
背景技术
海洋蕴含着极为丰富的多金属结核、富钴结壳及多金属硫化物等矿产资源，据目前初步调查认为：15％的深海区赋存有多金属结核资源，总储量约3万亿吨，主要赋存于水深3000m～6000m的海底表层；在大约635万平方公里的海底(占海底面积的1.7％)为富钴结壳所覆盖，据此推算，钴总量约为10亿吨，主要分布于约400m～4000m水深的海底，最大厚度约为24cm；多金属硫化物(又称热液硫化物)是近年来颇受关注的海底重金属矿产资源，经各国30多年调查，目前在海底己发现热液活动区有300多处，海底多金属硫化物产处的水深范围跨度很大，浅可为几米，深可达几千米，主要集中在1500m～3000m之间，占全部水深分布的68％。这些资源具有极大的科研探索和商业利用价值。深海矿产资源开采技术研究将关系到国家可持续发展和民族的长远利益。
深海矿产资源探采装备作为海底工程地质勘探和深海矿产资源开采所必备的关键技术装备，承载着许多探采任务。目前深海矿产探采装备在海底或近海底的行走方式从理论上有浮游式、拖曳式和自行式三种。虽然发展很成熟的水下机器人(ROV、AUV和HOV等)均是采用浮游运动，但深海采矿作业产生的较大反力影响到矿物探采工作，因此也不宜采用这种方式。拖拽式海底采矿车被证明在技术上可行，但也发现其行走方式难以控制且采集率、避障困难。目前在研的移动式深海取样装备基本都是采用履带自行式行走方式，其极强的负载能力和恶劣地形通过性能，使其成为诸多深海矿产资源探采装备的首选。自行移动式深海矿产资源探采装备的定位导航与控制必须采用遥控和自控方式，但深海电磁波减弱，其定位导航不用沿用GPS等成熟技术，而采用声学方法则会受到采矿装备强噪声干扰。因此自行式资源探采装备的定位导航存在大量有待解决的理论问题和关键技术。
目前针对海底光学视觉导航的研究应用并不广泛，尽管采用光学方法定位导航会由于海底沉积物的扰动而影响视觉效果，但对总体视觉效果影响并不大。因此采用光学视觉的方式识别海底障碍物，并进行避障分析和路径规划，以实现定位导航成为可能。但深海海底障碍物的形状、表层纹理都不尽相同，采用常规的模式识别方式并不能实现障碍物的识别，且也难以测量出障碍物的实际特征信息。
发明内容
为了解决上述技术问题，本发明提供一种结构简单、工作稳定可靠的基于深度学习的深海海底障碍物测量系统，并提供一种算法简单的基于深度学习的深海海底障碍物识别方法。
本发明解决上述问题的技术方案是：一种基于深度学习的深海海底障碍物测量系统，其特征在于，包括标定模块、数据预处理模块、数据采集模块、数据处理模块、数据融合模块和测量结果模块；
数据采集模块包括摄像机和激光测距传感器，摄像机用于采集海底地形图像，激光测距传感器用于测量摄像机离障碍物的距离；
所述标定模块用于摄像机标定，获取摄像机的内外参数；
数据预处理模块收集摄像机采集的图像数据集和激光测距传感器测量的距离数据并进行预处理，离线训练模型，评估训练后的模型，调整参数后并保存训练后的模型；
数据处理模块与数据采集模块相连，基于深度学习语义分割技术对摄像机采集的图像数据进行处理，并获得障碍物的像素面积、像素宽和高特征参数，然后送入数据融合模块；
数据融合模块与数据处理模块相连，基于图像数据和距离数据进行障碍物特征提取和障碍物距离获取，融合标定所得的内外参数和激光测距传感器测得的距离参数，将障碍物的特征参数转换成障碍物的实际参数，获取障碍物基本信息，并将最终结果送入测量结果模块。
一种基于深度学习的深海海底障碍物识别方法，包括以下步骤：
(1)通过标定模块对摄像机进行标定，获取摄像机的内外参数；
(2)利用数据预处理模块收集图像数据集并进行预处理，离线训练模型，评估训练后的模型，调整参数后并保存训练后的模型；
(3)采用数据采集模块的摄像机采集海底地形图像，同时采用激光测距传感器测量摄像机离障碍物的距离；
(4)基于深度学习语义分割技术对采集到的图像进行处理，并获得障碍物的特征参数：像素面积、像素宽和高；
(5)利用数据融合模块融合标定所得的内外参数和激光测距传感器测得的距离参数，将障碍物的特征参数转换成障碍物的实际参数，从而得到障碍物的基本信息；
(6)将障碍物信息发送到测量结果模块进行显示。
上述基于深度学习的深海海底障碍物识别方法，所述步骤(1)中，对摄像机进行标定的过程如下：
1-1)首先建立像素坐标系O0-uv、图像坐标系O1-xy、摄像机坐标系Oc-XcYcZc和世界坐标系Ow-XwYwZw，O0、O1、Oc、Ow分别为像素坐标系、图像坐标系、摄像机坐标系、世界坐标系的原点，设定空间中某点P在世界坐标系与摄像机坐标系下的齐次坐标分别为(Xw,Yw,Zw,1)T与(Xc,Yc,Zc,1)T，于是存在如下关系：
Figure BDA0003141435280000041
R为旋转矩阵、t为平移矩阵；通过几何变换、仿射变换得到点P的世界坐标系与其投影点p的坐标(u,v)的关系：
Figure BDA0003141435280000042
式中ax＝f/dx,ay＝f/dy，u0,v0，dx,dy为摄像机基本参数，f为摄像机焦距，M为摄像机内外参数，M1为内参，M2为外参；
1-2)选取60×60规格圆形标定板作为标定参照物，并采用开源算子完成标定，得到M1，M2；
1-3)摄像机得到圆形标定板图像，采用HALCON算子进行畸变校正，通过Blob分析或ROI工具选取圆形标定板在图像坐标系中两个圆，得到圆心坐标a1(R1，C1)，a2(R2，C2)，并求得a1、a2的像素距离为Di；结合M1和M2将像素圆心坐标a1、a2转化为实际坐标A1(Rw1，Cw1)，A2(Rw2，Cw2)，并求得A1和A2的实际距离为Dw；激光测距传感器测得摄像机到圆形标定板的距离为Lb。
上述基于深度学习的深海海底障碍物识别方法，所述步骤(2)具体步骤如下：
2-1)采集预设数量的深海海底地形图像数据样本，并进行预处理得到预设尺寸的子图像样本，对子图像样本进行标注，得到多个感兴趣的区域的子图像标注样本；
2-2)将子图像样本集和子图像标注样本集拆分为训练、验证和测试子集；创建字典对象，在字典中存储与键关联的元组，创建预处理参数、预处理样本数据集并保存文件；
2-3)在模型中添加compact预训练网络，设置图像维度参数到模型中，设置模型中的学习率、学习率动量参数、随机数种子参数，创建训练参数并训练模型；
2-4)通过loss或mean-iou评价指标判断模型优劣，并调整参数以适应项目需要的语义分割模型。
上述基于深度学习的深海海底障碍物识别方法，所述步骤(3)中，通过摄像机采集深海海底地形图像，并经过畸变校正处理。
上述基于深度学习的深海海底障碍物识别方法，所述步骤(4)中，将摄像机采集得到的图像数据，通过预处理得到的预设尺寸的待分割子图像，待分割子图像利用最佳语义分割模型得到对应的语义分割区域，从而实现障碍物区域特征的提取；激光测距传感器通过数据处理获得前方障碍物与摄像机的距离ld。
上述基于深度学习的深海海底障碍物识别方法，所述步骤(5)中，结合单目测距算法得比例系数
Figure BDA0003141435280000051
依据获取的障碍物区域特征:障碍物像素高度hd和障碍物与摄像机的距离ld，得障碍物实际高度Hd＝k*hd*ld。
上述基于深度学习的深海海底障碍物识别方法，所述步骤2-1)中，样本标注采用labeltool工具对预设尺寸的子图像样本进行标注得到多个感兴趣的区域的子图像标注样本。
上述基于深度学习的深海海底障碍物识别方法，所述步骤(6)中，测量结果模块所得的障碍物信息为障碍物实际特征参数信息，用于移动式深海取样装备进行行驶可通行性分析、自动避障及路径规划。
本发明的有益效果在于：
1、本发明的识别方法采用深度学习语义分割技术获得障碍物的基本信息，具有较高的准确性和实时性，增强了移动式深海取样装备在海底的环境感知能力，提高了其工作的灵活性。
2、本发明的识别方法将深度学习技术与摄像机标定和激光测距等方法进行融合，得到障碍物实际特征参数，将有利于移动式深海取样装备进行行驶可通行性分析、自动避障及路径规划研究。
3、本发明的识别系统采用深海摄像机和激光测距传感器进行系统识别和测量，通过测试所得结果能够满足工程实际的精度需求，相比来说，本发明降低了深海移动取样装备的硬件成本，为移动式深海取样装备的普及和工程化应用提供了新的解决方案。
4、本发明的识别系统配置安装简单方便，能集成到嵌入式开发系统，通过调整预处理图像数据集不仅能用于深海海底障碍物识别和测量还能用于无人机的障碍物识别和测量等，具有较为广泛的工程应用价值。
附图说明
图1为本发明识别方法的流程图。
图2为本发明深海海底障碍物识别障碍物区域显示图。
图3为本发明深海海底障碍物识别障碍物区域轮廓显示图。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
如图1所示，一种基于深度学习的深海海底障碍物测量系统，包括标定模块、数据预处理模块、数据采集模块、数据处理模块、数据融合模块和测量结果模块；
数据采集模块包括摄像机和激光测距传感器，摄像机用于采集海底地形图像，激光测距传感器用于测量摄像机离障碍物的距离；
所述标定模块用于摄像机标定，获取摄像机的内外参数；
数据预处理模块收集摄像机采集的图像数据和激光测距传感器测量的距离数据并进行预处理，离线训练模型，评估训练后的模型，调整参数后并保存训练后的模型；
数据处理模块与数据采集模块相连，对摄像机采集的图像数据和激光测距传感器测量的距离数据进行处理后送入数据融合模块；
数据融合模块与数据处理模块相连，基于图像数据和距离数据进行障碍物特征提取和障碍物距离获取，并将所得参数进行换算，获取障碍物基本信息，并将最终结果送入测量结果模块。
一种基于深度学习的深海海底障碍物识别方法，包括以下步骤：
(1)通过标定模块对摄像机进行标定，获取摄像机的内外参数。
对摄像机进行标定的过程如下：
1-1)首先建立像素坐标系O0-uv、图像坐标系O1-xy、摄像机坐标系Oc-XcYcZc和世界坐标系Ow-XwYwZw，O0、O1、Oc、Ow分别为像素坐标系、图像坐标系、摄像机坐标系、世界坐标系的原点，设定空间中某点P在世界坐标系与摄像机坐标系下的齐次坐标分别为(Xw,Yw,Zw,1)T与(Xc,Yc,Zc,1)T，于是存在如下关系：
Figure BDA0003141435280000081
R为旋转矩阵、t为平移矩阵；通过几何变换、仿射变换得到点P的世界坐标系与其投影点p的坐标(u,v)的关系：
Figure BDA0003141435280000082
式中ax＝f/dx,ay＝f/dy，u0,v0，dx,dy为摄像机基本参数，f为摄像机焦距，M为摄像机内外参数，M1为内参，M2为外参。
1-2)选取60×60规格圆形标定板作为标定参照物，并采用OpenCV和HALCON等开源算子完成标定，得到M1，M2。
1-3)摄像机得到圆形标定板图像，采用HALCON算子change_radial_distortion_cam_par、gen_radial_distortion_map和map_image进行畸变校正，通过Blob分析或ROI工具选取圆形标定板在图像坐标系中两个圆，得到圆心坐标a1(R1，C1)，a2(R2，C2)，并求得a1、a2的像素距离为Di；image_points_to_world_plane结合M1和M2将像素圆心坐标a1、a2转化为实际坐标A1(Rw1，Cw1)，A2(Rw2，Cw2)，并求得A1和A2的实际距离为Dw；激光测距传感器测得摄像机到圆形标定板的距离为Lb。
(2)利用数据预处理模块收集图像数据集并进行预处理，离线训练模型，评估训练后的模型，调整参数后并保存训练后的模型。
步骤(2)具体步骤如下：
2-1)采集预设数量的深海海底地形图像数据样本，并进行预处理得到预设尺寸的子图像样本，对子图像样本进行标注，得到多个感兴趣的区域的子图像标注样本；
样本标注采用labeltool工具对预设尺寸的子图像样本进行标注得到多个感兴趣的区域的子图像标注样本；
2-2)将子图像样本集和子图像标注样本集拆分为训练、验证和测试子集；创建字典对象，在字典中存储与键关联的元组，创建预处理参数、预处理样本数据集并保存文件；
2-3)在模型中添加compact预训练网络，设置图像维度参数(如宽、高和通道数)到模型中，设置模型中的学习率、学习率动量参数、随机数种子参数，创建训练参数并训练模型；
2-4)通过loss或mean-iou评价指标判断模型优劣，并调整参数以适应项目需要的语义分割模型。
(3)采用数据采集模块的摄像机采集海底地形图像，并经过畸变校正处理；同时采用激光测距传感器测量摄像机离障碍物的距离。
(4)基于深度学习语义分割技术对采集到的图像进行处理，并获得障碍物的特征参数：像素面积、像素宽和高。
将摄像机采集得到的图像数据，通过预处理得到的预设尺寸的待分割子图像，待分割子图像利用最佳语义分割模型得到对应的语义分割区域，从而实现障碍物区域特征的提取，其结果如图2～图3所示；激光测距传感器通过数据处理获得前方障碍物与摄像机的距离ld。
(5)利用数据融合模块融合标定所得的内外参数和激光测距传感器测得的距离参数，将障碍物的特征参数转换成障碍物的实际参数，从而得到障碍物的基本信息。
结合单目测距算法得比例系数
Figure BDA0003141435280000101
依据获取的障碍物区域特征:障碍物像素高度hd和障碍物与摄像机的距离ld，得障碍物实际高度Hd＝k*hd*ld。
(6)将障碍物信息发送到测量结果模块进行显示。
测量结果模块所得的障碍物信息为障碍物实际特征参数信息，用于移动式深海取样装备进行行驶可通行性分析、自动避障及路径规划。
表1给出了一个测量算例，选定标定板52×52mm规格，采用PS打印。通过标定可以得到摄像机的内外参数M1和M2，同时通过图像处理算子求得标定板内框像素距离Di和实际距离Dw，获取摄像机到圆形标定板的距离为Lb，可以求得比例系数k，具体的参数及数值如表1所示。
表1基于深度学习的深海海底障碍物识别与测量系统测量算例参数
Figure BDA0003141435280000102
表2基于深度学习的深海海底障碍物识别与测量系统测量算例结果
Figure BDA0003141435280000111
其测量结果如表2所示，从测量算例结果中可以看出，障碍物测量高度Hd在障碍物实际高度数值附近偏摆，偏摆的误差很大一部分原因是由于操作引起的。从表2中所得的测量结果显示，也能够满足移动式深海取样装备的智能化环境感知要求。

Claims (7)

1.一种基于深度学习的深海海底障碍物识别方法，是基于深海海底障碍物测量系统实现的，其特征在于，深海海底障碍物测量系统包括标定模块、数据预处理模块、数据采集模块、数据处理模块、数据融合模块和测量结果模块；
数据采集模块包括摄像机和激光测距传感器，摄像机用于采集海底地形图像，激光测距传感器用于测量摄像机离障碍物的距离；
所述标定模块用于摄像机标定，获取摄像机的内外参数；
数据预处理模块收集摄像机采集的图像数据集和激光测距传感器测量的距离数据并进行预处理，离线训练模型，评估训练后的模型，调整参数后并保存训练后的模型；
数据处理模块与数据采集模块相连，基于深度学习语义分割技术对摄像机采集的图像数据进行处理，并获得障碍物的像素面积、像素宽和高特征参数，然后送入数据融合模块；
数据融合模块与数据处理模块相连，基于图像数据和距离数据进行障碍物特征提取和障碍物距离获取，融合标定所得的内外参数和激光测距传感器测得的距离参数，将障碍物的特征参数转换成障碍物的实际参数，获取障碍物基本信息，并将最终结果送入测量结果模块；
识别方法包括以下步骤：
(1)通过标定模块对摄像机进行标定，获取摄像机的内外参数；
对摄像机进行标定的过程如下：
1-1)首先建立像素坐标系O0-uv、图像坐标系O1-xy、摄像机坐标系Oc-XcYcZc和世界坐标系Ow-XwYwZw，O0、O1、Oc、Ow分别为像素坐标系、图像坐标系、摄像机坐标系、世界坐标系的原点，设定空间中某点P在世界坐标系与摄像机坐标系下的齐次坐标分别为(Xw,Yw,Zw,1)T与(Xc,Yc,Zc,1)T，于是存在如下关系：
Figure FDA0003613049730000021
R为旋转矩阵、t为平移矩阵；通过几何变换、仿射变换得到点P的世界坐标系与其投影点p的坐标(u,v)的关系：
Figure FDA0003613049730000022
式中ax＝f/dx,ay＝f/dy，u0,v0，dx,dy为摄像机基本参数，f为摄像机焦距，M为摄像机内外参数，M1为内参，M2为外参；
1-2)选取60×60规格圆形标定板作为标定参照物，并采用开源算子完成标定，得到M1，M2；
1-3)摄像机得到圆形标定板图像，采用HALCON算子进行畸变校正，通过Blob分析或ROI工具选取圆形标定板在图像坐标系中两个圆，得到圆心坐标a1(R1，C1)，a2(R2，C2)，并求得a1、a2的像素距离为Di；结合M1和M2将像素圆心坐标a1、a2转化为实际坐标A1(Rw1，Cw1)，A2(Rw2，Cw2)，并求得A1和A2的实际距离为Dw；激光测距传感器测得摄像机到圆形标定板的距离为Lb；
(2)利用数据预处理模块收集图像数据集并进行预处理，离线训练模型，评估训练后的模型，调整参数获得最优训练模型，并保存；
(3)采用数据采集模块的摄像机采集海底地形图像，同时采用激光测距传感器测量摄像机到障碍物的距离；
(4)基于深度学习语义分割技术对采集到的图像进行处理，并获得障碍物的特征参数：像素面积、像素宽和高；
(5)利用数据融合模块融合标定所得的内外参数和激光测距传感器测得的距离参数，将障碍物的特征参数转换成障碍物的实际参数，从而得到障碍物的基本信息；
(6)将障碍物信息发送到测量结果模块进行显示。
2.根据权利要求1所述的基于深度学习的深海海底障碍物识别方法，其特征在于，所述步骤(2)具体步骤如下：
2-1)采集预设数量的深海海底地形图像数据样本，并进行预处理得到预设尺寸的子图像样本，对子图像样本进行标注，得到多个感兴趣的区域的子图像标注样本；
2-2)将子图像样本集和子图像标注样本集拆分为训练、验证和测试子集；创建字典对象，在字典中存储与键关联的元组，创建预处理参数、预处理样本数据集并保存文件；
2-3)在模型中添加compact预训练网络，设置图像维度参数到模型中，设置模型中的学习率、学习率动量参数、随机数种子参数，创建训练参数并训练模型；
2-4)通过loss或mean-iou评价指标判断模型优劣，并调整参数以适应项目需要的语义分割模型。
3.根据权利要求1所述的基于深度学习的深海海底障碍物识别方法，其特征在于，所述步骤(3)中，通过摄像机采集深海海底地形图像，并经过畸变校正处理。
4.根据权利要求1所述的基于深度学习的深海海底障碍物识别方法，其特征在于，所述步骤(4)中，将摄像机采集得到的图像数据，通过预处理得到的预设尺寸的待分割子图像，待分割子图像利用最佳语义分割模型得到对应的语义分割区域，从而实现障碍物区域特征的提取；激光测距传感器通过数据处理获得前方障碍物与摄像机的距离ld。
5.根据权利要求4所述的基于深度学习的深海海底障碍物识别方法，其特征在于，所述步骤(5)中，结合单目测距算法得比例系数
Figure FDA0003613049730000041
依据获取的障碍物区域特征:障碍物像素高度hd和障碍物与摄像机的距离ld，得障碍物实际高度Hd＝k*hd*ld。
6.根据权利要求2所述的基于深度学习的深海海底障碍物识别方法，其特征在于，所述步骤2-1)中，样本标注采用labeltool工具对预设尺寸的子图像样本进行标注得到多个感兴趣的区域的子图像标注样本。
7.根据权利要求1所述的基于深度学习的深海海底障碍物识别方法，其特征在于，所述步骤(6)中，测量结果模块所得的障碍物信息为障碍物实际特征参数信息，用于移动式深海取样装备进行行驶可行性分析、自动避障及路径规划。
CN202110735441.6A 2021-06-30 2021-06-30 基于深度学习的深海海底障碍物测量系统与识别方法 Active CN113327297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110735441.6A CN113327297B (zh) 2021-06-30 2021-06-30 基于深度学习的深海海底障碍物测量系统与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110735441.6A CN113327297B (zh) 2021-06-30 2021-06-30 基于深度学习的深海海底障碍物测量系统与识别方法

Publications (2)

Publication Number Publication Date
CN113327297A CN113327297A (zh) 2021-08-31
CN113327297B true CN113327297B (zh) 2022-06-17

Family

ID=77423526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110735441.6A Active CN113327297B (zh) 2021-06-30 2021-06-30 基于深度学习的深海海底障碍物测量系统与识别方法

Country Status (1)

Country Link
CN (1) CN113327297B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115440094B (zh) * 2022-07-21 2023-11-07 南京航空航天大学 用于直升机近地告警的障碍物探测方法、装置和存储介质
CN115218798B (zh) * 2022-09-20 2022-12-09 西安中科慧远视觉技术有限公司 测量板材孔和/或槽尺寸的光学测量系统、方法及介质
CN116681935B (zh) * 2023-05-31 2024-01-23 国家深海基地管理中心 一种深海热液喷口自主识别定位方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN111109786A (zh) * 2019-12-25 2020-05-08 李嘉伦 基于深度学习的智能障碍物预警拐杖及其预警方法
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104236458A (zh) * 2014-09-19 2014-12-24 西安交通大学 一种塑料瓶几何尺寸在线测量系统及其测量方法
CN109310476B (zh) * 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
JP7160040B2 (ja) * 2017-08-22 2022-10-25 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
CN109283538B (zh) * 2018-07-13 2023-06-13 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
US10929719B2 (en) * 2019-03-28 2021-02-23 GM Global Technology Operations LLC Adversarial attack on black box object detection algorithm
CN111812649A (zh) * 2020-07-15 2020-10-23 西北工业大学 基于单目相机与毫米波雷达融合的障碍物识别与定位方法
CN111950501B (zh) * 2020-08-21 2024-05-03 东软睿驰汽车技术（沈阳）有限公司 障碍物检测方法、装置以及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN111109786A (zh) * 2019-12-25 2020-05-08 李嘉伦 基于深度学习的智能障碍物预警拐杖及其预警方法
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法

Also Published As

Publication number Publication date
CN113327297A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN113327297B (zh) 基于深度学习的深海海底障碍物测量系统与识别方法
Vivacqua et al. Self-localization based on visual lane marking maps: An accurate low-cost approach for autonomous driving
CN102737236B (zh) 一种基于多模态传感器数据自动获取车辆训练样本方法
CN107451593B (zh) 一种基于图像特征点的高精度gps定位方法
Jacobi et al. Multi sensor underwater pipeline tracking with AUVs
CN110263607B (zh) 一种用于无人驾驶的道路级全局环境地图生成方法
CN104848867A (zh) 基于视觉筛选的无人驾驶汽车组合导航方法
CN111028154A (zh) 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法
CN112800938B (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Scaradozzi et al. Tools and techniques for underwater archaeological sites documentation
CN113343875A (zh) 一种用于机器人的可行驶区域感知方法
CN106153041B (zh) 一种基于多景深信息的视觉里程计测速方法
CN110309785B (zh) 一种基于图像识别技术的导盲机器人控制方法
CN114034288B (zh) 海底微地形激光线扫描三维探测方法及系统
CN110533650A (zh) 一种基于视觉的auv水下管道检测跟踪方法
CN110568437A (zh) 一种基于雷达辅助的精确环境建模方法
CN117288094B (zh) 基于激光传感器的掘进机实时定位系统
Golovnin et al. Video processing method for high-definition maps generation
CN111144279A (zh) 一种智能辅助驾驶中障碍物的识别方法
CN113298781B (zh) 一种基于图像和点云融合的火星表面三维地形检测方法
CN105205817A (zh) 一种基于声呐图像边缘角点直方图的水下地形匹配方法
Thornton et al. Acoustic and visual instrumentation for survey of manganese crusts using an underwater vehicle
CN114152955A (zh) 一种基于slam技术的障碍物高精度识别系统
CN114396921A (zh) 一种基于无人机的钱塘江涌潮高度及传播速度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant