CN116681935B - 一种深海热液喷口自主识别定位方法及系统 - Google Patents
一种深海热液喷口自主识别定位方法及系统 Download PDFInfo
- Publication number
- CN116681935B CN116681935B CN202310636359.7A CN202310636359A CN116681935B CN 116681935 B CN116681935 B CN 116681935B CN 202310636359 A CN202310636359 A CN 202310636359A CN 116681935 B CN116681935 B CN 116681935B
- Authority
- CN
- China
- Prior art keywords
- image
- hydrothermal
- autonomous
- submarine
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000001629 suppression Effects 0.000 claims abstract description 4
- 239000007788 liquid Substances 0.000 claims description 43
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 239000012530 fluid Substances 0.000 claims description 14
- 238000009792 diffusion process Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000007921 spray Substances 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000011835 investigation Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 229910052976 metal sulfide Inorganic materials 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 239000013535 sea water Substances 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052500 inorganic mineral Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000011707 mineral Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 241000203069 Archaea Species 0.000 description 1
- 241001074903 Methanobacteria Species 0.000 description 1
- UCKMPCXJQFINFW-UHFFFAOYSA-N Sulphide Chemical compound [S-2] UCKMPCXJQFINFW-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000000035 biogenic effect Effects 0.000 description 1
- 230000037149 energy metabolism Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229910052569 sulfide mineral Inorganic materials 0.000 description 1
- 150000003568 thioethers Chemical class 0.000 description 1
- 239000003440 toxic substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种深海热液喷口自主识别定位方法及系统，涉及数据智能处理技术领域。本发明在对获取的海底热液区图像进行图像增强处理后，采用ORB特征提取算法对增强后的图像进行特征提取，接着，在筛选增强后的图像得到候选区域后，基于ORB特征和候选区域生成特征向量；然后，将特征向量和候选区域输入分类器以得到分类结果，采用非极大值抑制方法筛选分类结果精确得到海底热液喷口识别结果，最后，基于海底热液喷口识别结果精确实现海底热液喷口的定位，在提高深海热液调查作业效率的同时，提升水下作业的自主性和智能性，进而为未来自主作业奠定基础。
Description
技术领域
本发明涉及数据智能处理技术领域，特别是涉及一种深海热液喷口自主识别定位方法及系统。
背景技术
以海底火山活动为起因，海水下渗被加热且不断与围岩发生化学物质交换，继而上浮返回海底的一系列地质过程被称为海底热液活动，海底热液活动由热液柱、热液羽状流、多金属硫化物和喷口生物群落等热液产物组成。热液喷口喷出的流体与周围冷海水相遇后，迅速混合形成热液柱不断上升，并在达到顶端的中性浮力后，在自身产生的压力梯度和环境横向流的作用下侧向扩散形成一定范围内的热液羽状流。多金属硫化物作为热液活动的伴生物，大量集中于活动的高温热液喷口附近，对于找到海底多金属硫化物矿床来说，寻找正在活动的热液喷口是最直接且有效的步骤。多金属硫化物由于富含Fe、Cu、Zn、Pb、Au和Ag等金属元素，且在一定的地质环境中可堆积形成百万吨级的大型多金属硫化物矿床，据统计，全球海底多金属硫化物约含有6亿吨的金属资源量，可能是目前世界上最先开采和利用的深海金属矿产资源。同时，热液喷口周围聚集了丰富的生物群落，这里新发现的生物种类已有500多种，其中极端嗜热的古细菌和甲烷菌代表最原始的古老生命，为探索生命起源的研究提出了新的论断。热液喷口高压、黑暗、低氧、硫化物和重金属等有毒物质含量高的极端环境复杂的食物链和生物共生关系，具有独特的生理生化特征和能量代谢途径，成为未来宝贵的生物基因和医药资源。因此，对于海底热液活动来说，寻找热液喷口更具有资源价值和研究价值。
自1977年美国“Alvin”号载人潜水器第一次观测到海底热液活动以来，海底热液活动一直是国际海底研究的热点，世界各国纷纷将目光聚焦至海底热液活动研究及其喷口周围聚集的多金属硫化物矿产和生物基因资源。但由于热液喷口身处洋中脊深处，热液柱直径范围往往只有几十米至上百米，要发现它并且进行准确定位可谓“大海捞针”，开展热液喷口周围多金属硫化物矿产和生物基因资源的定点勘查和取样更是对各国“深海进入、深海探测、深海开发”技术和能力的考验。由于热液羽状流扩散距离可达数百米至数千米，因此，现阶段海底热液喷口的勘探大多以活动热液区的热液羽状流探测开始，然后在活动热液区周围寻找非活动热液区，从而缩小范围，确定热液喷口位置。
传统调查方式通过科考船拖曳拖体进行站位式或走航式探测，通过水文、光学、声学示踪识别热液羽状流进而判断深海热液活动，由于条件限制以及调查方法的低效率和高费用，全球仍有大量的洋中脊区域还没有开展热液喷口的寻找、精确定位和探测工作。伴随深海调查装备和技术的发展，水下机器人包括载人潜水器(HOV)、自主水下机器人(AutonomousUnderwaterVehicle，AUV)、无人缆控潜水器(ROV)，成为近年来世界应用并致力发展的新型深海热液活动探测装备。但目前的调查方式中，AUV主要采用预规划的梳状往复探测策略进行数据采集，待回收至甲板后由技术人员下载数据并进行人工处理和分析，从而圈定热液异常区，并采用分阶段下潜作业的模式逐步缩小范围直至确认热液喷口位置，再使用ROV或HOV进行热液喷口定点取样调查。AUV作为自主平台的在线实时决策和规划能力没有得到有效发挥，热液异常识别的准确性和可信性也有待进一步验证。
在未来的深海热液调查中，AUV可以进行长航程作业，采集高时空分辨率热液羽状流探测数据和高精度热液活动区的地形地貌数据，通过在线分析决策进行路径规划，进而寻找和精确定位海底热液喷口，甚至开展自主取样作业。与现有的分阶段作业模式相比，实现深海热液喷口自主识别和定位，可减少人工下载处理分析数据的工作量，降低多次布放回收不同类型潜水器的作业风险，从而大大提高深海热液调查作业效率，是迫切需要解决的难题，也是未来开展热液调查自主作业的基础前提。
发明内容
本发明的目的是提供一种深海热液喷口自主识别定位方法及系统，能够精确实现深海热液喷口的识别和定位，提高深海热液调查作业效率，提升水下作业的自主性和智能性，进而为未来自主作业奠定基础。
为实现上述目的，本发明提供了如下方案：
一种深海热液喷口自主识别定位方法，包括：
获取海底热液区图像；
对所述海底热液区图像进行图像增强处理得到增强后的图像；
采用ORB特征提取算法对所述增强后的图像进行特征提取得到ORB特征；
筛选所述增强后的图像得到候选区域；
基于所述ORB特征和所述候选区域生成特征向量；
将所述特征向量和所述候选区域输入分类器以得到分类结果；所述分类器为改进后的FasterR-CNN模型；
采用非极大值抑制方法筛选所述分类结果得到海底热液喷口识别结果；
基于所述海底热液喷口识别结果实现海底热液喷口的定位。
可选地，采用无人自主潜水器搭载的两台水下摄像机，基于双目视觉原理采集所述海底热液区图像。
可选地，对所述海底热液区图像进行图像增强处理得到增强后的图像，具体包括：
分析水下光传播模型，通过海底热液区的历史图像数据集，对海底热液区自身背景光点扩散和人工照明束扩散进行统计学分析，得到热液区的点扩散函数和束扩散函数；
采用所述点扩散函数和束扩散函数对所述海底热液区图像进行滤波处理，得到滤波图像；
采用局部直方图均衡化算法对所述滤波图像进行均衡化处理得到均衡化图像；
采用多尺度Retinex算法对所述均衡化图像的偏色进行处理，得到所述增强后的图像。
可选地，采用FasterR-CNN的候选区域筛选模块筛选所述增强后的图像得到所述候选区域。
可选地，基于所述ORB特征和所述候选区域生成特征向量，具体包括：
判断所述海底热液区图像中与所述候选区域对应的区域内是否存在所述ORB特征，得到判断结果；
当所述判断结果为所述区域内存在所述ORB特征时，确定所述区域内ORB特征与标准图像的ORB特征间的汉明距离；
按照所述汉明距离从小到大的顺序排列所述区域内存在的所述ORB特征得到特征序列；
选取所述特征序列中前n个ORB特征以形成所述特征向量；
当所述判断结果为所述区域内不存在所述ORB特征时，舍弃候选区域。
可选地，改进后的FasterR-CNN模型的构建过程包括：
获取SE-ResNeXt-50模型；
在所述SE-ResNeXt-50模型中第一个SE模块的第二个全连接层后添加全连接层模块，得到改进后的SENet模型；所述全连接层模块包括两个全连接层，其中，一个全连接层的输入数据为所述SE-ResNeXt-50模型中第一个SE模块的第二个全连接层的输出，另一个全连接层的输入数据为所述特征向量；
采用改进后的SENet模型替代所述FasterR-CNN模型的分类器层中的第一个SE模块，得到改进后的FasterR-CNN模型。
可选地，基于所述海底热液喷口识别结果实现海底热液喷口的定位，具体包括：
对无人自主潜水器搭载的两台水下摄像机进行参数标定；
基于标定的参数对采集的海底热液区图像进行图像校正得到校正后的图像；
对校正后的图像进行双目立体匹配得到热液喷口在摄像机坐标系下的三维位置数据，完成海底热液喷口的定位。
可选地，在对无人自主潜水器搭载的两台水下摄像机进行内参标定过程中，基于二阶径向畸变建立摄像机非线性模型；所述摄像机非线性模型用于表征摄像机坐标系、成像平面坐标系和图像坐标系之间的关系；采用张正友方法基于所述摄像机非线性模型获得内参矩阵；
在对无人自主潜水器搭载的两台水下摄像机进行外参标定过程中，通过标定板建立两个摄像机坐标系之间的转换关系，根据标定板平面靶标上空间点在两个摄像机坐标系中的对应像坐标和所述内参矩阵确定外参；所述外参包括旋转矩阵和平移矩阵。
可选地，对校正后的图像进行双目立体匹配得到热液喷口在摄像机坐标系下的三维位置数据，完成海底热液喷口的定位，具体包括：
采用两路对称的深度神经网络结构对校正后的图像进行立体匹配，并基于Winner-Takers-All策略分别计算两个摄像机拍摄图像中像素点与对应点的视差；
采用峰比率法对存在视差的图像中的不稳定点进行矫正；
采用训练好的立体匹配端到端网络，选取其中一路视差输出，通过三角形测量原理计算深度值信息，并通过摄像机与图像坐标系间的转换关系确定坐标信息，从而得到热液喷口在摄像机坐标系下的三维位置数据。
一种深海热液喷口自主识别定位系统，包括：
两台水下摄像机，用于基于双目视觉原理采集海底热液区图像；
存储器，存储有计算机程序；所述计算机程序用于实施上述提供的深海热液喷口自主识别定位方法；
处理器，分别与所述存储器和两台水下摄像机连接，用于调取并执行所述计算机程序，以基于所述海底热液区图像完成海底热液喷口的识别和定位。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过融合ORB特征和迁移学习方法，可以有效地应对水下图像光照对比度大、黑烟引起的图像噪声大、热液喷口的个体差异、视觉图像数据缺乏、模型训练困难等问题，大大提高海底热液喷口识别的效率和准确率，以有效提高海底热液喷口的定位精度，进而有效提升水下作业的自主性和智能性，为未来自主作业奠定基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的深海热液喷口自主识别定位方法的流程图；
图2为本发明提供的深海热液喷口自主识别流程框架图；
图3为本发明提供的深海热液喷口自主定位流程框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种深海热液喷口自主识别定位方法及系统，能够精确实现深海热液喷口的识别和定位，提高深海热液调查作业效率，提升水下作业的自主性和智能性，进而为未来自主作业奠定基础。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图2所示，本发明提供的一种深海热液喷口自主识别定位方法，包括：
步骤100：获取海底热液区图像。其中，可以采用AUV搭载左右2台水下摄像机进行海底热液区近底光学探测，水下摄像机定期触发进行拍照，生成海底热液区图像。
步骤101：对海底热液区图像进行图像增强处理得到增强后的图像。其中，考虑热液区图像普遍存在“黑烟”和“羽状流”浑浊海水引起的噪声成分，分析水下光传播模型，通过已有海底热液区图像数据集，对热液区海底自身背景光点扩散估计和人工照明束扩散估计进行统计学分析，从而得到较为精确的热液区附近的点扩散函数和束扩散函数，完成图像滤波处理。在此基础上，采用局部直方图均衡化算法对滤波后的图像进行均衡化处理，采用带色彩恢复的多尺度Retinex算法(Multi-ScaleRetinexwithColorRestoration，MSRCR)对均衡化处理后的图像的偏色进行处理，得到增强后的图像。
步骤102：采用ORB特征提取算法对增强后的图像进行特征提取得到ORB特征。对于AUV，在进行近底拍照时，可能由于本体姿态角度及运行状态等情况造成拍摄角度的不同，因此，在该步骤中选择具有旋转不变性和对噪声不敏感的ORB特征提取算法对增强后的图像进行特征提取。
步骤103：筛选增强后的图像得到候选区域。其中，对于增强后的图像，首先使用FasterR-CNN的候选区域筛选模块筛选增强后的图像得到候选区域。
步骤104：基于ORB特征和候选区域生成特征向量。例如，对于每一个筛选出的候选区域比对其在原始图像所对应区域内是否存在ORB特征。若存在，则将该区域内的ORB特征与标准图像的ORB特征进行比对，并按照候选区域内的ORB特征与标准图像ORB特征间的汉明距离从小到大排序，选择前4个ORB特征排成一向量，若不足4个，则缺少位进行补零操作，若不存在ORB特征，则舍弃这一候选区域，或不做处理。其中，标准图像为海底热液数据集中，人工设定标注的典型深海热液喷口图像。
步骤105：将特征向量和候选区域输入分类器以得到分类结果。分类器为改进后的FasterR-CNN模型。具体的，选择的分类器为基于融合ORB特征的SENet神经网络结构，其基本结构选择已有的SE-ResNeXt-50模型，其中第一个SE模块针对ORB特征的引入进行改进，在该层SE模块的第二个全连接层后添加新的全连接层，该全连接层有两组输入数据，一组为经典SE模块的第二个全连接层后的输入，另一组为ORB特征向量，该全连接层的输出接入作为该SE模块的输出。ORB特征可以理解成SE模块所提取系数的一部分，通过将ORB特征与SE模块所提取系数相链接，并经过全连接层组合，最终得到新的系数。将该系数作为SE模块所得的最终系数作为SE模块的输出。通过将融合ORB特征SENet框架引入到FasterR-CNN算法的分类器层，用于代替该分类器第一个SE模块，使该算法在进行目标识别时，能够同时利用图像信息和ORB特征。由于候选区域通常很难将待识别物置于最中心处，虽然使用更深的网络结构可以提取更深层次特征，但网络结构加深会造成学习速度变慢等问题，而ORB特征的引入可以在使用相对较浅的深度网络的同时准确的引入了特征信息，从而在减少网络参数数量的同时提高识别精度。
进一步，考虑海底热液喷口小样本等问题，使用迁移学习对融合ORB特征SENet框架引入到FasterR-CNN后的模型进行参数学习，选用训练好的VGG-16网络参数对所提出的提取候选区域与特征向量中的卷积层进行参数初始化，然后使用MSCOCO数据集对深度网络进行训练，待训练结束后，使用海底热液数据集对训练好的网络模型进行迁移学习，得到训练好的模型(即改进后的FasterR-CNN模型)。
步骤106：采用非极大值抑制方法筛选分类结果得到海底热液喷口识别结果。该步骤主要是根据待筛选区域与其它区域的重叠面积来解决区域重叠问题，保留剩余区域中得分大于阈值的区域作为被选中区域，被选中区域即为海底热液喷口识别结果。
步骤107：基于海底热液喷口识别结果实现海底热液喷口的定位。
在目标定位方面，常用的视觉定位方式可分为单目视觉、双目视觉、多目视觉及融合定位等几种方式。双目视觉定位具有更好的定位能力。多目视觉定位是双目视觉定位的一种延伸，目前，双目视觉定位是潜器自主作业中应用最为广泛的一种方式，在SLAM、避障等领域也都有应用。从满足深海潜器热液区自主作业要求角度来考虑，需要兼顾立体匹配算法的精度与速度问题，从而实现热液喷口三维定位的准确性与实时性。
基于此，在前期基于深度学习的海底热液喷口识别的基础上，本发明采用双目立体匹配进行海底热液喷口定位。如图3所示，具体定位方法为：
首先，对AUV搭载的左右2台水下摄像机进行参数标定。在内参标定中，基于二阶径向畸变建立摄像机非线性模型，即：摄像机坐标系、成像平面坐标系和图像坐标系之间的关系，采用张正友方法获得内参矩阵。在外参标定中，通过标定板建立左右两个摄像机坐标系之间的转换关系，根据标定板平面靶标上空间点在左右两个摄像机坐标系中的对应像坐标和内参矩阵，求出外参：旋转矩阵和平移矩阵。
其次，基于参数标定进行图像校正。利用摄像机内参进行图像畸变校正，利用摄像机外参进行立体对极线校正，得到校正后图像。
然后，使用左右2台摄像机校正后的图像进行双目立体匹配。通过两路对称的深度神经网络结构进行立体匹配，并基于Winner-Takers-All(WTA)策略分别计算左、右图中像素点与对应点的视差dl和dr。基于对应一致性，选取正样本以用于网络训练。由于图像中存在遮挡点或者误匹配点，因此基于峰比率法对视差图中的不稳定点进行矫正。基于所选择的正样本数据，构建交叉熵损失函数对深度网络进行训练。在热液喷口定位方面，采用训练好的立体匹配端到端网络，选取其中一路视差输出，通过三角形测量原理计算深度值z信息，并通过摄像机与图像坐标系间的转换关系计算x、y信息，从而得到热液喷口在摄像机坐标系下的三维位置数据。
本发明还提供了一种深海热液喷口自主识别定位系统，该系统包括：两台水下摄像机、存储器和处理器。
其中，两台水下摄像机，用于基于双目视觉原理采集海底热液区图像。
存储器，存储有计算机程序。计算机程序用于实施上述提供的深海热液喷口自主识别定位方法。
处理器，分别与存储器和两台水下摄像机连接，用于调取并执行计算机程序，以基于海底热液区图像完成海底热液喷口的识别和定位。
进一步，处理器和存储器也可以都植入在AUV的数据处理单元中，以便将获取的海底热液区图像，传输至AUV的数据处理单元进行基于深度学习的海底热液喷口识别。
此外，上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
现有技术虽然对深海热液图像增强、图像分割、识别分类开展了一些研究，但由于水下特殊的作业环境造成的图像模糊、对比度低、噪声大、颜色失真，热液区“黑烟”和“羽状流”引起的海水浑浊与光照不均匀，深海热液喷口形态差异较大、图像样本稀缺等问题，目前为止，尚未实现深海热液喷口的在线自主识别及定位。相对于现有技术，本发明具有以下优点：
本发明提出的基于深度学习的海底热液喷口识别方案，通过融合ORB特征和迁移学习方法，可以有效地应对水下图像光照对比度大、黑烟引起的图像噪声大、热液喷口的个体差异、视觉图像数据缺乏、模型训练困难等问题，大大提高海底热液喷口识别的效率和准确率。
本发明提出的基于双目立体匹配的海底热液喷口定位方案，通过双目视觉实现热液喷口三维位置数据的确定，同时构建交叉熵损失函数，通过反向传播对双目立体匹配引导聚合网络进行训练优化，有效提高定位精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种深海热液喷口自主识别定位方法，其特征在于，包括：
获取海底热液区图像；
对所述海底热液区图像进行图像增强处理得到增强后的图像；
采用ORB特征提取算法对所述增强后的图像进行特征提取得到ORB特征；
筛选所述增强后的图像得到候选区域；
基于所述ORB特征和所述候选区域生成特征向量；
将所述特征向量和所述候选区域输入分类器以得到分类结果；所述分类器为改进后的FasterR-CNN模型；
采用非极大值抑制方法筛选所述分类结果得到海底热液喷口识别结果；
基于所述海底热液喷口识别结果实现海底热液喷口的定位；
其中，基于所述ORB特征和所述候选区域生成特征向量，具体包括：
判断所述海底热液区图像中与所述候选区域对应的区域内是否存在所述ORB特征，得到判断结果；
当所述判断结果为所述区域内存在所述ORB特征时，确定所述区域内ORB特征与标准图像的ORB特征间的汉明距离；
按照所述汉明距离从小到大的顺序排列所述区域内存在的所述ORB特征得到特征序列；
选取所述特征序列中前n个ORB特征以形成所述特征向量；
当所述判断结果为所述区域内不存在所述ORB特征时，舍弃候选区域。
2.根据权利要求1所述的深海热液喷口自主识别定位方法，其特征在于，采用无人自主潜水器搭载的两台水下摄像机，基于双目视觉原理采集所述海底热液区图像。
3.根据权利要求1所述的深海热液喷口自主识别定位方法，其特征在于，对所述海底热液区图像进行图像增强处理得到增强后的图像，具体包括：
分析水下光传播模型，通过海底热液区的历史图像数据集，对海底热液区自身背景光点扩散和人工照明束扩散进行统计学分析，得到热液区的点扩散函数和束扩散函数；
采用所述点扩散函数和束扩散函数对所述海底热液区图像进行滤波处理，得到滤波图像；
采用局部直方图均衡化算法对所述滤波图像进行均衡化处理得到均衡化图像；
采用多尺度Retinex算法对所述均衡化图像的偏色进行处理，得到所述增强后的图像。
4.根据权利要求1所述的深海热液喷口自主识别定位方法，其特征在于，采用FasterR-CNN的候选区域筛选模块筛选所述增强后的图像得到所述候选区域。
5.根据权利要求1所述的深海热液喷口自主识别定位方法，其特征在于，改进后的Faster R-CNN模型的构建过程包括：
获取SE-ResNeXt-50模型；
在所述SE-ResNeXt-50模型中第一个SE模块的第二个全连接层后添加全连接层模块，得到改进后的SENet模型；所述全连接层模块包括两个全连接层，其中，一个全连接层的输入数据为所述SE-ResNeXt-50模型中第一个SE模块的第二个全连接层的输出，另一个全连接层的输入数据为所述特征向量；
采用改进后的SENet模型替代所述Faster R-CNN模型的分类器层中的第一个SE模块，得到改进后的Faster R-CNN模型。
6.根据权利要求2所述的深海热液喷口自主识别定位方法，其特征在于，基于所述海底热液喷口识别结果实现海底热液喷口的定位，具体包括：
对无人自主潜水器搭载的两台水下摄像机进行参数标定；
基于标定的参数对采集的海底热液区图像进行图像校正得到校正后的图像；
对校正后的图像进行双目立体匹配得到热液喷口在摄像机坐标系下的三维位置数据，完成海底热液喷口的定位。
7.根据权利要求6所述的深海热液喷口自主识别定位方法，其特征在于，在对无人自主潜水器搭载的两台水下摄像机进行内参标定过程中，基于二阶径向畸变建立摄像机非线性模型；所述摄像机非线性模型用于表征摄像机坐标系、成像平面坐标系和图像坐标系之间的关系；采用张正友方法基于所述摄像机非线性模型获得内参矩阵；
在对无人自主潜水器搭载的两台水下摄像机进行外参标定过程中，通过标定板建立两个摄像机坐标系之间的转换关系，根据标定板平面靶标上空间点在两个摄像机坐标系中的对应像坐标和所述内参矩阵确定外参；所述外参包括旋转矩阵和平移矩阵。
8.根据权利要求6所述的深海热液喷口自主识别定位方法，其特征在于，对校正后的图像进行双目立体匹配得到热液喷口在摄像机坐标系下的三维位置数据，完成海底热液喷口的定位，具体包括：
采用两路对称的深度神经网络结构对校正后的图像进行立体匹配，并基于Winner-Takers-All策略分别计算两个摄像机拍摄图像中像素点与对应点的视差；
采用峰比率法对存在视差的图像中的不稳定点进行矫正；
采用训练好的立体匹配端到端网络，选取其中一路视差输出，通过三角形测量原理计算深度值信息，并通过摄像机与图像坐标系间的转换关系确定坐标信息，从而得到热液喷口在摄像机坐标系下的三维位置数据。
9.一种深海热液喷口自主识别定位系统，其特征在于，包括：
两台水下摄像机，用于基于双目视觉原理采集海底热液区图像；
存储器，存储有计算机程序；所述计算机程序用于实施如权利要求1-8任意一项所述的深海热液喷口自主识别定位方法；
处理器，分别与所述存储器和两台水下摄像机连接，用于调取并执行所述计算机程序，以基于所述海底热液区图像完成海底热液喷口的识别和定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310636359.7A CN116681935B (zh) | 2023-05-31 | 2023-05-31 | 一种深海热液喷口自主识别定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310636359.7A CN116681935B (zh) | 2023-05-31 | 2023-05-31 | 一种深海热液喷口自主识别定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116681935A CN116681935A (zh) | 2023-09-01 |
| CN116681935B true CN116681935B (zh) | 2024-01-23 |
Family
ID=87778520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310636359.7A Active CN116681935B (zh) | 2023-05-31 | 2023-05-31 | 一种深海热液喷口自主识别定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116681935B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871115A (zh) * | 2016-11-01 | 2018-04-03 | 中国科学院沈阳自动化研究所 | 一种基于图像的海底热液喷口的识别方法 |
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| CN108961276A (zh) * | 2018-04-04 | 2018-12-07 | 山东鲁能智能技术有限公司 | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN110543859A (zh) * | 2019-09-05 | 2019-12-06 | 大连海事大学 | 一种基于深度学习和双目定位的海参自主识别和抓取方法 |
| WO2020001223A1 (zh) * | 2018-06-29 | 2020-01-02 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
| CN111612087A (zh) * | 2020-05-28 | 2020-09-01 | 北京益嘉阳光科技发展有限公司 | 动车组teds系统图像特征字典生成方法 |
| CN113327297A (zh) * | 2021-06-30 | 2021-08-31 | 湖南科技大学 | 基于深度学习的深海海底障碍物测量系统与识别方法 |
| WO2021243743A1 (zh) * | 2020-06-04 | 2021-12-09 | 青岛理工大学 | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 |
| CN113792593A (zh) * | 2021-08-06 | 2021-12-14 | 昆山泰仑合机器人科技有限公司 | 一种基于深度融合的水下近距离目标识别跟踪方法及系统 |
| CN114091551A (zh) * | 2021-10-22 | 2022-02-25 | 北京奇艺世纪科技有限公司 | 色情图像识别方法、装置、电子设备及存储介质 |
| CN115235455A (zh) * | 2022-09-19 | 2022-10-25 | 中国人民解放军国防科技大学 | 一种基于智能手机pdr与视觉修正的行人定位方法 |
-
2023
- 2023-05-31 CN CN202310636359.7A patent/CN116681935B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107871115A (zh) * | 2016-11-01 | 2018-04-03 | 中国科学院沈阳自动化研究所 | 一种基于图像的海底热液喷口的识别方法 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN108961276A (zh) * | 2018-04-04 | 2018-12-07 | 山东鲁能智能技术有限公司 | 基于视觉伺服的配电线路巡检数据自动采集方法及系统 |
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| WO2020001223A1 (zh) * | 2018-06-29 | 2020-01-02 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
| CN110543859A (zh) * | 2019-09-05 | 2019-12-06 | 大连海事大学 | 一种基于深度学习和双目定位的海参自主识别和抓取方法 |
| CN111612087A (zh) * | 2020-05-28 | 2020-09-01 | 北京益嘉阳光科技发展有限公司 | 动车组teds系统图像特征字典生成方法 |
| WO2021243743A1 (zh) * | 2020-06-04 | 2021-12-09 | 青岛理工大学 | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 |
| CN113327297A (zh) * | 2021-06-30 | 2021-08-31 | 湖南科技大学 | 基于深度学习的深海海底障碍物测量系统与识别方法 |
| CN113792593A (zh) * | 2021-08-06 | 2021-12-14 | 昆山泰仑合机器人科技有限公司 | 一种基于深度融合的水下近距离目标识别跟踪方法及系统 |
| CN114091551A (zh) * | 2021-10-22 | 2022-02-25 | 北京奇艺世纪科技有限公司 | 色情图像识别方法、装置、电子设备及存储介质 |
| CN115235455A (zh) * | 2022-09-19 | 2022-10-25 | 中国人民解放军国防科技大学 | 一种基于智能手机pdr与视觉修正的行人定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| Dynamic Objects Recognizing and Masking for RGB-D SLAM;Xiangcheng Li 等;《2021 4th International Conference on Intelligent Autonomous Systems (ICoIAS)》;169-174 * |
| Research of Visual SLAM in Dynamic Environment using Convolutional Neural Network;Feng Zhang 等;《2022 International Conference on 3D Immersion, Interaction and Multi-sensory Experiences (ICDIIME)》;157-162 * |
| 基于改进的三向流Faster R-CNN的篡改图像识别;徐代 等;《计算机应用》;第40卷(第5期);1315-1321 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116681935A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | Underwater target detection with an attention mechanism and improved scale | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
| CN106204642A (zh) | 一种基于深度神经网络的细胞追踪方法 | |
| CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
| Liao et al. | Research on intelligent damage detection of far-sea cage based on machine vision and deep learning | |
| CN113280820B (zh) | 基于神经网络的果园视觉导航路径提取方法与系统 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| Guo et al. | An anchor-free network with density map and attention mechanism for multiscale object detection in aerial images | |
| CN111104976B (zh) | 一种基于时间序列图像的蓝藻覆盖率计算方法 | |
| CN117237986A (zh) | 一种基于改进YOLOv7模型的鱼类目标个体位置检测方法 | |
| CN116246139A (zh) | 一种无人艇航行环境基于多传感器融合的目标识别方法 | |
| Yu et al. | Dual-branch framework: AUV-based target recognition method for marine survey | |
| Li et al. | Learning scribbles for dense depth: Weakly-supervised single underwater image depth estimation boosted by multi-task learning | |
| CN112926667B (zh) | 深度融合边缘与高层特征的显著性目标检测方法及装置 | |
| CN116681935B (zh) | 一种深海热液喷口自主识别定位方法及系统 | |
| CN111696147B (zh) | 一种基于改进YOLOv3模型的深度估计方法 | |
| Ge et al. | Real-time object detection algorithm for Underwater Robots | |
| CN116664545A (zh) | 一种基于深度学习的近海底栖生物定量检测方法及系统 | |
| CN116659516A (zh) | 基于双目视差机制的深度立体注意力视觉导航方法及装置 | |
| CN116977204A (zh) | 一种基于选择性信息融合生成对抗网络的遥感图像去云方法 | |
| CN115373383B (zh) | 一种垃圾回收无人艇的自主避障方法、装置及相关设备 | |
| CN116091524A (zh) | 一种针对复杂背景中目标的检测与分割方法 | |
| Sangari et al. | Deep learning-based Object Detection in Underwater Communications System | |
| CN113869395A (zh) | 基于特征融合及神经网络搜索的轻量型水下目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |