CN117079118A - 基于视觉检测的水下行走检测方法及系统 - Google Patents
基于视觉检测的水下行走检测方法及系统 Download PDFInfo
- Publication number
- CN117079118A CN117079118A CN202311329868.1A CN202311329868A CN117079118A CN 117079118 A CN117079118 A CN 117079118A CN 202311329868 A CN202311329868 A CN 202311329868A CN 117079118 A CN117079118 A CN 117079118A
- Authority
- CN
- China
- Prior art keywords
- underwater
- image
- path
- report
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 80
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000002787 reinforcement Effects 0.000 claims abstract description 11
- 238000010845 search algorithm Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 58
- 230000006399 behavior Effects 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 238000007637 random forest analysis Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012502 risk assessment Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 4
- 238000011179 visual inspection Methods 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000008859 change Effects 0.000 abstract description 2
- 230000019771 cognition Effects 0.000 abstract description 2
- 239000003795 chemical substances by application Substances 0.000 description 34
- 230000008447 perception Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及水下行走检测方法技术领域，具体为基于视觉检测的水下行走检测方法及系统，包括以下步骤：获取水下图像，使用水下光传输模型和自适应直方图均衡化图像增强算法，去除水下图像中的噪声、模糊和失真。本发明中，通过图像处理技术，有效去除水下图像的噪声、模糊和失真，使图像更清晰，进而提高了目标识别的准确率，采用双目立体视觉，可以准确地感知水下环境的三维结构，增强了系统的空间认知能力，结合A*搜索算法和深度强化学习，不仅提供了精确的路径规划，还增加了系统的动态适应能力，能够及时响应环境的变化，通过多智能体协同控制，实现了多个水下行走检测系统的有效合作，提高了任务的执行效率和鲁棒性。
Description
技术领域
本发明涉及水下行走检测方法技术领域，尤其涉及基于视觉检测的水下行走检测方法及系统。
背景技术
水下行走检测方法，是一种利用水下摄像设备和计算机视觉算法来实现对水下移动行为和位置的检测。通过特征提取、目标跟踪、姿态估计和深度估计，这种方法能够从水下图像数据中提取关键信息。首先，特征提取算法被用来提取水下图像中的物体特征，如轮廓、颜色和纹理等。然后，通过目标跟踪算法，连续帧图像中的目标被匹配和跟踪，以获取其位置和运动信息。此外，姿态估计算法用于检测水下行走对象的方向和角度。深度估计技术则能够估计水下目标物体与相机之间的距离，从而判断其位置和行走状态。通过整合这些背景技术，基于视觉检测的水下行走检测方法能够实时监测和分析水下行走行为，为水下勘探和海洋研究等领域提供重要的支持。
在水下行走检测方法的实际使用过程中，由于现有方法对水下图像的处理主要依赖传统的图像处理技术，不能有效去除水下环境带来的复杂干扰，导致图像质量较差，影响后续步骤的准确性。现有方法在三维重建方面的技术较为落后，不能准确获取水下物体的位置和形状信息，限制了系统的感知能力。现有方法在路径规划和行为预测方面较为单一，缺乏动态适应能力，可能在复杂的水下环境中表现不佳。现有方法缺乏有效的多智能体协同机制，难以适应更复杂、多样化的水下任务需求。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的基于视觉检测的水下行走检测方法及系统。
为了实现上述目的，本发明采用了如下技术方案：基于视觉检测的水下行走检测方法，包括以下步骤：
获取水下图像，使用水下光传输模型和自适应直方图均衡化图像增强算法，去除水下图像中的噪声、模糊和失真，提高图像的清晰度和质量，获得增强的水下图像作为增强图像；
利用卷积神经网络对所述增强图像进行图像特征提取，识别水下目标，获得目标识别报告作为目标报告；
采用双目立体视觉和点云处理算法，基于所述目标报告、增强图像，获取物体的精确位置和形状信息，产生三维模型；
使用A*搜索算法和潜在语义分析进行路径规划，根据所述三维模型，规划水下行走检测系统的最优路径，生成路径报告；
结合深度强化学习和马尔科夫决策过程进行行为预测，通过所述路径报告结合水下行走对象的运动模型，进行行为预测与动态路径调整，得到导航策略；
采用多智能体协同控制算法，基于所述导航策略，多个水下行走检测系统进行交互与协作，完成水下任务并生成任务报告。
作为本发明的进一步方案，获取水下图像，使用水下光传输模型和自适应直方图均衡化图像增强算法，去除水下图像中的噪声、模糊和失真，提高图像的清晰度和质量，获得增强的水下图像作为增强图像的步骤具体为：
通过水下摄像头捕获图像，获取原始水下图像；
录入所述原始水下图像，采用Jerdon-McCormick模型进行光线衰减和散射的校正，获取光传输预处理图像；
输入光传输预处理图像，基于直方图均衡化处理，调整图像的对比度，使其在整个可视区域内均匀分布，获取增强的水下图像。
作为本发明的进一步方案，利用卷积神经网络对所述增强图像进行图像特征提取，识别水下目标，获得目标识别报告目标报告的步骤具体为：
输入增强图像到卷积神经网络，利用具体为ResNet的卷积神经网络进行特征提取，获取特征映射；
基于所述特征映射，随机森林算法进行特征分类和目标识别，输出目标识别报告。
作为本发明的进一步方案，采用双目立体视觉和点云处理算法，基于所述目标报告、增强图像，获取物体的精确位置和形状信息，产生三维模型的步骤具体为：
输入所述目标报告、增强图像；
使用双目摄像头获取深度信息，通过立体匹配算法计算像素点之间的视差，获取立体深度图；
基于所述立体深度图创建点云数据，使用RANSAC算法进行平面拟合和物体边缘检测，输出三维模型。
作为本发明的进一步方案，使用A*搜索算法和潜在语义分析进行路径规划，根据所述三维模型，规划水下行走检测系统的最优路径，生成路径报告的步骤具体为：
录入所述三维模型，通过A*算法在所述三维模型上找到一条可行路径，输出初步路径；
采用LSA对所述初步路径进行语义分析和优化，规划水下行走检测系统的最优路径，生成路径报告。
作为本发明的进一步方案，所述结合深度强化学习和马尔科夫决策过程进行行为预测，通过所述路径报告结合水下行走对象的运动模型，进行行为预测与动态路径调整，得到导航策略的步骤具体为：
输入路径报告，通过Q-learning算法进行动态路径规划，获取动态路径；
基于所述动态路径，采用马尔科夫决策过程进行所述动态路径的风险评估和策略优化，生成导航策略。
作为本发明的进一步方案，采用多智能体协同控制算法，基于所述导航策略，多个水下行走检测系统进行交互与协作，完成水下任务并生成任务报告的步骤具体为：
基于所述导航策略，通过ROS通信协议建立智能体间的通信网络，生成协同通信模型；
输入所述协同通信模型，使用分布式一致性算法分配任务给各智能体，生成任务分配方案；
基于所述任务分配方案，所述各智能体按照任务方案执行水下任务，通过PID控制算法保持稳定行走，生成任务报告。
基于视觉检测的水下行走检测系统用于执行基于视觉检测的水下行走检测方法，所述基于视觉检测的水下行走检测系统是由图像增强模块、特征提取与目标识别模块、三维建模模块、路径规划模块、行为预测与导航策略模块、多智能体协同模块组成。
作为本发明的进一步方案，所述图像增强模块负责从水下摄像头捕获原始图像，进行光传输预处理，最后采用直方图均衡化方法增强图像，输出增强水下图像；
所述特征提取与目标识别模块基于增强水下图像，使用ResNet进行特征提取，并通过随机森林算法进行特征分类和目标识别，输出目标识别报告；
所述三维建模模块基于目标识别报告，通过双目立体视觉获取深度信息，并基于点云数据构建三维模型。
作为本发明的进一步方案，所述路径规划模块录入三维模型，使用A*算法找到初始路径，并通过潜在语义分析进行路径的优化，生成最优路径报告；
所述行为预测与导航策略模块利用Q-Learning算法和马尔科夫决策过程，基于所述最优路径报告进行行为预测与动态路径调整，输出导航策略；
所述多智能体协同模块通过ROS通信协议和分布式一致性算法，基于所述导航策略进行多智能体之间的交互与协作，完成水下任务并生成任务报告。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，通过图像处理技术，有效去除水下图像的噪声、模糊和失真，使图像更清晰，进而提高了目标识别的准确率。采用双目立体视觉，可以准确地感知水下环境的三维结构，增强了系统的空间认知能力。结合A*搜索算法和深度强化学习，不仅提供了精确的路径规划，还增加了系统的动态适应能力，能够及时响应环境的变化。通过多智能体协同控制，实现了多个水下行走检测系统的有效合作，提高了任务的执行效率和鲁棒性。通过整合计算机视觉、机器学习和多智能体协同技术，克服了现有方法在图像处理、三维感知、智能导航和协同效率方面的不足，显著提高了水下行走检测系统的性能和可靠性。
附图说明
图1为本发明提出基于视觉检测的水下行走检测方法及系统的工作流程示意图；
图2为本发明提出基于视觉检测的水下行走检测方法及系统的步骤1细化流程图；
图3为本发明提出基于视觉检测的水下行走检测方法及系统的步骤2细化流程图；
图4为本发明提出基于视觉检测的水下行走检测方法及系统的步骤3细化流程图；
图5为本发明提出基于视觉检测的水下行走检测方法及系统的步骤4细化流程图；
图6为本发明提出基于视觉检测的水下行走检测方法及系统的步骤5细化流程图；
图7为本发明提出基于视觉检测的水下行走检测方法及系统的步骤6细化流程图；
图8为本发明提出基于视觉检测的水下行走检测方法及系统的系统流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
请参阅图1，本发明提供一种技术方案：基于视觉检测的水下行走检测方法，包括以下步骤：
获取水下图像，使用水下光传输模型和自适应直方图均衡化图像增强算法，去除水下图像中的噪声、模糊和失真，提高图像的清晰度和质量，获得增强的水下图像作为增强图像；
利用卷积神经网络对增强图像进行图像特征提取，识别水下目标，获得目标识别报告作为目标报告；
采用双目立体视觉和点云处理算法，基于目标报告、增强图像，获取物体的精确位置和形状信息，产生三维模型；
使用A*搜索算法和潜在语义分析进行路径规划，根据三维模型，规划水下行走检测系统的最优路径，生成路径报告；
结合深度强化学习和马尔科夫决策过程进行行为预测，通过路径报告结合水下行走对象的运动模型，进行行为预测与动态路径调整，得到导航策略；
采用多智能体协同控制算法，基于导航策略，多个水下行走检测系统进行交互与协作，完成水下任务并生成任务报告。
通过应用水下光传输模型和图像增强算法，可以提高水下图像的清晰度和质量。这将有助于减轻水下环境中的散射、吸收和模糊等问题，使得水下图像更易于分析和解释。通过使用卷积神经网络进行图像特征提取和目标识别，结合双目立体视觉和点云处理算法，可以精确地定位水下目标的位置和形状信息。这对于水下行走检测系统在水下环境中准确感知和跟踪目标对象至关重要。结合A*搜索算法和潜在语义分析，根据三维模型和目标提供的信息，可以实现水下行走检测系统的动态路径规划。通过高效的路径规划，系统能够选择最优路径以避开障碍物，并快速达到目标位置。通过运用深度强化学习和马尔科夫决策过程，水下行走检测系统可以进行行为预测和动态路径调整。系统可以根据目标的运动模式和环境信息，预测可能的行为并相应地调整路径，提高系统的自适应性和性能。应用多智能体协同控制算法，实现多个水下行走检测系统之间的交互与协作。这将提高水下任务的效率，使各个系统能够相互配合、共享信息和协同完成复杂的水下任务。
请参阅图2，获取水下图像，使用水下光传输模型和自适应直方图均衡化图像增强算法，去除水下图像中的噪声、模糊和失真，提高图像的清晰度和质量，获得增强的水下图像作为增强图像的步骤具体为：
通过水下摄像头捕获图像，获取原始水下图像；
录入原始水下图像，采用Jerdon-McCormick模型进行光线衰减和散射的校正，获取光传输预处理图像；
输入光传输预处理图像，基于直方图均衡化处理，调整图像的对比度，使其在整个可视区域内均匀分布，获取增强的水下图像。
采用Jerdon-McCormick模型对水下图像进行光线衰减和散射的校正。这一步骤可以减轻水下环境中光线传输造成的影响，如光线强度衰减和颜色偏移等。通过校正，光传输预处理图像可以更准确地反映水下场景的真实外观。采用图像增强算法如自适应直方图均衡化，调整增强图像的对比度并使其在整个可视区域内均匀分布。直方图均衡化可以增强图像的视觉效果，使细节更加清晰可见，从而提高水下图像的清晰度和质量。增强的水下图像可以去除噪声、模糊和失真等问题，提高图像的清晰度和质量。这将为水下行走检测系统提供更准确、可靠的图像数据，从而增强系统的性能和效果。图像增强的效果有助于改善水下图像的视觉可见性，使水下目标更容易被检测和识别。这对于水下行走检测系统在复杂的水下环境中准确感知和跟踪目标对象至关重要。通过提供更清晰、细节丰富的图像，图像增强技术能够提高水下行走检测系统的准确性、鲁棒性和可靠性。
请参阅图3，利用卷积神经网络对增强图像进行图像特征提取，识别水下目标，获得目标识别报告目标报告的步骤具体为：
输入增强图像到卷积神经网络，利用具体为ResNet的卷积神经网络进行特征提取，获取特征映射；
基于特征映射，随机森林算法进行特征分类和目标识别，输出目标识别报告。
将增强后的水下图像作为输入，传递到卷积神经网络中。卷积神经网络通过一系列的卷积和池化操作，逐层提取图像的特征。这些特征映射呈现了图像的语义信息和结构特征，能够捕获水下目标的关键特点。将提取的特征映射输入到随机森林算法中进行特征分类和目标识别。随机森林是一种集成学习方法，通过多个决策树的投票来确定目标类别。它能够有效地处理高维特征数据，并具有良好的分类性能。
卷积神经网络能够从增强的水下图像中提取高级的语义和结构特征。这些特征可以更准确地表示水下目标的属性和特点，提高目标识别的准确性和鲁棒性。随机森林算法可以有效地处理多类别的目标识别任务。它具有良好的泛化能力和可扩展性，能够识别不同类型的水下目标，并提供相应的目标报告。卷积神经网络和随机森林算法都可以在现代硬件加速器上进行快速计算。这使得目标识别过程能够在实时或接近实时的时间范围内完成，满足水下行走检测系统对实时性能的要求。
请参阅图4，采用双目立体视觉和点云处理算法，基于目标报告、增强图像，获取物体的精确位置和形状信息，产生三维模型的步骤具体为：
输入目标报告、增强图像；
使用双目摄像头获取深度信息，通过立体匹配算法计算像素点之间的视差，获取立体深度图；
基于立体深度图创建点云数据，使用RANSAC算法进行平面拟合和物体边缘检测，输出三维模型。
首先，通过输入目标报告和增强图像，系统获取了物体的识别信息和优化后的视觉输入。接下来，使用双目摄像头获取深度信息，并通过立体匹配算法计算像素点之间的视差，从而得到立体深度图。然后，基于立体深度图创建点云数据，并应用RANSAC算法进行平面拟合和物体边缘检测，产生了准确的三维模型。这些步骤的整合使得系统能够获取物体的精确位置和形状信息，并生成可用于后续分析和决策的三维模型。同时，双目立体视觉和点云处理算法能够有效去除背景噪声，提高系统的鲁棒性。综上所述，基于双目立体视觉和点云处理算法的步骤为水下行走检测提供了重要的感知和理解能力，为系统的目标识别、环境感知和行为预测等任务提供了有益效果。
请参阅图5，使用A*搜索算法和潜在语义分析进行路径规划，根据三维模型，规划水下行走检测系统的最优路径，生成路径报告的步骤具体为：
录入三维模型，通过A*算法在三维模型上找到一条可行路径，输出初步路径；
采用LSA对初步路径进行语义分析和优化，规划水下行走检测系统的最优路径，生成路径报告。
首先，录入三维模型作为输入，使用A算法在三维模型中搜索一条可行路径，并输出初步路径，该路径包含关键点或航点。接下来，采用潜在语义分析对初步路径进行优化，考虑语义关系和约束条件，生成水下行走检测系统的最优路径。最后，根据最优路径生成路径报告，报告中包含了优化后的路径信息、关键点或航点、避开的障碍物以及经过的地点等。整合使用A*搜索算法和潜在语义分析的路径规划方法可在水下行走检测系统中带来多方面的有益效果。这包括规划最优路径、灵活适应环境、考虑障碍物和约束条件，以及生成信息丰富的路径报告。这些步骤的实施可提高系统的导航和决策能力，使路径规划更加准确和可靠。
请参阅图6，结合深度强化学习和马尔科夫决策过程进行行为预测，通过路径报告结合水下行走对象的运动模型，进行行为预测与动态路径调整，得到导航策略的步骤具体为：
输入路径报告，通过Q-learning算法进行动态路径规划，获取动态路径；
基于动态路径，采用马尔科夫决策过程进行动态路径的风险评估和策略优化，生成导航策略。
首先，将路径报告作为输入，通过Q-learning算法进行动态路径规划。这个阶段利用路径报告来指导系统在水下环境中选择最佳路径。然后，基于获得的动态路径，采用马尔科夫决策过程进行风险评估和策略优化。它通过考虑环境的不确定性和导航目标，综合评估潜在的风险和效益，从而生成最优的导航策略。最后，根据优化后的导航策略，对水下行走检测系统的行为进行预测并进行动态路径调整。方法从实施角度上带来多重好处。首先，它实现了动态路径规划，根据实时环境和导航需求灵活调整路径。其次，通过马尔科夫决策过程进行风险评估和策略优化，提高了路径规划的安全性和效率。此外，它具有实时性和自适应性，可以根据动态环境实时调整导航策略。最重要的是，通过准确的行为预测，系统能够更好地理解水下行走对象的运动模式和行为意图，进而更好地选择路径和导航策略。综合利用深度强化学习和马尔科夫决策过程的行为预测和动态路径调整的方法能够提升水下行走检测系统的导航性能，增强其适应多变环境的能力，提高安全性和效率。
请参阅图7，采用多智能体协同控制算法，基于导航策略，多个水下行走检测系统进行交互与协作，完成水下任务并生成任务报告的步骤具体为：
基于导航策略，通过ROS通信协议建立智能体间的通信网络，生成协同通信模型；
输入协同通信模型，使用分布式一致性算法分配任务给各智能体，生成任务分配方案；
基于任务分配方案，各智能体按照任务方案执行水下任务，通过PID控制算法保持稳定行走，生成任务报告。
首先，基于导航策略，通过ROS通信协议建立智能体间的通信网络，形成协同通信模型。这样，各个智能体可以共享导航策略和实时信息，实现有效的协同决策和任务分配。接下来，利用分布式一致性算法进行任务分配，根据系统的可用资源、智能体的能力以及任务优先级等因素，为每个智能体分配最适合的任务，生成合理的任务分配方案。然后，各个智能体按照任务分配方案执行水下任务，并利用PID控制算法保持稳定行走。PID控制算法根据反馈环路，根据当前状态和目标状态进行实时控制和调整，确保智能体稳定而精确地行走。最后，在完成水下任务后，智能体生成任务报告，其中包括任务执行的结果、数据收集和检测结果等。任务报告提供了详尽的任务信息，为后续的分析、评估和决策提供有价值的数据和参考。采用多智能体协同控制算法进行水下任务交互与协作具有高效的任务分配、实时的智能体通信、稳定的行走和导航，以及详尽的任务报告等有益效果。该方法能够提高水下行走检测系统的效率、准确性和稳定性，并为系统的实施和决策提供有用的信息和指导。
请参阅图8，基于视觉检测的水下行走检测系统用于执行基于视觉检测的水下行走检测方法，基于视觉检测的水下行走检测系统是由图像增强模块、特征提取与目标识别模块、三维建模模块、路径规划模块、行为预测与导航策略模块、多智能体协同模块组成。
首先，该系统能够提高水下目标检测的准确性，通过图像增强和特征提取与目标识别模块，优化水下环境图像质量并实现精确的目标识别。其次，三维建模模块生成水下环境的三维模型，为路径规划和导航决策提供详细环境信息，从而提升导航的效率和安全性。此外，通过行为预测与导航策略模块，系统可以根据目标的行为模式进行预测，并采取适当的导航策略应对变化的水下环境和目标行为。多智能体协同模块实现智能体之间的协作与交互，优化任务分配和资源利用，提高整个水下行走检测系统的性能和效率。综上所述，基于视觉检测的水下行走检测系统集成了多个模块，通过提高准确性、提供环境信息、实现行为预测与导航策略以及协同控制等方式，显著提升了水下任务执行和目标检测的效率、精度和可靠性。
图像增强模块负责从水下摄像头捕获原始图像，进行光传输预处理，最后采用直方图均衡化方法增强图像，输出增强水下图像；
特征提取与目标识别模块基于增强水下图像，使用ResNet进行特征提取，并通过随机森林算法进行特征分类和目标识别，输出目标识别报告；
三维建模模块基于目标识别报告，通过双目立体视觉获取深度信息，并基于点云数据构建三维模型。
路径规划模块录入三维模型，使用A*算法找到初始路径，并通过潜在语义分析进行路径的优化，生成最优路径报告；
行为预测与导航策略模块利用Q-Learning算法和马尔科夫决策过程，基于最优路径报告进行行为预测与动态路径调整，输出导航策略；
多智能体协同模块通过ROS通信协议和分布式一致性算法，基于导航策略进行多智能体之间的交互与协作，完成水下任务并生成任务报告。
首先，图像增强模块通过光传输预处理和直方图均衡化方法，增强了水下图像的质量，从而提高了目标检测的准确性和可靠性。其次，特征提取与目标识别模块利用ResNet进行特征提取，并结合随机森林算法进行特征分类和目标识别，使系统能够快速、准确地识别水下目标，并生成详细的目标识别报告。这有助于系统对水下环境的全面理解和目标监测的精确性。另外，三维建模模块结合目标识别报告，利用双目立体视觉获取深度信息，并据此构建水下环境的三维模型。这种建模方法为系统提供了更详尽的环境信息，以支持路径规划和导航决策的优化。路径规划模块利用A*算法找到初始路径，并通过潜在语义分析对路径进行进一步优化，生成最优路径报告。这样的路径规划方案可以减少路径冗余和能量消耗，提高导航的效率。行为预测与导航策略模块应用Q-Learning算法和马尔科夫决策过程，根据最优路径报告进行行为预测和动态路径调整。这样的实施策略使系统能够根据实时情况和目标行为进行智能的导航决策，增强了系统的自适应性和可靠性。最后，多智能体协同模块利用ROS通信协议和分布式一致性算法，实现智能体之间的交互与协作。这种协同控制方案能够优化任务分配和资源利用，提高整个水下行走检测系统的性能和效率。同时，完成水下任务后，系统能够生成任务报告，其中包括任务执行的结果、收集到的数据和检测结果等，为系统的后续分析、评估和决策提供有价值的数据和参考。
工作原理：首先，图像增强模块通过光传输预处理和直方图均衡化等算法，提高水下图像的质量，降低噪声和模糊，并增强目标识别的准确性。接着，特征提取与目标识别模块利用卷积神经网络和机器学习算法，快速而准确地识别水下目标，并生成目标识别报告。三维建模模块利用目标识别报告和双目立体视觉等技术，构建水下环境的三维模型，提供详细的环境信息。路径规划模块利用A*搜索和潜在语义分析，生成最优路径报告，确保系统能够高效、安全地导航。行为预测与导航策略模块结合深度强化学习和马尔科夫决策过程，根据目标行为模式和最优路径报告进行行为预测和动态路径调整。多智能体协同模块通过通信协议和分布式算法，实现智能体之间的交互与协作，优化任务分配和资源利用。综上所述，基于视觉检测的水下行走检测系统综合运用多个模块，通过提高准确性、提供环境信息、实现行为预测与导航策略以及优化协同控制，显著提升水下任务执行和目标检测的效率、精度和可靠性。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (10)
1.基于视觉检测的水下行走检测方法，其特征在于，包括以下步骤：
获取水下图像，使用水下光传输模型和自适应直方图均衡化图像增强算法，去除水下图像中的噪声、模糊和失真，提高图像的清晰度和质量，获得增强的水下图像作为增强图像；
利用卷积神经网络对所述增强图像进行图像特征提取，识别水下目标，获得目标识别报告作为目标报告；
采用双目立体视觉和点云处理算法，基于所述目标报告、增强图像，获取物体的精确位置和形状信息，产生三维模型；
使用A*搜索算法和潜在语义分析进行路径规划，根据所述三维模型，规划水下行走检测系统的最优路径，生成路径报告；
结合深度强化学习和马尔科夫决策过程进行行为预测，通过所述路径报告结合水下行走对象的运动模型，进行行为预测与动态路径调整，得到导航策略；
采用多智能体协同控制算法，基于所述导航策略，多个水下行走检测系统进行交互与协作，完成水下任务并生成任务报告。
2.根据权利要求1所述的基于视觉检测的水下行走检测方法，其特征在于，获取水下图像，使用水下光传输模型和自适应直方图均衡化图像增强算法，去除水下图像中的噪声、模糊和失真，提高图像的清晰度和质量，获得增强的水下图像作为增强图像的步骤具体为：
通过水下摄像头捕获图像，获取原始水下图像；
录入所述原始水下图像，采用Jerdon-McCormick模型进行光线衰减和散射的校正，获取光传输预处理图像；
输入光传输预处理图像，基于直方图均衡化处理，调整图像的对比度，使其在整个可视区域内均匀分布，获取增强的水下图像。
3.根据权利要求1所述的基于视觉检测的水下行走检测方法，其特征在于，利用卷积神经网络对所述增强图像进行图像特征提取，识别水下目标，获得目标识别报告目标报告的步骤具体为：
输入增强图像到卷积神经网络，利用具体为ResNet的卷积神经网络进行特征提取，获取特征映射；
基于所述特征映射，随机森林算法进行特征分类和目标识别，输出目标识别报告。
4.根据权利要求1所述的基于视觉检测的水下行走检测方法，其特征在于，采用双目立体视觉和点云处理算法，基于所述目标报告、增强图像，获取物体的精确位置和形状信息，产生三维模型的步骤具体为：
输入所述目标报告、增强图像；
使用双目摄像头获取深度信息，通过立体匹配算法计算像素点之间的视差，获取立体深度图；
基于所述立体深度图创建点云数据，使用RANSAC算法进行平面拟合和物体边缘检测，输出三维模型。
5.根据权利要求1所述的基于视觉检测的水下行走检测方法，其特征在于，使用A*搜索算法和潜在语义分析进行路径规划，根据所述三维模型，规划水下行走检测系统的最优路径，生成路径报告的步骤具体为：
录入所述三维模型，通过A*算法在所述三维模型上找到一条可行路径，输出初步路径；
采用LSA对所述初步路径进行语义分析和优化，规划水下行走检测系统的最优路径，生成路径报告。
6.根据权利要求1所述的基于视觉检测的水下行走检测方法，其特征在于，所述结合深度强化学习和马尔科夫决策过程进行行为预测，通过所述路径报告结合水下行走对象的运动模型，进行行为预测与动态路径调整，得到导航策略的步骤具体为：
输入路径报告，通过Q-learning算法进行动态路径规划，获取动态路径；
基于所述动态路径，采用马尔科夫决策过程进行所述动态路径的风险评估和策略优化，生成导航策略。
7.根据权利要求1所述的基于视觉检测的水下行走检测方法，其特征在于，采用多智能体协同控制算法，基于所述导航策略，多个水下行走检测系统进行交互与协作，完成水下任务并生成任务报告的步骤具体为：
基于所述导航策略，通过ROS通信协议建立智能体间的通信网络，生成协同通信模型；
输入所述协同通信模型，使用分布式一致性算法分配任务给各智能体，生成任务分配方案；
基于所述任务分配方案，所述各智能体按照任务方案执行水下任务，通过PID控制算法保持稳定行走，生成任务报告。
8.基于视觉检测的水下行走检测系统，其特征在于，所述基于视觉检测的水下行走检测系统用于执行权利要求1-7所述的基于视觉检测的水下行走检测方法，所述基于视觉检测的水下行走检测系统是由图像增强模块、特征提取与目标识别模块、三维建模模块、路径规划模块、行为预测与导航策略模块、多智能体协同模块组成。
9.根据权利要求8所述的基于视觉检测的水下行走检测系统，其特征在于，所述图像增强模块负责从水下摄像头捕获原始图像，进行光传输预处理，最后采用直方图均衡化方法增强图像，输出增强水下图像；
所述特征提取与目标识别模块基于增强水下图像，使用ResNet进行特征提取，并通过随机森林算法进行特征分类和目标识别，输出目标识别报告；
所述三维建模模块基于目标识别报告，通过双目立体视觉获取深度信息，并基于点云数据构建三维模型。
10.根据权利要求8所述的基于视觉检测的水下行走检测系统，其特征在于，所述路径规划模块录入三维模型，使用A*算法找到初始路径，并通过潜在语义分析进行路径的优化，生成最优路径报告；
所述行为预测与导航策略模块利用Q-Learning算法和马尔科夫决策过程，基于所述最优路径报告进行行为预测与动态路径调整，输出导航策略；
所述多智能体协同模块通过ROS通信协议和分布式一致性算法，基于所述导航策略进行多智能体之间的交互与协作，完成水下任务并生成任务报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311329868.1A CN117079118B (zh) | 2023-10-16 | 2023-10-16 | 基于视觉检测的水下行走检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311329868.1A CN117079118B (zh) | 2023-10-16 | 2023-10-16 | 基于视觉检测的水下行走检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117079118A true CN117079118A (zh) | 2023-11-17 |
| CN117079118B CN117079118B (zh) | 2024-01-16 |
Family
ID=88704593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311329868.1A Active CN117079118B (zh) | 2023-10-16 | 2023-10-16 | 基于视觉检测的水下行走检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117079118B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016645A (zh) * | 2017-04-05 | 2017-08-04 | 云南电网有限责任公司电力科学研究院 | 一种基于las的输电走廊航拍照片拼接方法 |
| CN108536157A (zh) * | 2018-05-22 | 2018-09-14 | 上海迈陆海洋科技发展有限公司 | 一种智能水下机器人及其系统、物标跟踪方法 |
| CN109241552A (zh) * | 2018-07-12 | 2019-01-18 | 哈尔滨工程大学 | 一种基于多约束目标的水下机器人运动规划方法 |
| US20190187703A1 (en) * | 2017-12-19 | 2019-06-20 | X Development Llc | Semantic Obstacle Recognition For Path Planning |
| CN111290270A (zh) * | 2020-02-11 | 2020-06-16 | 哈尔滨工程大学 | 一种基于Q-learning参数自适应技术的水下机器人反步速度和艏向控制方法 |
| CN112132958A (zh) * | 2020-09-23 | 2020-12-25 | 哈尔滨工程大学 | 一种基于双目视觉的水下环境三维重建方法 |
| CN113110530A (zh) * | 2021-04-16 | 2021-07-13 | 大连海事大学 | 一种针对三维环境下的水下机器人路径规划方法 |
| CN114625151A (zh) * | 2022-03-10 | 2022-06-14 | 大连理工大学 | 一种基于强化学习的水下机器人避障路径规划方法 |
| CN114882346A (zh) * | 2021-01-22 | 2022-08-09 | 中国科学院沈阳自动化研究所 | 一种基于视觉的水下机器人目标自主识别方法 |
| CN116734856A (zh) * | 2023-06-16 | 2023-09-12 | 河海大学 | 一种考虑洋流影响的水下机器人路径规划方法 |
| CN116883611A (zh) * | 2023-09-07 | 2023-10-13 | 中交天航南方交通建设有限公司 | 一种结合gis航道信息的航道淤泥分布主动探测识别方法 |
-
2023
- 2023-10-16 CN CN202311329868.1A patent/CN117079118B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016645A (zh) * | 2017-04-05 | 2017-08-04 | 云南电网有限责任公司电力科学研究院 | 一种基于las的输电走廊航拍照片拼接方法 |
| US20190187703A1 (en) * | 2017-12-19 | 2019-06-20 | X Development Llc | Semantic Obstacle Recognition For Path Planning |
| CN108536157A (zh) * | 2018-05-22 | 2018-09-14 | 上海迈陆海洋科技发展有限公司 | 一种智能水下机器人及其系统、物标跟踪方法 |
| CN109241552A (zh) * | 2018-07-12 | 2019-01-18 | 哈尔滨工程大学 | 一种基于多约束目标的水下机器人运动规划方法 |
| CN111290270A (zh) * | 2020-02-11 | 2020-06-16 | 哈尔滨工程大学 | 一种基于Q-learning参数自适应技术的水下机器人反步速度和艏向控制方法 |
| CN112132958A (zh) * | 2020-09-23 | 2020-12-25 | 哈尔滨工程大学 | 一种基于双目视觉的水下环境三维重建方法 |
| CN114882346A (zh) * | 2021-01-22 | 2022-08-09 | 中国科学院沈阳自动化研究所 | 一种基于视觉的水下机器人目标自主识别方法 |
| CN113110530A (zh) * | 2021-04-16 | 2021-07-13 | 大连海事大学 | 一种针对三维环境下的水下机器人路径规划方法 |
| CN114625151A (zh) * | 2022-03-10 | 2022-06-14 | 大连理工大学 | 一种基于强化学习的水下机器人避障路径规划方法 |
| CN116734856A (zh) * | 2023-06-16 | 2023-09-12 | 河海大学 | 一种考虑洋流影响的水下机器人路径规划方法 |
| CN116883611A (zh) * | 2023-09-07 | 2023-10-13 | 中交天航南方交通建设有限公司 | 一种结合gis航道信息的航道淤泥分布主动探测识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117079118B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108496127B (zh) | 集中于对象的有效三维重构 | |
| Bucher et al. | Image processing and behavior planning for intelligent vehicles | |
| Foresti et al. | Vehicle recognition and tracking from road image sequences | |
| CN107491071B (zh) | 一种智能多机器人协同测图系统及其方法 | |
| Samal et al. | Task-driven rgb-lidar fusion for object tracking in resource-efficient autonomous system | |
| Shreyas et al. | 3D object detection and tracking methods using deep learning for computer vision applications | |
| Liu et al. | Software-defined active LiDARs for autonomous driving: A parallel intelligence-based adaptive model | |
| Bieder et al. | Exploiting multi-layer grid maps for surround-view semantic segmentation of sparse lidar data | |
| Li et al. | Energy-efficient ground traversability mapping based on UAV-UGV collaborative system | |
| Mannion | Vulnerable road user detection: state-of-the-art and open challenges | |
| Li et al. | MSN: Mapless short-range navigation based on time critical deep reinforcement learning | |
| Liu et al. | Precise Positioning and Prediction System for Autonomous Driving Based on Generative Artificial Intelligence | |
| CN113721615A (zh) | 一种基于机器视觉的海航路径规划方法及系统 | |
| CN117079118B (zh) | 基于视觉检测的水下行走检测方法及系统 | |
| Zhao et al. | Baseline detection and matching to vision-based navigation of agricultural robot | |
| Chavan et al. | Obstacle detection and avoidance for automated vehicle: A review | |
| CN109977884B (zh) | 目标跟随方法和装置 | |
| Ouyang et al. | Semantic slam for mobile robot with human-in-the-loop | |
| Zhao et al. | DHA: Lidar and vision data fusion-based on road object classifier | |
| Wu | Human motion tracking algorithm based on image segmentation algorithm and Kinect depth information | |
| Samejima et al. | Visual support system for remote control by adaptive ROI selection of monitoring robot | |
| Ma et al. | Self-Supervised Drivable Area Segmentation Using LiDAR's Depth Information for Autonomous Driving | |
| Zhao et al. | Bm2cp: Efficient collaborative perception with lidar-camera modalities | |
| Zhang et al. | V2VSSC: A 3D semantic scene completion benchmark for perception with vehicle to vehicle communication | |
| CN115373383A (zh) | 一种垃圾回收无人艇的自主避障方法、装置及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |