CN113222961A - 智能船体检测系统及方法 - Google Patents
智能船体检测系统及方法 Download PDFInfo
- Publication number
- CN113222961A CN113222961A CN202110586296.XA CN202110586296A CN113222961A CN 113222961 A CN113222961 A CN 113222961A CN 202110586296 A CN202110586296 A CN 202110586296A CN 113222961 A CN113222961 A CN 113222961A
- Authority
- CN
- China
- Prior art keywords
- detection
- ship
- hull
- underwater
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002567 autonomic effect Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000238586 Cirripedia Species 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种智能船体检测系统及方法，涉及船体检测技术领域，该智能船体检测系统包括：用于进行水下船体智能检测，并生成可视化船体三维检测报告的下位机；用于读取并显示下位机生成的可视化船体三维检测报告的上位机；所述下位机的主体为水下机器人，水下机器人中内置有多个计算模块，主要包括：控制模块，用于实现下位机自身姿态运动控制；图像识别模块，用于对水下船体的特定区域进行图像识别；视觉SLAM模块，用于对水下船体进行三维建模。本发明提供了一种船体检测的自主智能解决方案，相比现有技术中采用人工分析的方案，缩短了检测时间，提高了检测效率。
Description
技术领域
本发明涉及船体检测技术领域，特别是涉及智能船体检测系统及方法。
背景技术
舰船在航行中承受着海水的冲击与腐蚀，也可能使船体和附件金属体容易产生不同程度的腐蚀、裂纹等损伤现象，使船舶的安全性大大降低。通过水下损伤部位的检测与评估，准确地掌握舰船水下附件或部件的技术状态，实现由“定时维修”向“视情维修”转变，可大大提高船舶航行的安全性。
目前，船体检测大多采用人工有缆检测的方式，多采用水下机器人进行水下拍摄，实时传回上位机，由人工对数据进行分析。如专利申请号为201811499595.4，发明名称为《一种水下船体检测机器人及其工作方法》的专利中，进行船体检测时，将水下机器人置入水中，通过上位机控制水下机器人移动，同时控制双目摄像头模块和结构光扫描仪打开进行图像采集；将采用的图像转换成光信号通过光纤传输到上位机上；上位机处理图像实时构建三维模型，上位机通过构建的三维模型对船体底部以及船体裂缝检查。
然而，上述方法需要进行大量数据传输，还需要经人工分析，具有耗时长，效率低的缺点，无法迅速得到直观的可视化检测报告。
发明内容
有鉴于此，本发明提供了智能船体检测系统及方法，以实现设备自主智能船体检测，缩短检测时间，提高检测效率。
为此，本发明提供了以下技术方案：
本发明提供了一种智能船体检测系统，所述智能船体检测系统包括：
用于进行水下船体智能检测，并生成可视化船体三维检测报告的下位机；
用于读取并显示下位机生成的可视化船体三维检测报告的上位机；
所述下位机的主体为水下机器人，水下机器人中内置有多个计算模块，主要包括：
控制模块，用于实现下位机自身姿态运动控制；
图像识别模块，用于对水下船体的特定区域进行图像识别；
视觉SLAM模块，用于对水下船体进行三维建模。
进一步地，所述水下机器人上搭载有双目摄像头、陀螺仪、加速度计以及水深传感器。
进一步地，所述图像识别模块的识别算法使用优化后的开源Yolov4框架；
所述优化包括：在Yolov4网络的输入端，添加对比度自适应直方图均衡化算法；在训练时，利用数据增广方法扩充数据集，同时将同一张图片进行分尺度训练Yolov4网络。
进一步地，所述视觉SLAM模块分为三个节点，第一节点作为驱动节点，采集摄像头传感器的数据；第二节点做姿态估计，提供世界坐标系转向相机坐标系的矩阵；第三节点作为建图节点，收集第一节点和第二节点的建图节点接收图像数据和位姿数据，进行点云的拼接。
进一步地，上位机中设置有第一无线网络模块，下位机中设置有第二无线网络模块，上位机和下位机之间通过第一无线网络模块和第二无线网络模块进行无线网络通信，完成可视化船体三维检测报告的传输。
本发明还提供了一种智能船体检测方法，所述方法应用于上述智能船体检测系统，所述方法包括：
水下机器人在控制模块的控制下对船体进行环绕检测，进行视频的拍摄；
运行图像识别模块和视觉SLAM模块，分别对水下船体表面进行特定区域识别和船体三维模型构建；
融合特定区域相对坐标和船体三维模型数据，将特定区域坐标标注在三维模型中；
水下机器人运行自主报告生成脚本，使用既定的排列框架，不同类别图片对应不同的文档页号，通过对识别图像的结果进行检索，将检索到的图片展示到各特定区域中，生成可视化船体三维检测报告；
使用上位机无线读取生成的可视化船体三维检测报告。
进一步地，所述方法还包括：
上位机将读取的可视化船体三维检测报告报告上传到云端数据库，将摄像头拍摄的视频，按检测到的特定区域进行分类收集，为每艘船建立特有的水下船表图像数据库。
进一步地，融合特定区域相对坐标和船体三维模型数据，将特定区域坐标标注在三维模型中，包括：
视觉SLAM模块，首先使用读入采集的图像构建图像金字塔，以应对不同影像间的特征尺度变化，然后利用八叉树分割算法对图像进行拆分并进行特征提取，得到FAST角点，再基于灰度质心法计算FAST角点方向，结合前面计算的角点方向计算得到ORB特征；
视觉SLAM模块运行的同时，识别模块运行YOLOv4识别算法，得到特定目标区域的识别框，将识别框的四角点同样标记为特征点，并做特殊标记；
调用ORB-SLAM2建图算法，获取关键帧，基于特征点创建新地图点并进行地图点融合，将所有地图点进行存储、拼接建图，构建连续稀疏点云图。
进一步地，进行视频的拍摄时，若连续五秒没有检测到特定区域，结束录像模式，将视频进行存储。
进一步地，自主报告生成脚本采用python编写。
本发明的优点和积极效果：本发明提供了一种自主智能解决方案，从机器下水到从水中取出，所有水下检测过程都不需要人为参与，技术人员只需要使用上位机从检测结束的机器人中，下载拍摄的视频和生成的报告即可，相比现有技术中采用人工分析的方案，缩短了检测时间，提高了检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种智能船体检测系统的结构框图；
图2为本发明实施例中视觉SLAM模块的结构框图；
图3为本发明实施例中一种智能船体检测方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参见图1，其示出了本发明实施例中的一种智能船体检测系统的结构框图，该智能船体检测系统包括上位机100和下位机200，上位机100可以为个人计算机(PC)，也可以为手持终端等，用于读取并显示下位机200生成的可视化船体三维检测报告。下位机200用于进行水下船体智能检测，同时构建船表图像数据库，并生成可视化船体三维检测报告。下位机200的主体为水下机器人1，水下机器人1上搭载有双目摄像头2、陀螺仪3、加速度计4以及水深传感器5。同时，水下机器人1中内置有多个计算模块，用于完成船体检测中涉及的各种数据处理及运算。主要包括：
控制模块101，用于实现下位机自身姿态运动控制；
图像识别模块102，用于对水下船体图像识别；
图像识别模块102的识别算法使用优化后的开源Yolov4框架；Yolo网络包括四层结构：输入端，基准层，Neck网络和Head输出端。输入端对图像进行预处理操作，即将输入图像缩放到网络的输入大小，并进行归一化等操作，基准层使用CSP Darknet53作为基准网络并使用Mish激活函数，Neck网络利用自顶向下的FPN特征金字塔来提升网络的特征提取能力，Head输出端针对不同的检测类别数，完成目标检测结果的输出。
优选地，本发明实施例中，在输入端，添加对比度自适应直方图均衡化算法，用于克服水下图像的降质问题，同时在训练时，利用数据增广方法扩充数据集，同时将同一张图片进行分尺度训练Yolov4网络，以克服海底图像样本集有限的限制。改变了传统水下图像增强与目标检测分开进行的现状，使网络增强部分更有利于海洋生物识别准确度的提高。
此外，为了提升特征提取能力，本发明实施例中还在Yolov4神经网络的第一层卷积层中加入了降噪自动编码机。
视觉SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)模块103，用于对水下船体进行三维建模；
如图2所示，视觉SLAM模块分为三个节点，第一个节点作为驱动节点，采集摄像头传感器的数据。第二个节点利用ORB-SLAM2(ORB-SLAM是一个基于特征点的实时单目SLAM系统，在大规模的、小规模的、室内室外的环境都可以运行。该系统对剧烈运动也很鲁棒，支持宽基线的闭环检测和重定位，包括全自动初始化。该系统包含了所有SLAM系统共有的模块：跟踪(Tracking)、建图(Mapping)、重定位(Relocalization)、闭环检测(Loop closing)。由于ORB-SLAM系统是基于特征点的SLAM系统，故其能够实时计算出相机的轨线，并生成场景的稀疏三维重建结果。ORB-SLAM2在ORB-SLAM的基础上，还支持标定后的双目相机和RGB-D相机。)做姿态估计，提供Tcw(世界坐标系转向相机坐标系的矩阵，即from world tocamera)。第三个节点作为建图节点，收集第一和第二节点的建图节点接收图像数据和位姿数据，进行点云的拼接。
智能船体检测分为两个阶段，第一阶段是船体检测以及生成可视化检测报告阶段，该阶段完全由下位机实现；第二阶段是船体检测完成之后的阶段，下位机完成船体检测以及生成可视化船体三维检测报告之后，与上位机进行有线或无线连接的数据传输，将下位机自主生成的报告传回上位机。优选地，本发明实施例中上位机100中设置有第一无线网络模块300，下位机200中设置有第二无线网络模块400，上位机100和下位机200之间通过第一无线网络模块300和第二无线网络模块400进行无线网络通信，完成可视化船体三维检测报告的传输。
本发明实施例中，完全由下位机进行船体检测并生成可视化船体三维检测报告，所有水下检测过程都不需要人为参与，技术人员只需要使用上位机从检测结束的机器人中，下载拍摄的视频和生成的报告即可，相比现有技术中采用人工分析的方案，缩短了检测时间，提高了检测效率。
参见图3，其示出了本发明实施例中一种智能船体检测方法的流程图，该方法应用于上述智能船体检测系统，在需要检测时将水下机器人放在入水中，水下机器人在控制模块101的控制下(如按既定的轨迹)绕船体进行环绕式检测，在环绕过程中将摄像头拍摄到的视频数据，分别送入图像识别模块102和视觉SLAM模块103中，图像识别模块102对船表污染程度进行识别和评分，同时应用视觉SLAM模块103对水下船体进行三维建模，汇总视频分析数据和三维数据，得到可视化船体三维检测报告。
具体地，该方法包括：
S1、将水下机器人放入水中；
水下机器人下水时就会进行视频的拍摄，图像识别模块识别到特定区域时会开启录像模式(只是将实时拍摄的视频进行存储操作，不影响其他功能)，若连续五秒没有检测到特定区域，结束录像模式，将视频进行存储。优选地，以mp4的视频格式存储在机器人携带的硬盘里。
S2、水下机器人在控制模块101的控制下对船体进行环绕检测，检测同时运行图像识别模块102和视觉SLAM模块103，对水下船体表面进行特定区域识别和船体三维模型构建；
图像识别模块102运用深度学习网络对特定区域(如：排污口、海底门、舵面锌块、焊缝等)和船表可能会附着的海洋生物(如：藤壶、贝类、海虹等)识别，并截取这些特定的区域视频并存储。
在运用深度学习网络时，首先获取水下船体的图像数据集，对图像中特定区域和附着的海洋生物进行人工标注，然后利用人工标注的图像数据集对深度学习网络进行训练，之后利用训练好的深度学习网络进行识别。
水下机器人围绕船体进行环绕检测时，双目摄像头运行SLAM算法，得到船表各特征点(类似于点云)，通过这些特征点，得到船表各区域的相对位置，并建模还原水下船体模型(类似于雷达建模)。
S3、融合特定区域相对坐标和船体三维模型数据，将特定区域坐标标注在三维模型中；
步骤S3具体包括：
S301、视觉SLAM模块，首先使用读入采集的图像构建图像金字塔，以应对不同影像间的特征尺度变化，然后利用OctTree算法(八叉树分割算法)对图像进行拆分并进行特征提取，得到FAST角点，再基于灰度质心法计算FAST角点方向，结合前面计算的角点方向计算得到ORB特征；
FAST(Features from Accelerated Segment Test)角点定义为：若某像素与其周围邻域内足够多的像素点相差较大，则该像素可能是角点。
ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化主要解决了BRIEF描述子不具备旋转不变性的问题。
BRIEF(Binary Robust Independent Elementary Features)是一种对已检测到的特征点进行表示和描述的特征描述方法，BRIEF是一种二进制编码的特征描述子，既降低了存储空间的需求，提升了特征描述子生成的速度，也减少了特征匹配时所需的时间。
S302、视觉SLAM模块运行的同时，识别模块运行YOLOv4识别算法，得到特定目标区域的识别框，将识别框的四角点同样标记为特征点，并做特殊标记；
S303、调用ORB-SLAM2建图算法，获取关键帧，基于特征点创建新地图点并进行地图点融合，将所有地图点进行存储、拼接建图，构建连续稀疏点云图。
S4、水下机器人运行自主报告生成脚本，使用既定的排列框架，不同类别图片对应不同的文档页号，通过对识别图像的结果进行检索，将检索到的图片展示到各特定区域中，生成水下船体检测报告；
优选地，自主报告生成脚本可以采用python编写。文档可以是ppt格式，也可以是word格式。
汇总三维模型和截取的特定区域视频，载入预先设置好的程序模板，生成包含各特定区域视频的可视化船体三维检测报告。
水下机器人进行自主视频分析和视觉三维建模，使用人工智能对水下船体情况进行评估打分，并得到可视化报告，不仅节省了分析时间，还得到了更清晰易懂的视觉效果。
S5、取出完成检测任务的水下机器人，使用上位机无线读取生成的可视化船体三维检测报告。
S6、上位机将读取的可视化船体三维检测报告报告上传到云端数据库，为每艘船建立特有的船表数据库。
最后，将摄像头拍摄的视频，按检测到的特定区域进行分类收集，制作成一个水下船表图像数据库。收集的水下船体图像数据库，不仅可以用来提升模型的精度，还可以开源在互联网上，帮助其他相关团队的模型训练。
本发明实施例中，完全由下位机进行船体检测并生成可视化船体三维检测报告，所有水下检测过程都不需要人为参与，技术人员只需要使用上位机从检测结束的机器人中，下载拍摄的视频和生成的报告即可。如表1所示，相比现有技术中采用人工分析的方案，缩短了检测时间，提高了检测效率。
表1
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种智能船体检测系统，其特征在于，所述智能船体检测系统包括：
用于进行水下船体智能检测，并生成可视化船体三维检测报告的下位机；
用于读取并显示下位机生成的可视化船体三维检测报告的上位机；
所述下位机的主体为水下机器人，水下机器人中内置有多个计算模块，主要包括：
控制模块，用于实现下位机自身姿态运动控制；
图像识别模块，用于对水下船体的特定区域进行图像识别；
视觉SLAM模块，用于对水下船体进行三维建模。
2.根据权利要求1所述的智能船体检测系统，其特征在于，所述水下机器人上搭载有双目摄像头、陀螺仪、加速度计以及水深传感器。
3.根据权利要求1所述的智能船体检测系统，其特征在于，所述图像识别模块的识别算法使用优化后的开源Yolov4框架；
所述优化包括：在Yolov4网络的输入端，添加对比度自适应直方图均衡化算法；在训练时，利用数据增广方法扩充数据集，同时将同一张图片进行分尺度训练Yolov4网络。
4.根据权利要求1所述的智能船体检测系统，其特征在于，所述视觉SLAM模块分为三个节点，第一节点作为驱动节点，采集摄像头传感器的数据；第二节点做姿态估计，提供世界坐标系转向相机坐标系的矩阵；第三节点作为建图节点，收集第一节点和第二节点的建图节点接收图像数据和位姿数据，进行点云的拼接。
5.根据权利要求1所述的智能船体检测系统，其特征在于，上位机中设置有第一无线网络模块，下位机中设置有第二无线网络模块，上位机和下位机之间通过第一无线网络模块和第二无线网络模块进行无线网络通信，完成可视化船体三维检测报告的传输。
6.一种智能船体检测方法，其特征在于，所述方法应用于如权利要求1～5任一项所述的智能船体检测系统，所述方法包括：
水下机器人在控制模块的控制下对船体进行环绕检测，进行视频的拍摄；
运行图像识别模块和视觉SLAM模块，分别对水下船体表面进行特定区域识别和船体三维模型构建；
融合特定区域相对坐标和船体三维模型数据，将特定区域坐标标注在三维模型中；
水下机器人运行自主报告生成脚本，使用既定的排列框架，不同类别图片对应不同的文档页号，通过对识别图像的结果进行检索，将检索到的图片展示到各特定区域中，生成可视化船体三维检测报告；
使用上位机无线读取生成的可视化船体三维检测报告。
7.根据权利要求6所述的智能船体检测方法，其特征在于，还包括：
上位机将读取的可视化船体三维检测报告报告上传到云端数据库，将摄像头拍摄的视频，按检测到的特定区域进行分类收集，为每艘船建立特有的水下船表图像数据库。
8.根据权利要求6所述的智能船体检测方法，其特征在于，融合特定区域相对坐标和船体三维模型数据，将特定区域坐标标注在三维模型中，包括：
视觉SLAM模块，首先使用读入采集的图像构建图像金字塔，以应对不同影像间的特征尺度变化，然后利用八叉树分割算法对图像进行拆分并进行特征提取，得到FAST角点，再基于灰度质心法计算FAST角点方向，结合前面计算的角点方向计算得到ORB特征；
视觉SLAM模块运行的同时，识别模块运行YOLOv4识别算法，得到特定目标区域的识别框，将识别框的四角点同样标记为特征点，并做特殊标记；
调用ORB-SLAM2建图算法，获取关键帧，基于特征点创建新地图点并进行地图点融合，将所有地图点进行存储、拼接建图，构建连续稀疏点云图。
9.根据权利要求6所述的智能船体检测方法，其特征在于，进行视频的拍摄时，若连续五秒没有检测到特定区域，结束录像模式，将视频进行存储。
10.根据权利要求6所述的智能船体检测方法，其特征在于，自主报告生成脚本采用python编写。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586296.XA CN113222961A (zh) | 2021-05-27 | 2021-05-27 | 智能船体检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586296.XA CN113222961A (zh) | 2021-05-27 | 2021-05-27 | 智能船体检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113222961A true CN113222961A (zh) | 2021-08-06 |
Family
ID=77098951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110586296.XA Pending CN113222961A (zh) | 2021-05-27 | 2021-05-27 | 智能船体检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222961A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206070A (zh) * | 2023-05-05 | 2023-06-02 | 中国海洋大学 | 一种基于机器双目视觉的船体水下成像方法及水下机器人 |
| CN117455913A (zh) * | 2023-12-25 | 2024-01-26 | 卡松科技股份有限公司 | 基于图像特征的液压油污染智能检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101386340A (zh) * | 2008-10-29 | 2009-03-18 | 哈尔滨工程大学 | 一种船体检测水下机器人 |
| US20130204543A1 (en) * | 2010-05-10 | 2013-08-08 | Saab Ab | Hull Inspection System |
| KR101606169B1 (ko) * | 2015-04-01 | 2016-03-24 | 한국기계연구원 | 3차원 선체 형상 자동인식 방법을 이용한 선박 부식 관리 장치 및 방법 |
| CN106809340A (zh) * | 2017-01-13 | 2017-06-09 | 集美大学 | 船舶船底水下3d扫描修船装置及其修船方法 |
| CN109533235A (zh) * | 2018-12-09 | 2019-03-29 | 大连海事大学 | 一种水下船体检测机器人及其工作方法 |
| CN109781846A (zh) * | 2018-12-25 | 2019-05-21 | 中国计量大学 | 一种水下船体缺陷检测系统及其检测方法 |
| EP3651056A1 (en) * | 2018-11-06 | 2020-05-13 | Rovco Limited | Computing device and method for video object detection |
| CN112101158A (zh) * | 2020-09-04 | 2020-12-18 | 四川智海联科技有限公司 | 一种基于深度学习和视觉slam的船舶航行辅助系统与方法 |
| CN112288857A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的机器人语义地图物体识别方法 |
-
2021
- 2021-05-27 CN CN202110586296.XA patent/CN113222961A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101386340A (zh) * | 2008-10-29 | 2009-03-18 | 哈尔滨工程大学 | 一种船体检测水下机器人 |
| US20130204543A1 (en) * | 2010-05-10 | 2013-08-08 | Saab Ab | Hull Inspection System |
| KR101606169B1 (ko) * | 2015-04-01 | 2016-03-24 | 한국기계연구원 | 3차원 선체 형상 자동인식 방법을 이용한 선박 부식 관리 장치 및 방법 |
| CN106809340A (zh) * | 2017-01-13 | 2017-06-09 | 集美大学 | 船舶船底水下3d扫描修船装置及其修船方法 |
| EP3651056A1 (en) * | 2018-11-06 | 2020-05-13 | Rovco Limited | Computing device and method for video object detection |
| CN109533235A (zh) * | 2018-12-09 | 2019-03-29 | 大连海事大学 | 一种水下船体检测机器人及其工作方法 |
| CN109781846A (zh) * | 2018-12-25 | 2019-05-21 | 中国计量大学 | 一种水下船体缺陷检测系统及其检测方法 |
| CN112101158A (zh) * | 2020-09-04 | 2020-12-18 | 四川智海联科技有限公司 | 一种基于深度学习和视觉slam的船舶航行辅助系统与方法 |
| CN112288857A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的机器人语义地图物体识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 唐小煜等: "基于U－net 和YOLOv4 的绝缘子图像分割与缺陷检测", 《华南师范大学学报（自然科学版）》, vol. 52, no. 6, pages 15 - 21 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206070A (zh) * | 2023-05-05 | 2023-06-02 | 中国海洋大学 | 一种基于机器双目视觉的船体水下成像方法及水下机器人 |
| CN117455913A (zh) * | 2023-12-25 | 2024-01-26 | 卡松科技股份有限公司 | 基于图像特征的液压油污染智能检测方法 |
| CN117455913B (zh) * | 2023-12-25 | 2024-03-08 | 卡松科技股份有限公司 | 基于图像特征的液压油污染智能检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898063B (zh) | 一种基于全卷积神经网络的人体姿态识别装置及方法 | |
| WO2021113408A1 (en) | Synthesizing images from 3d models | |
| CN111931764B (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
| US11948344B2 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
| JP2013050947A (ja) | 物体姿勢推定方法、物体姿勢推定装置、物体推定姿勢精緻化方法、およびコンピューター可読媒体 | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| CN105825268A (zh) | 面向机器人学习动作表达的数据处理方法和系统 | |
| CN112464912B (zh) | 基于YOLO-RGGNet的机器人端人脸检测方法 | |
| Xi et al. | Review of underwater machine vision technology and its applications | |
| CN113222961A (zh) | 智能船体检测系统及方法 | |
| CN113793382A (zh) | 视频图像的拼缝搜索方法、视频图像的拼接方法和装置 | |
| CN111723691A (zh) | 一种三维人脸识别方法、装置、电子设备及存储介质 | |
| CN115100423B (zh) | 一种基于视图采集数据实现实时定位系统及方法 | |
| Wang et al. | Robust AUV visual loop-closure detection based on variational autoencoder network | |
| CN114581571A (zh) | 基于imu和前向变形场的单目人体重建方法及装置 | |
| WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
| CN112287730A (zh) | 姿态识别方法、装置、系统、存储介质及设备 | |
| CN114373050A (zh) | 一种基于HoloLens的化学实验教学系统及方法 | |
| CN115482556A (zh) | 关键点检测模型训练及虚拟角色驱动的方法和对应的装置 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| CN117214904A (zh) | 一种基于多传感器数据的鱼类智能识别监测方法和系统 | |
| CN116012913A (zh) | 模型训练方法、人脸关键点检测方法、介质及装置 | |
| EP3825804A1 (en) | Map construction method, apparatus, storage medium and electronic device | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN111531546B (zh) | 一种机器人位姿估计方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |