CN113705567B - 船舶裂纹检测方法、系统、设备及计算机可读存储介质 - Google Patents
船舶裂纹检测方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113705567B CN113705567B CN202110983127.XA CN202110983127A CN113705567B CN 113705567 B CN113705567 B CN 113705567B CN 202110983127 A CN202110983127 A CN 202110983127A CN 113705567 B CN113705567 B CN 113705567B
- Authority
- CN
- China
- Prior art keywords
- crack
- ship
- image
- crack detection
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 128
- 230000006870 function Effects 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 6
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 17
- 230000007547 defect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种船舶裂纹检测方法、系统、设备及计算机可读存储介质，所述船舶裂纹检测方法包括：获取待检测船舶图像；将所述待检测船舶图像输入已训练的船舶裂纹检测模型；利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。本发明可以正确判别裂纹的同时返回裂纹的形状及大小，取代了人工测量，可视化程度高，节省大量人力成本。
Description
技术领域
本发明属于裂纹检测技术领域，涉及一种检测方法及系统，特别是涉及一种船舶裂纹检测方法、系统、设备及计算机可读存储介质。
背景技术
船舶，代表了一个国家的综合工业水平。一方面，在船舶建造过程中，涉及到船舶钢材处理、构架的加工、分段建造、船体焊接等过程。期间由于人工操作失误、磨损等原因，船体不可避免的出现裂纹缺陷；另一方面，在运行过程中，船舶结构长期在恶劣的海洋环境里工作，在海水腐蚀和强烈的波浪载荷作用下，局部很容易发生裂纹损伤，如果损伤未能得到及时的发现和处理，任由其扩展到足以影响结构整体承载能力的程度，船舶结构就面临着失效的危险，造成巨大的人员财产损失。综上所述，研究船舶裂纹缺陷的识别检测问题，建立行之有效的检测方法，在裂纹缺陷尚处于弱小状态时即能发现之并采取有效措施对其进行处理，对维持船舶结构的安全运行具有积极的现实意义。
当下，对于船舶裂纹缺陷的检测与识别方法主要依赖于目视检测，由工作人员进入船体，使用放大镜配合侧面光源进行裂纹长度的测量。采用这种方法，操作人员工作量大而且测量精度易受人眼视线和光源位置不固定等因素影响，同时对于操作人员具有一定的危险性，船舶裂纹缺陷的识别检测亟需采用先进的信息化手段进行赋能。
因此，如何提供一种船舶裂纹检测方法、系统、设备及计算机可读存储介质，以解决现有技术主要依赖于目视检测，裂纹的测量精度易受人眼视线和光源位置不固定等因素影响，造成检测精度低，工作量大等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种船舶裂纹检测方法、系统、设备及计算机可读存储介质，用于解决现有技术主要依赖于目视检测，裂纹的测量精度易受人眼视线和光源位置不固定等因素影响，造成检测精度低，工作量大的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种船舶裂纹检测方法，包括：获取待检测船舶图像；将所述待检测船舶图像输入已训练的船舶裂纹检测模型；利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
于本发明的一实施例中，所述船舶裂纹检测模型的训练过程包括：通过对若干裂纹特征显著的图像进行训练，形成一预训练模型；将所述预训练模型迁移学习到待训练的船舶裂纹检测模型，对该待训练的船舶裂纹检测模型进行训练；所述该待训练的船舶裂纹检测模型包括用于提取特征并形成特征图像的主干网络和用于在所述特征图像上设置先验框的分支网络。
于本发明的一实施例中，对该待训练的船舶裂纹检测模型进行训练的步骤包括：通过两个预设的卷积层分别对先验框进行卷积运算，以输出所述先验框的类别得分和位置偏移量；计算每个所述先验框与裂纹特征显著的图像上标注的裂纹区域之间的交并比；选择最大交并比作为所述先验框的匹配得分；将所述匹配得分与预设得分阈值进行比值，若所述匹配得分大于等于所述预设得分阈值，则将匹配得分大于等于所述预设得分阈值的先验框作为正样本；
利用第一损失函数和第二损失函数分别对所述先验框的类别得分和位置偏移量进行损失计算，直至第一损失函数和第二损失函数最小化。
于本发明的一实施例中，所述第一损失函数包括Softmax损失函数；所述第二损失函数包括Smooth L1损失函数。
于本发明的一实施例中，检测所述待检测船舶图像上是否存在裂纹的步骤包括：通过预设类别得分阈值对扫描待检测船舶图像后获取的先验框进行初步筛选，仅保留类别得分大于所述预设类别得分阈值的先验框；将剩余的先验框按照类别得分从高到低的顺序进行排序，并计算每一个先验框与排序在其后的先验框之间的重叠度，若所计算的重叠度大于重叠度阈值，则保留类别得分高的先验框，以去除重复的先验框；利用剩余的先验框的类别得分对待检测船舶图像进行检测，若当前检测区域存在裂纹，则利用用于提供特征图的卷积块对所述待检测船舶图像进行特征图提取，并计算原图对特征图的影响；若当前检测区域不存在裂纹，则更换检测区域。
于本发明的一实施例中，计算原图对特征图的影响的步骤包括：计算原图中各个像素点对特征图中各个像素点的梯度之和；若梯度之和在0～255的范围内，则表示像素点属于裂纹。
于本发明的一实施例中，查找所述裂纹的位置的步骤包括：利用剩余的先验框的坐标和其预测出的位置偏移量来计算裂纹位置坐标；其中，先验框的坐标为(dx，dy，dw，dh)，预测出的位置偏移量为(lx，ly，lw，lh)，裂纹位置坐标为(gx，gy，gw，gh)；其中，gx＝dwlx+dx；gy＝dhly+dy；gw＝dwexp(lw)；gh＝dhexp(lh)。
本发明另一方面提供一种船舶裂纹检测系统，包括：图像获取模块，用于获取待检测船舶图像；输入模块，用于将所述待检测船舶图像输入已训练的船舶裂纹检测模型；检测模块，用于利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述船舶裂纹检测方法。
本发明最后一方面提供一种船舶裂纹检测设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述船舶裂纹检测设备执行所述船舶裂纹检测方法。
如上所述，本发明所述的船舶裂纹检测方法、系统、设备及计算机可读存储介质，具有以下有益效果：
第一，本发明在模型训练部分采用迁移学习的方法，极大的缩短了模型网络的训练时间，降低了对硬件设施的要求。
第二，本发明采用FPGA硬件加速，功耗低，识别检测速度快。
第三，本发明体积小，易安装，支持多设备协同工作，检测效率高，应用范围广泛。
第四，本发明可以正确判别裂纹的同时返回裂纹的形状及大小，取代了人工测量，可视化程度高，节省大量人力成本。
附图说明
图1显示为本发明的应用场景示意图。
图2显示为本发明的船舶裂纹检测方法于一实施例中的流程示意图。
图3显示为本发明的船舶裂纹检测模型的训练过程示意图。
图4显示为本发明的船舶裂纹检测系统于一实施例中的原理结构示意图。
元件标号说明
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种船舶裂纹检测方法，包括：
获取待检测船舶图像；
将所述待检测船舶图像输入已训练的船舶裂纹检测模型；
利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
以下将结合图示对本实施例所提供的船舶裂纹检测方法进行详细描述。本实施例所述船舶裂纹检测方法应用于如图1所示的应用场景中。在该应用场景中，通过设置于船舶四周的图像采集设备采集待检测船舶图像，并将采集到的待检测图像传输至所述船舶裂纹检测方法的执行主体。在本实施例中，所述执行主体可以采用FPGA，FPGA作为主控单元，利用其并行计算及按需增加同倍硬件资源的优势对模型进行硬件加速，提升模型网络的检测识别效率。
请参阅图2，显示为船舶裂纹检测方法于一实施例中的流程示意图。如图2所示，所述船舶裂纹检测方法具体包括以下步骤：
S21，获取待检测船舶图像。
S22，将所述待检测船舶图像输入已训练的船舶裂纹检测模型。
请参阅图3，显示为船舶裂纹检测模型的训练过程示意图。如图3所示，所述船舶裂纹检测模型的训练包括：
S31，通过对若干裂纹特征显著的图像进行滤波等预处理后进行训练，形成一预训练模型。在本实施例中，需数据量充足且裂纹特征显著的图像。
S32，将所述预训练模型迁移学习到待训练的船舶裂纹检测模型，对该待训练的船舶裂纹检测模型进行训练；所述该待训练的船舶裂纹检测模型包括用于提取特征并形成特征图像的主干网络和用于在所述特征图像上设置先验框的分支网络。所述分支网络可进行类别得分和位置偏移量的预测。在本实施例中年，通过采用迁移学习方法将预训练模型迁移学习到待训练的船舶裂纹检测模型，极大缩短了模型网络的训练时间，降低了对硬件设施的要求。
所述S32具体包括：
首先，利用所述分支网络在特征图上设置先验框，通过在每张特征图上设置多个尺寸、长宽比不同的先验框检测裂纹所在区域。先验框的位置通过X，Y，W，H四个参数确定，其中X，Y为先验框的中心坐标，W，H为先验框的宽度和高度。
接着，通过两个预设的卷积层分别对先验框进行卷积运算，以输出所述先验框的类别得分和位置偏移量。由于类别得分预测的只有裂纹和非裂纹两种结果，位置偏移量预测结果为先验框的中心坐标及宽、高4个位置参数。因此，预测类别得分的卷积层的卷积核个数是先验框的2倍，预测位置偏移量的卷积层的卷积核个数是先验框的4倍。
然后，计算每个所述先验框与裂纹特征显著的图像上标注的裂纹区域之间的交并比；选择最大交并比作为所述先验框的匹配得分；将所述匹配得分与预设得分阈值进行比值，若所述匹配得分大于等于所述预设得分阈值，则将匹配得分大于等于所述预设得分阈值的先验框作为正样本。在本实施例中，每个所述先验框与裂纹特征显著的图像上标注的裂纹区域之间的交并比是指先验框与裂纹特征显著的图像上标注的裂纹区域的相交面积与相并面积之比。
在本实施例中，通过对正样本进行学习让卷积神经网络识别裂纹的能力变强。
最后，利用第一损失函数和第二损失函数分别对所述先验框的类别得分和位置偏移量进行损失计算，并根据损失函数值，对网络参数进行优化，直至第一损失函数和第二损失函数最小化。在本实施例中，所述第一损失函数包括Softmax损失函数；所述第二损失函数包括Smooth L1损失函数。
S23，利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则计算原图对特征图的影响，查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
在本实施例中，所述S23具体包括以下步骤：
通过非极大值抑制方式对扫描待检测船舶图像后获取的先验框进一步筛选。
具体地，首先，通过预设类别得分阈值对所述先验框进行初步筛选，仅保留类别得分大于所述预设类别得分阈值的先验框。
接着，将剩余的先验框按照类别得分从高到低的顺序进行排序，并计算每一个先验框与排序在其后的先验框之间的重叠度，若所计算的重叠度大于重叠度阈值，则保留类别得分高的先验框，以去除重复的先验框；
然后，利用剩余的先验框的类别得分对待检测船舶图像进行检测，若当前检测区域存在裂纹，则利用用于提供特征图的卷积块对所述待检测船舶图像进行特征图提取，并计算原图对特征图的影响；若当前检测区域不存在裂纹，则更换检测区域，持续检测。
其中，计算原图对特征图的影响的步骤包括：
计算原图中各个像素点I(x，y)对特征图中各个像素点M(x，y)的梯度之和W(x，y)；
根据梯度之和W(x，y)判断像素点是否属于裂纹，若梯度之和在0～255的范围内，则表示像素点属于裂纹。
利用剩余的先验框的坐标和其预测出的位置偏移量来查找所述裂纹的位置，并予以绘制标示。
具体地，先验框的坐标为(dx，dy，dw，dh)，预测出的位置偏移量为(lx，ly，lw，lh)，裂纹位置坐标为(gx，gy，gw，gh)；
其中，gx＝dwlx+dx；gy＝dhly+dy；gw＝dwexp(lw)；gh＝dhexp(lh)。
本实施例所述船舶裂纹检测方法可以实时对船舶裂纹高效、快速、功耗低地检测裂纹，并返回裂纹的形状及所在位置，节省了大量的人力成本，可广泛应用于不同形状和规模的船舶裂纹检测。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述船舶裂纹检测方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
实施例二
本实施例提供一种船舶裂纹检测系统，包括：
图像获取模块，用于获取待检测船舶图像；
输入模块，用于将所述待检测船舶图像输入已训练的船舶裂纹检测模型；
检测模块，用于利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
以下将结合图示对本实施例所提供的船舶裂纹检测系统进行详细描述。请参阅图4，显示为船舶裂纹检测系统于一实施例中的原理结构示意图。如图4所示，所述船舶裂纹检测系统4包括训练模块41、获取模块42、输入模块43及检测模块44。
所述训练模块41用于训练船舶裂纹检测模型。
具体地，所述训练模块41用于通过对若干裂纹特征显著的图像进行滤波等预处理后进行训练，形成一预训练模型。将所述预训练模型迁移学习到待训练的船舶裂纹检测模型，对该待训练的船舶裂纹检测模型进行训练；所述该待训练的船舶裂纹检测模型包括用于提取特征并形成特征图像的主干网络和用于在所述特征图像上设置先验框的分支网络。所述分支网络可进行类别得分和位置偏移量的预测。在本实施例中，需数据量充足且裂纹特征显著的图像。
具体地，所述训练模块41训练过程包括：
首先，利用所述分支网络在特征图上设置先验框，通过在每张特征图上设置多个尺寸、长宽比不同的先验框检测裂纹所在区域。先验框的位置通过X，Y，W，H四个参数确定，其中X，Y为先验框的中心坐标，W，H为先验框的宽度和高度。
接着，通过两个预设的卷积层分别对先验框进行卷积运算，以输出所述先验框的类别得分和位置偏移量。由于类别得分预测的只有裂纹和非裂纹两种结果，位置偏移量预测结果为先验框的中心坐标及宽、高4个位置参数。因此，预测类别得分的卷积层的卷积核个数是先验框的2倍，预测位置偏移量的卷积层的卷积核个数是先验框的4倍。
然后，计算每个所述先验框与裂纹特征显著的图像上标注的裂纹区域之间的交并比；选择最大交并比作为所述先验框的匹配得分；将所述匹配得分与预设得分阈值进行比值，若所述匹配得分大于等于所述预设得分阈值，则将匹配得分大于等于所述预设得分阈值的先验框作为正样本。在本实施例中，每个所述先验框与裂纹特征显著的图像上标注的裂纹区域之间的交并比是指先验框与裂纹特征显著的图像上标注的裂纹区域的相交面积与相并面积之比。
最后，利用第一损失函数和第二损失函数分别对所述先验框的类别得分和位置偏移量进行损失计算，并根据损失函数值，对网络参数进行优化，直至第一损失函数和第二损失函数最小化。在本实施例中，所述第一损失函数包括Softmax损失函数；所述第二损失函数包括Smooth L1损失函数。
所述获取模块42用于获取待检测船舶图像。
所述输入模块43用于将所述待检测船舶图像输入至所述训练模块41已训练的船舶裂纹检测模型。
所述检测模块44用于利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则计算原图对特征图的影响，查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
在本实施例中，所述检测模块44通过非极大值抑制方式对扫描待检测船舶图像后获取的先验框进一步筛选。
具体地，首先，所述检测模块44通过预设类别得分阈值对所述先验框进行初步筛选，仅保留类别得分大于所述预设类别得分阈值的先验框。
接着，所述检测模块44将剩余的先验框按照类别得分从高到低的顺序进行排序，并计算每一个先验框与排序在其后的先验框之间的重叠度，若所计算的重叠度大于重叠度阈值，则保留类别得分高的先验框，以去除重复的先验框；
然后，所述检测模块44利用剩余的先验框的类别得分对待检测船舶图像进行检测，若当前检测区域存在裂纹，则利用用于提供特征图的卷积块对所述待检测船舶图像进行特征图提取，并计算原图对特征图的影响；若当前检测区域不存在裂纹，则更换检测区域，持续检测。
其中，计算原图对特征图的影响的步骤包括：
计算原图中各个像素点I(x，y)对特征图中各个像素点M(x，y)的梯度之和W(x，y)；
根据梯度之和W(x，y)判断像素点是否属于裂纹，若梯度之和在0～255的范围内，则表示像素点属于裂纹。
所述检测模块44利用剩余的先验框的坐标和其预测出的位置偏移量来查找所述裂纹的位置，并予以绘制标示。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
在本实施例中，所述已训练的船舶裂纹检测模型部署在FPGA上，对模型进行硬件加速，使所述船舶裂纹检测系统检测速度更快，识别效率更高。
实施例三
本申请实施例提供的再一种船舶裂纹检测设备，船舶裂纹检测设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使船舶裂纹检测设备执行如实施例一所述船舶裂纹检测方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本实施例中，所述船舶裂纹检测设备采用FPGA，硬件加速，识别检测速度快，以支持多硬件协同工作。
本发明所述的船舶裂纹检测方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种船舶裂纹检测系统，所述船舶裂纹检测系统可以实现本发明所述的船舶裂纹检测方法，但本发明所述的船舶裂纹检测方法的实现装置包括但不限于本实施例列举的船舶裂纹检测系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所提供的船舶裂纹检测方法、系统、设备及计算机可读存储介质具有以下有益效果：
第一，本发明在模型训练部分采用迁移学习的方法，极大的缩短了模型网络的训练时间，降低了对硬件设施的要求。
第二，本发明采用FPGA硬件加速，功耗低，识别检测速度快。
第三，本发明体积小，易安装，支持多设备协同工作，检测效率高，应用范围广泛。
第四，本发明正确判别裂纹的同时返回裂纹的形状及大小，取代了人工测量，可视化程度高，节省大量人力成本。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种船舶裂纹检测方法，其特征在于，包括：
获取待检测船舶图像；
将所述待检测船舶图像输入已训练的船舶裂纹检测模型；所述船舶裂纹检测模型的训练过程包括：通过对若干裂纹特征显著的图像进行训练，形成一预训练模型；将所述预训练模型迁移学习到待训练的船舶裂纹检测模型，对该待训练的船舶裂纹检测模型进行训练；所述该待训练的船舶裂纹检测模型包括用于提取特征并形成特征图像的主干网络和用于在所述特征图像上设置先验框的分支网络；对该待训练的船舶裂纹检测模型进行训练的步骤包括：通过两个预设的卷积层分别对先验框进行卷积运算，以输出所述先验框的类别得分和位置偏移量；计算每个所述先验框与裂纹特征显著的图像上标注的裂纹区域之间的交并比；选择最大交并比作为所述先验框的匹配得分；将所述匹配得分与预设得分阈值进行比值，若所述匹配得分大于等于所述预设得分阈值，则将匹配得分大于等于所述预设得分阈值的先验框作为正样本；利用第一损失函数和第二损失函数分别对所述先验框的类别得分和位置偏移量进行损失计算，直至第一损失函数和第二损失函数最小化；
利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
2.根据权利要求1所述的船舶裂纹检测方法，其特征在于，
所述第一损失函数包括Softmax损失函数；
所述第二损失函数包括Smooth L1损失函数。
3.根据权利要求1所述的船舶裂纹检测方法，其特征在于，检测所述待检测船舶图像上是否存在裂纹的步骤包括：
通过预设类别得分阈值对扫描待检测船舶图像后获取的先验框进行初步筛选，仅保留类别得分大于所述预设类别得分阈值的先验框；
将剩余的先验框按照类别得分从高到低的顺序进行排序，并计算每一个先验框与排序在其后的先验框之间的重叠度，若所计算的重叠度大于重叠度阈值，则保留类别得分高的先验框，以去除重复的先验框；
利用剩余的先验框的类别得分对待检测船舶图像进行检测，若当前检测区域存在裂纹，则利用用于提供特征图的卷积层对所述待检测船舶图像进行特征图提取，并计算原图对特征图的影响；若当前检测区域不存在裂纹，则更换检测区域。
4.根据权利要求3所述的船舶裂纹检测方法，其特征在于，计算原图对特征图的影响的步骤包括：
计算原图中各个像素点对特征图中各个像素点的梯度之和；
若梯度之和在0～255的范围内，则表示像素点属于裂纹。
5.根据权利要求3所述的船舶裂纹检测方法，其特征在于，查找所述裂纹的位置的步骤包括：
利用剩余的先验框的坐标和其预测出的位置偏移量来计算裂纹位置坐标；
其中，先验框的坐标为(dx,dy,dw,dh)，预测出的位置偏移量为(lx,ly,lw,lh)，裂纹位置坐标为(gx,gy,gw,gh)；
其中，gx＝dwlx+dx；gy＝dhly+dy；gw＝dwexp(lw)；gh＝dhexp(lh)。
6.一种船舶裂纹检测系统，其特征在于，包括：
图像获取模块，用于获取待检测船舶图像；
输入模块，用于将所述待检测船舶图像输入已训练的船舶裂纹检测模型；所述船舶裂纹检测模型的训练过程包括：通过对若干裂纹特征显著的图像进行训练，形成一预训练模型；将所述预训练模型迁移学习到待训练的船舶裂纹检测模型，对该待训练的船舶裂纹检测模型进行训练；所述该待训练的船舶裂纹检测模型包括用于提取特征并形成特征图像的主干网络和用于在所述特征图像上设置先验框的分支网络；对该待训练的船舶裂纹检测模型进行训练的步骤包括：通过两个预设的卷积层分别对先验框进行卷积运算，以输出所述先验框的类别得分和位置偏移量；计算每个所述先验框与裂纹特征显著的图像上标注的裂纹区域之间的交并比；选择最大交并比作为所述先验框的匹配得分；将所述匹配得分与预设得分阈值进行比值，若所述匹配得分大于等于所述预设得分阈值，则将匹配得分大于等于所述预设得分阈值的先验框作为正样本；利用第一损失函数和第二损失函数分别对所述先验框的类别得分和位置偏移量进行损失计算，直至第一损失函数和第二损失函数最小化；
检测模块，用于利用所述船舶裂纹检测模型中用于检测裂纹的先验框于待检测船舶图像上扫描，以检测所述待检测船舶图像上是否存在裂纹；若存在，则查找所述裂纹的位置，并予以绘制标示；其中，所述先验框具有用于检测裂纹的类别得分及用于查找裂纹位置的位置偏移量。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述船舶裂纹检测方法。
8.一种船舶裂纹检测设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述船舶裂纹检测设备执行如权利要求1至5中任一项所述船舶裂纹检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110983127.XA CN113705567B (zh) | 2021-08-25 | 2021-08-25 | 船舶裂纹检测方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110983127.XA CN113705567B (zh) | 2021-08-25 | 2021-08-25 | 船舶裂纹检测方法、系统、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705567A CN113705567A (zh) | 2021-11-26 |
| CN113705567B true CN113705567B (zh) | 2024-02-02 |
Family
ID=78654769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110983127.XA Active CN113705567B (zh) | 2021-08-25 | 2021-08-25 | 船舶裂纹检测方法、系统、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705567B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115758084B (zh) * | 2022-11-21 | 2023-11-14 | 清华大学 | 一种深度神经网络裂纹量化方法及装置、存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
| WO2020033967A1 (en) * | 2018-08-10 | 2020-02-13 | Buffalo Automation Group Inc. | Training a deep learning system for maritime applications |
| CN111062510A (zh) * | 2019-11-13 | 2020-04-24 | 南京航空航天大学 | 一种基于迁移学习的民航发动机叶片裂纹预测方法 |
| CN111325738A (zh) * | 2020-02-28 | 2020-06-23 | 湖北工业大学 | 一种用于横穿孔周边裂纹的智能检测方法及系统 |
| AU2021101715A4 (en) * | 2021-04-03 | 2021-05-20 | Southeast University | A transfer learning based model for fatigue crack initiation sites detection |
| CN112926426A (zh) * | 2021-02-09 | 2021-06-08 | 长视科技股份有限公司 | 基于监控视频的船舶识别方法、系统、设备及存储介质 |
| CN112967243A (zh) * | 2021-02-26 | 2021-06-15 | 清华大学深圳国际研究生院 | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 |
-
2021
- 2021-08-25 CN CN202110983127.XA patent/CN113705567B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020033967A1 (en) * | 2018-08-10 | 2020-02-13 | Buffalo Automation Group Inc. | Training a deep learning system for maritime applications |
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
| CN111062510A (zh) * | 2019-11-13 | 2020-04-24 | 南京航空航天大学 | 一种基于迁移学习的民航发动机叶片裂纹预测方法 |
| CN111325738A (zh) * | 2020-02-28 | 2020-06-23 | 湖北工业大学 | 一种用于横穿孔周边裂纹的智能检测方法及系统 |
| CN112926426A (zh) * | 2021-02-09 | 2021-06-08 | 长视科技股份有限公司 | 基于监控视频的船舶识别方法、系统、设备及存储介质 |
| CN112967243A (zh) * | 2021-02-26 | 2021-06-15 | 清华大学深圳国际研究生院 | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 |
| AU2021101715A4 (en) * | 2021-04-03 | 2021-05-20 | Southeast University | A transfer learning based model for fatigue crack initiation sites detection |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于改进Faster RCNN的金属材料工件表面缺陷检测与实现研究;代小红;陈华江;朱超平;;表面技术(10);全文 * |
| 图像识别与卷积神经网络结合的船舶裂缝图像处理技术;胡晓芳;虞强源;;舰船科学技术(14);全文 * |
| 基于深度学习的锻造裂纹检测研究;刘建红;;大型铸锻件(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705567A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hoskere et al. | Vision-based structural inspection using multiscale deep convolutional neural networks | |
| CN111340787B (zh) | 输电线路的导线缺陷检测识别方法、装置及计算机设备 | |
| CN111257341B (zh) | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 | |
| CN107808161B (zh) | 一种基于光视觉的水下目标识别方法 | |
| CN113421263B (zh) | 零件缺陷检测方法、设备、介质及计算机程序产品 | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| Fernandes et al. | Pavement pathologies classification using graph-based features | |
| Jeong et al. | Literature review and technical survey on bridge inspection using unmanned aerial vehicles | |
| CN110706224B (zh) | 基于暗场图像的光学元件弱划痕检测方法、系统和装置 | |
| CN114902279A (zh) | 基于机器视觉的自动化缺陷检测 | |
| CN113469997B (zh) | 平面玻璃的检测方法、装置、设备和介质 | |
| CN112949767B (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
| CN111079638A (zh) | 基于卷积神经网络的目标检测模型训练方法、设备和介质 | |
| CN109934221B (zh) | 基于注意力机制的电力设备自动分析识别监控方法及系统 | |
| CN114372968A (zh) | 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法 | |
| CN113705567B (zh) | 船舶裂纹检测方法、系统、设备及计算机可读存储介质 | |
| CN115690102B (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
| CN113989600A (zh) | 一种图像异物检测方法 | |
| CN113436162A (zh) | 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置 | |
| CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| Prabu et al. | Automated Crack and Damage Identification in Premises using Aerial Images based on Machine Learning Techniques | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| Han | Crack detection of UAV concrete surface images | |
| CN110634124A (zh) | 一种区域检测的方法及设备 | |
| CN112419316A (zh) | 一种跨设备可见光纹理缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |