CN115760748B - 一种基于深度学习的冰体环向裂纹尺寸测量方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的冰体环向裂纹尺寸测量方法，该方法包括以下步骤：采集大量海冰图片制作训练数据集；采用深度学习方法对实例分割网络模型进行训练，得到训练好的实例分割网络模型；对训练好的实例分割模型进行置信度验证，将验证通过的实例分割网络模型作为目标模型；目标模型对待识别的海冰图像进行实例分割，得到目标的海冰mask；对海冰mask进行边缘识别，得到海冰环向裂纹；根据得到的海冰环向裂纹进行圆弧拟合，从而获得其尺寸参数。本发明通过利用度学习方法对对YOLACT神经网络进行训练，得到海实例分割网络模型，实现对海冰裂纹的准确识别并计算环向裂纹参数，解决原有计算不准确的问题，提高环向裂纹的精度和计算效率。

Description

一种基于深度学习的冰体环向裂纹尺寸测量方法

技术领域

本发明属于船舶与海洋工程船冰模型试验中海冰破坏参数测量技术领域，具体涉及一种基于深度学习的冰体环向裂纹尺寸测量方法。

背景技术

随着全球气候变化，北冰洋海冰不断消融，北极航道的开通再次成为人类聚焦的话题。想要成功开通北极航道，海冰信息的获取成为关键，而海冰破碎过程中产生的裂纹特征对海洋结构物和破冰船的抗病设计往往起着至关重要的作用。现场冰观测通常受到恶劣自然条件的影响，很难做到精确测量，而卫星遥感只能满足大范围的观测要求，在识别小尺度特征时就会显得无能为力，计算进度和计算效率不高，以及无法识别小尺度裂纹特征的问题。

随着摄影技术和硬件设备飞速发展，国内外很多学者在岸基观测河冰信息的研究基础上，迅速发展出船基海冰、无人机海冰和河冰的冰块信息观测技术，能够获得高精度的小尺度在海冰图像，而这种岸基观测，随船观测以及无人机观测等技术与卫星遥感相比，在小尺度海冰特征观测方面表现出天然的优势。

然后如何快速准确地让计算机自动获取海冰裂纹特征参数成为瓶颈，国内外很多学者开展了诸多模型冰检测算法的研究。主要集中在如何准确识别出画面中模型冰的目标，以及如何精确的提取画面中每一个模型冰像素点的位置坐标，用来进行图像处理。在提取模型冰目标方面，主要包含阈值分割，图像检测和实例分割。阈值分割是根据图像的灰度将灰度图像转换为二值图像，选择阈值将图像分为“对象区域”和“背景区域”，从而识别出冰块计算碎冰场面积。图像检测是利用yolo系列目标检测的网络框架，如果使用在模型冰上，通过训练模型，能够对冰的种类以及位置信息进行识别。在获得环向裂纹后，针对圆弧拟合，目前主要有两种拟合方法：最小二乘法圆弧拟合和霍夫圆检测。最小二乘法是一种经典的数学优化算法，通过最小化误差的平方和，从而找到最佳的圆的函数方程。其主要思路是：获取圆弧上各像素点坐标数据之后，根据误差平方和最小化的中心思想，找出这些数据的最佳匹配函数，即最佳拟合圆。但是由于缺乏对环向裂纹圆弧的约束，在拟合过程中会受到很多噪声点的干扰，拟合结果有很大的偏差。霍夫圆检测的原理是霍夫圆变换，是将二维图像空间中一个圆转换为该圆半径、圆心横纵坐标所确定的霍夫坐标系的一个点的过程。通过任意三点确定一个圆的思想，来对圆弧进行拟合，但是霍夫圆检测需要根据不同的圆弧尺寸进行参数调整，这也导致了使用霍夫圆检测的方法进行圆弧拟合虽然会获得较好的拟合效果，但是会耗费大量的时间，在实际工程应用中存在很大的限制。

综上所述，现有技术存在的问题是：

(1)传统图像处理技术，如阈值分割，只能通过像素之间的灰度差别，分辨出海冰和海水两个类别，在画面中出现船舶，小岛等其余目标时，阈值分割的方法就无法识别多种目标。

(2)目前海冰识别需要大量样本进行模型训练，而实际中可用于模型训练的海冰图像数据集较少，从而导致模型对特定形状的海冰识别效果好，导致训练过拟合，无法识别所有种类的海冰，或者识别精度较低。

(3)在识别出海冰形状并获得海冰边缘之后，圆弧拟合容易受到噪声点的干扰，或者需要针对不同的海冰尺寸进行参数调整，计算效率很低，且精度不高。

发明内容

本发明针对上述的不足之处提供一种计算效率高、识别精度高的基于深度学习的冰体环向裂纹尺寸测量方法。

本发明目的是这样实现的：一种基于深度学习的冰体环向裂纹尺寸测量方法，其特征在于：该方法包括如下步骤：

步骤S1：采集大量海冰图片制作训练数据集；

步骤S2：根据制作的数据集，采用深度学习方法对实例分割网络模型进行训练，得到训练好的实例分割网络模型；

步骤S3：对训练好的实例分割模型进行置信度验证，将验证通过的实例分割网络模型作为目标模型；

步骤S4：目标模型对待识别的海冰图像进行实例分割，得到目标的海冰mask；

步骤S5：对海冰mask进行边缘识别，得到海冰环向裂纹；

步骤S6：根据得到的海冰环向裂纹进行圆弧拟合，从而获得其尺寸参数；尺寸参数包括：破冰半径，破冰角。

优选的，所述步骤S1中采集大量海冰图片制作训练数据集，包括对采集的大量海冰图片进行数据增强处理。

优选的，所述步骤S3中对训练好的实例分割模型进行置信度验证，具体操作如下：

步骤S3-1：根据数据集的测试集数对实例分割模型进行测试，得到相应的测试结果；

步骤S3-2：根据测试结果计算实例分割模型的识别准确率；

步骤S3-3：若实例分割模型的识别的准确率大于预置准确率阈值，输出当前裂纹图像识别的实例分割模型；

步骤S3-4：若实例分割模型的识别的准确率小于预置准确率阈值，则重复步骤S2。

优选的，所述步骤S4中目标模型对待识别的海冰图像进行实例分割，得到目标的海冰mask，海冰mask即为海冰掩膜，具体操作如下：

在目标模型的基础上加入掩膜分支，并将实例分割任务划分为两个并行的子任务，分别为原型掩膜分支与目标检测分支；

原型掩膜分支通过Protonet结构生成原型掩膜，目标检测分支通过PredictionHead网络进行检测定位与掩膜系数的信息计算；

通过NMS进行筛选，处理结果与生成的原型掩膜以线性组合的方式生成每个anchor对应的mask分割结果。

优选的，所述步骤S5中对海冰mask进行边缘识别采用Canny算子边缘检测方法，获得海冰边缘图像上所有像素点的像素坐标。

优选的，所述步骤S6中根据得到的海冰环向裂纹进行圆弧拟合，具体操作如下：

根据海冰环向裂纹上所有边缘点的像素坐标，在其中筛选出横坐标的最大值和最小值，也是待拟合线段的起始点和终止点；

确定需要进行弧线拟合的环向裂纹，分别在圆弧上取四条直线的垂直平分线，求其四条垂直平分线的两两交点，最多可能有6个交点；在这6个交点取最小外包矩阵，当外包矩阵过大时，则可以判断此条曲线不是圆弧；当外包矩阵符合阈值要求，则认为该裂纹拟合出理想的圆弧；

根据圆弧上任意两条弦的垂直平分线的交点是圆心的原则，假设这些交点作为候选圆的圆心；在得到候选圆心后，再用最小二乘法缩小误差的方法求出圆心坐标和半径的最优解，确定这段环向裂纹所对应的拟合圆。

优选的，所述步骤S6中获得破冰半径为：

在获得环向裂纹对应的拟合圆之后，根据最小二乘法计算得出的最优半径，即为破冰半径。

优选的，所述步骤S6中获得破冰角为：

在获得环向裂纹对应的拟合圆之后，计算圆心其到A点和B点连线的夹角，A，B两点为弧线端点，即为这段弧线的圆心角θ，也是破冰角；根据公式可求得圆心角：

k₁＝(y_a-y_c)/(x_a-x_c)

k₂＝(y_b-y_c)/(x_b-x_c)

其中，k₁为AC斜率；k₂为BC斜率；(x_a，y_a)为A点坐标(x_b，y_b)为B点坐标，(x_c，y_c)为C点坐标。

优选的，所述数据增强处理包括：旋转、局部图像放大以及高斯模糊；所述数据增强处理至少选择旋转、局部图像放大以及高斯模糊中的一种操作。高清的极地海冰实拍图片十分稀少，在这种情况下使用图像数据增强技术可以解决海冰图像数据量不足的问题。

本发明的有益效果：1、通过对现有海冰图像进行数据增强处理，解决海冰图像数据量不足而导致对实例分割网络模型的训练过于拟合，识别精度低的问题；同时，通过置信度验证，提高实例分割网络模型的识别精度和计算效率。

2、通过利用海冰破碎特殊的物理现象，约束出海冰环向裂纹的起始点和结束点，确定两点的弧线端点，对所有的边缘坐标进行约束，并将两点下方的噪声边缘去除，只对两点的弧线进行拟合，则提高破冰角的计算速度，同时去除圆弧拟合容易受到噪声点干扰的问题，提高识别精度。

3、通过利用度学习方法对对YOLACT神经网络进行训练，得到海实例分割网络模型，解决传统图像处理技术中只能通过像素之间的灰度差别，分辨出海冰和海水两个类别，实例分割网络模型可对海冰图像数据进行多种操作，能够精确到像素级别对目标进行分割。

附图说明

图1为本发明的流程图。

图2为圆弧拟合算法中的弧线端点示意图。

图3为圆弧拟合算法中的中点选取示意图。

图4为圆弧拟合结果图。

图5为所有步骤结果输出流程图。

具体实施方式

以下结合附图对本发明做进一步概述。

如图1所示，一种基于深度学习的冰体环向裂纹尺寸测量方法，该方法包括如下步骤：

步骤S1：采集大量海冰图片制作训练数据集；

本实施例中，将现有海冰图像作为选优，在网络中收集大量不同海域的海冰图像来构建该数据集；构建数据集时，该裂纹图像最好是包括海冰特征信息的裂纹图像。对于没有海冰特征标注的图像，可以利用图像标注工具，通过人为标注的方式对该海冰图像进行海冰特征标注。数据集包括训练数据集和测试数据集。

其中，对采集到的海冰图像数据进行数据增强处理；高清的极地海冰实拍图片十分稀少，在这种情况下使用图像数据增强技术可以解决海冰图像数据量不足的问题。

数据增强处理包括：旋转、图像局部放大以及高斯模糊；

其中，旋转是指以图形上的某一点为定点旋转一定的角度，产生一幅新图形的过程。通常选用图像的中心作为旋转的原点，即旋转前和旋转后图像中各点与中心的相对位置一致。本实施例在对绝缘子外套裂纹图像进行旋转处理时，旋转的角度设置为15°、45°、75°、90°、120°、135°以及180°。

其中，局部放大图像部分区域的像素数目，从而达到突出部分区域特征的效果，称之为图像局部放大。在对海冰图像进行局部放大时，以圆为特征进行局部处理，并且在形变过程中遵守在圆形区域内，越靠近变形中心点的点形变越明显。使用图像局部放大对绝缘子外套裂纹图像进行处理，经过局部放大处理后的绝缘子外套裂纹图像，其裂纹开裂特征更加明显。

其中，高斯模糊为像素变换方法中的一种。使用高斯模糊图像处理技术增强海冰图像，将使得海冰图像在各个方向上具备相同的平滑程度，不改变原图像的边缘走向，保证特征点和边缘的特征不被高频信号污染。

数据增强处理至少选择旋转、图像局部放大以及高斯模糊中的一种。

步骤S2：根据制作的数据集，采用深度学习方法对实例分割网络模型进行训练，得到训练好的实例分割网络模型；

实例分割网络模型为全卷积神经网络，与普通全卷积神经网络相比，实例分割网络模型(YOLACT网络)是由Bolya等基于一级(one-stage)目标检测器开发的一级实例分割模型。

步骤S3：对训练好的实例分割模型进行置信度验证，将验证通过的实例分割网络模型作为目标模型；

步骤S3-1：根据数据集的测试集数对实例分割模型进行测试，得到相应的测试结果；

步骤S3-2：根据测试结果计算实例分割模型的识别准确率；

步骤S3-3：若实例分割模型的识别的准确率大于预置准确率阈值，输出当前裂纹图像识别的实例分割模型；作为优选实施例，预置准确率阈值为95％。

步骤S3-4：若实例分割模型的识别的准确率小于预置准确率阈值，则重复步骤S2。

步骤S4：目标模型对待识别的海冰图像进行实例分割，得到目标的海冰mask；

在目标模型的基础上加入掩膜分支，并将实例分割任务划分为两个并行的子任务，分别为原型掩膜分支与目标检测分支；

原型掩膜分支通过Protonet结构生成原型掩膜，目标检测分支通过PredictionHead网络进行检测定位与掩膜系数的信息计算；

通过NMS进行筛选，处理结果与生成的原型掩膜以线性组合的方式生成每个anchor对应的mask分割结果。

步骤S5：对海冰mask进行边缘识别，得到海冰环向裂纹；

采用Canny算子边缘检测方法，获得海冰边缘图像上所有像素点的像素坐标。由于海冰碎裂瞬间，其边缘形状可以近似为海冰裂纹，所以输出结果可以近似为获得海冰裂纹。

步骤S6：根据得到的海冰环向裂纹进行圆弧拟合，从而获得其尺寸参数；尺寸参数包括：破冰半径，破冰角。

根据海冰环向裂纹上所有边缘点的像素坐标，在其中筛选出横坐标的最大值和最小值，也是待拟合线段的起始点和终止点；

根据海冰破碎特殊的物理现象：在平整冰与船体相互作用的过程中，冰块会承受竖直方向的拉压作用和水平方向的拉伸作用。在这两种应力的作用下，冰块会产生的环向裂纹是平行于船的舷侧的。所以在船舷侧拍摄的海冰图片中，可以根据环状碎冰的最左和最右两个点来约束环向裂纹的起始点和结束点，进而确定待拟合的环向裂纹。

根据得到的待拟合环向裂纹，假设上述起始点和结束点是点A和点B。如图2。图中在AB线上方的裂纹区域即为需要进行弧线拟合的环向裂纹，所以A，B两点即为弧线端点。在得到弧线端点之后则可以对所有的边缘坐标进行约束，将AB两点下方的噪声边缘去除，只对上方弧线，以下称AB弧，进行拟合。

在AB弧上分别取三个点，分别是AB弧中点C，AC弧的中点D以及BC弧的中点E，如图3。分别取AD，CD，CE和EB四条直线的垂直平分线，求其四条垂直平分线的两两交点，最多可能有6个交点。此时对这6个交点取最小外包矩阵，当外包矩阵过大时，则可以判断此条曲线不是圆弧。当外包矩阵符合阈值要求，即可认为该裂纹可拟合出理想曲线。根据圆弧上任意两条弦的垂直平分线的交点是圆心的原则，假设这些交点作为候选圆的圆心，以下称候选圆心。在得到候选圆心后，再用最小二乘法缩小误差的方法求出圆心坐标和半径的最优解，从而确定这段环向裂纹所对应的拟合圆，本实施例圆弧拟合结果如图4所示。

根据得到的圆弧拟合结果，根据公式求得破冰角：

k₁＝(y_a-y_c)/(x_a-x_c)

k₂＝(y_b-y_c)/(x_b-x_c)

其中，k₁为AC斜率；k₂为BC斜率；(x_a，y_a)为A点坐标(x_b，y_b)为B点坐标，(x_c，y_c)为C点坐标。

而破冰半径则是拟合圆弧得到的拟合圆的半径，本实例的中所有步骤的结果输出流程图如图5所示。

工作原理：基于现有的海冰图像构建数据集，采用深度学习方法对全卷积神经网络进行训练，得到初始海冰图像的实例分割网络模型，然后对训练好的裂纹图像识别的实例分割网络模型进行置信度验证，最终获得可进行海冰图像实例分割的网络模型，实现了海冰图像的实例分割，其中通过对全卷积神经网络进行深度学习训练，使得初始海冰图像实例分割网络模型能够具备初步识别海冰，根据检测结果，进行边缘检测，确定海冰裂纹，然后对裂纹进行端点约束，找到需要进行圆弧拟合的环向裂纹，从而确定破冰半径和破冰角。

以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (6)

1.一种基于深度学习的冰体环向裂纹尺寸测量方法，其特征在于：该方法包括如下步骤：

步骤S1：采集大量海冰图片制作训练数据集；

采集大量海冰图片制作训练数据集，包括对采集的大量海冰图片进行数据增强处理；

步骤S2：根据制作的数据集，采用深度学习方法对实例分割网络模型进行训练，得到训练好的实例分割网络模型；

步骤S3：对训练好的实例分割模型进行置信度验证，将验证通过的实例分割网络模型作为目标模型；

步骤S4：目标模型对待识别的海冰图像进行实例分割，得到目标的海冰mask；

目标模型对待识别的海冰图像进行实例分割，得到目标的海冰mask，海冰mask即为海冰掩膜，具体操作如下：

在目标模型的基础上加入掩膜分支，并将实例分割任务划分为两个并行的子任务，分别为原型掩膜分支与目标检测分支；

原型掩膜分支通过Protonet结构生成原型掩膜，目标检测分支通过Prediction Head网络进行检测定位与掩膜系数的信息计算；

通过NMS进行筛选，处理结果与生成的原型掩膜以线性组合的方式生成每个anchor对应的mask分割结果；

步骤S5：对海冰mask进行边缘识别，得到海冰环向裂纹；

对海冰mask进行边缘识别采用Canny算子边缘检测方法，获得海冰边缘图像上所有像素点的像素坐标；

步骤S6：根据得到的海冰环向裂纹进行圆弧拟合，从而获得其尺寸参数；尺寸参数包括：破冰半径，破冰角；

所述步骤S6中根据得到的海冰环向裂纹进行圆弧拟合，具体操作如下：

根据海冰环向裂纹上所有边缘点的像素坐标，在其中筛选出横坐标的最大值和最小值，也是待拟合线段的起始点和终止点；

确定需要进行弧线拟合的环向裂纹，分别在圆弧上取四条直线的垂直平分线，求其四条垂直平分线的两两交点，最多可能有6个交点；在这6个交点取最小外包矩阵，当外包矩阵过大时，则可以判断此条曲线不是圆弧；当外包矩阵符合阈值要求，则认为该裂纹拟合出理想的圆弧；

根据圆弧上任意两条弦的垂直平分线的交点是圆心的原则，假设这些交点作为候选圆的圆心；在得到候选圆心后，再用最小二乘法缩小误差的方法求出圆心坐标和半径的最优解，确定这段环向裂纹所对应的拟合圆。

2.根据权利要求1所述的一种基于深度学习的冰体环向裂纹尺寸测量方法，其特征在于：所述步骤S3中对训练好的实例分割模型进行置信度验证，具体操作如下：

步骤S3-1：根据数据集的测试集数对实例分割模型进行测试，得到相应的测试结果；

步骤S3-2：根据测试结果计算实例分割模型的识别准确率；

步骤S3-3：若实例分割模型的识别的准确率大于预置准确率阈值，输出当前裂纹图像识别的实例分割模型；

步骤S3-4：若实例分割模型的识别的准确率小于预置准确率阈值，则重复步骤S2。

3.根据权利要求1所述的一种基于深度学习的冰体环向裂纹尺寸测量方法，其特征在于：所述步骤S5中对海冰mask进行边缘识别采用Canny算子边缘检测方法，获得海冰边缘图像上所有像素点的像素坐标。

4.根据权利要求1所述的一种基于深度学习的冰体环向裂纹尺寸测量方法，其特征在于：所述步骤S6中获得破冰半径为：

在获得环向裂纹对应的拟合圆之后，根据最小二乘法计算得出的最优半径，即为破冰半径。

5.根据权利要求1所述的一种基于深度学习的冰体环向裂纹尺寸测量方法，其特征在于：所述步骤S6中获得破冰角为：

在获得环向裂纹对应的拟合圆之后，计算圆心其到A点和B点连线的夹角，A，B两点为弧线端点，即为这段弧线的圆心角θ，也是破冰角；根据公式可求得圆心角：

k₁＝(y_a-y_c)/(x_a-x_c)

k₂＝(y_b-y_c)/(x_b-x_c)

其中，k₁为AC斜率；k₂为BC斜率；(x_a，y_a)为A点坐标(x_b，y_b)为B点坐标，(x_c，y_c)为C点坐标。

6.根据权利要求2所述的一种基于深度学习的冰体环向裂纹尺寸测量方法，其特征在于：所述数据增强处理包括：旋转、局部图像放大以及高斯模糊；所述数据增强处理至少选择旋转、局部图像放大以及高斯模糊中的一种操作。

Images