CN114648694A - 一种基于深度相机与机器视觉的海缆排缆间隙识别方法 - Google Patents

Abstract

本发明公开了一种基于深度相机与机器视觉的海缆排缆间隙识别方法，该方法包括以下步骤：S1、采用深度相机对海缆进行成像，获取三维深度图像模型；S2、提取所述深度图像模型的点云数据；S3、利用聚类算法对所述点云数据进行聚类，筛选出海缆之间的缝隙；S4、将三维图像模型转换得到缝隙的二维平面图；S5、构建缝隙分类神经网络，通过深度学习分类算法对海缆缝隙进行分类；S6、利用机器视觉算法计算缝隙的大小；S7、将缝隙大小返回至自动化机构进行海缆自动排缆。通过采用深度相机与机器视觉的海缆间隙识别方法，能够在昏暗场景下生成深度图像，来表征海缆的深度信息，从而实现间隙的精确检测捕捉，满足了自动化需求。

Description

一种基于深度相机与机器视觉的海缆排缆间隙识别方法

技术领域

本发明涉及海缆图像识别领域，具体来说，涉及一种基于深度相机与机器视觉的海缆排缆间隙识别方法。

背景技术

海缆排缆是海缆生产过程中的一道重要工序，海缆在出库装船前需要整齐的排缆，目前排缆方式主要为人工进行，一个排缆装置需要同时至少3个工人进行操作，主要通过肉眼观察来防止缆线间隙过大而导致缆线混乱的情况。

由于排缆环境处在一个昏暗的场景下，普通RGB图像成像情况糟糕，无法清晰的拍到缝隙。目前企业基本采用的是人力排缆方式，一台排缆机器需要至少三个人协同工作，且排缆需连续工作若干天，换班时上下机器存在安全隐患。排缆时工人需要时刻关注缆间的缝隙，保证缆与缆之间的缝隙不得过大，防止缆下沉，但人工目测无法精确识别缆间缝隙。

随着机器视觉技术与工业机器人技术的飞速发展，采用机器视觉代替人眼观察缆线，工业机器人代替人手移动缆线完成自动化排缆的操作逐渐成为趋势；

且现有技术中，在缝隙的特征区域匹配度不高的情况下，仍进行后续的识别算法计算，导致后续繁琐的无用工作量，降低了整体的工作效率。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于深度相机与机器视觉的海缆排缆间隙识别方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

一种基于深度相机与机器视觉的海缆排缆间隙识别方法，该方法包括以下步骤：

S1、采用深度相机对海缆进行成像，获取三维深度图像模型；

S2、提取所述深度图像模型的点云数据；

S3、利用聚类算法对所述点云数据进行聚类，筛选出海缆之间的缝隙；

S4、将三维图像模型转换得到缝隙的二维平面图；

S5、构建缝隙分类神经网络，通过深度学习分类算法对海缆缝隙进行分类；

S6、利用机器视觉算法计算缝隙的大小；

S7、将缝隙大小返回至自动化机构进行海缆自动排缆。

进一步的，所述提取所述深度图像模型的点云数据，包括以下步骤：

S21、对所述深度图像模型中的原始点云数据进行去噪处理；

S22、采用二值化算法对所述深度图像模型进行目标识别处理，得到目标图像数据；

S23、根据所述目标图像数据中各像素的坐标值，从所述原始点云数据中提取出目标点云数据；

S24、对所述目标点云数据进行去噪处理，得到最终的点云数据。

进一步的，所述利用聚类算法对所述点云数据进行聚类，筛选出海缆之间的缝隙，包括以下步骤：

S31、对所述点云数据进行特征提取，获取特征区域；

S32、采用聚类算法对所述特征区域进行识别，并通过与预设的标准模板进行匹配，从而获取海缆边缘区域，具体匹配的算法如下：基于匹配系数R(k，x_i)确定特征区域与标准模板中的匹配程度，

其中，X_i为点x_i周围的点集合，k_m为预设的标准模板中第m个标准点，M为预设的标准模板中标准点的总数量，x_n为x_i的周围n点之一，而x_n-x_i代表两点之间的距离，σ为标准方差；

S33、对所述海缆边缘区域进行处理得到边缘线；

S34、利用形态学方法将断开的边缘区域进行连通，形成具备缝隙的闭合三维海缆边缘区域图像；

进一步的，所述采用聚类算法对所述特征区域进行识别，包括以下步骤：

S321、预设聚类参数组合列表，

S322、以待提取对象当前特征区域的特征点作为聚类的数据集进行聚类初始化；

S323、通过聚类算法对数据集进行聚类，得到所有簇的集合；

S324、根据统计数据得到的集合进行删除处理，剔除集合中不属于特征区域的簇；

S325、采用集合中删除处理后的簇对特征区域进行更新，形成海缆边缘区域。

进一步的，所述将三维图像模型转换得到缝隙的二维平面图，包括以下步骤：

S41、读取所述点云数据中特征区域顶点的法向量、主曲率

S42、将三维图像模型分割为若干三角片，采用埃尔米特插值法获取各所述三角片顶点之间的直线，通过若干直线绘制所述海缆边缘区域图像的轮廓线；

S43、获取与视点相关的特征线；

S44、将视点相关的特征线进行连接绘制，构成高清的二维平面图。

进一步的，所述埃尔米特插值法获取各所述三角片顶点之间的直线计算公式为：

val(t)＝[2(val₀-val₁)+d₀+d₁]×t³+[3(val₁-val₀)-2d₀-d₁]×t²+d₀×t+val₀

其中，val(t)表示三角片V₀顶点、三角片V₁顶点的点积

的过零点，

表示三角片三个顶点的法线，

表示三角片三个顶点的视线，t表示插值参数且t∈[0，1]，val₀表示V₀顶点的点积，val₁表示V₁顶点的点积，d₀和d₁分别表示V₀顶点与V₁顶点的视投影方向上的曲率一阶导数。

进一步的，所述构建缝隙分类神经网络，通过深度学习分类算法对海缆缝隙进行分类，包括以下步骤：

S51、对所述二维平面图中的缝隙标注位置信息；

S52、提取所述二维平面图中预设尺寸且位置信息连续的图像样本，并标注分类标签；

S53、构建缝隙分类神经网络，利用由图像样本组成的训练集进行训练，形成缝隙分类模型；

S54、将待分类的海缆二维平面图切割成多个预设尺寸的测试图像块，并将所述测试图像块输入缝隙分类模型，检测所述测试图像块中缝隙边缘，并输出缝隙对应的分类标签；

S55、输出分类完成后的二维缝隙图像。

8.根据权利要求7所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，所述缝隙分类神经网络为目标检测模型。

进一步的，所述利用机器视觉算法计算缝隙的大小包括以下步骤：

S61、对相机进行标定，获取相机的比例因子；

S62、在所述二维缝隙图像中设置第一目标区域，

S63、确定缝隙的粗略像素宽度，并以所述粗略像素宽度中线确定当前二维缝隙图中的第二目标区域；

S64、对所述第二目标区域进行图像增强，并进行边界检测，得到所述第二目标区域边界的像素宽度值；

S65、计算缝隙的宽度值。

进一步的，所述计算缝隙的宽度值的计算公式为：

y_real(n)＝D₀-(y_a(n)+y_d(n)-d/2)

D(n)＝SCALE*y_real(n)；

其中，y_real(n)表示缝隙的像素宽度，D₀表示二维缝隙图像的宽度，d表示第二目标区域的宽度，D(n)表示缝隙的实际宽度，SCALE表示相机的比例因子，y_a(n)表示缝隙的粗略像素宽度，y_d(n)缝隙的像素宽度。

本发明的有益效果为：通过采用深度相机与机器视觉的海缆间隙识别方法，能够在昏暗场景下生成深度图像，来表征海缆的深度信息，从而实现间隙的精确检测与捕捉，满足了自动化排缆的需求，弥补了人工目测的误差。

在具体处理流程中，通过对深度图像内点云数据的去噪处理，精确定位等步骤，大大简化了目标提取的复杂度与计算量，且具备准确度高、清晰度高与误差小的优点；此外，配合聚类算法对点云数据的聚类处理，能够基于形态学对三维模型数据进行精确的边缘确定与提取，提高海缆提取的效率与精确性，且通过匹配系数R(k，x_i)确定特征区域与预设的标准模板中的匹配程度，再实施下一步，从而可以进一步的提升聚类算法的精准性，对于匹配度不高的特征区域进行筛选，从而避免了后续繁琐的算法导致的冗余工作量，进一步的提升了整体的效率。

通过对三维模型的二维转化，以及构建缝隙分类神经网络对二维平面图像进行识别分类，实现对缝隙的精确定位与识别，转换为便于计算的平面图像，配合机器视觉算法，最终完成缝隙宽度的精确计算，智能化程度高且误差小。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于深度相机与机器视觉的海缆排缆间隙识别方法的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了一种基于深度相机与机器视觉的海缆排缆间隙识别方法。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于深度相机与机器视觉的海缆排缆间隙识别方法，该方法包括以下步骤：

S1、采用深度相机对海缆进行成像，获取三维深度图像模型；

S2、提取所述深度图像模型的点云数据；

其中，步骤S2包括以下步骤：

S21、对所述深度图像模型中的原始点云数据进行去噪处理；

S22、采用二值化算法对所述深度图像模型进行目标识别处理，得到目标图像数据；

S23、根据所述目标图像数据中各像素的坐标值，从所述原始点云数据中提取出目标点云数据；

S24、对所述目标点云数据进行去噪处理，得到最终的点云数据。

S3、利用聚类算法(DBSCAN)对所述点云数据进行聚类，筛选出海缆之间的缝隙；

其中，步骤S3包括以下步骤：

S31、对所述点云数据进行特征提取，获取特征区域；

S32、采用聚类算法对所述特征区域进行识别，并通过与预设的标准模板进行匹配，从而获取海缆边缘区域，具体匹配的算法如下：基于匹配系数R(k，x_i)确定特征区域与标准模板中的匹配程度，

其中，X_i为点x_i周围的点集合，k_m为预设的标准模板中第m个标准点，M为预设的标准模板中标准点的总数量，x_n为x_i的周围n点之一，而x_n-x_i代表两点之间的距离，σ为标准方差；基于上述匹配系数R(k，x_i)确定特征区域与标准模板中的匹配程度，可以设置一个系数阈值作为评判标准，例如，优选匹配系数大于等于0.9时，再实施下一步，从而可以进一步的提升聚类算法的精准性，对于匹配度不高的特征区域进行筛选，从而避免了后续繁琐的算法导致的工作量，进一步的提升了整体的效率；

其中所述采用聚类算法对所述特征区域进行识别包括以下步骤：

S321、预设聚类参数组合列表，

S322、以待提取对象当前特征区域的特征点作为聚类的数据集进行聚类初始化：

S323、通过聚类算法对数据集进行聚类，得到所有簇的集合；

S324、根据统计数据得到的集合进行删除处理，剔除集合中不属于特征区域的簇；

S325、采用集合中删除处理后的簇对特征区域进行更新，形成海缆边缘区域。

S33、对所述海缆边缘区域进行处理得到边缘线；

S34、利用形态学方法将断开的边缘区域进行连通，形成具备缝隙的闭合三维海缆边缘区域图像。

S4、将三维图像模型转换得到缝隙的二维平面图；

其中，步骤S4包括以下步骤：

S41、读取所述点云数据中特征区域顶点的法向量、主曲率

S42、将三维图像模型分割为若干三角片，采用埃尔米特插值(Hermite插值)法获取各所述三角片顶点之间的直线，通过若干直线绘制所述海缆边缘区域图像的轮廓线；

其中，所述埃尔米特插值(Hermite插值)法获取各所述三角片顶点之间的直线计算公式为：

val(t)＝[2(val₀-val₁)+d₀+d₁]×t³+[3(val₁-val₀)-2d₀-d₁]×t²+d₀×t+val₀；

其中，val(t)表示三角片V₀顶点、三角片V₁顶点的点积

的过零点，

表示三角片三个顶点的法线，

表示三角片三个顶点的视线，t表示插值参数且t∈[0，1]，val₀表示V₀顶点的点积，Val₁表示V₁顶点的点积，d₀和d₁分别表示V₀顶点与V₁顶点的视投影方向上的曲率一阶导数。

S43、获取与视点相关的特征线；

S44、将视点相关的特征线进行连接绘制，构成高清的二维平面图。

S5、构建缝隙分类神经网络，通过深度学习分类算法对海缆缝隙进行分类；

其中，步骤S5包括以下步骤：

S51、对所述二维平面图中的缝隙标注位置信息；

S52、提取所述二维平面图中预设尺寸且位置信息连续的图像样本，并标注分类标签；

S53、构建缝隙分类神经网络，利用由图像样本组成的训练集进行训练，形成缝隙分类模型；

S54、将待分类的海缆二维平面图切割成多个预设尺寸的测试图像块，并将所述测试图像块输入缝隙分类模型，检测所述测试图像块中缝隙边缘，并输出缝隙对应的分类标签；

S55、输出分类完成后的二维缝隙图像。

S6、利用机器视觉算法计算缝隙的大小；

其中步骤S6包括以下步骤：

S61、对相机进行标定，获取相机的比例因子；

S62、在所述二维缝隙图像中设置第一目标区域，

S63、确定缝隙的粗略像素宽度，并以所述粗略像素宽度中线确定当前二维缝隙图中的第二目标区域；

S64、对所述第二目标区域进行图像增强，并进行边界检测，得到所述第二目标区域边界的像素宽度值；

S65、计算缝隙的宽度值。

所述计算缝隙的宽度值的计算公式为：

y_real(n)＝D₀-(y_a(n)+y_d(n)-d/2)

D(n)＝SCALE*y_real(n)；

其中，y_real(n)表示缝隙的像素宽度，D₀表示二维缝隙图像的宽度，d表示第二目标区域的宽度，D(n)表示缝隙的实际宽度，SCALE表示相机的比例因子，y_a(n)表示缝隙的粗略像素宽度，y_d(n)缝隙的像素宽度。

S7、将缝隙大小返回至自动化机构进行海缆自动排缆。

综上所述，借助于本发明的上述技术方案，通过采用深度相机与机器视觉的海缆间隙识别方法，能够在昏暗场景下生成深度图像，来表征海缆的深度信息，从而实现间隙的精确检测与捕捉，满足了自动化排缆的需求，弥补了人工目测的误差。

在具体处理流程中，通过对深度图像内点云数据的去噪处理，精确定位等步骤，大大简化了目标提取的复杂度与计算量，且具备准确度高、清晰度高与误差小的优点；此外，配合聚类算法对点云数据的聚类处理，能够基于形态学对三维模型数据进行精确的边缘确定与提取，提高海缆提取的效率与精确性。

通过对三维模型的二维转化，以及构建缝隙分类神经网络对二维平面图像进行识别分类，实现对缝隙的精确定位与识别，转换为便于计算的平面图像，配合机器视觉算法，最终完成缝隙宽度的精确计算，智能化程度高且误差小。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，该方法包括以下步骤：

S1、采用深度相机对海缆进行成像，获取三维深度图像模型；

S2、提取所述深度图像模型的点云数据；

S3、利用聚类算法对所述点云数据进行聚类，筛选出海缆之间的缝隙；

S31、对所述点云数据进行特征提取，获取特征区域；

S32、采用聚类算法对所述特征区域进行识别，并通过与预设的标准模板进行匹配，从而获取海缆边缘区域，具体匹配的算法如下：基于匹配系数R(k，x_i)确定特征区域与标准模板中的匹配程度，

其中，X_i为点x_i周围的点集合，k_m为预设的标准模板中第m个标准点，M为预设的标准模板中标准点的总数量，x_n为x_i的周围n点之一，而x_n-x_i代表两点之间的距离，σ为标准方差；

S33、对所述海缆边缘区域进行处理得到边缘线；

S34、利用形态学方法将断开的边缘区域进行连通，形成具备缝隙的闭合三维海缆边缘区域图像；

S4、将三维图像模型转换得到缝隙的二维平面图；

S41、读取所述点云数据中特征区域顶点的法向量、主曲率；

S42、将三维图像模型分割为若干三角片，采用埃尔米特插值法获取各所述三角片顶点之间的直线，通过若干直线绘制所述海缆边缘区域图像的轮廓线，所述埃尔米特插值法获取各所述三角片顶点之间的直线计算公式为：

val(t)＝[2(val₀-val₁)+d₀+d₁]×t³+[3(val₁-val₀)-2d₀-d₁]×t²+d₀×t+val₀；

其中，val(t)表示三角片V₀顶点、三角片V₁顶点的点积

的过零点，

表示三角片三个顶点的法线，

表示三角片三个顶点的视线，t表示插值参数且t∈[0，1]，val₀表示V₀顶点的点积，val₁表示V₁顶点的点积，d₀和d₁分别表示V₀顶点与V₁顶点的视投影方向上的曲率一阶导数；

S43、获取与视点相关的特征线；

S44、将视点相关的特征线进行连接绘制，构成高清的二维平面图；

S5、构建缝隙分类神经网络，通过深度学习分类算法对海缆缝隙进行分类；

S6、利用机器视觉算法计算缝隙的大小；

S7、将缝隙大小返回至自动化机构进行海缆自动排缆。

2.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，所述提取所述深度图像模型的点云数据，包括以下步骤：

S21、对所述深度图像模型中的原始点云数据进行去噪处理；

S22、采用二值化算法对所述深度图像模型进行目标识别处理，得到目标图像数据；

S23、根据所述目标图像数据中各像素的坐标值，从所述原始点云数据中提取出目标点云数据；

S24、对所述目标点云数据进行去噪处理，得到最终的点云数据。

3.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，所述采用聚类算法对所述特征区域进行识别，包括以下步骤：

S321、预设聚类参数组合列表，

S322、以待提取对象当前特征区域的特征点作为聚类的数据集进行聚类初始化；

S323、通过聚类算法对数据集进行聚类，得到所有簇的集合；

S324、根据统计数据得到的集合进行删除处理，剔除集合中不属于特征区域的簇；

S325、采用集合中删除处理后的簇对特征区域进行更新，形成海缆边缘区域。

val(t)＝[2(val₀-val₁)+d₀+d₁]×t³+[3(val₁-val₀)-2d₀-d₁]×t²+d₀×t+val₀

4.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，所述构建缝隙分类神经网络，通过深度学习分类算法对海缆缝隙进行分类，包括以下步骤：

S51、对所述二维平面图中的缝隙标注位置信息；

S52、提取所述二维平面图中预设尺寸且位置信息连续的图像样本，并标注分类标签；

S53、构建缝隙分类神经网络，利用由图像样本组成的训练集进行训练，形成缝隙分类模型；

S54、将待分类的海缆二维平面图切割成多个预设尺寸的测试图像块，并将所述测试图像块输入缝隙分类模型，检测所述测试图像块中缝隙边缘，并输出缝隙对应的分类标签；

S55、输出分类完成后的二维缝隙图像。

5.根据权利要求4所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，所述缝隙分类神经网络为目标检测模型。

6.根据权利要求1所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，所述利用机器视觉算法计算缝隙的大小包括以下步骤：

S61、对相机进行标定，获取相机的比例因子；

S62、在所述二维缝隙图像中设置第一目标区域，

S63、确定缝隙的粗略像素宽度，并以所述粗略像素宽度中线确定当前二维缝隙图中的第二目标区域；

S64、对所述第二目标区域进行图像增强，并进行边界检测，得到所述第二目标区域边界的像素宽度值；

S65、计算缝隙的宽度值。

7.根据权利要求6所述的一种基于深度相机与机器视觉的海缆排缆间隙识别方法，其特征在于，所述计算缝隙的宽度值的计算公式为：

y_real(n)＝D₀-(y_a(n)+y_d(n)-d/2)

D(n)＝SCALE*y_real(n)；

其中，y_real(n)表示缝隙的像素宽度，D₀表示二维缝隙图像的宽度，d表示第二目标区域的宽度，D(n)表示缝隙的实际宽度，SCALE表示相机的比例因子，y_a(n)表示缝隙的粗略像素宽度，y_d(n)缝隙的像素宽度。

Images