CN115457267A - 基于实例分割技术的料斗防护区域自动生成方法 - Google Patents

Abstract

本发明提出了基于实例分割技术的料斗防护区域自动生成方法，属于门机自动化监控技术领域；包括如下步骤：S1：对网络摄像头进行标定，获取网络摄像头的相机内参；S2：将网络摄像头安装至门机的合适位置，实时捕捉门机卸料工作区域的视频数据；将视频数据转换为图片数据存储；S3：对图片数据中的卸料的料斗上平面作为料斗特征进行标注，导出标签文件；S4：建立并训练实例分割模型：S5：利用训练后的实例分割模型对料斗特征进行提取；如果实例分割模型能够提取到料斗特征，则以该料斗特征来进一步设置警戒区域；如果未能提取到料斗特征，则由人工设置警戒区域。

Description

基于实例分割技术的料斗防护区域自动生成方法

技术领域

本发明涉及门机自动化监控技术领域，尤其涉及基于实例分割技术的料斗防护区域自动生成方法。

背景技术

随着我国港口产业的迅速发展，用于处理船只卸货工作的门座式起重机，即门机的自动化升级的相关工作也成为研究热点。在门机自动化作业过程中，门机抓斗自动运行至目标料斗上方后开斗，实现卸货。为保障卸货过程中，机下人员和设备的安全，目前通常采用视频技术获取现场实时情况，结合人工预先设定目标料斗周边的警戒区域，达到安全防护监测的效果。但目前港口现场的料斗的位置经常发生变化、料斗类型多的情况，采用人工设置警戒区域的方式，存在复用性差、区域范围精度低的问题，严重影响门机自动化抓放料效率。公开号为CN113345027A的中国发明专利公开了基于球机的门机区域防护方法，该方法需要人工预先在料斗的顶部端面用油漆绘制图案作为标识，人工标识的工作量较大，而且图案标识容易被遮盖或者磨损，导致门机自动生成安全防护区域的功能受到严重影响。

综上所述，提出基于实例分割技术的料斗防护区域自动生成方法，达到自动安防监测的效果，无需人工绘制图案，是很有必要的。

发明内容

有鉴于此，本发明提出了基于实例分割算法、无需预先在料斗端面涂装的料斗防护区域自动生成方法。

本发明的技术方案是这样实现的：基于实例分割技术的料斗防护区域自动生成方法，包括如下步骤：

S1：对网络摄像头进行标定，获取网络摄像头的相机内参；

S2：将网络摄像头安装至门机的合适位置，实时捕捉门机卸料工作区域的视频数据；将视频数据转换为图片数据存储；

S3：对图片数据中的卸料的料斗上平面作为料斗特征进行标注，导出标签文件；

S4：建立并训练实例分割模型：

S5：利用训练后的实例分割模型对料斗特征进行提取；如果实例分割模型能够提取到料斗特征，则以该料斗特征来进一步设置警戒区域；如果未能提取到料斗特征，则由人工设置警戒区域。

在以上技术方案的基础上，优选的，步骤S1中所述对网络摄像头进行标定，获取网络摄像头的相机内参，是采用利用网络摄像头采集棋盘格标定板的图像数据，采用标定算法对网络摄像头进行标定，解算三维的世界坐标系中的点到网络摄像头采集的图像坐标系中的点的对应关系，获取网络摄像头的相机内参。

在以上技术方案的基础上，优选的，步骤S3所述对图片数据中的卸料的料斗上平面作为料斗特征进行标注，导出标签文件，是使用开源标准软件Labelme进行标注工作，标注内容为料斗上平面，标注面特征时，写入对应的料斗类型并导出标签文件。

在以上技术方案的基础上，优选的，步骤S4所述的建立并训练实例分割模型，是采用Mask—RCNN深度学习模型作为实例分割模型，使用步骤S3中标注的样本图像及标签文件进行训练。

提取料斗上平面的四边形坐标标签，将图片数据和四边形坐标标签导入实例分割模型中，实例分割模型处理后输出料斗上平面掩膜图层，将料斗上平面掩膜图层与四边形坐标标签之间的差异作为损失函数；训练实例分割模型是调整实例分割模型训练的数据批次和学习率，采用随机梯度下降损失函数优化算法，减小损失函数，以实例分割模型输出的料斗上平面掩膜图层来拟合真实料斗上平面边界范围。

优选的，步骤S5所述设置警戒区域，包括如下步骤：

S51：获取料斗尺寸数据，包括料斗上平面的尺寸及其离地面的垂直高度；

S52：如实例分割模型能够提取到料斗特征，即实例分割模型处理后输出料斗上平面掩膜图层能够被拟合得到料斗上平面的四个角点的图像像素坐标；如实例分割模型不能提取到料斗特征，则人为指定料斗上平面的四个角点的图像像素坐标；

S53：结合料斗上平面的四个角点的图像像素坐标、各角点在世界坐标系中的坐标、相机内参求得网络摄像头的相机外参，结合防护区域偏离料斗上平面边缘的距离，得到一虚拟四边形，根据虚拟四边形的四个角点在世界坐标系中的坐标，并将该虚拟四边形的四个角点在地面投影，获得虚拟角点投影点在世界坐标系中的坐标，连接虚拟四边形的四个角点及其投影点构成空间封闭区域；将该封闭空间区域的边界的世界坐标系坐标转换为网络摄像头的图像像素坐标，即生成料斗作业范围的防护区域。

本发明提供的基于实例分割技术的料斗防护区域自动生成方法，相对于现有技术具有以下有益效果：

(1)本方案针对门机卸料时的料斗上平面整体作为参照，基于实例分割技术自动生成料斗周边的防护区域，无需事项对料斗进行标记处理，能够实时准确生成警戒区域，保障自动化作业的安全生产；

(2)当实例分割模型不能有效提取料斗特征时，可通过人工干预方式指定料斗角点的图像像素坐标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于实例分割技术的料斗防护区域自动生成方法的流程图；

图2为本发明基于实例分割技术的料斗防护区域自动生成方法的建立并训练实例分割模型的过程示意图；

图3为本发明基于实例分割技术的料斗防护区域自动生成方法的料斗的俯视图；

图4为本发明基于实例分割技术的料斗防护区域自动生成方法的料斗的前视图；

图5为本发明基于实例分割技术的料斗防护区域自动生成方法的生成防护区域的流程图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，图示展示了基于实例分割技术的料斗防护区域自动生成方法，包括如下步骤：

S1：对网络摄像头进行标定，获取网络摄像头的相机内参；

获取网络摄像头的相机内参是采用利用网络摄像头采集棋盘格标定板的图像数据，采用标定算法对网络摄像头进行标定，解算三维的世界坐标系中的点到网络摄像头采集的图像坐标系中的点的对应关系，获取网络摄像头的相机内参。棋盘格是常用的标定物，采用黑白相间的网格状图案绘制而成。将棋盘格放置在不同的位置，获取网络摄像头的图像，使用OpenCV软件库提供的标定工具，可以得到网络摄像头的内参，网络摄像头的内参包括dx、dy、u0、v0和f，dx与dy分别表示在图像坐标系的x轴和y轴方向一个像素分别占多少长度单位，即一个像素代表的实际尺寸；u0和v0表示中心像素坐标和图像原点像素坐标相差的横向和纵向像素数；f为网络摄像头的焦距。

S2：将网络摄像头安装至门机的合适位置，实时捕捉门机卸料工作区域的视频数据；将视频数据转换为图片数据存储。

S3：对图片数据中的卸料的料斗上平面作为料斗特征进行标注，导出标签文件；

具体内容是，使用开源标准软件Labelme进行标注工作，标注内容为料斗上平面，标注面特征时，写入对应的料斗类型并导出标签文件。Labelme是一款图形界面的图像标注软件，是用Python语言编写的，可对图像进行多边形、矩形、多段线、线段或者点的标注，以便进行目标检测或者图像分割功能。选取特定区域后，保存为*.json文件，将该文件的目标类型定义为料斗上平面。

S4：建立并训练实例分割模型：

具体的，是采用Mask—RCNN深度学习模型作为实例分割模型，模型结构见图2所示，该模型实现对图像中料斗的定位、料斗上平面分割以及料斗分类，具体过程包括兴趣区域对齐过程ROI Align、两次卷积过程Conv以及分类识别过程；为优化Mask—RCNN模型在本应用中的适配效果，在原始模型训练基础上进行以下改进：

S41：丰富样本分布，提升模型鲁棒性；通过对样本标签数据进行样本增强，如采用图像旋转、镜像翻转以及仿射变换几何变换操作，提升料斗在图像中的空间位置分布；进行高斯模糊、HSV像素空间变换、Gamma变化以及加入椒盐噪声处理，提升模型在处理极端工况时的稳定性；

S42：完善损失函数，提升边缘分割精度；原始Mask—RCNN网络的损失函数如下所示：L_mrn＝L_reg+L_cls+L_mask；

其中y_i表示样本标签的类别，y’_i表示预测结果的类别；t_i表示在模型训练阶段，检测框相对于样本标签框间预测的偏移量；

表示检测框相对于样本标签框间实际的偏移量；

为L1平滑损失函数，避免梯度爆炸问题；m_num表示兴趣区域ROI的尺寸大小，s_i表示样本真值的掩码数值，s’_i表示预测结果的掩码，sigmoid函数为激活函数，将参数映射到区间(0，1)；L_reg为位置回归损失，L_cls为交叉熵置信度损失，L_mask为分割分支损失；为提升料斗角点的拟合效果，在原始损失函数的基础上，添加角点损失函数L_cor，表示如下：L_cor＝∑(|P_ix-P_sx|+|P_iy-P_sy|)；提取料斗上平面的四边形坐标标签P_sx、P_sy，将图片数据P_ix、P_iy和四边形坐标标签导入实例分割模型中，实例分割模型处理后输出料斗上平面掩膜图层，将料斗上平面掩膜图层与四边形坐标标签之间的差异进行统计，该参数即为L_cor，将角点损失函数与原始损失函数结合并引入权重概念，最终损失函数如下：L’_mrn＝αL_reg+βL_cls+γL_mask+δL_cor；其中α、β、γ和δ分别为各损失函数的权重，根据训练情况对其进行设置，优化直至料斗上平面mask拟合达到目标效果。

训练实例分割模型是调整实例分割模型训练的数据批次和学习率，采用随机梯度下降算法Stochastic gradient descent，训练时学习率设为0.01，权重衰减设为0.0005，减小损失函数，以实例分割模型输出的料斗上平面掩膜图层来拟合真实料斗上平面边界范围。

S5：利用训练后的实例分割模型对料斗特征进行提取；如果实例分割模型能够提取到料斗特征，则以该料斗特征来进一步设置警戒区域；如果未能提取到料斗特征，则由人工设置警戒区域；

上述设置警戒区域，参考图3、4和5，具体包括如下步骤：

S51：获取料斗尺寸数据，包括料斗上平面的尺寸及其离地面的垂直高度；

S52：如实例分割模型能够提取到料斗特征，即实例分割模型处理后输出料斗上平面掩膜图层能够被角点提取算法拟合得到料斗上平面的四个角点的图像像素坐标；如实例分割模型不能提取到料斗特征，则人为指定料斗上平面的四个角点的图像像素坐标；

角点提取算法具体方案为：

1)对料斗上平面掩膜图层使用OpenCV二值化函数处理，提取得到灰度图像；

2)对灰度图像使用OpenCV外边界提取函数处理，提取外围轮廓数据，由多组点集组成，且不同点集对应不同的几何图形；

3)通过设置轮廓面积阈值，对外围轮廓点集数据进行筛选，得到准确的外围轮廓点集；

4)若轮廓点数量为4，且轮廓点坐标位置符合平行四边形规则，即视为拟合成功，得到料斗角点；

5)若轮廓点数量大于4，则根据角点分布在四条边的原则，将轮廓点分为4类，通过直线拟合得到四条直线，由四条直线互求交点，得到料斗角点；

6)若轮廓点数量小于4，则料斗角点定位失败，由人为指定角点坐标；

S53：结合料斗上平面的四个角点的图像像素坐标、各角点在世界坐标系中的坐标、相机内参求得网络摄像头的相机外参，结合防护区域偏离料斗上平面边缘的距离，得到一虚拟四边形，根据虚拟四边形的四个角点在世界坐标系中的坐标，并将该虚拟四边形的四个角点在地面投影，获得虚拟角点投影点在世界坐标系中的坐标，连接虚拟四边形的四个角点及其投影点构成空间封闭区域；将该封闭空间区域的边界的世界坐标系坐标转换为网络摄像头的图像像素坐标，即生成料斗作业范围的防护区域。

如图3所示，图中标记301的虚像的各角点分别表示料斗腿柱；附图标记302表示料斗上平面的边界；附图标记303表示料斗上平面的边界向外扩展距离204以后得到的虚拟四边形的边界。如图4所示，附图标记402表示料斗上平面的302角点对应的投影点，附图标记403表示料斗上平面的303角点对应的投影点402向外扩展距离403后得到的角点，即图中的401；特别的，图3中的扩展距离304与图4中的扩展距离403相等。图4中的404表示料斗上平面相对于地面的高度。如果将图3中料斗上平面的边界302的左下角的角点作为原点，通过人工测量料斗上平面的边界302的尺寸、料斗上平面相对于地面的高度404以及扩展距离403或者304，则可以推算料斗上平面的边界302各角点的世界坐标系坐标、以及虚拟四边形的各角点的世界坐标系坐标，根据上述已标定的相机内参，计算网络摄像头的外参，即料斗相对于网络摄像头的旋转矩阵和平移矩阵。结合获取虚拟四边形的各角点的世界坐标系坐标，生成一个环绕料斗的空间立方体区域，作为料斗作业的防护区域，为工程人员或者车辆提供监测范围。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于实例分割技术的料斗防护区域自动生成方法，其特征在于，包括如下步骤：

S1：对网络摄像头进行标定，获取网络摄像头的相机内参；

S2：将网络摄像头安装至门机的合适位置，实时捕捉门机卸料工作区域的视频数据；将视频数据转换为图片数据存储；

S3：对图片数据中的卸料的料斗上平面作为料斗特征进行标注，导出标签文件；

S4：建立并训练实例分割模型：

S5：利用训练后的实例分割模型对料斗特征进行提取；如果实例分割模型能够提取到料斗特征，则以该料斗特征来进一步设置警戒区域；如果未能提取到料斗特征，则由人工设置警戒区域。

2.根据权利要求1所述的基于实例分割技术的料斗防护区域自动生成方法，其特征在于，步骤S1中所述对网络摄像头进行标定，获取网络摄像头的相机内参，是采用利用网络摄像头采集棋盘格标定板的图像数据，采用标定算法对网络摄像头进行标定，解算三维的世界坐标系中的点到网络摄像头采集的图像坐标系中的点的对应关系，获取网络摄像头的相机内参。

3.根据权利要求1所述的基于实例分割技术的料斗防护区域自动生成方法，其特征在于，步骤S3所述对图片数据中的卸料的料斗上平面作为料斗特征进行标注，导出标签文件，是使用开源标准软件Labelme进行标注工作，标注内容为料斗上平面，标注面特征时，写入对应的料斗类型并导出标签文件。

4.根据权利要求1所述的基于实例分割技术的料斗防护区域自动生成方法，其特征在于，步骤S4所述的建立并训练实例分割模型，是采用Mask—RCNN深度学习模型作为实例分割模型；提取料斗上平面的四边形坐标标签，将图片数据和四边形坐标标签导入实例分割模型中，实例分割模型处理后输出料斗上平面掩膜图层，将料斗上平面掩膜图层与四边形坐标标签之间的差异作为损失函数；训练实例分割模型是调整实例分割模型训练的数据批次和学习率，采用随机梯度下降损失函数优化算法，减小损失函数，以实例分割模型输出的料斗上平面掩膜图层来拟合真实料斗上平面边界范围。

5.根据权利要求4所述的基于实例分割技术的料斗防护区域自动生成方法，其特征在于，步骤S5所述设置警戒区域，包括如下步骤：

S51：获取料斗尺寸数据，包括料斗上平面的尺寸及其离地面的垂直高度；

S52：如实例分割模型能够提取到料斗特征，即实例分割模型处理后输出料斗上平面掩膜图层能够被拟合得到料斗上平面的四个角点的图像像素坐标；如实例分割模型不能提取到料斗特征，则人为指定料斗上平面的四个角点的图像像素坐标；

S53：结合料斗上平面的四个角点的图像像素坐标、各角点在世界坐标系中的坐标、相机内参求得网络摄像头的相机外参，结合防护区域偏离料斗上平面边缘的距离，得到一虚拟四边形，根据虚拟四边形的四个角点在世界坐标系中的坐标，并将该虚拟四边形的四个角点在地面投影，获得虚拟角点投影点在世界坐标系中的坐标，连接虚拟四边形的四个角点及其投影点构成空间封闭区域；将该封闭空间区域的边界的世界坐标系坐标转换为网络摄像头的图像像素坐标，即生成料斗作业范围的防护区域。

Images