CN113345027B - 一种基于球机的门机区域防护方法 - Google Patents

Abstract

本发明提出了一种基于球机的门机区域防护方法，其根据球机的视频图像，获取卸料时料斗的位置，再根据已经标定好的相机内参和相机外参，获取料斗的四个角点的世界坐标系，并将其投影到地面上，再将投影的四个角点向外扩充一定的距离，再获取这四个扩充后的点在像素坐标系的像素坐标，对这四个像素坐标合围起来的警戒区域进行防护，当人员或者车辆进入该警戒区域后，球机生成警戒区域入侵事件并发出报警信号；人员或车辆离开警戒区域后，解除警报；球机可跟随门机的抓斗进行转动，使得料斗始终位于图像的中央位置，实现对移动状态的门机的抓斗实时安全防护的目的。

Description

一种基于球机的门机区域防护方法

技术领域

本发明涉及门座式起重机自动化监控技术领域，尤其涉及一种基于球机的门机区域防护方法。

背景技术

门座式起重机，简称门机，是电力驱动的有轨式臂架起重机，广泛应用于港口、码头或者矿山等场合。通常门机包括下部移动部分和上部旋转部分，其铜鼓吊钩或者料斗进行不同货物的运输作业。门机上配置有装卸物料的抓斗，抓斗可向船侧或者岸侧转移物料。

门机的自动化作业技术是一门新兴的技术，其中安全性是一项重要的要求。门机在作业的过程中，抓斗的工作区域是危险区域，作业时抓斗及其附近范围不应出现人员或者车辆，以免发生事故。如果该作业区域出现人员或者车辆，门机作业应该中止。现有的门机作业防护，是基于固定区域的防护，即料斗上料或者卸料区域的固定位置防护，但是门机作业时不可避免的要进行转动或者移动，如何对工作状态的抓斗附近区域进行实时的安全防护，是目前门机自动化作业的难点。

发明内容

有鉴于此，本发明提出了一种对作业状态的门机进行实时的安全防护、防止意外发生的基于球机的门机区域防护方法。

本发明的技术方案是这样实现的：本发明提供了一种基于球机的门机区域防护方法，包括如下步骤：

S1：在门机上布置具有区域入侵防护功能的球形摄像机，即球机，球机可获取料斗处的图像；

S2：进行球机的内参标定，通过张正友标定法获取相机的内参；并进一步获取球机的初始水平角度值和垂直角度值；建立基于门机大车的第一世界坐标系，获取球机和料斗在第一世界坐标系中的位置，并使料斗位于球机画面的中心位置；

S3：在料斗的顶部边缘的四个角点处对应设置亮斑标识，采用与背景色反差较大的油漆绘制实心图案；

S4：提取料斗顶部四个角点区域的像素坐标：令实心图案的中心点为料斗顶部的角点位置，获取每个像素在HSV空间的值，提取其中的对应油漆颜色的像素点，由这些像素点构成一幅新的图像，剔除非实心图案的轮廓，并在该新的图像中获取四个实心图案的中心点的像素坐标；

S5：球机的外参标定：以料斗顶部的四个角点为基准构建第二世界坐标系，获取第二世界坐标系到摄像机坐标系的外参矩阵；

S6：生成警戒区域：将料斗顶部的四个角点投影到地面，得到四个投影点以及四个投影点在第二世界坐标系下的坐标，将四个投影点均向外偏移一定距离，将偏移后的区域的顶点在第二世界坐标系下的坐标转换到像素坐标系中，获取这些偏移后的区域的顶点对应的像素坐标系下的坐标，该四个偏移后的区域的顶点顺次连接形成的区域即为警戒区域；

S7：配置区域入侵功能：将步骤S6获得的警戒区域作为球机的区域入侵防护功能对应的防护区域，当人员或者车辆进入警戒区域时，球机生成警戒区域入侵事件并发出报警信号，警戒区域入侵事件不会使门机的抓斗打开；

S8：球机进行自动盯瞄：使料斗位于球机画面的中央位置，料斗的像素宽度占画面像素宽度的30％—50％；区域防护过程中，球机的焦距保持不变。

在以上技术方案的基础上，优选的，所述建立基于门机大车的第一世界坐标系，获取球机和料斗在第一世界坐标系中的位置，并使料斗位于球机画面的中心位置：是令门机大车的运动方向为X轴，水平面上与X轴垂直的方向为Y轴，垂直与地面向上的方向为Z轴，建立第一世界坐标系；令球机的旋转中心P_C在第一世界坐标系下的坐标为(X_C,Y_C,Z_C)，令料斗P_H在第一世界坐标系下的坐标为(X_H,Y_H,Z_H)，由球机的旋转中心到料斗的有向向量为

料斗位于球机画面的中心处时，球机的垂直方向的旋转角度为Tilt，球机的水平方向的旋转角度为Pan：

进一步优选的，所述油漆绘制的实心图案为矩形、圆形或者正多边形。

更进一步优选的，所述实心图案的直径或者外接圆直径不小于0.3米。

更进一步优选的，所述获取每个像素在HSV空间的值，提取其中的对应油漆颜色的像素点，由这些像素点构成一幅新的图像，是将球机画面像素坐标系的RGB的空间转换为HSV空间，转换公式为：R'＝R/255，G'＝G/255，B'＝B/255，C_max＝max(R',G',B')，C_min＝min(R',G',B')，ΔC＝C_max-C_min；

V＝C_max；进一步的，将H归一化到0—180，S归一化到0—255，V归一化到0—255，即球机画面各像素H的取值为[0—180]、S的取值为[0—255]，V的取值为[0—255]，识别与油漆颜色相同的像素，舍弃其余的像素，根据识别后的各像素点构建一副新的图像。

再进一步优选的，所述以料斗顶部的四个角点为基准构建第二世界坐标系，获取第二世界坐标系到摄像机坐标系的外参矩阵，是以料斗顶部的四个角点构成的正方形所在平面某一边长方向为第二世界坐标系的X轴，X轴与门机大车的运动方向平行，正方形所在平面与X轴垂直的边长方向为Y轴方向，竖直向上方向为Z轴方向，料斗顶部一个角点在地面上的投影为原点，构建第二世界坐标系；令料斗顶部的四个角点构成的正方形的边长为ParW，料斗顶部到地面的高度为ParH，该正方形四个角点在第二世界坐标系中的坐标分别为(0，0，ParH)、(ParW，0，ParH)、(ParW，ParW，ParH)和(0，ParW，ParH)；料斗各角点位置的像素坐标已经在步骤S4中获取，根据各角点在第二世界坐标系中的坐标以及像素坐标系下的像素坐标，使用OpenCV软件库提供的函数SolvePnP获取第二世界坐标系到摄像机坐标系的外参矩阵，实现球机的外参标定。

更进一步的优选的，所述步骤S6中，生成警戒区域是将料斗顶部四个角点在地面进行投影，令料斗顶部四个角点在第二世界坐标系下的坐标为W₁＝(X₁,Y₁,Z₁，W₂＝(X₂,Y₂,Z₂)，W₃＝(X₃,Y₃,Z₃)，W₄＝(X₄,Y₄,Z₄)，简化为

其中i＝1、2、3或4；这四个角点在地面的投影点的坐标为(X_i,Y_i,0)，这四个投影点构成一个正方形，正方形中心的坐标为W₀＝[(X₁+X₂+X₃+X₄)/4,(Y₁+Y₂+Y₃+Y₄)/4,0]；分别将四个投影点同时向外扩展ParExt，令这四个投影点向外扩展后位置在第二世界坐标系中的坐标为P₁、P₂、P₃和P₄，简化为P_i，其中i＝1、2、3或4，

将获取的P_i通过球机的内参和外参对应转换到像素坐标系中获得对应的像素坐标，对应的像素坐标合围而成的区域即为警戒区域。

本发明提供的一种基于球机的门机区域防护方法，相对于现有技术具有以下有益效果：

(1)本发明通过在料斗处设置实心图案作为参考基准，将参考基准进行色彩空间变换，提取实心图案对应的颜色区域的像素坐标，构建新的图像，剔除非实心图案区域后，提取四个角点区域的像素坐标，构建基于四个角点的第二世界坐标系，进行地面投影和扩大，获得地面上的扩展区域端点后，再变换回球机的像素坐标系中，根据球机的内参和外参，在像素坐标系中形成球机的警戒区域，实现对料斗附近区域的入侵自动报警功能，防止门机的抓斗在移动过程中意外事故的发生；

(2)在料斗的顶部边缘的四个角点处对应设置亮斑标识，绘制相应的实心图案有利于球机识别和获取料斗的实时位置；

(3)对红色图像进行识别后，剔除非实心图案的轮廓，形成料斗顶部角点对应的红色图案，便于获取其角点中心位置像素坐标；

(4)球机的外参矩阵能将摄像机坐标系与世界坐标系进行转换，对应着球机的旋转和平移，使相机能够跟随料斗运动从而实现自动盯瞄功能；

(5)球机根据视频的图像获取人员、车辆和料斗信息，检出人员和车辆与料斗的相对位置，结合自动盯瞄功能，当人员或者车辆进入警戒区域后门机会触发警戒区域入侵事件，提示人员或者车辆迅速离开移动中的料斗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于球机的门机区域防护方法的流程图；

图2为本发明一种基于球机的门机区域防护方法的料斗顶部四个角点的像素坐标的示意图；

图3为本发明一种基于球机的门机区域防护方法中提取红色像素点后生成的新图像；

图4为本发明一种基于球机的门机区域防护方法中提取红色像素点后进一步剔除非实心图案的轮廓后得到的图像。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1—4所示，本发明提供了一种基于球机的门机区域防护方法，包括如下步骤：

S1：在门机上布置具有区域入侵防护功能的球形摄像机，即球机，球机可获取料斗防护区域的图像；

S2：进行球机的内参标定，通过张正友标定法获取相机的内参；并进一步获取球机的初始水平角度值和垂直角度值；建立基于门机大车的第一世界坐标系，获取球机和料斗在第一世界坐标系中的位置，并使料斗位于球机画面的中心位置；料斗与门机是单独设置，且分别运动。料斗附近区域有车辆或者人员时，门机的抓斗不应动作，防止发生意外。确定该料斗的防护区域，是非常必要的。

获取相机的内参，是将专用棋盘格放置在不同位置，获取球机的图像，依据图像，使用OpenCV软件库提供的标定工具，得到相机的内参；

然后令门机大车的运动方向为X轴，水平面上与X轴垂直的方向为Y轴，垂直与地面向上的方向为Z轴，建立第一世界坐标系；令球机的旋转中心P_C在第一世界坐标系下的坐标为(X_C,Y_C,Z_C)，令料斗P_H在第一世界坐标系下的坐标为(X_H,Y_H,Z_H)，由球机的旋转中心到料斗的有向向量为

料斗位于球机画面的中心处时，球机的垂直方向的旋转角度为Tilt，球机的水平方向的旋转角度为Pan：

S3：在料斗的顶部边缘的四个角点处对应设置亮斑标识，采用与背景色反差较大的油漆绘制实心图案；

采用具有较大反差颜色的油漆绘制的实心图案为矩形、圆形或者正多边形。为便于识别，实心图案的直径或者外接圆直径应不小于0.3米。

S4：提取料斗顶部四个角点区域的像素坐标：令实心图案的中心点为料斗顶部的角点位置，获取每个像素在HSV空间的值，提取其中的对应油漆颜色的像素点，由这些像素点构成一幅新的图像，剔除非实心图案的轮廓，并在该新的图像中获取四个实心图案的中心点的像素坐标；

其中，获取每个像素在HSV空间的值，提取其中的红色像素点，由红色像素点构成一幅新的图像，是将球机画面像素坐标系的RGB的空间转换为HSV空间，转换公式为：R'＝R/255，G'＝G/255，B'＝B/255，C_max＝max(R',G',B')，C_min＝min(R',G',B')，ΔC＝C_max-C_min；

V＝C_max；进一步的，将H归一化到0—180，S归一化到0—255，V归一化到0—255；球机画面各像素H的取值为[0—180]、S的取值为[0—255]，V的取值为[0—255]。例如，油漆的颜色为红色时，像素H的取值为[0—10]或者[156—180]、S的取值为[0—255]，V的取值为[0—255]，则认定该像素为红色，保留该像素点；如像素取值范围不在上述范围内，则认定该像素不是红色，舍弃该像素；根据识别后的各红色像素点构建一副新的图像。应当说明的是，此处虽然采用鲜艳的红色作为参考色，但是实心图案也可以采用其他醒目颜色来绘制，比如黄色，其对应的像素H的取值为[26—34]、S的取值为[43—255]，V的取值为[46—255]，其他步骤基本类似，也可以选用红、黄以外其他醒目的反差颜色来作为基准，便于与非角点区域进行区分，即可获取新的图像。

以红色油漆为例，为进一步对获取的新的图像剔除非实心图案的轮廓，获取角点区域的图案，可以采用如下方式中的任一种来提取角点区域的图案：

1)剔除尺寸宽高比大于2和宽高比小于0.5的红色轮廓；

2)剔除外接矩形面积与图像面积比值小于0.00236％和面积大于0.945％的红色轮廓；

3)剔除外接矩形框中红色占比小于60％的红色轮廓；

4)剔除轮廓的面积与轮廓外接矩形面积比例小于50％的红色轮廓；

5)剔除轮廓拟合的椭圆面积与轮廓外接矩形面积比例小于60％的红色轮廓；

6)剔除轮廓拟合的椭圆面积与轮廓外接矩形面积比例大于90％的红色轮廓；

7)剔除轮廓拟合的椭圆内部红色像素个数与轮廓拟合的椭圆面积比例小于90％的红色轮廓。图3和图4展示了通过椭圆面积来提取新的图像剔除非实心图案的轮廓的剩余部分，即四个实心图案的轮廓。求得椭圆区域中心处的像素坐标，即四个实心图案的中心点的像素坐标，即图2中的C1、C2、C3和C4。

S5：球机的外参标定：以料斗顶部的四个角点为基准构建第二世界坐标系，获取第二世界坐标系到摄像机坐标系的外参矩阵；

具体步骤是：以料斗顶部的四个角点构成的正方形所在平面某一边长方向为第二世界坐标系的X轴，X轴与门机大车的运动方向平行，正方形所在平面与X轴垂直的边长方向为Y轴方向，竖直向上方向为Z轴方向，料斗顶部一个角点在地面上的投影为原点，构建第二世界坐标系；令料斗顶部的四个角点构成的正方形的边长为ParW，料斗顶部到地面的高度为ParH，该正方形四个角点在第二世界坐标系中的坐标分别为(0，0，ParH)、(ParW，0，ParH)、(ParW，ParW，ParH)和(0，ParW，ParH)；料斗各角点位置的像素坐标已经在步骤S4中获取，根据各角点在第二世界坐标系中的坐标以及像素坐标系下的像素坐标，使用OpenCV软件库提供的函数SolvePnP获取第二世界坐标系到摄像机坐标系的外参矩阵，实现球机的外参标定。第二世界坐标系的各坐标轴可以与第一世界坐标系的各坐标轴对应平行设置。

S6：生成警戒区域：将料斗顶部的四个角点投影到地面，得到四个投影点以及四个投影点在第二世界坐标系下的坐标，将四个投影点均向外偏移一定距离，将偏移后的区域的顶点在第二世界坐标系下的坐标转换到像素坐标系中，获取这些偏移后的区域的顶点对应的像素坐标系下的坐标，该四个偏移后的区域的顶点顺次连接形成的区域即为警戒区域；

具体过程为：令料斗顶部四个角点C1、C2、C3和C4在第二世界坐标系下的坐标为W₁＝(X₁,Y₁,Z₁)，W₂＝(X₂,Y₂,Z₂)，W₃＝(X₃,Y₃,Z₃)，W₄＝(X₄,Y₄,Z₄)，简化为W_i＝(X_i,Y_i,Z_i)，其中i＝1、2、3或4；这四个角点在地面的投影点的坐标为(X_i,Y_i,0)，这四个投影点构成一个正方形，正方形中心的坐标为W₀＝[(X₁+X₂+X₃+X₄)/4,(Y₁+Y₂+Y₃+Y₄)/4,0]；分别将四个投影点同时向外扩展ParExt，令这四个投影点向外扩展后位置在第二世界坐标系中的坐标为P₁、P₂、P₃和P₄，简化为P_i，其中i＝1、2、3或4，

将获取的P_i通过球机的内参和外参对应转换到像素坐标系中获得对应的像素坐标，对应的像素坐标合围而成的区域即为警戒区域。

S7：配置区域入侵功能：将步骤S6获得的警戒区域作为球机的区域入侵防护功能对应的防护区域，当人员或者车辆进入警戒区域时，球机生成警戒区域入侵事件并发出报警信号，警戒区域入侵事件不会使门机的抓斗打开；

S8：球机进行自动盯瞄：使料斗位于球机画面的中央位置，料斗的像素宽度占画面像素宽度的30％—50％；区域防护过程中，球机的焦距保持不变。

需要说明的是，当球机在第一次标定时，手动调节料斗位于球机画面的中央位置，对应获取手动调节在垂直方向和水平方向的调整角度为Tilt₀和Pan₀，球机安装时的零点位置可能不完全与第一世界坐标系的X轴平行，球机的旋转中心与成像中心可能存在偏差，偏差记作ΔTilt＝Tilt₀-Tilt，ΔPan＝Pan₀-Pan，此处的Tilt和Pan为第一次标定时球机在垂直方向的旋转角度和球机在水平方向的旋转角度，计算并保存该偏差值。当球机在后续进行自动盯瞄使料斗位于画面中央位置时，实际的调整角度根据步骤S2计算实时的Tilt和Pan后，需要进一步加上偏差ΔTilt和ΔPan得到真实的实时角度偏移值。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于球机的门机区域防护方法，其特征在于：包括如下步骤：

S1：在门机上布置具有区域入侵防护功能的球形摄像机，即球机，球机可获取料斗处的图像；

S2：进行球机的内参标定，通过张正友标定法获取相机的内参；并进一步获取球机的初始水平角度值和垂直角度值；建立基于门机大车的第一世界坐标系，获取球机和料斗在第一世界坐标系中的位置，并使料斗位于球机画面的中心位置；

S3：在料斗的顶部边缘的四个角点处对应设置亮斑标识，采用与背景色反差较大的油漆绘制实心图案；

S4：提取料斗顶部四个角点区域的像素坐标：令实心图案的中心点为料斗顶部的角点位置，获取每个像素在HSV空间的值，提取其中的对应油漆颜色的像素点，由这些像素点构成一幅新的图像，剔除非实心图案的轮廓，并在该新的图像中获取四个实心图案的中心点的像素坐标；

S5：球机的外参标定：以料斗顶部的四个角点为基准构建第二世界坐标系，获取第二世界坐标系到摄像机坐标系的外参矩阵；

S6：生成警戒区域：将料斗顶部的四个角点投影到地面，得到四个投影点以及四个投影点在第二世界坐标系下的坐标，将四个投影点均向外偏移一定距离，将偏移后的区域的顶点在第二世界坐标系下的坐标转换到像素坐标系中，获取这些偏移后的区域的顶点对应的像素坐标系下的坐标，该四个偏移后的区域的顶点顺次连接形成的区域即为警戒区域；

S7：配置区域入侵功能：将步骤S6获得的警戒区域作为球机的区域入侵防护功能对应的防护区域，当人员或者车辆进入警戒区域时，球机生成警戒区域入侵事件并发出报警信号，警戒区域入侵事件不会使门机的抓斗打开；

S8：球机进行自动盯瞄：使料斗位于球机画面的中央位置，料斗的像素宽度占画面像素宽度的30％—50％；区域防护过程中，球机的焦距保持不变。

2.根据权利要求1所述的一种基于球机的门机区域防护方法，其特征在于：所述建立基于门机大车的第一世界坐标系，获取球机和料斗在第一世界坐标系中的位置，并使料斗位于球机画面的中心位置：是令门机大车的运动方向为X轴，水平面上与X轴垂直的方向为Y轴，垂直与地面向上的方向为Z轴，建立第一世界坐标系；令球机的旋转中心P_C在第一世界坐标系下的坐标为(X_C,Y_C,Z_C)，令料斗P_H在第一世界坐标系下的坐标为(X_H,Y_H,Z_H)，由球机的旋转中心到料斗的有向向量为

料斗位于球机画面的中心处时，球机的垂直方向的旋转角度为Tilt，球机的水平方向的旋转角度为Pan：

3.根据权利要求2所述的一种基于球机的门机区域防护方法，其特征在于：所述步骤S3中，油漆绘制的实心图案为矩形、圆形或者正多边形。

4.根据权利要求3所述的一种基于球机的门机区域防护方法，其特征在于：所述实心图案的直径或者外接圆直径不小于0.3米。

5.根据权利要求3所述的一种基于球机的门机区域防护方法，其特征在于：所述获取每个像素在HSV空间的值，提取其中的对应油漆颜色的像素点，由这些像素点构成一幅新的图像，是将球机画面像素坐标系的RGB的空间转换为HSV空间，转换公式为：R'＝R/255，G'＝G/255，B'＝B/255，C_max＝max(R',G',B')，C_min＝min(R',G',B')，ΔC＝C_max-C_min；

将H归一化到0—180，S归一化到0—255，V归一化到0—255，即球机画面各像素H的取值为[0—180]、S的取值为[0—255]，V的取值为[0—255]，识别与油漆颜色相同的像素，舍弃其余的像素，根据识别后的各像素点构建一副新的图像。

6.根据权利要求4所述的一种基于球机的门机区域防护方法，其特征在于：所述以料斗顶部的四个角点为基准构建第二世界坐标系，获取第二世界坐标系到摄像机坐标系的外参矩阵，是以料斗顶部的四个角点构成的正方形所在平面某一边长方向为第二世界坐标系的X轴，X轴与门机大车的运动方向平行，正方形所在平面与X轴垂直的边长方向为Y轴方向，竖直向上方向为Z轴方向，料斗顶部一个角点在地面上的投影为原点，构建第二世界坐标系；令料斗顶部的四个角点构成的正方形的边长为ParW，料斗顶部到地面的高度为ParH，该正方形四个角点在第二世界坐标系中的坐标分别为(0，0，ParH)、(ParW，0，ParH)、(ParW，ParW，ParH)和(0，ParW，ParH)；料斗各角点位置的像素坐标已经在步骤S4中获取，根据各角点在第二世界坐标系中的坐标以及像素坐标系下的像素坐标，使用OpenCV软件库提供的函数SolvePnP获取第二世界坐标系到摄像机坐标系的外参矩阵，实现球机的外参标定。

7.根据权利要求5所述的一种基于球机的门机区域防护方法，其特征在于：所述步骤S6中，生成警戒区域是将料斗顶部四个角点在地面进行投影，令料斗顶部四个角点在第二世界坐标系下的坐标为W₁＝(X₁,Y₁,Z₁)，W₂＝(X₂,Y₂,Z₂)，W₃＝(X₃,Y₃,Z₃)，W₄＝(X₄,Y₄,Z₄)，简化为W_i＝(X_i,Y_i,Z_i)，其中i＝1、2、3或4；这四个角点在地面的投影点的坐标为(X_i,Y_i,0)，这四个投影点构成一个正方形，正方形中心的坐标为W₀＝[(X₁+X₂+X₃+X₄)/4,(Y₁+Y₂+Y₃+Y₄)/4,0]；分别将四个投影点同时向外扩展ParExt，令这四个投影点向外扩展后位置在第二世界坐标系中的坐标为P₁、P₂、P₃和P₄，简化为P_i，其中i＝1、2、3或4，

将获取的P_i通过球机的内参和外参对应转换到像素坐标系中获得对应的像素坐标，对应的像素坐标合围而成的区域即为警戒区域。

Images