CN111862041A - 一种基于模板匹配的井底井筒尾绳断裂检测方法 - Google Patents

Abstract

本发明提供一种基于模板匹配的井底井筒尾绳断裂检测方法，解决了井底井筒尾绳断裂的检测问题，基于单目视觉，从摄像头解码视频流数据，逐帧读取视频图像，初始状态时从第一帧图像中选取尾绳矩形区域作为尾绳模板，之后的每帧图像使用模板匹配算法在图像中搜索与尾绳模板最相似的图像区域，判断匹配得到的最相似区域相似性阈值是否大于D，大于D认为尾绳无断裂，否则触发尾绳断裂报警。

Description

一种基于模板匹配的井底井筒尾绳断裂检测方法

技术领域

本发明涉及一种安全监测方法，尤其是涉及一种基于模板匹配的井底井筒尾绳断裂检测方法。

背景技术

煤矿井底井筒尾绳是井底提升系统的重要组成部分，尾绳运行时发生偏摆严重、井筒坠物等可导致尾绳磨损、断丝、断股、扭结，造成较大的安全隐患。目前，煤矿通过安装监控摄像头进行实时人工监控尾绳状态，效率较低。

发明内容

本发明提供了一种基于模板匹配的井底井筒尾绳断裂检测方法，解决了井底井筒尾绳断裂的检测问题，其技术方案如下所述：

一种基于模板匹配的井底井筒尾绳断裂检测方法，包括以下步骤：

S1：基于单目视觉，从摄像头解码视频流数据，逐帧读取尾绳的视频图像；

S2：初始状态是从第一帧图像中选取尾绳矩形区域作为尾绳模板；

S3：后面的每帧图像使用模板匹配算法，在图像中搜索与尾绳模板最相似的图像区域，从而限制图像搜索区域；

S4：根据模板匹配算法，判断匹配得到的最相似区域相似性阈值是否大于相似性阈值D；

S4：大于D认为尾绳无断裂，否则触发尾绳断裂报警。

进一步的，步骤S2中，选择可视范围内偏底部的尾绳区域作为尾绳模板，尾绳区域T的区域高度大于30像素，区域类型为矩形区域，

尾绳区域的数学表示为：

T＝[x1,y2,x2,y2]

其四个值依次表示为区域的左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标。

进一步的，步骤S3中，所述图像搜索区域为：

I＝[max(x1-d1,0),y1,min(0,x2+d2),y2]

其中，x1,x2,y1,y2为尾绳区域中的左上角和右下角的横纵坐标，d1和d2均为尾绳的水平像素坐标偏移量，根据尾绳的摆动区域确定。

进一步的，步骤S4中，所述模板匹配算法采用差值平方和匹配、标准化差值平方和匹配、相关匹配、标准化相关匹配、去均值相关匹配、去均值标准化相关匹配。

进一步的，步骤S3中，模板匹配算法采用CCOEFF_NORMED方法：

其中各参数为：x和y为图像搜索区域的横纵坐标，x'和y'为尾绳区域的横纵坐标，I为图像搜索区域，T为尾绳区域，I'为I减去尾绳区域像素灰度值均值后的图像，T'为T减去自身像素灰度值均值后的图像，w和h分别为模板图像的宽和高。T(x′，y′)为模板图像中位置(x′，y′)处的像素灰度值，T′(x′，y′)为模板图像中位置(x′，y′)处的像素灰度值减去模板所有像素灰度值的平均值，I(x+x′，y+y′)为图像搜索区域位置(x+x′，y+y′)处的像素灰度值，I′(x+x′，y+y′)为图像搜索区域位置(x+x′，y+y′)处的像素灰度值减去图像大小与尾绳区域相等且左上角顶点为(x,y)的图像灰度值的平均值，R(x，y)为图像搜索区域位置(x,y)处与尾绳区域的匹配得分。

进一步的，步骤S4中，所述相似性阈值D的确定包括如下步骤：

1)从监控摄像头选择一天间隔录制N段视频，每段视频长度M分钟，如N＝6，M＝1为间隔4小时录制一段1分钟视频；

2)对录制的视频，每隔1秒钟采样一帧图像，所有图像应为尾绳未断裂的图像；

3)在[0,1]范围内按照D＝D+0.05递增的方式调整阈值D，对所有图像使用模板匹配，并根据阈值D判断是否断裂，由于只有未断裂图像，D增大的同时准确率将不断减少，选取使得准确率刚好等于或最接近P时的阈值D作为最终的阈值；

4)当算法运行一定时间后，如成功的检测到尾绳断裂情况，则相应调整阈值D，使得成功召回所有尾绳断裂的情况下，准确率最高。

本发明通过计算机视觉技术实时尾绳是否发生断裂，使用模板匹配技术无需进行模型训练，简单易实施，准确率高，可有效减少人工监控成本。

附图说明

图1是所述基于模板匹配的井底井筒尾绳断裂检测方法的流程示意图。

具体实施方式

下面结合附图给出本发明实施例，以详细说明本发明的技术实施方案。

如图1所示，本发明提供了一种基于模板匹配的井底井筒尾绳断裂检测方法，基于单目视觉，从摄像头解码视频流数据，逐帧读取视频图像，初始状态是从第一帧图像中选取尾绳矩形区域作为尾绳模板，之后的每帧图像使用模板匹配算法在图像中搜索与尾绳模板最相似的图像区域，判断匹配得到的最相似区域相似性阈值是否大于D，D是相似性阈值，即模板图像与搜索区域内相同大小的匹配区域图像的相似性阈值，相似性计算公式见下文。大于D认为尾绳无断裂，否则触发尾绳断裂报警。

具体来说，本发明包括以下几个步骤：

S1：尾绳模板的选取；

根据实际经验，尾绳模板选择应尽量选择可视范围内偏底部的尾绳区域作为尾绳模板，区域高度大于30像素为宜，选取的区域类型为矩形区域，其数学表示为：

T＝[x1,y2,x2,y2]

其4个值依次表示为区域的左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标。该区域通过前端画矩形框获得，也就是说，事先需要从已取得的视频素材中截取模板区域图像，存入数据库中，该过程为手动，只需做一次即可。然后从该区域中截取对应的图像存入数据库中，在后续模板匹配中使用。

S2：搜索区域的选取；

由于监控区域内可能存在多条尾绳，需要为每条尾绳选取模板并限制图像搜索区域，防止错误匹配。一般来说，每个尾绳模板需配置一个搜索区域以减少干扰，根据现场情况，尾绳只会左右摆动，且不同尾绳相隔一定的距离不会遮挡，因此搜索区域只需选择覆盖该尾绳的摆动区域即可。

由于尾绳一般竖直排列，可能存在左右偏摆情况，而上下运动则无视觉差异，因此可限制其搜索区域为：

T＝[max(x1-d1,0),y1,min(0,x2+d2),y2]

其中，x1,x2,y1,y2为T中的左上角和右下角的横纵坐标，d1和d2均为尾绳的水平像素坐标偏移量，根据尾绳的摆动区域确定。

S3：模板匹配；

模板匹配(Template Matching)是一种最原始、最基本的模式识别方法，它可以根据给定的模板图像，在目标图像中搜索相似的图像区域，是图像处理中最基本、最常用的匹配方法。其优点是实现简单、运行快，在固定场景中表现较好。缺点是当待匹配物体发生较大旋转时算法失效。

本例中，给定尾绳模板，模板匹配算法会在搜索区域内逐行逐列滑动搜索(先将模板固定在搜索区域左上角位置，模板所覆盖的图像区域为待匹配区域，然后按横纵坐标将左上角向左和向下滑动，得到新的左上角坐标位置和待匹配区域图像)，每次都选择相同大小的区域图像与模板计算相似度。

在尾绳断裂检测中，由于尾绳不会发生较大旋转，因此适应性较好。模板匹配的核心是计算两张图像的相似性，两张图像即模板图像和在搜索区域内进行一次搜索得到的待匹配图像(按照模板图像大小进行坐标滑动得到的一张待匹配图像)，因此使用相似性度量方法来区分不同匹配算法。常用的模板匹配算法有差值平方和匹配(SQDIFF)、标准化差值平方和匹配(SQDIFF_NORMED)、相关匹配(CCORR)、标准化相关匹配(CCORR_NORMED)、去均值相关匹配(CCOEFF)、去均值标准化相关匹配(CCOEFF_NORMED)。由于CCOEFF_NORMED方法剔除了光照的影响，因此相对更加稳健，本发明采用CCOEFF_NORMED模板匹配方法。其相似性计算公式为：

其中各参数为：x和y为图像搜索区域的横纵坐标，x'和y'为尾绳区域的横纵坐标，I为图像搜索区域，T为尾绳区域，I'为I减去尾绳区域像素灰度值均值后的图像，T'为T减去自身像素灰度值均值后的图像，w和h分别为模板图像的宽和高。T(x′，y′)为模板图像中位置(x′，y′)处的像素灰度值，T′(x′，y′)为模板图像中位置(x′，y′)处的像素灰度值减去模板所有像素灰度值的平均值，I(x+x′，y+y′)为图像搜索区域位置(x+x′，y+y′)处的像素灰度值，I′(x+x′，y+y′)为图像搜索区域位置(x+x′，y+y′)处的像素灰度值减去图像大小与尾绳区域相等且左上角顶点为(x,y)的图像灰度值的平均值，R(x，y)为图像搜索区域位置(x,y)处与尾绳区域的匹配得分。

在应用中，搜索图像对应为原图像I区域的子区域图像，该搜索图像即进行一次坐标滑动后，得到与模板图像相同大小的匹配区域图像。

S4：相似性阈值D的确定。

相似性阈值D的确定需要根据实验及实际应用需求确定，该相似度是以两张图像的灰度值依据。由于尾绳发生断裂的概率很小，因此需要算法有较高的召回率，阈值设置不宜过大，同时也不应过小，需满足最低准确率P的要求。因此可通过如下策略确定阈值D。

1)从监控摄像头选择一天间隔录制N段视频，每段视频长度M分钟，如N＝6，M＝1为间隔4小时录制一段1分钟视频；2)对录制的视频，每隔1秒钟采样一帧图像，所有图像应为尾绳未断裂的图像；3)在[0,1]范围内按照D＝D+0.05递增的方式调整阈值D，对所有图像使用模板匹配，并根据阈值D判断是否断裂，由于只有未断裂图像，D增大的同时准确率将不断减少，选取使得准确率刚好等于或最接近P时的阈值D作为最终的阈值。当算法运行一定时间后，如成功的检测到尾绳断裂情况，则相应调整阈值D，使得成功召回所有尾绳断裂的情况下，准确率最高。

本发明通过计算机视觉技术实时尾绳是否发生断裂，使用模板匹配技术无需进行模型训练，简单易实施，准确率高，可有效减少人工监控成本。

Claims (6)

1.一种基于模板匹配的井底井筒尾绳断裂检测方法，包括以下步骤：

S1：基于单目视觉，从摄像头解码视频流数据，逐帧读取尾绳的视频图像；

S2：初始状态是从第一帧图像中选取尾绳矩形区域作为尾绳模板；

S3：后面的每帧图像使用模板匹配算法，在图像中搜索与尾绳模板最相似的图像区域，从而限制图像搜索区域；

S4：根据模板匹配算法，判断匹配得到的最相似区域相似性阈值是否大于相似性阈值D；

S4：大于D认为尾绳无断裂，否则触发尾绳断裂报警。

2.根据权利要求1所述的基于模板匹配的井底井筒尾绳断裂检测方法，其特征在于：步骤S2中，选择可视范围内偏底部的尾绳区域作为尾绳模板，尾绳区域T的区域高度大于30像素，区域类型为矩形区域，

尾绳区域的数学表示为：

T＝[x1,y2,x2,y2]

其四个值依次表示为区域的左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标。

3.根据权利要求1所述的基于模板匹配的井底井筒尾绳断裂检测方法，其特征在于：步骤S3中，所述图像搜索区域为：

I＝[max(x1-d1,0),y1,min(0,x2+d2),y2]

其中，x1,x2,y1,y2为尾绳区域中的左上角和右下角的横纵坐标，d1和d2均为尾绳的水平像素坐标偏移量，根据尾绳的摆动区域确定。

4.根据权利要求1所述的基于模板匹配的井底井筒尾绳断裂检测方法，其特征在于：步骤S4中，所述模板匹配算法采用差值平方和匹配、标准化差值平方和匹配、相关匹配、标准化相关匹配、去均值相关匹配、去均值标准化相关匹配。

5.根据权利要求1所述的基于模板匹配的井底井筒尾绳断裂检测方法，其特征在于：步骤S3中，模板匹配算法采用CCOEFF_NORMED方法：

其中各参数为：x和y为图像搜索区域的横纵坐标，x'和y'为尾绳区域的横纵坐标，I为图像搜索区域，T为尾绳区域，I'为I减去尾绳区域像素灰度值均值后的图像，T'为T减去自身像素灰度值均值后的图像，w和h分别为模板图像的宽和高；T(x′，y′)为模板图像中位置(x′，y′)处的像素灰度值，T′(x′，y′)为模板图像中位置(x′，y′)处的像素灰度值减去模板所有像素灰度值的平均值，I(x+x′，y+y′)为图像搜索区域位置(x+x′，y+y′)处的像素灰度值，I′(x+x′，y+y′)为图像搜索区域位置(x+x′，y+y′)处的像素灰度值减去图像大小与尾绳区域相等且左上角顶点为(x,y)的图像灰度值的平均值，R(x，y)为图像搜索区域位置(x,y)处与尾绳区域的匹配得分。

6.根据权利要求1所述的基于模板匹配的井底井筒尾绳断裂检测方法，其特征在于：步骤S4中，所述相似性阈值D的确定包括如下步骤：

1)从监控摄像头选择一天间隔录制N段视频，每段视频长度M分钟，如N＝6，M＝1为间隔4小时录制一段1分钟视频；

2)对录制的视频，每隔1秒钟采样一帧图像，所有图像应为尾绳未断裂的图像；

3)在[0,1]范围内按照D＝D+0.05递增的方式调整阈值D，对所有图像使用模板匹配，并根据阈值D判断是否断裂，由于只有未断裂图像，D增大的同时准确率将不断减少，选取使得准确率刚好等于或最接近P时的阈值D作为最终的阈值；

4)当算法运行一定时间后，如成功的检测到尾绳断裂情况，则相应调整阈值D，使得成功召回所有尾绳断裂的情况下，准确率最高。

Images