CN117455908B - 一种皮带机跑偏视觉检测方法及系统 - Google Patents

Abstract

本发明涉及边缘检测技术领域，具体涉及一种皮带机跑偏视觉检测方法及系统，本发明首先获取盾构机内部的皮带机监测灰度图像，通过分析每个像素点邻域内的灰度值，得到皮带区域特征系数；并根据皮带区域特征系数的分布趋势，得到梯度抑制特征值；通过梯度抑制特征值对边缘检测的非极大值抑制过程进行改进，得到更加准确的皮带机监测边缘图像，使得在得到的皮带机监测边缘图像中检测到的直线准确度更高，也即使得根据皮带机监测边缘图像中的像素点分布的直线拟合情况进行盾构机内部的皮带机跑偏视觉检测的效果更好。

Description

一种皮带机跑偏视觉检测方法及系统

技术领域

本发明涉及边缘检测技术领域，具体涉及一种皮带机跑偏视觉检测方法及系统。

背景技术

盾构机的皮带机是用来运输挖掘过程中产生的岩土或其他挖掘物料的设备，是隧道挖掘过程中不可缺少的关键设备，若存在皮带机跑偏的情况，则可能影响挖掘物料运输效率和安全性，甚至可能出现机械设备的损坏导致引发重大安全问题的情况，因此对盾构机内部的皮带机进行跑偏检测至关重要。

现有技术通常根据皮带机的皮带形状以及呈直线运动的特性，根据皮带机监测图像通过边缘检测结合霍夫直线检测方法检测到的直线，进行皮带机跑偏检测。但是在盾构机内部条件下，皮带机周围的环境结构较为复杂，从而导致现有技术在进行霍夫直线检测时受到周围复杂结构的影响较大，使得检测得到的直线准确度较低，从而导致对皮带机的跑偏检测出现误检或漏检的情况，也即现有技术根据皮带机监测图像通过边缘检测结合霍夫直线检测方法进行皮带机跑偏检测的效果较差。

发明内容

为了解决现有技术根据皮带机监测图像通过边缘检测结合霍夫直线检测方法进行皮带机跑偏检测的效果较差的技术问题，本发明的目的在于提供一种皮带机跑偏视觉检测方法及系统，所采用的技术方案具体如下：

本发明提出了一种皮带机跑偏视觉检测方法，所述方法包括：

获取盾构机内部的皮带机监测灰度图像；

在所述皮带机监测灰度图像中，根据每个像素点邻域内的灰度值分布情况，得到每个像素点的皮带区域特征系数；根据皮带机监测灰度图像中各个像素点的皮带区域特征系数分布趋势，得到每个像素点的梯度抑制特征值；

根据每个像素点的局部梯度分布情况，结合梯度抑制特征值进行边缘检测，得到皮带机监测边缘图像；根据所述皮带机监测边缘图像中的像素点分布的直线拟合情况，进行盾构机内部的皮带机跑偏视觉检测。

进一步地，所述皮带区域特征系数的获取方法包括：

对所述皮带机监测灰度图像进行OTSU阈值分割，得到皮带机监测二值图像；在每个像素点预设第一邻域窗口内，根据背景像素点的数量的正相关映射值，得到每个像素点的第一背景参考系数，所述背景像素点为皮带机监测二值图像中的背景区域的像素点；

根据每个像素点预设邻域窗口内的背景连通域的面积，得到每个像素点的第二背景参考系数；

根据所述第一背景参考系数和所述第二背景参考系数，得到每个像素点的皮带区域特征系数，所述第一背景参考系数和所述第二背景参考系数均与所述皮带区域特征系数呈正相关关系。

进一步地，所述梯度抑制特征值的获取方法包括：

将皮带区域特征系数等于预设皮带边缘阈值的像素点，作为疑似皮带边缘像素点；

获取皮带机监测灰度图像中每行的像素点以从左到右的顺序排列得到的行像素点序列；在每个行像素点序列中，以每个像素点的索引值为横坐标，以每个像素点的皮带区域特征系数为纵坐标，得到每个像素点的参考坐标点；根据每个行像素点序列中所有像素点的参考坐标点进行曲线拟合，得到每个行像素点序列的皮带区域特征曲线；将皮带区域特征曲线上每个像素点对应的切线斜率，作为每个像素点的参考斜率；

对于任意一个疑似皮带边缘像素点：

将疑似皮带边缘像素点所处的行像素点序列中，将疑似皮带边缘像素点之前相距最近且皮带区域特征系数为最大值的像素点，作为疑似皮带边缘像素点的左相邻皮带像素点；将疑似皮带边缘像素点之后相距最近且皮带区域特征系数为最大值的像素点，作为疑似皮带边缘像素点的右相邻皮带像素点；在疑似皮带边缘像素点对应的皮带区域特征曲线上，当疑似皮带边缘像素点与对应的左相邻皮带像素点之间的所有像素点的参考斜率均小于等于0，或疑似皮带边缘像素点与对应的右相邻皮带像素点之间的所有像素点的参考斜率均大于等于0时，将疑似皮带边缘像素点作为优化皮带边缘像素点，否则不作为优化皮带边缘像素点；

将皮带机监测灰度图像中所有优化皮带边缘像素点的梯度抑制特征值设置为预设第一数值；将优化皮带边缘像素点之外的其他像素点的梯度抑制特征值设置为预设第二数值；所述预设第一数值大于所述预设第二数值，且所述预设第一数值和所述预设第二数值均大于等于0。

进一步地，所述皮带机监测边缘图像的获取方法包括：

在对所述皮带机监测灰度图像进行canny边缘检测时的非极大值抑制过程中，通过线性差值方法得到每个像素点的预设第二邻域窗口内对应的第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值；所述第一亚像素和所述第二亚像素为非极大值抑制过程中与对应的像素点进行梯度幅值对比的像素；

将每个像素点的预设第二邻域窗口内的像素点，作为每个像素点的邻域像素点；将所述第一亚像素与所述第二亚像素之间的连线对应的方向，作为每个像素点的参考梯度方向；将过每个像素点且与对应的参考梯度方向垂直的直线，作为每个像素点的参考直线；在距离参考直线最近的邻域像素点中，将距离第一亚像素最近的邻域像素点作为第一亚像素对应的参考像素点，将距离第二亚像素最近的邻域像素点作为第二亚像素对应的参考像素点；

根据每个像素点的梯度抑制特征值，结合每个像素点与每个参考像素点之间的灰度差异，对第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值进行改进，得到每个像素点对应的第一亚像素的优化梯度幅值和第二亚像素的优化梯度幅值；将梯度幅值大于对应的第一亚像素优化梯度幅值且大于对应的第二亚像素优化梯度幅值的像素点，作为保留边缘像素点；

根据保留边缘像素点继续进行canny边缘检测，得到皮带机监测边缘图像。

进一步地，所述根据所述皮带机监测边缘图像中的像素点分布的直线拟合情况，进行盾构机内部的皮带机跑偏视觉检测的方法包括：

对所述皮带机监测边缘图像进行霍夫直线检测，得到皮带机监测边缘图像的参考检测直线；在皮带机监测二值图像中，当所有参考检测直线的预设邻域范围内的前景像素点的总数量大于预设跑偏阈值时，进行皮带机跑偏预警，所述前景像素点为皮带机监测二值图像中的前景区域的像素点。

进一步地，所述根据每个像素点的梯度抑制特征值，结合每个像素点与每个参考像素点之间的灰度差异，对第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值进行改进，得到每个像素点对应的第一亚像素的优化梯度幅值和第二亚像素的优化梯度幅值的方法包括：

依次将皮带机监测灰度图像中的每个像素点，作为目标像素点；依次将目标像素点对应的第一亚像素和第二亚像素作为目标亚像素；将目标像素点的梯度幅值与目标亚像素对应的参考像素点的灰度值之间的差异，作为目标亚像素的参考灰度差异；将所述参考灰度差异与目标像素点的梯度抑制特征值之间的乘积，作为梯度改进影响值；

将目标亚像素的初始梯度幅值与梯度改进影响值之间的和值，作为目标亚像素的优化梯度幅值。

进一步地，所述第二背景参考系数的获取方法包括：

将每个像素点的预设第一邻域窗口内的背景区域面积，作为每个像素点的邻域背景面积；将每个像素点的预设第一邻域窗口内背景像素点组成的最大连通域的面积与所述邻域背景面积的比值，作为每个像素点的第二背景参考系数。

进一步地，所述根据所述第一背景参考系数和所述第二背景参考系数，得到每个像素点的皮带区域特征系数的获取方法包括：

将所述第一背景参考系数与所述第二背景参考系数的乘积，作为每个像素点的皮带区域特征系数。

进一步地，所述预设皮带边缘阈值设置为0.75。

本发明还提出了一种皮带机跑偏视觉检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现任意一项一种皮带机跑偏视觉检测方法的步骤。

本发明具有如下有益效果：

对于盾构机内部的皮带机而言，通过计算机视觉检测皮带机是否出现跑偏，通常需要根据皮带机的边缘线进行跑偏检测；而由于皮带机周围的环境结构较为复杂，导致通过现有技术无法检测到准确的边缘线，因此本发明的主要内容为提高获取皮带机边缘线的准确度。而皮带机与周围复杂环境的差别在于，皮带机监测灰度图像中皮带机表面对应的灰度值较为接近且偏低，周围复杂环境中虽然存在与皮带机表面灰度较为接近的情况，但与皮带机表面灰度接近的像素点分布相对较为散乱，无法形成较大的连通域，因此可根据该特征筛选出皮带机对应区域的疑似边缘，因此本发明根据该特点首先根据每个像素点邻域内的灰度值分布情况，得到每个像素点的皮带区域特征系数，通过皮带区域特征系数初步分离皮带机区域的像素点和复杂环境区域中的像素点，进一步地根据位于皮带机区域边缘的皮带区域特征系数，通过分析对应的变化趋势，得到每个像素点的梯度抑制特征值，即表征像素点为疑似边缘的程度。

进一步地考虑到边缘检测算法中的非极大值抑制过程通常是利用方向梯度的正负和大小判断梯度方向和所属区域，进而根据梯度方向以及相邻的像素梯度线性差值得到正负梯度方向的两个参与比较的亚像素的梯度幅值，从而利用其邻接的像素点梯度情况进行非边缘像素点的抑制，但是本发明对应的盾构机内部的复杂环境中，边缘周围的细节较多且复杂，仅仅利用像素点的邻接区域很可能会出现边缘误判的情况，从而导致无法对皮带机边缘进行一个很好的边缘提取处理，因此通过结合梯度抑制特征值对边缘检测过程进行优化，对原有的边缘抑制进行影响，从而使得可能为边缘的像素点特征更加明显，提高对皮带机边缘的提取效果，使得在得到的皮带机监测边缘图像中检测到的直线准确度更高，使得根据皮带机监测边缘图像中的像素点分布的直线拟合情况进行盾构机内部的皮带机跑偏视觉检测的效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种皮带机跑偏视觉检测方法流程图；

图2为本发明一个实施例所提供的一种皮带机监测灰度图像示意图；

图3为本发明一个实施例所提供的一种皮带机监测边缘图像示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种皮带机跑偏视觉检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种皮带机跑偏视觉检测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种皮带机跑偏视觉检测方法流程图，该方法包括：

步骤S1：获取盾构机内部的皮带机监测灰度图像。

本发明实施例旨在提供一种皮带机跑偏视觉检测方法，用于根据盾构机内部的皮带机监测灰度图像通过图像处理的方法，对边缘检测过程进行优化，得到更加准确的皮带机监测边缘图像，使得根据皮带机监测边缘图像进行皮带机跑偏视觉检测的效果更好。

因此本发明实施例首先获取盾构机内部的皮带机监测灰度图像。在本发明实施例中，在盾构机内部通过图像采集设备采集皮带机监测初始图像，需要保证拍摄角度中能够完整的体现皮带区域；需要说明的是，考虑到图像采集设备的视角范围有限，且皮带机通常在盾构机内部的后方，因此通常在盾构机内部的后方安装两个图像采集设备，获取同方向双视角的图像，本发明实施例仅对其中一个视角进行分析，此外为了使得拍摄得到的皮带区域更加清晰，并且考虑到为双视角，本发明实施例将图像采集设备的拍摄方向与盾构机施工的隧道延伸方向呈45度夹角，实施者可根据具体实施环境自行调整拍摄角度，在此不做进一步赘述。在本发明实施例中，图像采集设备采用CCD工业相机，实施者也可根据实际情况选用其他图像采集设备。

在得到皮带机监测初始图像后，为了增强图像的视觉效果，放大其固有特征，本发明实施例对皮带机监测初始图像进行灰度化后，通过直方图均衡化方法进行处理，得到边缘视觉效果增强后的皮带机监测灰度图像。需要说明的是，灰度化和直方图均衡化均为本领域技术人员所熟知的现有技术，在此不做进一步赘述。请参阅图2，其示出了本发明一个实施例提供的一种皮带机监测灰度图像示意图，图2为盾构机内部的后方右侧图像采集设备采集到的皮带机监测视角，所拍摄得到的图像为经过灰度化和直方图均衡化后的图像。

步骤S2：在皮带机监测灰度图像中，根据每个像素点邻域内的灰度值分布情况，得到每个像素点的皮带区域特征系数；根据皮带机监测灰度图像中各个像素点的皮带区域特征系数分布趋势，得到每个像素点的梯度抑制特征值。

对于盾构机内部的皮带机而言，通过计算机视觉检测皮带机是否出现跑偏，通常需要根据皮带机的边缘线进行跑偏检测；而由于皮带机周围的环境结构较为复杂，导致通过现有技术无法检测到准确的边缘线，因此本发明的主要内容为提高获取皮带机边缘线的准确度。而皮带机与周围复杂环境的差别在于，皮带机监测灰度图像中皮带机表面对应的灰度值较为接近且偏低，周围复杂环境中虽然存在与皮带机表面灰度较为接近的情况，但与皮带机表面灰度接近的像素点分布相对较为散乱，无法形成较大的连通域，因此可根据该特征筛选出皮带机对应区域的疑似边缘，因此首先根据该特点，在皮带机监测灰度图像中，根据每个像素点邻域内的灰度值分布情况，得到每个像素点的皮带区域特征系数，通过皮带区域特征系数初步对皮带机区域的像素点和复杂环境区域中的像素点进行分离。

优选地，皮带区域特征系数的获取方法包括：

对皮带机监测灰度图像进行OTSU阈值分割，得到皮带机监测二值图像。由于皮带机区域的灰度值较为接近，且相对于其他区域对应的灰度值较小，因此通过二值化图像能够更好地分离出皮带机区域。需要说明的是，二值化图像中，黑色区域对应的为背景区域，白色区域对应的为前景区域，也即对应本发明实施例后续过程中的背景区域和前景区域。需要说明的是，OTSU阈值分割为本领域技术人员所熟知的现有技术，在此不做进一步地限定和赘述。

在每个像素点预设第一邻域窗口内，根据背景像素点的数量的正相关映射值，得到每个像素点的第一背景参考系数，背景像素点为皮带机监测二值图像中的背景区域的像素点。在皮带机监测二值图像中，位于皮带机区域的像素点通常为背景像素点，且分布较为均匀，因此皮带机区域的像素点对应的预设第一邻域窗口内的背景像素点数量相对于区域的像素点更多，且非边缘区域通常全为背景像素点。此外，对于皮带机区域的边缘，其对应的预设第一邻域窗口内一半的区域为皮带机区域，另一半为非皮带机部分的复杂洞状区域中，因此皮带区域的边缘像素点对应的预设第一邻域窗口内的背景像素点数量占比至少高于一半；而其余非皮带机部分的复杂洞状区域中的背景像素点数量占比通常更小；也即能够说明预设第一邻域窗口内的背景像素点数量占比高于一半可能不一定是皮带区域边缘的像素点，但低于一半一定不是皮带区域边缘的像素点；因此可根据背景像素点数量得到的第一背景参考系数初步分离出皮带机区域的像素点和复杂环境区域中的像素点，也即对应的第一背景参考系数越大，越可能为皮带机区域的像素点。在本发明实施例中，预设第一邻域窗口设置为9×9的窗口，实施者可根据具体实施环境自行调整预设第一邻域窗口的大小，在此不做进一步赘述。

根据每个像素点预设邻域窗口内的背景连通域的面积，得到每个像素点的第二背景参考系数；优选地，第二背景参考系数的获取方法包括：

将每个像素点的预设第一邻域窗口内的背景区域面积，作为每个像素点的邻域背景面积；将每个像素点的预设第一邻域窗口内背景像素点组成的最大连通域的面积与邻域背景面积的比值，作为每个像素点的第二背景参考系数。在皮带机监测二值图像中，皮带机区域中非边缘的区域由于全为背景像素点，因此对应的背景像素点组成的最大连通域的面积与邻域背景面积通常相等。而位于皮带机区域边缘的像素点对应的背景像素点组成的最大连通域的面积，通常占预设第一邻域窗口内总面积的一半，也即对应的第二背景系数通常大于0.5。而处于复杂环境区域的像素点，由于处于复杂环境对应的复杂洞状区域中，对应的背景像素点组成的最大连通域通常占比较小，也即处于复杂环境区域的非皮带区域像素点的第二背景系数通常较小。因此第二背景系数越大，越可能为皮带机区域的像素点。

通过皮带区域特征系数表征处于皮带区域的可能性，因此进一步地根据第一背景参考系数和第二背景参考系数，得到每个像素点的皮带区域特征系数，第一背景参考系数和第二背景参考系数均与皮带区域特征系数呈正相关关系。

优选地，根据第一背景参考系数和第二背景参考系数，得到每个像素点的皮带区域特征系数的获取方法包括：

将第一背景参考系数与第二背景参考系数的乘积，作为每个像素点的皮带区域特征系数。需要说明的是，实施者也可通过其他方法获取皮带区域特征系数，例如相加等，在此不做进一步赘述。

在本发明实施例中，依次将皮带机监测灰度图像中的每个像素点作为第个像素点，则第/>个像素点的皮带区域特征系数的获取方法在公式上表现为：

其中，为第/>个像素点的皮带区域特征系数，/>为预设第一邻域窗口内像素点的数量，/>为第/>个像素点的预设第一邻域窗口内背景像素点的数量；/>为第/>个像素点的预设第一邻域窗口内背景像素点组成的最大连通域的面积，/>为第/>个像素点的邻域背景面积；/>为第/>个像素点的第二背景参考系数；/>为向下取整函数，/>为绝对值符号，为第/>个像素点的第一背景参考系数。

其中，以作为分母的目的是为了进一步地筛选出皮带机区域边缘像素点，向下取整的目的是窗口内的像素点数量可能为奇数，不方便参与计算，实施者也可自行舍弃。因为/>整体为向下取整，因此区域特征差异较大的像素点对应的第一背景参考系数之间的差异较大，处于皮带机区域且非边缘区域的像素点，对应的背景像素点的数量/>通常与像素点总数量相等，对应的第一背景参考系数通常为最大，也即本发明实施例中第一背景参考系数的取值通常为2；而处于皮带机区域的边缘区域的像素点，其对应的背景像素点通常具有一定的数量，并且总是大于窗口内像素点总数量的一半，因此对应的第一背景参考系数的取值通常为1；而处于复杂环境区域的像素点，对应的背景像素点数量通常会偏小，大部分像素点对应的窗口内背景像素点数量通常小于窗口内像素点数量的一半，也即对应的第一背景系数的取值通常为0。而对于第二背景参考系数/>而言，处于皮带机区域且非边缘区域的像素点由于全为背景像素点，因此对应的数值通常为1，也即处于皮带机区域且非边缘区域的像素点对应的皮带区域特征系数通常取最大值2。而处于皮带机区域的边缘区域的像素点，其对应背景像素点的最大连通域通常来自对应窗口中的皮带机区域，通常占窗口内总面积的一半以上，因此对应的第二背景参考系数的取值在0.5到1之间，也即对应的皮带区域特征系数取值在0.5到1之间。而复杂环境区域的像素点，由于处于复杂洞状区域中，对应的连通域面积较小，因此对应的第二背景参考系数的取值通常小于0.5或更小。因此可根据该数值特征清晰的分离出皮带机区域和复杂环境区域。考虑到后续需要对皮带机的边缘检测过程进行改进，因此需要获取需要分析改进的皮带区域的边缘像素点。根据上述皮带区域特征系数在不同区域的数值特征，本发明实施例根据皮带机监测灰度图像中各个像素点的皮带区域特征系数分布趋势，得到每个像素点的梯度抑制特征值。

优选地，梯度抑制特征值的获取方法包括：

将皮带区域特征系数等于预设皮带边缘阈值的像素点，作为疑似皮带边缘像素点。优选地，预设皮带边缘阈值设置为0.75。在本发明实施例中，通过上述分析得到的处于皮带机区域的边缘区域的像素点对应的皮带区域特征系数取值在0.5到1之间，实施者可根据具体实施环境自行设置预设皮带边缘阈值。

获取皮带机监测灰度图像中每行的像素点以从左到右的顺序排列得到的行像素点序列；在每个行像素点序列中，以每个像素点的索引值为横坐标，以每个像素点的皮带区域特征系数为纵坐标，得到每个像素点的参考坐标点；根据每个行像素点序列中所有像素点的参考坐标点进行曲线拟合，得到每个行像素点序列的皮带区域特征曲线；将皮带区域特征曲线上每个像素点对应的切线斜率，作为每个像素点的参考斜率。

由于在皮带机监测灰度图像中，皮带机区域的通常贯穿整张图像，因此将每行的像素点以从左到右的顺序排列后，通常同时存在环境复杂区域、皮带机的边缘区域、皮带机的非边缘区域。对于皮带机边缘区域而言，其对应的两侧为环境复杂区域和皮带机的非边缘区域。因此进一步地对于任意一个疑似皮带边缘像素点：

将疑似皮带边缘像素点所处的行像素点序列中，将疑似皮带边缘像素点之前相距最近且皮带区域特征系数为最大值的像素点，作为疑似皮带边缘像素点的左相邻皮带像素点；将疑似皮带边缘像素点之后相距最近且皮带区域特征系数为最大值的像素点，作为疑似皮带边缘像素点的右相邻皮带像素点。在对应的皮带区域特征曲线上，对应最大值的像素点通常为皮带机的非边缘区域的像素点，随着窗口向边缘区域滑动，对应的皮带区域特征系数会稳步下降，直至将要脱离皮带机的边缘区域，在窗口滑向环境复杂区域对应的像素点后，由于环境复杂区域对应的皮带区域特征系数数值取值是不确定的，因此随着窗口继续滑动，对应的皮带区域特征系数会出现不稳定上升或下降的特征。因此在疑似皮带边缘像素点对应的皮带区域特征曲线上，当疑似皮带边缘像素点与对应的左相邻皮带像素点之间的所有像素点的参考斜率均小于等于0，或疑似皮带边缘像素点与对应的右相邻皮带像素点之间的所有像素点的参考斜率均大于等于0时，将疑似皮带边缘像素点作为优化皮带边缘像素点，否则不作为优化皮带边缘像素点。皮带机的边缘区域通常位于皮带机的非边缘区域的左侧或右侧，因此当位于左侧时，随着窗口从边缘区域向非边缘区域滑动，对应的皮带区域特征系数数值会稳步上升，直至完全位于非缘边缘区上升停止；当位于右侧时，随着窗口从非边缘区域向边缘区域滑动，对应的皮带区域特征系数数值会稳步下降，直至完全趋近与环境复杂区域后出现不稳定上升或下降的情况，也即根据该原理得到了属于皮带机边缘的优化皮带边缘像素点。

将皮带机监测灰度图像中所有优化皮带边缘像素点的梯度抑制特征值设置为预设第一数值；将优化皮带边缘像素点之外的其他像素点的梯度抑制特征值设置为预设第二数值；预设第一数值大于预设第二数值，且预设第一数值和预设第二数值均大于等于0。在本发明实施例中，预设第一数值设置为1，预设第二数值设置为0，因为需要进一步地对优化皮带边缘像素点是否为真正的边缘进行进一步地判断，因此设置为正数以进行后续分析；其他像素点的预设第二数值设置为0，也即后续边缘检测过程不对其进行进一步地抑制；实施者可根据具体实施环境自行调整预设第一数值和预设第二数值的大小，在此不做进一步赘述。

步骤S3：根据每个像素点的局部梯度分布情况，结合梯度抑制特征值进行边缘检测，得到皮带机监测边缘图像；根据皮带机监测边缘图像中的像素点分布的直线拟合情况，进行盾构机内部的皮带机跑偏视觉检测。

进一步地根据上述得到的每个像素点的梯度抑制特征值对边缘检测过程进行优化，本发明实施例根据每个像素点的局部梯度分布情况，结合梯度抑制特征值进行边缘检测，得到皮带机监测边缘图像。

优选地，皮带机监测边缘图像的获取方法包括：

在对皮带机监测灰度图像进行canny边缘检测时的非极大值抑制过程中，通过线性差值方法得到每个像素点的预设第二邻域窗口内对应的第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值；第一亚像素和第二亚像素为非极大值抑制过程中与对应的像素点进行梯度幅值对比的像素。常规的非极大值抑制过程中通常选用的梯度方向为0度、45度、90度、135度，但是通常与真实梯度方向存在偏离，因此通过现有技术中非极大值抑制方法中的线性差值方法得到更加准确的梯度方向和亚像素的梯度幅值。也即本发明实施例中的边缘检测方法采用canny边缘检测方法，并且通过梯度抑制特征值对canny边缘检测非极大值抑制过程中的第一亚像素的梯度幅值和第二亚像素的梯度幅值进行改进。在本发明实施例中，第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值的获取过程，也即在canny边缘检测中非极大值抑制借助线性差值法获取第一亚像素和第二亚像素的梯度幅值的方法，为本领域技术人员所熟知的现有技术，在此不做进一步限定和赘述。在本发明实施例中，预设第二邻域窗口设置为3×3尺寸大小的窗口，也即为canny边缘检测的非极大值抑制过程中常用的窗口尺寸，实施者可根据具体实施环境自行调整尺寸大小。

将每个像素点的预设第二邻域窗口内的像素点，作为每个像素点的邻域像素点；将第一亚像素与第二亚像素之间的连线对应的方向，作为每个像素点的参考梯度方向；将过每个像素点且与对应的参考梯度方向垂直的直线，作为每个像素点的参考直线；在距离参考直线最近的邻域像素点中，将距离第一亚像素最近的邻域像素点作为第一亚像素对应的参考像素点，将距离第二亚像素最近的邻域像素点作为第二亚像素对应的参考像素点。

非极大值抑制的目的在于消除边缘检测带来的杂散响应，减少误检的边缘像素点。其基本方法是在每个像素点的在预设邻域窗口内，将每个像素点的梯度幅值与沿梯度方向上得到的两个亚像素的梯度幅值进行比较，若像素点的梯度幅值大于两个亚像素的梯度幅值，则保留该像素点的边缘点特征；否则，不将其作为边缘点，对其进行抑制。

第一亚像素与第二亚像素之间的连线对应的方向，即对应的当前预设第二邻域窗口中心像素点的梯度方向。

上述得到的参考像素点与窗口中心像素点之间的连线通常与梯度方向对应的直线更加趋近垂直，对于边缘点而言，其对所对应的参考像素点之间的灰度值差异通常较小；对应的灰度差异越大，则说明越可能为边缘点的可能性越小。因此为了获取更加准确的边缘特征，通过结合窗口中心像素点与参考像素点之间的灰度差异，以及窗口中心像素点的梯度抑制特征值，进行进一步地根据每个像素点的梯度抑制特征值，结合每个像素点与每个参考像素点之间的灰度差异，对第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值进行改进，得到每个像素点对应的第一亚像素的优化梯度幅值和第二亚像素的优化梯度幅值。

优选地，根据每个像素点的梯度抑制特征值，结合每个像素点与每个参考像素点之间的灰度差异，对第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值进行改进，得到每个像素点对应的第一亚像素的优化梯度幅值和第二亚像素的优化梯度幅值的方法包括：

依次将皮带机监测灰度图像中的每个像素点，作为目标像素点；依次将目标像素点对应的第一亚像素和第二亚像素作为目标亚像素。由于不同的像素点对应的不同亚像素的优化梯度幅值的获取方法相同，因此设置目标像素点和目标亚像素，通过分析其中一种情况，得到所有像素点对应的所有亚像素的优化梯度幅值。

本发明实施例将目标像素点的梯度幅值与目标亚像素对应的参考像素点的灰度值之间的差异，作为目标亚像素的参考灰度差异。对应的参考灰度差异越大，说明目标像素点越可能不为边缘点，因此需要越大的优化梯度幅值以抑制目标像素点成为边缘点的可能性。进一步地将参考灰度差异与目标像素点的梯度抑制特征值之间的乘积，作为梯度改进影响值。也即梯度改进影响值越大，对应的目标像素点越可能不为边缘点。最后将目标亚像素的初始梯度幅值与梯度改进影响值之间的和值，作为目标亚像素的优化梯度幅值。在正常情况下，目标像素点与参考像素点的灰度差异较小，对应的优化梯度幅值与初始梯度幅值差异不大；增大与参考像素点灰度差异较大的皮带机边缘区域的像素点的优化梯度幅值，使得获取更加明显的皮带边缘信息，提升对皮带边缘进行边缘提取的准确性，提高后续的霍夫直线检测以及跑偏检测的准确性。

在本发明实施例中，依次目标像素点对应的目标亚像素/>的优化梯度幅值的获取方法在公式上表现为：

其中，为目标像素点/>对应的目标亚像素/>的优化梯度幅值，/>为目标像素点/>对应的目标亚像素/>的初始梯度幅值，/>为目标像素点/>对应的梯度抑制特征值，/>为目标像素点/>的灰度值，/>为目标像素点/>对应的目标亚像素/>的参考像素点的灰度值；/>为目标像素点/>对应的目标亚像素/>的参考灰度差异；/>为目标像素点/>对应的目标亚像素/>的梯度改进影响值。

最后根据非极大值抑制的原理，将梯度幅值大于对应的第一亚像素优化梯度幅值且大于对应的第二亚像素优化梯度幅值的像素点，作为保留边缘像素点。进一步地根据保留边缘像素点继续进行canny边缘检测，得到皮带机监测边缘图像。请参阅图3，其示出了本发明一个实施例提供的一种皮带机监测边缘图像示意图，该皮带机监测边缘图像示意图即通过上述方法对皮带机监测灰度图像进行处理后得到的边缘图像，相比于常规的边缘检测方法得到的边缘更加准确，因此根据现有技术，进一步地结合霍夫直线检测方法进行分析，本发明实施例根据皮带机监测边缘图像中的像素点分布的直线拟合情况，进行盾构机内部的皮带机跑偏视觉检测。

优选地，根据皮带机监测边缘图像中的像素点分布的直线拟合情况，进行盾构机内部的皮带机跑偏视觉检测的方法包括：对皮带机监测边缘图像进行霍夫直线检测，得到皮带机监测边缘图像的参考检测直线；在皮带机监测二值图像中，当所有参考检测直线的预设邻域范围内的前景像素点的总数量大于预设跑偏阈值时，进行皮带机跑偏预警，前景像素点为皮带机监测二值图像中的前景区域的像素点。在本发明实施例中，预设邻域范围设置为直线两侧10个像素点对应的范围，也即直线上每个像素点左侧十个像素点和右侧十个像素点，实施者可根据具体实施环境自行调整预设邻域范围的大小。在本发明实施例中，预设跑偏阈值设置为100，也即当所有参考检测直线的预设邻域范围内的前景像素点的总数量大于100时，说明构成直线的像素点分布不均匀，认定皮带有跑偏迹象，因此进行皮带机跑偏预警。

综上所述，本发明首先获取盾构机内部的皮带机监测灰度图像，通过分析每个像素点邻域内的灰度值，得到皮带区域特征系数；并根据皮带区域特征系数的分布趋势，得到梯度抑制特征值；通过梯度抑制特征值对边缘检测的非极大值抑制过程进行改进，得到更加准确的皮带机监测边缘图像，使得在得到的皮带机监测边缘图像中检测到的直线准确度更高，也即使得根据皮带机监测边缘图像中的像素点分布的直线拟合情况进行盾构机内部的皮带机跑偏视觉检测的效果更好。

本发明还提出了一种皮带机跑偏视觉检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现任意一项一种皮带机跑偏视觉检测方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (7)

1.一种皮带机跑偏视觉检测方法，其特征在于，所述方法包括：

获取盾构机内部的皮带机监测灰度图像；

在所述皮带机监测灰度图像中，根据每个像素点邻域内的灰度值分布情况，得到每个像素点的皮带区域特征系数；根据皮带机监测灰度图像中各个像素点的皮带区域特征系数分布趋势，得到每个像素点的梯度抑制特征值；

根据每个像素点的局部梯度分布情况，结合梯度抑制特征值进行边缘检测，得到皮带机监测边缘图像；根据所述皮带机监测边缘图像中的像素点分布的直线拟合情况，进行盾构机内部的皮带机跑偏视觉检测；

所述皮带区域特征系数的获取方法包括：

对所述皮带机监测灰度图像进行OTSU阈值分割，得到皮带机监测二值图像；在每个像素点预设第一邻域窗口内，根据背景像素点的数量的正相关映射值，得到每个像素点的第一背景参考系数，所述背景像素点为皮带机监测二值图像中的背景区域的像素点；

根据每个像素点预设邻域窗口内的背景连通域的面积，得到每个像素点的第二背景参考系数；

根据所述第一背景参考系数和所述第二背景参考系数，得到每个像素点的皮带区域特征系数，所述第一背景参考系数和所述第二背景参考系数均与所述皮带区域特征系数呈正相关关系；

所述梯度抑制特征值的获取方法包括：

将皮带区域特征系数等于预设皮带边缘阈值的像素点，作为疑似皮带边缘像素点；

获取皮带机监测灰度图像中每行的像素点以从左到右的顺序排列得到的行像素点序列；在每个行像素点序列中，以每个像素点的索引值为横坐标，以每个像素点的皮带区域特征系数为纵坐标，得到每个像素点的参考坐标点；根据每个行像素点序列中所有像素点的参考坐标点进行曲线拟合，得到每个行像素点序列的皮带区域特征曲线；将皮带区域特征曲线上每个像素点对应的切线斜率，作为每个像素点的参考斜率；

对于任意一个疑似皮带边缘像素点：

将疑似皮带边缘像素点所处的行像素点序列中，将疑似皮带边缘像素点之前相距最近且皮带区域特征系数为最大值的像素点，作为疑似皮带边缘像素点的左相邻皮带像素点；将疑似皮带边缘像素点之后相距最近且皮带区域特征系数为最大值的像素点，作为疑似皮带边缘像素点的右相邻皮带像素点；在疑似皮带边缘像素点对应的皮带区域特征曲线上，当疑似皮带边缘像素点与对应的左相邻皮带像素点之间的所有像素点的参考斜率均小于等于0，或疑似皮带边缘像素点与对应的右相邻皮带像素点之间的所有像素点的参考斜率均大于等于0时，将疑似皮带边缘像素点作为优化皮带边缘像素点，否则不作为优化皮带边缘像素点；

将皮带机监测灰度图像中所有优化皮带边缘像素点的梯度抑制特征值设置为预设第一数值；将优化皮带边缘像素点之外的其他像素点的梯度抑制特征值设置为预设第二数值；所述预设第一数值大于所述预设第二数值，且所述预设第一数值和所述预设第二数值均大于等于0；

所述皮带机监测边缘图像的获取方法包括：

在对所述皮带机监测灰度图像进行canny边缘检测时的非极大值抑制过程中，通过线性差值方法得到每个像素点的预设第二邻域窗口内对应的第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值；所述第一亚像素和所述第二亚像素为非极大值抑制过程中与对应的像素点进行梯度幅值对比的像素；

将每个像素点的预设第二邻域窗口内的像素点，作为每个像素点的邻域像素点；将所述第一亚像素与所述第二亚像素之间的连线对应的方向，作为每个像素点的参考梯度方向；将过每个像素点且与对应的参考梯度方向垂直的直线，作为每个像素点的参考直线；在距离参考直线最近的邻域像素点中，将距离第一亚像素最近的邻域像素点作为第一亚像素对应的参考像素点，将距离第二亚像素最近的邻域像素点作为第二亚像素对应的参考像素点；

根据每个像素点的梯度抑制特征值，结合每个像素点与每个参考像素点之间的灰度差异，对第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值进行改进，得到每个像素点对应的第一亚像素的优化梯度幅值和第二亚像素的优化梯度幅值；将梯度幅值大于对应的第一亚像素优化梯度幅值且大于对应的第二亚像素优化梯度幅值的像素点，作为保留边缘像素点；

根据保留边缘像素点继续进行canny边缘检测，得到皮带机监测边缘图像。

2.根据权利要求1所述的一种皮带机跑偏视觉检测方法，其特征在于，所述根据所述皮带机监测边缘图像中的像素点分布的直线拟合情况，进行盾构机内部的皮带机跑偏视觉检测的方法包括：

对所述皮带机监测边缘图像进行霍夫直线检测，得到皮带机监测边缘图像的参考检测直线；在皮带机监测二值图像中，当所有参考检测直线的预设邻域范围内的前景像素点的总数量大于预设跑偏阈值时，进行皮带机跑偏预警，所述前景像素点为皮带机监测二值图像中的前景区域的像素点。

3.根据权利要求1所述的一种皮带机跑偏视觉检测方法，其特征在于，所述根据每个像素点的梯度抑制特征值，结合每个像素点与每个参考像素点之间的灰度差异，对第一亚像素的初始梯度幅值和第二亚像素的初始梯度幅值进行改进，得到每个像素点对应的第一亚像素的优化梯度幅值和第二亚像素的优化梯度幅值的方法包括：

依次将皮带机监测灰度图像中的每个像素点，作为目标像素点；依次将目标像素点对应的第一亚像素和第二亚像素作为目标亚像素；将目标像素点的梯度幅值与目标亚像素对应的参考像素点的灰度值之间的差异，作为目标亚像素的参考灰度差异；将所述参考灰度差异与目标像素点的梯度抑制特征值之间的乘积，作为梯度改进影响值；

将目标亚像素的初始梯度幅值与梯度改进影响值之间的和值，作为目标亚像素的优化梯度幅值。

4.根据权利要求1所述的一种皮带机跑偏视觉检测方法，其特征在于，所述第二背景参考系数的获取方法包括：

将每个像素点的预设第一邻域窗口内的背景区域面积，作为每个像素点的邻域背景面积；将每个像素点的预设第一邻域窗口内背景像素点组成的最大连通域的面积与所述邻域背景面积的比值，作为每个像素点的第二背景参考系数。

5.根据权利要求1所述的一种皮带机跑偏视觉检测方法，其特征在于，所述根据所述第一背景参考系数和所述第二背景参考系数，得到每个像素点的皮带区域特征系数的获取方法包括：

将所述第一背景参考系数与所述第二背景参考系数的乘积，作为每个像素点的皮带区域特征系数。

6.根据权利要求1所述的一种皮带机跑偏视觉检测方法，其特征在于，所述预设皮带边缘阈值设置为0.75。

7.一种皮带机跑偏视觉检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~6任意一项所述方法的步骤。