CN114359246A - 输送机皮带检测方法、装置、系统、电子设备及介质 - Google Patents

Abstract

本发明公开一种输送机皮带检测方法、装置、系统、电子设备及介质，属于自动化、立体视觉以及卷积神经网络技术领域，特别涉及一种输送机皮带检测方法，包括：对输送机皮带分别采集三维点云数据和二维图像；对所述三维点云数据构建三维点云模型，根据所述三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；对所述二维图像进行图像识别，得到二维图像识别结果，根据所述二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果。本发明通过采用二维图像与三维点云两种缺陷检测方式，提高对皮带表面不同类型缺陷的识别率。利用性能较好的yolo‑v3网络对二维图像进行自学习检测，实现对与正常皮带存在较大差异但高度差较小缺陷的检测。

Description

输送机皮带检测方法、装置、系统、电子设备及介质

技术领域

本发明属于自动化、立体视觉以及卷积神经网络技术领域，特别涉及一种输送机皮带检测方法、装置、系统、电子设备及介质。

背景技术

带式输送机是重要的散装物料输送设备，可广泛应用于煤炭、冶金、矿石、化工、食品加工等领域。由于带式输送机负荷较大且长期服役，极易造成磨损。一旦磨损严重就会造成皮带断裂，影响企业的正常生产进度。特别是针对长距离运输或由多级输送带组合而成的运输系统，一旦出现问题，故障排查较为困难，难以进行及时修复。所以，运输系统故障能够及时、准确的定位，可减少维护时间，对运输效率的提高具有较大意义。目前很多企业主要通过加强检修对输送带进行保护，但是并不能做到实时监控，进而造成工作效率低下，工作成本高。

发明内容

为了至少解决上述技术问题，本发明提供了一种输送机皮带检测方法、装置、系统、电子设备及介质。

根据本发明第一方面，提供了一种输送机皮带检测方法，包括：

对输送机皮带分别采集三维点云数据和二维图像；

对所述三维点云数据构建三维点云模型，根据所述三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；

对所述二维图像进行图像识别，得到二维图像识别结果，根据所述二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果。

进一步的，所述采集三维点云数据，包括：

对输送机皮带采集二维图像，并进行图像预处理，对预处理得到的图像进行光条中心线提取，并通过计算将三维坐标保存为三维点云数据。

进一步的，所述对输送机皮带采集二维图像，并进行图像预处理，对预处理得到的图像进行光条中心线提取，并通过计算将三维坐标保存为三维点云数据，包括：

在对皮带表面进行拍照时，对得到的二维图像进行图像滤波和平滑处理，提高图像质量，并抑制噪声，以克服现场环境的光源对拍摄的图像产生影响；

采用高斯滤波算法对图像进行滤波，利用图像差分对图像相似部分进行削弱，以凸显由于物体高度变化而发生调制的激光条纹图案，为后续激光条纹的中心线提取提供有效可靠的图像来源；

经过图像差分算法处理后的图像，找到每列中最亮的像素点位置，即为激光条纹中心所在位置；

在图像遍历完成后，用Hough直线检测算法，将检测到的每列中的最亮的像素点连接成一条直线，得到激光条纹的中心线，同时提取每一张图像上的条纹中心线上的点在图像坐标系下的像素坐标；

对相机进行标定，建立图像平面坐标系、世界坐标系与相机平面坐标系之间的几何位置关系，即确定三维空间中任意一点的位置与其对应在图像中点之间的相互关系，得到三维点云数据。

进一步的，所述对所述三维点云数据构建三维点云模型，根据所述三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果，包括：

将三维点云数据与标准的无缺陷皮带数据对齐、做差，得到的差值与预先设定的阈值进行比较，在差值大于阈值时，判定存在缺陷；在差值小于等于阈值时，判定不存在缺陷。

进一步的，所述对所述二维图像进行图像识别，得到二维图像识别结果，包括：

对采集到的二维图像进行预处理，并对预处理后的二维图像进行图像识别，得到二维图像识别结果；

所述对采集到的二维图像进行预处理，包括：

对二维图像进行去噪、亮度均匀化处理，以此消除皮带区域外的背景及噪声干扰；

所述对预处理后的二维图像进行图像识别，得到二维图像识别结果，包括：

对预处理得到的图像进行阈值分割，统计分割区域的几何特征，根据几何特征采用预设的深度卷积神经网络对缺陷进行识别，以此完成二维图像的图像识别；

所述预设的深度卷积神经网络为YOLO-v3网络。

进一步的，所述根据所述二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果，包括：

根据二维图像识别结果得到皮带图像正样本和皮带图像负样本，用皮带图像正样本和皮带图像负样本训练卷积神经网络模型，利用训练成功的卷积神经网络模型对预处理后的二维图像进行缺陷实时检测，得到正常皮带和缺陷皮带，将检测到的缺陷皮带的检测结果作为第二类缺陷结果。

进一步的，所述对所述二维图像进行图像识别，得到二维图像识别结果，根据所述二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果，包括：

将二维图像划分为s*s个相同大小的单元格，每个单元格只负责检测中心点属于该网格的目标对象，利用卷积层将特征提取出来，便于正确识别目标，一个单元格需要与锚点的预测框相结合预测目标的位置，并且一个单元格往往需要多个预测框来对缺陷位置进行预测；

当单元格中包含缺陷检测目标时，将交并比作为置信度输出，即采用交并比来衡量预测区域的准确度，其计算公式为：

其中，A和B分别表示设备缺陷的实际区域和预测区域的面积，交并比即为预测区域和实际区域的交集与其并集的比值；

YOLO-v3网络具有9个锚点，9个anchor按照大小每3个为一组，共分为3组，3组anchor分别对应三个尺度，

YOLO-v3网络结构的每个单元格需要输出3个预测框，每个预测框输出都要包含基本位置信息(t_x，t_y，t_w，t_h)和置信度信息；YOLO-v3网络在应用时会去除置信得分较低的预测框，保留置信得分较高的预测框，以下为预测框输出的五个信息要素的计算公式

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IoU(b,object)＝σ(t₀)

其中，(b_x，b_y，b_w，b_h)是预测框的位置信息坐标，其中(b_x，b_y)表示预测框中心点的坐标，(b_w，b_h)分别表示预测框的宽和高，σ(t_x)和σ(t_y)是预测框中心点相对于所在网络左上角的距离，t_w与t_h分别表示预测锚框与实际锚框的大小偏差，σ(t₀)是预测框的置信度，Pr(object)表示网络中是否存在目标，IoU(b,object)表示预测框和真实目标位置的交并比；

在对锚框进行学习过程中，将置信度较低的锚框直接筛选掉，保留置信度高于0.5的锚框，经过上述的预测框检测后会得到过多的锚框，利用极大值抑制的方法对重复锚框进行消除；

首先对置信度过低的预测框进行抑制，其次将剩余的锚框按照缺陷类别进行分类，对同一类别的缺陷选择置信度高的进行处理，然后对剩余未被抑制的锚框重复上述操作，直至循环结束，最终得到预测缺陷目标的锚框；

对所获得的图像通过筛选后，将其分为有缺陷的正样本，无缺陷的负样本，筛选完毕对正样本图像数据进行标注，生成图像标签文件，负样本的图像只需创建一个同名的空tex文件即可，然后利用图像标签检测工具对生成的图像标签进行检测，修改有误的标签文件，最终完成皮带缺陷数据集的建立；

采用K-means聚类算法得到缺陷的先验尺寸，使用聚类算法能够得到9个聚类中心，将9个聚类中心的值作为缺陷检测模型的先验锚框的尺寸，聚类算法将样本数据分别放置在已经清楚的类别中，将所有有缺陷的样本归置到有缺陷的一类，无缺陷的归置到无缺陷的一类，使得锚框的选择能够更好的匹配皮带曲线的尺寸，以此提高训练的收敛速度，加快模型的收敛。

根据本发明第二方面，一种输送机皮带检测装置，包括：

采集部，用于对输送机皮带分别采集三维点云数据和二维图像；

三维检测部，用于对三维点云数据构建三维点云模型，根据三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；

二维检测部，用于对二维图像进行图像识别，得到二维图像识别结果，根据二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果。

根据本发明第三方面，一种输送机皮带检测系统，其特征在于，包括：

工控机、线阵相机、三维立体相机、编码器、LED光源、线激光器、数据库皮带以及PLC，

工控机分别与线阵相机和三维立体相机建立网络连接，皮带辊轴安装编码器，通过触发线连接线阵相机和三维立体相机，工控机采用OPC方式与PLC进行通讯，当皮带开始运转时，工控机从PLC接收皮带运转信号，首先点亮条形LED光源和线激光器，然后控制线阵相机和三维立体相机开采，同时编码器控制线阵相机和三维立体相机以合适的频率采集图像，检测设备与皮带同步工作，线阵相机采集一定数量的图像后截断，组成一幅二维图像，并将二维图像通过网络发送到工控机，工控机对图像进行去噪、亮度均匀性校正等预处理后，利用深度卷积神经网络对缺陷进行识别，如果检出缺陷则保存该图像并在数据库中记录编码器信号以供定位缺陷位置，三维立体相机采集激光线的位置并自动输出三维点云，工控机接收到三维点云，利用三维立体相机光轴与激光扇面呈一定角度拍摄皮带表面的激光亮线，通过判断亮线在图像中的位置是否改变确定皮带表面是否具有高低起伏的裂纹、卷边、凸起等，其中位置改变量将作为高度信息被记录，如果检出缺陷则保存缺陷前后一定范围的三维点云并在数据库中记录编码器信号以供定位缺陷位置，同时工控机将缺陷信号发送给PLC，PLC可以根据缺陷严重程度定义不同等级的缺陷信号，根据缺陷信号等级进行报警并停止皮带运行，当皮带运行停止时，检修人员即可根据数据库所记录的缺陷位置及图像对皮带进行维修，此时输送机皮带智能检测系统进入待机状态。

根据本发明第四方面，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，

所述处理器执行所述程序时实现本发明第一方面任一项所述方法的步骤。

根据本发明第五方面，一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序被执行时，能够实现如本发明第一方面任一项所述的方法。

本发明的有益效果：采用线阵相机与立体相机相配合的测量手段，实现二维图像与三维点云两种缺陷检测方式，提高对皮带表面不同类型缺陷的识别率。利用性能较好的yolo-v3网络对二维图像进行自学习检测，实现对与正常皮带存在较大差异但高度差较小缺陷的检测。对皮带表面缺陷识别处理后，一旦皮带表面缺陷参数超过所设定的极限值，系统会发出报警信号并根据编码器信息定位缺陷在皮带的具体位置，并将缺陷信息发送到PLC，PLC控制皮带减速、停机，以便工作人员对其进行修补操作。

利用皮带检测设备代替人工对表面缺陷的检测，能够有效节省皮带维修检测的成本，避免因缺陷造成较大的生产安全问题，保证企业的正常生产制造。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1为本发明提供的一种输送机皮带检测方法流程图；

图2为本发明提供的一种线结构光三维检测方法流程图；

图3为本发明提供的一种三维点云缺陷检测方法流程图；

图4为本发明提供的一种二维图像缺陷检测方法流程图；

图5为本发明提供的一种输送机皮带检测装置结构示意图；

图6为本发明提供的一种输送机皮带检测系统结构示意图；

图7为本发明提供的一种内外缺陷检测设备安装示意图；

图8为本发明提供的一种内表面缺陷检测设备安装示意图；

图9为本发明提供的一种外缺陷检测设备安装示意图；

图10为本发明提供的一种电子设备结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

在本发明的第一方面，提供一种输送机皮带检测方法，如图1所示，包括：

步骤101：对输送机皮带分别采集三维点云数据和二维图像；

本发明中，对输送机皮带采集二维图像，并进行图像预处理，然后对图像进行光条中心线提取，并通过计算将三维坐标保存为三维点云数据。

进一步的，当相机在对皮带表面进行拍照时，现场环境的光源不可避免对拍摄的图像产生影响，为消除此类影响，需要对二维图像进行图像滤波和平滑处理，提高图像质量，并抑制噪声。本系统采用高斯滤波算法对图像进行滤波，高斯滤波不仅能够抑制噪声而且还能保留图像中细节部分，以便后续对图像缺陷的识别。其次利用图像差分对图像相似部分进行削弱，以凸显由于物体高度变化而发生调制的激光条纹图案，为后续激光条纹的中心线提取提供有效可靠的图像来源。

经过图像差分算法处理后的图像，找到每列中最亮的像素点位置，即为激光条纹中心所在位置。图像遍历完成后，用Hough直线检测算法，将检测到的每列中的最亮的像素点连接成一条直线，这条直线即为激光条纹的中心线。同时提取每一张图像上的条纹中心线上的点在图像坐标系下的像素坐标。

对相机进行标定，建立图像平面坐标系、世界坐标系与相机平面坐标系之间的几何位置关系，即确定三维空间中任意一点的位置与其对应在图像中点之间的相互关系，得到三维点云数据。

本发明方案采用二维检测与三维检测相结合的方法，利用二维图像检测的方式，检测与正常皮带存在较大差异、高度差较小的缺陷，采用三维点云检测的方式，检测与正常皮带表面存在显著高度差异的缺陷，两种方式相结合的检测手段，能够有效提高检测准确度。提高检测效率，节约皮带维护的成本。

步骤102：对三维点云数据构建三维点云模型，根据三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；

在本发明中，激光器投射向皮带表面会形成由激光束构成的光平面，光平面与三维立体相机中心轴线的相交点位置由皮带表面高度决定，由于皮带表面存在裂纹或凸起就会使得光平面与三维立体相机中心轴线相交点位置发生变化。如图2为线结构光三维检测原理图，一旦皮带上出现凸起或裂纹，相机采集到的图像上的点就会发生改变，获得皮带表面的畸变激光条纹图像。激光束被调制成条纹三维图像，根据获得的畸变光条纹图像信息即可获取皮带表面的三维信息。

立体相机采集到的皮带表面检测点的光条纹图像，并将获得的光条纹图像储存为图像的一行，连续对皮带表面进行扫描，即可得到皮带表面视差图。将获取一系列皮带光条纹中心图像形成的视差图，依据视差图像中每个点的坐标以及它的灰度值代表的对应皮带在世界坐标系下的X、Y、Z坐标，并根据激光三角测量原理，将得到的点绘制在三维空间坐标系中，即可进行皮带三维点云模型的重建。

得到待测图像的点云数据之后，将所得到的点云数据与标准的无缺陷的物体的点云数据对齐、做差，再通过比较差值与设定的阈值，在差值大于设定的阈值时，判定图像存在缺陷；在差值小于等于设定的阈值时，判定不存在缺陷。

在本发明中，三维点云缺陷检测如图3所示，具体包括：

读取图像，对图像预处理，提取光条中心，计算三维坐标并保存为点云文件，以此得到三维点云数据，与标准的无缺陷皮带数据对齐、做差，得到的差值与预先设定的阈值进行比较，大于阈值时判定存在缺陷，差值小于等于阈值时判定不存在缺陷。

步骤103：对二维图像进行图像识别，得到二维图像识别结果，根据二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果。

本发明中，对采集到的二维图像进行预处理，并对预处理后的二维图像进行图像识别，得到二维图像识别结果。

进一步的，对二维图像进行预处理包括：对图像进行去噪、亮度均匀化等预处理，以此消除皮带区域外的背景及噪声干扰。对经处理的图像进行阈值分割，统计分割区域的几何特征，根据不同缺陷的几何特征采用预设的深度卷积神经网络对缺陷进行识别，其中，预设的深度卷积神经网络为YOLO-v3网络，以此完成二维图像的图像识别。

进一步的，根据二维图像得到皮带图像正样本和皮带图像负样本，用皮带图像正样本和皮带图像负样本训练卷积神经网络模型，利用训练成功的卷积神经网络模型对预处理后的二维图像进行缺陷实时检测，得到正常皮带和缺陷皮带。

在本发明另一实施例中，若二维图像的尺寸大小为446*446*3，其中3表示图像有R、G、B三个颜色通道，二维图像经过YOLO-v3网络之后的输出图像有三种尺度，分别为y₁、y₂、y₃，对应的尺寸分别为13*13、26*26和52*52，也即为降32倍采样、降16倍采样和降8倍采样。

将输入的图像划分为s*s个相同大小的单元格，每个单元格只负责检测中心点属于该网格的目标对象，利用卷积层将特征提取出来，便于正确识别目标。一个单元格需要与锚点的预测框相结合预测目标的位置，并且一个单元格往往需要多个预测框来对缺陷位置进行预测。本发明采用置信度来描述预测框含有目标的可信度，也可说明预测框含有目标的精确程度。而置信度与预测目标框和真实目标框的交并比有着非常重要的联系，当单元格中包含缺陷检测目标时，将交并比作为置信度输出，即采用交并比来衡量预测区域的准确度，其计算公式为：

其中，A和B分别表示设备缺陷的实际区域和预测区域的面积，交并比即为预测区域和实际区域的交集与其并集的比值。

YOLO-v3网络具有9个锚点，9个anchor按照大小每3个为一组，共分为3组，3组anchor分别对应三个尺度。三个尺度输出就意味着三次检测，尺度不同也就代表着特征图所包含的特征信息不同。应用三个不同尺度的预测框能够更好地适应大小不一的检测目标，使得小目标以及密集目标的检测能力得到加强。特征图的尺寸越大说明特征图包含越多的小细节信息。13*13的特征图包含的特征信息最大，适合用来检测大的目标。同样的52*52的特征图包含小细节最多因此适合检测小目标。

YOLO-v3网络结构的每个单元格需要输出3个预测框，每个预测框输出都要包含基本位置信息(t_x，t_y，t_w，t_h)和置信度信息。YOLO-v3网络在应用时会去除置信得分较低的预测框，保留置信得分较高的预测框，提高学习速度。以下为预测框输出的五个信息要素的计算公式

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IoU(b,object)＝σ(t₀)

其中，(b_x，b_y，b_w，b_h)是预测框的位置信息坐标，其中(b_x，b_y)表示预测框中心点的坐标，(b_w，b_h)分别表示预测框的宽和高，σ(t_x)和σ(t_y)是预测框中心点相对于所在网络左上角的距离，t_w与t_h分别表示预测锚框与实际锚框的大小偏差，σ(t₀)是预测框的置信度，Pr(object)表示网络中是否存在目标，IoU(b,object)表示预测框和真实目标位置的交并比。

进一步的，在对锚框进行学习过程中，会将置信度较低的锚框直接筛选掉，保留置信度高于0.5的锚框，以提高学习速度。

经过上述的预测框检测后会得到过多的锚框，因此需要利用极大值抑制的方法对重复锚框进行消除。首先对置信度过低的预测框进行抑制，其次将剩余的锚框按照缺陷类别进行分类，对同一类别的缺陷选择置信度高的进行处理，然后对剩余未被抑制的锚框重复上述操作。直至循环结束，最终得到预测缺陷目标的锚框。

对所获得的图像通过筛选后，将其分为有缺陷的正样本，无缺陷的负样本。筛选完毕对正样本图像数据进行标注，生成图像标签文件，负样本的图像只需创建一个同名的空tex文件即可。然后利用图像标签检测工具对生成的图像标签进行检测，修改有误的标签文件，最终完成皮带缺陷数据集的建立。

采用K-means聚类算法得到缺陷的先验尺寸。使用聚类算法能够得到9个聚类中心，将9个聚类中心的值作为缺陷检测模型的先验锚框的尺寸，聚类算法将样本数据分别放置在已经清楚的类别中，将所有有缺陷的样本归置到有缺陷的一类，无缺陷的归置到无缺陷的一类，使得锚框的选择能够更好的匹配皮带曲线的尺寸，以此提高训练的收敛速度，加快模型的收敛。

本发明采用线阵相机与立体相机相配合的测量手段，实现二维图像与三维点云两种缺陷检测方式，提高对皮带表面不同类型缺陷的识别率。

利用性能较好的yolo-v3网络对二维图像进行自学习检测，实现对与正常皮带存在较大差异但高度差较小缺陷的检测。

对皮带表面缺陷识别处理后，一旦皮带表面缺陷参数超过所设定的极限值，系统会发出报警信号并根据编码器信息定位缺陷在皮带的具体位置，并将缺陷信息发送到PLC，PLC控制皮带减速、停机，以便工作人员对其进行修补操作。

利用皮带检测设备代替人工对表面缺陷的检测，能够有效节省皮带维修检测的成本，避免因缺陷造成较大的生产安全问题，保证企业的正常生产制造。

在本发明第二方面，提供一种输送机皮带检测装置，如图5所示，包括：

采集部，用于对输送机皮带分别采集三维点云数据和二维图像；

本发明中，采集部用于对输送机皮带采集二维图像，并进行图像预处理，然后对图像进行光条中心线提取，并通过计算将三维坐标保存为三维点云数据。

进一步的，当采集部的相机在对皮带表面进行拍照时，现场环境的光源不可避免对拍摄的图像产生影响，为消除此类影响，需要对二维图像进行图像滤波和平滑处理，提高图像质量，并抑制噪声。本系统采用高斯滤波算法对图像进行滤波，高斯滤波不仅能够抑制噪声而且还能保留图像中细节部分，以便后续对图像缺陷的识别。其次利用图像差分对图像相似部分进行削弱，以凸显由于物体高度变化而发生调制的激光条纹图案，为后续激光条纹的中心线提取提供有效可靠的图像来源。

经过图像差分算法处理后的图像，找到每列中最亮的像素点位置，即为激光条纹中心所在位置。图像遍历完成后，用Hough直线检测算法，将检测到的每列中的最亮的像素点连接成一条直线，这条直线即为激光条纹的中心线。同时提取每一张图像上的条纹中心线上的点在图像坐标系下的像素坐标。

对相机进行标定，建立图像平面坐标系、世界坐标系与相机平面坐标系之间的几何位置关系，即确定三维空间中任意一点的位置与其对应在图像中点之间的相互关系，得到三维点云数据。

本发明方案采用二维检测与三维检测相结合的方案，利用二维图像检测的方式，检测与正常皮带存在较大差异、高度差较小的缺陷，采用三维点云检测的方式，检测与正常皮带表面存在显著高度差异的缺陷，两种方式相结合的检测手段，能够有效提高检测准确度。提高检测效率，节约皮带维护的成本。

三维检测部，用于对三维点云数据构建三维点云模型，根据三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；

在本发明中，三维检测部，用于采用激光器投射向皮带表面会形成由激光束构成的光平面，光平面与三维立体相机中心轴线的相交点位置由皮带表面高度决定，由于皮带表面存在裂纹或凸起就会使得光平面与三维立体相机中心轴线相交点位置发生变化。一旦皮带上出现凸起或裂纹，相机采集到的图像上的点就会发生改变，获得皮带表面的畸变激光条纹图像。激光束被调制成条纹三维图像，根据获得的畸变光条纹图像信息即可获取皮带表面的三维信息。

立体相机采集到的皮带表面检测点的光条纹图像，并将获得的光条纹图像储存为图像的一行，连续对皮带表面进行扫描，即可得到皮带表面视差图。将获取一系列皮带光条纹中心图像形成的视差图，依据视差图像中每个点的坐标以及它的灰度值代表的对应皮带在世界坐标系下的X、Y、Z坐标，并根据激光三角测量原理，将得到的点绘制在三维空间坐标系中，即可进行皮带三维点云模型的重建。

得到待测图像的点云数据之后，将所得到的点云数据与标准的无缺陷的物体的点云数据对齐、做差，再通过比较差值与设定的阈值，在差值大于设定的阈值时，判定图像存在缺陷；在差值小于等于设定的阈值时，判定不存在缺陷。

在本发明中，具体可以读取图像，对图像预处理，提取光条中心，计算三维坐标并保存为点云文件，以此得到三维点云数据，与标准的无缺陷皮带数据对齐、做差，得到的差值与预先设定的阈值进行比较，大于阈值时判定存在缺陷，差值小于等于阈值时判定不存在缺陷。

二维检测部，用于对二维图像进行图像识别，得到二维图像识别结果，根据二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果。

本发明中，二维检测部，用于对采集到的二维图像进行预处理，并对预处理后的二维图像进行图像识别，得到二维图像识别结果。

进一步的，二维检测部具体用于对图像进行去噪、亮度均匀化等预处理，以此消除皮带区域外的背景及噪声干扰。对经处理的图像进行阈值分割，统计分割区域的几何特征，根据不同缺陷的几何特征采用预设的深度卷积神经网络对缺陷进行识别，其中，预设的深度卷积神经网络为YOLO-v3网络，以此完成二维图像的图像识别。

进一步的，根据二维图像得到皮带图像正样本和皮带图像负样本，用皮带图像正样本和皮带图像负样本训练卷积神经网络模型，利用训练成功的卷积神经网络模型对预处理后的二维图像进行缺陷实时检测，得到正常皮带和缺陷皮带。

在本发明第三方面，提供一种输送机皮带检测系统，包括如图6所示，包括：

工控机、线阵相机、三维立体相机、编码器、LED光源、线激光器、数据库皮带以及PLC。

工控机分别与线阵相机和三维立体相机建立网络连接，具体可以通过千兆网络连接线阵相机和三维立体相机，皮带辊轴安装编码器，通过触发线连接线阵相机和三维立体相机。工控机采用OPC方式与PLC进行通讯。当皮带开始运转时，工控机从PLC接收皮带运转信号，首先点亮条形LED光源和线激光器，然后控制线阵相机和三维立体相机开采。同时编码器控制线阵相机和三维立体相机以合适的频率采集图像，检测设备与皮带同步工作。线阵相机采集一定数量的图像后截断，组成一幅二维图像，并将二维图像通过网络发送到工控机。工控机对图像进行去噪、亮度均匀性校正等预处理后，利用深度卷积神经网络对缺陷进行识别，如果检出缺陷则保存该图像并在数据库中记录编码器信号以供定位缺陷位置。三维立体相机采集激光线的位置并自动输出三维点云，工控机接收到三维点云，利用三维立体相机光轴与激光扇面呈一定角度拍摄皮带表面的激光亮线，通过判断亮线在图像中的位置是否改变确定皮带表面是否具有高低起伏的裂纹、卷边、凸起等，其中位置改变量将作为高度信息被记录。如果检出缺陷则保存缺陷前后一定范围的三维点云并在数据库中记录编码器信号以供定位缺陷位置。同时工控机将缺陷信号发送给PLC，PLC可以根据缺陷严重程度定义不同等级的缺陷信号，根据缺陷信号等级进行报警并停止皮带运行。当皮带运行停止时，检修人员即可根据数据库所记录的缺陷位置及图像对皮带进行维修，此时输送机皮带智能检测系统进入待机状态。

在本发明中，采用二维图像检测，用于检测与正常皮带存在较大差异但高度差较小的缺陷，三维点云检测用于检测与正常皮带表面存在显著高度差异的缺陷。本方案能够在皮带存在缺陷并且达到报警界限时，发出报警信号，操作人员即可根据报警类型以及位置对皮带进行检查维修。

本系统主要由外表面检测设备、内表面检测设备与系统软件组成。其中内外表面检测设备主要包含了线阵相机、条形LED光源、三维立体相机、线激光器、工控机以及电源、信号线缆、密封外壳等部件。系统软件主要包括以下几个功能模块：二维图像采集模块、二维图像预处理模块、二维图像识别模块、三维点云处理模块、系统报警模块、人机界面模块、智能动态数据库模块。

输送机皮带的缺陷可以分为纵向裂纹、横向裂纹、表面磨损等，其中危害性最大的是纵向裂纹。根据皮带的承载情况，不接触物体的皮带内表面所受拉应力较大，裂纹将首先在此位置产生，且皮带承载后内表面为凸出弧形，对裂纹有放大作用便于检测。因此为了有效检测裂纹须在皮带承重部位的下方布置检测设备，同时检测内表面的工位空间狭窄，工作距离受限，为了检测较宽的皮带，通常需要几个相机进行视野拼接。

线激光立体相机通过螺丝固定在安装架上，再将激光器用螺丝安装在中部相机固定位置且保障激光器打出激光线和立体相机的两个“眼睛”保持垂直。其中相机视野和线激光需大于等于物体大小。内表面检测设备安装于皮带下方，视野向上检测皮带内表面的缺陷，其安装位置如图8所示。

皮带接触物体的外表面易受磨损，检测此类缺陷适合在拉紧辊等位置布置检测设备，因为此处皮带外表面绷紧平整，能够获得较好的图像质量，同时三维立体相机也能设置在很窄的检测区域以提高检测速度。外表面检测设备安装于拉紧辊处，检测皮带外表面的缺陷，其安装位置如图9所示。

采用线阵工业相机和三维立体相机共同获取输煤皮带内表面或外表面的实时二维图像与三维点云，经过图像处理后识别皮带的的纵向裂纹、横向裂纹、表面磨损以及其它类型的缺陷，根据编码器信息定位缺陷在皮带的具体位置，将缺陷信息发送至PLC，PLC控制皮带减速、停机，以进行修补操作。该系统能够连续实时检测皮带缺陷，避免了人工检测只能间断进行且需要减速、停机的缺陷；反馈缺陷信息迅速，有效减少皮带损坏造成的损失。

本发明利用检测系统对皮带表面的裂纹以及磨损进行实时检测，对裂纹以及磨损较严重的皮带区域进行及时报警处理，避免因裂纹扩大而造成皮带断裂，影响正常的生产，避免对企业造成经济损失。

在本发明第四方面，提供一种电子设备，下面参考图10，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置706加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置706；以及通信装置709。通信装置709可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置706被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

应当理解，以上借助优选实施例对本发明的技术方案进行的详细说明是示意性的而非限制性的。本领域的普通技术人员在阅读本发明说明书的基础上可以对各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种输送机皮带检测方法，其特征在于，包括：

对输送机皮带分别采集三维点云数据和二维图像；

对所述三维点云数据构建三维点云模型，根据所述三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；

对所述二维图像进行图像识别，得到二维图像识别结果，根据所述二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果。

2.如权利要求1所述的方法，其特征在于，

所述采集三维点云数据，包括：

对输送机皮带采集二维图像，并进行图像预处理，对预处理得到的图像进行光条中心线提取，并通过计算将三维坐标保存为三维点云数据。

3.如权利要求2所述的方法，其特征在于，

所述对输送机皮带采集二维图像，并进行图像预处理，对预处理得到的图像进行光条中心线提取，并通过计算将三维坐标保存为三维点云数据，包括：

在对皮带表面进行拍照时，对得到的二维图像进行图像滤波和平滑处理，提高图像质量，并抑制噪声，以克服现场环境的光源对拍摄的图像产生影响；

采用高斯滤波算法对图像进行滤波，利用图像差分对图像相似部分进行削弱，以凸显由于物体高度变化而发生调制的激光条纹图案，为后续激光条纹的中心线提取提供有效可靠的图像来源；

经过图像差分算法处理后的图像，找到每列中最亮的像素点位置，即为激光条纹中心所在位置；

在图像遍历完成后，用Hough直线检测算法，将检测到的每列中的最亮的像素点连接成一条直线，得到激光条纹的中心线，同时提取每一张图像上的条纹中心线上的点在图像坐标系下的像素坐标；

对相机进行标定，建立图像平面坐标系、世界坐标系与相机平面坐标系之间的几何位置关系，即确定三维空间中任意一点的位置与其对应在图像中点之间的相互关系，得到三维点云数据。

4.如权利要求1所述的方法，其特征在于，

所述对所述三维点云数据构建三维点云模型，根据所述三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果，包括：

将三维点云数据与标准的无缺陷皮带数据对齐、做差，得到的差值与预先设定的阈值进行比较，在差值大于阈值时，判定存在缺陷；在差值小于等于阈值时，判定不存在缺陷。

5.如权利要求1所述的方法，其特征在于，

所述对所述二维图像进行图像识别，得到二维图像识别结果，包括：

对采集到的二维图像进行预处理，并对预处理后的二维图像进行图像识别，得到二维图像识别结果；

所述对采集到的二维图像进行预处理，包括：

对二维图像进行去噪、亮度均匀化处理，以此消除皮带区域外的背景及噪声干扰；

所述对预处理后的二维图像进行图像识别，得到二维图像识别结果，包括：

对预处理得到的图像进行阈值分割，统计分割区域的几何特征，根据几何特征采用预设的深度卷积神经网络对缺陷进行识别，以此完成二维图像的图像识别；

所述预设的深度卷积神经网络为YOLO-v3网络。

6.如权利要求1所述的方法，其特征在于，

所述对所述二维图像进行图像识别，得到二维图像识别结果，根据所述二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果，包括：

将二维图像划分为s*s个相同大小的单元格，每个单元格只负责检测中心点属于该网格的目标对象，利用卷积层将特征提取出来，便于正确识别目标，一个单元格需要与锚点的预测框相结合预测目标的位置，并且一个单元格往往需要多个预测框来对缺陷位置进行预测；

当单元格中包含缺陷检测目标时，将交并比作为置信度输出，即采用交并比来衡量预测区域的准确度，其计算公式为：

其中，A和B分别表示设备缺陷的实际区域和预测区域的面积，交并比即为预测区域和实际区域的交集与其并集的比值；

YOLO-v3网络具有9个锚点，9个anchor按照大小每3个为一组，共分为3组，3组anchor分别对应三个尺度，

YOLO-v3网络结构的每个单元格需要输出3个预测框，每个预测框输出都要包含基本位置信息(t_x，t_y，t_w，t_h)和置信度信息；YOLO-v3网络在应用时会去除置信得分较低的预测框，保留置信得分较高的预测框，以下为预测框输出的五个信息要素的计算公式

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

Pr(object)*IoU(b,object)＝σ(t₀)

其中，(b_x，b_y，b_w，b_h)是预测框的位置信息坐标，其中(b_x，b_y)表示预测框中心点的坐标，(b_w，b_h)分别表示预测框的宽和高，σ(t_x)和σ(t_y)是预测框中心点相对于所在网络左上角的距离，t_w与t_h分别表示预测锚框与实际锚框的大小偏差，σ(t₀)是预测框的置信度，Pr(object)表示网络中是否存在目标，IoU(b,object)表示预测框和真实目标位置的交并比；

在对锚框进行学习过程中，将置信度较低的锚框直接筛选掉，保留置信度高于0.5的锚框，经过上述的预测框检测后会得到过多的锚框，利用极大值抑制的方法对重复锚框进行消除；

首先对置信度过低的预测框进行抑制，其次将剩余的锚框按照缺陷类别进行分类，对同一类别的缺陷选择置信度高的进行处理，然后对剩余未被抑制的锚框重复上述操作，直至循环结束，最终得到预测缺陷目标的锚框；

对所获得的图像通过筛选后，将其分为有缺陷的正样本，无缺陷的负样本，筛选完毕对正样本图像数据进行标注，生成图像标签文件，负样本的图像只需创建一个同名的空tex文件即可，然后利用图像标签检测工具对生成的图像标签进行检测，修改有误的标签文件，最终完成皮带缺陷数据集的建立；

采用K-means聚类算法得到缺陷的先验尺寸，使用聚类算法能够得到9个聚类中心，将9个聚类中心的值作为缺陷检测模型的先验锚框的尺寸，聚类算法将样本数据分别放置在已经清楚的类别中，将所有有缺陷的样本归置到有缺陷的一类，无缺陷的归置到无缺陷的一类，使得锚框的选择能够更好的匹配皮带曲线的尺寸，以此提高训练的收敛速度，加快模型的收敛。

7.一种输送机皮带检测装置，其特征在于，包括：

采集部，用于对输送机皮带分别采集三维点云数据和二维图像；

三维检测部，用于对三维点云数据构建三维点云模型，根据三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；

二维检测部，用于对二维图像进行图像识别，得到二维图像识别结果，根据二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果。

8.一种输送机皮带检测系统，其特征在于，包括：

工控机、线阵相机、三维立体相机、编码器、LED光源、线激光器、数据库皮带以及PLC，

工控机分别与线阵相机和三维立体相机建立网络连接，皮带辊轴安装编码器，通过触发线连接线阵相机和三维立体相机，工控机采用OPC方式与PLC进行通讯，当皮带开始运转时，工控机从PLC接收皮带运转信号，首先点亮条形LED光源和线激光器，然后控制线阵相机和三维立体相机开采，同时编码器控制线阵相机和三维立体相机以合适的频率采集图像，检测设备与皮带同步工作，线阵相机采集一定数量的图像后截断，组成一幅二维图像，并将二维图像通过网络发送到工控机，工控机对图像进行去噪、亮度均匀性校正等预处理后，利用深度卷积神经网络对缺陷进行识别，如果检出缺陷则保存该图像并在数据库中记录编码器信号以供定位缺陷位置，三维立体相机采集激光线的位置并自动输出三维点云，工控机接收到三维点云，利用三维立体相机光轴与激光扇面呈一定角度拍摄皮带表面的激光亮线，通过判断亮线在图像中的位置是否改变确定皮带表面是否具有高低起伏的裂纹、卷边、凸起等，其中位置改变量将作为高度信息被记录，如果检出缺陷则保存缺陷前后一定范围的三维点云并在数据库中记录编码器信号以供定位缺陷位置，同时工控机将缺陷信号发送给PLC，PLC可以根据缺陷严重程度定义不同等级的缺陷信号，根据缺陷信号等级进行报警并停止皮带运行，当皮带运行停止时，检修人员即可根据数据库所记录的缺陷位置及图像对皮带进行维修，此时输送机皮带智能检测系统进入待机状态。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述程序时实现权利要求1-6任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，所述程序被执行时，能够实现如权利要求1-6任一项所述的方法。

Images