CN114658060B - 基于卷积神经网络的斗齿脱落智能监测系统及方法 - Google Patents

Abstract

本发明提供一种基于卷积神经网络的斗齿脱落智能监测系统，本系统包括触发模块、图像采集模块、训练处理模块以及告警模块；触发模块包括毫米波雷达、激光测距仪、磁控行程开关、磁接近开关、智能压力控制器和控制端，当毫米波雷达、激光测距仪或智能压力控制器中任何一个采集到的参数在触发阈值范围内，或者磁控形成开关或电磁接近开关发出触发信号时，控制图像采集模块采集铲斗图像；训练处理模块基于训练模块进行训练，输出所述原始图像的斗齿数量；告警模块判断是否有斗齿缺失。本发明通过触发模块和图像采集模块的组合，能够对斗齿状态进行定点、定时、定距进行图像采集，然后基于卷积神经网络算法，形成处理速度快、精度高的识别效果。

Description

基于卷积神经网络的斗齿脱落智能监测系统及方法

技术领域

本发明属于大型电铲/铲车施工领域，具体涉及一种基于卷积神经网络的斗齿脱落智能监测系统及方法。

背景技术

目前，露天矿现场的主要开采工艺还是以穿、爆、采、运为主要的工作形态。大型露天矿铲装环节离不开大型电铲或者铲车。但是在装载矿石的过程中，由于长期在复杂环境中工作，会造成斗齿本身的断裂和个别斗齿的脱落。而脱落/断裂的斗齿会混入矿石一起装入矿车。若不能及时发现，脱落/断裂的斗齿会和矿石一起进入矿石破碎机。斗齿十分坚硬，一旦进入破碎系统，破碎机会被卡住，造成破碎机辊齿及减速系统等部件的损坏，影响工作流程，给企业造成极大的经济损失。近年来，因为铲车斗齿混入破碎系统造成经济损失达千万元。

目前电铲斗齿的丢失、磨损等故障还主要依靠人为观察，效率低，难以及时发现，影响工作效率。因此在铲车上安装斗齿脱落报警装置可以及时发现斗齿脱落，提醒施工人员立即采取措施，避免造成重大的经济损失。然而矿山环境恶劣，如何在恶劣环境中实现高效精确的监测，成为亟待解决的难题。

发明内容

本发明主要目的在于：提供一种基于卷积神经网络的斗齿脱落智能监测系统及方法，提高监测的及时性与准确性。

本发明所采用的技术方案是：一种基于卷积神经网络的斗齿脱落智能监测系统，本系统包括触发模块、图像采集模块、训练处理模块以及告警模块；其中，

触发模块包括：固定于铲车上的毫米波雷达，使得铲斗空斗状态下斗杆完全处于毫米波雷达识别范围内；固定于铲车上的激光测距仪，用于测量与铲斗之间距离；固定于驾驶室开斗斗柄一侧并处于常开状态的磁控行程开关，与安装在斗柄上的磁铁相配合，当司机做出开斗动作时，磁控行程开关闭合，发出触发信号；固定于驾驶室开斗斗柄一侧并处于常开状态的电磁接近开关，当司机做出开斗动作时，电磁接近开关闭合，发出触发信号；安装于铲车至少一个液压设备上的智能压力控制器，用于采集液压设备压力值；设置在驾驶室内是控制端，用于接收和处理毫米波雷达、激光测距仪、磁控行程开关、电磁接近开关和智能压力控制器采集到的数据，调整图像采集模块的参数以及设定毫米波雷达、激光测距仪和智能压力控制器的触发阈值或范围，从而当毫米波雷达、激光测距仪或智能压力控制器中任何一个采集到的参数在触发阈值范围内，或者磁控形成开关或电磁接近开关发出触发信号时，控制图像采集模块采集铲斗图像；

图像采集模块，安装在铲车上，使得触发信号发出时铲斗处于图像采集模块的可视范围内，采集原始图像；

训练处理模块，包括：训练模块，基于图像分割算法的模型训练，对原始图像二值化后与掩膜图像对比，从而进行训练；基于目标检测算法的模型训练，使用labelme标注斗齿的包络点后进行训练；处理模块，基于训练模块的两种训练，输出所述原始图像的斗齿数量；

告警模块，根据训练处理模块输出的斗齿数量，与实际斗齿个数相对比，判断是否有斗齿缺失。

按上述系统，所述的告警模块

设定了斗齿编号逻辑：根据不同设备斗齿总数量，设置一张全齿图像数据作为基准，对图像采集模块采集到的每张进入判定逻辑的图像数据中的每一个斗齿进行排序并做编号；

设定了判定准入逻辑：设置斗齿总数量的置信度阈值范围，当处理模块输出的当前图像数据中斗齿的数量进入阈值范围内时，该图像进入判定逻辑，反之则将其作为无效数据进行剔除；

设定了告警判定轮次及告警百分比阈值：在进入判定逻辑后，将被判定为斗齿缺失的图像数据做循环统计，当同一编号斗齿被判定缺失的图像数据个数占总判定轮次的百分比达到设定阈值时，系统做出告警。

按上述系统，所述的告警模块设定了提醒功能，根据不同设备装车时间设置一次或多次提醒，通过短信、邮箱、服务器中的至少一种方式提醒司机或调度管理人员进行人为的定时观察。

按上述系统，所述的告警模块设定了图像数据、系统运行日志以及误判数据的存储和上传，系统运行后，所有的包含时间信息的图像数据、日志等记录数据，定期自动清理并上传有效数据至云平台或服务器；当判定有斗齿缺失情况并报警后，提醒司机观察确认，如果确认为误告警，即斗齿状况正常，则由司机点击误告警按键，系统将此次误告警所涉及的所有进入判定逻辑的图像数据进行保存，并上传云平台或服务器；以上的数据均会自动根据项目名称、设备型号、日期进行分类。

按上述系统，所述的图像采集模块包括防水防震好散热的盒体，盒体中固定有工业摄像机，盒体上设有供工业摄像机采集图像用的透光面。

按上述系统，所述的控制端、训练处理模块和告警模块内置在工业平板电脑中，工业平板电脑设置在铲车驾驶室中。

按上述系统，所述的工业平板电脑与所述的毫米波雷达、激光测距仪、磁控行程开关、电磁接近开关和图像采集模块通过电缆有线连接，电缆内置在铲车大臂中。

按上述系统，所述的毫米波雷达的具体位置通过以下方式得到：测量每种电铲铲装工作时斗杆的运动状态及其卸矿前后铲斗状态及其斗杆停留位置；对所采集的数据进行分析，结合毫米波雷达的测量范围，找出毫米波雷达的最佳安装位置，确保铲斗空斗状态时斗杆完全处于毫米波雷达的触发范围内。

一种利用所述系统实现的斗齿脱落监测方法，

S1、参数设置：

根据工作环境，设置图像采集模块的参数；依据铲车在卸载矿石时铲斗斗齿出现在所采集的原始图像中的位置与距离，设置用于触发图像采集模块采集铲斗图像的毫米波雷达、激光测距仪和智能压力控制器的触发阈值或范围；

S2、图像采集：

当铲斗工作时，当毫米波雷达、激光测距仪和智能压力控制器采集的参数到达触发阈值或范围，或磁控形成开关或电磁接近开关发出触发信号，控制端激发图像采集模块对铲斗和斗齿进行图像采集；

S3、斗齿状态判断：

基于卷积神经网络算法，将采集到的原始图像导入处理模块，识别铲斗图像中的斗齿完整性和斗齿数量，判断是否有斗齿缺失。

按上述方法，本方法还包括S4、报警：

在判断有斗齿脱落或断裂时发出报警信号。

本发明产生的有益效果是：通过采用毫米波雷达、激光测距仪、磁控行程开关、电磁接近开关和智能压力控制器组合作为触发传感器，能够适应雾、烟、灰尘的复杂工作环境，识别和触发的更准确；通过触发模块和工业摄像机的组合，能够对斗齿状态进行定点、定时、定距进行图像采集，然后基于两种训练算法，形成处理速度快、精度高的识别效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一实施例的安装结构示意图。

图2为本发明一实施例的原理流程图。

图3为铲车斗齿工作状态示意图。

图中：1-工业平板电脑；2-毫米波雷达；3-图像采集模块；4-斗杆；5-电缆；6-铲斗；7-斗齿；8-报警装置。

7-1：正常工作斗齿；7-2：断裂斗齿；7-3：掉落空位；7-4：斗齿插销。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，本发明提供一种基于卷积神经网络的斗齿脱落智能监测系统，本系统包括触发模块、图像采集模块3、训练处理模块以及告警模块；其中，

触发模块包括：固定于铲车上的毫米波雷达2，使得铲斗6空斗状态下斗杆4完全处于毫米波雷达识别范围内；固定于铲车上的激光测距仪，用于测量与铲斗之间距离；固定于驾驶室开斗斗柄一侧并处于常开状态的磁控行程开关，与安装在斗柄上的磁铁相配合，当司机做出开斗动作时，磁控行程开关闭合，发出触发信号；固定于驾驶室开斗斗柄一侧并处于常开状态的电磁接近开关，当司机做出开斗动作时，电磁接近开关闭合，发出触发信号；安装于铲车至少一个液压设备上的智能压力控制器，用于采集液压设备压力值；设置在驾驶室内是控制端，用于接收和处理毫米波雷达2、激光测距仪、磁控行程开关、电磁接近开关和智能压力控制器采集到的数据，调整图像采集模块的参数以及设定毫米波雷达2、激光测距仪和智能压力控制器的触发阈值或范围，从而当毫米波雷达2、激光测距仪或智能压力控制器中任何一个采集到的参数在触发阈值范围内，或者磁控形成开关或电磁接近开关发出触发信号时，控制图像采集模块采集铲斗图像。

本发明设置多种传感器形成多种触发方式，可相互组合，根据不同工况不同设备的特点，定制化选择一种或多种触发方式，通过信号采集卡或单片机处理毫米波雷达、激光测距仪等发出的多种信号，当设备做出某一特定动作时，会达到多种触发方式设置的阈值，保证触发条件的唯一性，进而保证采集到的照片数据有效。例如，将磁控行程开关或电磁接近开关安装至操纵杆一侧，当司机操作设备做出卸矿动作时，开关闭合，由于现场生产时，卸矿动作也可能是在清理作业面时发生，而清理作业面时，铲斗所处位置相对偏下，不能保证相机拍摄到全部铲齿，此时若利用采集卡或单片机直接控制相机进行取帧或拍照，得到的照片数据为无效数据的可能性较高。将激光测距仪或毫米波雷达安装在驾驶室前方，角度调整至刚好对准设备大臂，设置一个阈值范围，当测量距离数据达到阈值范围时，可判断为大臂抬起，此时如果同时采集到上述磁控行程开关或电磁接近开关的信号，利用采集卡或单片机再设定一个延时取帧或拍照，那么就可以确保相机取帧或拍照时，铲斗刚好处于空斗状态，高度也刚好满足要求。如此大大提高了采集图片的有效性，无效数据的减少，整体系统的稳定性和及时性也会得到提升。针对电铲，安装磁控行程开关或电磁接近开关，并同时安装毫米波雷达和激光测距仪，系统通过控制采集卡或单片机开关信号通道，来选择哪几种触发模块配合，例如，当现场光线较强，灰尘较大时，选择打开毫米波雷达和电磁接近开关、磁控行程开关，关闭激光测距仪；夜间作业时，选择打开激光测距仪和电磁接近开关、磁控行程开关，关闭毫米波雷达。可以由司机手动设置，也可以直接由系统根据时间自动进行白天和夜间模式的切换。针对柴油铲，如果设备不存在开斗动作时，需要在每组液压泵主泵处安装智能压力控制器，通过监测每组液压泵主泵的压力，每组智能压力控制器设置一个阈值范围，当所有智能压力控制器同时达到阈值范围时，判定为卸矿动作，且此时大臂也必然是抬起的，获得的图片数据有效的可能性也会很高。

具体还是根据不同设备特点，不同的工况环境，配合项目现场做好触发模块的选择。

图像采集模块3，安装在铲车上，使得触发信号发出时铲斗6处于图像采集模块3的可视范围内，采集原始图像。所述的图像采集模块3包括防水防震好散热的盒体，盒体中固定有工业摄像机，盒体上设有供工业摄像机采集图像用的透光面。

训练处理模块，包括：训练模块，基于图像分割算法的模型训练，对原始图像二值化后与掩膜图像对比，从而进行训练；基于目标检测算法的模型训练，使用labelme标注斗齿的包络点后进行训练；处理模块，基于训练模块的两种训练，输出所述原始图像的斗齿数量；

告警模块，根据训练处理模块输出的斗齿数量，与实际斗齿个数想对比，判断是否有斗齿缺失。

具体的，如图3所示，斗齿通过斗齿插销7-4连接在铲斗6上，正常工作斗齿7-1的数量根据铲斗实际斗齿个数确定，当识别出的斗齿数量小于铲斗实际斗齿个数，即存在掉落孔位7-3，则判断有斗齿脱落；将当天测量铲齿长度与上一天最后一次识别斗齿长度的比值定义为斗齿完整度，当斗齿完整度小于或等于预设的比值时，判断有斗齿断裂，即存在断裂斗齿7-2。

告警模块设定了斗齿7编号逻辑：根据不同设备斗齿7总数量，设置一张全齿图像数据作为基准，对图像采集模块3采集到的每张进入判定逻辑的图像数据中的每一个斗齿7进行排序并做编号。设定了判定准入逻辑：设置斗齿7总数量的置信度阈值范围，当处理模块输出的当前图像数据中斗齿7的数量进入阈值范围内时，该图像进入判定逻辑，反之则将其作为无效数据进行剔除。设定了告警判定轮次及告警百分比阈值：在进入判定逻辑后，将被判定为斗齿缺失的图像数据做循环统计，当同一编号斗齿7被判定缺失的图像数据个数占总判定轮次的百分比达到设定阈值时，系统做出告警。

告警模块设定了提醒功能，根据不同设备装车时间设置一次或多次提醒，通过短信、邮箱、服务器中的至少一种方式提醒司机或调度管理人员进行人为的定时观察。设定了图像数据、系统运行日志以及误判数据的存储和上传，系统运行后，所有的包含时间信息的图像数据、日志等记录数据，定期自动清理并上传有效数据至云平台或服务器；当判定有斗齿缺失情况并报警后，提醒司机观察确认，如果确认为误告警，即斗齿状况正常，则由司机点击误告警按键，系统将此次误告警所涉及的所有进入判定逻辑的图像数据进行保存，并上传云平台或服务器；以上的数据均会自动根据项目名称、设备型号、日期进行分类。

进一步的，所述的智能压力控制器：安装于液压铲、装载机等液压设备的液压主泵或先导泵处，设定上、下限阈值，一般根据不同设备安装多个智能压力控制器，当多个智能压力控制器采集到的压力值同时达到各自设定的阈值时，图像采集单元采集铲斗图像。

所述的控制端、训练处理模块和告警模块内置在工业平板电脑1中，工业平板电脑1设置在铲车驾驶室中。工业平板电脑1采用python软件，将具有外开发接口的毫米波雷达和工业摄像机进行集成，并将该“所述的控制模块和图像处理模块”内置在工业平板电脑中。

所述的工业平板电脑1与所述的毫米波雷达2、激光测距仪、磁控行程开关、电磁接近开关和图像采集模块3通过电缆5有线连接，电缆5内置在铲车大臂中。

所述的毫米波雷达2的具体位置通过以下方式得到：测量每种电铲铲装工作时斗杆的运动状态及其卸矿前后铲斗状态及其斗杆停留位置；对所采集的数据进行分析，结合毫米波雷达的测量范围，找出毫米波雷达2的最佳安装位置，确保铲斗空斗状态时斗杆4完全处于毫米波雷达2的触发范围内。

一种利用所述系统实现的斗齿脱落监测方法，

S1、参数设置：

根据工作环境，设置图像采集模块的参数；依据铲车在卸载矿石时铲斗斗齿出现在所采集的原始图像中的位置与距离，设置用于触发图像采集模块采集铲斗图像的毫米波雷达、激光测距仪和智能压力控制器的触发阈值或范围；

S2、图像采集：

当铲斗工作时，当毫米波雷达、激光测距仪和智能压力控制器采集的参数到达触发阈值或范围，或磁控形成开关或电磁接近开关发出触发信号，控制端激发图像采集模块对铲斗和斗齿进行图像采集；

S3、斗齿状态判断：

基于卷积神经网络算法，将采集到的原始图像导入处理模块，识别铲斗图像中的斗齿完整性和斗齿数量，判断是否有斗齿缺失。

本方法还包括S4、报警：在判断有斗齿脱落或断裂时发出报警信号。

优选的，本装置还可包括报警装置8，用于在有斗齿7脱落或断裂时进行报警。

听到警报，铲车操作人员立即停止操作，现场工作人员根据图像处理结果对有问题的斗齿进行检查，如发现断裂斗齿则进行更换和寻找断裂部分以防混入矿石中。如果是斗齿脱落，则寻找脱落斗齿，并进行斗齿安装工作，保证铲车正常工作。

为保证图像采集模块正常采集，每隔30天应该对大臂上的摄像头和毫米波雷达进行校正，确保毫米波雷达正常工作和工业摄像机正常激发，保证图像正常采集。

本实施例中，报警装置8外接在驾驶室内，当图像处理模块发出报警电信号后，报警装置8发出大分贝的报警信号，提醒工作人员斗齿脱落或者断裂。

本发明通过采用毫米波雷达、激光测距仪、磁控行程开关、电磁接近开关和智能压力控制器组合作为触发传感器，以及高性能、抗干扰强的工业摄像机，能够适应雾、烟、灰尘的复杂工作环境，不易受天气状况影响、环境适应性强；采用两种算法的图像处理系统，提高识别精度；工业摄像机放入具有防水、防震动散热功能好的集成盒子内，固定在电铲动臂的悬梁上，确保电铲在进行铲装工作中铲斗在其可视范围之内。图像采集模块定点、定时、定距采集图像并传输给图像处理模块，通过将数据导入训练完的预测模型，可以快速判断斗齿状态，一旦发现斗齿脱落/断裂，报警装置发出警报声响，提醒铲车操作人员立即停止工作，施工人员仔细检查或寻找即将脱落或已经脱落的斗齿，并进行维修，防止脱落斗齿混入矿石随矿车倒入破碎系统。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于卷积神经网络的斗齿脱落智能监测系统，其特征在于，本系统包括触发模块、图像采集模块、训练处理模块以及告警模块；其中，

触发模块包括：固定于铲车上的毫米波雷达，使得铲斗空斗状态下斗杆完全处于毫米波雷达识别范围内；固定于铲车上的激光测距仪，用于测量与铲斗之间距离；固定于驾驶室开斗斗柄一侧并处于常开状态的磁控行程开关，与安装在斗柄上的磁铁相配合，当司机做出开斗动作时，磁控行程开关闭合，发出触发信号；固定于驾驶室开斗斗柄一侧并处于常开状态的电磁接近开关，当司机做出开斗动作时，电磁接近开关闭合，发出触发信号；安装于铲车至少一个液压设备上的智能压力控制器，用于采集液压设备压力值；设置在驾驶室内的控制端，用于接收和处理毫米波雷达、激光测距仪、磁控行程开关、电磁接近开关和智能压力控制器采集到的数据，调整图像采集模块的参数以及设定毫米波雷达、激光测距仪和智能压力控制器的触发阈值或范围，从而当毫米波雷达、激光测距仪或智能压力控制器中任何一个采集到的参数在触发阈值范围内，或者磁控行程开关或电磁接近开关发出触发信号时，控制图像采集模块采集铲斗图像；所述的激光测距仪或毫米波雷达安装在驾驶室前方，角度调整至刚好对准铲车大臂；

图像采集模块，安装在铲车上，使得触发信号发出时铲斗处于图像采集模块的可视范围内，采集原始图像；

训练处理模块，包括：训练模块，基于图像分割算法的模型训练，对原始图像二值化后与掩膜图像对比，从而进行训练；基于目标检测算法的模型训练，使用labelme标注斗齿的包络点后进行训练；处理模块，基于训练模块的两种训练，输出所述原始图像的斗齿数量；

告警模块，根据训练处理模块输出的斗齿数量，与实际斗齿个数相对比，判断是否有斗齿缺失；

所述的告警模块

设定了斗齿编号逻辑：根据不同设备斗齿总数量，设置一张全齿图像数据作为基准，对图像采集模块采集到的每张进入判定逻辑的图像数据中的每一个斗齿进行排序并做编号；

设定了判定准入逻辑：设置斗齿总数量的置信度阈值范围，当处理模块输出的当前图像数据中斗齿的数量进入阈值范围内时，该图像进入判定逻辑，反之则将其作为无效数据进行剔除；

设定了告警判定轮次及告警百分比阈值：在进入判定逻辑后，将被判定为斗齿缺失的图像数据做循环统计，当同一编号斗齿被判定缺失的图像数据个数占总判定轮次的百分比达到设定阈值时，系统做出告警；

所述的毫米波雷达的具体位置通过以下方式得到：测量每种电铲铲装工作时斗杆的运动状态及其卸矿前后铲斗状态及其斗杆停留位置；对所采集的数据进行分析，结合毫米波雷达的测量范围，找出毫米波雷达的最佳安装位置，确保铲斗空斗状态时斗杆完全处于毫米波雷达的触发范围内。

2.根据权利要求1所述的系统，其特征在于：所述的告警模块设定了提醒功能，根据不同设备装车时间设置一次或多次提醒，通过短信、邮箱中的至少一种方式提醒司机或调度管理人员进行人为的定时观察。

3.根据权利要求1所述的系统，其特征在于：所述的告警模块设定了图像数据、系统运行日志以及误判数据的存储和上传，系统运行后，所有的包含时间信息的图像数据、日志等记录数据，定期自动清理并上传有效数据至云平台或服务器；当判定有斗齿缺失情况并报警后，提醒司机观察确认，如果确认为误告警，即斗齿状况正常，则由司机点击误告警按键，系统将此次误告警所涉及的所有进入判定逻辑的图像数据进行保存，并上传云平台或服务器；以上的数据均会自动根据项目名称、设备型号、日期进行分类。

4.根据权利要求1所述的系统，其特征在于，所述的图像采集模块包括防水防震好散热的盒体，盒体中固定有工业摄像机，盒体上设有供工业摄像机采集图像用的透光面。

5.根据权利要求1所述的系统，其特征在于，所述的控制端、训练处理模块和告警模块内置在工业平板电脑中，工业平板电脑设置在铲车驾驶室中。

6.根据权利要求5所述的系统，其特征在于，所述的工业平板电脑与所述的毫米波雷达、激光测距仪、磁控行程开关、电磁接近开关和图像采集模块通过电缆有线连接，电缆内置在铲车大臂中。

7.一种利用权利要求1至6中任意一项所述系统实现的斗齿脱落监测方法，其特征在于，

S1、参数设置：

根据工作环境，设置图像采集模块的参数；依据铲车在卸载矿石时铲斗斗齿出现在所采集的原始图像中的位置与距离，设置用于触发图像采集模块采集铲斗图像的毫米波雷达、激光测距仪和智能压力控制器的触发阈值或范围；

S2、图像采集：

当铲斗工作时，当毫米波雷达、激光测距仪和智能压力控制器采集的参数到达触发阈值或范围，或磁控行程开关或电磁接近开关发出触发信号，控制端激发图像采集模块对铲斗和斗齿进行图像采集；

S3、斗齿状态判断：

基于卷积神经网络算法，将采集到的原始图像导入处理模块，识别铲斗图像中的斗齿完整性和斗齿数量，判断是否有斗齿缺失。

8.根据权利要求7所述的方法，其特征在于，本方法还包括S4、报警：

在判断有斗齿脱落或断裂时发出报警信号。