CN116882754B - 一种矿山砂石行业全闭环监管预警方法和系统 - Google Patents

Abstract

本发明提供了一种矿山砂石行业全闭环监管预警方法和系统，方法包括：利用图像采集装置获取矿山砂石开采场景图像，采用深度学习模型识别矿山砂石开采场景中风险图像和位置；根据不同风险图像和位置确定对应矿山砂石开采场景风险等级并传输给对应位置开采设备；获取每一辆砂石运输车的车箱图像，利用深度学习模型预测每一辆砂石运输车的车厢内砂石掉落风险等级；将砂石掉落风险等级和检测的对应图像发送给该运输车的驾驶员接收终端；将矿山砂石开采场景风险等级和对应图像、砂石掉落风险等级和对应图像发送给上位机，用深度学习技术识别矿山砂石开采过程中存在的风险图像，并识别运输过程中的风险图像，为整个矿山行业闭环安全提供有效的监管预警。

Description

一种矿山砂石行业全闭环监管预警方法和系统

技术领域

本发明涉及矿山开采运输技术领域，特别涉及一种矿山砂石行业全闭环监管预警方法和系统

背景技术

目前现有技术中矿山砂石行业存在各种安全风险，第一是开采风险，第二是运输风险。其中开采风险涉及矿山砂石塌方掉落，运输风险是运输车在不同的路段掉落的砂石对路面的影响，现有的矿山砂石管理缺乏对上述开采运输过程的闭环管理，因此容易造成相应的路面上其它经过车辆的影响。

发明内容

本发明其中一个目的在于提供一种矿山砂石行业全闭环监管预警方法和系统，所述方法和系统利用图像检测技术识别矿山砂石开采过程中存在的风险图像，并识别运输过程中的风险图像，为整个矿山行业闭环安全提供有效的监管预警。

本发明另一个目的在于提供一种矿山砂石行业全闭环监管预警方法和系统，所述方法和系统针对不同路段或场景分别设置不同的预警条件，因此使得监管预警更加符合场景需求，同时也预警的多样化和层次化能提高监管的灵活性。

本发明另一个目的在于提供一种矿山砂石行业全闭环监管预警方法和系统，所述方法和系统针对不同路段进行砂石掉落可能性的预测，并将检测结果发送给砂石车驾驶员，驾驶员根据该砂石掉落的预测结果调整车辆驾驶方式，从而实现有效的安全反馈。

本发明另一个目的在于提供一种矿山砂石行业全闭环监管预警方法和系统，所述方法和系统可以针对对应道路已经存在砂石掉落风险的位置进行定位并向其他车辆发出定位位置的安全告警信息，从而实现运输过程中的安全告警联动。

为了实现至少一个上述发明目的，本发明进一步提供一种矿山砂石行业全闭环监管预警方法，所述方法包括：

利用图像采集装置获取矿山砂石开采场景的图像，采用深度学习模型识别矿山砂石开采场景中的风险图像和位置；

根据不同风险图像和位置确定对应的矿山砂石开采场景风险等级并传输给对应位置的开采设备接收端；

获取每一辆砂石运输车的车箱图像，利用深度学习模型预测每一辆砂石运输车的车厢内砂石掉落风险等级；

将所述砂石掉落风险等级和检测到的对应图像发送给该运输车接收端；

将所述矿山砂石开采场景风险等级和对应图像，以及砂石掉落风险等级和对应图像发送给上位机。

根据本发明其中一个较佳实施例，所述矿山砂石开采场景的风险等级识别方法包括：标记当前图像采集装置位置信息，以及标记当前图像采集装置位置信息预设半径范围内的开采设备信息，并将标记的开采设备信息和对应的图像采集装置绑定。

根据本发明另一个较佳实施例，所述图像采集设备和自身绑定的开采设备建立通讯连接，当所述图像采集设备接收到开采场景图像，所述开采场景图像被判定为风险图像时，通过所述图像采集设备向所述开采设备发送对应的风险图像和风险预警等级。

根据本发明另一个较佳实施例，图像采集设备被安装在每一运输车辆中，在每一运输车辆上还配置有导航定位装置，所述运输车辆自身的导航定位装置和自身的图像采集设备建立通讯连接，其中所述运输车辆自身的导航定位装置和对应的图像采集设备建立绑定关系，当所述图像采集设备采集到运输车辆运输箱中的砂石图像时，判断当前时刻是否存在砂石掉落，若存在砂石掉落，则根据所述导航定位装置判断砂石掉落的路段位置信息，将该路段位置信息发送给上位机处理。

根据本发明另一个较佳实施例，安装在每一运输车辆的图像采集装置在获取到所述运输车辆运输箱上的砂石图像后，根据深度学习模型识别运输箱上位于运输箱边缘的砂石数量、大小和位置，并根据所述运输箱边缘的砂石数量、大小和位置判断砂石掉落的风险等级，将所述砂石掉落的风险等级和对应的图像发送给运输车辆的驾驶终端设备。

根据本发明另一个较佳实施例，当所述矿山砂石开采场景风险等级和对应图像，以及砂石掉落风险等级和对应图像上传到上位机时，所述上位机根据对应的风险等级启动对应的应急管理响应，并将该应急管理响应发送给对应的人员。

根据本发明另一个较佳实施例，在所述运输车辆运输的路径中包括公共运输路径和砂石运输专用路径，分别对上述两个路径的位置信息进行标记存储，分别针对上述不同路径的砂石掉落风险等级构建预警策略，所述运输车辆根据所述导航定位装置的实时定位判断运输车当前位置信息，并根据当前位置是否在对应的标记路径中实施对应的砂石掉落风险等级预警策略。

根据本发明另一个较佳实施例，所述运输车辆还包括告警广播装置，所述告警广播装置用于向附近的车辆发送告警信息，所述告警信息包括音频告警信息和通讯告警信息。

为了实现至少一个上述发明目的，本发明进一步提供一种矿山砂石行业全闭环监管预警系统，所述系统执行上述一种矿山砂石行业全闭环监管预警方法。

本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述一种种矿山砂石行业全闭环监管预警方法。

附图说明

图1显示的是本发明一种矿山砂石行业全闭环监管预警方法的流程示意图。

图2显示的是现有的目前矿山砂石场的场景示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请结合图1和图2，本发明提供了一种矿山砂石行业全闭环监管预警方法和系统，其中所述系统主要包括：多个图像采集装置，其中所述图像采集装置被安装在矿山砂石场的较大视角位置，以及被安装在矿山砂石的运输车上，在本发明中，为了避免所述图像采集装置被砂石破坏，因此需要对该图像采集装置安装包括但不仅限于钢化玻璃等透明的保护罩。各个开采设备接收终端和砂石运输车接收终端，所述开采设备接收终端和砂石运输车接收终端可以被设置为和对应设备一体化设置的计算机硬件，或者是对应开采设备或运输车驾驶员自身的手机等信号接收端。通讯模块，所述通讯模块通讯连接每一个砂石运输车接收终端和移动终端，并且所述通讯模块也和上位机建立通讯连接，其中所述通讯模块和上位机之间建立通讯连接后，将采集到的矿山场景图像和运输车车厢图像发送给对应的上位机，所述上位机在获得对应的图像后，可以利用预先训练好的矿山砂石场景风险预测模型和运输车砂石掉落预测模型，用于判断当前的风险等级，所述风险等级可以通过所述上位机下发给对应的图像采集装置，并通过图像采集装置向自身绑定的开采设备或运输车接收终端发送对应的风险等级和图像。此时对应的接收终端的驾驶员可以得到相关的告警信息。

具体而言，本发明针对每个矿山砂石场景内的图像检测装置的位置进行预定位，其中该预定位方式可以采用包括但不仅限于GPS定位，当每个所述图像检测装置的位置确定后，获取每个开采设备的位置信息，在所述图像检测装置中预设绑定半径，当所述开采设备的位置信息落入到所述图像检测装置预设绑定半径范围内时，所述图像检测装置和预设绑定半径范围内的所有开采设备建立绑定关系，此时当前图像检测装置和绑定开采设备接收终端之间建立通讯连接。可以将相关的风险图像和风险等级预测发送给对应开采设备接收终端。

采用包括但不仅限于YOLO算法、R-CNN算法和Faster-RCNN算法，本发明中优选YOLO算法作为深度图像检测模型构建矿山砂石场景风险预测模型和运输车砂石掉落风险预测模型。其中所述矿山砂石场景风险预测模型的构建和训练方法包括：

获取矿山砂石场景原始图像，构建模型训练集和测试集；

将所述矿山砂石场景图像的训练集输入到YOLO算法模型中，所述YOLO算法模型将所述矿山砂石场景原始图像分割呈N*N的网格图像，提取所述网格图像特征；

将分割成网格状的矿山砂石场景图像进行S个包围边框的预测，其中预测对应包围边框是目标边框的置信度值，并预测每个边框在不同类别上的概率；

采用非极大抑制算法计算检测出S个包围边框中最符合检测要求的图像。

其中基于YOLO算法模型的矿山砂石场景风险预测模型的具体训练方法主要包括如下步骤：获取模型现有的矿山风险图像，将所述现有的矿山风险图像输入到YOLO算法的卷积层中进行特征提取，由于所述YOLO卷积层可以设置为24个卷积层，本发明针对前18个卷积层进行imageNET预训练，其中预训练得到分类网络，其中将所述分类网络用于图像检测训练，得到满足分类要求的矿山图像特征数据，并通过2个全连接层输出对应的检测结果。本发明中计算分类检测目标的预测误差，并根据所述预测误差计算当前矿山砂石场景风险预测模型的LOSS损失函数，所述矿山砂石场景风险预测模型的LOSS损失函数配置为：LOSS＝y*风险坐标预测误差+风险类别预测误差，y为风险坐标预测误差的系数。通过上述LOSS损失函数可以调整模型的预测效果，直到满足预测要求，通过测试集测试最终的模型预测结果，从而得到所述训练好的矿山砂石场景风险预测模型。此时所述训练好的矿山砂石场景风险预测模型可以有效地判断当前砂石场景的风险位置坐标和风险类型。本发明针对不同的砂石场景风险类型进行风险等级赋值，比如山体滑坡的风险等级定义为最高等级，微小砂石掉落的风险等级为最低。本发明将根据具体需要配置对应的风险等级，并不对上述风险等级做具体限制。当所述矿山砂石场景内的图像检测设备检测到对应图像坐标的风险图像类别后，将该风险类别、风险等级和风险图像同时实时传输给绑定关系的开采设备接收终端，提供开采过程中的风险告警。

本发明针对运输车车厢内的砂石提供基于深度学习的图像检测技术，也就是说，在运输车背部位置设置具有透明保护罩的图像采集装置，该图像采集装置可以被设置为多个，比如在运输车车厢靠近左右两侧挡板边缘位置设置有对应的图像检测装置，两个图像检测装置分别检测运输车车箱左右边缘的砂石分布情况。本发明采用YOLO算法作为深度图像检测模型构建所述运输车砂石掉落风险预测模型，其中所述运输车砂石掉落风险预测模型的构建和训练方法包括：

获取运输车车厢砂石原始图像，构建模型训练集和测试集；

将所述运输车车厢砂石图像的训练集输入到YOLO算法模型中，所述YOLO算法模型将所述运输车车厢砂石原始图像分割呈N*N的网格图像，提取所述网格图像特征；

将分割成网格状的运输车车厢砂石图像进行S个包围边框的预测，其中预测对应包围边框是目标边框的置信度值，并预测每个边框在不同类别上的概率；

采用非极大抑制算法计算检测出S个包围边框中最符合检测要求的图像。

其中基于YOLO算法模型的运输车砂石掉落风险预测模型的训练方法主要包括如下步骤：获取模型现有的运输车车厢砂石图像，上述图像被分为训练集合测试集，将所述现有的运输车车厢砂石输入到YOLO算法的卷积层中进行特征提取，由于所述YOLO卷积层可以设置为24个卷积层，本发明针对前18个卷积层进行imageNET预训练，其中预训练得到分类网络，其中将所述分类网络用于图像检测训练，得到满足分类要求的运输车车厢砂石图像特征数据，并通过2个全连接层输出对应的检测结果。本发明中计算分类检测目标的预测误差，并根据所述预测误差计算当前运输车砂石掉落风险预测模型的LOSS损失函数，所述运输车砂石掉落风险预测模型的LOSS损失函数配置为：LOSS＝y*风险坐标预测误差+风险类别预测误差，y为风险坐标预测误差的系数。通过上述LOSS损失函数可以调整模型的预测效果，直到满足预测要求，通过测试集测试最终的模型预测结果，从而得到所述训练好的运输车砂石掉落风险预测模型。此时所述训练好的运输车砂石掉落风险预测模型可以有效地判断当前运输车承载砂石场景的风险位置坐标和风险类型。

其中本发明针对所述YOLO算法检测到砂石掉落风险图像做如下改进：获取在运输车上砂石风险图像，并判断检测到的目标砂石Y大小S和在车厢中的位置X，利用所述YOLO算法检测车厢挡板边缘在图像中所处的位置，进一步判断当前目标砂石S和所述车厢挡板边缘的位置关系，其中当检测到目标砂石时，计算目标砂石在检测图像中的面积S作为目标砂石Y大小，以及该目标砂石Y图像所覆盖的像素点面积和所述车厢挡板边缘的位置关系。本发明所述的砂石掉落风险等级预测根据上述的标砂石Y面积大小S和目标砂石Y图像所覆盖的像素点面积和所述车厢挡板边缘的位置关系确定。举例来说，本发明判断所述目标砂石Y的大小S，作为风险砂石块的判断，比如在检测目标砂石Y大小风险阈值为Sy，当利用YOLO算法检测到目标砂石块大于所述大小风险阈值Sy时，判定当前目标砂石为大小风险砂石，其中所述目标砂石大小判断方法包括但不仅限于图像像素占比法，或者结合车厢的位置和大小作为参考系进行几何运算得到目标砂石在图像显示面的真实投影大小，上述方法为几何运算过程，本发明对此不再详细赘述。进一步判断该大小风险砂石和所述车厢挡板边缘的位置关系。举例来说：当大小风险砂石在所述车厢挡板位置边缘时，安装在靠近车厢左右两侧车厢挡板边缘的图像检测装置可以实时判断当前大小风险砂石是否超出所述挡板边缘的边界线，并计算超出边界线的长度。若超出该边界线，则最终判定当前大小风险砂石为最终需要监控的风险砂石。本发明针对运输车运输过程中的风险砂石进行风险等级设置，其中所述运输车砂石掉落风险等级的值P＝λ*S+μ*L(S≥Sy,L≥0)，其中λ和μ分别对应的权值系数，λ+μ＝1。上述风险等级值将根据值的从大到小的顺序范围分别配置对应风险等级。其中所述运输车车厢左右以及后侧挡板边缘均有相关的图像检测装置可以覆盖图像检测，当运输车任意车厢挡板边缘存在相关的风险砂石时均生成相应的运输车砂石掉落风险等级信息，当存在多个风险砂石时，取风险等级最高的作为当前运输车砂石掉落风险等级。当所述风险砂石从图像检测视野中掉落或消失时，直接对包括上位机和附近车辆发出告警信息，并利用运输车自身的导航定位装置判定砂石掉落位置，将该砂石掉落位置上传给上位机。

在完成上述运输车砂石掉落风险等级和矿山砂石场景风险等级的预测结果均上传至上位机，该上位机可以实时监控后对所述运输车接收终端和开采设备接收终端下发对应的风险登记告警信息。举例来说在所述运输车辆运输的路径中包括公共运输路径和砂石运输专用路径，分别对上述两个路径的位置信息进行标记存储，分别针对上述不同路径的砂石掉落风险等级构建预警策略，所述运输车辆根据所述导航定位装置的实时定位判断运输车当前位置信息，并根据当前位置是否在对应的标记路径中实施对应的砂石掉落风险等级预警策略。当所述运输车根据自身的导航定位设备判定在公共运输路径时，则所述运输车砂石掉落风险等级的值P的每一等级数据值范围段在基准告警等级下均提高一个告警等级，比如原本P1在基准告警登记为第一风险等级(较低风险)，当所述运输车在上述公共运输路径时，所述P1提高为第二风险等级(中等风险)。并且当所述运输车根据自身的导航定位设备判定在砂石运输专用路径时，原本P1在基准告警登记为第二风险等级(中等风险)，则调整为第一风险等级(较低风险)。上述设置是为了便于风险等级判定的灵活控制，避免在特定路段过高的风险等级设置带来的管理不便，因为在砂石运输专用路径道路坑洼曲折，砂石掉落是很常见的事情，一般不会影响自身车辆和其它车辆的安全。但运输车在公共运输路径时会存在其它车辆。一旦出现大块砂石掉落将会严重影响附近车辆的安全，因此需要提高风险等级进行管理。

本发明通过上述方法可以有效地实现矿山砂石的全闭环安全管理，从而提高整个矿山砂石行业的安全生产效果。

本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (8)

1.一种矿山砂石行业全闭环监管预警方法，其特征在于，所述方法包括：

利用图像采集装置获取矿山砂石开采场景的图像，采用深度学习模型识别矿山砂石开采场景中的风险图像和位置；

根据不同风险图像和位置确定对应的矿山砂石开采场景风险等级并传输给对应位置的开采设备接收端；

获取每一辆砂石运输车的车箱图像，利用深度学习模型预测每一辆砂石运输车的车厢内砂石掉落风险等级；

将所述砂石掉落风险等级和检测到的对应图像发送给该运输车接收端；

将所述矿山砂石开采场景风险等级和对应图像，以及砂石掉落风险等级和对应图像发送给上位机；

安装在每一运输车辆的图像采集装置在获取到所述运输车辆运输箱上的砂石图像后，根据深度学习模型识别运输箱上位于运输箱边缘的砂石数量、大小和位置，并根据所述运输箱边缘的砂石数量、大小和位置判断砂石掉落的风险等级，将所述砂石掉落的风险等级和对应的图像发送给运输车辆的驾驶终端设备；

所述运输车砂石掉落风险等级的值P=λ*S+μ*L；S≥Sy,L≥0；

其中，S表示风险砂石面积大小；Sy表示砂石大小风险阈值；λ和μ分别对应的权值系数，λ+μ=1；

当存在多个风险砂石时，取风险等级最高的作为当前运输车砂石掉落风险等级；

在所述运输车辆运输的路径中包括公共运输路径和砂石运输专用路径，分别对上述两个路径的位置信息进行标记存储，分别针对上述不同路径的砂石掉落风险等级构建预警策略，所述运输车辆根据所述导航定位装置的实时定位判断运输车当前位置信息，并根据当前位置是否在对应的标记路径中实施对应的砂石掉落风险等级预警策略。

2.根据权利要求1所述的一种矿山砂石行业全闭环监管预警方法，其特征在于，所述矿山砂石开采场景的风险等级识别方法包括：标记当前图像采集装置位置信息，以及标记当前图像采集装置位置信息预设半径范围内的开采设备信息，并将标记的开采设备信息和对应的图像采集装置绑定。

3.根据权利要求1所述的一种矿山砂石行业全闭环监管预警方法，其特征在于，所述图像采集设备和自身绑定的开采设备建立通讯连接，当所述图像采集设备接收到开采场景图像，所述开采场景图像被判定为风险图像时，通过所述图像采集设备向所述开采设备发送对应的风险图像和风险预警等级。

4.根据权利要求1所述的一种矿山砂石行业全闭环监管预警方法，其特征在于，图像采集设备还被安装在每一运输车辆中，在每一运输车辆上还配置有导航定位装置，所述运输车辆自身的导航定位装置和自身的图像采集设备建立通讯连接，其中所述运输车辆自身的导航定位装置和对应的图像采集设备建立绑定关系，当所述图像采集设备采集到运输车辆运输箱中的砂石图像时，判断当前时刻是否存在砂石掉落，若存在砂石掉落，则根据所述导航定位装置判断砂石掉落的路段位置信息，将该路段位置信息发送给上位机处理。

5.根据权利要求1所述的一种矿山砂石行业全闭环监管预警方法，其特征在于，当所述矿山砂石开采场景风险等级和对应图像，以及砂石掉落风险等级和对应图像上传到上位机时，所述上位机根据对应的风险等级启动对应的应急管理响应，并将该应急管理响应发送给对应的人员。

6.根据权利要求1所述的一种矿山砂石行业全闭环监管预警方法，其特征在于，所述运输车辆还包括告警广播装置，所述告警广播装置用于向附近的车辆发送告警信息，所述告警信息包括音频告警信息和通讯告警信息。

7.一种矿山砂石行业全闭环监管预警系统，其特征在于，所述系统执行上述权利要求1-6任一项所述的矿山砂石行业全闭环监管预警方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述权利要求1-6任一项所述的矿山砂石行业全闭环监管预警方法。