CN116912758A - 一种用于安全隐患监测的目标图像识别方法和装置 - Google Patents

Abstract

本发明公开了一种用于安全隐患监测的目标图像识别方法和装置，通过获取预设场景区域的图像信息，并通过预设的检测网络检测预设场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况；在包含预设实体数量动态变化或者预设实体状态变化时，确定预设场景的安全隐患系数；在图像特征满足预设的预警条件且安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征；然后对提取的图像特征进行证据上传和报警处理。本发明实现了一种识别出安全隐患场景并进行证据上传及报警的方式，实现了对矿山安全生产管理的智能化和高效率，节约了有关管理的人力资源投入。

Description

一种用于安全隐患监测的目标图像识别方法和装置

技术领域

本申请涉及深度学习、计算机视觉等人工智能技术领域，尤其涉及一种用于安全隐患监测的目标图像识别方法和装置。

背景技术

随着计算机技术的发展，依托于计算机技术对矿山进行安全隐患的监测预警成为一种趋势。当前针对矿山安全隐患的识别发现仍是通过相对传统的方式：一是通过人员对重点区域进行不间断巡逻；二是人员通过视频监控设备对重点区域进行连续24小时值守。这两种方式不仅耗费大量的人力成本，而且任务繁重、效率低下。

发明内容

本申请提供了一种目标图像识别方法和装置，以用于解决上述的技术问题。通过在矿山关键地点安装摄像机、图像分析终端等设备，利用智能化视频识别等技术，实时监测分析矿井出入井人员、人数变化及煤矿生产作业状态等情况，及时发现煤矿异常动态，自动生成、推送报警信息，实现全天候远程监测。

根据本申请的一方面，提供了一种用于安全隐患监测的目标图像识别方法，包括：

通过监控设备获取预设场景区域的场景图像，并通过预设的检测网络检测所述场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况；

在包含所述预设实体数量动态变化或者预设实体状态变化时，确定所述预设场景的安全隐患系数；

在安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征；

当图像特征满足预设的预警条件时，对提取的图像特征进行证据上传和报警处理。

根据本申请的另一方面，提供了一种用于安全隐患监测的目标图像识别装置，包括：

检测模块，用于获取场景区域的场景图像，并通过预设的检测网络检测所述场景图像中预设实体数量动态变化或者预设实体状态变化情况；

确定模块，在包含所述预设场景时，确定所述预设场景的安全隐患系数；

提取模块，用于在所述安全隐患系数大于等于预设阈值时，从所述场景图像中提取与所述预设场景相关的图像特征；

上传模块，用于并在所述图像特征满足预设的报警条件时进行证据上传；

报警模块，用于在所述图像特征满足预设的报警条件时进行报警处理。

有益效果：

本发明的一种用于安全隐患监测的目标图像识别方法和装置，通过获取场景区域的场景图像，并通过预设的检测网络检测场景图像中预设实体数量动态变化或者预设实体状态变化情况，在包含所预设场景时，确定预设场景的安全隐患系数，进而，在安全隐患系数大于等于预设阈值时，从所述场景图像中提取与所述预设场景相关的图像特征，并在所述图像特征满足预设的报警条件时进行证据上传，同时所述图像特征满足预设的报警条件时进行报警处理。由此，实现了一种识别矿山四种生产场景中的安全隐患并进行证据上传及报警的方式，实现了对矿山安全生产管理的智能化和高效率，节约了有关管理的人力投入。

附图说明

图1是根据本申请第一实施例的目标图像识别方法的流程示意图；

图2是根据本申请第二实施例的目标图像识别方法的流程示意图；

图3是根据本申请第三实施例的目标图像识别方法的流程示意图；

图4是根据本申请第四实施例的目标图像识别方法的流程示意图；

图5是根据本申请第五实施例的检测报警装置的结构框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了解决上述背景技术中提到的矿山安全生产管理，需要大量的人力财力投入的技术问题，本发明提出一种智能化管理的技术方案。

下面参考具体的附图说明本发明实施例的目标图像识别方法。

图1是根据本发明一个实施例的目标图像识别方法的流程图，如图1所示，该方法包括：

步骤101，获取场景区域的场景图像，并通过预设的检测网络检测场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况。

在本实施例中，所述的检测网络包括安装设置在场景区域的多个监控设备，可以在矿山管理的区域等场景区域设置摄像头等监控设备，通过摄像头拍摄视频流，在本实施例中，获取摄像头拍摄的视频流，并识别视频流中的有关场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况，其中，在不同的应用场景中，预设实体不同，在一些可能的示例中，该预设实体可以为人、卡车、传送设备等。

需要说明的是，在不同的应用场景下，通过预设的检测网络检测所述场景图像中是否包含预设实体数量动态变化或者预设实体状态变化的方式不同，示例如下：

示例一：

在本示例中，提取场景图像中预设实体所在图像区域的图像特征，并获取预设实体的标准图像特征，计算图像特征和标准图像特征的欧式距离，当欧式距离小于预设阈值时，则确定场景图像中包含预设实体。

示例二：

在本示例中，预先根据大量样本数据基于深度学习技术训练检测网络，得到训练好的检测网络，从而，将场景图像输入该训练好的检测网络，根据该检测网络的输出确定是否包含预设实体数量动态变化或者预设实体状态变化情况。

示例三：

在本示例中，根据图像处理技术得到场景图像的轮廓特征，计算该轮廓特征与预设场景中实体的标准轮廓特征的欧式距离，若是该欧式距离小于等于预设距离，则确定该场景图像中包含预设实体。

步骤102，在包含预设实体时，根据预设时长内预设实体数量或者预设实体运行时长计算，确定预设场景的安全隐患系数。

在本实施例中，可能并非是所有的预设场景都会导致安全隐患，比如，当预设场景为矿山车辆出入口时，并非只要有卡车经过都具有安全隐患，只有预设时长内通过出入口的卡车达到一定数量才具有安全隐患，因此，在本实施例中，通过场景识别确定预设场景的安全隐患系数，若是安全隐患系数较高，则认为该预设场景相对危险。

步骤103，在安全隐患系数大于等于预设阈值时，从场景图像中提取与预设实体相关的图像特征。

在此实施例中，通过设置预设阈值，比较安全隐患系数与预设阈值，在安全隐患系数大于等于预设阈值时，从场景图像中提取与预设实体相关的图像特征，否则，不从场景图像中提取与预设实体相关的图像特征。

步骤104，在图像特征满足预设的预警条件时进行证据上传并进行报警处理。

容易理解的是，即使包含预设实体的场景也不意味着该预设场景存在安全隐患危险，比如，场景图像中仅仅包含一辆卡车通过，则显然该预设场景不具有安全隐患。

在本实施例中，提取与预设场景相关的图像特征，比如提取场景图像中与预设实体所在区域具有重叠区域的实体的对应的图像特征等，在一些可能的示例中，可以基于预先训练得到的卷积模型提取该图像特征。

在本实施例中，若是满足预设上传报警条件，则发送针对预设场景的报警信息，以便于及时避免安全隐患危险的发生。

需要说明的是，在不同的应用场景中，发送针对目标预设实体报警消息的方式不同，示例如下：

示例一：

在本示例中，如图2所示，发送针对所述目标预设实体的报警消息，包括：

步骤201，获取预设场景矿山的相关信息。

在本实施例中，可以根据采集视频流的摄像头的登记位置和编号，获取云服务器中存储的与该编号信息对应的矿山相关信息(比如矿山名称、联系人、矿井状况等)。

步骤202，生成包含矿山相关信息和预设场景的报警消息。

在本实施中，为了便于直观快速的获取预设场景所在的位置，生成包含位置信息和预设场景的证据消息，比如生成的证据消息为“XX省XX市XX县的XXX煤矿的车辆出入口短时间内有多辆运输车辆出入，该煤矿为长期关闭煤矿，请注意安全隐患”。

步骤203，通过预设的通信方式发送报警信息。

其中，预设的通信方式可以包括但不限于短信、电话等。

示例二：

在本示例中，获取预设场景的矿山相关信息，该信息的获取方式可以参照上述实施例，在此不再赘述。

在本实施例中，将相关矿山安全隐患信息发送至云服务器，云服务器查询预先存储的与该矿山信息对应的管理平台联系方式，从而，向对应的管理平台发送对应的报警消息，该报警消息中包含预设场景以及对应的矿山安全隐患信息。

综上，本发明实施例的目标图像识别方法，获取场景区域的场景图像，并通过预设的检测网络检测场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况，在出现上述情况时，确定预设场景的安全隐患系数，进而在安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征，并在图像特征满足预设的报警条件时进行证据上传及报警处理。由此，实现了一种识别出安全隐患场景并证据上传及报警的方式，实现了对安全隐患管理的智能化和高效率，节约了有关管理的人力投入。

在实际执行过程中，若是确定场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况，为上述实施例所提到的预先根据包含大量样本图像的样本图像集训练得到检测网络，从而，将场景图像输入预先训练的检测网络，以根据检测网络的输出识别是否包含预设实体数量动态变化或者预设实体状态变化情况。

在本示例中，为了保证输出结果的准确性，在本实施例中，输入图像首先经过预处理，比如，将场景图像处理为固定尺寸(该固定尺寸与样本图像的尺寸一致)后，获取训练检测网络的样本图像集中所有样本图像的RGB均值和RGB均值方差，根据预设的公式对每帧图像每个像素点在每个颜色通道的像素值、RGB均值和RGB均值方差计算，将计算结果更新每个像素点的像素值。

其中，在一些可能的示例中，预设的公式为：将每个像素点的像素值除以255后，对应的颜色通道的像素值减去对应颜色通道的RGB均值后，并除以对应的颜色通道的RGB均值方差，进一步的，将更新像素值后的每帧图像，输入预先训练的检测网络。

综上，本发明实施例的目标图像识别方法，可以在对场景图像处理之前，对图像预处理，进一步提高了输入到检测网络的图片的纯净度，提高了预设实体识别的准确度。

在不同的生产管理场景中，对应的报警处理方式不同，下面结合具体的示例说明：

示例一：

在本示例中，预设场景为车辆出入口，比如卡车等。

在本示例中，识别车辆对应的品种类型，比如，可以根据样本数据训练得深度学习模型，如图3所示，将场景图像输入到对应的深度学习模型，根据该模型的输出确定该车辆的品种类型，品种类型包括车辆的类型(卡车、小汽车)等。

进一步的，根据预设设置的包含车辆类型为卡车时与安全隐患系数的对应关系，计算确定该场景对应的安全隐患系数。

在本实施例中，若是该安全隐患系数大于预设阈值，则提取与该场景对应的图像特征，同时生成与所述场景对应的报警信息，并通过预设的通信方式进行证据上传及发送报警信息，其中，报警信息的发送方式可以参照上述实施例，在此不再赘述。在本实施例中，该预设的通信方式发送的对象可以根据用户的注册信息确定，以将报警信息发送给预先在平台注册过的用户所在的终端等。

举例而言，参照图4，当车辆为卡车时，将场景图像输入到检测网络，判断该场景图像中是否包含卡车，若是没有卡车，则不进行报警操作，若包含卡车，同时确定预设时长内通过卡车的数量，计算确定安全隐患系数，对安全隐患系数大于预设阈值时，则给出报警信息，并根据预设的通信方式发送该报警信息。

综上，本发明实施例的目标图像识别方法，可作为结合智慧矿山的建设，成为其中的一部分，同时所用技术具有较强的鲁棒性，能有效支持后续的智慧矿山建设。

为了实现上述实施例，本申请还提出了一种目标图像识别装置。图5是根据本发明一个实施例的目标图像识别装置的结构示意图，如图5所示，该目标图像识别装置包括：检测模块501、确定模块502、提取模块503、上传模块504和报警模块505，其中，

检测模块501，用于获取相关场景区域的场景图像，并通过预设的检测网络检测所述场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况；

确定模块502，用于在包含所述预设实体数量动态变化或者预设实体状态变化时，确定所述相关场景的安全隐患系数；

提取模块503，用于在所述安全隐患系数大于等于预设阈值时，从所述场景图像中提取与该场景相关的图像特征；

上传模块504，用于并在所述图像特征满足预设的报警条件时进行证据上传；

报警模块505，用于通过预设的通信方式进行报警处理。

在本发明的一个实施例中，当所述预设场景为矿山调度室时，所述确定模块502，具体用于：

识别所述预设场景中在岗人员的数量；

查询预设对应关系，当所述场景在岗人员数量为0(无人值守)时，根据无人值守所持续的时长计算确定与所述场景对应安全隐患系数。

在本实施例中，所述上传模块504，具体用于：

将所述场景的证据信息进行数据上传；

在本实施例中，所述报警模块505，具体用于：

在根据所述图像特征确定出现所述场景对应的无人空岗时，生成与所述场景对应的证据信息；

通过预设的通信方式发送所述报警信息。

在本发明的一个实施例中，

当所述预设场景为矿山副井口时，所述确定模块502，具体用于：

识别所述预设场景中预设时长内出入口通过人员的数量；

查询预设对应关系，根据预设时长内通过出口人员数量计算确定与所述场景对应安全隐患系数；

在本实施例中，报警模块505，具体用于：

在根据所述图像特征确定所述场景预设时长内有人员出入时，生成与所述场景对应的证据信息；以及生成报警信息；

通过预设的通信方式发送所述报警信息。

需要说明的是，前述对目标图像识别方法实施例的解释说明，也适用于前述对目标图像识别装置实施例的解释说明，其实现原理类似，在此不再赘述。

Claims (16)

1.一种用于安全隐患监测的目标图像识别方法，其特征在于，包括：

通过监控设备获取预设场景区域的场景图像，并通过预设的检测网络检测所述场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况；

在包含所述预设实体数量动态变化或者预设实体状态变化时，确定所述预设场景的安全隐患系数；

在安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征；

当图像特征满足预设的预警条件时，对提取的图像特征进行证据上传和报警处理。

2.如权利要求1所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，在所述并通过预设的检测网络检测所述场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况之前，包括：

获取训练所述检测网络的样本图像集中所有样本图像的RGB均值和RGB均值方差；

根据预设的公式对所述每帧图像每个像素点在每个颜色通道的像素值、所述RGB均值和所述RGB均值方差计算，根据计算结果更新所述每个像素点的像素值。

3.如权利要求1所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，当所述预设场景为矿山调度室时，确定所述预设场景的安全隐患系数，包括：

识别所述预设场景中在岗人员的数量；

查询预设对应关系，当调度室在岗人员数量为0即无人值守时，根据无人值守时长确定与所述场景中对应安全隐患系数。

4.如权利要求3所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，在所述图像特征满足预设的预警条件时进行图像特征提取形成证据信息，然后进行上传及报警处理，包括：

在根据所述图像特征确定出现所述场景对应的无人空岗，且安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征，生成与所述场景对应的证据信息；

将所述场景的证据信息进行数据上传；

通过该场景预设的通信方式发送所述报警信息。

5.如权利要求1所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，当所述预设场景为矿山副井口时，确定所述预设场景的安全隐患系数，包括：

识别所述预设场景中预设时长内通过人员的数量；

查询预设对应关系，根据预设时长内通过人员的数量确定与所述场景中对应安全隐患系数。

6.如权利要求5所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，在所述图像特征满足预设的预警条件时进行图像特征提取形成证据信息，然后进行上传及报警处理，包括：

在根据所述图像特征确定所述场景预设时长内人员进入的数量，计算安全隐患系数，且安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征，生成与所述场景对应的证据信息；

将所述场景的证据信息进行数据上传；

通过该场景预设的通信方式发送所述报警信息。

7.如权利要求1所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，当所述预设场景为矿山主井口时，确定所述预设场景的安全隐患系数，包括：

识别所述预设场景中运输设备运行状态及运输设备上的物料传送情况；

查询预设对应关系，当运输设备处于运行状态时，根据物料传送时长确定与所述场景中对应安全隐患系数。

8.如权利要求7所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，在所述图像特征满足预设的预警条件时进行图像特征提取形成证据信息，然后进行上传及报警处理，包括：

在根据所述预设场景中运输设备处于运行状态，运输设备上有物料传送时，且安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征，生成与所述场景对应的证据信息；

将所述场景的证据信息进行数据上传；

通过该场景预设的通信方式发送所述报警信息。

9.如权利要求1所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，当所述预设场景为矿山车辆出入口时，确定所述预设场景的安全隐患系数，包括：

识别所述预设场景中预设时长内通过卡车的数量；

查询预设对应关系，根据预设时长内通过卡车的数量确定与所述场景中对应安全隐患系数。

10.如权利要求9所述的一种用于安全隐患监测的目标图像识别方法，其特征在于，在所述图像特征满足预设的预警条件时进行图像特征提取形成证据信息，然后进行上传及报警处理，包括：

在根据识别所述预设场景中预设时间内有卡车出入，且安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征，生成与所述场景对应的证据信息；

将所述场景的证据信息进行证据上传；

通过预设的通信方式发送所述报警信息。

11.一种用于安全隐患监测的目标图像识别装置，其特征在于，包括：

检测模块，用于获取场景区域的图像信息，并通过预设的检测网络检测所述场景图像中是否包含预设实体数量动态变化或者预设实体状态变化情况；

确定模块，用于在包含所述预设实体数量动态变化或者预设实体状态变化时，确定所述相关场景的安全隐患系数；

提取模块，用于在图像特征满足预设的预警条件且安全隐患系数大于等于预设阈值时，从场景图像中提取与预设场景相关的图像特征；

上传模块，用于对提取的图像特征形成证据信息并上传；

报警模块，用于在所述图像特征满足预设的报警条件时进行报警处理。

12.如权利要求11所述的一种用于安全隐患监测的目标图像识别装置，其特征在于，还包括：

获取模块，用于获取训练所述检测网络的样本图像集中所有样本图像的RGB均值和RGB均值方差；

计算模块，用于根据预设的公式对所述每帧图像每个像素点在每个颜色通道的像素值、所述RGB均值和所述RGB均值方差计算，根据计算结果更新所述每个像素点的像素值。

13.如权利要求11所述的一种用于安全隐患监测的目标图像识别装置，其特征在于，当所述预设场景为矿山调度室时，所述确定模块，具体用于：

识别所述预设场景中预设时长内在岗人员的数量；

查询预设对应关系，根据预设时长内在岗人员的数量确定与所述场景中对应安全隐患系数。

14.如权利要求11所述的一种用于安全隐患监测的目标图像识别装置，其特征在于，当所述预设场景为矿山副井口时，所述确定模块，具体用于：

识别所述预设场景中预设时长间内通过人员的数量；

查询预设对应关系，根据预设时长内通过人员的数量确定与所述场景中对应安全隐患系数。

15.如权利要求11所述的一种用于安全隐患监测的目标图像识别装置，其特征在于，当所述预设场景为矿山主井口时，所述确定模块，具体用于：识别所述预设场景中运输设备运行状态及运输设备上的物料传送情况；

查询预设对应关系，当运输设备处于运行状态时，根据物料传送时长确定与所述场景中对应安全隐患系数。

16.如权利要求11所述的一种用于安全隐患监测的目标图像识别装置，其特征在于，当所述预设场景为矿山车辆出入口时，所述确定模块，具体用于：

识别所述预设场景中预设时长内通过卡车的数量；

查询预设对应关系，根据预设时长内通过卡车的数量确定与所述场景中对应安全隐患系数。