CN110674702A - 一种矿井图像场景分类方法、装置及设备、系统 - Google Patents

Abstract

本发明实施例提供一种矿井图像场景分类方法、装置及设备、系统，该方法，包括：获取矿井场景图像训练样本；利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；利用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。本发明实施例提供一种对矿井图像场景进行分类的方法，在现有技术中，存在大量的视频，然而这些视频混在一起，不便于后期对特定场景的视频进行特定的识别处理，因此，需要将这些矿井图像、视频进行区分，在大量混杂的视频、图像中对矿井图像场景分类，利于后期对不同的视频、图像进行识别处理。

Description

一种矿井图像场景分类方法、装置及设备、系统

技术领域

本发明实施例涉及图像识别技术领域，具体涉及一种矿井图像场景分类方法、装置及设备、系统。

背景技术

目前，我国煤炭企业普遍配备了煤矿安全监控装置，部分企业还配备了针对煤矿不同灾害事件的安全辅助决策装置，但是各装置之间并没有形成良好的、智能的数据分享机制，无法为整个煤矿在更高层次上的安全数据融合处理、视频深度分析与挖掘、决策分析提供支持，在一定程度上制约着煤炭企业往人工智能安全管理方面的转型发展。

由于煤矿井下环境复杂，作业人员操作不规范，导致了人工监管难度比较大。数字化矿用视频监视装置在煤矿井下的广泛应用和发展，为实现智能化的视频安全监控装置奠定了硬件基础。随着智能视频监控技术迅速发展、矿井下监控图像和视频数量飞速增长、云计算力及计算深度的不断提高，仅依靠人工分析海量井下图像和视频费时耗力，智能的快速检索和有效管理海量的井下图像和视频正面临着巨大挑战。面向煤矿场景的图像分类是智能检索和管理井下图像和视频的基础，也是实现智能监控要解决的关键技术之一，具有很高的理论价值和应用价值。

因此，如何在大量混杂的视频、图像中对矿井图像场景分类，利于后期对不同的视频、图像进行识别处理，是本领域技术人员亟待解决的技术问题。

发明内容

为此，本发明实施例提供一种矿井图像场景分类方法、装置及设备、系统，在大量混杂的视频、图像中对矿井图像场景分类，利于后期对不同的视频、图像进行识别处理。

为了实现上述目的，本发明实施例提供如下技术方案：

第一方面，本发明实施例提供一种矿井图像场景分类方法，包括：

获取矿井场景图像训练样本；

利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；

利用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。

优选地，所述获取矿井场景图像训练样本，包括：

收集预设数量的矿井场景图像；

对所述矿井场景图像进行预处理，得到相同形式的标准图像；

将所述标准图像使用分类标签进行标记，得到矿井场景图像训练样本。

优选地，所述对所述矿井场景图像进行预处理，包括：

将所述矿井场景图像利用预设公式进行归一化，得到归一化图像；

从所述归一化图像中删除不符合训练条件的图像，得到筛选图像；

对所述筛选图像进行降噪处理，得到标准图像。

优选地，所述对所述矿井场景图像进行预处理，还包括：对矿井场景图像进行数据增强；

所述对矿井场景图像进行数据增强具体为：

对所述标准图像进行下列处理中的一种或一种以上的组合：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音。

优选地，所述利用所述矿井场景图像训练样本训练分类算法模型，包括：

通过yolov3算法模型的特征提取网络对所述矿井场景图像训练样本进行提取样本特征，得到预设尺寸的特征图；

根据对象的中心坐标的位置与网格单元的位置关系，确定网格单元的预测对象；

利用所述样本特征，调整参数配置，得到训练后的矿井场景分类模型。

优选地，所述矿井场景分类模型的残差块在各层输出和输入之间设置一个用于直接跳过一个或多个卷积层的恒等快捷连接块；

所述残差块是计算公式如下：

x_l+1＝f(h(x_l)+F(x_l，W_l))；

其中x_l和x_l+1分别表示第l个残差块的输入和输出，W_l为残差函数F学到的参数，h(x_l)表示恒等快捷连接，f为ReLU激活函数，所述矿井场景分类模型从浅层l到深层L的特征x_L表示为：

所述矿井场景分类模型的误差反向传播的计算公式为：

其中，

表示残差块在整个网络输出层L的梯度，括号中的数字1表示恒等快捷连接；

表示带有权重W_l的残差梯度。

优选地，所述利用所述矿井场景分类模型对待分类矿井场景图像进行分类，包括：

获取待分类矿井场景图像；

将所述待分类矿井场景图像中的区域特征与矿井场景分类模型中的预设场景特征做识别，得到识别结果；

根据所述识别结果，确定是否将于所述预设场景特征对应的分类标签关联到所述矿井工作场景图像。

第二方面，本发明实施例提供一种矿井图像场景分类装置，包括：

样本获取模块，用于获取矿井场景图像训练样本；

模型训练模块，用于利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；

分类进行模块，用于用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。

第三方面，本发明实施例提供一种矿井图像场景分类设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如第一方面任一种所述矿井图像场景分类方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一种所述矿井图像场景分类方法的步骤。

第五方面，本发明实施例提供一种矿井图像场景分类识别系统，包括：摄像机、矿井图像场景分类装置、图像场景识别装置；

所述摄像机，用于获取矿井场景图像训练样本和/或待分类矿井场景图像，并将所述矿井场景图像训练样本和/或所述待分类矿井场景图像传输到所述矿井图像场景分类装置；

所述矿井图像场景分类装置，用于实现如上述第一方面任一种所述矿井图像场景分类方法的步骤，并将得到的分类结果输入到所述图像场景识别装置；

所述图像场景识别装置，包括：用于识别不同矿井场景的N个场景识别模块；其中，N为正整数。

优选地，N个所述场景识别模块包括下列模块中的一种或一种以上的组合：井口区域识别模块、煤场识别模块、筒仓识别模块、绞车房识别模块、压风机房识别模块、调度室识别模块、通风机房识别模块、地面变电所识别模块、井下炸药库识别模块、油库识别模块、井底车场中猴车区域识别模块、避难硐室识别模块、中央水泵房识别模块、消防重型设备组装硐室识别模块、变配电识别模块、候车室识别模块、掘进工作面识别模块、掘进巷识别模块、运输巷道识别模块、煤仓识别模块、环境异常监测模块；

所述井口区域识别模块，用于进行人脸识别并与工作卡信息比对、识别工作人员装备；统计入井人员数目；判别现场秩序是否混乱；

所述煤场识别模块，用于对煤场内煤炭堆放状态、进出煤场车辆进行识别登记，利用红外设备来对煤炭堆是否自燃进行检测；

所述筒仓识别模块，用于对煤堆高度进行测量并对筒仓内煤是否自燃进行检测；

所述绞车房识别模块，用于对进出机房的人员进行人脸识别统计进出人数；对内部操作人员进行设备操作时禁止性违规行为识别；对机房内人员值班情况进行识别；

所述压风机房识别模块，用于对进入机房内部的人员进行人脸识别统计出入人员数目；计算人员对设备进行巡检间隔时间；并识别人员对设备检测时违规行为；识别局扇进风口前是否有易被吸入的杂物；

所述调度室识别模块，用于对值班人员是否脱岗、离岗进行人脸识别；

所述通风机房识别模块，用于对进入内部工作人员进行人脸识别并统计出入人员；

所述地面变电所识别模块，用于对地面变电所内工作人员是否在岗进行人脸识别；对所内开关闸提示牌信息进行识别；

所述井下炸药库识别模块，用于对进出人员进行人脸识别与纸质登记记录比对，统计进出人员数目，对所领取爆破材料的种类与数量进行识别并与领取人员进行对应记录；

所述油库识别模块，用于对进入内部的人员的人脸识别并统计出入人员；

所述井底车场中猴车区域识别模块，用于对下车后的工作人员进行人脸识别登记并统计出入人员数目；识别工作人员装备及现场秩序；对于猴车是否挂放到预设位置进行识别；

所述避难硐室识别模块，用于对人脸识别登记并统计进出人员数目；

所述中央水泵房识别模块，用于对进出人员数进行统计，巡检人员操作动作规范性进行识别，并通过水位标尺刻度的识别来检测水位；

所述消防重型设备组装硐室识别模块，用于对进入防材料库、重型设备组装硐室内的人员进行人脸识别统计数目；

所述变配电识别模块，用于对中央变电所、采区变电所、工作面配电点的进出人员人脸识别；统计进出人员数目；

所述候车室识别模块，用于对候车室的工作人员装备进行识别检查；统计出入井人员信息并核对，判别现场秩序是否混乱；

所述掘进工作面识别模块，用于在掘进工作面中掘进机头部对处于探水作业区域内的人员数量统计；并识别作业人员探水作业中操作机器的违规性动作；

所述掘进巷识别模块，用于对掘进巷中堆煤情况、瓦斯抽采情况的识别；

所述运输巷道识别模块，用于在皮带机头、皮带中部、皮带机尾、皮带受煤处识别是否有煤、堆煤情况；识别皮带是否启停、撕裂、断带、跑偏；识别运输皮带上是否有异物；识别工作人员是否在皮带安全距离；对工作人员进行操作识别；识别是否存在长时间工作状态下由于温度升高而致使皮带冒烟的情况；在漏煤眼处对当前堆煤状况进行检测并识别异物；

所述煤仓识别模块，用于在煤仓处对堆煤的高度进行检测；对矿车在运行时是否有人员穿过进行识别；

所述环境异常监测模块，用于根据井下实际情况对各个监控的环境异常变化情况进行监测识别；对各监控区域内失物情况及人员状况进行检测。

本发明实施例提供一种矿井图像场景分类方法，包括：获取矿井场景图像训练样本；利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；利用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。本发明实施例提供一种对矿井图像场景进行分类的方法，在现有技术中，存在大量的视频，然而这些视频混在一起，不便于后期对特定场景的视频进行特定的识别处理，因此，需要将这些矿井图像、视频进行区分，在大量混杂的视频、图像中对矿井图像场景分类，利于后期对不同的视频、图像进行识别处理。

本发明实施例提供一种矿井图像场景分类方法、装置及设备、系统，都具有上述的有益效果，在此不再一一赘述。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例提供一种矿井图像场景分类方法的流程图；

图2为本发明实施例提供一种矿井图像场景分类方法的训练样本获取流程图；

图3为本发明实施例提供一种矿井图像场景分类方法的训练样本筛选流程图；

图4为本发明实施例提供一种矿井图像场景分类方法的分类模型训练流程图；

图5为本发明实施例提供一种矿井图像场景分类方法的分类标签关联流程图；

图6为本发明实施例提供一种矿井图像场景分类装置的组成结构示意图；

图7为本发明一种具体实施方式提供的矿井图像场景分类设备的结构示意图；

图8为本发明实施例提供一种矿井图像场景分类识别系统的组成结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1、图2、图3、图4、图5，图1为本发明实施例提供一种矿井图像场景分类方法的流程图；图2为本发明实施例提供一种矿井图像场景分类方法的训练样本获取流程图；图3为本发明实施例提供一种矿井图像场景分类方法的训练样本筛选流程图；图4为本发明实施例提供一种矿井图像场景分类方法的分类模型训练流程图；图5为本发明实施例提供一种矿井图像场景分类方法的分类标签关联流程图。

本发明实施例提供一种矿井图像场景分类方法，包括：

步骤S11：获取矿井场景图像训练样本；

步骤S12：利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；

步骤S13：利用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。

在本发明实施例中，首先需要获取矿井场景图像训练样本，对于不同的场景，可能发生不同的情况，在进行视频识别时，由于在矿井的工作各个现场设置有大量的摄像头，因此，如何将需要的视频图像匹配到合适的检测流程模块进行识别，是一个重要的问题。具体地可以针对各个检测流程模块的应用场景进行分类，将各个检测流程模块对应的典型的矿井场景图像作为训练样本，对分类算法模型进行训练。例如，可以将包括有井口区域的矿井场景的分类编号设置为001，在井口区域对应的监测流程模块中可以进行人脸识别并与工作卡信息比对、识别工作人员装备(如安全帽、工作服、胶鞋、矿灯等佩戴设备)。统计入井人员数目，判别现场秩序是否混乱(群聚、打架)等。将井口区域的典型特征进行框选，并且标准，从而得到进口区域的矿井场景图像训练样本。

当然，具体的场景有很多，例如，对于地面储装运等工程和设施中磅房、场区卡口、煤场、筒仓。煤场主要对场内煤炭堆放状态、进出煤场车辆进行识别登记、红外设备来对煤炭堆是否自燃进行检测；筒仓处是对煤堆高度进行测量并对筒仓内煤是否自燃进行检测。

矿井场景可以是绞车房，对进出机房的人员进行人脸识别统计进出人数，对内部操作人员进行设备操作时禁止性违规行为识别，对机房内人员值班情况进行识别；矿井场景可以是绞车房、压风机房，对进入机房内部的人员进行人脸识别统计出入人员数目；计算人员对设备进行巡检间隔时间；并识别人员对设备检测时违规行为。识别局扇进风口前是否有易被吸入的杂物；矿井场景可以是绞车房调度室对值班人员是否脱岗、离岗进行人脸识别；矿井场景可以通风机房，对进入内部工作人员进行人脸识别并统计出入人员；地面变电所内工作人员是否在岗进行人脸识别，对所内开关闸提示牌信息进行识别。

对这些矿井的工作场景的图像进行编号和标注，得到各自对应矿井场景图像训练样本。在得到训练样本后，可以利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型，从而利于后续对利用所述矿井场景分类模型对待分类矿井场景图像进行分类。当然，待分类矿井场景图像，是从矿井各个工作场景的摄像头中截取出来的，如果该待分类矿井场景图像对于的场景标签、分类编号为井口区域的矿井场景对应的001，那么该待分类矿井场景图像对应的视频数据对应的分类编号也是001，在得到该待分类矿井场景图像的分类编号后，后续即可调取该视频数据到相应的检测流程模块中进行识别。

进一步地，为了获取矿井场景图像训练样本，可以对收集到的矿井场景图像进行一下处理，具体步骤如下：

步骤S21：收集预设数量的矿井场景图像；

步骤S22：对所述矿井场景图像进行预处理，得到相同形式的标准图像；

步骤S23：将所述标准图像使用分类标签进行标记，得到矿井场景图像训练样本。

具体地，可以在收集到50000+各个场景的网络视频图像样本集后，进行图像样本集的预处理；然后将预处理过后的训练集按场景进行分类并打标签，在对应各个场景的训练集中使用yolov3算法模型训练出煤矿井下的场景模型；最后，将训练出的多个标准场景模型组成模型库装置。也就是说，针对不同场景的训练样本，分别对yolov3算法模型进行训练，逐步得到最终的矿井场景分类模型。当然，在后续的使用过程中，如果出现了新的矿井场景，也可以获取相应的矿井场景图像训练样本，继续对矿井场景分类模型进行加强，使得其更加强大，能够对更多的场景图像进行分类。

具体地，在对所述矿井场景图像进行预处理时，可以进行以下步骤：

步骤S31：将所述矿井场景图像利用预设公式进行归一化，得到归一化图像；

步骤S32：从所述归一化图像中删除不符合训练条件的图像，得到筛选图像；

步骤S33：对所述筛选图像进行降噪处理，得到标准图像。

所述图像样本集的预处理是先将图像样本集进行归一化，图像样本集在进行对于图像的平移、旋转、缩放变换后可以得到多种副本图像，这些图像样本集在经过相同参数的图像归一化处理后能够得到相同形式的标准图像，将待处理的原始样本集转换成相应的唯一标准形式，归一化公式如式(1)所示：

其中x_i表示图像像素值,min(x)、max(x)分别表示图像像素的最小值与最大值；

图像样本集归一化后再进行样图像样本集的降噪预处理，筛选出场景不符合训练条件的图像样本，使用高斯滤波算法进行降噪处理，对于不规范的样本，可以将其删除，从而保持样本集的健壮性。

一般地，在图像的深度学习中，为了丰富图像训练集，更好的提取图像特征，泛化模型(防止模型过拟合)，一般都会对数据图像进行数据增强，常用的方式有，旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音等。也就是说对所述矿井场景图像进行预处理，还包括：对矿井场景图像进行数据增强；所述对矿井场景图像进行数据增强具体为：对所述标准图像进行下列处理中的一种或一种以上的组合：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音。

更进一步地，为了利用所述矿井场景图像训练样本训练分类算法模型，可以具体实施下列步骤：

步骤S41：通过yolov3算法模型的特征提取网络对所述矿井场景图像训练样本进行提取样本特征，得到预设尺寸的特征图；

步骤S42：根据对象的中心坐标的位置与网格单元的位置关系，确定网格单元的预测对象；

步骤S43：利用所述样本特征，调整参数配置，得到训练后的矿井场景分类模型。

更进一步地，如果使用的分类算法模型为yolov3算法模型，那么具体步骤如下：(1)通过特征提取网络对输入的图片进行提取特征，得到一定尺寸的特征图，比如13*13，然后将输入图像分成13*13个grid cell；(2)如果ground truth中某个对象的中心坐标落在某一网格单元中，那么就由该网格单元来预测该对象，因为每个网格单元都会预测固定数量的边框yolov3中是3个，这3个边框的初始尺寸是不一样的，这3个边框中只有和groundtruth的IOU最大的边框才是用来预测该对象的；经过预测得到的输出特征图有两个维度是提取到的特征的维度，然后进行模型的测试阶段，在测试过程中通过分析日志文件中的loss值、IOU值及模型的召回率值来修改模型中的参数配置，此时，针对各个场景的标准模型已经成型。当然，也可以使用其他的分类算法模型，并且利用相适应的方法利用训练样本对分类算法模型进行训练，以得到井场景分类模型。

具体地，矿井场景分类模型的残差块在各层输出和输入之间设置一个用于直接跳过一个或多个卷积层的恒等快捷连接块；

所述残差块是计算公式如下：

x_l+1＝f(h(x_l)+F(x_l，W_l))；

其中x_l和x_l+1分别表示第l个残差块的输入和输出，W_l为残差函数F学到的参数，h(x_l)表示恒等快捷连接，f为ReLU激活函数，所述矿井场景分类模型从浅层l到深层L的特征x_L表示为：

所述矿井场景分类模型的误差反向传播的计算公式为：

其中，

表示残差块在整个网络输出层L的梯度，括号中的数字1表示恒等快捷连接；

表示带有权重W_l的残差梯度。

在上述具体实施方式的基础上，本具体实施方式中，具体地，应用本发明实施例中的矿井场景分类模型时，为了达到利用所述矿井场景分类模型对待分类矿井场景图像进行分类的目的，可以实施以下步骤：

步骤S51：获取待分类矿井场景图像；

步骤S52：将所述待分类矿井场景图像中的区域特征与矿井场景分类模型中的预设场景特征做识别，得到识别结果；

步骤S53：根据所述识别结果，确定是否将于所述预设场景特征对应的分类标签关联到所述矿井工作场景图像。

例如，识别出待分类矿井场景图像为井下炸药库的场景图像，那么可以将该待分类矿井场景图像对应的视频数据进行以下处理：对进出人员进行人脸识别与纸质登记记录比对，统计进出人员数目，对所领取爆破材料的种类与数量进行识别并与领取人员进行对应记录。

例如，识别出待分类矿井场景图像为油库，那么可以将该待分类矿井场景图像对应的视频数据进行以下处理：主要是对进入内部的人员的人脸识别并统计出入人员。

例如，识别出待分类矿井场景图像为井底车场中猴车区域，那么可以将该待分类矿井场景图像对应的视频数据进行以下处理：对下车后的工作人员进行人脸识别登记并统计出入人员数目，识别工作人员装备(如安全帽等佩戴设备)及现场秩序，对于猴车是否挂放到预设位置等。

例如，识别出待分类矿井场景图像为井下硐室，那么可以将该待分类矿井场景图像对应的视频数据进行以下处理：井下硐包括避难硐室、中央水泵房、重型设备组装硐室、消防材料库、中央变电所、采区变电所、工作面配电点、候车室。避难硐室内对人脸识别登记并统计进出人员数目。中央水泵房对进出人员数进行统计，巡检人员操作动作规范性进行识别，并通过水位标尺刻度的识别来检测水位。消防材料库、重型设备组装硐室对进入室内的人员进行人脸识别统计数目。中央变电所、采区变电所、工作面配电点主要对进出人员人脸识别，统计进出人员数目。候车室进行工作人员装备(如安全帽、工作服、胶鞋、矿灯等佩戴设备)。统计出入井人员信息并核对，判别现场秩序是否混乱等。

例如，识别出待分类矿井场景图像为掘进工作面，那么可以将该待分类矿井场景图像对应的视频数据进行以下处理：掘进工作面中掘进机头部需对处于该探水作业区域内的人员数量统计，并识别其在探水作业中操作机器的违规性动作。掘进巷中主要针对该区域堆煤情况，瓦斯抽采情况的识别。

例如，识别出待分类矿井场景图像为运输巷道，那么可以将该待分类矿井场景图像对应的视频数据进行以下处理：运输巷道(皮带巷)中主要包括皮带机头、皮带中部、皮带机尾、皮带受煤处、漏煤眼、煤仓、轨道运输七个区域。其中皮带机头、皮带中部、皮带机尾、皮带受煤处此四处区域主要识别是否有煤、堆煤等情况；皮带是否启停、撕裂、断带、跑偏；运输皮带上是否有异物(锚杆、巨大煤块等)，工作人员是否在皮带安全距离对其进行操作等识别。另外还应检测在长时间工作状态下由于温度升高而致使皮带冒烟的情况。在漏煤眼处对当前堆煤状况进行检测并识别异物(锚杆、巨大煤块等)；在煤仓处对堆煤的高度进行检测；矿车在运行时是否有人员穿过。根据井下实际情况对各个监控增设环境异常变化情况监测功能(针对粉尘、烟雾等突然出现而导致的环境突变进行监测)；并对各监控区域内失物情况及人员状况进行检测。

也就是说，本发明实施例，能够将海量的视频图像进行分类，并且输入到正确的识别检测模块中进行具体的识别过程，从而利于整个识别装置，各个识别模块的运行,在现有技术中，存在大量的视频，然而这些视频混在一起，不便于后期对特定场景的视频进行特定的识别处理，因此，需要将这些矿井图像、视频进行区分，在大量混杂的视频、图像中对矿井图像场景分类，利于后期对不同的视频、图像进行识别处理。

请参考图6，图6为本发明实施例提供一种矿井图像场景分类装置的组成结构示意图。

本发明实施例提供一种矿井图像场景分类装置600，包括：

样本获取模块610，用于获取矿井场景图像训练样本；

模型训练模块620，用于利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；

分类进行模块630，用于用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。

请参考图7，图7为本发明一种具体实施方式提供的矿井图像场景分类设备的结构示意图。

本发明实施例提供一种矿井图像场景分类设备700，包括：

存储器710，用于存储计算机程序；

处理器720，用于执行所述计算机程序时实现如上述任一种实施例所述的矿井图像场景分类方法的步骤。

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种实施例所述的矿井图像场景分类方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

请参考图8，图8为本发明实施例提供一种矿井图像场景分类识别系统的组成结构示意图。

本发明实施例提供一种矿井图像场景分类识别系统800，包括：摄像机810、矿井图像场景分类装置820、图像场景识别装置830；

所述摄像机810，用于获取矿井场景图像训练样本和/或待分类矿井场景图像，并将所述矿井场景图像训练样本和/或所述待分类矿井场景图像传输到所述矿井图像场景分类装置820；

所述矿井图像场景分类装置820，用于实现如上述任一具体实施方式中所述矿井图像场景分类方法的步骤，并将得到的分类结果输入到所述图像场景识别装置830；

所述图像场景识别装置830，包括：用于识别不同矿井场景的N个场景识别模块；其中，N为正整数。

具体地，N个所述场景识别模块包括下列模块中的一种或一种以上的组合：井口区域识别模块、煤场识别模块、筒仓识别模块、绞车房识别模块、压风机房识别模块、调度室识别模块、通风机房识别模块、地面变电所识别模块、井下炸药库识别模块、油库识别模块、井底车场中猴车区域识别模块、避难硐室识别模块、中央水泵房识别模块、消防重型设备组装硐室识别模块、变配电识别模块、候车室识别模块、掘进工作面识别模块、掘进巷识别模块、运输巷道识别模块、煤仓识别模块、环境异常监测模块；

所述井口区域识别模块，用于进行人脸识别并与工作卡信息比对、识别工作人员装备；统计入井人员数目；判别现场秩序是否混乱；

所述煤场识别模块，用于对煤场内煤炭堆放状态、进出煤场车辆进行识别登记，利用红外设备来对煤炭堆是否自燃进行检测；

所述筒仓识别模块，用于对煤堆高度进行测量并对筒仓内煤是否自燃进行检测；

所述绞车房识别模块，用于对进出机房的人员进行人脸识别统计进出人数；对内部操作人员进行设备操作时禁止性违规行为识别；对机房内人员值班情况进行识别；

所述压风机房识别模块，用于对进入机房内部的人员进行人脸识别统计出入人员数目；计算人员对设备进行巡检间隔时间；并识别人员对设备检测时违规行为；识别局扇进风口前是否有易被吸入的杂物；

所述调度室识别模块，用于对值班人员是否脱岗、离岗进行人脸识别；

所述通风机房识别模块，用于对进入内部工作人员进行人脸识别并统计出入人员；

所述地面变电所识别模块，用于对地面变电所内工作人员是否在岗进行人脸识别；对所内开关闸提示牌信息进行识别；

所述井下炸药库识别模块，用于对进出人员进行人脸识别与纸质登记记录比对，统计进出人员数目，对所领取爆破材料的种类与数量进行识别并与领取人员进行对应记录；

所述油库识别模块，用于对进入内部的人员的人脸识别并统计出入人员；

所述井底车场中猴车区域识别模块，用于对下车后的工作人员进行人脸识别登记并统计出入人员数目；识别工作人员装备及现场秩序；对于猴车是否挂放到预设位置进行识别；

所述避难硐室识别模块，用于对人脸识别登记并统计进出人员数目；

所述中央水泵房识别模块，用于对进出人员数进行统计，巡检人员操作动作规范性进行识别，并通过水位标尺刻度的识别来检测水位；

所述消防重型设备组装硐室识别模块，用于对进入防材料库、重型设备组装硐室内的人员进行人脸识别统计数目；

所述变配电识别模块，用于对中央变电所、采区变电所、工作面配电点的进出人员人脸识别；统计进出人员数目；

所述候车室识别模块，用于对候车室的工作人员装备进行识别检查；统计出入井人员信息并核对，判别现场秩序是否混乱；

所述掘进工作面识别模块，用于在掘进工作面中掘进机头部对处于探水作业区域内的人员数量统计；并识别作业人员探水作业中操作机器的违规性动作；

所述掘进巷识别模块，用于对掘进巷中堆煤情况、瓦斯抽采情况的识别；

所述运输巷道识别模块，用于在皮带机头、皮带中部、皮带机尾、皮带受煤处识别是否有煤、堆煤情况；识别皮带是否启停、撕裂、断带、跑偏；识别运输皮带上是否有异物；识别工作人员是否在皮带安全距离；对工作人员进行操作识别；识别是否存在长时间工作状态下由于温度升高而致使皮带冒烟的情况；在漏煤眼处对当前堆煤状况进行检测并识别异物；

所述煤仓识别模块，用于在煤仓处对堆煤的高度进行检测；对矿车在运行时是否有人员穿过进行识别；

所述环境异常监测模块，用于根据井下实际情况对各个监控的环境异常变化情况进行监测识别；对各监控区域内失物情况及人员状况进行检测。

当然，上述的各个模块，并不一定能够囊括所有在矿井中的工作场景，因此如果还有其他的工作场景的具体识别，也在本发明实施例的保护范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种矿井图像场景分类方法，其特征在于，包括：

获取矿井场景图像训练样本；

利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；

利用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。

2.根据权利要求1所述的矿井图像场景分类方法，其特征在于，

所述获取矿井场景图像训练样本，包括：

收集预设数量的矿井场景图像；

对所述矿井场景图像进行预处理，得到相同形式的标准图像；

将所述标准图像使用分类标签进行标记，得到矿井场景图像训练样本。

3.根据权利要求2所述的矿井图像场景分类方法，其特征在于，

所述对所述矿井场景图像进行预处理，包括：

将所述矿井场景图像利用预设公式进行归一化，得到归一化图像；

从所述归一化图像中删除不符合训练条件的图像，得到筛选图像；

对所述筛选图像进行降噪处理，得到标准图像。

4.根据权利要求3所述的矿井图像场景分类方法，其特征在于，

所述对所述矿井场景图像进行预处理，还包括：对矿井场景图像进行数据增强；

所述对矿井场景图像进行数据增强具体为：对所述标准图像进行下列处理中的一种或一种以上的组合：旋转图像、剪切图像、改变图像色差、扭曲图像特征、改变图像尺寸大小、增强图像噪音。

5.根据权利要求1所述的矿井图像场景分类方法，其特征在于，

所述利用所述矿井场景图像训练样本训练分类算法模型，包括：

通过yolov3算法模型的特征提取网络对所述矿井场景图像训练样本进行提取样本特征，得到预设尺寸的特征图；

根据对象的中心坐标的位置与网格单元的位置关系，确定网格单元的预测对象；

利用所述样本特征，调整参数配置，得到训练后的矿井场景分类模型。

6.根据权利要求5所述的矿井图像场景分类方法，其特征在于，

所述矿井场景分类模型的残差块在各层输出和输入之间设置一个用于直接跳过一个或多个卷积层的恒等快捷连接块；

所述残差块是计算公式如下：

x_l+1＝f(h(x_l)+F(x_l，W_l))；

其中x_l和x_l+1分别表示第l个残差块的输入和输出，W_l为残差函数F学到的参数，h(x_l)表示恒等快捷连接，f为ReLU激活函数，所述矿井场景分类模型从浅层l到深层L的特征x_L表示为：

所述矿井场景分类模型的误差反向传播的计算公式为：

其中，

表示残差块在整个网络输出层L的梯度，括号中的数字1表示恒等快捷连接；

表示带有权重W_l的残差梯度。

7.根据权利要求1至6任一项所述矿井图像场景分类方法，其特征在于，

所述利用所述矿井场景分类模型对待分类矿井场景图像进行分类，包括：

获取待分类矿井场景图像；

将所述待分类矿井场景图像中的区域特征与矿井场景分类模型中的预设场景特征做识别，得到识别结果；

根据所述识别结果，确定是否将于所述预设场景特征对应的分类标签关联到所述矿井工作场景图像。

8.一种矿井图像场景分类装置，其特征在于，包括：

样本获取模块，用于获取矿井场景图像训练样本；

模型训练模块，用于利用所述矿井场景图像训练样本训练分类算法模型，得到矿井场景分类模型；

分类进行模块，用于用所述矿井场景分类模型对待分类矿井场景图像进行分类，得到分类结果。

9.一种矿井图像场景分类设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述矿井图像场景分类方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述矿井图像场景分类方法的步骤。

11.一种矿井图像场景分类识别系统，其特征在于，包括：摄像机、矿井图像场景分类装置、图像场景识别装置；

所述摄像机，用于获取矿井场景图像训练样本和/或待分类矿井场景图像，并将所述矿井场景图像训练样本和/或所述待分类矿井场景图像传输到所述矿井图像场景分类装置；

所述矿井图像场景分类装置，用于实现如权利要求1至7任一项所述矿井图像场景分类方法的步骤，并将得到的分类结果输入到所述图像场景识别装置；

所述图像场景识别装置，包括：用于识别不同矿井场景的N个场景识别模块；其中，N为正整数。

12.根据权利要求11所述的矿井图像场景分类识别系统，其特征在于，

N个所述场景识别模块包括下列模块中的一种或一种以上的组合：井口区域识别模块、煤场识别模块、筒仓识别模块、绞车房识别模块、压风机房识别模块、调度室识别模块、通风机房识别模块、地面变电所识别模块、井下炸药库识别模块、油库识别模块、井底车场中猴车区域识别模块、避难硐室识别模块、中央水泵房识别模块、消防重型设备组装硐室识别模块、变配电识别模块、候车室识别模块、掘进工作面识别模块、掘进巷识别模块、运输巷道识别模块、煤仓识别模块、环境异常监测模块；

所述井口区域识别模块，用于进行人脸识别并与工作卡信息比对、识别工作人员装备；统计入井人员数目；判别现场秩序是否混乱；

所述煤场识别模块，用于对煤场内煤炭堆放状态、进出煤场车辆进行识别登记，利用红外设备来对煤炭堆是否自燃进行检测；

所述筒仓识别模块，用于对煤堆高度进行测量并对筒仓内煤是否自燃进行检测；

所述绞车房识别模块，用于对进出机房的人员进行人脸识别统计进出人数；对内部操作人员进行设备操作时禁止性违规行为识别；对机房内人员值班情况进行识别；

所述压风机房识别模块，用于对进入机房内部的人员进行人脸识别统计出入人员数目；计算人员对设备进行巡检间隔时间；并识别人员对设备检测时违规行为；识别局扇进风口前是否有易被吸入的杂物；

所述调度室识别模块，用于对值班人员是否脱岗、离岗进行人脸识别；

所述通风机房识别模块，用于对进入内部工作人员进行人脸识别并统计出入人员；

所述地面变电所识别模块，用于对地面变电所内工作人员是否在岗进行人脸识别；对所内开关闸提示牌信息进行识别；

所述井下炸药库识别模块，用于对进出人员进行人脸识别与纸质登记记录比对，统计进出人员数目，对所领取爆破材料的种类与数量进行识别并与领取人员进行对应记录；

所述油库识别模块，用于对进入内部的人员的人脸识别并统计出入人员；

所述井底车场中猴车区域识别模块，用于对下车后的工作人员进行人脸识别登记并统计出入人员数目；识别工作人员装备及现场秩序；对于猴车是否挂放到预设位置进行识别；

所述避难硐室识别模块，用于对人脸识别登记并统计进出人员数目；

所述中央水泵房识别模块，用于对进出人员数进行统计，巡检人员操作动作规范性进行识别，并通过水位标尺刻度的识别来检测水位；

所述消防重型设备组装硐室识别模块，用于对进入防材料库、重型设备组装硐室内的人员进行人脸识别统计数目；

所述变配电识别模块，用于对中央变电所、采区变电所、工作面配电点的进出人员人脸识别；统计进出人员数目；

所述候车室识别模块，用于对候车室的工作人员装备进行识别检查；统计出入井人员信息并核对，判别现场秩序是否混乱；

所述掘进工作面识别模块，用于在掘进工作面中掘进机头部对处于探水作业区域内的人员数量统计；并识别作业人员探水作业中操作机器的违规性动作；

所述掘进巷识别模块，用于对掘进巷中堆煤情况、瓦斯抽采情况的识别；

所述运输巷道识别模块，用于在皮带机头、皮带中部、皮带机尾、皮带受煤处识别是否有煤、堆煤情况；识别皮带是否启停、撕裂、断带、跑偏；识别运输皮带上是否有异物；识别工作人员是否在皮带安全距离；对工作人员进行操作识别；识别是否存在长时间工作状态下由于温度升高而致使皮带冒烟的情况；在漏煤眼处对当前堆煤状况进行检测并识别异物；

所述煤仓识别模块，用于在煤仓处对堆煤的高度进行检测；对矿车在运行时是否有人员穿过进行识别；

所述环境异常监测模块，用于根据井下实际情况对各个监控的环境异常变化情况进行监测识别；对各监控区域内失物情况及人员状况进行检测。

Images