CN109977853A - 一种基于多辨识器的矿井群体全景监控方法 - Google Patents

Abstract

本发明涉及目标跟踪定位技术领域，一种基于多辨识设备的井下工人全景监控方法，在矿井工人身上做身份标记，将所有矿井工人的身份标记信息输入控制电脑中，在每个矿井工人进入矿井时，通过安装在矿井口的探测设备对矿井工人的身份标记进行采集并输入控制电脑中，通过身份标记信息确定进入矿井的矿井工人；通过安装在矿井中的多处辨识器采集处于矿井中各处的矿井工人的身份标注、地址定位、工作状态、所处地址的停留时间然后输入到控制电脑；通过控制电脑在步骤一和步骤二采集到的信息和电脑中存储的矿井地图，监测每个进入矿井的矿工，利用辨识算法进行处理，绘制出每个进入矿井的矿工的轨迹图；在一个终端上，以图像形式显示井下工人位置和工作状态。

Description

一种基于多辨识器的矿井群体全景监控方法

技术领域

本发明涉及目标跟踪定位技术领域，尤其是涉及一种基于多辨识器的矿井群体目标全景监控方法。

背景技术

在我国的能源战略以及社会发展中，煤矿行业始终扮演着非常重要的角色。在这其中，煤矿安全更是煤炭行业里的重中之重。

煤矿安全事故一方面是由煤矿复杂地质与开采条件造成的，另一方面是由工作人员的不安全行为触发的。

对于第二方面我们可以通过视频监控系统对煤矿不安全行为加以识别制止，从而避免事故的发生。然而，目前以人为中心的井下视频监控模式存在持续时间受限、多场景同时监视困难、人工监视结果处理不及时等问题。

鉴于此，发明人利用多辨识器对矿井所有工人进行实时监测，对每个工人的轨迹动态进行实时更新 ， 因此，该方法实现对矿工的实时目标跟踪定位对保障煤矿安全具有重要意义。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于主动辨识算法的矿井群体目标快速跟踪定位方法，对于矿井目标的跟踪定位具有准确性高、省时省力的优点。

本发明的目的可以通过以下技术方案来实现：

步骤一、在矿井工人身上做身份标记，将所有矿井工人的身份标记信息输入控制电脑中，在每个矿井工人进入矿井时，通过安装在矿井口的探测设备对矿井工人的身份标记进行采集并输入控制电脑中，通过身份标记信息确定进入矿井的矿井工人；

步骤二、通过安装在矿井中的多处辨识器采集处于矿井中各处的矿井工人的身份标注、地址定位、工作状态、所处地址的停留时间然后输入到控制电脑；

步骤三、通过控制电脑在步骤一和步骤二采集到的信息和电脑中存储的矿井地图，监测每个进入矿井的矿工，利用辨识算法进行处理，绘制出每个进入矿井的矿工的轨迹图，辨识算法包括目标检测算法、工人定位算法以及井下地图结构重建算法；

步骤四、在一个终端上，以图像形式显示井下工人位置和工作状态。

其中步骤一中的矿井工人的身份标记，指的是无线射频识别技术中的RFID（RedioFrequency IDentification ）电子标签，RFID电子标签的阅读器通过天线与RFID电子标签进行无线通信，可以实现对标签识别码和内存数据的读出和写入操作。而电子标签中存有矿工工人个人数据，每个工人携带不同的电子标签，则对所有矿工进行了身份标记。采用的标记物为电子标签，常见的二维码标签或条形码标签，或者不限型号普通传感器此处仅为一种身份标识方式，但不限于此，对于不同图案图形数字等等代表不同工人的预处理标记方式均可。其中探测设备针对无线射频技术是RFID电子标签阅读器，针对图形数字的识别也可以是普通摄像机。

其中步骤二中提及的多辨识器指一切可以采集图像、距离以及时间等各方面信息的设备，我们常用的普通监控摄像机即可，但不限于此。固定监控摄像机安装在矿井巷道的拐角以及下井各工作位置，保证监控视角的最大化。通过多个监控摄像头或者其他可以采集同样数据的设备即可完成所需数据信息。

其中目标检测算法采用预先训练好的神经网络对辨识器采集的图像进行目标任务的识别以及定位。

对于预训练的神经网络采用如下方式获取:

首先对于采集矿井工人运动的视频，采用截取为视频帧的形式进行保存。

对每一帧截取的的图片进行存储，再采用LabImage图形标记工具对采集图像进行人物标记。制作完成训练集以及测试集。

其次利用制作完成的训练集图片对目标检测网络进行预训练，预训练目的在于提高目标检测识别准确度。

最后保存经过训练集预训练后的神经网络模型。可以用测试集对训练好的模型进行检验其准确度。

结合步骤二的辨识器采集的视频数据，用测试集对训练好的模型进行检验其准确度。对于网络精度不足我们可以通过加深网络结构或者

结合步骤三的目标检测算法，对每一个辨识器采集的数据，其中辨识器所说的数据，在这里可以指摄像头采集的视频数据，对视频数据中的目标进行实时标定，此次标定只是针对于背景和人的区分。效果即是对视频中的人物框出来，尚未精确到个人的精确信息。

结合步骤三目标检测算法的结果进行定位精确到个人的第一种实施方案，采用无线射频识别技术，对于矿井工人提前进行标签标记，辨识器采集的数据和阅读器读取的个人信息进行数据融合，以精确定位到个人。

结合步骤三目标检测算法的结果进行定位精确到个人的第二种实施方案，采用图像识别技术提前进行信息采集的矿工，不同图形代替不同矿工的个人信息，将辨识器采集的图像信息和提前采集的矿工信息进行数据的融合来定位出个人。

结合步骤三目标检测算法的结果进行定位精确到个人的第三种实施方案，采用传感器识别技术，每个矿工身上携带含有自己个人信息的传感器，传感器可以镶嵌在衣服上，待矿工经过辨识器附近时可以被探测设备检测到即可确定矿工的身份，结合辨识器采集到的位置信息、时间信息以及方向信息对矿井工人的全方位信息进行融合，即可得到每个矿工的运动轨迹。

结合步骤三目标检测算法的结果进行定位精确到个人的第四种实施方案，采用显性材料的数字识别技术，当经过辨识器时，辨识器可以通过不同识别特殊显性的数字进行矿工身份信息的确定。

步骤三所包含的多辨识器空时融合算法中的辨识器包括摄像头，但不限于此，所有具有采集信息的显示功能仪器的均属于辨识器范畴。对于多辨识器的数据融合对于矿井工人的运动轨迹的描绘具有重要意义。

工人定位算法中主要实现的功能就是将矿井工人距离辨识器的位置给确定，以便于准确的勾勒出其在全景地图中的位置。

工人定位算法的实现步骤如下：

S1：将辨识器（此处指摄像机）采集的数据通过opencv中的算法进行处理，进行相机的标定，通过标定得到相机的内外参数，在通过对图片去畸变以及计算反投影误差得到更加准确地图形。

S2：对于已经确定的辨识器位置以及结构参数利用相册三角形原理即可得到目标物体距离辨识器的距离。

井下地图结构重建算法的实现步骤如下：

U1：对于目标较少的场景，采用基于跟踪序列的信息比较方法进行融合。

U2：对于场景中目标较多情况，根据辨识器的标定信息进行融合。

对于其中的U1情况：

由于场景中目标较少情况下，场景较为简单。这种情况下每个视角下目标数量较少，目标的特征集合也较为简单，易于比较。具体操作中介绍详细操作步骤。

对于其中的U2处理如下：

采用辨识器采集的数据，从数据里得到一些空间信息（比如距离，尺寸等），是要利用二维图像得到三维信息。

我们把空间物体信息通过辨识器变成了二维图像，这个过程本来是不可逆的。但如果我们可以找到一个辨识器的数学模型，就可以：从二维图像+模型逆推得到原来三维信息。

标定就是在找这个模型，通过找到模型结合数据最后我们就可以构建三维空间图像。

通过对于标定信息的学习，从而建立不同视角之间的点和点的对应关系。通过点和点的对应关系可以建立目标与目标之间的对应关系，从而实现全景目标的融合。

其中运动过程中可能出现的目标遮挡问题，本发明采用的打分机制，对于被遮挡部分打较低分数，采用非极大值抑制算法来抑制遮挡情况对跟踪结果的影响。

本发明基于多辨识器对于群体目标的全景监控具有很好的实用性。利用辨识器采集的数据信息结合主动标记的目标信息进行匹配，继而对于多辨识器采集的空时信息融合得到群体目标的全景监控图。省时省力，节约人力成本，对于矿井工人的安全性有很大提高。达到了准确性和快速性俱佳的效果。

本发明的主要优点在于采用了主动身份标识方法对于准确的确认矿井工人身份信息有重要意义，保证了准确性；其次采用了辨识算法、工人定位算法以及井下地图结构重建算法对于井下工人的运动轨迹和工作状态进行及时监控；最后通过以上算法将井下工人全景以地图和示例显示在一个终端上，解决了多场景监控困难的难题。

具体实施方式

为了将本发明的目的、操作方式、优点以及技术难点表达的更加清晰，下面结合实例进行叙述，但实例仅仅是本发明的一小部分，不是全部范围，任何采用这种方法，都属于本发明的保护范围内。

由于矿井中视频监控存在许多不足，人在监控过程中存在持续时间受限，多场景同时监控困难，时效性以及准确性随着时间推迟都会大大降低，对于处理结果也存在着延时和落后，导致矿井安全监控不足 。基于此，本发明提供了一种基于主动辨识算法的矿井群体目标跟踪定位方法。提高了准确性和快速性，具有很强的实用性。

本发明中首先进行了对于矿井工人的一个数据采集，基于采集的数据和井下辨识器采集的数据进行数据融合，确定单辨识器下每个矿井工人的身份，单辨识器的安装应遵循每个矿道拐角处、出入口以及下井处，要求监控画面能够无缝覆盖出入口。最后进行多辨识器的数据融合得到每个矿井工人的运动轨迹路线图。

首先参见需要对辨识器进行程序编写，采用的目标检测算法使辨识器可以准确框定人，并且区别于背景。

步骤一：在矿井工人身上做身份标记，将所有矿井工人的身份标记信息输入控制电脑中，在每个矿井工人进入矿井时，通过安装在矿井口的探测设备对矿井工人的身份标记进行采集并输入控制电脑中，通过身份标记信息确定进入矿井的矿井工人；通过探测设备对于井下矿井工人进行快速标定。

步骤二：通过安装在矿井中的多处辨识器采集处于矿井中各处的矿井工人的身份标注、地址定位、工作状态、所处地址的停留时间然后输入到控制电脑；通过无线射频识别技术，当工人经过辨识器附近，辨识器绑定无线射频识别技术中的阅读器，可以直接确定矿井工人身份信息。

步骤三：通过控制电脑在步骤一和步骤二采集到的信息和电脑中存储的矿井地图，监测每个进入矿井的矿工，利用辨识算法进行处理，绘制出每个进入矿井的矿工的轨迹图；对于阅读器中存储的工人信息和辨识器所框定的目标信息进行信息融合，也即将目标检测算法中框定的每一个目标信息和标签中所存储的矿工信息进行匹配，以确定单一辨识器下的每个个体目标运动方向、时间以及距离辨识器的远近信息。

步骤四：在一个终端上，以图像形式显示井下工人位置和工作状态。基于多辨识的空时信息融合。利用多辨识器在辨识器坐标系下采集的包括时间、位置以及距离的数据信息，将二维信息构建为世界坐标系下的三维图像，即包含三维空间中物体和相机之间的坐标位置的图像。辨识器坐标系,即以辨识器作为原点的坐标系，取辨识方向为正方向。图像坐标系，即以目标人物图像的左上方建立图像物理坐标系。通过上述坐标系转换，得到世界坐标系目标的三维坐标点和二维图像坐标系中像素点的空间对应关系。最终得到矿井工人在井底的运动轨迹图。

其中的井下地图重建算法提到了两个方面：

U1：对于目标较少的场景，采用基于跟踪序列的信息比较方法进行融合。

U101：假设有两个辨识器A1和A2对应的跟踪序列分别为{B1，B2,…,Bm}和{C1,C2,…,Cn}}.其中由于两个辨识器中的人物数目不一定相同，所以m不一定等于n。

U102:对于A1中的某个跟踪序列Bi分别计算与A2中当前目标的具有时间重叠部分的跟踪序列距离，取其中距离最小的跟踪序列。

U103：对于A1剩下的每个跟踪序列信息进行同样的操作，最后采用优化算法确定一个最优解。

U104：以A1和A2为基础，对于剩下的辨识器依次进行同样的处理，便可以实现多辨识器的信息融合。

U2：对于场景中目标较多情况，根据辨识器的标定信息进行融合。

U201：对于辨识器学习的标定信息以后，可以利用方向、时间以及距离就可以获取到不同辨识器下的空间对应关系。

U202：同一个场景中的所有视角都对应于同一个三维空间，经过三维空间的过渡，就可以得到二为图像中点的一一对应关系。

U203：基于这种对应关系，结合定位算法的距离测定进行多辨识器的信息融合得到所需的井下全景监控图。

最后说明，本发明的实例说明不作为范围限定，仅为具体实施方式的一种技术方案，未对其进行限制，任何对本发明的替换、修改以及非创造性活动都应该包含在本发明的保护范围之内。因此，本发明的保护范围应以权利保护范围为准。

Claims (6)

1.一种基于多辨识设备的井下工人全景监控方法，其特征在于，包括如下步骤：

步骤一、在矿井工人身上做身份标记，将所有矿井工人的身份标记信息输入控制电脑中，在每个矿井工人进入矿井时，通过安装在矿井口的探测设备对矿井工人的身份标记进行采集并输入控制电脑中，通过身份标记信息确定进入矿井的矿井工人；

步骤二、通过安装在矿井中的多处辨识器采集处于矿井中各处的矿井工人的身份标注、地址定位、工作状态、所处地址的停留时间然后输入到控制电脑；

步骤三、通过控制电脑在步骤一和步骤二采集到的信息和电脑中存储的矿井地图，监测每个进入矿井的矿工，利用辨识算法进行处理，绘制出每个进入矿井的矿工的轨迹图；

步骤四、在一个终端上，以图像形式显示井下工人位置和工作状态。

2.根据权利要求1所述的一种基于多辨识器的矿井群体全景监控方法，其特征在于：身份标记为无线射频识别技术中的RFID电子标签，探测设备为RFID电子标签的阅读器和摄像头。

3.根据权利要求1所述的一种基于多辨识器的矿井群体全景监控方法，其特征在于：所述辨识算法包括目标检测算法、工人定位算法以及井下地图结构重建算法。

4.根据权利要求3所述的一种基于多辨识器的矿井群体全景监控方法，其特征在于：目标检测算法采用预先训练好的神经网络对辨识器采集的图像进行目标任务的识别以及定位，对于预训练的神经网络采用的获取方式为，首先对于采集矿井工人运动的视频，采用截取为视频帧的形式进行保存，其次利用采集的视频图片对目标检测网络进行预训练以提高识别准确度，最后保存训练后的神经网络模型。

5.根据权利要求4所述的一种基于多辨识器的矿井群体全景监控方法，其特征在于：步骤三中工人定位算法中的功能是确定矿井工人到可对其识别的辨识器的距离，具体步骤为

S1、将辨识器（此处为摄像机）采集的视频数据通过opencv中的算法进行处理，对采集的图片进行标定，得到相机的内外参数，再对图像进行去畸变；

S2：对于已经确定的辨识器位置以及结构参数利用相似三角形原理即可得到目标物体距离辨识器的距离。

6.根据权利要求5所述的一种基于多辨识器的矿井群体全景监控方法，其特征在于：井下地图结构重建算法的实现步骤为：

U1、对于目标较少的场景，采用基于跟踪序列的信息比较方法进行融合；

U2、对于场景中目标较多情况，根据辨识器的标定信息进行融合。