CN112037248A - 一种基于计算机视觉的矿井下人员跟踪算法 - Google Patents

一种基于计算机视觉的矿井下人员跟踪算法 Download PDF

Info

Publication number
CN112037248A
CN112037248A CN202010004195.2A CN202010004195A CN112037248A CN 112037248 A CN112037248 A CN 112037248A CN 202010004195 A CN202010004195 A CN 202010004195A CN 112037248 A CN112037248 A CN 112037248A
Authority
CN
China
Prior art keywords
image
mine
personnel
target
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010004195.2A
Other languages
English (en)
Inventor
张玉萍
李延青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010004195.2A priority Critical patent/CN112037248A/zh
Publication of CN112037248A publication Critical patent/CN112037248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于计算机视觉的矿井下人员跟踪算法，利用计算机视觉技术，通过视频图像处理，能够快速完成在矿难发生时井下人员的检测，方便救援。实时性高，鲁棒性好，精度高，成本低。能够有效克服矿井下的照度低，光照不均匀，手电筒光照的干扰，目标和背景高度相似等显示困难，对矿井下人员进行有效的检测与跟踪，不仅能在事故发生后提供准确的人员位置信息，积极快速的开展营救，而且在平时的生产中也能实时的掌握人员分布情况，安排和调度工作，提高煤炭生产的管理水平。

Description

一种基于计算机视觉的矿井下人员跟踪算法
技术领域
本发明属于矿井下人员检测领域，更为具体地讲，涉及一种基于计算机视觉的井下人员跟踪算法。
背景技术
现阶段，我国煤矿井下人员定位系统致力于提高定位的精度，降低定位复杂度，降低 系统能耗、成本，提高系统的推广性，目前比较常见的算法基于测距类型的算法有：接收信 号强度值(RSSI)算法、到达时间(TOA)、到达时间差(TDOA)和到达(AOA)四种定位算法。
由于煤炭开采以井下开采为主要模式，使得矿工成为一种高危职业，限于国内煤炭生产的现状，对井下人员的监控还不完善，特别是在矿难发生时，由于对井下人员的分布情况掌握不够准确，定位技术低、定位不准确，给救援工作带来了很大的困难，无法获知矿工的具体位置，就无法施展最有效的营救方案，由此耽误救援工作的情况时有发生，因此，建立一个实时的、有效的井下人员跟踪定位系统，不仅能在事故发生后提供准确的人员位置信息，积极快速的开展营救，而且在平时的生产中也能实时的掌握人员分布情况，安排和调度工作，提高煤炭生产的管理水平。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于计算机视觉的井下人员检测方法，在发生矿难时，检测矿井下的人员情况，方便救援。
为了实现以上目的，本发明基于计算机视觉的井下人员检测方法，包括以下步骤：
(1)图像预处理
图像预处理完成图像增强：矿井下照度很低，利用Retinex算法完成图像增强，提高图像的清晰度，改善图像的视觉效果；
(2)预测框的生成与筛选
将图像分成7×7的均等栅格，生成每个栅格生成两个预测框，用NMS算法进行预测框的筛选；
(3)目标检测
目标检测主要是完成在矿难发生时的人员检测，提取当前帧视频，对其进行预处理，利用YOLO算法完成人员检测。
本发明的目的是这样实现的：
本发明基于计算机视觉的井下人员检测方法，利用计算机视觉技术，通过视频图像处理，能够精确完成矿井下人员的检测及跟踪，实时性高，鲁棒性好，有效克服矿井下视频照度低、不清晰、光照不均匀、手电筒光照的干扰，目标和背景高度相似等显示困难，自动识别矿井下人员的分布情况，在发生矿难时，提高救援可行性，降低救援难度，成本低，效率高。
附图说明
图1为矿井下人员检测算法框图。
图2为FMR算法路径示意图。
图3为网络训练预测框准确度。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明，需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
在本实施例中，如图1所示，本发明基于计算机视觉的矿井下人员检测方法主要包括图像预处理、预测框的生成与筛选和目标检测。
(1)图像预处理
图像预处理完成图像增强：矿井下照度很低，利用Retinex算法完成图像增强，提高图像的清晰度，改善图像的视觉效果，基于中心环绕的Retinex算法适应于低照度下高动态范围图像增强，人类获取图像来自反射光图像，而物体的反射系数是固定不变的，Retinex图像增强就是在照射光和反射光的共同影响下，去除照射光的影响，以达到图像增强的目的，原始图像记为S(x,y),入射光图像L(x,y),反射光图像R(x,y)则：
S(x,y)＝L(x,y)*R(x,y) (1)
取对数移项得：
log R(x,y)＝log S(x,y)-log L(x,y) (2)
化简得：
r(x,y)＝s(x,y)-l(x,y) (3)
最后估算出物体的照射分量，就可以计算出r(x,y),得到反射光分量R(x,y),反射系数，以此达到图像增强的目的，本发明采用Retinex算法的优化算法FMR(螺旋结构比较)算法来完成图像增强，如图2所示，FMR(螺旋结构比较)算法，在目标点按照顺时针方向由远及近选择像素点，距离目标像素点越近，选择迭代像素点越多(距离目标像素点越近相关性越高)，直到迭代像素点与目标像素点距离为1，灰度图像根据迭代像素点的亮暗关系调整原图的亮度；彩色图像根据R、G、B三通道分别处理，调整完之后按照对应关系把R、G、B融合，达到对图像增强的效果，因此，FMR算法的核心为选择路径上。
现假设起始点为D(x1,y1),终点坐标为E(x2,y2),起始点到终点经过像素点个数N，每一点的像素值分别为(d1,d2,d3,……,dN),则点D(x1,y1)到点E(x2,y2)的关系可以表示为：
Figure BDA0002354622570000021
T(x)表示门限函数，在一张图像中，相邻像素点间像素差值大小随位置不同而变化，门限函数T(x)起到判断相邻像素点差值变化的作用，差值大于某一设定值时，判定相邻像素点差值发生改变，T(x)表示为：
Figure BDA0002354622570000031
由公式(5)可以看出：选取合适的阈值至关重要，对公式(5)取对数化简：
Figure BDA0002354622570000032
由于对像素值取对数后可能会出现负数情况，计算时对原像素值加一再取对数，如公式 (7)所示：
s(x,y)＝log(1+S(x,y)) (7)
FMR对参考像素值个数及选取乃是FMR算法的重中之重，为了提高不同大小像素值的图像，现假设对一m×n图像进行处理，距离目标点最远的距离S为:
S＝2P (8)
P＝fix[log2 min(m,n)-1] (9)
fix为向下取整函数，然后以后的两点距离终点距离为上一步的一半，假设一张大小为大小256×256的图像，P＝fix[log2min(256,256)-1]＝7,S＝128，对于终点E(x,y),则前两个参考点坐标分别为(s(x,y+128),s(x+128,y))，
迭代N次后某点像素值为rn(x,y),为了减小损失函数问题，记：
Figure BDA0002354622570000033
L为终点到起始参考点的亮度差，max表示原图像像素最大值，最终迭代目标点的像素值为：
Figure BDA0002354622570000034
图像中所有像素值rn(x,y)将成为围绕原图像亮度或者R、G、B附近变化的数值，也就是说，经过多次迭代之后对原图像有一个压缩的效果，所以为了提高图像的对比度，采用8bit图像动态对迭代后效果做拉伸处理，8bit范围0-255，拉伸方式如下：
Figure BDA0002354622570000035
max和min表示迭代N次后像素值的最大值和最小值，R(x,y)为FMR最终结果。
(2)预测框的生成与筛选
将图像分成7×7的均等栅格，生成每个栅格生成两个预测框，用NMS算法进行预测框的筛选，YOLO输入层负责对采集的视频图像经过裁剪、拉伸、图像增强等方式处理视频图像像素值为448*448，由于采集的视频数据为彩色，所以需要对红、绿、蓝三个颜色通道进行叠加。
将图片按照比例分成14*14/28*28/56*56三种尺度特征，将它们送入卷积层中，然后经过24个卷积层对输入层的图片进行特征信息提取为以后全连接层分类及位置信息做准备，池化层存在于卷积层之间，主要对卷积层处理的图片下采样、降维等操作，YOLO算法采用最大值替换原来的特征块，若目标中心位于某个网格，则此网格预测该目标的位置(x,y)、预测框大小(x,y)、置信度si,每个目标预测B个预测框，对采集到的边界框进行非极大值抑制 (Non-Maximum Suppression,NMS)处理，选出和目标位置最相近的框作为输出结果，置信度 si按照公式13计算得到：
si＝Pr(O)*IoU (13)
Pr(O)表示当前预测框中有目标的概率，IoU(Intersection over Union，交并比)表示预测框位置和真实目标框位置精确性，假设目标真实框为boxt，预测框为boxp,则IoU可表示为：
Figure BDA0002354622570000041
NMS公式表示为：
Figure BDA0002354622570000042
公式(15)中Nt表示阈值。
现假设B为预测框集合，S为预测框对应的置信度集合，K为对目标预测的最终结果，具体流程为选出每一目标置信度最大的预测框集合添加到K中，并把这些预测框从B集合中去除，计算B集合中每一目标预测框与该目标最大置信度预测框IoU(交并比)，并把置信度大于阈值Nt的预测框删除，NMS算法实质是一个贪心算法，即每次选出与目标标定框最接近的作为当前预测框，所以阈值Nt的选择是传统NMS算法的重点，简单的说，当一个目标置信度为0.85，另一目标置信度为0.76的时候，目标置信度低的会被重置为0，以这种方式去除两相邻目标预测框重复度比较小的，选出和目标最接近的预测框作为检测结果。
(3)目标检测
目标检测主要是完成在矿难发生时的人员检测，提取当前帧视频，对其进行预处理，利用YOLO算法完成人员检测，通过爬虫软件在互联网下载煤矿井下包含人员目标的可见光图像，PASCVAL VOC2012构成数据集，数据集包括训练数据集和测试数据集两部分，并且训练集和测试集按照7:3的比例划分，对数据集进行裁剪、拉伸等操作和统一命名，宽和高像素保持在350-500范围内，宽高像素差控制在100以内，最后利用PASCAL VOC格式标注，人工对数据集标注，共分为煤矿井下人员目标和其他目标两类。
迭代10000次，初始学习率调整为0.01，使网络可以快速稳定，迭代2000次后学习率调整为0.001，使目标函数在一个相对较大的范围内收敛，迭代10000次后学习率调整为0.0001，进一步对收敛区间缩小，得到最好的收敛区间。
用24层卷积层对输入图像提取特征信息，用池化层对图像进行下采样、降维，最终用全连接层对视频数据进行分类和检测，如图3，约经过5000次迭代后，煤矿井下人员目标预测框的准确率稳定在0.8左右，达到本次实验检测人员目标的目的。
以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出改进和补充，这些改进和补充也应该视为本发明的保护范围，凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更改、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的改动、修饰与演变，均仍属于本发明的技术方案的范围内。

Claims (3)

1.一种基于计算机视觉的矿井下人员跟踪算法，包括以下步骤：
(1)、图像预处理
图像预处理完成图像增强：矿井下照度很低，利用Retinex算法完成图像增强，提高图像的清晰度，改善图像的视觉效果；
(2)、预测框的生成与筛选
将图像分成7×7的均等栅格，生成每个栅格生成两个预测框，用NMS算法进行预测框的筛选；
(3)、目标检测
目标检测主要是完成在矿难发生时的人员检测，提取当前帧视频，对其进行预处理，利用YOLO算法完成人员检测。
2.根据权利要求1所述的图像增强方法，其特征在于，用FMR(螺旋结构比较)算法遍历整张图像，在目标像素点按照顺时针方向由远及近选择像素点，距离目标像素点越近，选择迭代像素点越多(距离目标像素点越近相关性越高)，直到迭代像素点与目标像素点距离为1；灰度图像根据迭代像素点的亮暗关系调整原图的亮度；彩色图像根据R、G、B三通道分别处理，调整完之后按照对应关系把R、G、B融合，达到对图像增强的效果。
3.根据权利要求1所述的人员检测方法，其特征在于，在目标检测中，当前帧视频采集图像后需要对其进行相应处理，步骤如下：
S1：将图片进行裁剪、拉伸将大小统一为448*448，再按照比例分成14*14/28*28/56*56三种尺度特征，将它们送入卷积层中；
S2：用24层卷积层对输入图像提取特征信息，用池化层对图像进行下采样、降维；
S3：生成预测框，对采集到的边界框进行非极大值抑制(Non-Maximum Suppression,NMS)处理，筛选预测框，最终用全连接层对视频数据进行分类和检测。
CN202010004195.2A 2020-01-03 2020-01-03 一种基于计算机视觉的矿井下人员跟踪算法 Pending CN112037248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010004195.2A CN112037248A (zh) 2020-01-03 2020-01-03 一种基于计算机视觉的矿井下人员跟踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010004195.2A CN112037248A (zh) 2020-01-03 2020-01-03 一种基于计算机视觉的矿井下人员跟踪算法

Publications (1)

Publication Number Publication Date
CN112037248A true CN112037248A (zh) 2020-12-04

Family

ID=73578727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010004195.2A Pending CN112037248A (zh) 2020-01-03 2020-01-03 一种基于计算机视觉的矿井下人员跟踪算法

Country Status (1)

Country Link
CN (1) CN112037248A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331177A (zh) * 2022-09-28 2022-11-11 济南驰昊电力科技有限公司 一种矿山场景下智能告警方法、可读介质及告警终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504244A (zh) * 2016-11-03 2017-03-15 中国矿业大学 一种基于Retinex与小波尺度积的矿井图像边缘检测算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504244A (zh) * 2016-11-03 2017-03-15 中国矿业大学 一种基于Retinex与小波尺度积的矿井图像边缘检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张应团 等: "基于DCNN的井下行人监测方法研究", 《计算机与数字工程》 *
朱礼义: "矿井图像增强和井下人员检测算法的研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑（月刊）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331177A (zh) * 2022-09-28 2022-11-11 济南驰昊电力科技有限公司 一种矿山场景下智能告警方法、可读介质及告警终端

Similar Documents

Publication Publication Date Title
CN109241913B (zh) 结合显著性检测和深度学习的船只检测方法及系统
CN109145747B (zh) 一种水面全景图像语义分割方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
WO2022067668A1 (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN111507210A (zh) 交通信号灯的识别方法、系统、计算设备和智能车
CN101322153A (zh) 调节数字图像的曝光和色标
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN113361326B (zh) 一种基于计算机视觉目标检测的智慧电厂管控系统
CN113420819B (zh) 一种基于CenterNet的轻量级水下目标检测方法
CN112598054B (zh) 基于深度学习的输变电工程质量通病防治检测方法
CN115063648A (zh) 一种绝缘子缺陷检测模型构建方法及系统
CN116485709A (zh) 一种基于YOLOv5改进算法的桥梁混凝土裂缝检测方法
CN114241386A (zh) 一种基于实时视频流的输电线路隐患检测与识别的方法
CN111369539A (zh) 一种基于多特征图融合的建筑立面窗户检测系统
CN115239710A (zh) 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN112037248A (zh) 一种基于计算机视觉的矿井下人员跟踪算法
CN113989631A (zh) 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN111178275A (zh) 一种基于卷积神经网络的火灾检测方法
CN112215122B (zh) 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法
Li et al. Image object detection algorithm based on improved Gaussian mixture model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201204