CN108182413B - 一种矿井移动目标检测与跟踪识别方法 - Google Patents
一种矿井移动目标检测与跟踪识别方法 Download PDFInfo
- Publication number
- CN108182413B CN108182413B CN201711477567.8A CN201711477567A CN108182413B CN 108182413 B CN108182413 B CN 108182413B CN 201711477567 A CN201711477567 A CN 201711477567A CN 108182413 B CN108182413 B CN 108182413B
- Authority
- CN
- China
- Prior art keywords
- digital
- mine
- rcnn
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种矿井移动目标检测与跟踪识别方法,第一步,制作训练集,通过采集矿井环境照片,把矿井移动目标的数字标签作为身份识别符合成到环境照片中,并对合成照片中数字标签进行标注,将标注过的合成照片作为训练集;第二步,构建加速区域卷积神经网络Faster‑RCNN,并用训练集训练出可用于数字标签检测的加速区域卷积神经网络Faster‑RCNN模型;第三步,将采集到的视频经过处理后输入训练好的加速区域卷积神经网络Faster‑RCNN模型,检测出数字标签区域的边界框;第四步,将边界框内的数字标签区域进行字符分割操作,获得数字序列的每一个数字字符,并依次传入数字识别模型LeNet网络进行数字识别;第五步,LeNet网络返回识别出的数字序列,依据识别出的矿井移动目标数字标签确定矿井移动目标身份信息。本发明能准确、有效地对矿井移动目标进行检测与跟踪识别。
Description
技术领域
本发明涉及机器视觉与矿井移动目标检测的智能识别领域,具体地说涉及一种基于机器视觉的加速区域卷积神经网络矿井移动目标检测与跟踪识别方法。
背景技术
智能化开采是矿井安全、高效集约化生产的发展趋势,研究井下作业人员、机车设备和作业机器人等移动目标准确检测与跟踪识别,对保障井下人员避险、车辆防撞和智能安全开采具有重要意义。现有矿井人员、井下机车和移动机器人等移动目标识别方法主要采用静态的射频识别技术,但是这种方式通过矿井RFID射频识别技术只能进行井下移动目标的进出识别,无法实现对移动目标的多维信息检测与跟踪识别,尤其是在井下NLOS环境存在多径干扰,受电磁波传播衰减和传播时延影响较大,难以实现对矿井移动目标进行实时跟踪与准确识别。近年来,基于机器视觉的跟踪与识别技术具有识别精度高、抗干扰能力强和可远距离获取目标图像等特点,其在智能监控、运动目标检测与识别、视觉导航等领域的应用成为研究热点。因此,为了克服现有矿井移动目标识别技术的不足,本发明提出采用基于机器视觉的加速卷积神经网络方法,实现对矿井移动目标准确检测与跟踪识别。
发明内容
本发明所采用的技术方案是:针对上述存在的问题,提出一种基于机器视觉的矿井移动目标检测与跟踪识别方法,用于实现矿井人员、机车和机器人移动目标的检测与跟踪识别。所述矿井移动目标检测与跟踪识别方法,其实现步骤包括:
步骤1、制作训练集:利用矿井视频图像采集设备采集矿井环境照片,把矿井移动目标的数字标签作为身份标识符合成到环境照片,并对合成照片中数字标签进行标注,将标注过的合成照片作为训练集;
步骤2、构建并训练加速区域卷积神经网络Faster-RCNN:加速区域卷积神经网络Faster-RCNN包括提取图片特征的卷积层部分、区域建议网络RPN的全连接层部分和目标检测网络Fast-RCNN的全连接层部分;其中,提取图片特征的卷积层部分使用VGG16网络,目标检测网络Fast-RCNN全连接层部分最后的分类层输出设置为2,回归层输出设置为8;
步骤3、利用训练好的加速区域卷积神经网络Faster-RCNN对矿井视频图像采集设备采集的视频帧进行处理,获取视频帧中的数字标签区域;
步骤4、将步骤3获取的数字标签进行字符分割操作,获取单个数字字符;
步骤5、将步骤4获取的单个数字字符输入数字识别模型LeNet网络,进行数字识别;
步骤6、根据步骤5识别出的数字标签确定矿井移动目标的身份信息。
步骤7、如果步骤3没有在视频帧中检测到数字标签区域,则重复执行步骤3~步骤6。
所述矿井移动目标检测与跟踪识别方法,其中,步骤2进一步包括以下子步骤:
2.1)加速区域卷积神经网络Faster-RCNN初始化:采用ImageNet预训练模型VGG16网络初始化区域建议网络RPN的卷积层部分,采用零均值标准差为0.01的高斯分布初始化区域建议网络RPN卷积层后面的全连接层部分,采用ImageNet预训练模型VGG16网络初始化目标检测网络Fast-RCNN的卷积层部分;
2.2)利用步骤1的训练集对区域建议网络RPN进行端到端的训练,直到区域建议网络RPN收敛为止;
2.3)使用收敛的区域建议网络RPN生成建议框,并作为输入用于单独训练目标检测网络Fast-RCNN,以及用于微调ImageNet预训练模型VGG16网络;
2.4)固定目标检测网络Fast-RCNN的卷积层部分的参数,利用步骤2.3)已训练好的目标检测网络Fast-RCNN来训练区域建议网络RPN;
2.5)固定目标检测网络Fast-RCNN的卷积层部分的参数,根据步骤2.4)训练出的区域建议网络RPN生成建议框,并训练目标检测网络Fast-RCNN全连接层部分的参数;
2.6)重复步骤2.4)和步骤2.5),直到加速区域卷积神经网络Faster-RCNN收敛为止。
所述矿井移动目标检测与跟踪识别方法,其中,所述步骤1中对数字标签进行标注,指的是用矩形框框出合成照片中的数字标签,并记录每张合成照片中的数字标签数目和每个数字标签边界框的四维坐标信息。
所述矿井移动目标检测与跟踪识别方法,其中,所述矿井视频图像采集设备包括矿用本安型视觉传感器、矿用本安型相机和矿用本安型摄像机。
本发明的有益效果在于:
该发明相对于现有基于WSN、RSSI和RFID等无线射频技术的矿井人员目标识别方法具有抗干扰能力强、识别精度高等优点,采用基于机器视觉的加速区域卷积神经网络方法能实现井下人员、机车设备和移动机器人等目标的准确检测与实时跟踪识别,对提高矿井智能化监控、实时跟踪识别井下移动目标,以及保障井下人员避险、车辆防撞和智能安全开采具有重要意义。
附图说明
图1为基于机器视觉的矿井移动目标检测与跟踪识别方法流程图
图2为样本训练集生成流程图
图3为构建并训练加速区域卷积神经网络Faster-RCNN模型流程图
图4为字符分割流程图
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合附图对本发明的具体实施方式进行详细描述。
图1为基于机器视觉的矿井移动目标检测与跟踪识别方法流程图。其实现过程为:从矿井视频图像采集设备采集视频帧图片,将视频帧图片制作成合适格式图片,并输入训练好的加速区域卷积神经网络Faster-RCNN检测模型,当检测到视频帧图片中的数字标签时,对数字标签进行字符分割操作,把分割出的单个数字字符依次输入LeNet网络进行数字识别,最后返回识别出的数字序列,根据识别出的数字序列确定矿井移动目标的身份信息。
图2为样本训练集生成流程图。通过矿井视频图像采集设备采集矿井多场景多角度环境照片,把矿井移动目标的数字标签作为身份标识符合成到环境照片,数字标签在合成照片中的位置是随机的,可以平行于合成照片放置或者垂直于合成照片放置;对合成照片中的数字标签进行位置标注,对数字标签进行标注指的是用矩形框框出合成照片中的数字标签,并记录每张合成照片中的数字标签数目和每个数字标签边界框的四维坐标信息;将标注过的合成照片进行格式转换,生成训练集。
图3为用于训练区域卷积神经网络Faster-RCNN模型的样本集生成的流程图。具体地,构建并训练加速区域卷积神经网络Faster-RCNN模型流程图包括如下步骤:
步骤1、用ImageNet预训练模型VGG16网络初始化区域建议网络RPN的卷积层部分,用零均值标准差为0.01的高斯分布初始化区域建议网络RPN卷积层后面的全连接层部分;
步骤2、将训练集输入到步骤1中区域建议网络RPN被初始化的卷积层部分,生成特征面,利用特征面对区域建议网络RPN进行训练,直到区域建议网络RPN收敛,训练区域建议网络RPN需要的损失函数为:
式中,i为一个训练批量中候选区域的索引,pi是第i个候选区域为目标的预测概率。如果候选区域为正,GT标签则为1,反之为0。ti是一个向量,即ti=(tx,ty,tw,th),表示预测的边界框的4个参数化坐标,是与正候选区域对应的GT边界框的坐标向量,即λ为平衡权重,此处取为10,Ncls为训练批量大小,即256,Nreg为候选区域的数量,约为2000。分类损失Lcls是两个类别(目标与非目标)的对数损失,即:
进一步由
求解计算回归损失Lreg。
式中,x、y、w、h分别为预测边界框的中心坐标(x,y)、宽和高;xa、ya、wa、ha分别为候选区域边界框的中心坐标(xa,ya)、宽和高;x*、y*、w*、h*分别为GT边界框的中心坐标(x*,y*)、宽和高。ti和用于计算回归损失,可以理解为从候选区域边界框到附近的GT边界框的边界回归。
步骤3、用ImageNet预训练模型VGG16网络初始化目标检测网络Fast-RCNN的卷积层部分,将训练集输入目标检测网络Fast-RCNN的卷积层部分,生成特征面;
步骤4、使用步骤2收敛的区域建议网络RPN生成的建议框和步骤3生成的特征面作为输入来单独训练目标检测网络Fast-RCNN,使得步骤3提到的ImageNet预训练模型VGG16网络被微调;
步骤5、固定步骤3提到的目标检测网络Fast-RCNN的卷积层部分的参数,用已训练好的目标检测网络Fast-RCNN来训练区域建议网络RPN;
步骤6、固定步骤3提到的目标检测网络Fast-RCNN的卷积层部分的参数,用步骤5训练出的区域建议网络RPN生成建议框来训练Fast-RCNN网络的全连接层部分的参数;
步骤7、重复步骤5和步骤6,直到加速区域卷积神经网络Faster-RCNN收敛。
图4为字符分割流程图。对获取到的数字标签进行二值化处理,并用取轮廓方法获取数字标签中每个数字的轮廓,沿着每个数字的轮廓截取出矩形图片,并依次输入数字识别网络进行数字识别。
显然,本领域的技术人员应该明白,本发明及上述实施例所涉及识别方法,除作为矿井移动目标监测与跟踪识别应用于煤矿井下环境外,也适用于金属和非金属等非煤矿山的移动目标监控、跟踪与定位,以及井下智能工作面移动作业设备的跟踪识别与智能可视化监测。这样本发明不限制除煤矿井下移动目标定位之外的非煤矿山、智能工作面移动监控和物联网设备精准识别与定位等通信技术领域。
以上内容是结合具体的优选实施例方式对本发明所做的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明设计思路的前提下,还可进行若干简单的步骤替换和更改,都应当视为属于本发明所提交的权利要求书所涉及的保护范围。
Claims (3)
1.一种矿井移动目标检测与跟踪识别方法,其特征在于,采用基于机器视觉的加速区域卷积神经网络算法,用于实现矿井人员、机车和移动机器人的目标检测与跟踪识别,包括如下步骤:
步骤1、制作训练集:利用矿井视频图像采集设备采集矿井环境照片,把矿井移动目标的数字标签作为身份标识符合成到环境照片,并对合成照片中数字标签进行标注,将标注过的合成照片作为训练集;
步骤2、构建并训练加速区域卷积神经网络Faster-RCNN:加速区域卷积神经网络Faster-RCNN包括提取图片特征的卷积层部分、区域建议网络RPN的全连接层部分和目标检测网络Fast-RCNN的全连接层部分;其中,提取图片特征的卷积层部分使用VGG16网络,目标检测网络Fast-RCNN全连接层部分最后的分类层输出设置为2,回归层输出设置为8;
步骤3、利用训练好的加速区域卷积神经网络Faster-RCNN对矿井视频图像采集设备采集的视频帧进行处理,获取视频帧中的数字标签区域;
步骤4、将步骤3获取的数字标签进行字符分割操作,获取单个数字字符;
步骤5、将步骤4获取的单个数字字符输入数字识别模型LeNet网络,进行数字识别;
步骤6、根据步骤5识别出的数字标签确定矿井移动目标的身份信息;
步骤7、如果步骤3没有在视频帧中检测到数字标签区域,则重复执行步骤3~步骤6;
其特征还在于,步骤2进一步包括以下子步骤:
2.1)加速区域卷积神经网络Faster-RCNN初始化:采用ImageNet预训练模型VGG16网络初始化区域建议网络RPN的卷积层部分,采用零均值标准差为0.01的高斯分布初始化区域建议网络RPN卷积层后面的全连接层部分,采用ImageNet预训练模型VGG16网络初始化目标检测网络Fast-RCNN的卷积层部分;
2.2)利用步骤1的训练集对区域建议网络RPN进行端到端的训练,直到区域建议网络RPN收敛为止;
2.3)使用收敛的区域建议网络RPN生成建议框,并作为输入用于单独训练目标检测网络Fast-RCNN,以及用于微调ImageNet预训练模型VGG16网络;
2.4)固定目标检测网络Fast-RCNN的卷积层部分的参数,利用步骤2.3)已训练好的目标检测网络Fast-RCNN来训练区域建议网络RPN;
2.5)固定目标检测网络Fast-RCNN的卷积层部分的参数,根据步骤2.4)训练出的区域建议网络RPN生成建议框,并训练目标检测网络Fast-RCNN全连接层部分的参数;
2.6)重复步骤2.4)和步骤2.5),直到加速区域卷积神经网络Faster-RCNN收敛为止。
2.根据权利要求1所述的一种矿井移动目标检测与跟踪识别方法,其特征在于,其中,所述步骤1中对数字标签进行标注,指的是用矩形框框出合成照片中的数字标签,并记录每张合成照片中的数字标签数目和每个数字标签边界框的四维坐标信息。
3.根据权利要求1所述的一种矿井移动目标检测与跟踪识别方法,其特征在于,其中,所述矿井视频图像采集设备包括矿用本安型视觉传感器、矿用本安型相机和矿用本安型摄像机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711477567.8A CN108182413B (zh) | 2017-12-29 | 2017-12-29 | 一种矿井移动目标检测与跟踪识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711477567.8A CN108182413B (zh) | 2017-12-29 | 2017-12-29 | 一种矿井移动目标检测与跟踪识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108182413A CN108182413A (zh) | 2018-06-19 |
CN108182413B true CN108182413B (zh) | 2022-01-25 |
Family
ID=62548958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711477567.8A Active CN108182413B (zh) | 2017-12-29 | 2017-12-29 | 一种矿井移动目标检测与跟踪识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108182413B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685066B (zh) * | 2018-12-24 | 2021-03-09 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
CN109977853B (zh) * | 2019-03-25 | 2023-07-14 | 太原理工大学 | 一种基于多辨识设备的井下工人全景监控方法 |
CN109977958A (zh) * | 2019-03-25 | 2019-07-05 | 中国科学技术大学 | 一种离线手写体数学公式识别重构方法 |
CN110009628A (zh) * | 2019-04-12 | 2019-07-12 | 南京大学 | 一种针对连续二维图像中多形态目标的自动检测方法 |
CN110633641A (zh) * | 2019-08-15 | 2019-12-31 | 河北工业大学 | 一种智能安防行人检测方法、系统、装置及存储介质 |
CN110569843B (zh) * | 2019-09-09 | 2022-02-08 | 中国矿业大学(北京) | 一种矿井目标智能检测与识别方法 |
CN110909675A (zh) * | 2019-11-22 | 2020-03-24 | 广州供电局有限公司 | 违章行为识别方法、装置、计算机设备和存储介质 |
CN110991385A (zh) * | 2019-12-13 | 2020-04-10 | 珠海大横琴科技发展有限公司 | 一种识别船只行驶轨迹的方法、装置及电子设备 |
CN111539422B (zh) * | 2020-04-13 | 2022-09-06 | 南京理工大学 | 基于Faster RCNN的飞行目标协同识别方法 |
WO2021211068A1 (en) * | 2020-04-15 | 2021-10-21 | Aselsan Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ | A method for training shallow convolutional neural networks for infrared target detection using a two-phase learning strategy |
CN111428813A (zh) * | 2020-04-16 | 2020-07-17 | 西安近代化学研究所 | 一种基于深度学习的面板数字识别与按取方法 |
CN111582339B (zh) * | 2020-04-28 | 2023-07-25 | 江西理工大学 | 一种基于深度学习的车辆检测与识别的方法 |
CN111968102B (zh) * | 2020-08-27 | 2023-04-07 | 中冶赛迪信息技术(重庆)有限公司 | 一种目标设备检测方法、系统、介质及电子终端 |
CN112633287B (zh) * | 2020-12-25 | 2024-04-26 | 中国矿业大学 | 一种面向矿井多源异构图文信息的文本识别方法及装置 |
CN116821651A (zh) * | 2023-05-04 | 2023-09-29 | 广州海洋地质调查局 | 一种天然气水合物远景区圈定与矿体精细识别方法及装置 |
CN117195138B (zh) * | 2023-11-07 | 2024-02-20 | 湖南展通科技集团有限公司 | 基于人工智能的生产设备安全生产管理方法及相关装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016145547A1 (en) * | 2015-03-13 | 2016-09-22 | Xiaoou Tang | Apparatus and system for vehicle classification and verification |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022232A (zh) * | 2016-05-12 | 2016-10-12 | 成都新舟锐视科技有限公司 | 基于深度学习的车牌检测方法 |
CN106780612B (zh) * | 2016-12-29 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
CN106845430A (zh) * | 2017-02-06 | 2017-06-13 | 东华大学 | 基于加速区域卷积神经网络的行人检测与跟踪方法 |
CN107016357B (zh) * | 2017-03-23 | 2020-06-16 | 北京工业大学 | 一种基于时间域卷积神经网络的视频行人检测方法 |
CN107451607B (zh) * | 2017-07-13 | 2018-09-18 | 山东中磁视讯股份有限公司 | 一种基于深度学习的典型人物的身份识别方法 |
-
2017
- 2017-12-29 CN CN201711477567.8A patent/CN108182413B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016145547A1 (en) * | 2015-03-13 | 2016-09-22 | Xiaoou Tang | Apparatus and system for vehicle classification and verification |
Also Published As
Publication number | Publication date |
---|---|
CN108182413A (zh) | 2018-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108182413B (zh) | 一种矿井移动目标检测与跟踪识别方法 | |
CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
CN105023278B (zh) | 一种基于光流法的运动目标跟踪方法及系统 | |
CN107907124B (zh) | 基于场景重识的定位方法、电子设备、存储介质、系统 | |
CN109389086B (zh) | 检测无人机影像目标的方法和系统 | |
CN106778712B (zh) | 一种多目标检测与跟踪方法 | |
Elmezain et al. | A robust method for hand gesture segmentation and recognition using forward spotting scheme in conditional random fields | |
CN104680559B (zh) | 基于运动行为模式的多视角室内行人跟踪方法 | |
Rout | A survey on object detection and tracking algorithms | |
CN104077596A (zh) | 一种无标志物跟踪注册方法 | |
CN103679698A (zh) | 用于检测和跟踪移动对象的系统和方法 | |
CN113962274B (zh) | 一种异常识别方法、装置、电子设备及存储介质 | |
CN111784737B (zh) | 一种基于无人机平台的目标自动跟踪方法及系统 | |
CN108734109B (zh) | 一种面向图像序列的视觉目标跟踪方法及系统 | |
CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
CN103413149B (zh) | 复杂背景中实现静态目标检测和识别的方法 | |
CN106846367B (zh) | 一种基于运动约束光流法的复杂动态场景的运动物体检测方法 | |
CN112906777A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN104200492A (zh) | 基于轨迹约束的航拍视频目标自动检测跟踪方法 | |
CN104299246A (zh) | 基于视频的生产线物品部件运动检测与跟踪方法 | |
Fakhfakh et al. | Background subtraction and 3D localization of moving and stationary obstacles at level crossings | |
Hao et al. | [Retracted] Fast Recognition Method for Multiple Apple Targets in Complex Occlusion Environment Based on Improved YOLOv5 | |
CN103679740A (zh) | 一种无人机对地目标roi提取方法 | |
Nandhini et al. | SIFT algorithm-based Object detection and tracking in the video image | |
Shi et al. | TagAttention: Mobile object tracing without object appearance information by vision-RFID fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |