CN112241694A - 基于CenterNet实现的未佩戴安全带识别方法 - Google Patents

基于CenterNet实现的未佩戴安全带识别方法 Download PDF

Info

Publication number
CN112241694A
CN112241694A CN202011022863.0A CN202011022863A CN112241694A CN 112241694 A CN112241694 A CN 112241694A CN 202011022863 A CN202011022863 A CN 202011022863A CN 112241694 A CN112241694 A CN 112241694A
Authority
CN
China
Prior art keywords
safety belt
model
centernet
identifying
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011022863.0A
Other languages
English (en)
Inventor
邵宇丰
周锦霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hefu Artificial Intelligence Technology Group Co ltd
Original Assignee
Shanghai Hefu Artificial Intelligence Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hefu Artificial Intelligence Technology Group Co ltd filed Critical Shanghai Hefu Artificial Intelligence Technology Group Co ltd
Priority to CN202011022863.0A priority Critical patent/CN112241694A/zh
Publication of CN112241694A publication Critical patent/CN112241694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CenterNet实现的未佩戴安全带识别方法，属于图像识别技术领域。它包括以下步骤：(1)通过采集终端准确捕捉工人高空作业的影像并形成视频流；(2)采用CenterNet模型对视频流逐帧进行处理，将未佩戴安全带的图像归类；(3)将未佩戴安全带的图像展示在荧屏上，并发出广播警告。选择CenterNet模型进行基于深度学习的安全带佩戴实时识别方法，由于安全带佩戴检测领域没有公认的体量大、类型全的安全带数据集，需自行构建安全带检测数据集，因此，利用CenterNet模型，通过迁移学习在自建安全带数据集上训练模型并调整参数，得到准确率、速度和鲁棒性均较高的安全带佩戴检测模型。

Description

基于CenterNet实现的未佩戴安全带识别方法
技术领域
本发明涉及一种基于CenterNet实现的未佩戴安全带识别方法，属于图像识别技术领域。
背景技术
未带安全带属于目标检测中的二分类问题。目前基于CNN的端到端的目标检测器主要分为：两阶段目标检测器和单阶段目标检测器。区域卷积神经网络(Regions withCNN，R-CNN)是一种具有代表性的两阶段目标检测器，对其网络结构进行修改，衍生出随后的Fast R-CNN和Faster R-CNN模型。两阶段检测器在训练网络时，第一步是训练区域候选网络(Region Proposal Network，RPN)用于生成候选区域，同时将图片划分为背景和目标2种类别，并会对目标位置进行初步的预测；第二步是训练目标区域检测网络用于实现对候选区域内目标类别的判定和目标位置的确定。
基于anchor的目标检测算法，基本步骤都是先尽可能的罗列出所有可能的候选框，然后从中寻找最有可能的框作为检测结果，往往需要非极大值抑制(NMS)作为后处理来对多余的框进行过滤，这大大增加了处理时间。
检测算法通常分为两阶段和单阶段两类。两阶段目标检测器因其检测精度高而受到更加广泛的使用。但是，两阶段目标检测器的主要缺点是其复杂的网络结构使得训练和推理效率较低，无法满足实时检测场景的需要。
发明内容
本发明所要解决的技术问题在于：提供一种基于CenterNet实现的未佩戴安全带识别方法，解决了两阶段目标检测器的训练和推理效率较低，无法满足实时检测场景的需要问题。
本发明所要解决的技术问题采取以下技术方案来实现：
基于CenterNet实现的未佩戴安全带识别方法，它包括以下步骤：
(1)通过采集终端准确捕捉工人高空作业的影像并形成视频流；
(2)采用CenterNet模型对视频流逐帧进行处理，将未佩戴安全带的图像归类；
(3)将未佩戴安全带的图像展示在荧屏上，并发出广播警告。
作为优选实例，所述CenterNet模型所用的关键参数设置如下：
a.图片resize到512*288；
b.使用在ImageNet数据集上预训练的DLA34作为骨干网络；
c.使用Adam优化器；
d.学习率为0.00001，批处理大小为16，梯度裁剪参数clipnorm为0.001；
e.对于中心点损失函数，α设置为2，β设置为4；
f.模型检测类别为2，加上偏移以及尺寸，输出结果一共2+2+2＝6个通道；
g.设置最大检测数量为30；
h.训练epochs设置为50，每个epoch的steps为10000。
本发明的有益效果是：选择CenterNet模型进行基于深度学习的安全带佩戴实时识别方法，由于安全带佩戴检测领域没有公认的体量大、类型全的安全带数据集，需自行构建安全带检测数据集，因此，利用CenterNet模型，通过迁移学习在自建安全带数据集上训练模型并调整参数，得到准确率、速度和鲁棒性均较高的安全带佩戴检测模型。
附图说明
图1为本发明的步骤示意图；
图2为Centnet网络结构示意；
图3为训练过程loss和AP曲线。
具体实施方式
为了对本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。
实施例
如图1所示，基于CenterNet实现的未佩戴安全带识别方法，它包括以下步骤：
(1)通过采集终端准确捕捉工人高空作业的影像并形成视频流；
(2)采用CenterNet模型对视频流逐帧进行处理，将未佩戴安全带的图像归类；
(3)将未佩戴安全带的图像展示在荧屏上，并发出广播警告。
CenterNet是一种anchor-free的框架，其以目标中心点为建模对象，然后回归出目标的属性，对于目标检测任务来说，所回归的属性即为目标的尺寸(宽、高)。
如图2所示，Centernet网络结构：
模型由网络骨干网络(backbone)、中心点热力图(heatmap)网络、中心点偏移(Offset)网络、目标尺寸回归(Boxes size)网络四部分组成。其中，backbone是特征提取网络，用于从原始图片提取高度抽象的特征，形成feature map，被后面三个分支网络共享，分别用于检测中心点、回归中心点的偏移以及回归尺寸信息。
原始模型提供了三种backbone网络：加了上采样的resnet-18、增加了FPN(特征金字塔)结构的DLA34、Hourglass。每种backbone都是下采样四倍，假设原图大小为M*N，则经过backbone提取到的feature map大小为M/4*N/4。
得到的feature map被后面三种结构共享，分别生成C*M/4*N/4、2*M/4*N/4、2*M/4*N/4的heatmap。其中，C为检测的类别个数，偏移和尺寸的维度分别为2。中心点是算法主要的预测目标，尺寸是目标框的长和宽，偏移是用于弥补由于下采样造成的精度损失。
而损失函数也是由这三部分组成：
Ldet＝Lk+λsizeLsize+λoffLoff· (1)
分别是中心点的损失、尺度损失、中心点偏移损失。
具体的，中心点的heatmap损失函数为：
Figure BDA0002701229490000031
尺寸的损失函数为：
Figure BDA0002701229490000032
中心点偏移的损失函数为：
Figure BDA0002701229490000033
通过在工地真实数据上训练，可以优化这几种损失，从而得到一个适用于工地现场的检测模型。
CenterNet在常见物体检测问题上已验证其可行性，但还未在工人安全带检测领域验证其有效性。因此，选择CenterNet模型进行基于深度学习的安全带佩戴实时检测研究。由于安全带佩戴检测研究领域没有公认的体量大、类型全的安全带数据集，需自行构建安全带检测数据集。利用CenterNet模型，通过迁移学习在自建安全带数据集上训练模型并调整参数，得到准确率、速度和鲁棒性均较高的安全带佩戴检测模型。
本方法的实现步骤：
通过摄像头等采集终端准确捕捉工人高空作业影像形成视频流送入我们的模型。经过我们的模型检测、定位、分类，将结果可视化地呈现在屏幕上并且将违规内容通过现场音响设备在施工作业范围广播，以此达到监督的目的。如图1所示。
用于训练的数据集和训练参数对最终的模型的检测效果有很大影响。目前工人安全带检测研究领域并没有公认的体量大、类型全的安全带数据集。采用图片来源于施工现场的采集终端捕获的视频数据。由于相邻帧之间相关性比较大，来自同一视频的视频帧的帧间间隔较大，以减少数据集的相似性。自建数据集包含图片30000张图片，safetybelt一个类别标签。训练集占比80％，测试集占比20％。使用labelImg图像标注工具对安全带数据集进行标注。标注内容包括目标类别和目标位置坐标。一般而言，标注目标位置的边界框会包含整个目标。由于安全带呈现条状，特征离散性较大，会导致整个边界框过大，包含过多的噪声信息。一方面增加了计算量，另一方面降低了模型的学习能力。受可变性部件模型启发，将此类目标特征拆分为多个小目标特征进行标注。
因为该特征没有特别大的数据集，要想快速训练出合适的模型，必须采用迁移学习技术。由于深层网络的学习很强，在数据集不足的情况下使用随机权重初始化训练模型容易产生过拟合，不能保证取得良好的训练结果。因此，当无法获得足够数据集时，通常采用迁移学习。使用其他研究人员在与任务高度相关且充足的数据集上预先训练过的公共权重，再根据使用的实际数据集对模型进行微调。
本算法训练时所用的关键参数如下：
a.图片resize到512*288；
b.使用在ImageNet数据集上预训练的DLA34作为骨干网络；
c.使用Adam优化器；
d.学习率为0.00001，批处理大小为16，梯度裁剪参数clipnorm为0.001；
e.对于中心点损失函数，α设置为2，β设置为4；
f.模型检测类别为2，加上偏移以及尺寸，输出结果一共2+2+2＝6个通道；
g.设置最大检测数量为30；
h.训练epochs设置为50，每个epoch的steps为10000。
本算法使用平均准确率(Average Precision，AP)来衡量模型性能。真正例(True-Positive，TP)表示被正确预测的正样本个数，假正例(False Positive，FP)表示被错误预测为正样本的负样本个数，假反例(False Negative，FN)表示被错误预测为负样本的正样本个数。由式(5)和(6)可以计算出查全率(Recall)和查准率(Precision)。以Recall为横坐标，Precision为纵坐标绘制P－R曲线，AP则为曲线与坐标轴围成区域的面积。
Figure BDA0002701229490000051
Figure BDA0002701229490000052
如图3所示，训练过程loss曲线和AP曲线。
最终loss收敛到0.120，AP为0.890。将最终得到的收敛训练模型转化为预测模型，并从测试集中选取部分场景来测试CenterNet模型的性能。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入本发明要求保护的范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.基于CenterNet实现的未佩戴安全带识别方法，其特征在于，它包括以下步骤：
(1)通过采集终端准确捕捉工人高空作业的影像并形成视频流；
(2)采用CenterNet模型对视频流逐帧进行处理，将未佩戴安全带的图像归类；
(3)将未佩戴安全带的图像展示在荧屏上，并发出广播警告。
2.根据权利要求1所述基于CenterNet实现的未佩戴安全带识别方法，其特征在于，所述CenterNet模型所用的关键参数设置如下：
a.图片resize到512*288；
b.使用在ImageNet数据集上预训练的DLA34作为骨干网络；
c.使用Adam优化器；
d.学习率为0.00001，批处理大小为16，梯度裁剪参数clipnorm为0.001；
e.对于中心点损失函数，α设置为2，β设置为4；
f.模型检测类别为2，加上偏移以及尺寸，输出结果一共2+2+2＝6个通道；
g.设置最大检测数量为30；
h.训练epochs设置为50，每个epoch的steps为10000。
CN202011022863.0A 2020-09-25 2020-09-25 基于CenterNet实现的未佩戴安全带识别方法 Pending CN112241694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011022863.0A CN112241694A (zh) 2020-09-25 2020-09-25 基于CenterNet实现的未佩戴安全带识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011022863.0A CN112241694A (zh) 2020-09-25 2020-09-25 基于CenterNet实现的未佩戴安全带识别方法

Publications (1)

Publication Number Publication Date
CN112241694A true CN112241694A (zh) 2021-01-19

Family

ID=74171699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011022863.0A Pending CN112241694A (zh) 2020-09-25 2020-09-25 基于CenterNet实现的未佩戴安全带识别方法

Country Status (1)

Country Link
CN (1) CN112241694A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967279A (zh) * 2021-04-02 2021-06-15 慧影医疗科技（北京）有限公司 一种检测肺结节的方法、装置、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038424A (zh) * 2017-11-27 2018-05-15 华中科技大学 一种适用于高空作业的视觉自动化检测方法
CN110458168A (zh) * 2019-08-29 2019-11-15 上海眼控科技股份有限公司 车辆检测报告的处理方法、装置、计算机设备和存储介质
CN111222478A (zh) * 2020-01-11 2020-06-02 深圳奥腾光通系统有限公司 一种工地安全防护检测方法和系统
CN111445524A (zh) * 2020-03-31 2020-07-24 清华大学 基于场景理解的施工现场工人不安全行为识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038424A (zh) * 2017-11-27 2018-05-15 华中科技大学 一种适用于高空作业的视觉自动化检测方法
CN110458168A (zh) * 2019-08-29 2019-11-15 上海眼控科技股份有限公司 车辆检测报告的处理方法、装置、计算机设备和存储介质
CN111222478A (zh) * 2020-01-11 2020-06-02 深圳奥腾光通系统有限公司 一种工地安全防护检测方法和系统
CN111445524A (zh) * 2020-03-31 2020-07-24 清华大学 基于场景理解的施工现场工人不安全行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHOU X等: "Objects as points", ARXIV PREPRINT ARXIV, pages 1904 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967279A (zh) * 2021-04-02 2021-06-15 慧影医疗科技（北京）有限公司 一种检测肺结节的方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN107316007B (zh) 一种基于深度学习的监控图像多类物体检测与识别方法
CN111353413A (zh) 一种输电设备低漏报率缺陷识别方法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN103530638B (zh) 多摄像头下的行人匹配方法
CN111814638B (zh) 基于深度学习的安防场景火焰检测方法
CN113469050B (zh) 基于图像细分类的火焰检测方法
CN110533103B (zh) 一种轻量级小物体目标检测方法及系统
CN104463196A (zh) 一种基于视频的天气现象识别方法
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN107330390A (zh) 一种基于图像分析和深度学习的人数统计方法
CN109859246B (zh) 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法
CN111127520B (zh) 一种基于视频分析的车辆跟踪方法和系统
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN109800756A (zh) 一种用于中文历史文献密集文本的文字检测识别方法
CN110827432A (zh) 一种基于人脸识别的课堂考勤方法及系统
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
CN111339927B (zh) 一种电力营业厅人员工作状态智能识别系统
CN108664886A (zh) 一种适应变电站进出监控需求的人脸快速识别方法
CN111160107B (zh) 一种基于特征匹配的动态区域检测方法
CN112241694A (zh) 基于CenterNet实现的未佩戴安全带识别方法
CN113052139A (zh) 一种基于深度学习双流网络的攀爬行为检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210119