CN113313084A - 一种基于深度学习的睡岗检测方法 - Google Patents

一种基于深度学习的睡岗检测方法 Download PDF

Info

Publication number
CN113313084A
CN113313084A CN202110853637.5A CN202110853637A CN113313084A CN 113313084 A CN113313084 A CN 113313084A CN 202110853637 A CN202110853637 A CN 202110853637A CN 113313084 A CN113313084 A CN 113313084A
Authority
CN
China
Prior art keywords
training
deep learning
network model
detection
sleeping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110853637.5A
Other languages
English (en)
Inventor
王纵驰
王建兴
刘健
臧媛媛
王培�
于佳耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Shenzhou Wisdom System Technology Co ltd
China Aviation Oil Group Co ltd
Institute of Software of CAS
Original Assignee
Aerospace Shenzhou Wisdom System Technology Co ltd
China Aviation Oil Group Co ltd
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Shenzhou Wisdom System Technology Co ltd, China Aviation Oil Group Co ltd, Institute of Software of CAS filed Critical Aerospace Shenzhou Wisdom System Technology Co ltd
Priority to CN202110853637.5A priority Critical patent/CN113313084A/zh
Publication of CN113313084A publication Critical patent/CN113313084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Abstract

一种基于深度学习的睡岗检测方法，包括：（1）收集图片，组成训练所需的样本集Dataset_1；（2）使用所述样本集Dataset_1对目标检测网络模型进行迁移训练；（3）正负样本图片共同组成样本集Dataset_2，将Dataset_2分为训练集、测试集；（4）利用样本集Dataset_2的训练集对Resnet50深度学习网络模型进行训练，并用测试集测试；（5）当完成后即可将目标检测网络模型、Resnet50深度学习网络模型部署监控设备检测；实现了值班室场景的睡岗检测算法，并且可以部署在嵌入式终端上，该算法极大的提高了检测的灵活性和实时性。

Description

一种基于深度学习的睡岗检测方法
技术领域
本发明属于计算机图像视觉检测领域，具体涉及一种深度学习应用于视频监控值班室场景的睡岗检测算法。
背景技术
如何检测和禁止员工睡岗问题一直以来都是许多管理人员思考的问题，因为值班室往往需要员工时刻专注保持警惕，一旦因为睡岗造成疏忽极有可能造成巨大的安全隐患。如塔台管理员等，是严厉禁止随意离岗睡岗的，因为此类行为可能会引起重大事故，而此类岗位监督管理又有一定困难，因此促生了智能视频检测系统的出现。
目前市面上在使用的基于深度学习的睡岗检测算法，大多基于骨骼检测算法，而骨骼检测算法网络模型极其复杂，往往需要部署至高端的显卡主机才可以使用，而高端显卡主机费用高昂，这就限制了其实用价值。鉴于高端显卡主机费用高昂，越来越多的客户选择使用性价比更高且部署安装更为简单的深度学习嵌入式终端。
值班室睡岗检测方法目前市面上还未有真正意义上可以在嵌入式终端上使用的算法：传统的数字图像算法由于自身属性限制在面对复杂场景时可用性极低；基于深度学习的行为检测算法虽然能够达到一定的准确度，但是由于深度学习网络模型复杂度高以及深度学习算子兼容性差等原因，难以将其部署至嵌入式终端。
发明内容
针对上述不足，本发明提供了一种基于深度学习的睡岗检测方法，其特征在于，包括：
（1）收集使用场景下的人员睡岗和非睡岗图片，组成训练所需的样本集Dataset_1；
（2）使用所述样本集Dataset_1对目标检测网络模型进行迁移训练；
（3）利用步骤（2）训练出的目标检测网络模型对所有的人员睡岗和非睡岗图片进行遍历，并将检测出的人体区域截图保存；将保存之后的图片进行分类，睡岗图片分为正样本，非睡岗图片分为负样本；正负样本图片共同组成样本集Dataset_2，将Dataset_2分为训练集、测试集；
（4）利用步骤（3）得到的样本集Dataset_2的训练集对Resnet50深度学习网络模型进行训练，并用测试集测试，当测试集的准确率达到标准之后即表示完成训练；
（5）当完成了步骤（1）~（4）之后即可将目标检测网络模型、Resnet50深度学习网络模型部署监控设备，实现睡岗行为检测。
本发明创造的优点：与其它检测方法相比，实现了值班室场景的睡岗检测算法，并且可以部署在嵌入式终端上，该算法极大的提高了检测的灵活性和实时性，同时具有高精度性等优良特质。
附图说明
图1是目标检测网络模型示意图；
图2是睡岗检测算法流程。
具体实施方式
下面结合附图对本发明作进一步描述，应当理解，此处所描述的内容仅用于说明和解释本发明，并不用于限定本发明。
本申请通过对深度学习网络进行调整和优化，实现了基于嵌入式终端的高精度的睡岗检测方法，技术方案如下：
（1）收集使用场景下的人员睡岗和非睡岗图片，为保证检测算法的准确性，所收集的睡岗及非睡岗图片具有普遍性及可辨识性。图片使用样本标注工具进行样本标注，标注出人体区域，组成训练所需的样本集Dataset_1。
（2）使用上述样本集Dataset_1对本申请所提出目标检测网络模型（参见图1）进行迁移训练，先在COCO数据集（现有的目标检测数据集）上进行预训练，得到预训练权重，而后使用上述样本集Dataset_1对预训练权重进行迁移训练，最终得到所需要的神经网络模型。虽然在COCO数据集上训练的目标检测网络模型已具有一定的人体检测效果，但在具体使用场景下容易出现漏检和误检，只有通过迁移训练才能使得目标检测网络能够在使用场景下具有较高的准确率。
目标检测网络模型的网络结构如图1所示，经过实验分析，YOLO-v3网络之所以速度较慢，在于其网络层数及网络通道数较大，造成最终的模型参数较多。而且睡岗检测是一个时序性的行为，它依赖于目标检测器的检测速度，而不是高准确度。因此本申请所提出的网络结构从网络通道数和网络层数两方面进行合理的缩减，以较小的性能损失来换取网络速度较大提升。原版YOLO-v3算法虽具有良好的目标检测效果，但在嵌入式终端上还无法实现实时的目标检测。本发明的目标检测网络模型基于YOLO-v3进行优化，经证明具有良好的目标检测效果及高实时性。
（3）利用步骤（2）训练出的目标检测网络模型对所有的人员睡岗和非睡岗图片进行遍历，并将检测出的人体区域截图保存。而后人工将保存之后的图片进行分类：睡岗图片分为正样本，非睡岗图片分为负样本。正负样本图片共同组成样本集Dataset_2。将Dataset_2分为训练集、测试集，训练集、测试集的比例为8：2。
在截图保存时，应对检测框进行调整：以最长边为边长，截图保留方形区域图片。
（4）利用步骤（3）得到的Dataset_2的训练集对Resnet50深度学习网络模型进行训练，并用测试集测试，当测试集的准确率达到标准之后即表示完成训练。
在该步骤进行训练时，所采用的深度学习框架为Caffe1.0，具体训练细节如下：
① 将训练集中样本分批次输入到Resnet50深度学习网络模型；
② 训练时，正样本的分类结果为1；负样本的分类结果为0；训练时采用的损失函数为交叉熵损失函数，反向传播策略选择随机梯度下降算法；
③ 经过一段时间的训练后，Resnet50深度学习网络模型的loss逐渐减小，表明模型准确度逐渐提高，每完成一定数量的训练，在测试数据集上对该深度学习网络模型进行测试；若测试集的准确率没有达到标准，则回到步骤①，重新训练；若测试集的准确率达到标准，则完成了整个训练过程；
（5）当完成了步骤（1）~（4）之后即可将目标检测网络模型、Resnet50深度学习网络模型部署至嵌入式终端或显卡主机，接入网络摄像头即可实现睡岗行为检测，实现流程图如图2：
① 获取网络摄像头的视频流，该阶段通过opencv或是ffmpeg获取视频流；
② 利用训练好的目标检测网络模型检测视频每一帧，并将检测出的人体区域以正方形截取传输至下一节点；
③ 利用目标跟踪算法IOUTracker对各个人体区域进行编号，并记录其对应的中心点坐标，每隔一分钟对记录的中心点坐标进行方差计算，方差小于某阈值的目标图片传输至下一节点判断；
IOUTracker算法的基本思想是：通过判断连续两帧之间的目标IOU大小是否达到阈值来认定是否是同一目标。在实际应用中，可设置IOU大于0.5则连续两帧的物体为同一目标。其具体的计算流程如下：
检测前：用滤除得分过低的检测框；
检测时：对每一个激活的目标轨迹，在当前帧找到对应的最大IOU的检测框，如果该IOU大于阈值则目标匹配；当前帧的未匹配的检测框，作为新的目标轨迹，变为激活状态；原本激活的目标轨迹，如果在当前帧没有找到与之匹配的检测框，则将该目标轨迹设置未激活并删除。
为了避免因目标检测模型的漏检而造成目标丢失，每一个目标设置跳帧参数，可设置为3，该值表示只有在连续3帧没有出现该目标，才会使得该目标变为未激活状态。
④ 利用Resnet50深度学习网络模型对截取的人体区域进行图片分类判断，如果输出结果为1，则说明存在睡岗行为，进行睡岗信息提示；否则，则说明不存在睡岗行为，算法继续运行。
通过在实际场景下进行测试，本发明无论是在检测正确率（无缺陷样本的正确检测率和有缺陷样本的正确检测率之和）指标、误检率指标和漏检率指标都具有很高的实用价值。
最后应说明的是：以上所述仅为本发明的解释，并不用于限制本发明，尽管对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的睡岗检测方法，其特征在于，包括：
（1）收集使用场景下的人员睡岗和非睡岗图片，组成训练所需的样本集Dataset_1；
（2）使用所述样本集Dataset_1对目标检测网络模型进行迁移训练；
（3）利用步骤（2）训练出的目标检测网络模型对所有的人员睡岗和非睡岗图片进行遍历，并将检测出的人体区域截图保存；将保存之后的图片进行分类，睡岗图片分为正样本，非睡岗图片分为负样本；正负样本图片共同组成样本集Dataset_2，将Dataset_2分为训练集、测试集；
（4）利用步骤（3）得到的样本集Dataset_2的训练集对Resnet50深度学习网络模型进行训练，并用测试集测试，当测试集的准确率达到标准之后即表示完成训练；
（5）当完成了步骤（1）~（4）之后即将目标检测网络模型、Resnet50深度学习网络模型部署监控设备，实现睡岗行为检测。
2.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，步骤（1）中图片使用样本标注工具进行样本标注，标注出人体区域。
3.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，步骤（2）对目标检测网络模型在COCO数据集的预训练权重上进行迁移训练。
4.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，步骤（2）目标检测网络模型基于YOLO-v3进行优化。
5.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，步骤（3）训练集、测试集的比例为8：2。
6.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，步骤（3）在截图保存时，对检测框进行调整：以最长边为边长，截图保留方形区域图片。
7.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，
在步骤（4）进行训练时，具体训练如下：
① 将训练集中样本分批次输入到Resnet50深度学习网络模型；
② 训练时，正样本的分类结果为1；负样本的分类结果为0；训练时采用的损失函数为交叉熵损失函数，反向传播策略选择随机梯度下降算法；
③ 经过一段时间的训练后，Resnet50深度学习网络模型的loss逐渐减小，表明模型准确度逐渐提高；每完成一定数量的训练，在测试数据集上对该深度学习网络模型进行测试；若测试集的准确率没有达到标准，则回到步骤①，重新训练；若测试集的准确率达到标准，则完成了整个训练过程。
8.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，步骤（5）中检测流程如下：
① 获取网络摄像头的视频流，该阶段通过opencv或是ffmpeg获取视频流；
② 利用训练好的目标检测网络模型检测视频每一帧，并将检测出的人体区域以正方形截取传输至下一节点；
③利用目标跟踪算法IOUTracker对各个人体区域进行编号，并记录其对应的中心点坐标，每隔一分钟对记录的中心点坐标进行方差计算，方差小于某阈值的目标图片传输至下一节点判断；
④ 利用Resnet50深度学习网络模型对截取的人体区域进行图片分类判断，如果输出结果为1，则说明存在睡岗行为，进行睡岗信息提示；否则，则说明不存在睡岗行为，算法继续运行。
9.根据权利要求8所述的基于深度学习的睡岗检测方法，其特征在于，IOUTracker算法中通过判断连续两帧之间的目标IOU大小是否达到阈值来认定是否是同一目标，设置IOU大于0.5则连续两帧的物体为同一目标。
10.根据权利要求1所述的基于深度学习的睡岗检测方法，其特征在于，监控设备采用嵌入式终端或显卡主机，接入网络摄像头进行检测。
CN202110853637.5A 2021-07-28 2021-07-28 一种基于深度学习的睡岗检测方法 Pending CN113313084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110853637.5A CN113313084A (zh) 2021-07-28 2021-07-28 一种基于深度学习的睡岗检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110853637.5A CN113313084A (zh) 2021-07-28 2021-07-28 一种基于深度学习的睡岗检测方法

Publications (1)

Publication Number Publication Date
CN113313084A true CN113313084A (zh) 2021-08-27

Family

ID=77381559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110853637.5A Pending CN113313084A (zh) 2021-07-28 2021-07-28 一种基于深度学习的睡岗检测方法

Country Status (1)

Country Link
CN (1) CN113313084A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114090780A (zh) * 2022-01-20 2022-02-25 宏龙科技(杭州)有限公司 一种基于提示学习的快速图片分类方法
CN115346169A (zh) * 2022-08-08 2022-11-15 航天神舟智慧系统技术有限公司 一种睡岗行为检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN111753658A (zh) * 2020-05-20 2020-10-09 高新兴科技集团股份有限公司 一种睡岗告警方法、装置和计算机设备
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、系统及存储介质
CN112927297A (zh) * 2021-02-20 2021-06-08 华南理工大学 一种基于yolo系列的目标检测和视觉定位方法
CN113139530A (zh) * 2021-06-21 2021-07-20 城云科技（中国）有限公司 一种睡岗行为检测方法、装置及其电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN111753658A (zh) * 2020-05-20 2020-10-09 高新兴科技集团股份有限公司 一种睡岗告警方法、装置和计算机设备
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、系统及存储介质
CN112927297A (zh) * 2021-02-20 2021-06-08 华南理工大学 一种基于yolo系列的目标检测和视觉定位方法
CN113139530A (zh) * 2021-06-21 2021-07-20 城云科技（中国）有限公司 一种睡岗行为检测方法、装置及其电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114090780A (zh) * 2022-01-20 2022-02-25 宏龙科技(杭州)有限公司 一种基于提示学习的快速图片分类方法
CN114090780B (zh) * 2022-01-20 2022-05-31 宏龙科技(杭州)有限公司 一种基于提示学习的快速图片分类方法
CN115346169A (zh) * 2022-08-08 2022-11-15 航天神舟智慧系统技术有限公司 一种睡岗行为检测方法及系统

Similar Documents

Publication Publication Date Title
CN110807353B (zh) 一种基于深度学习的变电站异物识别方法、装置及系统
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN109284733A (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
CN113313084A (zh) 一种基于深度学习的睡岗检测方法
CN102637258B (zh) 一种建立在线表面质量检测系统缺陷库的方法
CN108446630A (zh) 机场跑道智能监控方法、应用服务器及计算机存储介质
CN108171175B (zh) 一种深度学习样本增强系统及其运行方法
CN109615862A (zh) 道路车辆交通运动状态参数动态获取方法及装置
CN108921203A (zh) 一种指针式水表的检测与识别方法
CN115620212B (zh) 一种基于监控视频的行为识别方法及系统
CN109740444A (zh) 人流量信息展示方法及相关产品
CN106096603A (zh) 一种融合多特征的动态火焰检测方法及装置
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
Zhang et al. Application research of YOLO v2 combined with color identification
CN106407908A (zh) 一种训练模型生成方法、人脸检测方法及装置
CN113988563A (zh) 一种用于平面镜成像实验的智能赋分系统
CN107784649A (zh) 基于图像识别的芯棒测试远程报警系统及方法
CN110008877A (zh) 一种基于Faster RCNN的变电站隔离开关检测识别方法
CN107481260A (zh) 一种区域人群滞留检测方法、装置和存储介质
CN104537833B (zh) 一种交通异常检测方法及系统
CN105160285A (zh) 基于立体视觉的自动人体跌倒识别方法及系统
CN110674887A (zh) 一种基于视频分类的端到端道路拥堵检测算法
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN114612735A (zh) 基于深度学习的吊钩防脱装置检测方法
CN110503092B (zh) 基于领域适应的改进ssd监控视频目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination