CN111931748B - 一种适用于蓄电池生产车间的工人疲劳度检测方法 - Google Patents

一种适用于蓄电池生产车间的工人疲劳度检测方法 Download PDF

Info

Publication number
CN111931748B
CN111931748B CN202011081350.7A CN202011081350A CN111931748B CN 111931748 B CN111931748 B CN 111931748B CN 202011081350 A CN202011081350 A CN 202011081350A CN 111931748 B CN111931748 B CN 111931748B
Authority
CN
China
Prior art keywords
worker
data
face
fatigue
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011081350.7A
Other languages
English (en)
Other versions
CN111931748A (zh
Inventor
田庆山
张天任
宋文龙
李丹
施璐
邓成智
刘玉
宋锐
汤序锋
沈旭培
姚秋实
罗秋月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianneng Battery Group Co Ltd
Original Assignee
Tianneng Battery Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianneng Battery Group Co Ltd filed Critical Tianneng Battery Group Co Ltd
Priority to CN202011081350.7A priority Critical patent/CN111931748B/zh
Publication of CN111931748A publication Critical patent/CN111931748A/zh
Application granted granted Critical
Publication of CN111931748B publication Critical patent/CN111931748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于蓄电池生产车间的工人疲劳度检测方法，包括：（1）使用视频监控摄像头采集蓄电池生产车间中工人的人脸图像或视频数据；（2）对采集的数据执行人脸检测算法，获取图像或视频帧中所有的面部数据；（3）将面部数据与事先采集的存有工人身份数据的数据库对比识别工人身份；（4）对面部数据进行表情分析，判断工人是否疲劳，对判断结果为疲劳状态的工人根据步骤（3）识别的工人身份对疲劳工人进行警示或替换。本发明通过捕捉工人的面部图像来进行分析和决策，采用了自动特征学习和人脸关键点特征相结合的方式，将工人从繁重高频的采样和冗余的可穿戴设备中解放出来，更加适用于企业或工厂的需求。

Description

一种适用于蓄电池生产车间的工人疲劳度检测方法
技术领域
本发明涉及工厂工人疲劳度管理技术领域，特别是涉及一种适用于蓄电池生产车间的工人疲劳度检测方法。
背景技术
铅蓄电池的制造涉及多个工艺步骤，虽然近几年提高了生产自动化水平，但还是有相当多的工艺步骤需要大量的产业工人进行操作，并且随着对铅蓄电池质量要求的提高，对产业工人操作的细节要求也是越来越高。然而，产业工人长时间处于一线的技术工作中，经历繁重或重复的各式操作之后，往往会感觉疲劳。但是，要求工人保持清醒状态，谨慎理智进行规范化操作的岗位越来越多，如若工人处于疲劳状态，极易因操作不当而引发重大损失甚至灾难。因此，在当前环境下，利用人工智能和深度学习技术研发推广一种能够自动检测工人的疲劳度，并能及时提醒工人离岗稍事休息的系统，显地愈加重要。
目前，此方面的方法和技术主要集中在基于生理信号的检测和判定，具体有以下几种：（1）基于血压、血氧等指标的检测方法；（2）基于脑电波统计规律的检测方法；（3）基于眼动轨迹的检测方法（Liu F , Li X , Lv T , et al. A Review of Driver FatigueDetection: Progress and Prospect[C]// 2019 IEEE International Conference onConsumer Electronics (ICCE). IEEE, 2019.）。
其中，方法（1）需要借助外力或者工具，逐个从工人身体上采集数据，并进行后续的分析、化验等环节。这一方法的结果可信度最高，但是成本也最为高昂。同时，相关指标的观测和采集设备复杂，操作繁琐，耗费了大量的人力物力，从采集到给出结果的时间也交为漫长。从工厂方面的可行性来看，这一方法不仅反馈结果慢，而且在一个工作日内，无法适当地组织多次测量，同时也不能实现实时反馈结果。方法（2）存在着与方法（1）相同的缺陷，此外，还容易受到人的思维活动和情绪的多方干扰而导致测量结果不准确，特别地，此方法还需大量的仪器（头戴式）同时运作，确保覆盖到每位工人，除了也会造成成本过高的问题，还严重影响了正常工作的进行。方法（3）也需要工人佩戴可能妨碍正常技术操作的可穿戴设备，而且实现技术更加复杂，结果也更加不稳定，同时在车间或者流水线中，眼动轨迹往往受到工人的身体、头部运动影响和牵动，很难揭示出工人的疲劳程度。
比如，公开号为CN107506689A的发明涉及一种判断倒班工人疲劳作业的系统，包括若干个设置在化工厂现场巡检点的判断疲劳装置，每个分布在现场的判断疲劳装置均包括指纹模块、摄像模块、语音模块，识别模块、存储模块、服务器，控制模块。所述语音模块，用于采取倒班工人的语音特征；所述摄像模块包括人脸识别单元、人脸特征提取单元，所述人脸识别单元用于进行人脸定位拍摄；所述人脸特征提取单元，用于提取眼睛闭合度及瞳孔变化的数值；所述识别模块用于处理所述语音模块传送的语音特征和所述摄像模块传送的人脸特征的数据；所述指纹模块用于倒班工人登录所述判断疲劳装置的唯一手段，当其登录成功，所述服务器预设有为其建立专属的人脸特征和语音特征的数据库；所述服务器，其建立有倒班工人个人数据库，所述数据库内为每个现场倒班工人建有个人账户，由所述指纹模块登录该个人账户，所述账户包括巡检打点时间、脸部特征、语音特征、指纹特征。
综上所述，本领域需要新的方法来解决工人疲劳度检测的问题。因为人的疲劳度会体现在面部表情和神态上，所以，本发明通过捕捉工人的面部图像，来进行分析和决策。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种适用于蓄电池生产车间的工人疲劳度检测方法。
一种适用于蓄电池生产车间的工人疲劳度检测方法，包括以下步骤：
（1）使用视频监控摄像头采集蓄电池生产车间中工人的人脸图像或视频数据；
（2）对采集的数据执行人脸检测算法，获取图像或视频帧中所有的面部数据；
（3）将面部数据与事先采集的存有工人身份数据的数据库对比识别工人身份；
（4）对面部数据进行表情分析，判断工人是否疲劳，对判断结果为疲劳状态的工人根据步骤（3）识别的工人身份对疲劳工人进行警示或替换。
优选的，步骤（1）采集数据的时机为：全时段全场所采集，或工人疲劳度较高的时间采集而其余时段不启动，或安全隐患严重的场所采集而其余场所不启动。
优选的，步骤（1）中所述视频监控摄像头的分辨率至少为720P。清晰度需要满足当下人脸识别、表情识别等方面的需求，具体来说，采集到的数据需要达到肉眼可辨认出身份和表情的水平。
步骤（1）中所用视频监控摄像头为固定式或移动式。
优选的，步骤（2）中人脸检测算法为采用YOLOv4卷积神经网络模型，定位图像或视频帧中的面部位置，给出人脸区域矩形外包框。
更优选的，步骤（2）中人脸检测算法使用前先对YOLOv4卷积神经网络模型进行训练，训练时先采用在公开的大规模人脸检测数据集进行模型的训练，再通过人工标注若干张真实的工厂或车间的图像对模型进行精调。
优选的，步骤（4）中对同一工人的持续一段时间内多个周期的面部数据进行分析，使用RepNet模型进行周期性重复动作统计和计数，得到每个周期动作的起点和终点，选取其中一个周期的面部数据进行表情分析。本发明高效地检测图像数据中的人脸，在积累了足够的观测数据后，从多周期、大跨度的数据中提取出一个周期进行分析，得到置信度高的结论，并且保证了方法的实时性。
更优选的，步骤（4）表情分析时，在每一帧人脸数据上标注出68个特征点，并在单个周期的面部数据中跟踪这68个特征点的运动轨迹特征；
采用DeepID模型的卷积计算模块对面部数据进行特征提取，得到深度卷积特征，并将得到的深度卷积特征和特征点的运动轨迹特征通过首尾连接的方式进行融合，送入递归神经网络进行二分类，判断当前面部数据对应的工人属于疲劳状态或非疲劳状态。
进一步优选的，在DeepID模型使用前，先用收集的面部表情数据集进行训练，训练后再通过实地收集部分工厂工人的真实数据对模型进行精细化调整。
本发明通过捕捉工人的面部图像来进行分析和决策，采用了自动特征学习和人脸关键点特征相结合的方式，将工人从繁重高频的采样和冗余的可穿戴设备中解放出来，更加适用于蓄电池生产车间的需求，对企业的安全高效生产具有重大的意义。
附图说明
图1为本发明基于深度学习的工人疲劳度检测方法的步骤流程示意图。
图2为每一帧图像上68个关键点的示意图。
图3为YOLOv4目标检测器的处理过程示意图。
图4为RepNet周期动作计数器的处理过程示意图。
具体实施方式
本发明通过数据采集、云平台和深度学习算法的协同配合，完成从真实的蓄电池生产车间采集工人面部活动数据，输入到图像理解与决策模块，最后给出工人的疲劳度情况的完整有序过程。
本发明的技术方案如下：
步骤1：基于YOLOv4的人脸检测算法，本算法基于当下最新的，也是业界流行的多目标检测框架YOLOv4实现，他的功能是从采集到的图像或者视频中检测出人脸的位置，并输出一个矩形框包围检测到的人脸。经检验，YOLOv4可以同时达到较高的精度和速度，满足工厂的需求。
步骤2：因为人类的瞬间表情难以捕捉，而且往往容易受到突发情况影响，所以仅凭借一幅图像中的一个缺乏参考性的面部数据来确定此数据所对应的工厂工人的疲劳状态是不恰当的。科学研究和观察表面，当人类身体状态感到疲劳时，面部的动作和表情会出现周期性的变化。因此，本发明先识别某一时刻下的图像（视频帧）中检测到的所有人脸，得到所有工人的身份。此后，对于同一名工人，本发明对其进行持续观测，并保证观测期足够长，在观测期内，本发明等间隔采样，持续不断地获得工人的面部数据，保存其面部数据序列。
步骤3：对于同一个工人，当其处于较长观测期时，步骤2中获得的面部数据序列可能包含多个面部活动周期，然而为保证算法的有效性，本发明仅需要单个周期的数据来进行分析。因此在此步骤中，本发明使用了Google公司于2020年提出的模型RepNet，来对视频中的周期性重复动作进行统计和计数，得到每个周期动作的起点和终点后，本发明只保留一个周期的数据进行后续的分析。
步骤4：对于步骤3中输出的面部图像数据，按照OCFW人脸数据库提供的标准和传统的基于OpenCV和Dlib库的人脸标定算法，如说明书附图的图2所示，在每一帧人脸数据上标注出68个特征点，并在整个的单周期面部图像序列中跟中这68个特征点的运动轨迹特征。
步骤5：对于步骤3输出的面部图像数据，需要再采用序列分类模型对其进行疲劳/非疲劳的二分类操作。具体的，本发明采用DeepID模型的卷积计算模块对其进行特征提取，并将得到的特征和经历步骤4之后得到的人脸关键点轨迹特征通过首位连接的方式进行融合，送入递归神经网络进行分类，判断当前图像序列数据对应的工人是否疲劳。此处使用的递归神经网络的递归处理部分为含有64个神经元的单层结构，分类部分为三层多层感知机，结构为64-32-1。
步骤6：把疲劳度的分析结论返回并进行后续的警示、预警等处理。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明的基于深度学习的工人疲劳度检测系统主要包括数据采集设备、云平台和深度学习计算。
数据采集设备包含多个用于拍摄或者录制的摄像头，在图1给出的本发明的一个实施例中，有且仅有当清晰的面部出现在录制设备中时，后续的算法才能给出一个合理的检测结果，当没有检测到可用的人脸时，算法会提示未检测到有效内容。数据采集设备的清晰度需要满足当下人脸识别、表情识别等方面的需求，具体来说，采集到的数据需要达到肉眼可辨认出身份和表情的水平。
YOLOv4是要求标注足够的监督信息，来驱动其本身的学习和参数更新。但人工标注数以万计的工厂/车间图像是不可行的，因此，本发明先采用在公开的大规模人脸检测数据集（例如AFLW等数据集）进行模型的训练和测试，将模型训练达到行业最佳性能之后，再人工标注数百张真实的工厂或车间的图像，通过这些图像对模型进行精调，使其在本发明针对的场景下能够有效泛化。
如图1所示，在本发明的一个实施例（图像源自于网络）中，YOLOv4对于监控视频中的某一帧图像运行人脸检测，并且给出了一个人脸外包框。事实上，YOLOv4可以检测出此类场景下的绝大多数甚至全部人脸，为便于说明，本发明以单个工人在单帧视频（或单幅图像）中的单个人脸为例进行讲解。
YOLOv4的计算细节需要在此说明清楚：首先，YOLOv4采用某种形态的基石网络来对整幅图像进行表示学习，得到完整的图像特征。如图3所示，这一部分完全可以借鉴任意符合要求的基石网络；基石网络的特征在分割、检测、分类等视觉任务上具有一定的普适性。
本发明的检测模块采用的YOLOv4是检测任务，因此需要对前一段描述的基石网络给出的普适性特征和浅层特征进一步处理，使其在检测任务是具有一定的针对性，并进化为深层特征。这一过程通过任何一个满足要求的、易于训练的卷积神经网络模块均可实现，这一网络专门用于输出适用于检测任务的高层的语义特征。
如上文所述，对于图像中的任意大小和位置的区域，都可以得到其对应的高层语义特征，在YOLOv4中，通过深度学习中的反卷积操作，可以直接得知此区域中有无适当人脸，并且如有适当人脸，可以得到人脸的完整外包框。整体来看，YOLOv4将输入图像分成若干个格子，每个格子负责检测落入该格子的人脸。若某个人脸的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。
在测量工人疲劳度之前，本发明需要先执行人脸识别任务来确定工人的真实身份。与前文所述的检测模型类似，人脸识别模型也需要大规模的有标注数据进行训练，对于此种情况，本发明首先采用公开的大规模数据集（例如LFW数据集）来训练人脸识别模型，这一操作用于确保识别模型中的特征提取模块能够提取出判别性足够强的特征。此后，本发明需要收集工人的面部数据，用于人脸识别在工厂中的部署。在本发明的人脸识别部分，作为诸多流行方法之一，FR+FCN模型可以在保持个体之间的差异的同时，极大的减少单个个体人脸图像之间的差异，同时，此方法无需使用2d环境或者3d信息来进行人脸重建，该方法直接从人脸图像之中学习到可以代表某个个体的规则观察体，无需过多的标记样本。在现实场景下，工厂工人的数量规模远比大部分商业落地需求要小，因此适合于使用此类方法来解决相关问题。
云平台配置为由多台服务器组成的计算和存储中心，管理全部计算机和软硬件设备，能够接收摄像头和其他计算机上传的图像数据，并合理存储时序数据以备后用，进行特征融合、分类、回归、决策以及设备间的通信。
所述云平台和GPU服务器，根据现有的业内实践经验来看，在尽可能采用快速高效的训练算法和轻量级模型的前提下，其中一种可以把成本控制到最低的可行配置为：内存16G或者32G的CPU处理器，以及配备有2张RTX 2070显卡（可以选用性能更高的显卡型号）的GPU服务器，共同用于接收数据采集设备传回的工人面部图像数据，并对已经获得的数据进行如下处理：（1）对图像或者视频数据执行进行人脸检测算法，获得图像中或者视频的每一帧中所有的面部数据，（2）对面部数据进行识别，识别出工人的身份，（3）对数据进行表情分析，判断工人是否疲劳。
在人脸识别和数据观测的问题解决后，本发明面临的问题是如何从包含多周期面部动作的观测数据中得到单周期数据来进行分析。在疲劳状态下，面部的重复过程能提供清晰的面部动作单元，其意义即构成一个完整动作的且具有明确语义含义的分段。因此，如图4所示，本发明参考谷歌公司的RepNet，设计了一个重复动作计数器，其中包含一个帧编码器、一个中间表征（时间自相似度矩阵）、一个时间段预测器。此计数器的输入是任意一段含有连续多个周期的视频，输出为各个单周期的起止时间点。
在本发明中，为了保证实时性，同时避免过拟合现象的发生，RepNet采用与YOLOv4完全相同的基石网络作为帧编码器，并且两个模型框架共享了在基石网络部分的计算和特征；时间自相似度矩阵存储了任意帧与其他所有帧之间的关系；时间段预测器则致力于寻找到从时间自相似度矩阵中得到最有可能是一个周期性动作起点或终点的帧。最终，本发明中这一部分的输出为一个工人在较长期的观测时段内，展现出的面部完整的周期性动作。
本发明需要对上一段得到的面部动作序列进行分类，分类结果中只有两种可能：（1）对应的工人属于疲劳状态；（2）对应的工人处在非疲劳（清醒）状态。因此，整体上来看，本发明的这一部分属于标准的序列分类任务。在具体实现中，本发明采用若干卷积层把面部动作图像序列转化为等长度的特征序列，如图2所示，按照行业标准（按照OCFW人脸数据库提供的标准和传统的基于OpenCV和Dlib库的人脸标定算法，其中，OCFW包含3837幅图像，每个人脸标定68个关键点，OpenCV和Dlib库中包含68点标定和绘点算法），面部动作数据序列同时会为每一帧提供68个关键点来描述这一帧。在本发明中，关键点轨迹作为特征，与卷积层学习到的特征首尾相连，送入递归神经网络进行序列特征提取。由于序列的长度往往不固定，因此，本发明对序列中的所有对象进行取平均操作后，将得到的具备固定维度的特征向量送入全连接层（MLP）进行分类。递归神经网络的递归处理部分为含有64个神经元的单层结构，分类部分为三层多层感知机，结构为64-32-1。这一部分的模型序列也采取预训练和精调相结合的方式，先收集当下流行的面部表情数据集，其中，专门进行表情识别的数据集有广东省自然科学基金（2014A030310169）资助下收集的人脸疲劳表情数据集等，这些数据仅包含面部表情图像而非图像序列，因此，本发明采用RepNet框架中的相机视角转换工具将单幅图像合成为图像序列，用于对模型的训练。最后，通过实地收集部分工厂工人的真实数据（结合采集的图像或视频信息，调查工人，确定工人认为自己处于疲劳状态还是清醒状态）来对模型进行精细化调整。
对于判断结果为疲劳状态的工人根据识别的工人身份对疲劳工人进行警示或替换。可以采取自动警示策略，通过语音广播或者视频播报来通知疲劳度过高的工人进去休息区，也可以在获取数据分析结果后，对其进行口头通知。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征进行等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种适用于蓄电池生产车间的工人疲劳度检测方法，其特征在于，包括以下步骤：
（1）使用视频监控摄像头采集蓄电池生产车间中工人的人脸图像或视频数据；
（2）对采集的数据执行人脸检测算法，获取图像或视频帧中所有的面部数据；
（3）将面部数据与事先采集的存有工人身份数据的数据库对比识别工人身份；
（4）对面部数据进行表情分析，判断工人是否疲劳，对判断结果为疲劳状态的工人根据步骤（3）识别的工人身份对疲劳工人进行警示或替换，
步骤（4）中对同一工人的持续一段时间内多个周期的面部数据进行分析，使用RepNet模型进行周期性重复动作统计和计数，得到每个周期动作的起点和终点，选取其中一个周期的面部数据进行表情分析，
步骤（4）表情分析时，在每一帧人脸数据上标注出68个特征点，并在单个周期的面部数据中跟踪这68个特征点的运动轨迹特征；
采用DeepID模型的卷积计算模块对面部数据进行特征提取，得到深度卷积特征，并将得到的深度卷积特征和特征点的运动轨迹特征通过首尾连接的方式进行融合，送入递归神经网络进行二分类，判断当前面部数据对应的工人属于疲劳状态或非疲劳状态。
2.如权利要求1所述的工人疲劳度检测方法，其特
征在于，步骤（1）采集数据的时机为：全时段全场所采集，或工人疲劳度较高的时间采集而其余时段不启动，或安全隐患严重的场所采集而其余场所不启动。
3.如权利要求1所述的工人疲劳度检测方法，其特征在于，步骤（1）中所述视频监控摄像头的分辨率至少为720P。
4.如权利要求1所述的工人疲劳度检测方法，其特征在于，步骤（1）中所用视频监控摄像头为固定式或移动式。
5.如权利要求1所述的工人疲劳度检测方法，其特征在于，步骤（2）中人脸检测算法为采用YOLOv4卷积神经网络模型，定位图像或视频帧中的面部位置，给出人脸区域矩形外包框。
6.如权利要求5所述的工人疲劳度检测方法，其特征在于，步骤（2）中人脸检测算法使用前先对YOLOv4卷积神经网络模型进行训练，训练时先采用在公开的大规模人脸检测数据集进行模型的训练，再通过人工标注若干张真实的工厂或车间的图像对模型进行精调。
7.如权利要求1所述的工人疲劳度检测方法，其特征在于，在DeepID模型使用前，先用收集的面部表情数据集进行训练，训练后再通过实地收集部分工厂工人的真实数据对模型进行精细化调整。
CN202011081350.7A 2020-10-12 2020-10-12 一种适用于蓄电池生产车间的工人疲劳度检测方法 Active CN111931748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011081350.7A CN111931748B (zh) 2020-10-12 2020-10-12 一种适用于蓄电池生产车间的工人疲劳度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011081350.7A CN111931748B (zh) 2020-10-12 2020-10-12 一种适用于蓄电池生产车间的工人疲劳度检测方法

Publications (2)

Publication Number Publication Date
CN111931748A CN111931748A (zh) 2020-11-13
CN111931748B true CN111931748B (zh) 2021-01-26

Family

ID=73334361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011081350.7A Active CN111931748B (zh) 2020-10-12 2020-10-12 一种适用于蓄电池生产车间的工人疲劳度检测方法

Country Status (1)

Country Link
CN (1) CN111931748B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818801B (zh) * 2021-01-26 2024-04-26 每步科技(上海)有限公司 运动计数方法、识别装置、识别系统及存储介质
CN114882672A (zh) * 2022-04-27 2022-08-09 山西星心半导体科技有限公司 一种基于led显示屏生产车间的安全防护系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354987A (zh) * 2015-11-26 2016-02-24 南京工程学院 车载型疲劳驾驶检测与身份认证装置及其检测方法
WO2017214231A1 (en) * 2016-06-07 2017-12-14 BlyncSync Technologies, LLC System and method for fleet driver biometric tracking
CN108609019A (zh) * 2018-05-09 2018-10-02 浙江金之路信息科技有限公司 一种基于人工智能平台的电动车自动驾驶方法
CN110020632A (zh) * 2019-04-12 2019-07-16 李守斌 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法
CN110490139A (zh) * 2019-08-21 2019-11-22 南京亨视通信息技术有限公司 基于人脸识别的夜间疲劳驾驶判断方法
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
WO2020170299A1 (ja) * 2019-02-18 2020-08-27 三菱電機株式会社 疲労判定装置、疲労判定方法、および疲労判定プログラム
CN111666875A (zh) * 2020-06-05 2020-09-15 浙江工业大学 一种基于机器视觉的制造业工人疲劳状态检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354987A (zh) * 2015-11-26 2016-02-24 南京工程学院 车载型疲劳驾驶检测与身份认证装置及其检测方法
WO2017214231A1 (en) * 2016-06-07 2017-12-14 BlyncSync Technologies, LLC System and method for fleet driver biometric tracking
CN108609019A (zh) * 2018-05-09 2018-10-02 浙江金之路信息科技有限公司 一种基于人工智能平台的电动车自动驾驶方法
WO2020170299A1 (ja) * 2019-02-18 2020-08-27 三菱電機株式会社 疲労判定装置、疲労判定方法、および疲労判定プログラム
CN110020632A (zh) * 2019-04-12 2019-07-16 李守斌 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法
CN110490139A (zh) * 2019-08-21 2019-11-22 南京亨视通信息技术有限公司 基于人脸识别的夜间疲劳驾驶判断方法
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN111666875A (zh) * 2020-06-05 2020-09-15 浙江工业大学 一种基于机器视觉的制造业工人疲劳状态检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的人脸识别及专注度判别方法研究与应用;张双喜;《中国优秀硕士论文全文数据库》;20200215;摘要，正文第8-49页 *

Also Published As

Publication number Publication date
CN111931748A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
Tao et al. Worker activity recognition in smart manufacturing using IMU and sEMG signals with convolutional neural networks
CN108764059B (zh) 一种基于神经网络的人体行为识别方法及系统
CN111191586B (zh) 一种施工现场人员安全帽佩戴情况巡检方法及系统
CN111726586A (zh) 一种生产体系操作规范监测提醒系统
CN107179683B (zh) 一种基于神经网络的交互机器人智能运动检测与控制方法
Dallel et al. Inhard-industrial human action recognition dataset in the context of industrial collaborative robotics
Forkan et al. An industrial IoT solution for evaluating workers' performance via activity recognition
CN111046823A (zh) 基于课堂视频的学生课堂参与度分析系统
CN111931748B (zh) 一种适用于蓄电池生产车间的工人疲劳度检测方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN111507592B (zh) 一种面向服刑人员的主动改造行为的评估方法
CN103324937A (zh) 标注目标的方法和装置
CN107133611B (zh) 一种课堂学生点头率识别与统计方法及装置
CN109743547A (zh) 一种人工智能安全监控管理系统
CN107241572A (zh) 学员实训视频追踪评价系统
Yang et al. Transformer-based deep learning model and video dataset for unsafe action identification in construction projects
Manaf et al. Computer vision-based survey on human activity recognition system, challenges and applications
CN114359976A (zh) 一种基于人物识别的智能安防方法与装置
CN114241423A (zh) 一种河道漂浮物智能检测方法及系统
Ji et al. A Computer Vision-Based Model for Automatic Motion Time Study.
Pourazad et al. A non-intrusive deep learning based fall detection scheme using video cameras
Singhal et al. Deep Learning Based Real Time Face Recognition For University Attendance System
Chen et al. MDNN: Predicting Student Engagement via Gaze Direction and Facial Expression in Collaborative Learning.
Zhang et al. Key technologies of smart factory machine vision based on efficient deep network model
Huang et al. Spatial relationship-aware rapid entire body fuzzy assessment method for prevention of work-related musculoskeletal disorders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant