CN115273188A - 一种基于目标检测算法的疲劳检测方法、装置及存储介质 - Google Patents

一种基于目标检测算法的疲劳检测方法、装置及存储介质 Download PDF

Info

Publication number
CN115273188A
CN115273188A CN202210872742.8A CN202210872742A CN115273188A CN 115273188 A CN115273188 A CN 115273188A CN 202210872742 A CN202210872742 A CN 202210872742A CN 115273188 A CN115273188 A CN 115273188A
Authority
CN
China
Prior art keywords
image
fatigue
face
illumination
face video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210872742.8A
Other languages
English (en)
Inventor
刘羽中
李华亮
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202210872742.8A priority Critical patent/CN115273188A/zh
Publication of CN115273188A publication Critical patent/CN115273188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测算法的疲劳检测方法、装置及存储介质。该方法包括步骤：获取工作人员的人脸视频，采用Retinex‑Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频；将所述第二人脸视频中的第二人脸图像输入至LSTM‑SSD深度学习模型，输出所述工作人员的疲劳信息。本发明技术方案提高了在低光照环境下的疲劳检测的准确度。

Description

一种基于目标检测算法的疲劳检测方法、装置及存储介质
技术领域
本发明涉及疲劳检测技术领域，尤其涉及一种基于目标检测算法的疲劳检测方法、装置及存储介质。
背景技术
人体疲劳检测技术在人体健康状况监测等领域有着巨大的应用价值。而基于深度学习模型进行的疲劳检测既可以避免接触式设备给检测者带来的不适感，也可以保证疲劳检测的准确性。目标检测是计算机视觉中最具有挑战性的任务，目的是在图像的复杂背景下找到若干目标，并对每一个目标给出一个精确的目标包围盒并判断包围盒中的目标所属的类别。深度学习的兴起使得目标检测得到加速发展，准确性和实时性都得到了提升。现有的疲劳检测深度学习模型基本采用Faster-RCNN、YOLO和SSD(Single Shot MultiBoxDetector)，这三类深度学习模型在目标检测领域应用非常广泛。
其中，RCNN是使用CNN卷积神经网络进行目标检测的开山之作，并且利用传统SVM分类器对于特定某一类进行区分。YOLO模型是one-stage的目标检测算法，将物体的定位和分类放在一起完成，在一个输出层回归boundingbox的位置和boundingbox所属类别。而SSD则是加入了基于特征金字塔的检测方式，在不同感受野的特征图上进行预测目标。而低光照环境的多样性也给各类目标检测算法带来了严峻的挑战,制约了目标检测在全天候监测疲劳状态等复杂场景下的应用。因此，低光照场景下的图像增强、目标检测等相关理论和技术研究具有重要的现实意义和应用价值。
随着近年来电网作业现场人员安全问题备受关注，许多方案都致力于保障电网作业人员的安全。例如专利号为202111442380.0的发明专利公开了一种基于表情识别的电力基站现场人员状态管理方法及系统，该方法提出了一套完整的现场管理方法，根据提取到的面部图像判断目标的情绪状态，将工人的情绪状态分为高兴，兴奋、愉快、惊讶、恐惧、厌恶、愤怒、悲伤八种表情，其中高兴，兴奋、愉快归为一个大类，即正面表情，惊讶、恐惧、厌恶、愤怒、悲伤归为一个大类，即负面表情。若目标的表情状态为负面表情，则判断目标的情绪状态不满足工作要求，再通过管理系统中的预警装置对工人的异常情绪状态进行预警。并且可以通过控制室内的显示器对整个电力基站的现场情况进行显示。
现有技术存在以下缺点：
(1)对于RCNN而言，它的网络训练过程太慢，需要对每一个候选区域都输入到CNN中再进行提取特征，极大的浪费了时间和精力。RCNN占用的内存空间很大，不管是通过RCNN提取出的特征，还是使用的SVM分类器都需要占用额外的空间。同时RCNN并没有对资源进行重复利用，在使用SVM分类和对框进行回归操作的时候CNN模型的参数没有实现同步修改。
(2)在目标检测领域，YOLO开创了one-stage检测的检测方法，在运行速度方面极大地满足了工业需求。但是YOLO的缺点也十分致命，它的物体检测精确度低于传统的检测方法，YOLO容易产生物体的定位错误。YOLO对小物体的检测效果不好(尤其是密集的小物体)。而在电网工作环境下，对于精确度有着严格的要求，YOLO明显无法应用于电网工作环境。
(3)SSD的主要特点是在不同尺度上进行检测与识别，通过在不同感受野上预测目标，提高了目标检测精度。但是由于网络模型冗余，导致SSD模型算法实时性不足、模型轻量化导致的精度不够、数据量不平衡导致训练不充分等因素，在实际场景下的检测效果仍然不理想。
而上述三种目标检测网络都没有针对低光照环境下的检测场景进行适应。在实际的电网工作环境中，低光照环境是十分常见的，也是不可忽略的应用场景。如果不能在低光照环境下进行疲劳检测，也就无法完全应用于电网工作场景。
发明内容
本发明提供一种基于目标检测算法的疲劳检测方法、装置及存储介质，提高了在低光照环境下的疲劳检测的准确度。
本发明一实施例提供一种基于目标检测算法的疲劳检测方法，包括以下步骤：
获取工作人员的人脸视频，采用Retinex-Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频；
将所述第二人脸视频中的第二人脸图像输入至LSTM-SSD深度学习模型，输出所述工作人员的疲劳信息。
进一步的，采用Retinex-Net卷积神经网络模型对所述人脸视频进行低光照增强处理，具体为：所述Retinex-Net卷积神经网络模型依次对所述人脸视频进行图像分解处理、图像增强处理和图像重建处理。
进一步的，所述Retinex-Net卷积神经网络模型依次对所述人脸视频进行图像分解处理、图像增强处理和图像重建处理，包括以下步骤：
将所述人脸视频输入至Decom-Net子模型，所述Decom-Net子模型将人脸图像分解为反射图像和光照图像；
将所述反射图像和光照图像输入至Enhance-Net增强网络中，所述Enhance-Net增强网络在不同尺度上对所述光照图像进行光照增强处理得到第二光照图像和对所述反射图像进行去噪处理得到第二反射图像；
采用Retinex方法对所述第二光照图像和第二反射图像进行重建处理得到第二人脸图像。
进一步的，所述LSTM-SSD深度学习模型根据以下步骤对所述第二人脸图像进行处理：
步骤S1：所述第二人脸图像经过九层深度可分离卷积处理，得到第一人脸特征图像；
步骤S2：将所述第一人脸特征图像输入至Bottleneck-LSTM卷积层进行时序特征提取操作得到第二人脸特征图像；
步骤S3：将所述第二人脸特征图像进行不同尺度的深度可分离卷积处理。
进一步的，重复执行3次所述步骤S2和步骤S3。
进一步的，所述疲劳信息包括第一疲劳信息和第二疲劳信息，当所述第一疲劳信息或第二疲劳信息符合疲劳检测标准时，判断所述工作人员处于疲劳状态，并发出警报；所述第一疲劳信息为闭眼信息，所述第二疲劳信息为哈欠信息。
进一步的，当检测到张嘴状态的持续时间大于等于第一预设时长或检测到在第二预设时长内哈欠次数在预设次数以上，则判断所述工作人员符合疲劳检测标准；
当检测到闭眼状态的持续时间大于等于第三预设时长或检测到在第四预设时长内闭眼次数在预设次数以上，则判断所述工作人员符合疲劳检测标准。
进一步的，采用头戴式的摄像头对所述工作人员进行面部拍摄，得到所述工作人员的人脸视频，并将所述人脸视频通过APN专网通道实时传输至所述Ret i nex-Net卷积神经网络模型。
本发明另一实施例提供了一种基于目标检测算法的疲劳检测装置，包括光照增强模块和疲劳检测模块；
所述光照增强模块用于获取工作人员的人脸视频，采用Retinex-Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频；
所述疲劳检测模块用于将所述第二人脸视频中的第二人脸图像输入至LSTM-SSD深度学习模型，输出所述工作人员的疲劳信息。
本发明另一实施例提供了一种可读存储介质，所述可读存储介质包括存储的计算机程序，所述计算机程序执行时，控制所述可读存储介质所在的设备执行本发明任意一项方法项实施例所述的基于目标检测算法的疲劳检测方法。
本发明的实施例，具有如下有益效果：
本发明提供了一种基于目标检测算法的疲劳检测方法、装置及存储介质，该方法通过采用Retinex-Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频，和将所述第二人脸视频中的第二人脸图像输入至LSTM-SSD深度学习模型，得到所述工作人员的疲劳信息。
本发明从低光照图像增强和目标检测两个方面入手，结合了Retinex-Net网络和LSTM-SSD深度学习模型，提高了在低光照作业场景下对作业人员的疲劳状态检测的准确度。本发明利用两种深度神经网络完成不同的任务，将两种深度学习网络的优势充分发挥，增加了深度学习模型在低光照作业场景的鲁棒性，提高了通过摄像头进行疲劳检测的准确性。
附图说明
图1是本发明一实施例提供的基于目标检测算法的疲劳检测方法的流程示意图；
图2是本发明一实施例提供的基于目标检测算法的疲劳检测装置的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供的一种基于目标检测算法的疲劳检测方法，包括以下步骤：
步骤S101：获取工作人员的人脸视频，采用Retinex-Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频。具体的，所述Retinex-Net卷积神经网络模型依次对所述人脸视频进行图像分解处理、图像增强处理和图像重建处理。所述Retinex-Net卷积神经网络模型能有效的将低光照场景下的图片进行光照增强操作，有利于人脸区域的疲劳检测操作。利用Retinex-Net卷积神经网络模型对人脸视频进行低光照增强，得到光照增强后的人脸区域视频。
作为其中一种实施例，采用头戴式的摄像头对所述工作人员进行面部拍摄，得到所述工作人员的人脸视频，并将所述人脸视频通过APN专网通道实时传输至所述Retinex-Net卷积神经网络模型。采集人脸视频时，视频图像中应显示目标设备区域的细节信息，减少被拍摄目标的面部或设备的遮挡情况。
作为其中一种实施例，所述述Retinex-Net卷积神经网络模型包括分解子模型(即Decom-Net子模型)、增强子模型(即Enhance-Net增强网络)、重建图像模块三个部分。
作为其中一种实施例，所述Retinex-Net卷积神经网络模型依次对所述人脸视频进行图像分解处理、图像增强处理和图像重建处理，包括以下步骤：
步骤S1011：将所述人脸视频输入至Decom-Net子模型，所述Decom-Net子模型将人脸图像分解为反射图像和光照图像。所述Decom-Net子模型通过5个带ReLU激活函数的卷积层将人脸图像分解为光照分量和反射分量，得到相应的Rnormal和光照图像Lnormal和反射图像Rnormal。
步骤S1012：将所述反射图像和光照图像输入至Enhance-Net增强网络中，所述Enhance-Net增强网络在不同尺度上对所述光照图像进行光照增强处理得到第二光照图像和对所述反射图像进行去噪处理得到第二反射图像。具体的，所述Enhance-Net增强网络通过三次下采样、三次上采样和多尺度的卷积层处理，在不同尺度上对所述光照图像Lnormal进行光照增强操作。同时，所述反射图像被单独进行去噪操作，通过BM3D算法对反射图像Rnormal中被放大的噪声进行抑制。通过Enhance-Net增强网络和BM3D算法得到调整过后的第二反射图像
Figure BDA0003757409670000071
和第二光照图像
Figure BDA0003757409670000072
步骤S1013：采用Retinex方法对所述第二光照图像L和第二反射图像R进行重建处理得到第二人脸图像S。通过乘积的方式可以得到低光照增强后的正常光照人脸区域视频图像，即所述第二人脸图像。具体的，根据公式S(x，y)＝R(x，y)*L(x，y)，计算得到所述第二人脸图像，其中，x和y代表图像中的像素点坐标。
步骤S102：将所述第二人脸视频中的第二人脸图像输入至LSTM-SSD深度学习模型，输出所述工作人员的疲劳信息。所述LSTM-SSD深度学习模型是在SSD模型的基础上利用LSTM进行时序特征融合的深度学习模型，同时也是在能低功耗移动设备和嵌入式设备上实时运行的视频对象在线检测模型，在做到结合时序信息进行疲劳检测的同时，保持了检测模型的低功耗和实时性。
作为其中一种实施例，所述LSTM-SSD深度学习模型根据以下步骤对所述第二人脸图像进行处理：
步骤S1021：所述第二人脸图像经过九层深度可分离卷积处理，得到第一人脸特征图像。具体的，将每一帧第二人脸图像输入所述LSTM-SSD深度学习模型中。所述第二人脸图像输入LSTM-SSD深度学习模型后，首先经过九层深度可分离卷积进行初步的特征提取，得到第一人脸特征图(Feature Map)。本发明的深度可分离卷积相比于传统卷积层而言，能大大缩小卷积操作的计算规模，约为1/3。
步骤S1022：将所述第一人脸特征图像输入至Bottleneck-LSTM卷积层进行时序特征提取操作得到第二人脸特征图像。具体的，经过所述步骤S1021的初步特征提取过后，将所述第一人脸特征图输入Bottleneck-LSTM卷积层进行时序特征上的提取，相比于标准的LSTM结构，Bottleneck-LSTM卷积层对标准LSTM方程进行了一些修改，所述Bottleneck-LSTM卷积层根据以下公式进行时序特征提取：
Figure BDA0003757409670000081
其中，bt是Bottleneck-LSTM层的输出，
Figure BDA0003757409670000082
是ReLU激活函数，M+N是输入通道数，Wb为网络权重，N是输出通道数，[xt，ht-1]是Bottleneck-LSTM层的输入。Bottleneck-LSTM卷积层会对连续多帧的人脸图像进行空间和时间信息的编码，能依据新输入的人脸图像更新之前时间检测出的目标状态。
步骤S1023：将所述第二人脸特征图像进行不同尺度的深度可分离卷积处理。优选的，所述不同尺度的深度可分离卷积处理对应的深度卷积核的维度分别为3*3*128、3*3*64、3*3*64和3*3*32。
重复执行3次所述步骤S1022和步骤S1023，得到所述工作人员的疲劳信息。Bottleneck-LSTM卷积层使得每次提取得到的特征都会在现有特征状态基础上进行更新，得到检测出的电网工作者的闭眼、哈欠等疲劳信息，用于判断工作者是否处于疲劳状态。
作为其中一种实施例，所述疲劳信息包括第一疲劳信息和第二疲劳信息，当所述第一疲劳信息或第二疲劳信息符合疲劳检测标准时，判断所述工作人员处于疲劳状态，并发出警报；所述第一疲劳信息为闭眼信息，所述第二疲劳信息为哈欠信息。具体的，当检测到张嘴状态的持续时间大于等于第一预设时长或检测到在第二预设时长内哈欠次数在预设次数以上，则判断所述工作人员符合疲劳检测标准；当检测到闭眼状态的持续时间大于等于第三预设时长或检测到在第四预设时长内闭眼次数在预设次数以上，则判断所述工作人员符合疲劳检测标准。
作为其中一种实施例，所述第一疲劳信息通过计时操作实现。当LSTM-SSD模型检测出电网工作者眼部状态为闭眼时开始计时，当LSTM-SSD模型检测出电网工作者眼部状态为睁眼时停止计时，并且在停止计时之后计时重置。当计时长度超过2s时，代表工作者的连续闭眼时间超过2s。判定工作者处于疲劳状态，不适合继续进行电网工作。
作为其中一种实施例，所述第二疲劳信息通过计数操作实现。当LSTM-SSD模型检测出电网工作者嘴部状态为张开状态，并且持续时间为2s以上，判定工作者进行了一次哈欠动作。当一分钟内工作者的哈欠次数大于等于5次时，判定工作者处于疲劳状态，不适合继续进行电网工作。
根据所述第一疲劳信息和第二疲劳信息共同对工作者疲劳状态的判断。任意信息源判定工作者处于疲劳状态时，都应对电网工作者发出警报。
本发明从低光照图像增强和目标检测两个方面入手，聚焦低光照场景下的目标检测算法并开展了探索与研究，结合了Retinex-Net网络和LSTM-SSD深度学习模型，实现了在低光照作业场景下对电力作业人员的疲劳状态检测。一方面，由于实际场景中缺乏低光照和正常光照配对图像，本发明利用基于Retinex理论的Retinex-Net卷积神经网络模型，对低光照场景进行图像增强操作，得到正常光照人脸区域视频图像。同时，本发明利用基于时间感知(LSTM)特征图的移动视频目标检测器，将LSTM卷积集成到单幅图像检测中，在SSD目标检测框架的基础之上，使用Bottleneck-LSTM卷积层将时间上下文信息融入图像特征中，使得每次提取到的特征都会在现有特征的基础上进行更新，充分利用了视频中物体状态在时间上的连续性(例如物体移动的轨迹)。LSTM-SSD模型中将卷积操作替换成深度可分离卷积，大大减少了模型的运算量，在确保检测准确率的同时，完成了轻量化和实时性的要求，继而可以在移动设备和嵌入式设备上进行疲劳检测系统的部署。有利于实际电网工作场景中疲劳检测技术的部署。
本发明利用两种深度神经网络完成不同的任务，将两种深度学习网络的优势充分发挥，增加了深度学习模型在低光照作业场景(例如黄昏时刻、地下配电房等)的鲁棒性，确保了通过摄像头进行疲劳检测的准确性。本发明融合了多视角特征，利用眼部状态、嘴部状态信息，从两个维度对工作者的疲劳状态进行判断，相比于单一维度的判断，更能起到对工作者的疲劳监督作用，有利于提高电网作业的安全性。本发明集成了Retinex-Net网络和LSTM-SSD深度学习模型，做到了在低光照作业场景下的电力作业人员疲劳状态检测，提高了低光照场景下疲劳检测的实用性和准确性。本发明通过多视角特征融合提高了视频流疲劳检测模型的鲁棒性。
在上述发明实施例的基础上，本发明对应提供了装置项实施例，如图2所示；
本发明另一实施例提供了一种基于目标检测算法的疲劳检测装置，包括光照增强模块和疲劳检测模块；
所述光照增强模块用于获取工作人员的人脸视频，采用Retinex-Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频；
所述疲劳检测模块用于将所述第二人脸视频中的第二人脸图像输入至LSTM-SSD深度学习模型，输出所述工作人员的疲劳信息。
为描述的方便和简洁，本发明装置项实施例包括上述基于目标检测算法的疲劳检测方法实施例中的全部实施方式，此处不再赘述。
在上述发明项实施例的基础上，本发明对应提供了可读存储介质项实施例；本发明另一实施例提供了一种可读存储介质，所述可读存储介质包括存储的计算机程序，所述计算机程序执行时，控制所述可读存储介质所在的设备执行如本发明任意一项方法项实施例所述的基于目标检测算法的疲劳检测方法。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质(即上述可读存储介质)中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (10)

1.一种基于目标检测算法的疲劳检测方法，其特征在于，包括以下步骤：
获取工作人员的人脸视频，采用Retinex-Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频；
将所述第二人脸视频中的第二人脸图像输入至LSTM-SSD深度学习模型，输出所述工作人员的疲劳信息。
2.根据权利要求1所述的基于目标检测算法的疲劳检测方法，其特征在于，采用Retinex-Net卷积神经网络模型对所述人脸视频进行低光照增强处理，具体为：所述Retinex-Net卷积神经网络模型依次对所述人脸视频进行图像分解处理、图像增强处理和图像重建处理。
3.根据权利要求2所述的基于目标检测算法的疲劳检测方法，其特征在于，所述Retinex-Net卷积神经网络模型依次对所述人脸视频进行图像分解处理、图像增强处理和图像重建处理，包括以下步骤：
将所述人脸视频输入至Decom-Net子模型，所述Decom-Net子模型将人脸图像分解为反射图像和光照图像；
将所述反射图像和光照图像输入至Enhance-Net增强网络中，所述Enhance-Net增强网络在不同尺度上对所述光照图像进行光照增强处理得到第二光照图像和对所述反射图像进行去噪处理得到第二反射图像；
采用Retinex方法对所述第二光照图像和第二反射图像进行重建处理得到第二人脸图像。
4.根据权利要求3所述的基于目标检测算法的疲劳检测方法，其特征在于，所述LSTM-SSD深度学习模型根据以下步骤对所述第二人脸图像进行处理：
步骤S1：所述第二人脸图像经过九层深度可分离卷积处理，得到第一人脸特征图像；
步骤S2：将所述第一人脸特征图像输入至Bottleneck-LSTM卷积层进行时序特征提取操作得到第二人脸特征图像；
步骤S3：将所述第二人脸特征图像进行不同尺度的深度可分离卷积处理。
5.根据权利要求4所述的基于目标检测算法的疲劳检测方法，其特征在于，重复执行3次所述步骤S2和步骤S3。
6.根据权利要求5所述的基于目标检测算法的疲劳检测方法，其特征在于，所述疲劳信息包括第一疲劳信息和第二疲劳信息，当所述第一疲劳信息或第二疲劳信息符合疲劳检测标准时，判断所述工作人员处于疲劳状态，并发出警报；所述第一疲劳信息为闭眼信息，所述第二疲劳信息为哈欠信息。
7.根据权利要求6所述的基于目标检测算法的疲劳检测方法，其特征在于，当检测到张嘴状态的持续时间大于等于第一预设时长或检测到在第二预设时长内哈欠次数在预设次数以上，则判断所述工作人员符合疲劳检测标准；
当检测到闭眼状态的持续时间大于等于第三预设时长或检测到在第四预设时长内闭眼次数在预设次数以上，则判断所述工作人员符合疲劳检测标准。
8.根据权利要求1至7任一项所述的基于目标检测算法的疲劳检测方法，其特征在于，采用头戴式的摄像头对所述工作人员进行面部拍摄，得到所述工作人员的人脸视频，并将所述人脸视频通过APN专网通道实时传输至所述Retinex-Net卷积神经网络模型。
9.一种基于目标检测算法的疲劳检测装置，其特征在于，包括光照增强模块和疲劳检测模块；
所述光照增强模块用于获取工作人员的人脸视频，采用Retinex-Net卷积神经网络模型对所述人脸视频中的人脸图像进行低光照增强处理，得到光照增强后的第二人脸视频；
所述疲劳检测模块用于将所述第二人脸视频中的第二人脸图像输入至LSTM-SSD深度学习模型，输出所述工作人员的疲劳信息。
10.一种可读存储介质，其特征在于，所述可读存储介质包括存储的计算机程序，所述计算机程序执行时，控制所述可读存储介质所在的设备执行如权利要求1至8中任意一项所述的基于目标检测算法的疲劳检测方法。
CN202210872742.8A 2022-07-21 2022-07-21 一种基于目标检测算法的疲劳检测方法、装置及存储介质 Pending CN115273188A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210872742.8A CN115273188A (zh) 2022-07-21 2022-07-21 一种基于目标检测算法的疲劳检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210872742.8A CN115273188A (zh) 2022-07-21 2022-07-21 一种基于目标检测算法的疲劳检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115273188A true CN115273188A (zh) 2022-11-01

Family

ID=83769813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210872742.8A Pending CN115273188A (zh) 2022-07-21 2022-07-21 一种基于目标检测算法的疲劳检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115273188A (zh)

Similar Documents

Publication Publication Date Title
CN109508688B (zh) 基于骨架的行为检测方法、终端设备及计算机存储介质
WO2020216008A1 (zh) 图像处理方法、装置、存储介质及设备
CN107862270B (zh) 人脸分类器训练方法、人脸检测方法及装置、电子设备
TW202038191A (zh) 活體檢測方法和裝置、電子設備及儲存介質
CN110532925B (zh) 基于时空图卷积网络的驾驶员疲劳检测方法
US10997730B2 (en) Detection of moment of perception
CN113516227B (zh) 一种基于联邦学习的神经网络训练方法及设备
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
CN113435432B (zh) 视频异常检测模型训练方法、视频异常检测方法和装置
CN113159200B (zh) 对象分析方法、装置及存储介质
CN113570689B (zh) 人像卡通化方法、装置、介质和计算设备
US20230036338A1 (en) Method and apparatus for generating image restoration model, medium and program product
TW201308254A (zh) 適用複雜場景的移動偵測方法
CA3137297A1 (en) Adaptive convolutions in neural networks
CN111767947A (zh) 目标检测模型、应用方法及相关装置
CN103810696A (zh) 一种目标对象图像检测方法及装置
CN115661336A (zh) 一种三维重建方法及相关装置
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN113947613B (zh) 目标区域检测方法、装置、设备及存储介质
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN114332553A (zh) 图像处理方法、装置、设备以及存储介质
CN115273188A (zh) 一种基于目标检测算法的疲劳检测方法、装置及存储介质
Sharma et al. Face mask detection: A real-time android application based on deep learning modeling
CN113792700B (zh) 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
CN116778214A (zh) 一种行为检测方法、装置、设备及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination