CN113139530A - 一种睡岗行为检测方法、装置及其电子设备 - Google Patents

一种睡岗行为检测方法、装置及其电子设备 Download PDF

Info

Publication number
CN113139530A
CN113139530A CN202110682982.7A CN202110682982A CN113139530A CN 113139530 A CN113139530 A CN 113139530A CN 202110682982 A CN202110682982 A CN 202110682982A CN 113139530 A CN113139530 A CN 113139530A
Authority
CN
China
Prior art keywords
person
frame
face
sleep
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110682982.7A
Other languages
English (en)
Other versions
CN113139530B (zh
Inventor
李圣权
陈思瑶
毛云青
王国梁
金仁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202110682982.7A priority Critical patent/CN113139530B/zh
Publication of CN113139530A publication Critical patent/CN113139530A/zh
Application granted granted Critical
Publication of CN113139530B publication Critical patent/CN113139530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种睡岗行为检测方法、装置及其电子设备，该睡岗行为检测方法、装置及其电子设备对识别到的第一人员位置框进行放大处理后得到第二人员位置框，再基于第二人员位置框从对应的视频图像中获取人员区域图像人员，利用睡岗行为识别模型对睡岗行为进行识别，且建立动态人脸检测库的方式对人员进行准确实时的检测，以准确识别存在睡岗行为的人员。

Description

一种睡岗行为检测方法、装置及其电子设备
技术领域
本发明涉及图像监控检测领域，特别涉及一种睡岗行为检测方法、装置及其电子设备。
背景技术
睡岗，一般指的是在企业内部值勤期间，人员精神严重不佳、在岗位上进入睡眠状态的情况，行为上主要体现为：1.趴着睡；2.倚靠着睡；3.卧着睡。其不仅是一种不文明行为，也是对生产岗位的一种严重渎职和不负责任的表现，轻者可能造成不必要的安全隐患，重者会造成无法弥补的安全生产事故，在影响生产效率的同时也是对自身生命安全的不负责的表现，是一种不容忽视且需要严格管控的行为。
“睡岗”现象多发于生产型工厂的值班岗位，或者需要倒夜班的流水线工作岗位。目前针对“睡岗”现象的管控措施大多还局限于人为监管的方式，就是派设专门的监管人员不定时地到值班岗位或者工作岗位上监管人员是否出现“睡岗”现象，然而这种行为存在耗时耗力且效率极低的问题，监管人员无法时时刻刻对全部的人员进行监管，且对睡岗行为的统计分析也需要付出极大的工作量。
现有技术是利用“睡觉时身体姿态往往不会变化”的特征对睡岗行为进行检测，然而这种方式存在误报率极高的问题：第一，在夜间值班时值班人员即使不处于睡岗状态，也会出现长时间保持同一姿态；第二，并不是所有处于睡岗状态下的工作人员的身体姿态都不会变化。另外，这种方式无法对睡岗人员的身份进行识别，进而也无法准确地对该睡岗人员进行后续管控。
发明内容
本发明的实施例在于提供一种睡岗行为检测方法、装置及其电子设备，利用睡岗行为识别模型对睡岗行为进行检测，且建立动态人脸检测库的方式对人员进行准确实时的检测，以准确识别存在睡岗行为的人员。
第一方面，本方案提供一种睡岗行为检测方法，包括以下步骤：
获取连续帧视频图像，其中所述视频图像包括待识别人员；
基于人员检测模型获取每一所述视频图像中的第一人员位置框，对每一所述第一人员位置框进行比例放大后得到第二人员位置框，基于每一所述第二人员位置框从对应的所述视频图像中获取人员区域图像；
基于睡岗行为识别模型识别连续帧的所述人员区域图像，若判断存在睡岗行为，基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息，其中所述睡岗行为识别模型将残差网络中的残差模块的一个卷积层替换为行为模块，并经由人员睡岗数据集训练得到；
基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息。
在“基于睡岗行为识别模型识别连续帧的所述人员区域图像”之前，包括步骤：基于人脸检测模型检测连续帧的所述人员区域图像，若检测到人脸，将对应的人脸图像信息和所述第一人员位置框的位置信息存储在所述人脸检测库内；若未检测到人脸，依据对应的所述第一人员位置框的位置信息在所述人脸检测库中获取对应的人脸图像信息。
在一些实施例中，所述人脸检测模型输出所述人员区域图像中的人脸位置信息。
第二方面，本方案提供一种睡岗行为检测装置，包括：
图像获取单元，用于获取连续帧视频图像，其中所述视频图像包括待识别人员；
图像处理单元，用于基于人员检测模型获取每一所述视频图像中的第一人员位置框，对每一所述第一人员位置框进行比例放大后得到第二人员位置框，基于每一所述第二人员位置框从所述视频图像中获取人员区域图像；
睡岗行为检测单元，基于睡岗行为识别模型识别连续帧的所述人员区域图像，若判断存在睡岗行为，基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息，其中所述睡岗行为识别模型将残差网络中的残差模块的一个卷积层替换为行为模块，并经由人员睡岗数据集训练得到；
身份识别单元，用于基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的睡岗行为检测方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一所述的睡岗行为检测方法。
相较现有技术，本技术方案具有以下特点和有益效果：
1.通过对连续帧视频图像进行检测，以动态建立关联人员位置框和人脸图像信息的人脸检测库，灵活应对工厂或者企业中人员变动的情况。即，若发生人员变动办公位置或出现人员流动时，也不再需要人为地实现录入更新信息，进而极大程度地减少了人为的工作量。
2.对人员位置信息对应的第一人员位置框进行裁剪放大处理后处理得到人员区域图像，利用人员区域图像进行人脸图像信息的检测以及睡岗行为的识别，降低睡岗行为识别的难度的同时提高人脸检测的准确度，以提高睡岗行为检测方法的效率。
附图说明
图1是根据本方案的睡岗行为检测方法的整体逻辑示意图。
图2是根据本方案的睡岗行为检测方法的流程示意图。
图3是根据本方案的睡岗行为识别模型的网络结构图。
图4是根据本方案的行为模块的结构图。
图5是根据本方案的另一实施例的睡岗行为检测方法的流程示意图。
图6是根据本方案的睡岗行为检测装置的框架示意图。
图7是运行本方案的睡岗行为检测方法的电子设备的框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本方案提供一种睡岗行为检测方法、装置及其电子设备，如图1所示，图1展示了本方案睡岗行为检测方法的整体逻辑示意图，该方案首先对人员检测模型检测到的人员位置框进行裁剪放大处理后得到人员区域图像，基于背景噪音更低、图像面积更大的人员区域图像进行人脸图像信息的识别和睡岗行为的识别，降低睡岗行为检测的难度的同时提高人员识别的精度。
第一方面，本方案提供一种睡岗行为检测方法，对应的流程示意图如图2所示，该睡岗行为检测方法包括以下步骤：
获取连续帧视频图像，其中所述视频图像包括待识别人员；
基于人员检测模型获取每一所述视频图像中的人员位置框，对每一所述人员位置框进行比例放大后得到第二人员位置框，基于每一所述第二人员位置框从所述视频图像中获取人员区域图像；
将连续帧的所述人员区域图像输入到睡岗行为识别模型中进行检测，若输出睡岗检测框，判断存在睡岗行为，若存在所述睡岗行为，基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息；
基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息。
该睡岗行为检测方法可适用于企业对人员是否存在睡岗行为的管控的应用场景，然而值得说明的是，企业内工作人员的睡岗检测场景仅为本方案的一个具体适用场景，本方案可用于检测其他场景的睡岗行为，比如可用于高校对上课学生睡觉行为的管控，此时可对睡岗做了扩大含义的解释。
在“获取连续帧视频图像，其中所述视频图像包括待识别人员”中，连续帧所述视频图像可选自监控所述待识别人员的监控摄像组件。为了了减少后续模型计算量，本方案可选定特定时间段内的监控摄像组件的视频做出连续帧所述视频图像，用户可根据业务需求选定特定时间段。
另外，为了能够获取到所述待识别人员的人脸，优选将监控摄像组件装设在所述待识别人员的正上方。即，所述视频图像不仅包括所述待识别人员，还包括所述待识别人员的人脸。
在连续帧的所述视频图像中可能包括单个所述待识别人员，也可能包括多个所述待识别人员，本方案在此不受限制。
在“基于人员检测模型获取每一所述视频图像中的第一人员位置框”中，将连续帧的所述视频图像输入到所述人员检测模型中，输出每帧所述初始视频图像中的所述第一人员位置框，其中所述第一人员位置框为在所述视频图像中出现人员的位置框，基于所述第一人员位置框即可获取对应的所述第一人员位置框的位置信息。
示例性的，所述第一人员位置框的左上角坐标（x0，y0）、宽（w）、高（h）作为所述第一人员位置框的位置位置信息；在另一示例中，所述第一人员位置框的左上角坐标（x0，y0）,右下角坐标（x1，y2）作为所述第一人员位置框的位置信息。也就说，所述第一人员位置框的位置信息用于表征所述第一人员位置框的位置，具体的表征信息不受限制。
在“对每一所述第一人员位置框进行比例放大后得到第二人员位置框”中，由于所述视频图像中往往会有多个所述第一人员位置框，且所述第一人员框彼此之间位置较为紧凑，为了降低后续睡岗行为检测和人脸检测的难度，本方案在此对所述第一人员位置框进行比例放大，而比例放大的范围需适宜。
在本方案中具体比例放大的内容为：对所述第一人员位置框的宽度按照第一比例放大，对所述第一人员位置框的高度按照第二比例放大，所述第一比例和所述第二比例可相同也可不同。优选的，所述第一比例在1和1.5之间，所述第二比例也在1和1.5之间。所述第一比例和所述第二比例的数值可根据实际需求进行选择。
示例性的，所述第一人员位置框的左上角坐标（x0，y0）、宽（w）、高（h），第一比例为r w，第二比例为r h ，则所述第二人员位置框为：左上角坐标为
Figure DEST_PATH_IMAGE002
，宽为r w ×w,高为r h ×h。
“基于所述第二人员位置框从对应的所述视频图像中获取人员区域图像”中，所述人员区域图像的区域面积相较所述第一人员位置框的区域面积被放大。
“基于睡岗行为识别模型识别连续帧的所述人员区域图像”中，将连续帧的所述人员区域图像输入到所述睡岗行为识别模型中进行检测，若输出睡岗检测框，判断存在睡岗行为。
所述睡岗行为识别模型的网络结构如图3所示，所述睡岗行为识别模型将残差网络中的残差模块的一个卷积层替换为行为模块。残差网络的特点在于容易优化，并且能够通过增加相当的深度来提高准确率，残差网络中的残差模块使用跳跃连接，以缓解了在深度神经网络中增加深度带来的梯度消失问题。
所述睡岗行为识别模型相较于常规的卷积神经网络的优点在于：可针对连续帧的所述人员区域图像进行睡岗识别，根据连续帧的所述人员区域图像之间的关系判断是否存在睡岗行为。所述睡岗行为识别模型识别的是睡岗行为，而睡岗行为是一个持续的动作，而不是某一时刻的动作，单独识别某一帧所述人员区域图像的话，会存在无法区别“人员仅是趴着而不是长时间睡觉”的行为，故本方案设计可针对连续帧的所述人员区域图像进行识别的睡岗行为识别模型。
所述行为模块的结构如图4所示，行为模型由多个卷积层、Sigmod层，Concat层，空间池化层组成。连续帧的所述人员区域图像输入所述行为模块，每帧所述人员区域图像进入对应的卷积层内进行卷积操作，得到对应的视频图像特征；除最后一帧以外所有帧的所述人员区域图像对应的视频图像特征后接Sigmod层，将当前帧的视频图像特征经过Sigmod层的Sigmod激活函数后与下一帧的视频图像特征经过卷积操作后进行相加，得到相邻相加视频图像特征；第一帧的所述人员区域图像对应的视频图像特征，以及所有所述相邻相加视频图像特征合并进行Concat处理，再依次进行空间池化以及卷积处理。其中使用Sigmod激活函数的目的是对上一帧的特征进行筛选，若上一帧的特征对行为识别有效则进行保留，若无效则行丢弃。
示例性的，连续n帧的所述人员区域图像
Figure DEST_PATH_IMAGE004
作为特征输入所述行为模型中，每一帧所述人员区域图像的图像特征都进行卷积操作，第1帧视频图像特征到第n-1帧视频图像特征都后接Sigmod层，将当前帧的视频图像特征经过Sigmod激活函数后与下一帧的视频图像特征经过卷积操作后进行相加，将第2帧到第n帧经过卷积操作与前1帧经过Sigmod操作相加后的结果以及第1帧视频图像特征经过卷积操作的结果进行Concat操作，进行空间池化，再进行卷积操作。
另外，本方案的睡岗行为识别模型经过训练得到，以下阐述该睡岗行为识别模型的训练方法：
制备标注样本: 采集监控视频片段进行数据标注，使用开源工具OpenCV读取视频片段，保存连续帧视频图像，对连续帧视频图像进行标注，若存在睡岗行为则标签为0，否则为1，构建人员睡岗数据集；
睡岗行为识别模型结构的搭建，具体的结构内容如上所述；
训练样本：将标注的人员睡岗数据集输入到人员睡岗行为识别网络中采用SoftMax损失函数进行训练，直至损失函数不再减小，停止训练。
连续帧的所述人员区域图像输入经过以上方式训练后的睡岗行为识别模型后，可得到标签结果，基于标签结果即可判断是否存在睡岗行为。
在“基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息”中，由于所述睡岗行为识别模型识别的所述第一人员位置框和所述人脸检测库中的所述第一人员位置框是一致的，故可基于所述人脸检测库获取对应的所述人脸图像信息。
在一些实施例中，所述人脸检测库内预存所述第一人员位置框的位置信息和所述人脸图像信息的关联关系。这种情况适用于：待识别人员的人员位置确定，人员无变动的情况。
而在另一些实施例中，所述人脸检测库为动态建立的动态人脸检测库。此时，如图5所示，该睡岗行为检测方法在基于睡岗行为识别模型识别连续帧的所述人员区域图像之前包括步骤：
基于人脸检测模型检测连续帧的所述人员区域图像，若检测到人脸，将对应的人脸图像信息和所述第一人员位置框的位置信息存储在所述人脸检测库内；若未检测到人脸，依据对应的所述第一人员位置框的位置信息在所述人脸检测库中获取对应的人脸图像信息。
本方案通过动态建立所述人脸检测库的方式，减少人工操作，具有操作更加灵活的优点。而若事先录入的方法，若人员更换办公位置，则需要更改该人员的位置信息，操作麻烦；若人员流动，则需重新录入人员的位置信息和人脸图像。本方案可避免这些问题的出现。
“基于人脸检测模型检测连续帧的所述人员区域图像，若检测到人脸，将对应的人脸图像信息和所述第一人员位置框的位置信息存储在所述人脸检测库内”中，所述人脸检测模型输出所述人员区域图像中的人脸位置信息，基于所述人脸位置信息从所述视频图像中获取对应的所述人脸图像信息，由于所述人脸图像信息和所述第一人员位置框的位置信息均是在所述视频图像中进行截取的，故其可直接关联在所述人脸检测库内。
“若未检测到人脸，依据对应的所述第一人员位置框的位置信息在所述人脸检测库中获取对应的人脸图像信息”包括以下步骤：
获取该人员区域图像对应的所述第一人员位置框，获取所述人脸检测库中已记录的待确认人员位置框，比对所述待确认人员位置框和所述第一人员位置框的交并比，选择交并比最大的所述待确定人员位置框对应的人脸图像信息。
也就是说，所述人脸检测库可存储对应每帧视频图像的所述人员位置框的位置信息和对应的所述人脸图像信息。
另外，在一些实施例中，在“基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息”中，构建人员身份数据库，所述人员身份数据库存储身份信息和对应的人脸特征；所述人脸识别模型识别所述人脸图像信息，获取对应的人脸特征，并基于所述人脸特征从所述人员身份数据中获取对应的身份信息，作为所述待识别人员的身份信息。
在获取了所述待识别人员的身份信息后，可对存在睡岗行为的人员进行后续的管理，比如将睡岗行为纳入绩效考核中。
如图6所示，本方案提供一种睡岗行为检测装置，该睡岗行为检测装置运行上述提到的睡岗行为检测方法，包括：
图像获取单元，用于获取连续帧视频图像，其中所述视频图像包括待识别人员；
图像处理单元，用于基于人员检测模型获取每一所述视频图像中的第一人员位置框，对每一所述第一人员位置框进行比例放大后得到第二人员位置框，基于每一所述第二人员位置框从对应的所述视频图像中获取人员区域图像；
将连续帧的所述人员区域图像输入到睡岗行为识别模型中进行检测，若输出睡岗检测框，判断存在睡岗行为，若存在所述睡岗行为，基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息；
身份识别单元，用于基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息。
如图7所示，本实施例还提供了一种电子装置，包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述任一项睡岗行为检测方法实施例中的步骤。
具体地，上述处理器302可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器304。举例来说而非限制，存储器304可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器304可在数据处理装置的内部或外部。在特定实施例中，存储器304是非易失性（Non-Volatile）存储器。在特定实施例中，存储器304包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器304（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。
存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的任意睡岗行为检测方法。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
传输设备306可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备306可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备308用于输入或输出信息。例如，上述输入输出设备可以是显示屏、鼠标、键盘或其他设备。在本实施例中，输入设备用于输入采集得到的信息，输入的信息可以是视频，输出的信息可以是待识别人员的身份信息，睡岗行为判断等。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种睡岗行为检测方法，其特征在于，包括以下步骤：
获取连续帧视频图像，其中所述视频图像包括待识别人员；
基于人员检测模型获取每一所述视频图像中的第一人员位置框，对每一所述第一人员位置框进行比例放大后得到第二人员位置框，基于每一所述第二人员位置框从对应的所述视频图像中获取人员区域图像；
将连续帧的所述人员区域图像输入到睡岗行为识别模型中进行检测，若输出睡岗检测框，判断存在睡岗行为，若存在所述睡岗行为，基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息，其中所述睡岗行为识别模型将残差网络中的残差模块的一个卷积层替换为行为模块，并经由人员睡岗数据集训练得到；
基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息。
2.根据权利要求1所述的睡岗行为检测方法，其特征在于，在“基于睡岗行为识别模型识别连续帧的所述人员区域图像”之前，包括步骤：
基于人脸检测模型检测连续帧的所述人员区域图像，若检测到人脸，将对应的人脸图像信息和所述第一人员位置框的位置信息存储在所述人脸检测库内；若未检测到人脸，依据对应的所述第一人员位置框的位置信息在所述人脸检测库中获取对应的人脸图像信息。
3.根据权利要求2所述的睡岗行为检测方法，其特征在于，所述人脸检测模型输出每一所述人员区域图像中的人脸位置信息，基于所述人脸位置信息从对应的所述视频图像中获取对应的所述人脸图像信息。
4.根据权利要求2所述的睡岗行为检测方法，其特征在于，在“若未检测到人脸，依据对应的所述第一人员位置框的位置信息在所述人脸检测库中获取对应的人脸图像信息”包括：获取该人员区域图像对应的所述第一人员位置框的位置信息，获取所述人脸检测库中已记录的待确认人员位置框，比对所述待确认人员位置框和所述第一人员位置框的交并比，选择交并比最大的所述待确定人员位置框对应的人脸图像信息。
5.根据权利要求1所述的睡岗行为检测方法，其特征在于，连续帧的所述人员区域图像输入所述行为模块，对每一所述人员区域图像进入对应的卷积层内进行卷积操作，得到对应的视频图像特征；除最后一帧以外所有帧的所述人员区域图像对应的视频图像特征后接Sigmod层，将当前帧的视频图像特征经过所述Sigmod层的Sigmod激活函数后与下一帧的视频图像特征经过卷积操作后进行相加，得到相邻相加视频图像特征；第一帧的所述人员区域图像对应的视频图像特征，以及所有所述相邻相加视频图像特征合并进行Concat操作后，再依次进行空间池化以及卷积处理。
6.根据权利要求1所述的睡岗行为检测方法，其特征在于，对所述第一人员位置框的宽度按照第一比例放大，对所述第一人员位置框的高度按照第二比例放大。
7.一种睡岗行为检测装置，其特征在于，包括：
图像获取单元，用于获取连续帧视频图像，其中所述视频图像包括待识别人员；
图像处理单元，用于基于人员检测模型获取每一所述视频图像中的第一人员位置框，对每一所述第一人员位置框进行比例放大后得到第二人员位置框，基于每一所述第二人员位置框从对应的所述视频图像中获取人员区域图像；
睡岗行为检测单元，将连续帧的所述人员区域图像输入到睡岗行为识别模型中进行检测，若输出睡岗检测框，判断存在睡岗行为，若存在所述睡岗行为，基于所述第一人员位置框的位置信息从人脸检测库中获取对应的人脸图像信息，其中所述人脸检测库存储有所有所述第一人员位置框的位置信息和对应的所述人脸图像信息，其中所述睡岗行为识别模型将残差网络中的残差模块的一个卷积层替换为行为模块，并经由人员睡岗数据集训练得到；
身份识别单元，用于基于人脸识别模型识别所述人脸图像信息，获取所述待识别人员的身份信息。
8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上权利要求1到6任一所述的睡岗行为检测方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上权利要求1到6任一所述的睡岗行为检测方法。
CN202110682982.7A 2021-06-21 2021-06-21 一种睡岗行为检测方法、装置及其电子设备 Active CN113139530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110682982.7A CN113139530B (zh) 2021-06-21 2021-06-21 一种睡岗行为检测方法、装置及其电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110682982.7A CN113139530B (zh) 2021-06-21 2021-06-21 一种睡岗行为检测方法、装置及其电子设备

Publications (2)

Publication Number Publication Date
CN113139530A true CN113139530A (zh) 2021-07-20
CN113139530B CN113139530B (zh) 2021-09-03

Family

ID=76815851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110682982.7A Active CN113139530B (zh) 2021-06-21 2021-06-21 一种睡岗行为检测方法、装置及其电子设备

Country Status (1)

Country Link
CN (1) CN113139530B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN113313084A (zh) * 2021-07-28 2021-08-27 中国航空油料集团有限公司 一种基于深度学习的睡岗检测方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106941602A (zh) * 2017-03-07 2017-07-11 中国铁道科学研究院 机车司机行为识别方法、装置及系统
CN107545132A (zh) * 2016-06-29 2018-01-05 富士通株式会社 状况识别方法和状况识别装置
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
CN109446923A (zh) * 2018-10-10 2019-03-08 北京理工大学 基于训练特征融合的深度监督卷积神经网络行为识别方法
CN109472226A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的睡觉行为检测方法
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
EP3515065A1 (en) * 2018-01-23 2019-07-24 Canon Kabushiki Kaisha Method and system for improving construction of regions of interest
CN110390315A (zh) * 2019-07-29 2019-10-29 深兰科技（上海）有限公司 一种图像处理方法及装置
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法
CN110909684A (zh) * 2019-11-25 2020-03-24 创新奇智(北京)科技有限公司 基于人体检测的工作状态检查系统及方法
KR20200036093A (ko) * 2018-09-21 2020-04-07 네이버웹툰 주식회사 비디오 영상 내의 행동 인식 방법 및 장치
CN111079694A (zh) * 2019-12-28 2020-04-28 神思电子技术股份有限公司 一种柜面助手履职监控装置和方法
CN111104855A (zh) * 2019-11-11 2020-05-05 杭州电子科技大学 一种基于时序行为检测的工作流识别方法
CN111191576A (zh) * 2019-12-27 2020-05-22 长安大学 人员行为目标检测模型构建方法、智能分析方法及系统
CN111401418A (zh) * 2020-03-05 2020-07-10 浙江理工大学桐乡研究院有限公司 一种基于改进Faster r-cnn的员工着装规范检测方法
CN111597879A (zh) * 2020-04-03 2020-08-28 成都云盯科技有限公司 一种基于监控视频的姿态检测方法、装置及系统
CN111738177A (zh) * 2020-06-28 2020-10-02 四川大学 一种基于姿态信息提取的学生课堂行为识别方法
CN111914811A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及存储介质
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN112001230A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN112149504A (zh) * 2020-08-21 2020-12-29 浙江理工大学 混合卷积的残差网络与注意力结合的动作视频识别方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545132A (zh) * 2016-06-29 2018-01-05 富士通株式会社 状况识别方法和状况识别装置
CN106941602A (zh) * 2017-03-07 2017-07-11 中国铁道科学研究院 机车司机行为识别方法、装置及系统
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
EP3515065A1 (en) * 2018-01-23 2019-07-24 Canon Kabushiki Kaisha Method and system for improving construction of regions of interest
KR20200036093A (ko) * 2018-09-21 2020-04-07 네이버웹툰 주식회사 비디오 영상 내의 행동 인식 방법 및 장치
CN109446923A (zh) * 2018-10-10 2019-03-08 北京理工大学 基于训练特征融合的深度监督卷积神经网络行为识别方法
CN109472226A (zh) * 2018-10-29 2019-03-15 上海交通大学 一种基于深度学习的睡觉行为检测方法
CN109726652A (zh) * 2018-12-19 2019-05-07 杭州叙简科技股份有限公司 一种基于卷积神经网络检测值班人员睡觉行为的方法
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法
CN110390315A (zh) * 2019-07-29 2019-10-29 深兰科技（上海）有限公司 一种图像处理方法及装置
CN111104855A (zh) * 2019-11-11 2020-05-05 杭州电子科技大学 一种基于时序行为检测的工作流识别方法
CN110909684A (zh) * 2019-11-25 2020-03-24 创新奇智(北京)科技有限公司 基于人体检测的工作状态检查系统及方法
CN111191576A (zh) * 2019-12-27 2020-05-22 长安大学 人员行为目标检测模型构建方法、智能分析方法及系统
CN111079694A (zh) * 2019-12-28 2020-04-28 神思电子技术股份有限公司 一种柜面助手履职监控装置和方法
CN111401418A (zh) * 2020-03-05 2020-07-10 浙江理工大学桐乡研究院有限公司 一种基于改进Faster r-cnn的员工着装规范检测方法
CN111597879A (zh) * 2020-04-03 2020-08-28 成都云盯科技有限公司 一种基于监控视频的姿态检测方法、装置及系统
CN111738177A (zh) * 2020-06-28 2020-10-02 四川大学 一种基于姿态信息提取的学生课堂行为识别方法
CN112001230A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN111931598A (zh) * 2020-07-20 2020-11-13 湖北美和易思教育科技有限公司 一种基于人脸识别的课堂智能实时分析方法及系统
CN111914811A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及存储介质
CN112149504A (zh) * 2020-08-21 2020-12-29 浙江理工大学 混合卷积的残差网络与注意力结合的动作视频识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LOWELL NATHANIEL B. SINGSON: "Emotion Recognition Using Short-Term Analysis of Heart Rate Variability and ResNet Architecture", 《2021 13TH INTERNATIONAL CONFERENCE ON COMPUTER AND AUTOMATION ENGINEERING (ICCAE)》 *
卫星: "基于深度学习的车辆时序动作检测算法", 《计算机工程与设计》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298062A (zh) * 2021-07-28 2021-08-24 宁波星巡智能科技有限公司 婴幼儿睡眠活动状态检测方法、装置、设备及介质
CN113313084A (zh) * 2021-07-28 2021-08-27 中国航空油料集团有限公司 一种基于深度学习的睡岗检测方法
CN113723363A (zh) * 2021-07-28 2021-11-30 宁波星巡智能科技有限公司 基于连续帧的婴幼儿睡眠检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113139530B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
US10276019B2 (en) Surveillance system and method for predicting patient falls using motion feature patterns
CN113139530B (zh) 一种睡岗行为检测方法、装置及其电子设备
CN108830145B (zh) 一种基于深度神经网络的人数统计方法及存储介质
CN103093212B (zh) 基于人脸检测和跟踪截取人脸图像的方法和装置
CN109284733A (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
US20160217330A1 (en) Image processing system and image processing method
CN111797826B (zh) 大骨料集中区域检测方法和装置及其网络模型训练方法
CN108121961A (zh) 巡检行为识别方法、装置、计算机设备和存储介质
US20230039549A1 (en) Methods and apparatuses for early warning of climbing behaviors, electronic devices and storage media
CN116386120B (zh) 一种用于智慧校园宿舍的无感监控管理系统
CN112287741A (zh) 基于图像处理的农事操作管理方法及装置
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
CN115329265A (zh) 图码轨迹关联度确定方法、装置、设备及存储介质
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及系统
CN112231038B (zh) 工单信息展示方法、装置、计算机设备和存储介质
CN113361469A (zh) 一种覆盖状态识别方法、装置、设备及存储介质
CN115115999A (zh) 基于人工智能检测员工睡岗的方法、系统及存储介质
CN110969209B (zh) 一种陌生人识别方法、装置、电子设备及存储介质
CN114170677A (zh) 一种检测抽烟行为的网络模型训练方法及其设备
CN111611979A (zh) 基于面部扫描的智能健康监测系统及方法
JP7414660B2 (ja) 異常行動検出システム及び異常行動検出方法
US20240135579A1 (en) Method for human fall detection and method for obtaining feature extraction model, and terminal device
Kalirajan et al. Opponent colour median-based scale invariant local ternary pattern: a new feature descriptor for moving object detection
CN109726691B (zh) 一种监控方法
CN111062337B (zh) 人流方向检测方法及装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant