CN110363114A - 一种人员工作状态检测方法、装置及终端设备 - Google Patents

一种人员工作状态检测方法、装置及终端设备 Download PDF

Info

Publication number
CN110363114A
CN110363114A CN201910574340.8A CN201910574340A CN110363114A CN 110363114 A CN110363114 A CN 110363114A CN 201910574340 A CN201910574340 A CN 201910574340A CN 110363114 A CN110363114 A CN 110363114A
Authority
CN
China
Prior art keywords
monitored
area
moving
motion amplitude
flow information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910574340.8A
Other languages
English (en)
Inventor
曾杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Clp Smart Security Polytron Technologies Inc
Original Assignee
Shenzhen Clp Smart Security Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Clp Smart Security Polytron Technologies Inc filed Critical Shenzhen Clp Smart Security Polytron Technologies Inc
Priority to CN201910574340.8A priority Critical patent/CN110363114A/zh
Publication of CN110363114A publication Critical patent/CN110363114A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

本发明实施例涉及图像处理与机器学习领域,公开了一种人员工作状态检测方法、装置及终端设备。其中所述的人员工作状态检测方法包括:获取待监控区域的视频流;确定所述待监控区域是否存在运动区域;若所述待监控区域存在运动区域,获取所述运动区域的光流信息;根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。通过上述方式,本发明实施例解决了现有的人员工作状态检测浪费人力资源的技术问题,提高人员工作状态检测的准确率。

Description

一种人员工作状态检测方法、装置及终端设备
技术领域
本发明涉及图像处理与机器学习领域,特别是涉及一种人员工作状态检测方法、装置及终端设备。
背景技术
在一些需要工作人员的岗位,例如:岗亭、哨亭等岗位,需要确认工作人员的工作状态,以避免危险情况的发生。
目前检测人员工作状态主要有以下两种:
基于工作人员的生理参数的检测方法,利用一些医学设备对员工的生理信号(脑电图,心电图,眼电图等)进行实时监测,利用这些生理信号来分析员工的工作状态,这种方法优点是能比较反映人体的工作状态,不足之处需要把电极贴在人体不同位置,操作方法复杂,容易对人产生干扰,不易被接受。
基于工作人员的行为特征的检测方法。该方法通过利用摄像头采集员工的视频图像,然后利用计算机视觉方法对视频图像进行分析,提取,识别人体的特征反应,譬如眼睛闭合,低头,打哈欠,运动幅度等,该方法不必佩戴额外设备,缺点是这些特征提取困难,准确度低,容易受光照变化影响,且检测算法相对比较复杂。
发明内容
本发明实施例旨在提供一种人员工作状态检测方法、装置及终端设备,其解决了现有的人员工作状态检测浪费人力资源的技术问题,提高人员工作状态检测的准确率。
为解决上述技术问题,本发明实施例提供以下技术方案:
第一方面,本发明实施例提供一种人员工作状态检测方法,所述方法包括:
获取待监控区域的视频流;
确定所述待监控区域是否存在运动区域;
若所述待监控区域存在运动区域,获取所述运动区域的光流信息;
根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;
根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。
在一些实施例中,所述确定所述待监控区域是否存在运动区域,包括:
根据所述待监控区域的视频流,获取所述待监控区域的视频流中的每一帧图像;
实时确定所述待监控区域的前帧图像和后帧图像;
通过帧差法对所述待监控区域的前帧图像和后帧图像进行处理,确定所述待监控区域是否存在运动区域。
在一些实施例中,所述根据所述光流信息,确定所述运动区域内的运动物体的运动幅度,包括:
判断所述光流信息是否满足约束性条件;
若满足,则确定所述运动物体的运动幅度大;
若不满足,则确定所述运动物体的运动幅度小。
在一些实施例中,所述光流信息包括:横轴方向运动幅值和纵轴方向运动幅值,所述判断所述光流信息是否满足约束性条件,包括:
判断所述横轴方向运动幅值和纵轴方向运动幅值之和是否大于或等于预设运动幅度阈值;
若是,则确定所述运动物体的运动幅度大;
若否,则确定所述运动物体的运动幅度小。
在一些实施例中,所述根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态,包括:
判断是否存在任意一个或多个运动区域的光流信息满足约束性条件;
若存在任意一个或多个运动区域的光流信息满足约束性条件,则通过所述预先训练的人员检测模型对每一所述运动区域的帧图像进行检测,确定运动区域的检测结果,若存在至少一个运动区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为在岗状态;若所有的运动区域的检测结果均为无人,则通过所述人员检测模型对所述待监控区域的帧图像进行检测,确定待监控区域的检测结果;
若所述待监控区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态;若所述待监控区域的检测结果为无人,则确定所述待监控区域的工作人员的工作状态为离岗状态;
若不存在任意一个或多个运动区域的光流信息满足约束性条件,则直接通过所述人员检测模型对所述待监控区域的帧图像进行检测,若检测到有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态,若检测到无人,则确定所述待监控区域的工作人员的工作状态为离岗状态。
在一些实施例中,所述方法还包括:
若所述待监控区域不存在运动区域,则直接通过所述人员检测模型检测所述待监控区域是否存在人员;
若检测到所述待监控区域存在人员,则确定所述工作人员的工作状态为睡岗状态;
若检测到所述待监控区域不存在人员,则确定所述工作人员的工作状态为离岗状态。
第二方面,本发明实施例提供一种人员工作状态检测装置,所述装置包括:
视频流单元,用于获取待监控区域的视频流;
运动区域单元,用于确定所述待监控区域是否存在运动区域;
光流信息单元,用于若所述待监控区域存在运动区域,获取所述运动区域的光流信息;
运动幅度单元,用于根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;
工作状态单元,用于根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。
在一些实施例中,所述运动区域单元,具体用于:
根据所述待监控区域的视频流,获取所述待监控区域的视频流中的每一帧图像;
实时确定所述待监控区域的前帧图像和后帧图像;
通过帧差法对所述待监控区域的前帧图像和后帧图像进行处理,确定所述待监控区域是否存在运动区域。
在一些实施例中,所述运动幅度单元,具体用于:
判断所述光流信息是否满足约束性条件;
若满足,则确定所述运动物体的运动幅度大;
若不满足,则确定所述运动物体的运动幅度小。
第三方面,本发明实施例提供一种终端设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的人员工作状态检测方法。
第四方面,本发明实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使终端设备能够执行如上所述的人员工作状态检测方法。
本发明实施例的有益效果是:区别于现有技术的情况下,本发明实施例提供的一种人员工作状态检测方法包括:获取待监控区域的视频流;确定所述待监控区域是否存在运动区域;若所述待监控区域存在运动区域,获取所述运动区域的光流信息;根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。通过上述方式,本发明实施例解决了现有的人员工作状态检测浪费人力资源的技术问题,提高人员工作状态检测的准确率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例提供的一种人员工作状态检测系统架构示意图;
图2是本发明实施例提供的一种人员工作状态检测方法的算法流程;
图3是本发明实施例提供的一种人员工作状态检测方法的流程示意图;
图4是本发明实施例提供的训练人员检测模型的示意图;
图5是图3中的步骤S22的细化流程图;
图6是本发明实施例提供的一种人员工作状态检测装置的示意图;
图7是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
目前检测人员工作状态主要有以下两种:
基于工作人员的生理参数的检测方法,利用一些医学设备对员工的生理信号(脑电图,心电图,眼电图等)进行实时监测,利用这些生理信号来分析员工的工作状态,这种方法优点是能比较反映人体的工作状态,不足之处需要把电极贴在人体不同位置,操作方法复杂,容易对人产生干扰,不易被接受。
基于工作人员的行为特征的检测方法。该方法通过利用摄像头采集员工的视频图像,然后利用计算机视觉方法对视频图像进行分析,提取,识别人体的特征反应,譬如眼睛闭合,低头,打哈欠,运动幅度等,该方法不必佩戴额外设备,缺点是这些特征提取困难,准确度低,容易受光照变化影响,且检测算法相对比较复杂。
基于上述两种方法带来的不足之处,本发明实施例提出通过训练人员检测模型,结合帧差法确定活动区域的方式,从而确定工作人员的工作状态,有利于解决目前人员工作状态检测耗时长,操作复杂且受环境干扰大的问题。
卷根神经网络(convolutional neural network),指的是至少在某一层种用卷积运算(convolution)来代替矩阵乘法的神经网络。卷积运算的特性决定了神经网络适用于处理具有网格状结构的数据。最典型的网格型数据就是数字图像,不管是灰度图像还是彩色图像,都是定义在二维像素网格上的一组标量或向量。因而卷积神经网络自诞生以来,便广泛地应用于图像与文本识别之中,并逐渐扩展到自然语言处理等其他领域。
卷积是对两个函数进行的一种数学运算,在不同的学科中有不同的解释方式。在卷积网络中,两个参与运算的函数分别叫做输入和核函数(kernel function)。本质上讲,卷积就是以核函数作为权重系数,对输入进行加权求和的过程。
输入层将待处理的图像转化为一个或者多个像素矩阵,卷积层利用一个或多个卷积核从像素矩阵中提取特征,得到的特征映射经过非线性函数处理后被送入池化层,由池化层执行降维操作。卷积层和池化层的交替使用可以使卷积神经网络提取出不同层次上的图像特征。最后得到的特征作为全连接层的输入,由全连接层的分类器输出分类结果。
在卷积神经网络的训练里,待训练的参数是卷积核,也就是卷积层中的权重系数矩阵。训练采用的也是反向传播的方法,参数的不断更新能够提升图像特征提取的精度。
在本发明实施例中,人员检测模型为SSD检测模型,所述人员模型为前馈卷积神经网络,SSD是Single Shot MultiBox Detector的缩写,SSD算法是一种直接预测目标的类别和位置的多目标检测算法。
请参阅图1,图1是本发明实施例提供的一种人员工作状态检测系统架构示意图;
如图1所示,至少一个监控摄像头用于获取待监控区域的视频流,至少一个监控摄像头无线连接或有网络线连接终端设备,例如:所述至少一个监控摄像头通过蓝牙、无线局域网、2G、3G、4G、5G等方式与所述终端设备通信连接,所述终端设备根据所述监控摄像头发送的视频流,对所述视频流进行相应检测,从而生成检测结果。除此之外监控摄像头也可以与终端设备集成为一体化设备,进而通过无线连接或有网络线连接监控中心。
在本发明的实施例中,终端设备可以是智能摄像头、终端智能设备或计算机终端。
具体地,下面以终端设备是终端智能设备为例对本发明实施例作具体阐述。
请参阅图2,图2是本发明实施例提供的一种人员工作状态检测方法的算法流程;
如图2所示,通过监控摄像头获取待监控区域的视频流,并对所述视频流中的每一幅图像进行待监控区域划定,例如:通过不同颜色的线框圈出待监控区域的范围,对所述视频流的前后两帧图像中的待监控区域,采用帧差法判断所述待监控区域是否存在运动区域,若存在运动区域,则获取若干运动区域块,并采用光流法计算前后帧图像的光流信息,并判断是否存在任意一个或多个运动区域的光流信息满足约束性条件;
若存在任意一个或多个运动区域的光流信息满足约束性条件,则通过所述预先训练的人员检测模型对每一所述运动区域的帧图像进行检测,确定运动区域的检测结果,若存在至少一个运动区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为在岗状态;若所有的运动区域的检测结果均为无人,则通过所述人员检测模型对所述待监控区域的帧图像进行检测,确定待监控区域的检测结果;
若所述待监控区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态;若所述待监控区域的检测结果为无人,则确定所述待监控区域的工作人员的工作状态为离岗状态;
若不存在任意一个或多个运动区域的光流信息满足约束性条件,则直接通过所述人员检测模型对所述待监控区域的帧图像进行检测,若检测到有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态,若检测到无人,则确定所述待监控区域的工作人员的工作状态为离岗状态。
具体的,请再参阅图3,图3是本发明实施例提供的一种人员工作状态检测方法的流程示意图;
如图3所示,所述方法应用于终端设备,比如,连接摄像头的终端智能设备,所述方法包括:
步骤S21:获取待监控区域的视频流;
具体的,在获取待监控区域的视频流之前,所述方法还包括:预先训练人员检测模型,所述人员检测模型为MobileNet_SSD检测模型,为了使得MobileNet_SSD检测模型能够检测人员,需要使用大量的图像预先训练所述MobileNet_SSD检测模型,然后才能将其部署到真实的应用场景中。
在本发明实施例中,所述人员检测模型为开源的前馈卷积神经网络(Single ShotMultiBox Detector,SSD)。前馈卷积神经网络主要由基网络和一系列卷积核组成,其中所述基网络是MobilenetV1神经网络,MobilenetV1神经网络是一个适用于移动端的轻量级卷积神经网络,它被设计来用于分类。在MobileNet_SSD检测模型中,所述MobilenetV1神经网络被截取掉分类层,所述被截取掉分类层的MobilenetV1神经网络被当作特征提取器,用于提取图像的特征,其中,提取的特征被输入至SSD中的一系列卷积核用于目标检测,每一个卷积核相当于一个分类器,每一个卷积核负责检测一个目标的类别及目标的位置。
具体的,请再参阅图4,图4是本发明实施例提供的训练人员检测模型的示意图;
如图4所示,所述训练人员检测模型,包括:
步骤S41:预处理;
具体的,所述预处理,包括:从互联网,监控视频等渠道上收集,或者通过人工合成包含人员的图像,并调整所述图像的分辨率,例如:将所述图像的分辨率调整为720*540。从互联网,监控视频等渠道上收集,或者通过人工合成包含人员的图像,并对收集到的图像进行处理以增加样本量。其中,由于MobileNet_SSD模型的参数有很多个,在比较少的图像上训练SSD容易过拟合,导致训练出来的SSD的推广能力比较差。为了减少过拟合风险,一般都会选择增加图像数量,所述对收集到的图像进行处理以增加样本量,包括:对所述收集到的图像进行尺度调整,翻转等操作,例如:随机裁剪和随机水平翻转,所述随机裁剪指的是在一张图像里面,随机裁剪出多张小图像,所述水平翻转指的是把图像进行上下翻转。经过随机裁剪和随机水平翻转扩增图像,从而增加图像数量,减少过拟合风险。
步骤S42:训练样本制作;
具体的,所述训练样本制作,包括:对所述预处理后的图像进行人工标注,标注出图像中包含的所有人员的矩形框,并对所述矩形框进行标签以标识人员。通过人工手动标注出图像中人员外接矩形框,从而获得人员训练样本。
步骤S43:MobileNet_SSD模型训练;
具体的,所述MobileNet_SSD模型训练,包括:将所述人员训练样本输入预训练的MobileNet_SSD模型进行训练,包括:基于tensorflow框架,将获得的人员训练样本输入预训练的MobileNet_SSD模型进行训练,最终获得能够识别人员的MobileNet_SSD模型。
由于SSD是一个通用检测模型,当应用到不同的具体场景时,需要根据应用场景的需求适当地修改SSD。由于本发明需要检测一个类别,故SSD的输出类别被修改为一个。
在本发明实施例中,整个训练过程在Google开源的目标检测平台(TensorflowObject Detection API)上完成。
步骤S44:生成人员检测模型;
具体的,对所述能够识别人员的MobileNet_SSD模型进行迭代训练,将训练好的MobileNet_SSD模型作为所述人员检测模型。
步骤S22:确定所述待监控区域是否存在运动区域;
具体的,所述待监控区域设置有至少一个监控摄像头,通过所述监控摄像头采集所述待监控区域的视频流,所述视频流由连续多帧图像组成。
请再参阅图5,图5是图3中的步骤S22的细化流程图;
如图5所示,所述确定所述待监控区域是否存在运动区域,包括:
步骤S221:根据所述待监控区域的视频流,获取所述待监控区域的视频流中的每一帧图像;
具体的,监控摄像头获取所述待监控区域的视频流,根据所述待监控区域的视频流,所述视频流中包括多帧图像,根据所述视频流,提取所述视频流中的每一帧图像。
步骤S222:实时确定所述待监控区域的前帧图像和后帧图像;
具体的,将t时刻获取的图像帧作为前帧图像,将t+1时刻获取的图像帧作为后帧图像,其中,t时刻和t+1时刻的时间间隔可以人为设置,例如:t时刻和t+1时刻的时间间隔设置为0.05、0.1秒等,通过固定设置时间间隔,将实时确定所述待监控区域的前帧图像和后帧图像。可以理解的是,所述后帧可以作为下一个时刻的前帧,以此类推。
步骤S223:通过帧差法对所述待监控区域的前帧图像和后帧图像进行处理,确定所述待监控区域是否存在运动区域。
具体的,通过帧差法对所述待监控区域的前帧图像和后帧图像进行图像处理,从而确定所述待监控区域是否存在运动区域,若存在,则获取所述待监控区域的运动区域块,通过对前帧和后帧进行帧差法处理,能够获取多个运动区域块。
在本发明实施例中,所述方法还包括:对所述待监控区域进行目标位置的划分,其中,所述目标位置指的是工作人员在所述待监控区域的位置,所述目标位置由两个坐标点给出,通过所述两个坐标点的位置确定所述待监控区域的位置,通过所述两个坐标点确定一个最小外接矩形,所述矩形的位置由矩形的左上角和右下角的坐标确定,即所述两个坐标点分别为所述矩形的左上角和右下角的坐标。
步骤S23:若所述待监控区域存在运动区域,获取所述运动区域的光流信息;
具体的,若所述待监控区域存在运动区域,则通过帧差法获取所述待监控区域的至少一个运动区域块后,通过稠密光流法获取所述至少一个运动区域块的的光流信息,所述光流信息用于判断运动物体的运动幅度大小,所述光流信息包括:横轴方向运动幅值和纵轴方向运动幅值,即X方向运动幅值和Y方向运动幅值。
步骤S24:根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;
具体的,所述根据所述光流信息,确定所述运动区域内的运动物体的运动幅度,包括:
判断所述光流信息是否满足约束性条件;若满足,则确定所述运动物体的运动幅度大;若不满足,则确定所述运动物体的运动幅度小。
其中,所述光流信息包括:横轴方向运动幅值和纵轴方向运动幅值,即X方向运动幅值和Y方向运动幅值,所述判断所述光流信息是否满足约束性条件,包括:
判断所述横轴方向运动幅值和纵轴方向运动幅值之和是否大于或等于预设运动幅度阈值;
若是,则确定所述运动物体的运动幅度大;
若否,则确定所述运动物体的运动幅度小。
具体的,根据X方向运动幅值和Y方向运动幅值大小之和作为约束性条件来判断运动区域块的运动幅度是否超过预设运动幅度阈值,其中约束性条件为:|vx+vy|≥ηη=1.0,其中vx表示X方向运动幅值,vy表示Y方向运动幅值,η表示运动幅度阈值。判断是否存在任意一个或多个运动区域的光流信息满足约束性条件;
若存在任意一个或多个运动区域的光流信息满足约束性条件,则通过所述预先训练的人员检测模型对每一所述运动区域的帧图像进行检测,确定运动区域的检测结果,若存在至少一个运动区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为在岗状态;若所有的运动区域的检测结果均为无人,则通过所述人员检测模型对所述待监控区域的帧图像进行检测,确定待监控区域的检测结果;
若所述待监控区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态;若所述待监控区域的检测结果为无人,则确定所述待监控区域的工作人员的工作状态为离岗状态;
若不存在任意一个或多个运动区域的光流信息满足约束性条件,则直接通过所述人员检测模型对所述待监控区域的帧图像进行检测,若检测到有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态,若检测到无人,则确定所述待监控区域的工作人员的工作状态为离岗状态。
在本发明实施例中,所述工作人员的工作状态还包括睡岗,所述方法还包括:
若所述待监控区域不存在运动区域,则直接通过所述人员检测模型检测所述待监控区域是否存在人员;
若检测到所述待监控区域存在人员,则确定所述工作人员的工作状态为睡岗状态,若检测到所述待监控区域不存在人员,则确定所述工作人员的工作状态为离岗状态。
在本发明实施例中,所述方法还包括:通过所述人员检测模型输出所述运动区域的置信分数。
在本发明实施例中,所述确定运动区域还可以为高斯背景建模方法。
在本发明实施例中,所述方法还包括:
若所述待监控区域存在多个工作人员,确定多个工作人员的工作状态,具体的,所述确定多个工作人员的工作状态,包括:
对所述待监控区域进行划分,将所述待监控区域划分为多个目标区域,其中,每一目标区域对应一工作人员,通过对所述待监控区域进行划分目标区域,并对每一所述目标区域进行视频流的获取,根据每一目标区域的视频流,确定每一目标区域是否存在运动区域块,分别获取每一目标区域的运动区域块的光流信息,并根据每一目标区域的运动区域块的光流信息,确定所述运动区域块内的运动物体的运动幅度;根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述目标区域的工作人员的工作状态。当在待监控区域内存在多个工作人员时,通过对所述待监控区域进行多区域划分,从而获取多个目标区域,针对每一目标区域进行工作人员的工作状态识别,能够更好地确定多个工作人员的工作状态。
在本发明实施例中,通过提供的一种人员工作状态检测方法包括:获取待监控区域的视频流;确定所述待监控区域是否存在运动区域;若所述待监控区域存在运动区域,获取所述运动区域的光流信息;根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。通过上述方式,本发明实施例解决了现有的人员工作状态检测浪费人力资源的技术问题,提高人员工作状态检测的准确率。
请参阅图6,图6是本发明实施例提供的一种人员工作状态检测装置的示意图;该人员工作状态检测装置可以应用于终端设备,例如:终端智能设备。
如图6所示,该人员工作状态检测装置60包括:
视频流单元61,用于获取待监控区域的视频流;
运动区域单元62,用于确定所述待监控区域是否存在运动区域;
光流信息单元63,用于若所述待监控区域存在运动区域,获取所述运动区域的光流信息;
运动幅度单元64,用于根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;
工作状态单元65,用于根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。
在本发明实施例中,所述运动区域单元62,具体用于:
根据所述待监控区域的视频流,获取所述待监控区域的视频流中的每一帧图像;
实时确定所述待监控区域的前帧图像和后帧图像;
通过帧差法对所述待监控区域的前帧图像和后帧图像进行处理,确定所述待监控区域是否存在运动区域。
在一些实施例中,所述运动幅度单元64,具体用于:
判断所述光流信息是否满足约束性条件;
若满足,则确定所述运动物体的运动幅度大;
若不满足,则确定所述运动物体的运动幅度小。
由于装置实施例和方法实施例是基于同一构思,在内容不互相冲突的前提下,装置实施例的内容可以引用方法实施例的,在此不赘述。
请参阅图7,图7是本发明实施例提供一种终端设备的结构示意图。其中,该终端设备可以是智能摄像头、终端智能设备或计算机终端。
如图7所示,该终端设备70包括一个或多个处理器71以及存储器72。其中,图7中以一个处理器71为例。
处理器71和存储器72可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器72作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的一种人员工作状态检测方法对应的单元(例如,图6所述的各个单元)。处理器71通过运行存储在存储器72中的非易失性软件程序、指令以及模块,从而执行人员工作状态检测方法的各种功能应用以及数据处理,即实现上述方法实施例人员工作状态检测方法以及上述装置实施例的各个模块和单元的功能。
存储器72可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器72可选包括相对于处理器71远程设置的存储器,这些远程存储器可以通过网络连接至处理器71。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述模块存储在所述存储器72中,当被所述一个或者多个处理器71执行时,执行上述任意方法实施例中的人员工作状态检测方法,例如,执行以上描述的图3、4、5所示的各个步骤;也可实现图6所述的各个模块或单元的功能。
本发明实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图7中的一个处理器71,可使得上述一个或多个处理器可执行上述任意方法实施例中的人员工作状态检测方法,例如,执行上述任意方法实施例中的人员工作状态检测方法,例如,执行以上描述的图3、4、5所示的各个步骤;也可实现图6所述的各个单元的功能。
以上所描述的装置或设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的,作为模块单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用直至得一台计算机设备(可以是个人计算机,终端设备,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种人员工作状态检测方法,其特征在于,所述方法包括:
获取待监控区域的视频流;
确定所述待监控区域是否存在运动区域;
若所述待监控区域存在运动区域,获取所述运动区域的光流信息;
根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;
根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待监控区域是否存在运动区域,包括:
根据所述待监控区域的视频流,获取所述待监控区域的视频流中的每一帧图像;
实时确定所述待监控区域的前帧图像和后帧图像;
通过帧差法对所述待监控区域的前帧图像和后帧图像进行处理,确定所述待监控区域是否存在运动区域。
3.根据权利要求1所述的方法,其特征在于,所述根据所述光流信息,确定所述运动区域内的运动物体的运动幅度,包括:
判断所述光流信息是否满足约束性条件;
若满足,则确定所述运动物体的运动幅度大;
若不满足,则确定所述运动物体的运动幅度小。
4.根据权利要求3所述的方法,其特征在于,所述光流信息包括:横轴方向运动幅值和纵轴方向运动幅值,所述判断所述光流信息是否满足约束性条件,包括:
判断所述横轴方向运动幅值和纵轴方向运动幅值之和是否大于或等于预设运动幅度阈值;
若是,则确定所述运动物体的运动幅度大;
若否,则确定所述运动物体的运动幅度小。
5.根据权利要求3或4所述的方法,其特征在于,所述根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态,包括:
判断是否存在任意一个或多个运动区域的光流信息满足约束性条件;
若存在任意一个或多个运动区域的光流信息满足约束性条件,则通过所述预先训练的人员检测模型对每一所述运动区域的帧图像进行检测,确定运动区域的检测结果,若存在至少一个运动区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为在岗状态;若所有的运动区域的检测结果均为无人,则通过所述人员检测模型对所述待监控区域的帧图像进行检测,确定待监控区域的检测结果,若所述待监控区域的检测结果为有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态;若所述待监控区域的检测结果为无人,则确定所述待监控区域的工作人员的工作状态为离岗状态;
若不存在任意一个或多个运动区域的光流信息满足约束性条件,则直接通过所述人员检测模型对所述待监控区域的帧图像进行检测,若检测到有人,则确定所述待监控区域的工作人员的工作状态为睡岗状态,若检测到无人,则确定所述待监控区域的工作人员的工作状态为离岗状态。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述待监控区域不存在运动区域,则直接通过所述人员检测模型检测所述待监控区域是否存在人员;
若检测到所述待监控区域存在人员,则确定所述工作人员的工作状态为睡岗状态;
若检测到所述待监控区域不存在人员,则确定所述工作人员的工作状态为离岗状态。
7.一种人员工作状态检测装置,其特征在于,所述装置包括:
视频流单元,用于获取待监控区域的视频流;
运动区域单元,用于确定所述待监控区域是否存在运动区域;
光流信息单元,用于若所述待监控区域存在运动区域,获取所述运动区域的光流信息;
运动幅度单元,用于根据所述光流信息,确定所述运动区域内的运动物体的运动幅度;
工作状态单元,用于根据所述运动物体的运动幅度,结合预先训练的人员检测模型,确定所述待监控区域的工作人员的工作状态。
8.根据权利要求7所述的装置,其特征在于,所述运动区域单元,具体用于:
根据所述待监控区域的视频流,获取所述待监控区域的视频流中的每一帧图像;
实时确定所述待监控区域的前帧图像和后帧图像;
通过帧差法对所述待监控区域的前帧图像和后帧图像进行处理,确定所述待监控区域是否存在运动区域。
9.根据权利要求7所述的装置,其特征在于,所述运动幅度单元,具体用于:
判断所述光流信息是否满足约束性条件;
若满足,则确定所述运动物体的运动幅度大;
若不满足,则确定所述运动物体的运动幅度小。
10.一种终端设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6任一项所述的方法。
CN201910574340.8A 2019-06-28 2019-06-28 一种人员工作状态检测方法、装置及终端设备 Pending CN110363114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910574340.8A CN110363114A (zh) 2019-06-28 2019-06-28 一种人员工作状态检测方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910574340.8A CN110363114A (zh) 2019-06-28 2019-06-28 一种人员工作状态检测方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN110363114A true CN110363114A (zh) 2019-10-22

Family

ID=68216202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910574340.8A Pending CN110363114A (zh) 2019-06-28 2019-06-28 一种人员工作状态检测方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN110363114A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325105A (zh) * 2020-01-22 2020-06-23 上海眼控科技股份有限公司 目标检测方法、装置、设备和存储介质
CN111461012A (zh) * 2020-04-01 2020-07-28 要文瑾 空中交通管制场景下的人员行为监测方法及系统
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、系统及存储介质
CN112001230A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN113158730A (zh) * 2020-12-31 2021-07-23 杭州拓深科技有限公司 一种基于人形识别的多人在离岗识别方法、装置、电子装置和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883257A (zh) * 2009-05-08 2010-11-10 上海弘视通信技术有限公司 值岗检测系统及其检测方法
CN103810718A (zh) * 2012-11-15 2014-05-21 浙江大华技术股份有限公司 一种剧烈运动目标检测方法和装置
CN104346802A (zh) * 2013-08-05 2015-02-11 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
CN107403158A (zh) * 2017-07-28 2017-11-28 中国电子科技集团公司第三十八研究所 一种人员在岗视频识别方法及智能用户信息传输装置
JP2018005464A (ja) * 2016-06-30 2018-01-11 アース環境サービス株式会社 クリーンルーム入室者の清浄度管理方法及び管理システム
CN109492620A (zh) * 2018-12-18 2019-03-19 广东中安金狮科创有限公司 监控设备及其控制装置、岗位监控方法和可读存储介质
CN109657564A (zh) * 2018-11-28 2019-04-19 深圳市中电数通智慧安全科技股份有限公司 一种人员在岗检测方法、装置、存储介质及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883257A (zh) * 2009-05-08 2010-11-10 上海弘视通信技术有限公司 值岗检测系统及其检测方法
CN103810718A (zh) * 2012-11-15 2014-05-21 浙江大华技术股份有限公司 一种剧烈运动目标检测方法和装置
CN104346802A (zh) * 2013-08-05 2015-02-11 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
JP2018005464A (ja) * 2016-06-30 2018-01-11 アース環境サービス株式会社 クリーンルーム入室者の清浄度管理方法及び管理システム
CN107403158A (zh) * 2017-07-28 2017-11-28 中国电子科技集团公司第三十八研究所 一种人员在岗视频识别方法及智能用户信息传输装置
CN109657564A (zh) * 2018-11-28 2019-04-19 深圳市中电数通智慧安全科技股份有限公司 一种人员在岗检测方法、装置、存储介质及终端设备
CN109492620A (zh) * 2018-12-18 2019-03-19 广东中安金狮科创有限公司 监控设备及其控制装置、岗位监控方法和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘鑫 等: "四帧间差分与光流法结合的目标检测及追踪", 《光电工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325105A (zh) * 2020-01-22 2020-06-23 上海眼控科技股份有限公司 目标检测方法、装置、设备和存储介质
CN111461012A (zh) * 2020-04-01 2020-07-28 要文瑾 空中交通管制场景下的人员行为监测方法及系统
CN111461012B (zh) * 2020-04-01 2020-10-27 要文瑾 空中交通管制场景下的人员行为监测方法及系统
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、系统及存储介质
CN112001230A (zh) * 2020-07-09 2020-11-27 浙江大华技术股份有限公司 睡觉行为的监控方法、装置、计算机设备和可读存储介质
CN113158730A (zh) * 2020-12-31 2021-07-23 杭州拓深科技有限公司 一种基于人形识别的多人在离岗识别方法、装置、电子装置和存储介质

Similar Documents

Publication Publication Date Title
CN110363114A (zh) 一种人员工作状态检测方法、装置及终端设备
CN104281853B (zh) 一种基于3d卷积神经网络的行为识别方法
CN109829443A (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN110378288A (zh) 一种基于深度学习的多级时空运动目标检测方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN108133188A (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN106407903A (zh) 基于多尺度卷积神经网络的实时人体异常行为识别方法
CN104144328B (zh) 一种智能视频监控方法
CN104103033B (zh) 图像实时处理方法
US20230015773A1 (en) Crowd motion simulation method based on real crowd motion videos
CN110222574A (zh) 基于结构化双流卷积神经网络的生产操作行为识别方法、装置、设备、系统及存储介质
CN110490136A (zh) 一种基于知识蒸馏的人体行为预测方法
CN109902558A (zh) 一种基于cnn-lstm的人体健康深度学习预测方法
CN113657168B (zh) 基于卷积神经网络的学生学习情绪的识别方法
CN108171134A (zh) 一种操作动作辨识方法及装置
CN114333070A (zh) 一种基于深度学习的考生异常行为检测方法
CN110263654A (zh) 一种火焰检测方法、装置及嵌入式设备
CN112668560B (zh) 一种人流密集区域行人检测方法及系统
CN109902613A (zh) 一种基于迁移学习和图像增强的人体特征提取方法
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
Zhang et al. Coastal fisheries resource monitoring through A deep learning-based underwater video analysis
CN111507227A (zh) 基于深度学习的多学生个体分割及状态自主识别方法
CN109840905A (zh) 电力设备锈迹检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022

RJ01 Rejection of invention patent application after publication