CN101577812B - 一种岗位监测的方法和系统 - Google Patents

Abstract

本发明提供一种岗位监测的方法和系统，方法包括：步骤一，采集预定区域的视频图像；步骤二，检测所述视频图像中的人员目标；步骤三，判断岗位区域是否有所述人员目标，获得判断结果；步骤四，根据所述判断结果进行提示。本发明能在不浪费人力资源的情况下监控员工的在岗情况，解决现有技术的监控手段会浪费人力资源的技术问题。

Description

一种岗位监测的方法和系统

技术领域

本发明涉及视频监控技术，特别是涉及一种岗位监测的方法和系统。

背景技术

在警卫、流水线操作工位等很多岗位，由于工作的特殊性，都需要保持有一直在岗的员工，在前台、售货员等岗位也需要员工不能离开太久，而如何保障员工不离岗或不离岗太久，一直是一个有待解决的难题。如果采用人工监控的手段会浪费其他人力，如果采用传统视频监控的方式也需要工作人员总是盯着显示屏，而如果采用事后查找视频的方式，又没有及时性，可能在员工离岗过程中已经产生问题。因此，如何在不浪费其它人力资源的情况下监控员工在岗情况，是一个有待解决的问题。

发明内容

本发明实施例的目的是提供一种岗位监测的方法和系统，能在不浪费人力资源的情况下监控员工的在岗情况，解决现有技术的监控手段会浪费人力资源的技术问题。

为了实现上述目的，一方面，提供了一种岗位监测的方法，包括如下步骤：

步骤一，采集预定区域的视频图像；

步骤二，检测所述视频图像中的人员目标；

步骤三，判断岗位区域是否有所述人员目标，获得判断结果；

步骤四，根据所述判断结果进行提示。

优选地，上述的方法中，所述步骤四包括：如果所述岗位区域没有所述人员目标，则显示文字和/或播放声音进行提醒。

优选地，上述的方法中，如果所述岗位区域没有所述人员目标，还包括：

计算所述岗位区域没有所述人员目标的持续时间，如果所述持续时间超过预定门限，则显示文字和/或播放声音进行提醒。

优选地，上述的方法，所述步骤二中，确定所述人员目标的步骤包括：

采用人头检测器模型对所述岗位区域图像进行人头检测来确认岗位区域是否存在人员目标。

优选地，上述的方法中，所述人头检测器模型采用边缘方向直方图作为特征，进行分类器训练得到，进一步，边缘方向直方图采用如下方式获得：

对于待计算的图像区域，计算所述图像区域内的各个像素点的水平边缘和垂直边缘；

对所述水平边缘和垂直边缘进行离散化，求得各像素点的边缘强度和离散化的边缘方向；

根据所述边缘强度和离散化的边缘方向，对具有相同的所述离散化的边缘方向的所有像素点，计算所述所有像素点的所述边缘强度的累积和，获得所述图像区域的边缘方向直方图。

优选地，上述的方法中，所述步骤二中还包括，对检测出的具有人员头部图像的视频图像进行跟踪搜索，设定跟踪的帧数和搜索范围，从而对检测到的人员目标进行进一步的确认。

优选地，上述的方法中，所述步骤二进一步包括：

检测到所述岗位区域有人员目标时，进一步通过人脸识别确认所述人员目标是否为应该在岗的员工。

优选地，上述的方法中，所述离散化的边缘方向NED的计算过程包括：

步骤A，判断像素点的水平边缘EH是否为0，是则设定NED为0并结束流程，否则执行步骤B；

步骤B，初始化i＝0，计算的值，其中，EV表示像素点的垂直边缘，0≤i≤N-1，N表示对180度的范围进行等分的等分份数；

步骤C，判断的值是否小于或等于 $\cot \left(\frac{180*(i+1)}{N}\right)$ 的值，是则将i的值作为像素点的NED值并结束流程；否则，执行步骤D；

步骤D，使i＝i+1，如果i＜N-1，则返回步骤C，否则将i的值作为像素点的NED值并结束流程。

优选地，上述的方法中，所述人头检测器模型采用多层结构，所述多层结构至少包括第一分类器和第二分类器，所述第一分类器由第一特征训练得到，所述第二分类器由第二特征训练得到。

优选地，上述的方法中，所述第一特征为亮度特征或者类哈尔小波特征，所述第二特征为边缘方向直方图。

优选地，上述的方法中，所述人头检测器模型包括：

以基于特征的方式训练的全视角人头分类器，用于滤除所有候选位置的非人头样本；

多个对应不同人头姿态的姿态分类器，用于滤除通过全视角人头分类器的非人头样本。

优选地，上述的方法中，所述多个对应不同人头姿态的姿态分类器包括：人头正面姿态分类器、人头背面姿态分类器，人头左侧面姿态分类器和人头右侧面姿态分类器。

另一方面，提供一种岗位监测的系统，包括：

图像采集设备模块，用于采集预定区域的视频图像；

目标提取模块，用于获取所述视频图像中的人员目标；

限定区域判定模块，用于判断岗位区域是否有所述人员目标，获得判断结果；

报警模块，用于根据所述判断结果进行提示。

优选地，上述的系统中，所述限定区域判定模块还包括：

定时器，用于：在所述岗位区域没有所述人员目标的条件下，计算所述岗位区域没有所述人员目标的持续时间；

优选地，上述的系统中，所述目标提取模块还包括：人头检测器模型，用来检测图像中的所述人员头部区域。

优选地，上述的系统中，所述限定区域判定模块还包括人脸识别模块，用于：在所述岗位区域有所述人员目标的条件下，确定所述人员目标是否为应该在岗的员工。

优选地，上述的系统中，所述人头检测器模型具体包括：全视角人头分类器和多个对应不同人头姿态的人头分类器。

优选地，上述的系统中，所述报警模块具体包括：

文字提示单元，用于进行监控屏幕的文字提示；

和/或声音报警单元，用于进行声音报警。

本发明实施例至少存在以下技术效果：

本发明提出一种自动的在岗监测系统，采用基于人头检测跟踪的方法确认工作人员是否在岗，通过提取得到工作人员不在岗时间，可以更人性化的制定报警规则。采用多姿态人头检测方法，提高了人头检测精度。采用人脸识别方法，能防止他人顶替。

附图说明

图1为本发明实施例提供的方法的步骤流程图；

图2为本发明实施例提供的监控系统的结构图；

图3为本发明实施例提供的训练人头检测器模型的步骤流程图；

图4为本发明实施例提供的对无符号的边缘方向进行离散化时六等分的示意图；

图5为本发明实施例提供的多姿态人头检测器的结构图；

图6为本发明实施例提供的人脸识别模块的结构图；

图7为本发明实施例提供的层次型分类器的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。

本发明实施例是采用图像采集设备采集工位附近视频图像，然后采用智能分析的方法确定是否有人在工位。考虑到采集设备安装位置限制造成的工作人员姿态的不确定，采用人头检测跟踪的方法提取目标位置，并判定其是否处于限定区域内，并统计其不处于限定区域内的时间，当时间大于阈值时，认为离岗时间过长，产生报警信息。进一步，可以采用人脸识别技术确定限定区域内人员是否真实工作人员，避免他人冒充代替。

图1为本发明实施例提供的方法的步骤流程图，如图所示，是一种通过智能视频分析，来确定工作人员是否离开岗位的方法，包括如下步骤：

步骤101，采集预定区域的视频图像；

步骤102，检测所述视频图像中的人员目标；

步骤103，判断岗位区域是否有所述人员目标，获得判断结果；

步骤104，根据所述判断结果进行提示。

图2为本发明实施例提供的监控系统的结构图，如图2所示，系统结构包括：图像采集设备模块201、目标提取模块202、限定区域判定模块203和报警模块204。

图像采集设备模块201采集工作岗位附近视频图像，图像采集设备可以采用一个采集设备拍摄一个工作岗位附近图像的方式，也可以采用一个采集设备采集多个工作岗位附近图像的方式，还可以采用多个采集设备分别监控很多工作岗位中的一部分工作岗位的方式，采集设备可以采用现有的数字或者模拟摄像头，可以采用可见光谱图像也可以采用红外或者近红外图像。

目标提取模块202，用于提取图像中人的目标。由于图像采集设备架设的位置受到现场条件的限制，而工作人员在视场里面，会进行活动，其姿态也会不限定，有时是正面面对采集设备，有时是侧面或者背面面向采集设备。采用前景提取方式，可以提取得到图像中的运动目标，但是，由于一般的前景提取方法为了克服光照变化的影响，一般会进行背景更新，如果工作人员长期静止，则无法提取到。而且，基于前景提取的方式会受到阴影以及其它通过人员的干扰，造成错误。人脸检测是一种成熟的现有技术，但是，人脸检测，必须要求目标的人脸面对采集设备。而上面我们已经提到，工作人员活动时，无法保证总是面对采集设备。

本发明的目标提取模块202采用一种更优的方式获取图像中的工作人员。本发明采集各个视角下，人头区域的图像，训练一个人头检测器模型，用来提取视场中的工作人员。在各个姿态情况下，虽然人头图像不是完全一致，但是，基本上都体现为一个带有椭圆形外边缘的图像。可以采用现有的物体检测技术训练人头检测器模型，并在图像中搜索人头位置。

以下，本发明给出一种训练人头检测器模型的较优实施例，图3为训练人头检测器模型的步骤流程图，如图3所示，步骤流程包括：

步骤301，割取各个姿态情况下人头区域图像，为了更好的检测效果，割取的图像区域范围可以设定为人头实际宽度的1.2倍，当然可以采用其它大于1的倍数。设定人头区域宽高比为1/1.2。最后，将人头区域放缩为同一的大小W_h×H_h，可以取W_h＝20，H_h＝24。将上述人头图像作为正样本，同时，在不包含人头的图像中，割取W_h×H_h的图像区域，作为反样本；

步骤302，采用梯度方向直方图作为特征，采用AdaBoost(自适应增强)算法进行特征选择并构建分类器；

计算梯度方向直方图的方法包括步骤1)、2)和3)，具体如下：

1)：计算区域范围内的图像中各个像素点的水平、垂直边缘。

像素点边缘的求取方法有很多种，常用的如采用“sobel算子”或“prewitt算子”，sobel算子可以表示为：

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

左侧的矩阵S1为sobel垂直边缘检测模板，该矩阵用于计算中心处元素A(即第2行第2列的元素)的垂直边缘，用EH(A)表示，右侧的矩阵S2为sobel水平边缘检测模板，用于计算A点的水平边缘，用EV(A)表示。

2)：对得到的各像素点的水平边缘和垂直边缘进行离散化，求得各像素点的边缘强度和离散化的边缘方向。

根据计算得到的各像素点的水平边缘EH和垂直边缘EV，进一步计算各像素点的边缘方向(用ED表示)和边缘强度(用EI表示)。采用无符号的边缘方向定义，即边缘方向的范围是0～180度，此时相差180度的边缘方向为同一个方向。对无符号的边缘方向进行离散化，即将180度的范围等分为N个区间，图4示出了N＝6的情况，此时，边缘方向属于同一个区间范围内的像素点，它们离散化的边缘方向(用NED表示)的值相同。

边缘强度的计算方式有多种，例如 $\mathrm{EI}=\sqrt{{\mathrm{EH}}^2+E{V}^2}$ 或EI＝|EH|+|EV|，由图3可知，像素点的无符号边缘方向 $\mathrm{ED}=\mathrm{arccot}\left(\frac{\mathrm{EV}}{\mathrm{EH}}\right),$ 则该像素点的离散化边缘方向所述arccot函数为余切函数的反函数。如果采用上述定义先计算ED，再由ED计算NED的值，由于存在开方及三角运算，计算速度较慢，可以采用下述方法快速计算得出各像素点的NED值：

第一步：如果EH为0，则设定此时NED为0；否则，进行第二步；

第二步：初始化i＝0，计算的值；

第三步：如果小于等于 $\cot \left(\frac{180*(i+1)}{N}\right)$ 的值，终止流程；否则，进行第四步；

第四步：i增加1，如果此时i＜N-1，则回到第三步，否则终止流程。得到的i的值即为该像素点NED的值。显然，由于上述过程中只需要进行简单的代数运算和余切函数的计算，因此计算速度大大快于采用根据NED的定义进行计算的方法。

通过上述方法，遍历图像中所有的像素点，可以得到各像素点的边缘强度和离散化的边缘方向。

3)：根据区域内各像素点的边缘强度和离散化的边缘方向，计算该区域的边缘方向直方图HOG。

所述的HOG定义为：该区域内所有离散化边缘方向取值为i的像素点的边缘强度的累积和，用公式表示为：

其中，P(x，y)表示区域内第x行、y列的像素点(即坐标为(x，y)的像素点)。

进一步，为了快速计算，可以采用基于积分图像的方法。先统计各边缘方向的各点的边缘强度的积分图像，然后，根据积分图像计算矩形区域内的所述边缘方向上的边缘强度累积。

以图像中不同尺度矩形区域的梯度方向直方图为特征，采用人头区域图像作为正样本，采用不是人头的区域图像作为反样本，训练adaboost分类器，得到一个人头检测器。

也可以采用支持向量机对上述得到的边缘方向直方图特征进行训练得到人头分类器模型。

步骤303，采用金字塔型图像检测结构检测人头位置；

采用图像放缩方式，得到一个金字塔型图像结构，并分别在各个尺度图像的各个位置采用上述模型判定是否为人头。最终，采用后处理融合算法，合并相邻人头。

进一步，由于上述边缘方向直方图的计算量较大，一种更优的方式是采用层次型的结构，前面采用较容易计算的特征训练得到的分类器，而后面采用边缘方向直方图训练的分类器。层次型分类器结构如图7所示，其中第一分类器和第二分类器分别采用不同的特征以及分类器训练得到，第一分类器可以采用基于亮度或者类哈尔小波(haar-like)特征作为特征进行训练，而第二分类器可以采用边缘方向直方图特征训练得到。实际处理中，如果当前图像区域通过第一分类器，则将其送到第二分类器进行处理，如果其没有通过第一分类器，则认为其不是人头样本。对于通过第一分类器的区域，采用第二分类器进行判定，如果其通过第二分类器，则认为其是人头区域，否则，认为其不是人头区域。

进一步，可以采用人头检测和跟踪相结合的方式提取人头目标，具体如下：

第一步，采用上述人头检测方法检测图像中的人头，如果未检测到，则处理下一帧，转第一步，如果连续T帧均检测到人头，则转第二步；

第二步，采用跟踪方法对上述检测到的人头进行跟踪；例如可以采用“mean-shift”(均值漂移)或Particle Filter(粒子滤波)的方法对人头进行跟踪；由于基于跟踪的方法容易受背景干扰，因此，采用检测模型验证的方式对跟踪目标进行验证；

第三步，连续跟踪T2帧后，采用上述训练得到的人头检测模型在人头跟踪结果附近搜索，看是否存在人头目标；以人头跟踪目标位置为中心，设定一个搜索区域，以人头跟踪目标大小为中心，设定人头搜索尺度范围。在上述搜索范围和搜索大小范围内，如果存在符合人头模型的区域，则认为人头跟踪结果正确，并将跟踪结果更新为检测结果，否则，认为人头跟踪结果失效，转第一步，重新开始对全图进行检测。

由于各个视角和姿态情况下，人头图像相差比较大，造成分类器收敛变慢，影响检测效果。进一步，对人头姿态进行分类，图5为多姿态人头检测器的结构图，训练如图5所示的多姿态检测器。采集各种姿态下的人头图像，为了使得类内距离缩小，加快收敛，将人头分为正面，背面，左侧面和右侧面四个姿态。采用上述基于特征的方式训练一个全视角人头分类器，该分类器能够让所有的人头样本通过，但是，能够据掉部分非人头样本。然后，分别为正面人头，背面人头，左侧面人头，右侧面人头训练一个分类器，该分类器能够让该姿态的人头通过，而据除非人头和其它姿态人头。

使用时，对每个位置进行判定，先判定当前位置是否符合全视角人头模型，如果不符合，则据掉，如果符合，则继续采用四个分视角人头模型判定，如果，其能够通过某一个或几个视角的模型，则认为其属于最符合的那个模型，认为该位置为一个人头候选位置。对上述得到的人头进行合并后处理，得到最终的人头位置；

上述方法还能够得到图像中工作人员人头在各帧中的位置和大小。

限定区域判定模块103，首先在初始化阶段采用手工标定方式，确定工作人员工位范围，如果此范围内无工作人员，则认为工作人员离开岗位。默认情况下，可以认为整个图像范围为限定区域范围。在一个摄像头同时监控多个工位的情况下，可以分别为每个工位标定一个限定范围。限定区域判定模块，分别对每个限定范围进行如下判断：

如果当前目标提取模块提取的目标处于限定范围内，则认为限定范围内存在工作人员；判定提取目标是否处于限定范围的一种可行方法为获取提取目标的中心位置，如果该中心位置处于限定区域范围内，则认为该目标处于限定范围内；

进一步，当限定范围内第一次没有目标时，进行计时，直到重新出现目标，将计时器清除为0；

一种简单的方式是当限定范围内没有目标时，直接产生报警信号控制报警模块发出警报信息。警报信息可以为声音也可以为文字，可以通过扬声器发出，也可以通过网络或者手机发送给领导。但是，这样的方式在工作人员暂时离开，或者去卫生间等情况下，会造成不必要的麻烦。一种更优的方式是，记录限定区域内没有目标的持续时间，当持续时间大于阈值时，认为工作人员离开工作岗位太久，发出报警信息。一种实施例还可以当限定区域内没有目标时，发出提醒信息，当没有目标超过阈值时，发出报警信息。提醒信息比报警信息柔和，级别低。

图6为本发明实施例提供的人脸识别模块的结构图。进一步，在目标提取模块102后面，增加一个人脸识别模块60，人脸识别模块60具体包括人脸检测单元601，特征点定位单元602和人脸识别单元603以及人脸特征库604。。

人脸检测单元601，在上述提取得到的目标区域中，检测是否存在人脸。如果不存在，则继续进行下一帧处理。如果存在人脸，则进一步采用特征点定位单元602定位眼睛特征点，并提取人脸特征。人脸识别单元603，根据合法工作人员的人脸特征库604，确定当前限定区域中工作人员是否合法工作人员，而不是他人仿冒。如果发现限定区域没有合法工作人员，则发出报警信号。

报警模块104具体包括：文字提示单元，用于进行监控屏幕的文字提示；声音报警单元，用于进行声音报警。

由上可知，本发明具有以下优势：

本发明提出一种自动的在岗监测系统，采用基于人头检测跟踪的方法确认工作人员是否在岗，通过提取得到工作人员不在岗时间，可以更人性化的制定报警规则。采用多姿态人头检测方法，提高了人头检测精度。采用人脸识别方法，能防止他人顶替。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种岗位监测的方法，其特征在于，包括如下步骤：

步骤一，采集预定区域的视频图像；

步骤二，检测所述视频图像中的人员目标；

步骤三，判断岗位区域是否有所述人员目标，获得判断结果；

步骤四，根据所述判断结果进行提示；

其中，所述步骤二中，确定所述人员目标的步骤包括：

采用人头检测器模型对所述岗位区域图像进行人头检测来确认岗位区域是否存在人员目标；

所述人头检测器模型采用多层结构，所述多层结构至少包括第一分类器和第二分类器，所述第一分类器由第一特征训练得到，所述第二分类器由第二特征训练得到；

所述第一特征为亮度特征或者类哈尔小波特征，所述第二特征为边缘方向直方图。

2.根据权利要求1所述的方法，其特征在于，所述步骤四包括：

如果所述岗位区域没有所述人员目标，则显示文字和/或播放声音进行提醒。

3.根据权利要求1所述的方法，其特征在于，如果所述岗位区域没有所述人员目标，还包括：

计算所述岗位区域没有所述人员目标的持续时间，如果所述持续时间超过预定门限，则显示文字和/或播放声音进行提醒。

4.根据权利要求1所述的方法，其特征在于，所述人头检测器模型采用边缘方向直方图作为特征，进行分类器训练得到，进一步，边缘方向直方图采用如下方式获得：

对于待计算的图像区域，计算所述图像区域内的各个像素点的水平边缘和垂直边缘；

对所述水平边缘和垂直边缘进行离散化，求得各像素点的边缘强度和离散化的边缘方向；

根据所述边缘强度和离散化的边缘方向，对具有相同的所述离散化的边缘方向的所有像素点，计算所述所有像素点的所述边缘强度的累积和，获得所述图像区域的边缘方向直方图。

5.根据权利要求4所述的方法，其特征在于，所述步骤二中还包括，对检测出的具有人员头部图像的视频图像进行跟踪搜索，设定跟踪的帧数和搜索范围，从而对检测到的人员目标进行进一步的确认。

6.根据权利要求5所述的方法，其特征在于，所述步骤二进一步包括：

检测到所述岗位区域有人员目标时，进一步通过人脸识别确认所述人员目标是否为应该在岗的员工。

7.根据权利要求4所述的方法，其特征在于，所述离散化的边缘方向NED的计算过程包括：

步骤A，判断像素点的水平边缘EH是否为0，是则设定NED为0并结束流程，否则执行步骤B；

步骤B，初始化i＝0，计算的值，其中，EV表示像素点的垂直边缘，0≤i≤N-1，N表示对180度的范围进行等分的等分份数；

步骤C，判断的值是否小于或等于的值，是则将i的值作为像素点的NED值并结束流程；否则，执行步骤D；

步骤D，使i＝i+1，如果i<N-1，则返回步骤C，否则将i的值作为像素点的NED值并结束流程。

8.根据权利要求1所述的方法，其特征在于，所述人头检测器模型包括：

以基于特征的方式训练的全视角人头分类器，用于滤除所有候选位置的非人头样本；

多个对应不同人头姿态的姿态分类器，用于滤除通过全视角人头分类器的非人头样本。

9.根据权利要求8所述的方法，其特征在于，所述多个对应不同人头姿态的姿态分类器包括：人头正面姿态分类器、人头背面姿态分类器，人头左侧面姿态分类器和人头右侧面姿态分类器。

10.一种岗位监测的系统，其特征在于，包括：

图像采集设备模块，用于采集预定区域的视频图像；

目标提取模块，用于获取所述视频图像中的人员目标；

限定区域判定模块，用于判断岗位区域是否有所述人员目标，获得判断结果；

报警模块，用于根据所述判断结果进行提示；

其中，所述目标提取模块还包括：人头检测器模型，用来检测图像中的所述人员头部区域；所述人头检测器模型采用多层结构，所述多层结构至少包括第一分类器和第二分类器，所述第一分类器由第一特征训练得到，所述第二分类器由第二特征训练得到；所述第一特征为亮度特征或者类哈尔小波特征，所述第二特征为边缘方向直方图。

11.根据权利要求10所述的系统，其特征在于，所述限定区域判定模块还包括：

定时器，用于：在所述岗位区域没有所述人员目标的条件下，计算所述岗位区域没有所述人员目标的持续时间。

12.根据权利要求10所述的系统，其特征在于，所述限定区域判定模块还包括人脸识别模块，用于：在所述岗位区域有所述人员目标的条件下，确定所述人员目标是否为应该在岗的员工。

13.根据权利要求10所述的系统，其特征在于，所述人头检测器模型具体包括：全视角人头分类器和多个对应不同人头姿态的人头分类器。

14.根据权利要求10至13中任意一项所述的系统，其特征在于，所述报警模块具体包括：

文字提示单元，用于进行监控屏幕的文字提示；

和/或声音报警单元，用于进行声音报警。