CN104408406B - 基于帧差法和减背景法的人员离岗检测方法 - Google Patents

Abstract

本发明涉及基于帧差法和减背景法的人员离岗检测方法，与现有技术相比解决了尚无适用于人员离岗检测方法的缺陷。本发明包括以下步骤：设置检测区域和背景图像；人物目标的判断；背景帧图像b(x,y)的更新；人员在岗状态检测。本发明通过帧差法与减背景法的结合，可以快速、准确的检测出人员是否离开，给出准确的人员离岗信息。

Description

基于帧差法和减背景法的人员离岗检测方法

技术领域

本发明涉及视频识别技术领域，具体来说是基于帧差法和减背景法的人员离岗检测方法。

背景技术

政务中心是集中办理行政许可事项和服务项目、集信息与咨询、管理与协调、投诉与监督于一体的综合性行政服务机构，在最短时间内办结事务是其基本要求。近年来，政务中心的办事窗口经常出现工作人员离岗、服务窗口无人值守的情况，不仅影响了办事效率，也影响了政务形象。在此同时，政务中心由于部门较多，利用人工记录人员到岗情况需要花费较多人力、物力和时间。目标检测与跟踪是计算机视觉研究的主要问题之一，它融合了图像处理、模式识别、自动控制、人工智能以及计算机等许多领域的先进技术，在军事视觉制导、视频监控、医疗诊断、智能交通等方面都有广泛应用。

现有技术中虽有部分技术从硬件和软件上都提出人员离岗的监测，但都存在较多问题，例如：使用电子触发设备（红外线）对窗口位置进行实时监测，若人员在岗则遮挡了红外线，表明此时为在岗状态。但这种方式需要每个窗口均安装一套硬件监测装置，而且人体长期处于电子设备干扰中，对人体存在一定的伤害。

再如，有的技术提出可以利用人脸识别技术来识别工作人员工作状态，这种技术利用摄像头记录视频，再对视频进行数据处理以实现识别功能。但这种技术并不适用于离岗情况的监测，离岗情况的监测只需要实现人体的模糊监测，而不需要具体识别出个体。而且人脸识别技术过于复杂，需要工作人员刻意地将面孔贴向摄像头才可以进行识别，这在政务中心的服务窗口中显然无法做到。

如何开发出一种适用于政务中心服务窗口的人体识别方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中尚无适用于人员离岗检测方法的缺陷，提供一种基于帧差法和减背景法的人员离岗检测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

基于帧差法和减背景法的人员离岗检测方法，包括以下步骤：

设置检测区域和背景图像，读取视频流图像，在图像上人工标记出检测区域，将检测区域的坐标存放到数据库中；提取一张原始图像作为背景帧图像b(x,y)；

人物目标的判断，利用减背景法计算出每一帧图像与背景帧图像的差值图像id(x,y,i)，将差值图像id(x,y,i)在每一帧图像中框出作为标记，判断差异图像id(x,y,i)是否出现在检测区域中；

背景帧图像b(x,y)的更新，利用帧差法计算出视频流中每一帧图像的运动目标F(x,y)，在一定时间周期T内判断运动目标F(x,y)是否出现在检测区域中，判断是否进行背景帧图像b(x,y)的更新；

人员在岗状态检测，针对每一帧图像，若检测区域内未出现运动目标F(x,y)且未出现差值图像id(x,y,i)，则表示当前帧人员未在岗；否则表示当前帧人员在岗。

所述的人物目标的判断包括以下步骤：

计算差值图像id(x,y,i)，其计算公式如下：

id(x,y,i)=f(x,y,i)-b(x,y)，

其中，b(x,y)为背景帧图像，f(x,y,i)为视频图像序列；

若差值图像id(x,y,i)达到阈值，对差值图像id(x,y,i)进行标记，判断差异图像id(x,y,i)是否出现在检测区域中。

所述的背景帧图像b(x,y)的更新包括以下步骤：

对视频图像序列f(x,y,i)进行3×3中值滤波预处理，去掉图像随机噪声，其中(x,y)为图像位置坐标，i为图像帧数；

从视频图像序列f(x,y,i)中选取连续的前一帧图像pk-1(x,y)和当前帧图像pk(x,y)；

计算当前帧与背景帧的当前差得FD(x,y)，其计算公式如下：

FD(x,y)=pk(x,y)-b(x,y)；

计算前一帧图像pk-1(x,y)与背景帧b(x,y)的帧差FG(x,y)，

其计算公式如下：

FG(x,y)=pk-1(x,y)-b(x,y)；

计算运动目标F(x,y)，其计算公式如下：

F(x,y)= FD（x,y）FG(x,y)；

对运动目标F(x,y)进行标记，在时间周期T内判断运动目标F(x,y)是否出现在检测区域中；

若在时间周期T内，运动目标F(x,y)未出现在检测区域中，将当前图像替换为背景帧图像b(x,y)；

若在时间周期T内，运动目标F(x,y)出现在检测区域中，不进行背景帧图像b(x,y)的更新操作。

有益效果

本发明的基于帧差法和减背景法的人员离岗检测方法，与现有技术相比通过帧差法与减背景法的结合，可以快速、准确的检测出人员是否离开，给出准确的人员离岗信息。本发明相对于单纯的帧差法，能够对静止不动的目标有较好的检测效果。对于单纯的减背景法，能够对人员的运动情况进行较好的检测，且通过运动目标的检测结果，能够更有效的找到更新背景的时机。将帧差法和减背景法的劣势互补，使得检测人员在岗情况更准确、更快捷。

附图说明

图1为本发明的方法流程图

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

本发明的根本原理是基于图像处理技术，即在政务中心的服务窗口处安装摄像头或直接利用原有的广角摄像头，摄像头对着工作人员的位置，基于帧差法和减背景法综合判断出工作人员是否在位置区域内，从而判断出工作人员是否离岗，并将关键帧的时间位置进行存储。如图1所示，本发明所述的基于帧差法和减背景法的人员离岗检测方法，包括以下步骤：

第一步，设置检测区域和背景图像。读取摄像头中的视频流图像，在图像上人工标记出检测区域。在实际应用中，若使用大厅的广角摄像头，则需要在在图像上人工标记出检测区域，检测区域则为人体所在区域，并将检测区域的坐标存放到数据库中，用于后期的图像读取和判断。若采用专用摄像头采集数据时，可以保证检测区域为摄像范围的情况下，则不需要进行人工标记检测区域的操作。为了方便减背景法的处理，在视频流图像中提取一张原始图像作为背景帧图像b(x,y)，原始图像为没有人员的干净图像，即背景图像。

第二步，人物目标的判断，利用减背景法计算出每一帧图像与背景帧图像的差值图像id(x,y,i)，将差值图像id(x,y,i)在每一帧图像中框出作为标记，判断差异图像id(x,y,i)是否出现在检测区域中。在此所判断的是静止情况下的人员情况，由于背景帧图像为没有人员的干净图像，若当前帧图像与背景帧图像相减得到的差值图像在检测区域中，则说明人员在岗；若计算得不到差值图像则说明当前人员已离岗；若差值图像不在检测区域中，则说明当前人员已离岗或属于运动状态中，则需要根据运动目标F(x,y)判断状态。其具体步骤如下：

（1）计算差值图像id(x,y,i)，其计算公式如下：

id(x,y,i)=f(x,y,i)-b(x,y)，

其中，b(x,y)为背景帧图像，f(x,y,i)为视频图像序列。背景帧图像b(x,y)是静止不变的，即图像背景不随图像帧数而变。

（2）如果当前图像的像素点和背景图像的像素点灰度值差别较小，在阈值范围内，可以认为此像素点为背景像素点，并非人物变化。如果当前图像的像素点和背景图像的像素点灰度值差别很大，达到阈值（阈值大小根据实际情况而定），就认为此像素点有人员存在，对差值图像id(x,y,i)进行标记，判断差异图像id(x,y,i)是否出现在检测区域中。若差值图像id(x,y,i)达到阈值，对差值图像id(x,y,i)进行标记，判断差异图像id(x,y,i)是否出现在检测区域中。差异图像id(x,y,i)在检测区域中的判断，按现有技术内容处理，对差值图像id(x,y,i)框出矩形中心，判断矩形中心是否在检测区域中即可。

第三步，背景帧图像b(x,y)的更新，利用帧差法计算出视频流中每一帧图像的运动目标F(x,y)，运动目标F(x,y)可以用于计算运动状态下的人员离岗情况，以配合差值图像id(x,y,i)综合检测出人员离岗。由于时差和环境是不断变化的，仅仅通过减背景法在不同的环境或时差下则无法完成人物的检测判断，因此在进行人员离岗检测的同时，需要实时的进行背景帧图像的更新。在一定时间周期T内判断运动目标F(x,y)是否出现在检测区域中，若未出现在检测区域中，则说明当前背景帧图像为干净图像，进行背景帧图像b(x,y)的更新，从而形成以减背景法为基础、帧差法为辅助的判断方式。其具体步骤如下：

（1）对视频图像序列f(x,y,i)进行3×3中值滤波预处理，其中 (x,y)为图像位置坐标，i为图像帧数。去掉图像随机噪声。减少以后运算的复杂度，克服噪声对图像处理结果的干扰。

（2）从视频图像序列f(x,y,i)中选取连续的前一帧图像pk-1(x,y)和当前帧图像pk(x,y)。

（3）计算当前帧与背景帧的当前差得FD(x,y)，从图像中提取出当前人物目标，其计算公式如下：

FD(x,y)=pk(x,y)-b(x,y)。

（4）计算前一帧图像pk-1(x,y)与背景帧b(x,y)的帧差FG(x,y)，从图像中提取出前一帧人物目标，其计算公式如下：

FG(x,y)=pk-1(x,y)-b(x,y)。

（5）计算运动目标F(x,y)，即得到人物目标的变化量，其计算公式如下：

F(x,y)= FD（x,y） FG(x,y)。

运动目标F(x,y)得到的是运动目标粗糙的运动区域幽像，可以利用形态学运算使得运动区域封闭、连续、完整，并去掉背景中的噪声。

（6）对运动目标F(x,y)进行标记，在时间周期T内判断运动目标F(x,y)是否出现在检测区域中。运动目标F(x,y)表示当前人员正处于运动状态，即准备离岗或准备入岗，其均可以理解为人员属于在岗状态。同样的，运动目标F(x,y)在检测区域中的判断，按现有技术内容处理，对运动目标F(x,y)框出矩形中心，判断矩形中心是否在检测区域中即可。

运动目标F(x,y)的另一个作用是，用于判断能否进行背景帧图像的更新。在时间周期T内，运动目标F(x,y)未出现在检测区域中，说明当前时间段工作人员属于长期离岗状态，则适合进行背景帧图像的更新，利用摄像头取得当前图像，将当前图像替换为背景帧图像b(x,y)。时间周期T的设定根据窗口实际工作时间进行设定，例如设为中午休息时间、交接岗时间等，也可以将时间周期T设置得比较短，以达到实时更新的作用。若在时间周期T内，运动目标F(x,y)出现在检测区域中，则说明当前工作人员只是暂时离岗，并非需要进行更新背景帧图像，则不进行背景帧图像b(x,y)的更新操作。

第四步，人员在岗状态检测，基于运动目标F(x,y)和差值图像id(x,y,i)综合判断人员是否离岗。针对每一帧图像，若检测区域内没有出现运动目标F(x,y)且未出现差值图像id(x,y,i)，则表示当前帧人员未在岗，即处于离岗状态；否则表示当前帧人员在岗。检测区域内未出现运动目标F(x,y)表示当前窗口岗位没有人员准备离去或准备进入工作区域的状态；检测区域内未出现差值图像id(x,y,i)表示当前窗口岗位没有工作人员，在同时满足以上两个条件时，即可认定为当时人员处于离岗状态，进行数据库的记录和相关通知工作。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1.基于帧差法和减背景法的人员离岗检测方法，其特征在于，包括以下步骤：

11)设置检测区域和背景图像，读取视频流图像，在图像上人工标记出检测区域，将检测区域的坐标存放到数据库中；提取一张原始图像作为背景帧图像b(x,y)；

12)人物目标的判断，利用减背景法计算出每一帧图像与背景帧图像的差值图像id(x,y,i)，将差值图像id(x,y,i)在每一帧图像中框出作为标记，判断差异图像id(x,y,i)是否出现在检测区域中；

13)背景帧图像b(x,y)的更新，利用帧差法计算出视频流中每一帧图像的运动目标F(x,y)，在一定时间周期T内判断运动目标F(x,y)是否出现在检测区域中，判断是否进行背景帧图像b(x,y)的更新；

所述的背景帧图像b(x,y)的更新包括以下步骤：

131)对视频图像序列f(x,y,i)进行3×3中值滤波预处理，去掉图像随机噪声，其中(x,y)为图像位置坐标，i为图像帧数；

132)从视频图像序列f(x,y,i)中选取连续的前一帧图像pk-1(x,y)和当前帧图像pk(x,y)；

133)计算当前帧与背景帧的当前差得FD(x,y)，其计算公式如下：

FD(x,y)＝pk(x,y)-b(x,y)；

134)计算前一帧图像pk-1(x,y)与背景帧b(x,y)的帧差FG(x,y)，

其计算公式如下：

FG(x,y)＝pk-1(x,y)-b(x,y)；

135)计算运动目标F(x,y)，其计算公式如下：

F(x,y)＝FD(x,y)∩FG(x,y)；

136)对运动目标F(x,y)进行标记，在时间周期T内判断运动目标F(x,y)是否出现在检测区域中；

若在时间周期T内，运动目标F(x,y)未出现在检测区域中，将当前图像替换为背景帧图像b(x,y)；

若在时间周期T内，运动目标F(x,y)出现在检测区域中，不进行背景帧图像b(x,y)的更新操作；

14)人员在岗状态检测，针对每一帧图像，若检测区域内未出现运动目标F(x,y)且未出现差值图像id(x,y,i)，则表示当前帧人员未在岗；否则表示当前帧人员在岗。

2.根据权利要求1所述的基于帧差法和减背景法的人员离岗检测方法，其特征在于：所述的人物目标的判断包括以下步骤：

21)计算差值图像id(x,y,i)，其计算公式如下：

id(x,y,i)＝f(x,y,i)-b(x,y)，

其中，b(x,y)为背景帧图像，f(x,y,i)为视频图像序列；

22)若差值图像id(x,y,i)达到阈值，对差值图像id(x,y,i)进行标记，判断差异图像id(x,y,i)是否出现在检测区域中。