CN106570467A - 一种基于卷积神经网络的人员离岗检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的人员离岗检测方法，据监控图像中提取的不同特征，利用图像分类算法对图像进行分类，并通过卷积神经网络训练模型，以检测人员是否离岗。帮助公司监控人员高效地处理监控资料，判断职员的在职情况；能够准确地检测到工作环境下人员的离岗、在岗情况，能够帮助公司监控人员高效地处理监控资料，改进传统的卷积神经网络结构，使其能够应用于公司、企业等室内工作场景，进行人员离岗、在岗的检测，从而使其在我们这个问题上得到了良好的应用。

Description

一种基于卷积神经网络的人员离岗检测方法

技术领域

本发明提出一种基于卷积神经网络的人员离岗检测方法，是一种用于人员检测的卷积神经网络的新型应用技术。

背景技术

近年来，随着监控电子设备在各个领域的不断普及，大量的监控视频和图像亟待被有效地处理。与此同时，社会上公司(如银行、证券交易所等)及营业厅由于业务需求，需要保证职员的到岗率，为了方便监测职员是否按时到岗、是否随意离岗，需要借助监控实时了解，以便对职员有准确的出勤考核。传统的监测方法是采用人工进行监测，但人工监测视频的方法效率低、准确度难以保证，所以迫切需要一种能够智能判别监控中人员是否离岗，并且能正确报警或提醒的技术。

在计算机视觉领域，有大量的方法可以用于人员离岗检测，如位置检测、目标检测和跟踪。但是，在许多情况下，背景建模、前景目标检测和跟踪的实时性和精度难以达到要求。

同时，基于大规模数据集的预训练模型是非常重要的，然而目前并没有专门的营业厅工作环境的数据库，由于神经网络中有数以百万计的参数，使用几千张图片来训练模型，将导致严重的过拟合，不能够获得丰富的低级别的特征。

根据图像中提取的不同特征，利用图像分类算法可以区分不同类别的图像。图像分类给出了一些预定义的标签，以及训练集来预测任何未知的图像的标签。图像分类的方法有多种，一般来说，这些方法首先提取图像的特征，然后通过编码特征对分类器进行训练。传统的特征提取方法，如SIFT和HOG，均是依赖于人类的经验，所以有时不能得到满意的结果。提取出的特征最后被送到预先训练好的分类器中，如随机森林或支持向量机。分类的效果很大程度上依赖于特征提取。特征提取不准确，误差就较大，检测不准确。

发明内容

本发明的目的在于，针对现有技术实时性和精度难以达到要求，本发明公开一种一种基于卷积神经网络的人员离岗检测方法，准确率高，具有非常强的可行性和实用性。

本发明技术方案为：

一种基于卷积神经网络的人员离岗检测方法，包括以下步骤：

S01，建立营业厅图像数据库：营业厅图像数据库为在不同的工作背景、监控拍摄角度、光照和图片尺度条件下获取的营业厅图像，得到的图像都为与原始视频相同尺寸的视频帧。

S02，标注训练样本：将数据库中的图像进行工位位置画框标注，标注的标签有两类：人员在岗和人员离岗，所述人员离岗为正样本，人员在岗为负样本。正样本为待检测类，负样本为不包含待检测事件的其他类。

S03，归一化训练样本：将步骤一中基于监控视频获取到的营业厅数据库中的图像归一化到256×256大小，在训练时随机截取224×224大小的图像作为训练样本，所述训练样本作为卷积神经网络模型的输入谱；

S04，训练卷积神经网络模型：对在ImageNet数据库上预训练得到的模型进行微调；

卷积神经网络包括数据层、卷积层、激活函数层、池化层、全连接层、丢弃参数层和损失层；

数据层用于接收输入谱；

卷积层，输入谱被可学习的卷积核进行卷积，通过激活函数，得到特征谱，每一个特征谱是组合卷积多个输入谱的值，第l层的第j个特征谱的计算公式(1)：

M_j为选择的输入谱的集合，表示第l层第j个特征谱，表示卷积核，为第l层第j个特征谱的加性偏置；

激活函数层中，f(x)为激活函数；

f(x)＝max(x,0)；

卷积层(Convolution Layer)进行前向计算，得到的结果传入激活函数层进行激活，以增加网络的非线性因素以提高网络的表达能力，再传入池化层减少参数量防止训练中过拟合以及提高网络鲁棒性。以此方式，不断进行前向传播。

池化层，有N个输入谱，就有N个特征谱，计算公式为式(2)：

down(x)为下采样函数，为第l层的第j个特征谱的乘性偏置；

全连接层进行数据连接，特征谱的维度和输入数据的维度一致，用于得到图像的全局特征；

丢弃参数层设定学习率和丢失率，根据丢失率每次迭代时随机丢弃参数；

损失层，第l层第j个特征谱的残差计算公式为式(3)：

其中第l层为卷积层，第l+1层为池化层，池化层与卷积层一一对应的；up(x)表示上采样函数，表示经过激活函数的特征谱，为第l层第j个特征谱的残差，表示求导后的元素与的对应元素相乘；

梯度计算：对于第n个训练样本的误差Eⁿ表示为式(4)：

tⁿ为第n个训练样本的标注标签，yⁿ为第n个训练样本的输出值，c为类别数，c＝2，包括离岗和在岗两类；所有样本的误差为单个误差项求和；式(4)中，式子中右下标2为范数，右上标为幂指数；

损失函数对加性偏置求导为式(5)：

(u.v)为特征谱的位置坐标，为第l层第j个特征谱的残差；

损失函数对权重求导为式(6)：

为与逐元素相乘时的块；

损失函数的目的是估计卷积神经网络的预测值与真实值的不一致程度，即表征了模型分类检测能力的好坏，损失函数值越小，表示预测值和真实值越接近，模型的鲁棒性就越好。不断调整网络中参数的大小使得损失函数的值逐渐降低并保持稳定，得到最终的卷积神经网络模型。

通过公式(7)反向传播权重更新：

W^l为第l层权重，即所述ΔW^l为权重的更新部分，η为学习率；

S05，进行结果的预测；

结果预测公式为式(7)：

σ(zj)为输出概率归一化后的类概率，c为类别数，e为自然对数的底数；

S06，将两个分类的概率与0.5作比较，若该类的后验概率值大于等于0.5，则输出结果为1，提出预警表示离岗；否则，输出结果为0，表示在岗。

丢弃参数层设定的丢失率为0.5，学习率为0.000001，每次迭代时随机丢弃50％的参数。

步骤S04对在ImageNet数据库上预训练得到的模型进行微调具体为：

基于VGGNet-E网络，将人员离岗检测看作二分类问题，设定卷积神经网络结构的第8层参数f_c8的输出改成2维；故设定卷积神经网络结构的第8层参数f_c8＝2。

本发明有益效果：

本发明所提出的基于卷积神经网络的人员离岗检测方法能够准确地检测到工作环境下人员的离岗、在岗情况，能够帮助公司监控人员高效地处理监控资料，判断职员的在职情况，对于目前智能安防的技术空缺有一定程度的填补。创建了新的数据库，并且将人员出勤情况考核问题转换为对视频中的人员进行检测的问题，进而建立起标注用于训练，机器通过学习后自动进行测试判断的单标签分类技术。同时改进传统的卷积神经网络结构，使其能够应用于公司、企业等室内工作场景，进行人员离岗、在岗的检测，从而使其在我们这个问题上得到了良好的应用。

建立了一个和营业厅相关的图像数据库，该数据库中所有图像在工作背景、监控拍摄角度、光照、图片尺度等方面都有差异性。

本发明预先在大型数据库ImageNet上训练得到一个预训练的网络模型，之后再用我们自己构建的数据库微调该卷积神经网络模型的参数，从而得到针对人员离岗检测问题的深度卷积网络，该方法解决了因网络参数过多而训练样本太少所产生的过拟合问题。

卷积层(Convolution Layer)进行前向计算，得到的结果传入激活函数层进行激活，以增加网络的非线性因素以提高网络的表达能力，再传入池化层减少参数量防止训练中过拟合以及提高网络鲁棒性。以此方式，不断进行前向传播。

本发明解决的是营业厅人员离岗检测问题，对每一幅待检测图像，我们准确输出该待检测图像中是否存在人员离岗现象。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1：本发明在ImageNet上预训练网络结构图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于卷积神经网络的人员离岗检测方法，包括以下步骤：

S01，建立营业厅图像数据库：营业厅图像数据库为在不同的工作背景、监控拍摄角度、光照和图片尺度条件下获取的营业厅图像，得到的图像都为与原始视频相同尺寸的视频帧。

S02，标注训练样本：将数据库中的图像进行工位位置画框标注，标注的标签有两类：人员在岗和人员离岗，所述人员离岗为正样本，人员在岗为负样本。正样本为待检测类，负样本为不包含待检测事件的其他类。

S03，归一化训练样本：将步骤一中基于监控视频获取到的营业厅数据库中的图像归一化到256×256大小，在训练时随机截取224×224大小的图像作为训练样本，所述训练样本作为卷积神经网络模型的输入谱；

S04，训练卷积神经网络模型：如图1所示，对在ImageNet数据库上预训练得到的模型进行微调；在该过程中，由于我们只有2类图像，只需要输出2个结果，故设定卷积神经网络结构的第8层参数f_c8＝2，设定学习率为0.000001并按照0.5的丢失率随机地丢弃50％的参数。

卷积神经网络包括数据层、卷积层、激活函数层、池化层、全连接层、丢弃参数层和损失层；

数据层用于接收输入谱；

卷积层，输入谱被可学习的卷积核进行卷积，通过激活函数，得到特征谱，每一个特征谱是组合卷积多个输入谱的值，第l层的第j个特征谱的计算公式(1)：

M_j为选择的输入谱的集合，表示第l层第j个特征谱，表示卷积核，为第l层第j个特征谱的加性偏置；

激活函数层中，f(x)为激活函数；

f(x)＝max(x,0)

池化层，有N个输入谱，就有N个特征谱，计算公式为式(2)：

down(x)为下采样函数，为第l层的第j个特征谱的乘性偏置；

全连接层进行数据连接，特征谱的维度和输入数据的维度一致，用于得到图像的全局特征；

丢弃参数层设定学习率和丢失率，根据丢失率每次迭代时随机丢弃参数；

损失层，第l层第j个特征谱的残差计算公式为式(3)：

其中第l层为卷积层，第l+1层为池化层，池化层与卷积层一一对应的；up(x)表示上采样函数，表示经过激活函数的特征谱，为第l层第j个特征谱的残差，表示求导后的元素与的对应元素相乘；

梯度计算：对于第n个训练样本的误差Eⁿ表示为式(4)：

tⁿ为第n个训练样本的标注标签，yⁿ为第n个训练样本的输出值，c为类别数，c＝2，包括离岗和在岗两类；所有样本的误差为单个误差项求和；

损失函数对加性偏置求导为式(5)：

(u.v)为特征谱的位置坐标，为第l层第j个特征谱的残差；

损失函数对权重求导为式(6)：

为与逐元素相乘时的块；

通过公式(7)反向传播权重更新：

W^l为第l层权重，即所述ΔW^l为权重的更新部分，η为学习率；

S05，进行结果的预测；

结果预测公式为式(7)：

σ(zj)为输出概率归一化后的类概率，c为类别数，e为自然对数的底数；得到了测试图像的在岗、离岗的概率分布；

S06，将两个分类的概率与0.5作比较，若该类的后验概率值大于等于0.5，则输出结果为1，提出预警表示离岗；否则，输出结果为0，表示在岗。

丢弃参数层设定的丢失率为0.5，每次迭代时随机丢弃50％的参数。

步骤S04对在ImageNet数据库上预训练得到的模型进行微调具体为：

基于VGGNet-E网络，将人员离岗检测看作二分类问题，设定卷积神经网络结构的第8层参数f_c8的输出改成2维；故设定卷积神经网络结构的第8层参数f_c8＝2。

本实施例建立了一个包含两类图像的数据库，正样本是不含工作人员的图像，负样本是人员在岗的图像，这些图像的样本都取自营业厅的监控视频。当人员离岗时，视频画面始终静止，直接将这些视频帧作为样本会使样本数量过少，大规模的参数和小规模的训练样本会导致参数过拟合问题。因此，从监控视频中获取的样本归一化到256×256大小，然后在训练时随机截取224×224大小的图像作为训练样本，使卷积神经网络对于微小抖动具有鲁棒性。我们的数据库包含2367张图像，其中1556张用于训练，811张用于测试。进行了大量的测试，当人员离岗时，达到96.26％的准确率；当人员在岗时，达到95.71％的准确率。该技术取得95.93％的平均分类准确率，说明了我们的技术具有非常强的可行性和实用性。

本领域内的技术人员可以对本发明进行改动或变型的设计但不脱离本发明的思想和范围。因此，如果本发明的这些修改和变型属于本发明权利要求及其等同的技术范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种基于卷积神经网络的人员离岗检测方法，其特征在于，包括以下步骤：

S01，建立营业厅图像数据库：营业厅图像数据库为在不同的工作背景、监控拍摄角度、光照和图片尺度条件下获取的营业厅图像；

S02，标注训练样本：将数据库中的图像进行工位位置画框标注，标注的标签有两类：人员在岗和人员离岗，所述人员离岗为正样本，人员在岗为负样本；

S03，归一化训练样本：将步骤一中基于监控视频获取到的营业厅数据库中的图像归一化到256×256大小，在训练时随机截取224×224大小的图像作为训练样本，所述训练样本作为卷积神经网络模型的输入谱；

S04，训练卷积神经网络模型：对在ImageNet数据库上预训练得到的模型进行微调；

卷积神经网络包括数据层、卷积层、激活函数层、池化层、全连接层、丢弃参数层和损失层；

数据层用于接收输入谱；

卷积层，输入谱被可学习的卷积核进行卷积，通过激活函数，得到特征谱，每一个特征谱是组合卷积多个输入谱的值，第l层的第j个特征谱的计算公式(1)：

$x_j^l=f(\underset{i\∈M}{\mathrm{\Σ}}{x}_i^{l-1}*k_{ij}^l+b_j^l)---\left(1\right)$

M_j为选择的输入谱的集合，表示第l层第j个特征谱，表示卷积核，为第l层第j个特征谱的加性偏置；

激活函数层，f(x)为激活函数；

f(x)＝max(x,0)

池化层，有N个输入谱，就有N个特征谱，计算公式为式(2)：

$x_j^l=f\left({\mathrm{\β}}_j^{l}down\right(x_j^{l-1})+b_j^l)---\left(2\right)$

down(x)为下采样函数，为第l层的第j个特征谱的乘性偏置；为第l层第j个特征谱的加性偏置；

全连接层进行数据连接，特征谱的维度和输入数据的维度一致，用于得到图像的全局特征；

丢弃参数层设定学习率和丢失率，根据丢失率每次迭代时随机丢弃参数；

损失层，第l层第j个特征谱的残差计算公式为式(3)：

其中第l层为卷积层，第l+1层为池化层，池化层元素与卷积层元素一一对应；up(x)表示上采样函数，表示经过激活函数的特征谱，为第l层第j个特征谱的残差，表示求导后的元素与的对应元素相乘；

梯度计算：对于第n个训练样本的误差Eⁿ表示为式(4)：

$E^n=\frac{1}{2}\underset{k=1}{\overset{c}{\Σ}}{(t_k^n-y_k^n)}^2=\frac{1}{2}\left|\right|t^n-y^n|{|}_2^2---\left(4\right)$

tⁿ为第n个训练样本的标注标签，yⁿ为第n个训练样本的输出值，c为类别数，c＝2，包括离岗和在岗两类；所有样本的误差为单个误差项求和；

损失函数对加性偏置求导为式(5)：

$\frac{\∂E}{\∂b_j}=\underset{u,v}{\Σ}{\left({\mathrm{\δ}}_j^l\right)}_{uv}$

(u.v)为特征谱的位置坐标，为第l层第j个特征谱的残差；

损失函数对权重求导为式(6)：

$\frac{\∂E}{\∂k_{ij}^l}=\underset{u,v}{\Σ}{\left({\mathrm{\δ}}_j^l\right)}_{uv}{\left(p_i^{l-1}\right)}_{uv}---\left(6\right)$

为与逐元素相乘时的块；

通过公式(7)反向传播权重更新：

$\frac{\∂E}{\∂W^l}=x^{l-1}{\left({\mathrm{\δ}}^l\right)}^T$

${\mathrm{\ΔW}}^l=-\mathrm{\η}\frac{\∂E}{\∂W^l}$

W^l为第l层权重，即所述ΔW^l为权重的更新部分，η为学习率；

S05，进行结果的预测；

结果预测公式为式(7)：

$\mathrm{\σ}\left(zj\right)=\frac{e^{zj}}{{\mathrm{\Σ}}_{k=1}^c{e}^{zk}}$

σ(zj)为输出概率归一化后的类概率，c为类别数，e为自然对数的底数；

S06，将两个分类的概率与0.5作比较，若该类的后验概率值大于等于0.5，则输出结果为1，提出预警表示离岗；否则，输出结果为0，表示在岗。

2.根据权利要求1所述的一种基于卷积神经网络的人员离岗检测方法，其特征在于，

丢弃参数层设定的丢失率为0.5，学习率为0.000001，每次迭代时随机丢弃50％的参数。

3.根据权利要求1所述的一种基于卷积神经网络的人员离岗检测方法，其特征在于，

步骤S04对在ImageNet数据库上预训练得到的模型进行微调具体为：

将人员离岗检测看作二分类问题，设定卷积神经网络结构的第8层参数f_c8的输出改成2维；故设定卷积神经网络结构的第8层参数f_c8＝2。