CN112861631A - 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于Mask Rcnn以及SSD卷积神经网络的地磅人体入侵检测方法，通过摄像头采集地磅区域历史视频；在地磅称重状态为空闲状态时采用Mask Rcnn卷积神经网络识别实时地磅区域视频的地磅区域，并进行保存；采用SSD卷积神经网络训练的行人车辆模型识别实时称重视频的人和车辆的位置信息，当人的位置信息与地磅区域出现交集时，说明地磅区域有人体入侵，记录下此时的称重状态、周围环境人数、地磅区域人数；记录人体入侵时间；当人体入侵时间超出设定阈值，自动报警，并记录称重异常信息。本发明可对现场车辆称重过程进行实时监控，对人体入侵行为报警，能够有效地识别货车称重时产生的作弊现象。

Description

一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法

技术领域

本发明属于实时图像处理技术，特别是一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法。

背景技术

电子汽车衡作为一种准确、方便、快捷的称重计量设备已经被越来越多地应用到物流、钢铁、煤炭、电力、建材等各个行业。然而伴随着利益的追逐，也出现了利用电子汽车衡在称重过程中实施计量作弊的现象，给企业和客户带来了重大的经济损失，也给当今社会诚信带来了挑战，怎样发现和杜绝这些作弊现象是一个急需解决的问题。

在称重计量过程中，存在着如下作弊行为：在货车称重过程有人非法闯入汽车衡或者货车司机故意长时间停留在汽车衡，导致称重软件记录的装卸量比实际装卸量小，从而达到减少货物净重的目的。

针对此类作弊行为，目前解决方法大多依靠红外辐射成像检测或者传统图像识别检测技术。红外图像检测采用高斯模型进行图像分割，然后提取方向梯度直方图(HOG)特征，使用SVM或者Adaboost进行分类识别，在光照不足，对比度较低的情况下，红外辐射成像具有良好的检测效果，但红外线检测设计和维护成本都较高。而传统的图像检测技术的问题在于现场图像背景较为复杂，周围环境会对人体入侵检测造成干扰，对于不同角度的地磅区域和不同尺寸的人和车辆识别成功率较低，图像处理时间较慢，无法达到实时检测的要求。

发明内容

本发明的目的在于提供一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法及系统，用于在地磅称重过程中实时图像处理，获取称重状态、周围环境人数和地磅区域人数，以进行人体入侵检测。

实现本发明目的的技术解决方案为：

一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法，包括以下步骤：

步骤1、利用Opencv计算机视觉库将摄像头采集地磅区域历史视频进行分帧，并将分帧后的图像统一尺寸，获得初始图像集。

步骤2、在地磅称重状态为空闲状态时，采用Mask Rcnn卷积神经网络训练的地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存。

步骤3、采用SSD卷积神经网络训练的行人车辆模型对摄像头拍摄的实时称重视频识别，识别出人的位置信息和车辆的位置信息，当人的位置信息与地磅区域出现交集时，说明地磅区域有人体入侵，记录下此时的称重状态、周围环境人数、地磅区域人数。

步骤4、当称重状态为地磅称重且地磅区域人数大于0时，开启定时器，记录人体入侵时间。

步骤5、当人体入侵时间超出设定阈值，自动报警，并记录称重异常信息。

所述地磅区域识别模型，通过制作地磅区域数据集，搭建Mask Rcnn卷积神经网络并设置模型初始超参数，迭代次数进行训练得到，并利用地磅区域识别模型对地磅区域轮廓进行识别。

所述行人车辆模型，通过制作人和车辆数据集，搭建SSD卷积神经网络并构建SSD卷积神经网络损失函数和选择匹配策略，将真实框与候选框进行匹配得到，并利用行人车辆模型对人和车辆进行识别分类。

所述人和车辆位置信息，用以得到称重状态、周围环境人数、地磅区域人数信息。

称重状态分为空闲状态、车辆入厂、车辆称重、车辆出厂。在检测结果没有车辆信息时，称重状态为空闲状态；在上一个状态为空闲状态且检测到车辆位置与地磅区域没有相交时，车辆只是进厂但是并没有上磅称重，称重状态为车辆入厂；在上一个状态为车辆入厂且检测到车辆位置与地磅区域相交时，称重状态为车辆称重；在上一个状态为车辆称重且检测到车辆位置与地磅区域没有相交时，称重状态为车辆出厂。这四个状态组成了车辆称重过程中的状态机。周围环境人数由行人车辆模型检测结果为人的数量得到，地磅区域人数由坐标与地磅区域相交的人的数量得到。

所述时间阈值用以设定人在地磅上的停留时间，超出设定的时间阈值，自动报警。

本发明与现有技术相比，其显著优点为：

(1)利用Mask Rcnn卷积神经网络训练的地磅区域识别模型对现场地磅区域进行检测，相比于传统图像不会受到复杂背景的干扰，并且能够对不同角度不同环境的地磅区域轮廓进行精准识别。

(2)利用SSD卷积神经网络训练的行人车辆模型对人和车辆进行识别，图像处理时间为毫秒级，相比于传统图像处理更符合实时性的要求。

(3)根据地磅区域识别模型和行人车辆模型识别结果分析称重状态信息、周围环境人数、地磅区域人数，能够协助计量人员更地分析称重过程数据，及时发现称重过程中人体入侵的作弊行为。

(4)相比于红外线检测，设计成本和维护成本较低。

附图说明

图1为本发明基于Mask Rcnn以及SSD的地磅人体入侵检测方法流程图。

图2为使用地磅区域识别模型识别地磅区域图。

图3为使用行人车辆模型识别人和车辆位置图。

图4为地磅称重状态流程图。

具体实施方式

为了说明本发明的技术方案及技术目的，下面结合附图及具体实施对本发明做进一步的介绍。

结合图1，本发明所述的一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法，包括以下步骤：

步骤1、利用Opencv计算机视觉库将摄像头采集地磅区域历史视频进行分帧，并将分帧后的图像统一尺寸，获得初始图像集，所述图像包含人的位置信息、车辆的位置信息或地磅轮廓信息中的至少一种。

步骤2、在地磅称重状态为空闲状态时，采用Mask Rcnn卷积神经网络训练的地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存。

进一步地，本发明需要对地磅区域图片的数据集进行训练得到地磅区域识别模型，具体步骤如下：

步骤2.1、从初始图像集中筛选出包含地磅轮廓信息的图片，通过Labelme手动标注地磅区域，并沿着地磅轮廓区域手工标注，标签类别为weightbridge，生成xml文件，并采用图像平移、旋转、镜像、裁剪、模糊处理方式对初始图像集进行扩增，获得第一次扩增图像集，将第一次扩增图像集与xml文件制作成VOC2007格式的标注地磅区域数据集，并按照3:1的比例将标注地磅区域数据集分为地磅区域训练集和地磅区域测试集。

步骤2.2、搭建Mask Rcnn卷积神经网络，使用特征金字塔网络获得多尺度的特征映射作为区域生成网络的输入，生成锚框，进行分类、矩形框定位，最后获得目标实例的二值掩码mask，其中主干网络选用Resnet-101网络结构。

步骤2.3、设置Mask Rcnn卷积神经网络初始超参数；设置迭代次数为5000～10000次，参数更新方式为小批量梯度下降法(MBGD)，一次训练所选取的样本数(batch size)为16；每次迭代，地磅区域识别模型对地磅区域训练集中的样本进行一次计算，通过损失函数的loss值向前反馈和计算超参数差值，对地磅区域识别模型的超参数进行更新；

Mask Rcnn网络的损失函数L：

Mask Rcnn网络的损失函数就是分类、回归、掩码损失之和，其中

表示MaskRcnn网络的分类损失，L_box表示Mask Rcnn网络的回归损失，L_mask表示Mask Rcnn网络的回归损失。

步骤2.4、将地磅区域训练集和测试集输入到构建好的Mask Rcnn卷积神经网络中进行训练和测试，并在训练过程中调整学习率，获得地磅区域识别模型。

步骤2.5、分别在迭代次数达到6000次、8000次、10000次时保存地磅区域识别模型，根据准确率、损失等指标，得到各如表1所示训练结果。

表1 Mask Rcnn神经网络训练结果

表1说明，在训练次数为8000次时，准确率较高，因此使用训练次数为8000次时保存的模型进行地磅区域轮廓提取。

步骤2.6、使用训练好的地磅区域识别模型进行现场视频地磅区域的检测，主要分为四个步骤。

2.6.1、生成特征图Feature Map：

处理后的图片输入到地磅区域识别模型的主干网络Resnet-101中，产生不同尺寸的Feature Map。

2.6.2、在候选区域生成RPN网络，它是一个全卷积神经网络，在所有不同尺寸的Feature Map上生成地磅候选区域Roi，并生成候选区域的置信度，对置信度进行非极大值抑制NMS操作，得出最终的地磅候选区域。

2.6.3、RoiAlign采用双线性插值的方法消除在池化操作时产生的误差，任何一个地磅候选区域经过Roi池化层映射到Feature Map相应位置上，将Roi区域进行RoiAlign操作得到固定尺寸的特征图，然后对每个输入的特征图通过全连接层提取一个固定维度的特征向量。

2.6.4、首先将Feaure Map输入到Softmax分类层，判断目标是否是地磅区域，然后输入到边界回归层，实现Roi坐标的预测功能，最后输入到Mask生成层，对每一个Roi特征图进行FCN全卷积神经网络操作，得到分割后的地磅轮廓区域，如图2所示。

步骤3、采用SSD卷积神经网络训练的行人车辆模型对摄像头拍摄的实时称重视频识别，识别出人的位置信息和车辆的位置信息，当人的位置信息与地磅区域出现交集时，说明地磅区域有人体入侵，记录下此时的称重状态、周围环境人数、地磅区域人数，具体如下：

步骤3.1、从初始图像集中筛选出包含人的位置信息的图片以及车辆的位置信息的图片，通过Label Image手动标注货车以及行人，标签类别为trunk、person，生成xml文件，并采用图像平移、旋转、镜像、裁剪、模糊处理方式对初始图像集进行扩增，获得第二次扩增图像集，将第二次扩增图像集的图片与xml文件制作成VOC2007格式的人车信息数据集，按照8:2的比例将人车信息数据集分为人车信息训练集和人车信息测试集。

步骤3.2、搭建SSD卷积神经网络，SSD采用了与Faster Rcnn中的锚点机制类似的候选框，检测在多个特征图上同时进行Softmax分类和位置分类，具体步骤如下：、

3.2.1构建损失函数L(x,c,l,g)：

SSD的损失函数分为置信损失和定位损失，其中N是匹配到真实值的候选框数量，其中l表示候选框，g表示真实框，x代表第i个候选框与类别p的第j个真实框的匹配系数，c表示置信度，α参数用于调整置信损失和定位损失之间的比例，SSD中的置信损失L_conf(x,c)是典型的柔性最大值损失，即：

其中

代表第i个候选框匹配到了第j个类别为p的真实框，

表示Pos表示正样本，Neg表示负样本，

表示第i个候选框为背景，定位损失即：

其中中间变量

分别如下：

其中(cx，cy，w，h)表示边框的左上角点x，y的坐标以及长宽，

表示候选框坐标以及长宽，

表示真实框的坐标以及长宽，

表示候选框与真实框之间的偏移量；

表示第j个真实框，

表示第i个候选框；

平滑L1损失函数为

3.2.2、选择匹配策略

首先，寻找与每一个真实框有最大的Jaccard overlap的候选框，这样就能保证每一个真实框与唯一的一个默认框对应起来。Jaccard overlap表示交并比J(A,B)，即

其中A表示真实框，B表示候选框。

SSD之后又将剩余还没有配对的候选框与任意一个真实框尝试配对，只要两者之间的Jaccard overlap大于阈值，就认为配对成功，其中阈值设置为0.5。

步骤3.3、将人车信息训练集和人车信息测试集输入到SSD卷积神经网络中进行训练和测试，并在训练过程中调整学习率，获得行人车辆模型；

步骤3.4、分别在迭代次数达到10000次、20000次、30000、40000次时保存行人车辆模型，根据准确率、精确率、召回率等指标，得到各如表2所示训练结果。

表2 SSD神经网络训练结果

表2说明，在训练次数为30000次时，准确率较高，因此使用训练次数为30000次时保存的模型进行地磅区域轮廓提取。

步骤3.5、使用行人车辆模型对摄像头拍摄的实时称重视频进行人和车辆检测，获得人的位置坐标以及车辆的位置坐标，如图3所示。

其中人的位置坐标及长宽可以表示为

车辆的位置坐标及长宽可以表示为

步骤3.6、根据人和车辆的位置坐标得出称重状态、周围环境人数、地磅区域人数等信息。

3.6.1、根据车辆的位置坐标得出称重状态：

车辆在上磅称重过程车顶有可能超过地磅区域，只通过车辆位置的外接矩形框的四个顶点的坐标无法判断车辆是否上磅，因此将车辆的长

和宽

分成五份，通过遍历车辆外接矩形内部6×6的坐标点，在坐标点与地磅区域任意位置相交时，说明车辆已经上磅称重。

结合图4、根据车辆位置坐标得到称重状态，我们可以使用状态机的设计模式，状态机模式就是在需要经历一系列状态转变的时候，把每个状态都独立成一个类，而每个状态类只关心它自己和它的下一个状态，包括以下步骤：

a)在检测结果没有车辆信息时，称重状态为空闲状态；

b)在上一个状态为空闲状态且检测到车辆位置与地磅区域没有相交时，车辆只是进厂但是并没有上磅称重，称重状态为车辆入厂；

c)在上一个状态为车辆入厂且检测到车辆位置与地磅区域相交时，称重状态为车辆称重；

d)在上一个状态为车辆称重且检测到车辆位置与地磅区域没有相交时，称重状态为车辆出厂。

e)在上一个状态为车辆离厂且检测结果没有车辆信息时，称重状态重新恢复至空闲状态。

3.6.2、根据人的位置坐标得出周围环境人数、地磅区域人数：

(a)对识别的类别进行判断，类别是人，则将计数加1，统计周围环境总人数。

(b)当地榜上存在人体入侵时，在图像上人的双脚与地磅区域接触，因此通过计算人的外接矩形框最底部的中心坐标即

在人的中心坐标点与地磅区域任意位置相交时，说明有人在地榜上，并将计数加1，统计地磅区域总人数。

步骤4、在称重状态为地磅称重且地磅区域人数大于0时，开启定时器，记录人体入侵时间；

步骤5、当人体入侵时间超出设定阈值，系统自动报警，并记录称重异常信息。

步骤5.1、在称重过程中，货车司机需要预留一定的时间下车离开地磅区域，因此设置时间阈值，若司机或其他行人在地磅区域的停留时间超出时间阈值，会影响最终的称重结果，此时自动报警。

步骤5.2、记录异常时间、地磅点、异常原因、人的坐标、停留时间。

本发明针对红外图像检测成本较高以及传统图像检测时间长的不足，提供一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法，采用Mask Rcnn卷积神经网络训练的地磅区域识别模型，保证识别不同位置以及角度的地磅区域轮廓，采用SSD卷积神经网络训练的行人车辆模型，保证对车辆和人进行实时检测，通过对称重状态、周围环境人数、地磅区域人数进行分析，能够及时发现称重过程中人体入侵的作弊行为。

Claims (8)

1.一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于，包括以下步骤：

步骤1、利用Opencv计算机视觉库将摄像头采集地磅区域历史视频进行分帧，并将分帧后的图像统一尺寸，获得初始图像集，所述图像包含人的位置信息、车辆的位置信息或地磅轮廓信息中的至少一种；

步骤2、在地磅称重状态为空闲状态时，采用Mask Rcnn卷积神经网络训练的地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存；

步骤3、采用SSD卷积神经网络训练的行人车辆模型对摄像头拍摄的实时称重视频识别，识别出人的位置信息和车辆的位置信息，当人的位置信息与地磅区域出现交集时，说明地磅区域有人体入侵，记录下此时的称重状态、周围环境人数、地磅区域人数；

步骤4、当称重状态为地磅称重且地磅区域人数大于0时，开启定时器，记录人体入侵时间；

步骤5、当人体入侵时间超出设定阈值，自动报警，并记录称重异常信息。

2.根据权利要求1所述的基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于，步骤2中，在地磅称重状态为空闲状态时，采用Mask Rcnn卷积神经网络训练的地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存，其具体步骤如下：

步骤2.1、从初始图像集中筛选出包含地磅轮廓信息的图片，通过Labelme手动标注地磅区域，并沿着地磅轮廓区域手工标注，标签类别为weightbridge，生成xml文件，并采用图像平移、旋转、镜像、裁剪、模糊处理方式对初始图像集进行扩增，获得第一次扩增图像集，将第一次扩增图像集与xml文件制作成VOC2007格式的标注地磅区域数据集，并将标注地磅区域数据集分为地磅区域训练集和地磅区域测试集；

步骤2.2、搭建Mask Rcnn卷积神经网络，使用特征金字塔网络获得多尺度的特征映射作为区域生成网络的输入，生成锚框，进行分类、矩形框定位，最后获得目标实例的二值掩码mask，其中主干网络选用Resnet-101网络结构；

步骤2.3、设置地磅区域识别模型初始超参数、迭代次数以及一次训练所选取的样本数；每次迭代，地磅区域识别模型对地磅区域训练集中的样本进行一次计算，通过损失函数的loss值向前反馈和计算超参数差值，对地磅区域识别模型的超参数进行更新；

Mask Rcnn网络的损失函数L：

Mask Rcnn网络的损失函数就是分类、回归、掩码损失之和，其中

表示Mask Rcnn网络的分类损失，L_box表示Mask Rcnn网络的回归损失，L_mask表示Mask Rcnn网络的掩码损失；

步骤2.4、将地磅区域训练集和测试集输入到构建好的Mask Rcnn卷积神经网络中进行训练和测试，并在训练过程中调整学习率，获得地磅区域识别模型；

步骤2.5、分别在迭代次数达到10000次、15000次、20000次时保存地磅区域识别模型；

步骤2.6、使用地磅区域识别模型对摄像头拍摄的实时地磅区域视频进行识别，识别出地磅区域轮廓，并进行保存。

3.根据权利要求2所述的基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于：步骤2.1中，按照3:1将标注地磅区域数据集分为地磅区域训练集和地磅区域测试集。

4.根据权利要求1所述的基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于，步骤3中，采用SSD卷积神经网络训练的行人车辆模型识别摄像头拍摄的实时称重视频中的人的位置信息和车辆的位置信息，当人的位置信息与地磅区域出现交集时，说明地磅区域有人体入侵，记录下此时的称重状态、周围环境人数、地磅区域人数，具体步骤如下：

步骤3.1、从初始图像集中筛选出包含人的位置信息的图片以及车辆的位置信息的图片，通过Label Image手动标注货车以及行人，标签类别为trunk、person，生成xml文件，并采用图像平移、旋转、镜像、裁剪、模糊处理方式对初始图像集进行扩增，获得第二次扩增图像集，将第二次扩增图像集的图片与xml文件制作成VOC2007格式的人车信息数据集，人车信息数据集包括人车信息训练集和人车信息测试集；

步骤3.2、搭建SSD卷积神经网络，SSD采用了与Faster Rcnn中的锚点机制类似的候选框，检测在多个特征图上同时进行Softmax分类和位置分类；

步骤3.3、将人车信息训练集和人车信息测试集输入到SSD卷积神经网络中进行训练和测试，并在训练过程中调整学习率，获得行人车辆模型；

步骤3.4、分别在迭代次数达到10000次、20000次、30000、40000次时保存行人车辆模型；

步骤3.5、使用行人车辆模型对摄像头拍摄的实时称重视频进行人和车辆检测，获得人的位置坐标

以及车辆的位置坐标

步骤3.6、根据地磅、人、车辆的位置坐标得出称重状态、周围环境人数、地磅区域人数信息。

5.根据权利要求3所述的基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于：步骤3.1中，其中按照8:2的比例将人车信息数据集分为人车信息训练集和人车信息测试集。

6.根据权利要求3所述的基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于，步骤3.6中，根据人和车辆的位置坐标得出称重状态，具体步骤如下：

步骤3.6.1、车辆在上磅称重过程车顶可能超过地磅区域，只通过车辆位置的外接矩形框的四个顶点的坐标无法判断车辆是否上磅，因此将车辆的长

和宽

分别分成五份，通过遍历车辆外接矩形内部6×6的坐标点，在坐标点与地磅区域任意位置相交时，说明车辆已经上磅称重；

步骤3.6.2、采用状态机模式结合车辆位置坐标得到车辆称重状态。

7.根据权利要求6所述的基于Mask Rcnn以及SSD的地磅人体入侵检测方法及系统，其特征在于，所述状态机模式就是在需要经历一系列状态转变的时候，把每个状态都独立成一个类，而每个状态类只关心它自己和它的下一个状态，包括以下步骤：

a)在检测结果没有车辆信息时，称重状态为空闲状态；

b)在上一个状态为空闲状态且检测到车辆位置与地磅区域没有相交时，车辆只是进厂但是并没有上磅称重，称重状态为车辆入厂；

c)在上一个状态为车辆入厂且检测到车辆位置与地磅区域相交时，称重状态为车辆称重；

d)在上一个状态为车辆称重且检测到车辆位置与地磅区域没有相交时，称重状态为车辆出厂。

e)在上一个状态为车辆离厂且检测结果没有车辆信息时，称重状态重新恢复至空闲状态。

8.根据权利要求1所述的基于Mask Rcnn以及SSD的地磅人体入侵检测方法，其特征在于，步骤5中，当人体入侵时间超出设定阈值，自动报警，记录称重异常信息，具体步骤如下：

步骤5.1、在称重过程中，货车司机需要预留一定的时间下车离开地磅区域，因此设置时间阈值，若司机或其他行人在地磅区域的停留时间超出时间阈值，会影响最终的称重结果，此时自动报警；

步骤5.2、记录异常时间、地磅点、异常原因、人的坐标、停留时间。

Images