CN113837160A

CN113837160A - 一种无预设信息下的常住人员和车辆识别方法

Info

Publication number: CN113837160A
Application number: CN202111427294.2A
Authority: CN
Inventors: 杨洪涛; 马鸿博; 翟伟; 刘文华; 尹群辉; 吕林智; 文勇杰
Original assignee: Tianjin Zhonghuan System Construction Co ltd
Current assignee: Tianjin Zhonghuan System Construction Co ltd
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2021-12-24
Anticipated expiration: 2041-11-29
Also published as: CN113837160B

Abstract

一种无预设信息下的常住人员和车辆识别方法，人脸、车牌抓拍摄像机安装在出入口，抓拍出入的人员和车辆，并将信息及时间传入机器学习主机；机器学习主机获取到信息及时间后，对不同人员或车辆，进行身份标注。按不同人员或车辆、不同时间段、不同频率为维度，形成三维矩阵数据，以及对应的标注属性，按照机器学习的方法，建立出该类区域的识别模型，再依靠模型将之后抓拍到的人员和车辆分别划分为常住、临时来访和陌生各三类，形成进常住人员库、临时来访人员库及常住车辆库、临时来访车辆库，并对人员库和车辆库进行二次迭代；另外通过对比已经建立的人员库和车辆库，来判定陌生人和车辆出入，进而发出警示或提示信息。

Description

一种无预设信息下的常住人员和车辆识别方法

技术领域

本发明属于智慧安防领域，是一种无预设信息下的常住人员和车辆识别方法。

背景技术

智慧安防一般使用在社区或企事业单位，是提高人们生活水平的一个直接体现，也是平安工程、民生工程的重要组成部分。因此智能安保的建设就显得尤为重要。

以往的智慧安防，大多需要采集年龄、籍贯、性别等个人信息，以及人脸信息，建立黑白名单库；在后期的使用过程中，当有人员发生变动，也需要人为采集并更新信息。例如中国专利申请CN107480626A“一种采用人脸识别的人口普查监控的方法”和CN109951681A“一种办公楼视频监控系统”，就是预存人员或者车辆的信息，作为黑名单或者白名单。通过对比人员或者车辆预先存留的信息，来判定哪些人员属于常住人员，哪些属于外来人员。

在《中华人民共和国个人信息保护法》中，更是把公民个人信息保护推向了一个新高度。由于在传统的智慧安防中存在大量的公民个人信息，一旦造成泄露势必会给社会安定造成极大影响。如果泄露的公民个人信息被不法分子所利用，继而实施更加有针对性的违法犯罪行为，将会导致公民个人人身和财产安全收到极大的破坏和威胁。而且人脸和车辆信息又是个人信息中的重要组成部分，势必要做到在源头上就杜绝其泄露的可能性。

在网络上《人脸核身技术原理、架构与开发》一文中也提到了无底库模式，虽然不需要提前录入信息，却需要读取身份证等专门证件的信息，其实还是间接获取了人员信息，因而存在隐患。在进行人证核验时，不但需要引入其他设备部件，也给使用者造成很多麻烦。

因此，在不使用个人信息前提下，常驻人员的判定就是一个研究课题。

发明内容

鉴于现有技术的状况及存在的不足，本发明提供一种无预设信息下的常住人员和车辆识别方法，本方法针对不同社区或单位，在不需要提供人员或车辆信息的情况下，仅通过机器学习训练出的预设模型，来判定人员和车辆的属性关系，对陌生和可疑人员发出警示和告警，进而实现安保功能的同时，有效的保护个人隐私。即使有人员变化，也不需要人工介入，从而节省大量人力、物力、财力。

本发明采用的技术方案是：一种无预设信息下的常住人员和车辆识别方法，本方法涉及的载体为一台人脸、车牌抓拍摄像机和机器学习主机，步骤如下：

步骤1)硬件搭建：

将人脸、车牌抓拍摄像机安装在场所的出入口，将机器学习主机通过网线与人脸、车牌抓拍摄像机相连接；

步骤2)模型训练：

首次搭建模型的社区或单位，需要新建模型，对人脸、车牌抓拍摄像机得到的人脸或车牌数据，采集一定天数后，传入机器学习主机，通过人和人或车和车相互比对，划分成不同的人和车；统计这段时间内不同的人和车被人脸、车牌抓拍摄像机抓拍到的时间点，将这些时间点按天数及单位时长为周期转变成频率，形成不同人员或车辆、不同时间段、不同频率的n*d*pn人员三维矩阵数据，以及m*d*pm车辆三维矩阵数据，其中n表示人数，d为天数，pn为单位时间段统计的人员频率，m表示车辆数，pm为单位时间段统计的车辆频率；

对划分出的人和车，登记这些人员和车辆对于本社区的属性，按照常住人员、临时来访人员、陌生人员进行0、1或2的标注，形成n*3矩阵，其中3对应人员的标签种类；按照常住车辆，临时来访车辆，陌生车辆进行0、1或2的标注，形成m*3矩阵，其中3对应车辆的标签种类；再将标注数据和三维频率数据分别融合成数据集，分别将数据集带入人员分类训练网络和车辆分类训练网络学习框架，将训练后的权重参数保存为模型文件；

步骤3)常住人员库、临时来访人员库、常住车辆库和临时来访车辆库的建立：

在模型建立后，采集与步骤2)同样天数的数据，用于建立常住人员库、临时来访人员库、常住车辆库和临时来访车辆库，具体方法如下：

对这段时间人脸、车牌抓拍摄像机得到的人脸或车牌数据，通过人和人或车和车比对的方式，划分成不同的人和车，共划分成tn个人和tm辆车；统计这tn个人和tm辆车被抓拍到的时间点，将这些时间点按照步骤2)的单位时长为周期转变成频率，形成不同人员或车辆、不同时间段、不同频率的tn*d*pn人员三维数据，以及tm*d*pm车辆三维数据；分别代入到与步骤2)对应的人员分类测试网络和车辆分类测试网络中，运算输出一个tn*3矩阵和一个tm*3矩阵；tn*3矩阵中的参数对应这tn个人，在常住人员、陌生人员、临时来访人员身份分类上的概率分布，每个人取概率最大的为该人员的类别，从而形成常住人员库和临时来访人员库；tm*3矩阵中的参数对应这tm辆车，在常住车辆、陌生车辆、临时来访车辆，各身份分类上的概率分布，每辆车取概率最大的为该车辆的类别，而形成常住车辆库和临时来访车辆库；其中人员分类测试网络和车辆分类测试网络中的参数就是步骤2)中模型文件中的权重参数；

步骤4)模型自学习，常住人员库，临时来访人员库，常住车辆库和临时来访车辆库的更新：

在后续的使用过程中，将步骤3)得到的常住人员库、临时来访人员库，常住车辆库和临时来访车辆库，按照步骤2)中建立模型周期4倍的周期，再次代入到步骤2)的训练网络中，从而迭代出新的模型；并记录陌生人员或车辆的平均频率，记为一般陌生人员或车辆频率；应用新模型，更新常住人员库，临时来访人员库，常住车辆库和临时来访车辆库；

步骤5)警示、告警：

对后续人脸、车牌抓拍摄像机得到的人脸或车牌数据，与步骤4)更新的常住人员库、临时来访人员库和常住车辆库和临时来访车辆库进行比对，进而发出警示或提示信息；具体方法如下：

①对人脸、车牌抓拍摄像机得到的人脸或车牌数据分别与常住人员库、临时来访人员库和常住车辆库和临时来访车辆库进行比对，如果在库中，则认为此人员或车辆安全，否则进入②；

②如果该人员或车辆出现得频率高于步骤4)中一般陌生人员或车辆频率的3倍，就触发警示或提示信息并进入③，否则认定为一般陌生人员或车辆；

③如果这些时间点又与公安办案人员提出的可疑人员或车辆出现时间点相吻合，就认定可疑人员或车辆并触发告警。

步骤2)和步骤3)中所述的分类网络为Lenet或Alexnet或Googlenet或VGG或DRL网络。

步骤2)中所述的一定天数，为7天或14天。

本发明的有益效果是：

传统的智慧安防中存在大量的公民个人信息，一旦造成泄露势必会给社会安定造成极大影响。本方法由于不需要预设信息，从根源上杜绝了公民个人信息泄露，从而有效保护个人隐私，防止因此而造成公民个人人身和财产安全受到破坏和威胁；

本方法是无预设信息下的常住人员和车辆识别方法，本方法针对不同社区或单位，在不需要提供人脸或车牌信息的情况下，将社区或单位的人员和车辆按照不同的身份，如常住、临时来访、工作等加以区分，仅通过机器学习训练出的预设模型，来判定人员和车辆的属性关系，对陌生和可疑人员发出警示和告警，进而实现安保功能；

本方法在不同的社区或单位使用时，仅需要进行硬件搭建，不需要对个人信息进行繁琐的导入工作，即使后期的使用过程中，有人员变动，依靠自身的自学习能力，完成迭代，也不再需要人为更新数据，从而节约了大量的人力和时间；

同时本方法还能为国家人口普查，一标四实，提供有效的数据支持。

附图说明

图1为本发明的系统硬件连接示意图；

图2为本发明的人员分类训练网络模型图；

图3为本发明的人员分类测试网络模型图；

图4为本发明的车辆分类训练网络模型图；

图5为本发明的车辆分类测试网络模型图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式进行详细的阐述。

下面分别举常住人员和常住车辆两个识别例子加以说明说明。

实施例1：常住人员识别。

1.硬件搭建：

硬件搭建方式如图1所示，将人脸、车牌抓拍摄像机安装在场所的出入口，使其清楚的拍摄到进出出入口的人脸和车牌；将机器学习主机通过网线与人脸、车牌抓拍摄像机相连接。

2.模型训练：

在硬件搭建完成后，如果之前未建立此类社区或者单位的模型，需要新建模型，对人脸、车牌抓拍摄像机得到的人脸数据，采集一定天数后，通常是一周7天，传入机器学习主机，通过人和人相互比对，划分成不同的人；统计这段时间内不同的人被人脸、车牌抓拍摄像机抓拍到的时间点，将这些时间点按天数及小时为周期转变成频率，也就是将时域转化为以小时为单位的频率，为了避免同一个人员重复记录，10分钟内不重复统计，从而形成n*7*24，其中n表示人数，7为一周7天，24为每天24小时，对这些人，并不需要登记人员的姓名、年龄、籍贯、电话等信息，也不需要采集人脸信息，只需要知道该人员是不是属于该社区，即按照常住人员，陌生人员，临时来访人员，进行标注，分别标注成0，1，2，从而形成n*3矩阵，将照标签数据和频率数据的格式融合成lmdb格式的数据集；

按照如下的参数输入LeNet图2的人员分类训练网络进行训练；

验证部分参数：

验证数据组数:100

训练迭代验证次数:500

学习基本参数：

基本学习率:0.01

学习率动量:0.9

学习权重衰变:0.0005

学习率策参数：

基本策略:"inv"

伽马值:0.0001

power:0.75

训练基本参数：

训练最大次数:10000

训练硬件驱动:GPU

图2的人员分类训练网络模型结构如下：

①将lmdb格式的数据集，拆分成频率数据data——n*7*24的矩阵以及label——n*3的矩阵；

②conv1——卷积层：经过20个，5*5，步长为1的卷积核，进行卷积运算，生成n*20*3*20的矩阵；

③pool1——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成n*20*2*10的矩阵；

④conv2——卷积层：经过50个，1*1，步长为1的卷积核，进行卷积运算，生成n*50*2*20的矩阵；

⑤pool2——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成n*10*1*5的矩阵；

⑥ip1——全连接层：按照500个输出节点进行全连接运算，得到n*500的矩阵；

⑦relu1——激活层：将上面全连接层得到的矩阵按照正值不变，负值为0的激活变化；

⑧ip2——全连接层：按照3个输出节点进行全连接运算，得到n*3的矩阵；

⑨loss——损失计算层：将⑧全连接层得到的n*3矩阵和①分出的label——n*3矩阵。反向迭代②、④、⑥、⑧中的参数，以Softmax方法定义的损失函数，使得这个损失达到最小值；

这里以Caffe工具为例，迭代10000次，将②、④、⑥、⑧中的参数保存到模型中，从而得到模型per_lenet_iter_10000.caffemodel。

3.常住人员库、临时来访人员库的建立：

跟实施例1中步骤2中所述的类似，采集与实施例1中步骤2中相同时长的人脸数据，将采集到的人脸通过两两对比的方式划分为tn个人，统计这tn个人被抓拍到的每个时间点，将这些时间点按天数及小时为周期转变成频率，也就是将时间点的时域转化为以小时为单位的频率，为了避免同一个人员重复记录，10分钟内不重复统计；从而形成tn*7*24矩阵；代入到图3的人员分类测试网络中，输出的tn*3矩阵就分别对应这tn个人，常住人员、陌生人员、临时来访人员的概率；从而形成常住人员库、临时来访人员库；

图3的人员分类测试网络模型结构如下：

①将以小时为单位的频率tn*7*24的矩阵输入data；

②conv1——卷积层：经过20个，5*5，步长为1的卷积核，进行卷积运算，生成tn*20*3*20的矩阵；

③pool1——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成tn*20*2*10的矩阵；

④conv2——卷积层：经过50个，1*1，步长为1的卷积核，进行卷积运算，生成tn*50*2*20的矩阵；

⑤pool2——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成tn*10*1*5的矩阵；

⑥ip1——全连接层：按照500个输出节点进行全连接运算，得到tn*500的矩阵；

⑧ip2——全连接层：按照3个输出节点进行全连接运算，得到tn*3的矩阵；

⑨prob——softmax激活层：⑧全连接层得到的tn*3矩阵已经是常住人员、陌生人员、临时来访人员对应的数值了，但还需要归一化，这里我们采用Softmax方法；分别将每一组的三个数据带入，就得到了同样是tn*3的矩阵，但是每一组都被映射到了（0，1）的区间中，也就是常住人员、陌生人员、临时来访人员分别的概率；

图3人员分类测试网络模型中②、④、⑥、⑧中的卷积核和全连接参数就是实施例1中步骤2训练好的模型per_lenet_iter_10000.caffemode中的对应参数。

4.模型更新自学习：

对于已经建立模型的社区和单位，在后续的使用过程中，不再需要登记人员身份信息，只需将实施例1中步骤3得到的常住人员、临时来访人员的来访库，按照4周周期，再次代入到实施例1中步骤2的训练网络中，从而迭代出新的模型，应用迭代出的新模型，同时也更新常住人员库、临时来访人员库，并记录陌生人员的平均频率，记为一般陌生频率；即使有人员身份发生变动时，同样更新出新的常住人员库、临时来访人员库。

5.警示、告警：

对后续人脸、车牌抓拍摄像机得到的人脸数据，与实施例1中步骤3或步骤4得到了常住人员库、临时来访人员库进行比对，进而判定是否有可疑人员进出，进而发出警示和告警；具体方法如下：

①对人脸、车牌抓拍摄像机得到的人脸数据与常住人员库、临时来访人员库比对，如果在库中，则认为此人员安全，否则进入②；

②如果该人员出现得频率高于实施例1步骤4中一般陌生频率3倍，就触发警示或提示信息并进入③，否则认定为一般陌生人员；

③如果这些时间点又与公安办案人员提出的可疑人员出现时间点相吻合，就认定可疑人员并触发告警。

实施例2：常住车辆识别。

1.硬件搭建：

硬件搭建如图1所示，将人脸、车牌抓拍摄像机安装在场所的出入口，使其清楚的拍摄到进出出入口的人脸和车牌；将机器学习主机通过网线与人脸、车牌抓拍摄像机相连接。

2.模型训练：

在硬件搭建完成后，如果之前未建立此类社区或者单位的模型，需要新建模型，对人脸、车牌抓拍摄像机得到的车牌数据，采集一定天数后，通常是一周7天，传入机器学习主机，通过车和车两两相互比对，划分成不同的车；统计这段时间内不同的车被抓拍到的时间点，将这些时间点按天数及小时为周期转变成频率，为了避免同车重复记录，5分钟内不重复统计，从而形成m*7*24，其中m表示车辆数，7为一周7天，24为每天24小时，对这些辆车，按照常住车辆，陌生车辆，临时来访车辆，进行登记标注，分别标注成0，1，2，从而形成m*3矩阵，将照标签数据和频率数据的格式融合成lmdb格式的数据集；

按照如下的参数输入LeNet图4的车辆分类训练网络进行训练；

验证部分参数：

验证数据组数:100

训练迭代验证次数:500

学习基本参数：

基本学习率:0.01

学习率动量:0.9

学习权重衰变:0.0005

学习率策参数：

基本策略:"inv"

伽马值:0.0001

power:0.75

训练基本参数：

训练最大次数:10000

训练硬件驱动:GPU

图4的车辆分类训练网络模型结构如下：

①将lmdb格式的数据集，拆分成频率数据data——m*7*24的矩阵以及label——m*3的矩阵；

②conv1——卷积层：经过20个，5*5，步长为1的卷积核，进行卷积运算，生成m*20*3*20的矩阵；

③pool1——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成m*20*2*10的矩阵；

④conv2——卷积层：经过50个，1*1，步长为1的卷积核，进行卷积运算，生成m*50*2*20的矩阵；

⑤pool2——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成m*10*1*5的矩阵；

⑥ip1——全连接层：按照500个输出节点进行全连接运算，得到m*500的矩阵；

⑧ip2——全连接层：按照3个输出节点进行全连接运算，得到m*3的矩阵；

⑨loss——损失计算层：将⑧全连接层得到的m*3矩阵和①分出的label——m*3矩阵，反向迭代②、④、⑥、⑧中的参数，以Softmax方法定义的损失函数，使得这个损失达到最小值；

这里以Caffe工具为例，迭代10000次，将②、④、⑥、⑧中的参数保存到模型中，从而得到模型car_lenet_iter_10000.caffemodel。

3.常住车辆库、临时来访车辆库建立：

跟实施例2中步骤2中所述的类似，采集与实施例2中步骤2中相同时长的车牌数据，将采集到的车牌通过两两对比的方式划分为tm辆车，统计这tm辆车被抓拍到的时间点，并将这些时间点按照每天、小时为周期转变成频率，也就是将时间点的时域按每天转化为以小时为单位的频率，为了避免同一车辆重复记录，5分钟内不重复统计；从而形成tm*7*24矩阵；代入到图5的车辆分类测试网络中，输出的tm*3矩阵就分别对应这tm辆车，在常住车辆，陌生车辆，临时来访车辆的概率；从而形成常住车辆库、临时来访车辆库；

图5的车辆分类测试网络模型结构如下：

①将以小时为单位的频率tm*7*24的矩阵输入data；

②conv1——卷积层：经过20个，5*5，步长为1的卷积核，进行卷积运算，生成tm*20*3*20的矩阵；

③pool1——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成tm*20*2*10的矩阵；

④conv2——卷积层：经过50个，1*1，步长为1的卷积核，进行卷积运算，生成tm*50*2*20的矩阵；

⑤pool2——池化层：按照2*2，步长为2的核，进行最大值池化运算，生成tm*10*1*5的矩阵；

⑥ip1——全连接层：按照500个输出节点进行全连接运算，得到tm*500的矩阵；

⑧ip2——全连接层：按照3个输出节点进行全连接运算，得到tm*3的矩阵；

⑨prob——softmax激活层：⑧全连接层得到的tm*3矩阵已经是常住车辆，陌生车辆，临时来访车辆对应的数值了，但还需要归一化，这里我们采用Softmax方法；分别将每一组的三个数据带入，就得到了同样是tm*3的矩阵，但是每一组都被映射到了（0，1）的区间中，也就是常住车辆，陌生车辆，临时来访车辆的概率；

图5网络模型中②、④、⑥、⑧中的卷积核和全连接参数就是实施例2中步骤2训练好的模型car_lenet_iter_10000.caffemode中的对应参数。

4.模型更新自学习：

对于已经建立模型的社区或单位，在后续的使用过程中，不再需要登记车辆身份信息，只需将实施例2中步骤3得到的常住车辆库、临时来访车辆库，按照4周的周期，再次代入到实施例2中步骤2的训练网络中，从而迭代出新的模型，应用迭代出的新模型，更新常住车辆库、临时来访车辆库，并记录陌生车辆的平均频率，记为一般陌生车辆频率，即使有车辆身份发生变动时，同样更新出新的常住车辆库、临时来访车辆库。

5.警示、告警：

对后续人脸、车牌抓拍摄像机得到的车牌数据，与实施例2中步骤3或步骤4得到了常住车辆库、临时来访车辆库进行比对，进而判定是否有可疑人员车辆进出，进而发出警示和告警；具体方法如下：

①对人脸、车牌抓拍摄像机得到的牌照数据与常住车辆库、临时来访车辆库比对，如果在库中，则认为此车辆安全，否则进入②；

②如果该车辆出现得频率高于实施例2中步骤4中一般陌生车辆频率3倍，就触发警示或提示信息并进入③，否则认定为一般陌生车辆；

③如果这些时间点又与公安办案人员提出的可疑车辆出现时间点相吻合，就认定可疑车辆并触发告警。

上述提到的分类网络，仅以LeNet为代表，同样适用于Alexnet，Googlenet，VGG，DRL等网络。

本方法与传统安防的优势对比及应用推广，详见表一：

表一

	本判定方法	传统安防
			个人、车辆信息	无需预设	需要存入系统
更换场景	无需操作	重新录入信息
			人工数据更新	自学习，无需人工介入	频繁人工更新
人工普查贡献	提供数据	使用数据

无预设信息下的常住人员和车辆识别方法能够在不需要人员、车辆个人信息的前提下，区分该社区或单位的常住人员、临时来访人员和车辆。不仅省去了繁琐得信息跟新工作；还从根源上保护了公民个人信息，从而有效保护个人隐私，防止公民个人信息泄露。

本方法在不同的社区或单位使用时，仅需要进行硬件搭建。不再需要繁琐的人员、车辆数据导入，即使后期的使用过程中，依靠自身的自学习能力，完成迭代，不再需要认为更新数据，从而节约了大量的人力和时间。本方法自测3个月时间，其识别的准确率为95%。

Claims

1.一种无预设信息下的常住人员和车辆识别方法，本方法涉及的载体为一台人脸、车牌抓拍摄像机和机器学习主机，其特征在于，步骤如下：

步骤1)硬件搭建：

步骤2)模型训练：

步骤5)警示、告警：

2.根据权利要求1所述的一种无预设信息下的常住人员和车辆识别方法，其特征在于：步骤2)和步骤3)中所述的分类网络为Lenet或Alexnet或Googlenet或VGG或DRL网络。

3.根据权利要求1所述的一种无预设信息下的常住人员和车辆识别方法，其特征在于：步骤2)中所述的一定天数，为7天或14天。