CN108805008A - 一种基于深度学习的社区车辆安保系统 - Google Patents

Abstract

本发明提供一种基于深度学习的社区车辆安保系统，属于信息技术智能安防领域，包含监控视频模块、车牌检测识别模块、人脸检测与匹配模块、服务器车主信息比对模块、信息推送模块。通过智能识别系统实现社区进出车辆与车主信息的匹配与信息推送，车主及时掌握车辆出入信息。本发明提出了基于深度学习的社区车辆安保系统，构造了智能识别系统，实现了进出入车辆与车主信息匹配，车主及时掌握车辆出入信息，发现被盗后及时报警追回车辆。

Description

一种基于深度学习的社区车辆安保系统

技术领域

本发明属于属于信息技术智能安防领域，具体涉及一种基于深度学习的社区车辆安保系统。

背景技术

近几年来，随着经济与科技的水平的提高，城市化进程不断加快，社区内的居民与车辆日益增多，车辆被盗事件时有发生，车主往往不能及时发现，十分被动。虽然目前社区普遍安装了监控，但面对海量的视频信息，人工监视存在困境，因此构建社区车辆安保系统十分重要。社区车辆安保系统通过监控视频，智能识别车牌与人脸，与服务器中预先存储的数据进行对比，判断是否是车主本人驾驶。但在实际应用中，灯光、汽车反光、雨雾天气等环境因素加之社区的监控的封闭性导致数据集较小，影响深度神经网络模型的判断，导致识别准确度较低，误报现象严重。

专利201720321508.0，涉及一种智慧社区安防系统，包括云服务器、路由器、控制主机、图像处理计算机、物业安防系统及业主安防系统，所述物业安防系统包括物业端交互机、分别与物业端交互机通信的电梯管理系统、门禁系统、灯光管理系统、广播系统、电子信息亭、电子巡更系统、红外幕墙以及设置在社区不同区域的若干云台摄像机。专利201710934023.3，公开了基于物联网的社区物业辅助管理系统及其配套门禁设备，其社区物业辅助管理系统，包括房产管理模块、住户管理模块、巡更系统模块、住户授权模块和停车管理模块，所述房产管理模块包括有区域管理模块、住宅类型模块、单元管理模块、房间档案模块和楼宇管理模块；其社区物业辅助管理系统的配套门禁设备，包括固定在地面上的闸机外壳和固定在地面上的辅机，所述闸机外壳一侧外壁的顶部开有第一安装槽。

上述专利可通过云服务器抓取可疑人员样本数据，并通过图像处理计算机进行比对，电子巡更系统对安保人员的巡更行为进行监督，及时发现社区或业主家潜在的危险因素，提高了社区的安全性；提高了社区安保管理效率，有效降低了停车出错引发社区住户发生矛盾的现象，提高了社区和谐生活的美好环境，降低了刑事案件的发生率，保障了社区的住户的安全生活，避免了一些车辆停车位被占而无处停车的情况出现。但是没有给出构建社区车辆安保系统的相关技术方案。

(一)解决的技术问题

本发明目的是为社区车主能及时掌握自己车辆进出信息，在发现车辆被盗后能及时报警，协助公安机关抓捕嫌疑人，提高业主的幸福度，提供了一种基于深度学习的社区车辆安保系统。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于深度学习的社区车辆安保系统，包括监控视频模块、车牌检测识别模块和人脸检测与匹配模块、服务器车主信息比对模块、信息推送模块，监控视频模块采集大量数据，并结合外部数据集，监控视频模块将拍摄的视频传入车牌检测识别模块和人脸检测与匹配模块中，车牌检测识别模块和人脸检测与匹配模块分别与服务器车主信息比对模块相连，服务器车主信息比对模块对车辆和人脸进行匹配，判断是否是由车主本人驾驶，并将保存下的人脸和车牌图像发送给信息推送模块，信息推送模块发送信息给车主本人，由车主本人核实。

根据本发明的一实施例，所述车牌检测识别模块将收集到监控数据进行整理，提取车牌和字符的轮廓特征，放入深度神经网络中进行训练，边训练边测试，并将测试结果反馈到训练集中。

根据本发明的一实施例，车牌检测识别模块检测车牌步骤如下：

(1)将收集到监控数据进行整理，先将车牌进行灰度化处理，在RGB模型中，R＝G＝B的值叫灰度值，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255；

(2)将RGB三个分量以不同的权值进行加权平均对图像进行灰度化处理，二值化将灰度图像的颜色分成黑色值0和白色值255两种颜色，设定阈值使背景与字符区分开；

(3)为了在分割字符时防止字符大小不相同，将字符归一化为25×50像素大小的图像；

(4)图像归一化后对字符进行特征提取，将笔画的斜率累计值、字符的拐点、字符的轮廓作为特征进行特征值提取；

(5)将提取的车牌和字符的特征值用于深度神经网络的创建和训练。

根据本发明的一实施例，所述人脸检测与匹配模块通过计算数据库中人脸各部位之间距离的不同进行特征提取，放入深度神经网络中进行训练，将实时监控视频中的人脸与数据库中人脸进行匹配与识别。

根据本发明的一实施例，人脸检测与匹配模块识别人脸步骤如下：(1)获取包含M张人脸图像的集合S，每张图像可以转换成一个N维的向量，然后把这M个向量放到一个集合S里，

S＝{Γ₁，Γ₂，Γ₃，.........，Γ_M}

其中Γ是一个N维向量；

(2)在获取到人脸向量集合S后，计算得到平均图像Ψ，

(3)计算每张图像和平均图像的差值Φ，

Φ_i＝Γ_i-Ψ_i

(4)L矩阵的第m行n列的特征向量表示为：

(5)L矩阵的M个特征向量则为ν₁，则其协方差矩阵的特征向量μ₁，表示为：

(6)识别一张新的人脸，用特征脸进行标示：

其中k＝1,2...M,对于第k个特征脸μ_κ，上式可以计算其对应的权重，M个权重可以构成一个向量：

Ω^T＝[ω₁，ω₂，.......，ω_M]

ε_k＝||Ω-Ω_k||²

其中Ω代表要判别的人脸，Ω_k代表训练集内的第k个人脸，两者都是通过特征脸的权重来表示的。

根据本发明的一实施例，所述深度神经网络包括数据集、深度神经网络模型和数据库；数据集由人脸和车牌图像构成，80％作为训练集，20％为测试集；深度神经网络模型由输入层、卷积层、池化层、激活函数、全连接层和输出层组成，数据集投入到输入层，经由输入层到卷积层，卷积核大小为3x3，步长为1，填充为1，经过卷积处理后输入到池化层，池化层的窗口是2*2，步长是2，经过池化处理后输入到非线性激活函数，接着输入到全连接层，输出一维特征向量到输出层；经过不断的迭代，每隔一段时间自动存储模型至数据库，数据库将训练好的模型存储在服务器端，由服务器端来进行目标检测。

(三)有益效果

本发明的有益效果：一种基于深度学习的社区车辆安保系统，构建了智能识别系统，方便车主及时掌握车辆信息，及时报警追回车辆，节省了人力物力，协助公安机关抓捕嫌疑人；采取一种反馈增强训练机制，边训练边测试，并将测试结果反馈到训练集中，再训练模型，提升模型的性能，提高识别准确度；每次车辆出入时，包含信息推送模块的智能识别模块，将当前驾驶人和车辆图像保存下来发送短信通知车主，倘若车主与所驾车辆不一致，由车主本人核实是否被盗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1社区车辆安保系统结构示意图；

图2反馈增强训练机制示意图；

图3深度神经网络训练流程图；

图4信息推送模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于深度学习的社区车辆安保系统，是基于深度学习神经网络的框架构建。如图1所示，一种基于深度学习的社区车辆安保系统，包括监控视频模块、车牌检测识别模块和人脸检测与匹配模块、服务器车主信息比对模块、信息推送模块。通过监控视频模块采集大量数据，并结合外部数据集，监控视频模块将拍摄的视频传入车牌检测识别模块和人脸检测与匹配模块中，车牌检测识别模块和人脸检测与匹配模块分别与服务器车主信息比对模块相连，服务器车主信息比对模块对车辆和人脸进行匹配，判断是否是由车主本人驾驶，并将保存下的人脸和车牌图像发送给信息推送模块，信息推送模块发送信息给车主本人，由车主本人核实，倘若发现车辆被盗，可及时报警，协助公安机关抓捕嫌疑人。

车牌检测识别模块作为社区车辆安保系统中车牌识别系统的子模块。车牌检测识别模块将收集到监控数据进行整理，提取车牌和字符的轮廓特征，放入深度神经网络中进行训练，在训练数据的过程中，采取一种反馈增强训练机制，边训练边测试，并将测试结果反馈到训练集中，再训练模型，提升模型的性能，提高识别准确度，减少受环境的影响而出现识别不准的现象。

其检测车牌的具体操作为：

(1)将收集到监控数据进行整理，先将车牌进行灰度化处理，在RGB模型中，R＝G＝B的值叫灰度值，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255；

(2)将RGB三个分量以不同的权值进行加权平均对图像进行灰度化处理，二值化将灰度图像的颜色分成黑色值0和白色值255两种颜色，设定阈值使背景与字符区分开；

(3)为了在分割字符时防止字符大小不相同，将字符归一化为25×50像素大小的图像；

(4)图像归一化后对字符进行特征提取，将笔画的斜率累计值、字符的拐点、字符的轮廓作为特征进行特征值提取；

(5)将提取的车牌和字符的特征值用于深度神经网络的创建和训练。

人脸检测与匹配模块作为社区车辆安保系统的子模块，人脸检测与匹配模块通过计算数据库中人脸各部位之间距离的不同进行特征提取，放入深度神经网络中进行训练，将实时监控视频中的人脸与数据库中人脸进行匹配与识别，如果与数据库中的车主是同一个人，则更新数据库继续进行训练，如果不是同一个人则向车主发出信息。

其识别人脸的具体操作为：

(1)获取包含M张人脸图像的集合S，每张图像可以转换成一个N维的向量，然后把这M个向量放到一个集合S里，

S＝{Γ₁，Γ₂，Γ₃，.........，Γ_M}

其中Γ是一个N维向量；

(2)在获取到人脸向量集合S后，计算得到平均图像Ψ，

(3)计算每张图像和平均图像的差值Φ，

Φ_i＝Γ_i-Ψ_i

(4)L矩阵的第m行n列的特征向量表示为：

(5)L矩阵的M个特征向量则为ν₁，则其协方差矩阵的特征向量μ₁，表示为：

(6)识别一张新的人脸，用特征脸进行标示：

其中k＝1,2...M,对于第k个特征脸μ_κ，上式可以计算其对应的权重，M个权重可以构成一个向量：

Ω^T＝[ω₁，ω₂，.......，ω_M]

ε_k＝||Ω-Ω_k||²

其中Ω代表要判别的人脸，Ω_k代表训练集内的第k个人脸，两者都是通过特征脸的权重来表示的；当距离小于阈值时说明要判别的脸和训练集内的第k个脸是同一个人的。

车牌检测识别模块和人脸检测与匹配模块都使用深度神经网络模型进行训练，在深度神经网络模型中同时使用了反馈增加训练机制，如图2所示，当服务器端判定监控端传来车辆与车主信息匹配时，则将监控视频的数据作为训练集传递到深度神经网络模型继续进行训练，用来更新服务器端的深度神经网络模型，提高识别的准确性。

深度神经网络训练流程如图3所示，由数据集、深度神经网络模型和数据库三个部分组成。第一部分是由人脸和车牌图像构成的数据集，80％作为训练集，20％为测试集。第二部分是由输入层、卷积层、池化层、激活函数、全连接层和输出层六个部分组成的深度神经网络模型。首先将数据集投入到输入层，经由输入层到卷积层，卷积核大小为3x3，步长为1，填充为1，经过卷积处理后输入到池化层，池化层的窗口是2*2，步长是2，经过池化处理后输入到非线性激活函数，接着输入到全连接层，输出一维特征向量到输出层。经过不断的迭代，每隔一段时间自动存储模型至数据库，当loss在1左右时，停止训练。数据库将训练好的模型存储在服务器端，由服务器端来进行目标检测。

信息推送模块为社区车辆安保系统的子模块，如图4所示，将监控读取的视频信息输入到服务器端，由训练好的模型来进行人脸识别和车牌识别，并进行匹配，如果一致，将本次进出入的时间、地点以文本信息的方式发送给车主，如果不一致，则将本次进出入的时间、地点和可疑人员的图片发送给车主。

综上所述，本发明实施例，基于深度学习的社区车辆安保系统，构建了智能识别系统，方便车主及时掌握车辆信息，及时报警追回车辆，节省了人力物力，协助公安机关抓捕嫌疑人；采取一种反馈增强训练机制，边训练边测试，并将测试结果反馈到训练集中，再训练模型，提升模型的性能，提高识别准确度；每次车辆出入时，包含信息推送模块的智能识别模块，将当前驾驶人和车辆图像保存下来发送短信通知车主，倘若车主与所驾车辆不一致，由车主本人核实是否被盗。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于深度学习的社区车辆安保系统，其特征在于，包括监控视频模块、车牌检测识别模块、人脸检测与匹配模块、服务器车主信息比对模块、信息推送模块，监控视频模块采集大量数据，并结合外部数据集，监控视频模块将拍摄的视频传入车牌检测识别模块和人脸检测与匹配模块中，车牌检测识别模块和人脸检测与匹配模块分别与服务器车主信息比对模块相连，服务器车主信息比对模块对车辆和人脸进行匹配，判断是否是由车主本人驾驶，并将保存下的人脸和车牌图像发送给信息推送模块，信息推送模块发送信息给车主本人，由车主本人核实。

2.如权利要求1所述的一种基于深度学习的社区车辆安保系统，其特征在于：所述车牌检测识别模块将收集到监控数据进行整理，提取车牌和字符的轮廓特征，放入深度神经网络中进行训练，边训练边测试，并将测试结果反馈到训练集中。

3.如权利要求2所述的一种基于深度学习的社区车辆安保系统，其特征在于，所述车牌检测识别模块检测车牌步骤如下：

(1)将收集到监控数据进行整理，先将车牌进行灰度化处理，在RGB模型中，R＝G＝B的值叫灰度值，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255；

(2)将RGB三个分量以不同的权值进行加权平均对图像进行灰度化处理，二值化将灰度图像的颜色分成黑色值0和白色值255两种颜色，设定阈值使背景与字符区分开；

(3)为了在分割字符时防止字符大小不相同，将字符归一化为25×50像素大小的图像；

(4)图像归一化后对字符进行特征提取，将笔画的斜率累计值、字符的拐点、字符的轮廓作为特征进行特征值提取；

(5)将提取的车牌和字符的特征值用于深度神经网络的创建和训练。

4.如权利要求1所述的一种基于深度学习的社区车辆安保系统，其特征在于，所述人脸检测与匹配模块通过计算数据库中人脸各部位之间距离的不同进行特征提取，放入深度神经网络中进行训练，将实时监控视频中的人脸与数据库中人脸进行匹配与识别。

5.如权利要求4所述的一种基于深度学习的社区车辆安保系统，其特征在于，所述人脸检测与匹配模块识别人脸步骤如下：

(1)获取包含M张人脸图像的集合S，每张图像可以转换成一个N维的向量，然后把这M个向量放到一个集合S里，

S＝{Γ₁，Γ₂，Γ₃，.........，Γ_M}

其中Γ是一个N维向量；

(2)在获取到人脸向量集合S后，计算得到平均图像Ψ，

(3)计算每张图像和平均图像的差值Φ，

Φ_i＝Γ_i-Ψ_i

(4)L矩阵的第m行n列的特征向量表示为：

(5)L矩阵的M个特征向量则为ν₁，则其协方差矩阵的特征向量μ₁，表示为：

(6)识别一张新的人脸，用特征脸进行标示：

其中k＝1,2...M,对于第k个特征脸μ_κ，上式可以计算其对应的权重，M个权重可以构成一个向量：

Ω^T＝[ω₁，ω₂，.......，ω_M]

ε_k＝||Ω-Ω_k||²

其中Ω代表要判别的人脸，Ω_k代表训练集内的第k个人脸，两者都是通过特征脸的权重来表示的。

6.如权利要求2或4所述的一种基于深度学习的社区车辆安保系统，其特征在于，所述深度神经网络包括数据集、深度神经网络模型和数据库；数据集由人脸和车牌图像构成，80％作为训练集，20％为测试集；深度神经网络模型由输入层、卷积层、池化层、激活函数、全连接层和输出层组成，数据集投入到输入层，经由输入层到卷积层，卷积核大小为3x3，步长为1，填充为1，经过卷积处理后输入到池化层，池化层的窗口是2*2，步长是2，经过池化处理后输入到非线性激活函数，接着输入到全连接层，输出一维特征向量到输出层；经过不断的迭代，每隔一段时间自动存储模型至数据库，数据库将训练好的模型存储在服务器端，由服务器端来进行目标检测。