CN108765826A - 一种基于深度学习的多遮挡模糊场景人形识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的多遮挡模糊场景人形识别方法及系统，涉及人形识别与定位系统，尤其涉及一种基于深度学习的多遮挡模糊场景人形识别方法及系统，用以解决现有技术下的人形识别定位系统无法在光源复杂，场景多遮挡的情况下对行人进行快速识别和定位的问题，本发明采用基于深度学习的人形识别算法对行人进行检测和定位，再根据得到的检测和定位信息进行系统报警流程，本发明基于深度学习对行人检测模型进行训练得到高精度的检测模型，可以实现在多遮挡模糊场景对行人进行快速的识别和定位的目的，精度更高，可靠性更好。

Description

一种基于深度学习的多遮挡模糊场景人形识别方法及系统

技术领域

本发明涉及人形识别与定位系统，尤其涉及一种基于深度学习的多遮挡模糊场景人形识别方法及系统。

背景技术

多遮挡模糊场景主要是指真实的作业场景，区别于实验室中的模拟测试场景。多遮挡模糊场景具有以下特点：高光照度场景，夜间无光照场景，场景复杂度高，场景中行人遮挡严重，监控器分辨率不高。该算法完全针对真实场景，对于绝大多数极端场景有极好的容错性，在实际应用中具有极高的实际意义。

人形识别算法主要是针对场景中的行人进行识别，定位，跟踪的一套系统。该系统具有十分广泛的应用场景，例如：行人闯入报警，指定区域越界报警，行人热力图分布等。现主要应用于仓库内非工作时间的陌生人闯入报警，以及指定区域的越界报警，可以大量减少误报，错报，降低安防系统的整体工作压力，并显著提升报警精度，提高安防的安全性。因此，行人识别技术在物联网技术中扮演着非常重要的角色，同时使得报警系统更加智能化，精确化，安全化。

现有技术下的人形识别与定位系统主要应用于场景空旷行人稀少的地点，对于遮挡较为严重的复杂场景，如仓库，林园，建筑工地等场景的支持严重不足，同时一般识别系统主要应用于稳定光源的场景进行监控布防，夜间多使用红外摄像机实时监控，这种方式成本较高且不是十分稳定，对于光线变化频繁，光纤严重不足或者光线过于充足等情况不是很理想，此外常见的效果较好的人形识别系统对于算力要求较高，一般0.1～3fps无法达到实时监控的要求，同时摄像机数量增加时，对服务器压力也是非常大的。

因此设计一种能够在光源复杂情况下，实现多遮挡场景行人快速识别和定位的系统很有现实意义。

发明内容

本发明的目的在于:为了解决现有技术下人形识别与定位系统无法在光源复杂，场景多遮挡的情况下对行人进行快速识别和定位的问题，本发明提供了一种基于深度学习的多遮挡模糊场景人形识别方法及系统，基于深度学习对行人检测模型进行训练得到高精度的检测模型，可以实现在多遮挡模糊场景对行人进行快速的识别和定位的目的，精度更高，可靠性更好。

本发明采用的技术方案如下：

一种基于深度学习的多遮挡模糊场景人形识别方法，包括以下步骤：

S1、图像采集：通过图像采集模块采集图像数据样本，所述图像采集模块可采用摄像机。

S2、图像预处理：采用多种图像处理方法对S1中采集到的图像数据样本进行处理，得到数据集；

S3、行人检测模型训练：通过人工打标签的方式对上述S2中预处理后得到的数据集进行数据标注，同时搭建深度学习网络并调整网络参数后，再将标注后的数据集投入深度学习网络中进行训练；

S4、行人检测及定位：通过S3中训练后的行人检测模型处理实时图像，检测是否有行人并标定行人所在位置。

进一步地，根据S4得到的行人信息启动报警流程，并判断是否触发报警。

进一步地，所述系统报警流程为：

流程1、图像采集模块开始行人检测采集数据；

流程2、进行动态检测并判断是否发现移动目标，若不是，返回流程1，若是，进入下一流程；

流程3、加载行人检测模型；

流程4、进行行人识别并判断是否有人，若不是，返回流程1，若是，进入下一流程；

流程5、返回行人数量及行人坐标并根据布防策略判断是否报警，若无需报警，返回流程1，若需要报警，则进入下一流程；

流程6、拍照并上传服务器；

流程7、发送报警信息。

进一步地，所述步骤S1中摄像机进行动态检测，通过图像像素概率统计和图像像素叠加，生成标准背景图，将摄像机采集的图像和标准背景图做差，计算动差像素点数量，达到阀值即视为存在运动物体，再进行图像采集操作。

进一步地，所述多种图像处理方法包括椒盐噪声、随机剪裁、随机仿射变换、随机对比度明暗度变换、灰度化处理和二值化处理。

进一步地，所述深度学习网络的搭建过程为：将S1中图像尺寸调整为448*448，再将图像分割为7*7个网格，设计的网络结构总共包括24个卷积层，2个全连接层，包括预训练分类网络和训练检测网络，所述预训练分类网络由20个卷积网络+平均池化层+1个全连接层组成，所述训练检测网络由4个卷积层+1个全连接层组成，所述网络结构的最后一层输出7*7*30的维度，每个1*1*30的维度对应一个网格，该1*1*30的维度中含有类别预测和目标坐标预测。

一种基于深度学习的多遮挡模糊场景人形识别系统，包括摄像机和服务器，所述摄像机和服务器电连接，所述服务器中设有人形识别算法模块，所述人形识别算法模块根据摄像机采集到的数据，采用基于深度学习的人形识别算法对行人进行检测和定位

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明采用基于深度学习的人形识别算法，在绝大多数极端场景有极好的容错性，能够在多遮挡光源复杂场景的行人快速识别和定位。

2.本发明在人形识别算法的采集图像步骤中，通过图像像素概率统计和图像像素叠加生成的标准背景图解决了以往帧差动态检测法不稳定的问题。

3.本发明人形识别算法中采用多种图像预处理方法，使得有效数据量增大1～2个数量级，使得少量的数据样本同样可以实现较好的训练效果，同时大量的随机化处理，是人工模拟环境多样化的过程，使得模型在更多陌生场景的应用中具有较好的鲁棒性和较好的可移植性。

4.本发明建立的行人检测模型可以同时实现识别和定位，区别于以往的先定位后识别的传统识别算法，具有更高的精度和可靠性，同时对算力的消耗更小，识别速度更快可以达到50～100fps，完全可以实对视频当中的行人实现识别，定位和跟踪，在实际应用中有非常广泛的应用。

附图说明

本发明将通过例子并参照附图的方式说明，在附图中：

图1是本发明系统整体结构示意图；

图2是本发明模型训练流程图；

图3是本发明人形识别过程图；

图4是本发明人形识别网络结构图；

图5是本发明系统报警流程图。

具体实施方式

为了本技术领域的人员更好的理解发明，下面结合附图和实施例对本发明进行详细说明。

一种基于深度学习的多遮挡模糊场景人形识别方法，包括以下步骤：

S1、图像采集：通过设置在设备层的摄像机采集图像数据样本；

S2、图像预处理：采用多种图像处理方法随机对S1中采集到的图像数据样本进行处理，得到数据集；

S3、行人检测模型训练：通过人工打标签的方式对上述S2中预处理后得到的数据集进行数据标注，同时搭建深度学习网络，根据实际需求调整网络参数并将标注后的数据集投入深度学习网络中进行训练；

S4、行人检测及定位：通过S3中训练后的行人检测模型处理实时图像，检测是否有行人并标定行人所在位置。

为了检测图像中是否存在指定目标(行人)，通过网络训练出来的行人检测模型处理图像中是否有行人并同时标定行人的所在位置，是一种同时实现识别和定位的算法，区别于以往的先定位后识别的传统识别算法，具有更高的精度和可靠性，同时对算力的消耗更小，识别速度更快可以达到50～100fps，完全可以实对视频当中的行人实现识别，定位和跟踪，在实际应用中有非常广泛的应用。

作为一种优选的实施方式，根据S4得到的行人信息启动报警流程，并判断是否触发报警。

作为一种优选的实施方式，所述系统报警流程为：

流程1、摄像机开始行人检测采集数据；

流程2、进行动态检测并判断是否发现移动目标，若不是，返回流程1，若是，进入下一流程；

流程3、加载行人检测模型；

流程4、进行行人识别并判断是否有人，若不是，返回流程1，若是，进入下一流程；

流程5、返回行人数量及行人坐标并根据布防策略判断是否报警，若无需报警，返回流程1，若需要报警，则进入下一流程；

流程6、拍照并上传服务器；

流程7、发送报警信息。

作为一种优选的实施方式，所述步骤S1中摄像机进行动态检测，通过图像像素概率统计和图像像素叠加，生成标准背景图，将摄像机采集的图像和标准背景图做差，计算动差像素点数量，达到阀值即视为存在运动物体，再进行图像采集操作。

作为一种优选的实施方式，所述多种图像处理方法包括椒盐噪声、随机剪裁、随机仿射变换、随机对比度明暗度变换、灰度化处理和二值化处理，随机处理的方式为：系统先自动生成随机数，根据该随机数随机选取图像处理方法，对原始数据图像进行特征提取，扩充有效数据量。这样使得有效数据量增大1～2个数量级，使得少量的数据样本同样可以实现较好的训练效果，同时大量的随机化处理，是人工模拟环境多样化的过程，使得模型在更多陌生场景的应用中具有较好的鲁棒性和较好的可移植性。

作为一种优选的实施方式，所述深度学习网卷积层+1个全连接层组成，所述网络结构的最后一层输出7*7*30的维度，每个1*1*30的络的搭建过程为：将S1中图像尺寸调整为 448*448，再将图像分割为7*7个网格，设计的网络结构总共包括24个卷积层，2个全连接层，包括预训练分类网络和训练检测网络，所述预训练分类网络由20个卷积网络+平均池化层+1个全连接层组成，所述训练检测网络由4个维度对应一个网格，该1*1*30的维度中含有类别预测和目标坐标预测，总的来讲就是让网格负责类别信息，过滤区主要负责坐标信息(部分负责类别信息和可信度信息)。

一种基于深度学习的多遮挡模糊场景人形识别系统，包括摄像机和服务器，所述摄像机和服务器电连接，所述服务器中设有人形识别算法模块，所述人形识别算法模块根据摄像机采集到的数据，采用基于深度学习的人形识别算法对行人进行检测和定位。

系统构建的步骤如下：

1.部署摄像机与计算所需计算机；

2.配置好程序运行所需环境；

3.使用摄像机采集图像；

4.初始化深度学习网络；

5.把图像输入识别出图像里的行人；

6.返回行人的坐标信息和事件触发时间；

7.根据返回信息触发报警，并拍照上传。

以上所述，仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干变形和改进，这些都属于发明的保护范围。

Claims (7)

1.一种基于深度学习的多遮挡模糊场景人形识别方法，其特征在于，包括以下步骤：

S1、图像采集：通过图像采集模块采集图像数据样本；

S2、图像预处理：采用多种图像处理方法随机对S1中采集到的图像数据样本进行处理，得到数据集；

S3、行人检测模型训练：通过人工打标签的方式对上述S2中预处理后得到的数据集进行数据标注，同时搭建深度学习网络并调整网络参数后，再将标注后的数据集投入深度学习网络中进行训练；

S4、行人检测及定位：通过S3中训练后的行人检测模型处理实时图像，检测并得到行人信息。

2.根据权利要求1所述的一种基于深度学习的多遮挡模糊场景人形识别方法，其特征在于，根据S4得到的行人信息启动报警流程，并判断是否触发报警。

3.根据权利要求2所述的一种基于深度学习的多遮挡模糊场景人形识别方法，其特征在于，所述系统报警流程为：

流程1、图像采集模块开始行人检测采集数据；

流程2、进行动态检测并判断是否发现移动目标，若不是，返回流程1，若是，进入下一流程；

流程3、加载行人检测模型；

流程4、进行行人识别并判断是否有人，若不是，返回流程1，若是，进入下一流程；

流程5、返回行人数量及行人坐标并根据布防策略判断是否报警，若无需报警，返回流程1，若需要报警，则进入下一流程；

流程6、拍照并上传服务器；

流程7、发送报警信息。

4.根据权利要求1所述的一种基于深度学习的多遮挡模糊场景人形识别方法，其特征在于，所述步骤S1中图像采集模块进行动态检测，通过图像像素概率统计和图像像素叠加，生成标准背景图，将图像采集模块采集的图像和标准背景图做差，计算动差像素点数量，达到阀值即视为存在运动物体，再进行图像采集操作。

5.根据权利要求1所述的一种基于深度学习的多遮挡模糊场景人形识别方法，其特征在于，所述多种图像处理方法包括椒盐噪声、随机剪裁、随机仿射变换、随机对比度明暗度变换、灰度化处理和二值化处理。

6.根据权利要求1所述的一种基于深度学习的多遮挡模糊场景人形识别方法，其特征在于，所述深度学习网络的搭建过程为：将S1中图像尺寸调整为448*448，再将图像分割为7*7个网格，设计的网络结构总共包括24个卷积层，2个全连接层，包括预训练分类网络和训练检测网络，所述预训练分类网络由20个卷积网络+平均池化层+1个全连接层组成，所述训练检测网络由4个卷积层+1个全连接层组成，所述网络结构的最后一层输出7*7*30的维度，每个1*1*30的维度对应一个网格，该1*1*30的维度中含有类别预测和目标坐标预测。

7.一种基于深度学习的多遮挡模糊场景人形识别系统，包括图像采集模块和服务器，所述图像采集模块和服务器电连接，其特征在于，所述服务器中设有人形识别算法模块，所述人形识别算法模块根据图像采集模块采集到的数据，采用基于深度学习的人形识别算法对行人进行检测和定位。