CN110633641A - 一种智能安防行人检测方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开了一种智能安防行人检测方法、系统、装置及存储介质，其通过制作行人检测网络的训练和检测数据集，进行行人检测网络的训练，最后通过行人检测网络的识别过程实现行人检测。可见，本发明实施例具有智能自动化程度高、投入设备购买成本低、处理效率高且识别准确的优点，可广泛应用于智能安防行人检测领域中。

Description

一种智能安防行人检测方法、系统、装置及存储介质

技术领域

本发明涉及计算机视觉和深度学习技术领域，具体涉及一种智能安防行人检测方法、系统、装置及存储介质。

背景技术

智能化安防技术随着科学技术的发展与进步和二十一世纪信息技术的腾飞已迈入了一个全新的领域，智能化安防技术与计算机之间的界限正在逐步消失，没有安防技术社会就会显得不安宁，世界科学技术的前进和发展就会受到影响。

智能安防监控系统是当今城市居民对家庭住宅、居民社区、停车场等地方的安全性、智能化方面提出的新需求，而行人检测又是计算机视觉领域的一个重要研究方向，也是智能安防监控系统中的核心部分。过去的监控工作都是由工作人员在工作室内一直观看监控视频实现的，长期这样的工作会让工作人员因为身体疲劳而分神，不能及时的处理突发情况，而行人检测可以减轻工作人员的负担，既节省了资源也提高了检测的准确度。

行人检测技术是通过图像和计算机视觉处理算法，对所给视频或者图片中的行人进行智能检测识别。目前机器学习的目标检测方法普遍用于行人检测中，如张姣等人(张姣,肖江剑,周传宏.基于级联网络的智能视频监控下的行人检测[J].计量与测试技术,2018,(08):104-108.)采用三级CNN网络，引入级联CNN网络在拥挤场景中准确地检测行人，为跟踪行人奠定了基础。但是其网络层数较少，检测精度有待提高。

本申请通过制作大量丰富的数据集，去训练神经网络，其中大量的数据集中包括了不同的行人，即包含了不同的人体形状和外貌，不同运动方式的特征，以及行人服饰和姿势，又因为制作数据集时考虑不同时间不同光照条件不同天气等因素去拍照，经过数据集训练的神经网络模型，可以学习到以上特征，进行更好的检测。

发明内容

有鉴于此，本发明实施例的目的是提供一种智能安防行人检测方法、系统、装置及存储介质。

第一方面，本发明实施例提供了一种智能安防行人检测方法，包括以下步骤：

制作行人检测网络的训练数据集和检测数据集；

行人检测网络的训练；

共用同一个卷积神经网络的检测识别过程。

进一步，所述制作行人检测网络的训练数据集和检测数据集这一步骤，其包括：

从公开的VOC数据集中标注出行人，生成对应的标注及标签信息；

采集不同场景下的行人画面图像，包含多种姿态，多种背景及多种情形，对采集的图像做出行人标记，生成对应的标注及标签信息并转换为VOC数据集标准。

进一步，所述行人检测网络的训练这一步骤，其包括：

第一步，区域生成网络RPN使用随机梯度下降进行端到端的训练。采用采样方法进行训练，每个mini-batch从一张图片中采样多个锚点，从每张图片中随机选取256个锚点计算每个mini-batch的损失函数。训练中，用零均值，标准差为0.01的高斯分布随机初始化所有新加的层。所有其他层(例如，共享的卷积层)会由ImageNet分类任务预训练的模型初始化；

第二步，检测网络也利用ImageNet预训练的网络初始化。对输入图像进行5层卷积网络的特征提取，第5层特征图(CONV5)是一个256×256的特征图，将256个通道内的全部特征串联成一个高维(4096维)特征向量，后面添加另一个4096维的特征层，形成FC7。由FC7特征层可预测：①候选区域框属于每个类别的概率；②候选区域对应的目标对象的更合适的位置，用它相对于候选区域框的2个平移和2个放缩共4个参数表示。通过预先标记的信息利用反向传播算法对该检测网络进行微调；

第三步，两个网络的CNN共享和联合调优。利用第二步得到的检测网络初始化区域建议网络的训练，并且固定住所有共享的卷积层，只微调区域建议网络独有的参数层。这样两个网络就可以共享卷积层了。最后，保持共享的卷积层不变，微调检测网络独有的层。这样，两个网络就可以共享卷积层，并可以被合并为一个统一的网络进行测试。

进一步，所述共用同一个卷积神经网络的检测识别过程这一步骤，其中：

区域建议网络RPN和检测网络两个网络最终可共用同一个5层的卷积神经网络，这使整个检测过程只需完成系列卷积运算即可完成检测识别过程，彻底解决了原来区域建议步骤时间长开销大的瓶颈问题。通过行人检测网络的检测识别过程，最终完成行人检测。

进一步，还包括CUDA编程对非极大值抑制部分的加速，其中，在RPN的非极大值抑制计算部分采用CUDA技术对算法进行加速，并由GPU动态调度和执行，RPN网络中对按照置信度从高到低留下的3000个候选框进行非极大值抑制的计算，加速实际的运算过程。

进一步，所述目标检测算法为基于深度学习的卷积神经网络模型。

第二方面，本发明实施例提供了一种智能安防行人检测系统，包括：

获取待检测图像；

对所述待检测图像进行行人检测，以获得行人检测框；

根据所述行人检测框筛选出得分高的结果，作为行人检测结果。

第三方面，本发明实施例提供了一种智能安防行人检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述一种智能安防行人检测方法。

第四方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述一种智能安防行人检测方法。

第五方面，本发明实施例提供了一种智能安防行人检测系统，包括图像采集设备以及与所述图像采集设备连接的计算机设备；其中，

所述图像采集设备，用于对行人进行拍摄；

所述计算机设备包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述一种智能安防行人检测方法。

上述本发明实施例中的一个或多个技术方案具有如下优点：本发明实施例提出一种智能安防行人检测方法，采用了区域建议网络加检测网络，其网络结构要复杂很多，区域建议网络部分先遍历前面卷积得到的特征图，针对每个点生成九个不同的锚来作为初始检测框，在通过区域建议网络的两部分进行分类和回归，并采用非极大值抑制及CUDA加速技术，快速的精选出合适的检测框，最后通过检测网络以及全连接层完成分类，有效提高了行人检测的速率，满足了行人检测的实时性需求，并且具有较高的识别准确率。

附图说明

图1是本发明实施例一种智能安防行人检测方法的一具体实施例步骤流程示意图；

图2是本发明实施例一种智能安防行人检测系统的一具体实施例步骤流程示意图；

图3是本发明实施例一种智能安防行人检测装置的一具体实施例结构框图；

图4是本发明实施例一种智能安防行人检测系统的一具体实施例结构框图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

本发明实施例提供了一种智能安防行人检测方法，包括以下步骤：

制作行人检测网络的训练数据集和检测数据集；

行人检测网络的训练；

区域建议网络RPN和检测网络共用同一个卷积神经网络的检测识别过程。

进一步，所述制作行人检测网络的训练数据集和检测数据集这一步骤，其包括：

从公开的VOC数据集中标注出行人，生成对应的标注及标签信息；

采集不同场景下的行人画面图像，包含多种姿态，多种背景及多种情形，对采集的图像做出行人标记，生成对应的标注及标签信息并转换为VOC数据集标准。

所述行人检测网络的训练这一步骤，其包括：

第一步，区域建议网络RPN使用随机梯度下降进行端到端的训练。用零均值、标准差为0.01的高斯分布随机初始化RPN网络中特有的网络层(RPN网络中特有的网络层，即不与检测网络共享的层)；RPN网络的所有其他层(例如，共享的卷积层)会由ImageNet分类任务预训练的模型初始化；

采用采样方式进行训练，即随机将训练数据集中的图片分成若干个mini-batch，每个mini-batch对训练数据集的每张图片分别采样多个锚点，一个批中的一组数据共同决定了本次梯度的方向，按批来更新参数，得到训练好的区域建议网络RPN，小批的梯度下降，把数据分为若干个批这样，下降起来就不容易跑偏，减少了随机性，同时因为批的样本数与整个数据集相比小很多，减少了计算量；

第二步，训练检测网络：先利用ImageNet预训练的网络对检测网络进行初始化，再将训练数据集的图片输入到检测网络，对输入图像进行5层卷积网络的特征提取，第5层特征图(CONV5)是一个256×256的特征图，将256个通道内的全部特征串联成一个高维(4096维)特征向量，后面添加另一个4096维的特征层，形成FC7。由FC7特征层可预测：①候选区域框属于每个类别的概率；②候选区域对应的目标对象的更合适的位置，用它相对于候选区域框的2个平移和2个放缩共4个参数表示。通过预先标记的信息利用反向传播算法对该检测网络进行微调，得到训练好的检测网络；

第三步，两个网络的CNN共享和联合调优。利用第二步得到的训练后的检测网络初始化第一步训练后的区域建议网络，并且固定住所有共享的卷积层，只微调区域建议网络独有的参数层。这样两个网络就可以共享卷积层了。最后，保持共享的卷积层不变，微调检测网络独有的层。这样，两个网络就可以共享卷积层，并可以被合并为一个统一的网络进行测试。

进一步，所述共用同一个卷积神经网络的检测识别过程这一步骤，其中：

区域建议网络RPN和检测网络两个网络最终可共用同一个5层的卷积神经网络，这使整个检测过程只需完成系列卷积运算即可完成检测识别过程，彻底解决了原来区域建议步骤时间长开销大的瓶颈问题。通过行人检测网络的检测识别过程，最终完成行人检测。

进一步，还包括CUDA编程对非极大值抑制部分的加速，其中，在RPN的非极大值抑制计算部分采用CUDA技术对算法进行加速，并由GPU动态调度和执行，RPN网络中对按照置信度从高到低留下的3000个候选框进行非极大值抑制的计算，加速实际的运算过程。

进一步，所述目标检测算法为基于深度学习的卷积神经网络模型。

第二方面，本发明实施例提供了一种智能安防行人检测系统，包括：

获取待检测图像；

对所述待检测图像进行行人检测，以获得行人检测框；

根据所述行人检测框筛选出得分高的结果，作为行人检测结果。

第三方面，本发明实施例提供了一种智能安防行人检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述一种智能安防行人检测方法。

第四方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述一种智能安防行人检测方法。

第五方面，本发明实施例提供了一种智能安防行人检测系统，包括图像采集设备以及与所述图像采集设备连接的计算机设备；其中，

所述图像采集设备，用于对行人进行拍摄；

所述计算机设备包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述一种智能安防行人检测方法。

实施例1

如图1所示，本发明实施例提供了一种智能安防行人检测方法，其包括的步骤如下所示。

S101、制作行人检测网络的训练数据集和检测数据集。

具体地，首先用拍摄设备(包括并不限于摄像机或高清摄像头等)采集不同场景下的行人画面图像，如商场门口，小区门口，学校门口等多种场景，拍摄到的行人应包含不同运动姿态，不同服饰及长相特征等，拍摄图像还应包含白天夜晚不同亮度的影响，以保证数据集的多样性。其次，用labelImg等标注软件对采集到的图像进行处理，对每一张图像做出行人标记，生成对应的标注及标签信息并规范为VOC数据集格式，制作的数据集大约包含两万张行人图像和两万张对应的xml标签信息文件，以及用于将数据集分为训练和检测数据集的txt文件。

S102、行人检测网络的训练。

具体地，首先用随机梯度下降对区域建议网络进行端到端的训练，采用采样方法，每个mini-batch从一张图片中采样多个锚点，从每张图片中随机选取256个锚点计算每个mini-batch的损失函数，用零均值、标准差为0.01的高斯分布随机初始化所有新加的层，所有其他层(例如，共享的卷积层)会由ImageNet分类任务预训练的模型初始化。其次，用ImageNet预训练的网络初始化检测网络，对输入图像进行5层卷积网络的特征提取，利用训练好的检测网络初始化训练好的区域建议网络，并且固定住所有共享的卷积层，只微调区域建议网络独有的参数层，这样两个网络就可以共享卷积层了。最后，保持共享的卷积层不变，微调检测网络独有的层。这样，两个网络就可以共享卷积层，并可以被合并为一个统一的网络进行测试。

S103、共用同一个卷积神经网络的检测识别过程。

具体地，区域建议网络RPN和检测网络两个网络最终可共用同一个5层的卷积神经网络，这使整个检测过程只需完成系列卷积运算即可完成检测识别过程，彻底解决了原来区域建议步骤时间长开销大的瓶颈问题。检测识别的实现步骤为：对整个图像进行系列卷积运算，得到特征图CONV5；由区域建议网络在特征图上生成大量候选区域框；对候选区域框进行非最大值抑制，保留得分较高的前2000个框；取出特征图上候选区域框内的特征形成高维特征向量，由检测网络计算类别得分，并预测更合适的目标外围框位置。通过行人检测网络的检测识别过程，最终完成行人检测。

进一步作为本实施例的优选实施方式，所述基于目标检测的智能安防行人检测方法，还包括CUDA编程对非极大值抑制部分的加速。

具体地，CUDA技术通过大量可并行执行的线程对算法进行加速，并由GPU动态调度和执行。当计算很多个不同的候选框之间的重叠比时，进行的就是大量重复的简单操作，所以该过程完全可以用CUDA进行加速。本发明实施例在执行时将每个候选框分别安排一个线程，在RPN的非极大值抑制计算部分采用CUDA技术对算法进行加速，并由GPU动态调度和执行，RPN网络中对按照置信度从高到低留下的3000个候选框进行非极大值抑制的计算，加速实际的运算过程。

由上述可得，通过使用本发明实施例，经过行人检测网络的检测识别过程，最终完成了行人检测。这样相较于传统的行人检测技术，本发明实施例的方案具有智能自动化程度高、投入设备购买成本低、处理效率高且识别准确的优点。

如图2所示，本发明实施例还提供了一种智能安防行人检测系统，包括：

S201、获取待检测图像；

S202、对所述待检测图像进行行人检测，以获得行人检测框；

S203、根据所述行人检测框筛选出得分高的结果，作为行人检测结果。

可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

如图3所示，本发明实施例还提供了一种智能安防行人检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述方法实施例所述的智能安防行人检测方法步骤。

可见，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

此外，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行上述方法实施例所述的智能安防行人检测方法步骤。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

如图4所示，本发明实施例还提供了一种智能安防行人检测系统，包括图像采集设备以及与所述图像采集设备连接的计算机设备；其中，

所述图像采集设备，用于对行人进行拍摄；

所述计算机设备包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述方法实施例所述的智能安防行人检测方法步骤。

具体地，对于所述图像采集设备，其主要通过摄像头来实现，并且其可具体包括至少一个摄像头；而对于所述计算机设备，其可为不同类型的电子设备，包含但不限于有台式电脑、手提电脑等终端。

可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种智能安防行人检测方法，其特征在于，包括以下步骤：

制作行人检测网络的训练数据集和检测数据集；

行人检测网络的训练；

共用同一个卷积神经网络的检测识别过程。

2.根据权利要求1所述一种智能安防行人检测方法，其特征在于，所述制作行人检测网络的训练数据集和检测数据集这一步骤，其包括：

从公开的VOC数据集中标注出行人，生成对应的标注及标签信息；

采集不同场景下的行人画面图像，包含多种姿态，多种背景及多种情形，对采集的图像做出行人标记，生成对应的标注及标签信息并转换为VOC数据集标准。

3.根据权利要求1所述一种智能安防行人检测方法，其特征在于，所述行人检测网络的训练这一步骤，其包括：

第一步，区域建议网络RPN使用随机梯度下降进行端到端的训练。采用采样方法进行训练，每个mini-batch从一张图片中采样多个锚点，从每张图片中随机选取256个锚点计算每个mini-batch的损失函数。训练中，用零均值，标准差为0.01的高斯分布随机初始化所有新加的层。所有其他层(例如，共享的卷积层)会由ImageNet分类任务预训练的模型初始化；

第二步，检测网络也利用ImageNet预训练的网络初始化。对输入图像进行5层卷积网络的特征提取，第5层特征图(CONV5)是一个256×256的特征图，将256个通道内的全部特征串联成一个高维(4096维)特征向量，后面添加另一个4096维的特征层，形成FC7；由FC7特征层可预测：①候选区域框属于每个类别的概率；②候选区域对应的目标对象的更合适的位置，用它相对于候选区域框的2个平移和2个放缩共4个参数表示。通过预先标记的信息利用反向传播算法对该检测网络进行微调；

第三步，两个网络的CNN共享和联合调优。利用第二步得到的检测网络初始化区域建议网络的训练，并且固定住所有共享的卷积层，只微调区域建议网络独有的参数层。

这样两个网络就可以共享卷积层了；最后，保持共享的卷积层不变，微调检测网络独有的层。这样，两个网络就可以共享卷积层，并可以被合并为一个统一的网络进行测试。

4.根据权利要求1所述一种智能安防行人检测方法，其特征在于，所述共用同一个卷积神经网络的检测识别过程这一步骤，其中：

区域建议网络RPN和检测网络两个网络最终可共用同一个5层的卷积神经网络，这使整个检测过程只需完成系列卷积运算即可完成检测识别过程，彻底解决了原来区域建议步骤时间长开销大的瓶颈问题。通过行人检测网络的检测识别过程，最终完成行人检测。

5.根据权利要求1-4任一项所述一种智能安防行人检测方法，其特征在于，还包括CUDA编程对非极大值抑制部分的加速，其中，在RPN的非极大值抑制计算部分采用CUDA技术对算法进行加速，并由GPU动态调度和执行，RPN网络中对按照置信度从高到低留下的3000个候选框进行非极大值抑制的计算，加速实际的运算过程。

6.根据权利要求1-4任一项所述一种智能安防行人检测方法，其特征在于，所述目标检测算法为基于深度学习的卷积神经网络模型。

7.一种智能安防行人检测系统，其特征在于，包括：

获取待检测图像；

对所述待检测图像进行行人检测，以获得行人检测框；

根据所述行人检测框筛选出得分高的结果，作为行人检测结果。

8.一种智能安防行人检测装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述一种智能安防行人检测方法。

9.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-6任一项所述一种智能安防行人检测方法。

10.一种智能安防行人检测系统，其特征在于，包括图像采集设备以及与所述图像采集设备连接的计算机设备；其中，

所述图像采集设备，用于对行人进行拍摄；

所述计算机设备包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述一种智能安防行人检测方法。

Images