CN110909648B - 使用神经网络在边缘计算设备上实现的人流量监控方法 - Google Patents

Abstract

本发明公开了一种使用神经网络在边缘计算设备上实现的人流量监控方法，该方法首先从监控摄像头获取视频流，其次由边缘计算设备对视频流中的图像进行行人检测得到行人位置，再次判断在当前帧中检测到的行人是否在前一帧出现过并为他们分配编号，最后通过判断行人在相邻帧中的移动方向统计指定方向的人流量。本发明基于神经网络在计算机视觉领域的应用，并且克服了基于神经网络的方法对计算设备要求较高等问题，使得该方法可以在边缘计算设备上实现，从而降低设备成本并且提高灵活性，同时达到较高的检测准确率和较快的检测速度。

Description

使用神经网络在边缘计算设备上实现的人流量监控方法

技术领域

本发明涉及计算机视觉和深度学习技术，特别涉及一种使用神经网络在边缘计算设备上实现的人流量监控方法。

背景技术

随着当今社会对城市交通便利性要求的提高，准确统计公共交通人流量，合理规划公共交通线路和车辆数量有了更高的研究价值。深度学习技术作为人工智能的热门研究趋势之一，被广泛应用到目标识别和检测等场景中。最近，基于深度学习的人头目标识别技术被应用于人流量检测和统计任务中，将人工标注好人头目标位置的图片数据送入卷积神经网络中进行训练，学习到人头目标特征的神经网络可以检测到新的图片中人头目标的位置，进而进行下一步统计。深度学习在解决许多问题时达到了比其他方法更好的效果，但其一般需要较高的计算量，对于硬件要求较高，难以部署到边缘计算设备上，而服务器往往十分昂贵，且响应性能不如边缘计算，使用普通计算机则相较于边缘计算设备有更高的成本。使用深度学习在边缘计算设备上实现人流量监控还有一定的发展空间。

发明内容

本发明的目的在于克服现有技术需要的计算量大，对硬件设备要求高等缺点，提供一种用神经网络在边缘计算设备上实现的人流量监控方法，可以部署在公交车等移动环境中，应用于公共交通人流量统计。

实现本发明目的的具体技术方案是：

一种使用神经网络在边缘计算设备上实现的人流量监控方法，该方法使用的设备包括监控摄像头、控制中心和显示屏，控制中心使用的是边缘计算设备，具体为树莓派和英特尔神经计算棒，特点是该方法包括如下步骤：

步骤1：控制中心获取监控摄像头传入的视频流中的其中一帧图像，摄像头自顶向下拍摄，对行人的检测相当于对人头的检测；

步骤2：将图像送入卷积神经网络模型进行人头检测得到行人位置；

步骤3：在第一帧完成步骤2后建立一个存储列表，为每一个行人分配唯一编号，存储列表包含行人的编号和位置；以后的每一帧完成步骤2后判断当前帧中的行人是否在存储列表中：若不在，为行人分配编号作为唯一标识，将行人的编号和位置加入存储列表中；若在，更新已有编号行人的位置；其中，所述判断当前帧中的行人是否在存储列表中是通过计算前后两帧中人头目标的中心距离实现的；

步骤4：在监控画面上设置基准线，根据更新前后的行人列表中每一个行人编号对应的行人位置变化判断其移动方向，判断行人是否从指定方向越过基准线以决定是否将行人加入计数，更新当前人数。

所述卷积神经网络模型具体包括基础模型和检测两部分；其中，基础模型由15个卷积模块依次排列组成：第1个卷积模块使用卷积核大小为3*3的卷积层叠加批归一化和激活层；第2到第12个卷积模块使用深度级可分离卷积，每个模块的结构为：卷积核大小为3*3深度级卷积层、批归一化层、激活层、卷积核大小为1*1的卷积层、批归一化层、激活层依次叠加；第13到第15个模块结构与第1个卷积模块相同；检测的输入为基础模型的第11到第15个模块输出的特征图，为这些特征图设置尺度和长宽比不同的先验框，每个特征图用两个卷积核大小为3*3的卷积层分别给出每个先验框的类别置信度和边界框相对于先验框的坐标偏移，置信度最大的类别为该先验框的类别，再根据位置偏移计算出该先验框对应的边界框的真实坐标；涉及背景和人头两个类别，取预测类别为人头的先验框对应的边界框，得到了图像中人头的边界框坐标，即获取了图像中的行人位置。

本发明有益效果

本发明设计的卷积神经网络模型能够在边缘计算设备上使用，能够降低设备成本并且保证检测效率。

本发明只需用到摄像头、树莓派、神经计算棒和显示屏，体积较小，可部署在车辆等移动环境中。

附图说明

图1为本发明流程图；

图2为本发明的卷积神经网络模型结构图；

图3为本发明实施例设备连接示意图。

具体实施方式

以下结合具体实施例，对本发明使用神经网络在边缘计算设备上实现的人流量监控方法作详细说明。

本发明所用到的硬件设备有摄像头、控制中心及显示屏，控制中心使用树莓派和神经计算棒，摄像头、神经计算棒、显示屏都连接到树莓派上。摄像头将采集到的视频数据传输到树莓派，树莓派和神经计算棒在获取到数据后进行人头目标的检测和人数计算，其中检测人头目标部分会在神经计算棒上进行。显示屏显示标示出行人位置的视频画面和当前人数。

参阅图1，本发明具体包括如下步骤：

步骤1：控制中心获取监控摄像头传入的视频流中的其中一帧图像，摄像头自顶向下拍摄，对行人的检测相当于对人头的检测；

步骤2：将图像送入卷积神经网络模型进行人头检测得到行人位置；

参阅图2，卷积神经网络模型包括基础模型部分和检测部分。其中，基础模型部分由15个卷积模块依次排列组成：第1个卷积模块使用卷积核大小为3*3的卷积层叠加批归一化和激活层；第2到第12个卷积模块使用深度级可分离卷积，每个模块的结构为卷积核大小为3*3深度级卷积层、批归一化层、激活层、卷积核大小为1*1的卷积层、批归一化层、激活层依次叠加；第13到第15个模块结构与第1个卷积模块相同。检测部分的输入为基础模型部分第11到第15个模块输出的特征图，为这些特征图设置尺度和长宽比不同的先验框，每个特征图用两个卷积核大小为3*3的卷积层分别给出每个先验框的类别置信度和边界框相对于先验框的坐标偏移，置信度最大的类别为该先验框的类别，再根据位置偏移计算出该先验框对应的边界框的真实坐标。本方法涉及背景和人头两个类别，取预测类别为人头的先验框对应的边界框即得到了图像中人头的边界框坐标，即获取了图像中的行人位置；

步骤3：根据检测到的人头目标的中心点的位置建立或更新存储列表。在第一帧完成步骤2后建立存储列表，为每一个行人分配唯一编号，存储列表包含行人的编号和位置。其后的每一帧完成步骤2后更新存储列表：判断当前帧中的行人是否已经存在存储列表中：若存在，说明该人头目标在之前的帧中已经出现过，更新已有编号行人的位置；若不存在，为行人分配编号作为唯一标识，将行人的编号和位置加入存储列表中，并增加总人数的个数。其中判断检测到的人头目标是否已经在存储列表中通过计算前后两帧中人头目标的中心距离实现；

步骤4：在监控画面上设置基准线，根据更新前后的行人列表中每一个行人编号对应的行人位置变化判断其移动方向，判断行人是否从指定方向越过基准线以决定是否将行人加入计数，更新当前人数。本发明可以将检测结果通过显示屏显示，即显示屏可以显示摄像头采集的当前画面，检测到的人头目标会以方框标示，并在右上角显示当前人数。

实施例

本发明可在公交车等移动场景中使用，具体按以下步骤实施：

如图3所示，连接好设备，接通摄像头和树莓派的电源。

开启摄像头和树莓派。

之后会自动检测摄像头拍摄画面中的人头目标并进行计数，显示屏显示当前画面，检测到的人头目标会以方框标示，并在右上角显示当前人数，直到关闭摄像头或者树莓派。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求为保护范围。

Claims (1)

1.一种使用神经网络在边缘计算设备上实现的人流量监控方法，该方法使用的设备包括监控摄像头、控制中心和显示屏，控制中心使用的是边缘计算设备，具体为树莓派和英特尔神经计算棒，其特征在于，该方法包括如下步骤：

步骤1：控制中心获取监控摄像头传入的视频流中的其中一帧图像，摄像头自顶向下拍摄，对行人的检测相当于对人头的检测；

步骤2：将图像送入卷积神经网络模型进行人头检测得到行人位置；

步骤3：在第一帧完成步骤2后建立一个存储列表，为每一个行人分配唯一编号，存储列表包含行人的编号和位置；以后的每一帧完成步骤2后判断当前帧中的行人是否在存储列表中：若不在，为行人分配编号作为唯一标识，将行人的编号和位置加入存储列表中；若在，更新已有编号行人的位置；其中，所述判断当前帧中的行人是否在存储列表中是通过计算前后两帧中人头目标的中心距离实现的；

步骤4：在监控画面上设置基准线，根据更新前后的行人列表中每一个行人编号对应的行人位置变化判断其移动方向，判断行人是否从指定方向越过基准线以决定是否将行人加入计数，更新当前人数；

所述卷积神经网络模型具体包括基础模型和检测两部分；其中，基础模型由15个卷积模块依次排列组成：第1个卷积模块使用卷积核大小为3*3的卷积层叠加批归一化和激活层；第2到第12个卷积模块使用深度级可分离卷积，每个模块的结构为：卷积核大小为3*3深度级卷积层、批归一化层、激活层、卷积核大小为1*1的卷积层、批归一化层、激活层依次叠加；第13到第15个模块结构与第1个卷积模块相同；检测的输入为基础模型的第11到第15个模块输出的特征图，为这些特征图设置尺度和长宽比不同的先验框，每个特征图用两个卷积核大小为3*3的卷积层分别给出每个先验框的类别置信度和边界框相对于先验框的坐标偏移，置信度最大的类别为该先验框的类别，再根据位置偏移计算出该先验框对应的边界框的真实坐标；涉及背景和人头两个类别，取预测类别为人头的先验框对应的边界框，得到了图像中人头的边界框坐标，即获取了图像中的行人位置。