CN110309717A - 一种基于深度神经网络的行人计数方法 - Google Patents

一种基于深度神经网络的行人计数方法 Download PDF

Info

Publication number
CN110309717A
CN110309717A CN201910435344.8A CN201910435344A CN110309717A CN 110309717 A CN110309717 A CN 110309717A CN 201910435344 A CN201910435344 A CN 201910435344A CN 110309717 A CN110309717 A CN 110309717A
Authority
CN
China
Prior art keywords
pedestrian
frame
neural network
tracking
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910435344.8A
Other languages
English (en)
Inventor
章澜岚
宋大治
张�浩
许立新
朱国
杨路辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING METRO CONSTRUCTION Co Ltd
Nanjing Panda Electronics Co Ltd
Nanjing Panda Information Industry Co Ltd
Original Assignee
NANJING METRO CONSTRUCTION Co Ltd
Nanjing Panda Electronics Co Ltd
Nanjing Panda Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING METRO CONSTRUCTION Co Ltd, Nanjing Panda Electronics Co Ltd, Nanjing Panda Information Industry Co Ltd filed Critical NANJING METRO CONSTRUCTION Co Ltd
Priority to CN201910435344.8A priority Critical patent/CN110309717A/zh
Publication of CN110309717A publication Critical patent/CN110309717A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络的行人计数方法，使用网络摄像机获取视频帧图像；利用深度神经网络进行目标检测，得到行人检测框；利用跟踪算法对行人框追踪，获得不同行人的运动轨迹；利用计数算法分析行人的运动轨迹，从而判断行人的行走方向及何时计数增加。本发明对于行人拥挤场景和行人稀疏场景均能进行监控计数，具有很高的实际应用价值，计算量小，误辩率低，且只使用单个摄像头，安装方便且对监控环境影响很小。

Description

一种基于深度神经网络的行人计数方法
技术领域
本发明涉及深度计算机视觉领域，具体涉及一种基于深度神经网络的行人计数方法。
背景技术
在智能视频监控技术领域中，对于行人计数的研究一直是本领域技术人员关注的核心。这是因为，通过对场景中的行人计数，出现突发事件时，可以有效地根据场景中人数的分布而合适地分散、疏散人流，最大程度地降低突发事件所带来的危害。
目前，行人计数的方法主要有以下四种：
基于压力传感器技术：通常压力传感器会被安装在行人通过的重区域内，当行人走过传感器检测区域时，由于体重不同会产生不同的电信号，通过电信号的变化实现客流量的统计，但因为设备经常接收踩踏，高密度的大客流长期通过会严重影响设备寿命，并且使检测准确率下降。
基于红外对射装置的行人检测方法：当行人通过红外检测装置时，导致接收装置无法接收，此时进行计数，目前此类方法无法对并行行人进行准确计数，并不适用于高密集场景。
基于无线电波行人检测技术：无线电波检测行人主要是计算在有人通过通道内，固定频率的监测电波的衰减量，通过专业设备计算衰减量，估计出通道内客流人数的多少，这种方法只能计算出一个数量范围，而且检测场景相对固定，很难对车站整体进行监控，专业设备采购费用昂贵。
基于视频图像分析的行人计数方法：主要可以分为传统图像处理方法和深度学习处理方法，传统图像处理利用人工设计的适用于检测人的特征，通过在图中检测这些特征有无判断行人是否存在，再利用检测到的“人”的特征进行目标跟踪，达到计数的目的，此种方法在行人稀疏场景下适用，一旦人群密集，行人间存在遮挡情况，检测的准确率将下降。
所以，获得一种准确、快速、实时、低成本的行人计数方法成为了本领域计数人员一直追求的目标。
发明内容
发明目的：为了解决行人计数的速度和准确率稳定性的问题，本发明提供一种基于深度神经网络的行人计数方法。
技术方案：一种基于深度神经网络的行人计数方法，包括以下步骤：
（1）获取视频帧图像，在图像上预先设定计数区域；
（2）利用深度神经网络对视屏帧图像进行目标检测，得到行人框；
（3）利用跟踪算法跟踪行人框，得到跟踪框，跟踪框包括行人框信息及跟踪ID，对每个行人增加跟踪ID作为属性，获得不同行人的运动轨迹；
（4）根据每个行人的跟踪框信息求得行人的中心点坐标，通过比较不同帧图像中的中心点坐标的变化得知行人的行走方向；将中心点的坐标与计数区域进行比较，当中心点的坐标第一次处于计数区域内时，联合行走方向在该行走方向上计数加一，之后该跟踪ID的行人不再参与计数。
进一步的，步骤（1）视频帧图像的获取方法为：利用网络摄像头获取视频流，对视频流进行解析处理，得到视频帧图像。
进一步的，步骤（1）视频流为RTSP流，通过CUDA框架利用GPU硬解的方式进行解析处理。
进一步的，步骤（2）中，采用基于回归的目标检测算法，检测网络采用yolo系列，输入为图像，输出为行人框信息，行人框信息记录为（x,y,w,h），x、y分别表示行人框左上角的横坐标、纵坐标，h、w分别表示行人框的长和宽。
进一步的，步骤（3）中，运动轨迹的获取包括：采用IOU比较及匈牙利关联算法，将行人框送入跟踪器进行跟踪，输出跟踪框信息，所述跟踪框信息包括所述行人框信息和跟踪ID。
进一步的，步骤（3）中，在跟踪过程中，若没有对应的跟踪器，则产生新的跟踪器。
有益效果：本发明提供一种基于深度神经网络的行人计数方法，对于行人拥挤场景和行人稀疏场景均能进行监控计数，尤其适合轨道交通实际场景，具有很高的实际应用价值，实时性高，误辩率低，且本发明现场只使用摄像头，成本低安装方便且对监控环境影响很小。
附图说明
图1是本发明的流程示意图；
图2是跟踪算法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
图1为基于深度神经网络的行人计数方法的基本流程图，首先对视频流处理，得到视频帧图像，然后进行行人检测，将检测到的行人框送给跟踪器，得到跟踪框，根据行人跟踪框中心点坐标的变化判断行人运动方向以及中心点是否处于计数区域进行计数判断。具体步骤如下：
1、利用网络摄像头获取视频帧图像。
从网络摄像头获取RTSP流，要将其解析成可用的视频帧图像，传统方法采用CPU软件，为了减轻CPU的压力，本实施例通过CUDA框架利用GPU硬解，不仅降低CPU压力，速度也更快。
2、利用深度神经网络进行目标检测，得到行人框。
为了兼顾速度与准确率，本发明采用基于回归检测算法yolo系列。检测获得行人框（x,y,w,h）信息，x、y分别表示行人框左上角的横坐标、纵坐标，h、w分别表示行人框的长和宽。
3、利用跟踪算法跟踪行人框，获得不同行人的运动轨迹。
将检测行人框送入跟踪器，通过IOU比较及匈牙利关联算法可以将每帧中的检测框与跟踪器对应起来，若没有对应的跟踪器，则产生新的跟踪器，获得的跟踪框包含（x,y,w,h）信息及跟踪ID，跟踪ID作为不同行人的唯一标志属性，用来确保每个人最多只计数一次，不重复计数。跟踪算法的流程图如图2所示。
4、利用计数算法分析行人的运动轨迹。
根据每个行人的跟踪框信息求得行人的中心点坐标，通过比较不同帧图像中的中心点坐标的变化得知行人的行走方向；将中心点的坐标与计数区域进行比较，当中心点的坐标第一次处于计数区域内时，联合行走方向在该行走方向上计数加一，之后该跟踪ID的行人不再参与计数。

Claims (6)

1.一种基于深度神经网络的行人计数方法，其特征在于，包括以下步骤：
（1）获取视频帧图像，在图像上预先设定计数区域；
（2）利用深度神经网络对视屏帧图像进行目标检测，得到行人框；
（3）利用跟踪算法跟踪行人框，得到跟踪框，跟踪框包括行人框信息及跟踪ID，对每个行人增加跟踪ID作为属性，获得不同行人的运动轨迹；
（4）根据每个行人的跟踪框信息求得行人的中心点坐标，通过比较不同帧图像中的中心点坐标的变化得知行人的行走方向；将中心点的坐标与计数区域进行比较，当中心点的坐标第一次处于计数区域内时，联合行走方向在该行走方向上计数加一，之后该跟踪ID的行人不再参与计数。
2.根据权利要求1所述的基于深度神经网络的行人计数方法，其特征在于，步骤（1）视频帧图像的获取方法为：利用网络摄像头获取视频流，对视频流进行解析处理，得到视频帧图像。
3.根据权利要求1所述的基于深度神经网络的行人计数方法，其特征在于，步骤（1）视频流为RTSP流，通过CUDA框架利用GPU硬解的方式进行解析处理。
4.根据权利要求1所述的基于深度神经网络的行人计数方法，其特征在于，步骤（2）中，采用基于回归的目标检测算法，检测网络采用yolo系列，输入为图像，输出为行人框信息，行人框信息记录为（x,y,w,h），x、y分别表示行人框左上角的横坐标、纵坐标，h、w分别表示行人框的长和宽。
5.根据权利要求4所述的基于深度神经网络的行人计数方法，其特征在于，步骤（3）中，运动轨迹的获取包括：采用IOU比较及匈牙利关联算法，将行人框送入跟踪器进行跟踪，输出跟踪框信息，所述跟踪框信息包括所述行人框信息和跟踪ID。
6.根据权利要求5所述的基于深度神经网络的行人计数方法，其特征在于，步骤（3）中，在跟踪过程中，若没有对应的跟踪器，则产生新的跟踪器。
CN201910435344.8A 2019-05-23 2019-05-23 一种基于深度神经网络的行人计数方法 Pending CN110309717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910435344.8A CN110309717A (zh) 2019-05-23 2019-05-23 一种基于深度神经网络的行人计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910435344.8A CN110309717A (zh) 2019-05-23 2019-05-23 一种基于深度神经网络的行人计数方法

Publications (1)

Publication Number Publication Date
CN110309717A true CN110309717A (zh) 2019-10-08

Family

ID=68074957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910435344.8A Pending CN110309717A (zh) 2019-05-23 2019-05-23 一种基于深度神经网络的行人计数方法

Country Status (1)

Country Link
CN (1) CN110309717A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909681A (zh) * 2019-11-22 2020-03-24 北京影谱科技股份有限公司 基于神经网络的车辆和行人视频计数方法和装置
CN111640135A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种基于硬件前端的tof摄像头行人计数方法
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法
WO2022156234A1 (zh) * 2021-01-25 2022-07-28 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
WO2023124474A1 (zh) * 2021-12-27 2023-07-06 同方威视技术股份有限公司 安检信息绑定方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096813A (zh) * 2011-02-10 2011-06-15 北京邮电大学 单目摄像机垂直视角下基于Blob的行人计数方法
CN108040221A (zh) * 2017-11-30 2018-05-15 江西洪都航空工业集团有限责任公司 一种智能视频分析与监控系统
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096813A (zh) * 2011-02-10 2011-06-15 北京邮电大学 单目摄像机垂直视角下基于Blob的行人计数方法
CN108040221A (zh) * 2017-11-30 2018-05-15 江西洪都航空工业集团有限责任公司 一种智能视频分析与监控系统
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909681A (zh) * 2019-11-22 2020-03-24 北京影谱科技股份有限公司 基于神经网络的车辆和行人视频计数方法和装置
CN111640135A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种基于硬件前端的tof摄像头行人计数方法
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法
WO2022156234A1 (zh) * 2021-01-25 2022-07-28 中国银联股份有限公司 一种目标重识别方法、装置及计算机可读存储介质
WO2023124474A1 (zh) * 2021-12-27 2023-07-06 同方威视技术股份有限公司 安检信息绑定方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110309717A (zh) 一种基于深度神经网络的行人计数方法
WO2020253308A1 (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN109644320B (zh) 一种使用wi-fi探针检测公共场所人流量的方法
CA3094424C (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
CN102324016B (zh) 一种高密度人群流量统计方法
CN106408940A (zh) 基于微波和视频数据融合的交通检测方法及装置
CN109827647B (zh) 一种桥梁动态称重系统
CN105654516B (zh) 基于目标显著性的卫星图像对地面弱小运动目标检测方法
CN103456172A (zh) 一种基于视频的交通参数测量方法
CN102136196A (zh) 一种基于图像特征的车辆测速方法
CN109839175B (zh) 一种桥梁活载优化识别系统
CN106327880B (zh) 一种基于监控视频的车速识别方法及其系统
CN104050818A (zh) 基于目标跟踪和特征点匹配的运动车辆测速方法
CN102346014A (zh) 一种基于图像处理的输电线路导线弧垂的测量方法
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN105184274A (zh) 一种基于深度图像获取客流速度和密度参数的方法
CN113313012B (zh) 一种基于卷积生成对抗网络的危险驾驶行为识别方法
CN112257533B (zh) 一种周界入侵检测识别方法
Lu et al. Information fusion and image processing based arc detection and localization in pantograph-catenary systems
CN116311775B (zh) 一种穿戴式近电报警设备及监控系统
CN110490110A (zh) 基于人体工程学特征检测的客流计数装置及方法
CN110049447A (zh) 一种基于位置信息的伙伴关系分析方法
CN202904792U (zh) 一种智能可视化报警系统
CN102497495B (zh) 一种用于多摄像机监控系统的目标关联方法
CN104408942A (zh) 车辆智能测速装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191008

RJ01 Rejection of invention patent application after publication