CN108021848A - 客流量统计方法及装置 - Google Patents

客流量统计方法及装置 Download PDF

Info

Publication number
CN108021848A
CN108021848A CN201610957732.9A CN201610957732A CN108021848A CN 108021848 A CN108021848 A CN 108021848A CN 201610957732 A CN201610957732 A CN 201610957732A CN 108021848 A CN108021848 A CN 108021848A
Authority
CN
China
Prior art keywords
pedestrian target
frame
target frame
pedestrian
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610957732.9A
Other languages
English (en)
Other versions
CN108021848B (zh
Inventor
毛泉涌
徐茜
万超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yu Vision Mdt Infotech Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201610957732.9A priority Critical patent/CN108021848B/zh
Publication of CN108021848A publication Critical patent/CN108021848A/zh
Application granted granted Critical
Publication of CN108021848B publication Critical patent/CN108021848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种客流量统计方法及装置，该方法包括：经Faster R‑CNN检测出待统计区域的实时监控图像中的目标框的宽度、高度信息；获得预设数量的目标框的宽度范围和高度范围并结合预设的经验系数，确定尺寸过滤区间；在后续客流量统计中，根据所述尺寸过滤区间，对经RPN网络检测出的待统计区域的实时监控图像中的目标候选框进行过滤，获取位于尺寸过滤区间的目标候选框并输入至Fast R‑CNN网络，获得行人目标框；跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹；当所述跟踪轨迹满足计数触发条件时，则计数。本申请能够大大提高目标检测的正确率，可适用于更广和较为复杂的应用场景。

Description

客流量统计方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种客流量统计方法及装置。
背景技术
在许多公共场合(例如商场、公园等)都部署了客流量统计系统，以便实时获取某一区域的客流量大小，并根据统计结果来确定是是否采取疏导措施，防止由于客流量较大造成的踩踏等危险事件。
常用的客流量统计方法有红外计数法和视频检测方法。其中基于视频检测技术的客流量统计方法一般采用Adaboost(一种迭代算法)或SVM(Support Vector Machine，支持向量机)等模式识别实时采集的图像中的人头或头肩，根据人头或头肩的数量进行客流量统计。此类方法在实时检测时需要兼顾准确率和性能，而监控范围越大，统计耗时会越多，因此需要限制人数统计的监控范围，一般是3米宽以下，进出人数在10人内。其次，此类方法在客流量较少时准确率较高，但人群密集时准确性会迅速下降。另外，此类方法对场景的限制较多，例如相机安装角度、高度，这些都会给现场施工增加难度和成本。例如，该类客流量统计方法一般适用于竖直安装(行人间遮挡少)的情况，水平安装(行人间遮挡多)时检测率会大大降低。
发明内容
有鉴于此，本申请提供一种客流量统计方法及装置，以解决现有技术中存在的人群密集时客流量统计准确性低的技术问题。
具体地，本申请是通过如下技术方案实现的：
根据本申请的第一方面，提供一种客流量统计方法，该方法包括：
经Faster R-CNN检测出待统计区域的实时监控图像中的目标框的宽度、高度信息；
当所述目标框达到预设数量时，获得所述预设数量的目标框的宽度范围和高度范围；
根据所述预设数量的目标框的宽度范围、高度范围以及预设的经验系数，确定尺寸过滤区间的宽度范围和高度范围；
在后续客流量统计中，根据所述尺寸过滤区间的宽度范围和高度范围，对经RPN网络检测出的所述待统计区域的实时监控图像中的目标候选框进行过滤，获取位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框；
跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹；
将各目标框的跟踪轨迹与预设的计数触发条件进行比较，当所述跟踪轨迹满足所述计数触发条件时，则计数。
根据本申请的第二方面，提供一种客流量统计装置，该装置包括：
目标检测模块，经Faster R-CNN检测出待统计区域的实时监控图像中的目标框的宽度、高度信息；
学习模块，当所述目标框达到预设数量时，获得所述预设数量的目标框的宽度范围和高度范围；
过滤尺寸确定模块，根据所述预设数量的目标框的宽度范围、高度范围以及预设的经验系数，确定尺寸过滤区间的宽度范围和高度范围；
过滤模块，在后续客流量统计中，根据所述尺寸过滤区间的宽度范围和高度范围，对经RPN网络检测出的所述待统计区域的实时监控图像中的目标候选框进行过滤，获取位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框；
跟踪模块，跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹；
计数模块，将各行人目标框的跟踪轨迹与预设的计数触发条件进行比较，当所述跟踪轨迹满足所述计数触发条件时，则计数。
本申请的有益效果：本申请基于Faster R-CNN神经网络对客流量进行统计，学习在场景固定时的目标(即行人)的尺寸过滤区间，再在原Faster R-CNN的RPN网络和Fast R-CNN网络之间插入根据尺寸过滤区间进行过滤的步骤，从而排除客流量计数时非行人产生的干扰，减小计算量，进而加快客流量统计效率，同时能够提高目标检测的正确率，降低误检率，可适用于更广和较为复杂的应用场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本实施例提供的一种客流量统计方法的流程图；
图2是本实施例提供的区域候选框生成网络RPN的流程示意图；
图3是本实施例提供的一种客流量统计装置的结构示意图；
图4是本实施例提供的目标优化模块的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
室内外大范围场景的客流量统计应用，可能需要覆盖10米以上，现有的摄像头头顶安装方式很难达到这一要求，此时就需要倾斜安装摄像头。在摄像头倾斜安装的情况下，行人相互遮挡的情况会比较突出，严重影响客流量统计的准确性。另外，当监控场景较大时，单个行人的像素占比较小，这会严重影响运动前景检测和特征提取，从而影响客流量统计的准确性。
目前适用于目标检测的神经网络方法有R-CNN(Region with ConvolutionalNeural Network，区域卷积神经网络)、SPP(Spatial Pyramid Pooling，空间金字塔池化)、Fast R-CNN(Fast Region with Convolutional Neural Network，快速区域卷积神经网络)、Faster R-CNN(Faster Region with Convolutional Neural Network，进一步提速的区域卷积神经网络算法)、YOLO(You Only Look Once)和SSD(Single Shot MultiBoxDetector，端到端多目标检测算法)等方法。其中R-CNN、SPP、Fast R-CNN的检测性能并不能满足快速检测的需求，而Faster R-CNN、YOLO、SSD等神经网络算法已可以实现25帧/s的实时检测。
本申请基于Faster R-CNN，阐述了基于神经网络的行人目标检测方法，及针对客流量统计这个应用，优化候选区域筛选，提高准确率，降低检测耗时。
其中，Faster R-CNN由RPN(Region Proposal Networks，区域候选框生成网络)和Fast R-CNN(Fast Region with Convolutional Neural Network，快速区域卷积神经网络)两部分组成。区域候选框生成网络RPN从图像中获取带有得分(即置信度)的候选区域目标(object proposals)，并和快速区域卷积神经网络Fast R-CNN共享卷积特征。
所述区域候选框生成网络RPN包括：ZF网络、一个卷积层以及两个全连接层。
其中，所述ZF网络包括5个卷积层、5个激活(relu)层、2个归一化(norm)层和2个池化(pool)层。
所述两个全连接层分别为box回归层(reg)和box分类层(cls)。
参见图1，本实施例提供的一种客流量统计方法，该方法包括：
S101：经Faster R-CNN检测出待统计区域的实时监控图像中的目标框的宽度、高度信息。
具体地，将待统计区域的实时监控图像输入至RPN网络和Fast R-CNN，获得目标框。所述区域候选框生成网络RPN的具体流程为：
输入一张图像，经过卷积神经网络(即ZF网络)，得到256个特征图(feature map)，接着使用一个小网络在256个特征图上滑动扫描，该小网络每次与特征图上的一个窗口(窗口大小为n*n，n为自然数，例如n＝3)全连接，映射得到一个256维的特征向量，将该特征向量送入box回归层(reg)和box分类层(cls)这两个全连接层(fc)。
输入图像的分辨率为1080p(Progressive Scan，逐行扫描)，为方便处理，本实施例对输入的图像进行归一化处理。具体地，将输入的图像缩放到大小为1000×563(像素大小)。
通过对卷积核中心(即用来生成推荐窗口的初始候选点(anchor))进行尺度、宽高比的采用实现平移不变形。
参见图2，使用了3种尺度(128×128、256×256、512×512)和3种宽度、高度比(1:1、1:2、2:1)的滑动窗口在每个滑动位置产生k(k＝9)个初始候选框(anchor boxes)。
本申请中，宽度和高度的单位均为像素值。
conv5卷积层(即ZF网络的最后一层，图像经过RPN网络中的conv5会生成很多幅大小相同的特征图，例如256幅特征图)的每个点都有k个目标初始候选框的输出。
按照尺度和宽高比生成的k种目标初始候选框，对于任意输入的图像都是一样的，故只需计算一次即可。
接着，对每张输入的图像，根据图像大小计算conv5卷积层中3×3滑动窗口对于原图像的中心点，然后将目标初始候选框映射回原图像。对于大小为W×H(例如像素为1000×563的输入图像，W×H为64×36)的卷积特征映射，总共有W×H×k个目标初始候选框。
在每一个滑动窗口的位置，同时预测k(k为自然数，例如k＝9)个目标候选框(box)，box回归层有4k个输出，即k个目标候选框的坐标编码，box分类层输出2k个得分(即置信度)，对每个目标候选框，所述得分是目标框/非目标框的估计概率。
其中，一个坐标编码包括x，y，w，h；x，y为坐标，w为宽度，h为高度。
目标初始候选框经过RPN网络中的全连接层(box回归层和box分类层)得到修正后的目标候选框和每个目标候选框对应的得分，经过该全连接层不会减少目标候选框的数量。例如目标初始候选框为20736个，则经过全连接层后的目标候选框仍为20736个，并有20736×2个置信度(即目标/非目标的估计概率)。其中，每个目标候选框有x、y、w和h四个参数，x，y为坐标，w为宽度，h为高度。
所述Fast R-CNN网络的具体流程为：
FastR-CNN网络的输入为RPN网络得到的目标候选框和卷积网络的conv5卷积层特征，经过ROIPooling层(深度学习网络层中的一类，实现从原图像区域映射到conv5区域最后pooling到固定大小的功能)将所输入的目标候选框和conv5卷积层特征整合进网络，再经过两层全连接层形成一组特征，这组特征分别输入到两个输出层网络层，分别获得目标框的位置信息(目标框的中心位置坐标、高度和宽度)和对应的目标框置信度。
获得目标框后，对所述目标框进行非极大值抑制(NMS，Non-maximumsuppression)，获取最终的目标框(包括目标框的坐标、高度和宽度信息)。非极大值抑制能够消除多余目标框，找出最佳的目标检测位置，即找出局部最大值，抑制非极大值。
其中，RPN网络获得不分类的目标候选框的置信度和位置信息。
FastR-CNN网络在RPN网络基础上进行目标分类(例如分成行人、动物、车辆)，并获得不同类别的目标框的置信度和微调的精确位置信息。本实施例由Fast R-CNN网络获得行人的目标框。
S102：当所述目标框达到预设数量(例如1000)时，获得所述预设数量的目标框的宽度范围和高度范围。
对于分辨率为1080p的图像，归一化后得到像素大小为1000×563的图像，经RPN网络后产生20736个目标初始候选框，该目标初始候选框经过RPN网络的全连接层生成20736个目标候选框。
因为跨越图像边界的目标候选框影响检测准确率，所以直接舍弃，剩下大约6000个目标候选框。即在经RPN网络检测出实时监控图像中的目标候选框后，去除位于所述监控图像边界的目标候选框，以减少学习尺寸的干扰因素。
S103：根据所述预设数量的目标框的宽度范围、高度范围以及预设的经验系数，确定尺寸过滤区间的宽度范围和高度范围。
一般场景固定的情况下，针对客流量统计这个应用，行人的大小存在一个区间，例如小孩头肩像素一般为70×60，大人的像素一般为85×70。然而，Faster R-CNN的初始候选框在生成时，有3种尺度(128×128、256×256、512×512)，匹配小中大(对应可检测小动物、可检测行人、可检测车)三类目标。
Faster R-CNN此类神经网络算法可同时检测多个类别，多种尺度的不同物体，但在客流量统计的应用中，行人的大小区间固定，不需要多种尺度。一旦监控的场景被确定后，行人的区间大小也是固定的。例如，场景一的长度×宽度大小范围为40×40～80×80，场景二的长度×宽度大小范围为150×150～220×220。但一个场景只有一个大小区间，因此可直接过滤掉区间外的目标候选框，也不会降低行人检测准确率。
本实施例中，所述预设的尺寸过滤区间的获取过程如下：
当所述目标框达到预设数量时，由Faster R-CNN学习获得所述预设数量的目标框的最大宽度值、最小宽度值、最大高度值和最小高度值；
根据预设的经验系数以及所述目标框的最大宽度值、最小宽度值、最大高度值、最小高度值，确定尺寸过滤区间的最大最大宽度阈值、最小宽度阈值、最大高度阈值和最小高度阈值。
在一具体实施例中，尺寸过滤区间的获取过程如下：
Step 1：输入待统计区域的实时监控的图像至Faster R-CNN，以检测出所述待统计区域的目标框(1080p为例，初始最大宽度为1920，最小宽度为0，最大高度为1080，最小高度为0)的宽度、高度信息，获得所述预设数量(例如1000个)的目标框的宽度范围(wmin～wmax)和高度范围(hmin～hmax)。
Step 2：获得所述预设数量的目标框的最大宽度wmax、最小宽度wmin、最大高度hmax和最小高度hmin，并结合经验系数，确定尺寸过滤区间的边界值大小：
wfmax＝αwmax，
hfmax＝αhmax，
其中，α为经验系数，一般为1.2；
wfmax为尺寸过滤区间的最大宽度阈值，wfmin为尺寸过滤区间的最小宽度阈值；
hfmax为尺寸过滤区间的最大高度阈值，hfmin为尺寸过滤区间的最小高度阈值。
其中，尺寸过滤区间的经验系数可根据实际情况(例如，监控场景的大小)来设定。
本实施例在确定尺寸过滤区间时，将宽度最大值和高度最大值等比扩大，同时将宽度最小值和高度最小值等比缩小，能够较为准确地确定出特定监控场景下的行人的尺寸大小，确保客流量统计的准确性。
Step 3:将尺寸过滤区间赋值为：宽度范围(wfmin～wfmax)、高度范围(hfmin～hfmax)。
S104：在后续客流量统计中，根据所述尺寸过滤区间的宽度范围和高度范围，对经RPN网络检测出的所述待统计区域的实时监控图像中的目标候选框进行过滤，获取位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框。
根据预设的尺寸过滤区间将宽度和高度范围外的目标候选框舍弃，进一步减少目标候选框的数量。
本实施例中，去除区间外的目标候选框，至少可减少1/3-2/3的目标候选框。
在一具体实施例中，经过RPN网络输出的6000个目标候选框(宽度为w，高度为h)，使用尺寸过滤区间筛选后输出n(n是自然数，且n<6000)个目标候选框。
具体地，将所述待统计区域的实时监控图像经过RPN网络，检测出目标候选框，将各目标候选框的高度、宽度分别与所述尺寸过滤区间的高度范围、宽度范围进行比较，若目标候选框的高度位于高度范围(hfmin～hfmax)内且目标候选框的宽度位于宽度范围(wfmin～wfmax)内，则表示该目标候选框位于所述尺寸过滤区间内；否则，表示该目标候选框位于所述尺寸过滤区间外，剔除所述目标候选框。
接着，将位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框。
本实施例中，将位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框输入至Fast R-CNN网络，输出各行人目标框的置信度和对应的行人目标框位置信息(例如，中心位置坐标、宽度和高度信息)；
对所述行人目标框进行非极大值抑制，获取最终的行人目标框。
其中，位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框越多，后续步骤Fast R-CNN网络处理耗时越多，目标候选框越精确，经过Fast R-CNN网络获得的最终的行人目标框也越精确。
在一具体实施例中，尺寸过滤区间的宽度范围为58.33至102像素、高度范围为50至84像素，将RPN网络输出的目标候选框的宽度和高度分别与所述尺寸过滤区间的宽度范围、高度范围进行比较，获得宽度位于58.33至102像素内、且高度位于50至84像素内的目标候选框输入至Fast R-CNN网络，由Fast R-CNN网络输出各行人目标框的置信度、中心位置坐标、宽度像素和高度像素。
在一实施例中，对所述行人目标框进行非极大值抑制的过程为：
对所述行人目标框对应的置信度进行排序；
两两比较所有行人目标框的交集并集之比(IoU，Intersection-over-Union)；
当两个行人目标框的交集并集之比大于预设阈值时，则舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框。
本实施例中，进行非极大值抑制的行人目标框越精确，数量越少，则非极大值抑制后的获得的行人目标框越准确，非极大值抑制耗时也越少。
在一具体实施例中，所述预设阈值为0.95，则当两个目标框的交集并集之比大于0.95时，则获取两个目标框对应的置信度，获取两个目标框中置信度较高的作为该行人的行人目标框。
在另一实施例中，对所述行人目标框进行非极大值抑制的过程为：
对所述行人目标框对应的置信度进行排序；
判断两行人目标框的重合度是否大于等于预设重合度阈值；
当两行人目标框的重合度大于等于预设重合度阈值(例如80％)时，则舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框。
S105：跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹。
本实施例中，行人目标框的轨迹跟踪包括记录当前行人目标框的中心位置坐标(xn,yn)、前一帧中该行人目标框的中心位置坐标(xn-1,yn-1)、该行人目标框的运动方向direction、该行人目标框第一次出现时的中心位置坐标(x0,y0)和该行人目标框出现的次数M(M为自然数)。
其中，所述跟踪待统计区域内的行人目标框，具体包括：
将当前帧图像中待统计区域内的行人目标框与前一帧图像中所述待统计区域内的各行人目标框一一进行特征目标匹配，所述特征目标匹配的步骤为：
根据当前帧图像中行人目标框与前一帧图像中各行人目标框中心位置之间的距离、面积差值以及预设的匹配阈值，判断当前帧图像中的行人目标框是否与前一帧图像中的某一行人目标框相匹配；若匹配，则当前帧图像中的行人目标框与前一帧图像中的某一行人目标框为同一目标产生；否则，则定义该行人目标框为新的行人目标框。
可选地，在跟踪各行人目标框的跟踪轨迹时，还可选择LK目标跟踪算法(即特征点运动跟踪算法)或meanshift目标跟踪算法来获得行人目标框的跟踪轨迹，并根据行人目标框的跟踪轨迹来进行特征目标匹配。
在一具体实施例中，可分别设置距离阈值和面积差阈值，当所述当前帧图像中行人目标框与前一帧图像中某一行人目标框中心位置之间的距离小于距离阈值且当前帧图像中行人目标框与前一帧图像中某一行人目标框的面积差值小于面积差阈值时，则判断当前帧图像中的行人目标框与前一帧图像中的某一行人目标框为同一目标产生；否则，则定义该行人目标框为新的行人目标框。
在另一具体实施例中，对当前帧图像的行人目标框和前一帧图像的行人目标框进行特征匹配的步骤为：
分别获取当前帧图像中行人目标框中心位置坐标(xa，ya)、前一帧图像中行人目标框的中心位置坐标(xb，yb)以及当前帧图像中行人目标框的宽度大小wa、前一帧图像中行人目标框的宽度大小wb；
根据中心位置坐标以及宽度大小，计算两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)：
其中，xa、ya分别为当前帧图像中的行人目标框中心位置的横坐标、纵坐标；
xb、yb分别为前一帧图像中的行人目标框中心位置的横坐标、纵坐标；
wa为当前帧图像中行人目标框的宽度大小；
wb为前一帧图像中行人目标框的宽度大小；
根据两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)，计算评价值Thr：
公式(1)中，ω1、ω2、ω3、ω4和η均为设定的系数，其中，ω1+ω2＝1，ω3×η+ω4＝1，η＞1；
Thr_Direction为经验值；
当dist(a,b)＜Thr_Direction时，Thr＝ω1×dist(a,b)+ω2×diff_area(a,b)；
当dist(a,b)＞Thr_Direction时，Thr＝ω3×dist(a,b)×η+ω4×diff_area(a,b)；
判断Thr与Thr_Direction的大小，当Thr<Thr_Direction时，判断两行人目标框为同一行人目标框；否则，两行人目标框不匹配，当前帧图像的行人目标框被定义为新的行人目标框。
可选地，ω1＝0.5，ω1＝0.5，η＝2，ω3＝0.25，ω4＝0.5，Thr_Direction＝0.05，则
当dist(a,b)＜0.05时，Thr＝0.5×dist(a,b)+0.5×diff_area(a,b)；
当dist(a,b)＞0.05时，Thr＝0.25×dist(a,b)×η+0.5×diff_area(a,b)；
再比较Thr与0.05的大小，当Thr<0.05时，判断两行人目标框为同一行人目标框；否则，两行人目标框不匹配，当前帧图像的行人目标框被定义为新的行人目标框。
可选地，在计算两行人目标框之间的距离时，还可选择两行人目标框的对应位置点的坐标，例如行人目标框左边界或右边界中心点坐标，根据行人目标框的对应位置点的左边来计算两行人目标框之间的距离。
另外，在计算两行人目标框之间的面积差值时，可选择两行人目标框的高度来计算，计算方式与根据宽度计算面积差值相同。
S106：将各行人目标框的跟踪轨迹与预设的计数触发条件进行比较，当所述跟踪轨迹满足所述计数触发条件时，则计数。
其中，所述计数触发条件包括预设运动方向和预设触发线。
本实施例中，当步骤S105匹配出当前帧图像中的行人目标框与前一帧中的某一行人目标框相匹配时，则判断两目标框为同一目标框，所述行人目标框的运动方向即为所述行人目标框在当前一帧图像中的位置与所述行人目标框在当前帧图像中的位置形成的矢量。
所述目标的运动方向的判断过程为：
比较各行人目标框的运动方向与预设运动方向，当所述动方向与预设方向相同时，则认为所述目标框为进状态；反之，则认为所述目标框为出状态。
即两个矢量(目标框的运动方向、预设运动方向)的夹角小于180°，则认为行人目标框的运动方向与预设运动方向一致；夹角大于180°，则认为行人目标框的运动方向与预设运动方向相反。
在一具体实施例中，预设运动方向为向右，将行人目标框在前一帧图像中的中心位置与行人目标框在当前帧图像中的中心位置连线形成的一矢量，获得该矢量与向右矢量的夹角，当夹角小于180°，则认为行人目标框的运动方向与预设运动方向一致；夹角大于180°，则认为行人目标框的运动方向与预设运动方向相反。
其中，当所述行人目标框满足计数触发条件时计数的过程具体包括：
比较所述行人目标框在当前帧图像中的位置(例如所述行人目标框的中心位置或所述行人目标框的边界坐标)、前一帧图像中的位置与所述预设触发线的位置关系，
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的两侧时，比较所述行人目标框的运动方向与预设运动方向是否一致，若一致，则进行进状态计数，若不一致，则进行出状态计数；
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的同侧时，则不计数。
在一具体实施例中，首先记录行人目标框第一次出现的中心位置，然后跟踪其运动轨迹，当前后帧的目标分别位于触发线的两侧，即为有效的行人进出行为。接着判断前一帧目标位置与当前帧目标位置形成的矢量和预先设置的方向是否一致，如果一致，则进计数加1；若方向相反，则出计数加1。
另外，由于使用使用Faster R-CNN，本实施例的客流量统计方法还可支持多区域的客流量统计，场景适用性好，能够同时适用于各种角度安装的场景。
可选地，将同一相机监控的图像画面划分为多个区域，不同区域内可设置不同的进出方向，对不同的区域分别进行客流量统计。
具体实施过程如下：对相机检测到的图像进行全图行人目标检测后，得到全图的行人目标框，然后分别处理每个区域内的行人目标框，区域外的行人目标框不进行处理。
具体地，只对各待统计区域内的行人目标框进行跟踪匹配，将行人目标框的运动估计与计数触发条件进行比较，最终得到相应区域内的目标进出数量。可同时监控图像中的多个区域，施工简单，易于维护，同时大大节约成本。
如图3所示，为本申请提供的客流量统计装置的结构示意图，与上述客流量统计方法相对应，可参照上述客流量统计方法的实施例来理解或解释该客流量统计装置的内容。
参见图3，本实施例提供的一种客流量统计装置，该装置包括目标检测模块100、学习模块200、过滤尺寸确定模块300、过滤模块400、跟踪模块500和计数模块600。
其中，目标检测模块100，经Faster R-CNN检测出待统计区域的实时监控图像中的目标框的宽度、高度信息。
学习模块200，当所述目标框达到预设数量时，获得所述预设数量的目标框的宽度范围和高度范围。
过滤尺寸确定模块300，根据所述预设数量的目标框的宽度范围、高度范围以及预设的经验系数，确定尺寸过滤区间的宽度范围和高度范围。
具体地，所述过滤尺寸确定模块300根据预设的经验系数以及所述预设数量的目标框的最大宽度值、最小宽度值、最大高度值、最小高度值，确定过滤尺寸区间的最大最大宽度阈值、最小宽度阈值、最大高度阈值和最小高度阈值。
过滤模块400，在后续客流量统计中，根据所述尺寸过滤区间的宽度范围和高度范围，对经RPN网络检测出的所述待统计区域的实时监控图像中的目标候选框进行过滤，获取位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框。
所述过滤模块400还包括：
将位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框输入至Fast R-CNN网络，获得行人目标框的置信度和对应的行人目标框位置信息；
并对所述行人目标框进行非极大值抑制，获取最终的行人目标框并发送该最终的行人目标框至所述跟踪模块500。
在一实施例中，参见图4，所述过滤模块400包括：
排序子模块401，对所述行人目标框对应的置信度进行排序；
比较子模块402，两两比较所有行人目标框的交集并集之比；
筛选子模块403，当两个行人目标框的交集并集之比大于预设阈值时，则舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框。
跟踪模块500，跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹。
在另一实施例中，所述过滤模块400包括：
排序子模块401，对所述行人目标框对应的置信度进行排序；
比较子模块402，判断两行人目标框的重合度是否大于等于预设重合度阈值；
筛选子模块403，当两行人目标框的重合度大于等于预设重合度阈值时，则舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框。
本实施例中：所述跟踪模块500包括：
将当前帧图像中待统计区域内的行人目标框与前一帧图像中所述待统计区域内的各行人目标框一一进行特征目标匹配，所述特征目标匹配的步骤为：
根据当前帧图像中行人目标框与前一帧图像中各行人目标框中心位置之间的距离、面积差值以及预设的匹配阈值，判断当前帧图像中的行人目标框是否与前一帧图像中的某一行人目标框相匹配，若匹配，则当前帧图像中的行人目标框与前一帧图像中的某一行人目标框为同一目标产生；否则，则定义该行人目标框为新的行人目标框。
可选地，所述跟踪模块500包括：
分别获取当前帧图像中行人目标框的中心位置坐标、前一帧图像中行人目标框的中心位置坐标以及宽度大小；
根据当前帧图像中行人目标框的中心位置坐标、前一帧图像中行人目标框的中心位置坐标以及宽度大小，计算两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)：
其中，xa、ya分别为当前帧图像中的行人目标框中心位置的横坐标、纵坐标；
xb、yb分别为前一帧图像中的行人目标框中心位置的横坐标、纵坐标；
wa为当前帧图像中行人目标框的宽度大小；
wb为前一帧图像中行人目标框的宽度大小；
根据两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)，计算评价值Thr：
其中，ω1、ω2、ω3、ω4和η均为设定的系数，ω1+ω2＝1，ω3×η+ω4＝1，η＞1；
Thr_Direction为经验值；
当dist(a,b)＜Thr_Direction时，Thr＝ω1×dist(a,b)+ω2×diff_area(a,b)；
当dist(a,b)＞Thr_Direction时，Thr＝ω3×dist(a,b)×η+ω4×diff_area(a,b)；
判断Thr与Thr_Direction的大小，当Thr<Thr_Direction时，判断两行人目标框为同一目标的行人目标框；否则，两行人目标框不匹配，当前帧图像的行人目标框被定义为新的行人目标框。
计数模块600，将各行人目标框的跟踪轨迹与预设的计数触发条件进行比较，当所述跟踪轨迹满足所述计数触发条件时，则计数。
其中，所述计数触发条件包括预设运动方向和预设触发线，所述各行人目标框的跟踪轨迹包括该行人目标框的运动方向，所述行人目标框的运动方向为所述行人目标框在当前一帧图像中的位置与所述行人目标框在当前帧图像中的位置形成的矢量；
所述跟踪模块500用于判断所述行人目标框的运动方向。具体地，所述跟踪模块500比较各行人目标框的运动方向与预设运动方向，当所述动方向与预设方向相同时，则认为所述行人目标框为进状态；反之，则认为所述行人目标框为出状态。
具体地，所述计数模块600用于比较所述行人目标框在当前帧图像中的位置、前一帧图像中的位置与所述预设触发线的位置关系，
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的两侧时，则由所述跟踪模块500比较所述行人目标框的运动方向与预设运动方向是否一致，若一致，所述计数模块600则进行进状态计数，若不一致，所述计数模块600则进行出状态计数；
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的同侧时，所述计数模块600则不计数。
在一实施例中，所述客流量统计装置还包括：
边界目标去除模块(图中未显示)，在经RPN网络检测出实时监控图像中的目标候选框后，去除位于所述监控图像边界的目标候选框，减少边界的干扰，提高统计的准确率。
在一实施例中，所述客流量统计装置还包括：
区域划分模块(图中未显示)，将同一相机的监控图像划分为多个区域，对所述多个区域分别进行客流量统计。
综上所述，本申请基于Faster R-CNN神经网络对客流量进行统计，学习在场景固定时的目标(即行人)的过滤区间，再根据学习到的过滤区间对Faster R-CNN的RPN网络检测出的目标候选框进行过滤，排除客流量计数时非行人产生的干扰，减小后续输入至Faster R-CNN的Fast R-CNN网络的目标候选框数量，从而减少Fast R-CNN网络的计算时间，同时能够提高目标检测的正确率，降低误检率，可适用于更广和较为复杂的应用场景。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (18)

1.一种客流量统计方法，其特征在于，该方法包括：
经Faster R-CNN检测出待统计区域的实时监控图像中的目标框的宽度、高度信息；
当所述目标框达到预设数量时，获得所述预设数量的目标框的宽度范围和高度范围；
根据所述预设数量的目标框的宽度范围、高度范围以及预设的经验系数，确定尺寸过滤区间的宽度范围和高度范围；
在后续客流量统计中，根据所述尺寸过滤区间的宽度范围和高度范围，对经RPN网络检测出的所述待统计区域的实时监控图像中的目标候选框进行过滤，获取位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框；
跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹；
将各行人目标框的跟踪轨迹与预设的计数触发条件进行比较，当所述跟踪轨迹满足所述计数触发条件时，则计数。
2.如权利要求1所述的客流量统计方法，其特征在于，将位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框，具体包括：
将位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框输入至Fast R-CNN网络，获得行人目标框的置信度和对应的行人目标框位置信息；
对所述行人目标框进行非极大值抑制，获取最终的行人目标框。
3.如权利要求2所述的客流量统计方法，其特征在于，对所述行人目标框进行非极大值抑制，获取最终的行人目标框，具体包括：
对所述行人目标框对应的置信度进行排序；
两两比较所有行人目标框的交集并集之比，当两个行人目标框的交集并集之比大于预设阈值时，则舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框；或者
判断两行人目标框的重合度是否大于等于预设重合度阈值，当两行人目标框的重合度大于等于预设重合度阈值时，则舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框。
4.如权利要求1所述的客流量统计方法，其特征在于，所述跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹，具体包括：
将当前帧图像中待统计区域内的行人目标框与前一帧图像中所述待统计区域内的各行人目标框一一进行特征目标匹配，所述特征目标匹配的步骤为：
根据当前帧图像中行人目标框与前一帧图像中各行人目标框中心位置之间的距离、面积差值以及预设的匹配阈值，判断当前帧图像中的行人目标框是否与前一帧图像中的某一行人目标框相匹配，
若匹配，则当前帧图像中的行人目标框与前一帧图像中的某一行人目标框为同一目标产生；
否则，则定义该行人目标框为新的行人目标框。
5.如权利要求4所述的客流量统计方法，其特征在于，当前帧图像的行人目标框和前一帧图像的行人目标框进行匹配的步骤为：
分别获取当前帧图像中行人目标框的中心位置坐标、前一帧图像中行人目标框的中心位置坐标以及宽度大小；
根据当前帧图像中行人目标框的中心位置坐标、前一帧图像中行人目标框的中心位置坐标以及宽度大小，计算两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)：
<mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>a</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>a</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> </mrow>
<mrow> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mo>_</mo> <mi>a</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <mo>|</mo> <msubsup> <mi>w</mi> <mi>a</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>w</mi> <mi>b</mi> <mn>2</mn> </msubsup> <mo>|</mo> </mrow> </msqrt> <mo>,</mo> </mrow>
其中，xa、ya分别为当前帧图像中的行人目标框中心位置的横坐标、纵坐标；
xb、yb分别为前一帧图像中的行人目标框中心位置的横坐标、纵坐标；
wa为当前帧图像中行人目标框的宽度大小；
wb为前一帧图像中行人目标框的宽度大小；
根据两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)，计算评价值Thr：
<mrow> <mi>T</mi> <mi>h</mi> <mi>r</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mn>1</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;omega;</mi> <mn>2</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mo>_</mo> <mi>a</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mi>T</mi> <mi>h</mi> <mi>r</mi> <mo>_</mo> <mi>D</mi> <mi>i</mi> <mi>r</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mn>3</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>&amp;eta;</mi> <mo>+</mo> <msub> <mi>&amp;omega;</mi> <mn>4</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mo>_</mo> <mi>a</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>T</mi> <mi>h</mi> <mi>r</mi> <mo>_</mo> <mi>D</mi> <mi>i</mi> <mi>r</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中，ω1、ω2、ω3、ω4和η均为设定的系数，ω1+ω2＝1，ω3×η+ω4＝1，η＞1；
Thr_Direction为经验值；
当Thr<Thr_Direction时，判断两行人目标框为同一目标的行人目标框；
否则，两行人目标框不匹配，当前帧图像的行人目标框被定义为新的行人目标框。
6.如权利要求1所述的客流量统计方法，其特征在于，所述计数触发条件包括预设运动方向和预设触发线，
所述各行人目标框的跟踪轨迹包括该行人目标框的运动方向，所述行人目标框的运动方向为所述行人目标框在当前一帧图像中的位置与所述行人目标框在当前帧图像中的位置形成的矢量；
所述行人目标框的运动方向的判断为：
比较各行人目标框的运动方向与预设运动方向，
当所述动方向与预设方向相同时，则认为所述行人目标框为进状态；
反之，则认为所述行人目标框为出状态。
7.如权利要求6所述的客流量统计方法，其特征在于，所述方法还包括：
比较所述行人目标框在当前帧图像中的位置、前一帧图像中的位置与所述预设触发线的位置关系，
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的两侧时，比较所述行人目标框的运动方向与预设运动方向是否一致，若一致，则进行进状态计数，若不一致，则进行出状态计数；
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的同侧时，则不计数。
8.如权利要求1-7任一项所述的客流量统计方法，其特征在于，还包括：
在经RPN网络检测出实时监控图像中的目标候选框后，去除位于所述监控图像边界的目标候选框。
9.如权利要求1-7任一项所述的客流量统计方法，其特征在于，所述方法还包括：
将同一相机的监控图像划分为多个区域，对所述多个区域分别进行客流量统计。
10.一种客流量统计装置，其特征在于，该装置包括：
目标检测模块(100)，经Faster R-CNN检测出待统计区域的实时监控图像中的目标框的宽度、高度信息；
学习模块(200)，当所述目标框达到预设数量时，获得所述预设数量的目标框的宽度范围和高度范围；
过滤尺寸确定模块(300)，根据所述预设数量的目标框的宽度范围、高度范围以及预设的经验系数，确定尺寸过滤区间的宽度范围和高度范围；
过滤模块(400)，在后续客流量统计中，根据所述尺寸过滤区间的宽度范围和高度范围，对经RPN网络检测出的所述待统计区域的实时监控图像中的目标候选框进行过滤，获取位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框并输入至Fast R-CNN网络，获得行人目标框；
跟踪模块(500)，跟踪待统计区域内的各行人目标框，形成各行人目标框的跟踪轨迹；
计数模块(600)，将各行人目标框的跟踪轨迹与预设的计数触发条件进行比较，当所述跟踪轨迹满足所述计数触发条件时，则计数。
11.如权利要求10所述的客流量统计装置，其特征在于，所述过滤模块(400)还包括：
将位于所述尺寸过滤区间的宽度范围、高度范围内的目标候选框输入至Fast R-CNN网络，获得行人目标框的置信度和对应的行人目标框位置信息；
并对所述行人目标框进行非极大值抑制，获取最终的行人目标框并发送该最终的行人目标框至所述跟踪模块(500)。
12.如权利要求11所述的客流量统计装置，其特征在于，所述过滤模块(400)还包括：
排序子模块(401)，对所述行人目标框对应的置信度进行排序；
比较子模块(402)，两两比较所有行人目标框的交集并集之比；
筛选子模块(403)，当两个行人目标框的交集并集之比大于预设阈值时，则舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框；或者，所述比较子模块(402)用以判断两行人目标框的重合度是否大于等于预设重合度阈值；
当两行人目标框的重合度大于等于预设重合度阈值时，所述筛选子模块(403)舍弃置信度低的行人目标框，选择置信度高的行人目标框作为最终的行人目标框。
13.如权利要求10所述的客流量统计装置，其特征在于，所述跟踪模块(500)包括：
将当前帧图像中待统计区域内的行人目标框与前一帧图像中所述待统计区域内的各行人目标框一一进行特征目标匹配，所述特征目标匹配的步骤为：
根据当前帧图像中行人目标框与前一帧图像中各行人目标框中心位置之间的距离、面积差值以及预设的匹配阈值，判断当前帧图像中的行人目标框是否与前一帧图像中的某一行人目标框相匹配，
若匹配，则当前帧图像中的行人目标框与前一帧图像中的某一行人目标框为同一目标产生；
否则，则定义该行人目标框为新的行人目标框。
14.如权利要求13所述的客流量统计装置，其特征在于，所述跟踪模块(500)包括：
分别获取当前帧图像中行人目标框的中心位置坐标、前一帧图像中行人目标框的中心位置坐标以及宽度大小；
根据当前帧图像中行人目标框的中心位置坐标、前一帧图像中行人目标框的中心位置坐标以及宽度大小，计算两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)：
<mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>a</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>a</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>,</mo> </mrow>
<mrow> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mo>_</mo> <mi>a</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <mo>|</mo> <msubsup> <mi>w</mi> <mi>a</mi> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>w</mi> <mi>b</mi> <mn>2</mn> </msubsup> <mo>|</mo> </mrow> </msqrt> <mo>,</mo> </mrow>
其中，xa、ya分别为当前帧图像中的行人目标框中心位置的横坐标、纵坐标；
xb、yb分别为前一帧图像中的行人目标框中心位置的横坐标、纵坐标；
wa为当前帧图像中行人目标框的宽度大小；
wb为前一帧图像中行人目标框的宽度大小；
根据两行人目标框中心位置之间的距离dist(a,b)和两行人目标框的面积差值diff_area(a,b)，计算评价值Thr：
<mrow> <mi>T</mi> <mi>h</mi> <mi>r</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mn>1</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;omega;</mi> <mn>2</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mo>_</mo> <mi>a</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mi>T</mi> <mi>h</mi> <mi>r</mi> <mo>_</mo> <mi>D</mi> <mi>i</mi> <mi>r</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;omega;</mi> <mn>3</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>&amp;eta;</mi> <mo>+</mo> <msub> <mi>&amp;omega;</mi> <mn>4</mn> </msub> <mo>&amp;times;</mo> <mi>d</mi> <mi>i</mi> <mi>f</mi> <mi>f</mi> <mo>_</mo> <mi>a</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>;</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>T</mi> <mi>h</mi> <mi>r</mi> <mo>_</mo> <mi>D</mi> <mi>i</mi> <mi>r</mi> <mi>e</mi> <mi>c</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中，ω1、ω2、ω3、ω4和η均为设定的系数，ω1+ω2＝1，ω3×η+ω4＝1，η＞1；
Thr_Direction为经验值；
当Thr<Thr_Direction时，判断两行人目标框为同一目标的目标框；否则，两行人目标框不匹配，当前帧图像的行人目标框被定义为新的行人目标框。
15.如权利要求10所述的客流量统计装置，其特征在于，所述计数触发条件包括预设运动方向和预设触发线，
所述各行人目标框的跟踪轨迹包括该行人目标框的运动方向，所述行人目标框的运动方向为所述行人目标框在当前一帧图像中的位置与所述行人目标框在当前帧图像中的位置形成的矢量；
所述行人目标框的运动方向的判断为：
所述跟踪模块(500)比较各行人目标框的运动方向与预设运动方向，
当所述动方向与预设方向相同时，则认为所述行人目标框为进状态；
反之，则认为所述行人目标框为出状态。
16.如权利要求15所述的客流量统计装置，其特征在于，所述计数模块(600)用于比较所述行人目标框在当前帧图像中的位置、前一帧图像中的位置与所述预设触发线的位置关系，
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的两侧时，则由所述跟踪模块(500)比较所述行人目标框的运动方向与预设运动方向是否一致，若一致，所述计数模块(600)则进行进状态计数，若不一致，所述计数模块(600)则进行出状态计数；
当所述行人目标框在当前帧图像中的位置和前一帧图像中的位置分别位于所述预设触发线的同侧时，所述计数模块(600)则不计数。
17.如权利要求10-16任一项所述的客流量统计装置，其特征在于，还包括：
边界目标去除模块，在经RPN网络检测出实时监控图像中的目标候选框后，去除位于所述监控图像边界的目标候选框。
18.如权利要求10-16任一项所述的客流量统计装置，其特征在于，所装置还包括：
区域划分模块，将同一相机的监控图像划分为多个区域，对所述多个区域分别进行客流量统计。
CN201610957732.9A 2016-11-03 2016-11-03 客流量统计方法及装置 Active CN108021848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610957732.9A CN108021848B (zh) 2016-11-03 2016-11-03 客流量统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610957732.9A CN108021848B (zh) 2016-11-03 2016-11-03 客流量统计方法及装置

Publications (2)

Publication Number Publication Date
CN108021848A true CN108021848A (zh) 2018-05-11
CN108021848B CN108021848B (zh) 2021-06-01

Family

ID=62084030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610957732.9A Active CN108021848B (zh) 2016-11-03 2016-11-03 客流量统计方法及装置

Country Status (1)

Country Link
CN (1) CN108021848B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805907A (zh) * 2018-06-05 2018-11-13 中南大学 一种行人姿势多特征智能辨识方法
CN109087335A (zh) * 2018-07-16 2018-12-25 腾讯科技（深圳）有限公司 一种人脸跟踪方法、装置和存储介质
CN109376572A (zh) * 2018-08-09 2019-02-22 同济大学 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法
CN109583373A (zh) * 2018-11-29 2019-04-05 成都索贝数码科技股份有限公司 一种行人重识别实现方法
CN109726665A (zh) * 2018-12-25 2019-05-07 中国科学院合肥物质科学研究院 一种基于动态轨迹分析的农业害虫检测方法
CN109902551A (zh) * 2018-11-09 2019-06-18 阿里巴巴集团控股有限公司 开放场景的实时人流统计方法和装置
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及系统
CN110334602A (zh) * 2019-06-06 2019-10-15 武汉市公安局视频侦查支队 一种基于卷积神经网络的人流量统计方法
CN110490099A (zh) * 2019-07-31 2019-11-22 武汉大学 一种基于机器视觉的地铁公共地点人流量分析方法
CN110688884A (zh) * 2019-02-28 2020-01-14 成都通甲优博科技有限责任公司 客流统计方法及装置
CN110728227A (zh) * 2019-10-09 2020-01-24 北京百度网讯科技有限公司 图像处理的方法及装置
CN110766894A (zh) * 2019-12-25 2020-02-07 恒大智慧科技有限公司 社区围墙翻越预警方法、系统、服务器及计算机存储介质
CN110781806A (zh) * 2019-10-23 2020-02-11 浙江工业大学 一种基于yolo的行人检测追踪方法
CN111126117A (zh) * 2018-11-01 2020-05-08 阿里巴巴集团控股有限公司 信息处理方法和装置
WO2020098325A1 (zh) * 2018-11-14 2020-05-22 中兴通讯股份有限公司 一种图像合成方法、电子设备及存储介质
CN111383455A (zh) * 2020-03-11 2020-07-07 上海眼控科技股份有限公司 交通路口对象流量统计方法、装置、计算机设备和介质
CN111460926A (zh) * 2020-03-16 2020-07-28 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN111738164A (zh) * 2020-06-24 2020-10-02 广西计算中心有限责任公司 一种基于深度学习的行人检测方法
CN112085767A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于深度光流跟踪的客流统计方法及系统
CN112949785A (zh) * 2021-05-14 2021-06-11 长沙智能驾驶研究院有限公司 对象检测方法、装置、设备及计算机存储介质
CN113469982A (zh) * 2021-07-12 2021-10-01 浙江大华技术股份有限公司 一种精准客流统计的方法、装置及电子设备
CN113537199A (zh) * 2021-08-13 2021-10-22 上海淇玥信息技术有限公司 图像边界框筛选方法、系统、电子装置及介质
CN114005011A (zh) * 2021-11-02 2022-02-01 中冶赛迪重庆信息技术有限公司 活畜在圈状态确定方法、系统、设备及介质
CN114220077A (zh) * 2022-02-21 2022-03-22 金叶仪器(山东)有限公司 基于监控设备实现物体数量统计和移动方向监测的方法
CN115022104A (zh) * 2022-05-31 2022-09-06 京东方科技集团股份有限公司 一种终端的集控方法、系统、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090222388A1 (en) * 2007-11-16 2009-09-03 Wei Hua Method of and system for hierarchical human/crowd behavior detection
US9042681B1 (en) * 2012-01-02 2015-05-26 Marvell International Ltd. Interpolated video error concealment
CN105488468A (zh) * 2015-11-26 2016-04-13 浙江宇视科技有限公司 一种目标区域的定位方法和装置
CN105512640A (zh) * 2015-12-30 2016-04-20 重庆邮电大学 一种基于视频序列的人流量统计方法
CN105844234A (zh) * 2016-03-21 2016-08-10 商汤集团有限公司 一种基于头肩检测的人数统计的方法及设备
CN106022232A (zh) * 2016-05-12 2016-10-12 成都新舟锐视科技有限公司 基于深度学习的车牌检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090222388A1 (en) * 2007-11-16 2009-09-03 Wei Hua Method of and system for hierarchical human/crowd behavior detection
US9042681B1 (en) * 2012-01-02 2015-05-26 Marvell International Ltd. Interpolated video error concealment
CN105488468A (zh) * 2015-11-26 2016-04-13 浙江宇视科技有限公司 一种目标区域的定位方法和装置
CN105512640A (zh) * 2015-12-30 2016-04-20 重庆邮电大学 一种基于视频序列的人流量统计方法
CN105844234A (zh) * 2016-03-21 2016-08-10 商汤集团有限公司 一种基于头肩检测的人数统计的方法及设备
CN106022232A (zh) * 2016-05-12 2016-10-12 成都新舟锐视科技有限公司 基于深度学习的车牌检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JOSE A. CARRILLO等: "A LOCAL VERSION OF THE HUGHES MODEL FOR PEDESTRIAN FLOW", 《ARXIV》 *
LILIANG ZHANG等: "Is Faster R-CNN Doing Well for Pedestrian Detection?", 《ARXIV》 *
SHAOQING REN等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805907A (zh) * 2018-06-05 2018-11-13 中南大学 一种行人姿势多特征智能辨识方法
CN108805907B (zh) * 2018-06-05 2022-03-29 中南大学 一种行人姿势多特征智能辨识方法
CN109087335A (zh) * 2018-07-16 2018-12-25 腾讯科技（深圳）有限公司 一种人脸跟踪方法、装置和存储介质
CN109376572A (zh) * 2018-08-09 2019-02-22 同济大学 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法
CN109376572B (zh) * 2018-08-09 2022-05-03 同济大学 基于深度学习的交通视频中实时车辆检测与轨迹跟踪方法
CN111126117A (zh) * 2018-11-01 2020-05-08 阿里巴巴集团控股有限公司 信息处理方法和装置
CN111126117B (zh) * 2018-11-01 2023-05-02 阿里巴巴集团控股有限公司 信息处理方法和装置
CN109902551A (zh) * 2018-11-09 2019-06-18 阿里巴巴集团控股有限公司 开放场景的实时人流统计方法和装置
WO2020098325A1 (zh) * 2018-11-14 2020-05-22 中兴通讯股份有限公司 一种图像合成方法、电子设备及存储介质
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法
CN109522854B (zh) * 2018-11-22 2021-05-11 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法
CN109583373B (zh) * 2018-11-29 2022-08-19 成都索贝数码科技股份有限公司 一种行人重识别实现方法
CN109583373A (zh) * 2018-11-29 2019-04-05 成都索贝数码科技股份有限公司 一种行人重识别实现方法
CN109726665B (zh) * 2018-12-25 2022-10-25 中国科学院合肥物质科学研究院 一种基于动态轨迹分析的农业害虫检测方法
CN109726665A (zh) * 2018-12-25 2019-05-07 中国科学院合肥物质科学研究院 一种基于动态轨迹分析的农业害虫检测方法
CN110688884A (zh) * 2019-02-28 2020-01-14 成都通甲优博科技有限责任公司 客流统计方法及装置
CN110688884B (zh) * 2019-02-28 2023-04-18 成都通甲优博科技有限责任公司 客流统计方法及装置
CN110032954A (zh) * 2019-03-27 2019-07-19 成都数之联科技有限公司 一种钢筋智能识别与计数方法及系统
CN110032954B (zh) * 2019-03-27 2021-05-14 中建三局第一建设工程有限责任公司 一种钢筋智能识别与计数方法及系统
CN110334602B (zh) * 2019-06-06 2021-10-26 武汉市公安局视频侦查支队 一种基于卷积神经网络的人流量统计方法
CN110334602A (zh) * 2019-06-06 2019-10-15 武汉市公安局视频侦查支队 一种基于卷积神经网络的人流量统计方法
CN110490099B (zh) * 2019-07-31 2022-10-21 武汉大学 一种基于机器视觉的地铁公共地点人流量分析方法
CN110490099A (zh) * 2019-07-31 2019-11-22 武汉大学 一种基于机器视觉的地铁公共地点人流量分析方法
CN110728227A (zh) * 2019-10-09 2020-01-24 北京百度网讯科技有限公司 图像处理的方法及装置
CN110781806A (zh) * 2019-10-23 2020-02-11 浙江工业大学 一种基于yolo的行人检测追踪方法
CN110766894A (zh) * 2019-12-25 2020-02-07 恒大智慧科技有限公司 社区围墙翻越预警方法、系统、服务器及计算机存储介质
CN111383455A (zh) * 2020-03-11 2020-07-07 上海眼控科技股份有限公司 交通路口对象流量统计方法、装置、计算机设备和介质
CN111460926B (zh) * 2020-03-16 2022-10-14 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111460926A (zh) * 2020-03-16 2020-07-28 华中科技大学 一种融合多目标跟踪线索的视频行人检测方法
CN111652900B (zh) * 2020-05-29 2023-09-29 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储介质
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN111738164B (zh) * 2020-06-24 2021-02-26 广西计算中心有限责任公司 一种基于深度学习的行人检测方法
CN111738164A (zh) * 2020-06-24 2020-10-02 广西计算中心有限责任公司 一种基于深度学习的行人检测方法
CN112085767A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于深度光流跟踪的客流统计方法及系统
WO2022237902A1 (zh) * 2021-05-14 2022-11-17 长沙智能驾驶研究院有限公司 对象检测方法、装置、设备及计算机存储介质
CN112949785A (zh) * 2021-05-14 2021-06-11 长沙智能驾驶研究院有限公司 对象检测方法、装置、设备及计算机存储介质
CN113469982A (zh) * 2021-07-12 2021-10-01 浙江大华技术股份有限公司 一种精准客流统计的方法、装置及电子设备
CN113537199A (zh) * 2021-08-13 2021-10-22 上海淇玥信息技术有限公司 图像边界框筛选方法、系统、电子装置及介质
CN114005011A (zh) * 2021-11-02 2022-02-01 中冶赛迪重庆信息技术有限公司 活畜在圈状态确定方法、系统、设备及介质
CN114220077A (zh) * 2022-02-21 2022-03-22 金叶仪器(山东)有限公司 基于监控设备实现物体数量统计和移动方向监测的方法
CN115022104A (zh) * 2022-05-31 2022-09-06 京东方科技集团股份有限公司 一种终端的集控方法、系统、装置、设备及介质

Also Published As

Publication number Publication date
CN108021848B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108021848B (zh) 客流量统计方法及装置
CN108986064B (zh) 一种人流量统计方法、设备及系统
JP6549797B2 (ja) 通行人の頭部識別方法及びシステム
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN110570454B (zh) 一种检测异物入侵的方法及装置
Zhao et al. A people counting system based on face detection and tracking in a video
CN109344702B (zh) 基于深度图像和彩色图像的行人检测方法及装置
CN104952060B (zh) 一种红外行人感兴趣区域自适应分割提取方法
CN110287907B (zh) 一种对象检测方法和装置
CN109376637A (zh) 基于视频监控图像处理的人数统计系统
US8599261B1 (en) Vision-based car counting for multi-story carparks
CN102932605A (zh) 一种视觉感知网络中摄像机的组合选择方法
TWI415032B (zh) Object tracking method
CN114463390A (zh) 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法
CN112270381A (zh) 基于深度学习的人流量检测方法
CN110414430B (zh) 一种基于多比例融合的行人重识别方法及装置
CN109919068B (zh) 基于视频分析适应密集场景人流实时监测方法
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
CN111275733A (zh) 基于深度学习目标检测技术实现多艘船舶快速跟踪处理的方法
CN112580633B (zh) 一种基于深度学习的公共交通客流统计装置及方法
CN115984768A (zh) 一种基于固定型单目摄像头的多目标行人实时检测定位方法
Morbee et al. Dempster-Shafer based multi-view occupancy maps
CN111160101B (zh) 一种基于人工智能的视频人员跟踪与计数方法
CN115410155A (zh) 一种基于多目标跟踪的人流量统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221110

Address after: 15 / F, Zhongchuang Plaza, 385 Hangtian Middle Road, national civil aerospace industrial base, Xi'an City, Shaanxi Province 710100

Patentee after: Xi'an Yu vision Mdt InfoTech Ltd.

Address before: 310051 Zhejiang Jiangling Hangzhou Road, Binjiang District, Jiangling, 88, No. 10 South Block 1-11.

Patentee before: ZHEJIANG UNIVIEW TECHNOLOGIES Co.,Ltd.