CN115272982A - 基于行人重识别的客流量统计方法、系统、设备及介质 - Google Patents

基于行人重识别的客流量统计方法、系统、设备及介质 Download PDF

Info

Publication number
CN115272982A
CN115272982A CN202211186051.9A CN202211186051A CN115272982A CN 115272982 A CN115272982 A CN 115272982A CN 202211186051 A CN202211186051 A CN 202211186051A CN 115272982 A CN115272982 A CN 115272982A
Authority
CN
China
Prior art keywords
pedestrian
data
features
under
passenger flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211186051.9A
Other languages
English (en)
Inventor
崔龙
陈宏锐
游浩泉
刘耀文
成西锋
袁德胜
王海涛
林志强
马卫民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winner Technology Co ltd
Original Assignee
Winner Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winner Technology Co ltd filed Critical Winner Technology Co ltd
Priority to CN202211186051.9A priority Critical patent/CN115272982A/zh
Publication of CN115272982A publication Critical patent/CN115272982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于行人重识别的客流量统计方法、系统、设备及介质。包括：获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面；对监控画面进行行人检测，获取行人躯干框候选框；将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹；对同探头下的行人轨迹进行跟踪与行人特征提取；基于同探头下的行人轨迹的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征；对所有的行人轨迹进行跨探头的聚类，获取当前目标区域内的客流数据。本发明可以计算出当天零售店铺的人次、人数等的客流变化情况，帮助商家更好地评估店铺营业的真实情况，能够针对性发掘潜在客户，提升营业额。

Description

基于行人重识别的客流量统计方法、系统、设备及介质
技术领域
本发明涉及一种客流量的统计方法，特别是涉及基于行人重识别的客流量统计方法、系统、设备及介质。
背景技术
店铺人流量是反映当前线下零售运营的重要指标之一，根据人群的数量和相应的店铺逗留时长，结合店铺的营业额、毛利率等商业指标，能真实且客观地反映出店铺运营的好坏，发掘出线下零售业务的变动。同时，随着人群计数在视频监控、交通监测、公共安全等方面有着广泛应用，利用线上的客流系统对线下零售店铺的人群进行有效的统计是商超行业中日渐流行的新趋势。
传统的计算机视觉客流计数的核心算法主要分为两大类：
（1）基于目标检测的方法:通过对图像上每个行人的定位与识别，再根据结果统计人数。传统的检测的算法会训练出一个分类器，利用从行人提取的小波、边缘等特征去检测行人；当前更为流行的方法是利用神经网络预测出图像中行人所在矩形区域；两者的优点在于可以做到准确的行人或者人头位置，进而能利用定位到的行人信息展开更详细的客流分析，但缺点在于对高密度的人群图像来说，其检测效果差；
（2）基于回归的方法: 基于检测的方法会存在难以处理人群之间互相遮挡的问题，而基于回归的方法的核心思想是学习一种特征到人群数量的映射，此类方法主要分为两步：1、提取图像的浅层特征，例如边缘、纹理和梯度特征；2、学习一个回归模型，实现浅层特征到行人数量的映射关系，得到人群数目的估计值；优点在于对高密度人群图像来说，其效果会比基于目标检测方法的好，但是这种直接映射的方法只能获取当前画面的人数，对于跨探头跨画面的情况，并不便于展开总客流的计算。
在线下的零售店铺当中，场景的实际情况复杂不稳定，实时遮挡变化的情况层出不穷，顾客人群的移动变化也非常灵活，单一的人群数量统计系统很难真实反映出人数的浮动，难以发掘出店铺有效的人次、人数、逗留时间等重要的商业指标。如何在这种规模小且场景比较固定的场地，每天的评估指标对环境和系统参数都极其敏感，若想保持稳定且真实的检出和统计情况，是非常具有挑战性的。
因此，如何提供一种基于行人重识别的客流量统计方法、系统、设备及介质，以解决现有技术在规模小且场景比较固定的场地，每天的评估指标对环境和系统参数都极其敏感的情况下无法展开对总客流的统计等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于行人重识别的客流量统计方法、系统、设备及介质，用于解决现有技术在规模小且场景比较固定的场地，每天的评估指标对环境和系统参数都极其敏感的情况下，无法展开对总客流的统计的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种基于行人重识别的客流量统计方法，包括：获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面；对所述监控画面进行行人检测，以获取行人躯干框候选框；将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹；其中，从所述行人躯干框候选框对应的图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨；对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征；基于同探头下的行人轨迹的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征；在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。
于本发明的一实施例中，所述的对所述监控画面进行行人检测，以获取行人躯干框候选图像的步骤包括：对所述监控画面进行画面预处理，形成预处理后的监控画面；基于目标检测网络对预处理后的监控画面进行行人检测，以获取所述行人躯干框候选图像。
于本发明的一实施例中，所述将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹的步骤包括：将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框的中心点像素位移进行比较，以判断该位移是否超过预设位移阈值；计算行人躯干框候选框的高维度行人特征之间的距离，以判断该距离是否小于预设距离阈值；将满足所述位移未超过所述预设位移阈值，且所述距离小于所述预设距离阈值的行人躯干框候选框形成同探头下同一行人的行人轨迹。
于本发明的一实施例中，所述对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征的步骤包括：对所述同探头下的同一行人的行人轨迹进行轨迹采样，获取采样的行人躯干；对采样的行人躯干进行低维度行人特征提取，得到同探头下的行人轨迹的高维度行人特征。
于本发明的一实施例中，所述基于同探头下的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征的步骤包括：对提取到的同一行人在同探头下的高维度行人特征，进行维度累加；计算累加后的维度的均值，得到同一行人在同探头下的行人融合特征。
于本发明的一实施例中，所述在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据的步骤包括：将不同探头下的所有的行人融合特征作为检测数据集；对检测数据集中的数据进行分类，获取若干个不同的数据密集区域；其中，所述数据密集区域为同一行人在目标区域内不同探头下的完整轨迹；统计所述数据密集区域的数量；所述密集区域的数量为总有效客流数。
于本发明的一实施例中，所述通过一定算法将检测数据集中的数据依次进行分类，得到若干个不同的数据密集区域的步骤包括：从所述检测数据集中随机选取一个数据；以该数据为中心，以预设长度为预设邻域半径，设定该数据的邻域区域；当数据的邻域区域内数据点数大于等于预设点数阈值时，将该数据定义为核心点；当数据的邻域区域内数据点数小于预设点数阈值时，将该数据定义为边界点；其余数据定义为噪声点；若核心点之间的距离小于所述邻域半径时，将距离小于邻域半径的两个核心点归为同一个密集区域；循环执行上述步骤，直至选取完毕检测数据集中所有数据后形成若干个不同的数据密集区域。
本发明另一方面提供一种基于行人重识别的客流量统计系统，包括：获取模块，用于获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面；检测模块，用于对所述监控画面进行行人检测，以获取行人躯干框候选框；轨迹形成模块，用于将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹；其中，从所述行人躯干框候选框对应的图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨；特征提取模块，用于对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征；特征融合模块，用于基于同探头下的行人轨迹的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征；聚类模块，用于在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述基于行人重识别的客流统计方法。
本发明最后一方面提供一种基于行人重识别的客流统计设备，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于行人重识别的客流统计设备执行如上所述基于行人重识别的客流统计方法。
如上所述，本发明的基于行人重识别的客流量统计方法、系统、设备及介质，具有以下有益效果：
本发明针对线下的零售店铺，结合了基于行人重识别的客流量统计方法、系统、设备、介质，完成了一套完整的客流统计系统。利用点位设计的先验信息，将其中将各部分模块的算法与业务指标紧密结合，尽量规避行人检测结果不稳定对后续行人检索的影响，同时降低了跟踪算法和行人特征提取带来的算力压力，优化了业务指标的合理性，使其对面零售场景具有更好的稳定性。
附图说明
图1显示为本发明的基于行人重识别的客流量统计方法于一实施例中的流程示意图。
图2显示为本发明的基于行人重识别的客流量统计方法于一实施例中的获取行人躯干框候选图像流程示意图。
图3显示为本发明的基于行人重识别的客流量统计方法于一实施例中的形成同探头下的行人轨迹流程示意图。
图4本发明的基于行人重识别的客流量统计方法于一实施例中的跟踪与行人特征提取网络结构示意图。
图5显示为本发明的基于行人重识别的客流量统计方法于一实施例中的获取当前目标区域内的客流数据流程示意图。
图6显示为本发明的基于行人重识别的客流量统计方法于一实施例中的对所有的行人轨迹进行跨探头的聚类流程示意图。
图7显示为本发明的基于行人重识别的客流量统计系统于一实施例中的原理结构示意图。
元件标号说明：
7-基于行人重识别的客流量统计系统；
71-获取模块；
72-检测模块；
73-轨迹形成模块；
74-特征提取模块；
75-特征融合模块；
76-聚类模块；
S11~S16，步骤。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种基于行人重识别的客流量统计方法，包括：
获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面；
对所述监控画面进行行人检测，以获取行人躯干框候选框；
将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹；其中，从所述行人躯干框候选框对应的图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨；
对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征；
基于同探头下的行人轨迹的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征；
在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。
以下将结合图示对本实施例所提供的基于行人重识别的客流量统计方法进行详细描述。请参阅图1，显示为本发明的基于行人重识别的店铺客流量统计方法于一实施例中的流程示意图。如图1所示，所述基于行人重识别的客流量统计方法具体包括以下步骤：
S11，获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面。
所述的视频流，可以通过安装于实体店（如：店铺）的监控设备直接拍摄而得到，得到目标区域内的实时视频流。得到实时视频流后，对实时视频流提取监控画面，提取的时间间隔根据客流量统计需求而定，最终得到若干帧图像。所述图像所描述的信息包括：图片ID、图像位置信息、上传探头的ID、图像拍摄时间、图像描述信息等。
S12，对所述监控画面进行行人检测，以获取行人躯干框候选框。请参阅图2，显示为本发明的基于行人重识别的客流量统计方法于一实施例中的获取行人躯干框候选图像的流程示意图。如图2所示，所述S12包括以下步骤：
S121，对所述监控画面进行画面预处理，形成预处理后的监控画面。
由于目标区域内的行人是不停移动的状态，而往往是行人的移动和遮挡会对系统带来不稳定的因素。因此，需要在店铺安装的探头获取实时的视频流后，对这些实时画面进行初步的处理。
本实施例选用了数字滤波法对所获取的实时画面进行相应预处理，通过对目标区域内运动目标所获取的图像进行宽高比过滤进行去模糊的处理，最终得到稳定且质量较高的画面。
同样，本实施例的数字滤波法可采用维纳滤波、逆滤波等算法来处理。可根据实际场景中的情况不同，采用不同的滤波方法，以此来降低此类噪声的影响，达到去模糊的效果。同时，能够为后续模块输入的行人躯干画面的稳定性提供有利的保障。
S122，基于目标检测网络对预处理后的监控画面进行行人检测，以获取所述行人躯干框候选图像。
在进行行人检测时，可以采用神经网络行人检测法来实现，包括但不限于以下一种或多种方法组合来实现。本实施例以yolo4法为例进行说明。本实施例基于目标检测网络，对S121步骤中得到的图像进行缩放，并将图像通过全卷积神经网络进行处理，并利用极大值抑制对图像进行筛选，最终筛选出满足实施例所需要的不同程度框选着的行人躯干框侯选图像。
在本实施例中，在使用神经网络行人检测方法时，采用的是流行的开源目标检测网络，也可采用如：Efficient Net等方法进行处理。
S13，将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹。其中，从所述行人躯干框候选框对应的图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨。请参阅图3，显示为本发明的基于行人重识别的客流量统计方法于一实施例中的形成同探头下的行人轨迹流程示意图。如图3所示，所述S13包括以下几个步骤：
S131，将所述于行人躯干框候选框图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下行人特征的跟踪。
在本实施例中，利用神经网络对行人躯干框侯选图像实现对行人特征的提取。本实施例中以所述神经网络选用Resnet50为例进行说明。
请参阅图4，显示为本发明跟踪与行人特征提取网络结构示意图。如图4所示，Resnet50是一种深度学习的神经网络结构。其中，Resnet.Stage来自Resnet50自身的模块，ResNet分为5个stage阶段（即：Stage 0、Stage 1、Stage2、Stage3、Stage 4）。该结构是通过将S122步骤中得到的行人躯干框候选图像作为Resnet50结构的输入对象，通过Stage 0~4这五个阶段进行处理，实现对行人特征提取的目的，最终分别得到了高维度的行人特征和低维度的行人特征。
具体地，将S122步骤中得到的行人躯干框侯选图像输入至Resnet50结构中，经过Stage 0~2，最终通过Resnet.Stage3~4层得到行人特征1，其维度为2048维，为本实施例中的高维度行人特征。所述高维度行人特征用于后续中对行人特征进行特征融合。
表1：Reduce1层的结构
Figure 684887DEST_PATH_IMAGE001
同时，行人躯干框侯选图像通过Resnet.Stage0~2层得到行人特征2，其维度是256维，得到低维度行人特征。而Reduce2层是服务于同探头下的跟踪，通过选用较低的特征维度，来实现同探头下的人体躯干框图像的分辨，并将其快速输出。Reduce2层结构如表2所示：
表2：Reduce2层的结构
Figure 8552DEST_PATH_IMAGE002
通过上述过程，本实施例最终实现对行人躯干框候选框图像中分别提取高维度行人特征和低维度行人特征的过程。
除了本实施例所采用的resnet50网络，也可以使用其他不同的中大型神经网络，作为整个网络结构的backbone来提取特征，如：vgg16等。
S132，将不同时刻下行人躯干框图像和高维度行人特征进行对比。具体步骤如下：
将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框的中心点像素位移进行比较，以判断该位移是否超过预设位移阈值。
在当前时刻T下，经过S122步骤中获取的同探头下的大量行人躯干候选图像，与T-1时刻下的行人躯干候选图像进行匹配，以此往后不断进行时间的迭代，最终得到同探头下完整的行人轨迹。
本实施例中，通过将当前时刻下的行人躯干侯选框图像的中心点与前一时刻下的行人躯干侯选框图像的中心点进行计算，得到的结果与预设位移阈值进行比较；
若当前时刻T下的行人躯干侯选框图像的中心点与前一时刻下的行人躯干侯选框图像的中心点位移小于等于预设的位移阈值时，则暂时视为不同时刻下的这两个行人躯干侯选框图像是同一个行人，而这两个图像均为同一行人的轨迹；
若当前时刻T下的行人躯干侯选框图像的中心点与前一时刻下的行人躯干侯选框图像的中心点位移大于预设的位移阈值时，则不能认定这两个行人躯干侯选框图像不是同一个行人，因而，当前时刻下的帧图像为不同行人的图像。
计算行人躯干框候选框的高维度行人特征之间的距离，以判断该距离是否小于预设距离阈值。
得到同一行人的若干行人躯干框图像后，再结合S131步骤中提取的同一行人的躯干框图像所对应的高维度特征，进行计算特征之间的距离，以此判断该距离与预设距离阈值的关系。
本实施例中，通过采用欧氏距离公式或者是余弦距离公式进行计算，并将计算结果与预设的距离阈值进行对比；当行人躯干框的高维度特征小于预设的距离阈值的高维度行人特征时，为本实施例所需要得到的行人特征，满足条件；当行人躯干框的高维度特征大于等于于预设的距离阈值的高维度行人特征时，不能判定为同一行人的行人轨迹。
本实施例中采用的欧氏距离和余弦距离的计算公式如下：
欧氏距离：
Figure 194814DEST_PATH_IMAGE003
；
余弦距离：
Figure 527706DEST_PATH_IMAGE004
；
其中, Dist–距离计算函数，
X–输入向量1，具有Nx1大小；
Y- 输入向量2，也具有Nx1大小；
Xi- X向量中的具体数值；
Yi- Y向量中的具体数值。
S133，将满足所述位移未超过所述预设位移阈值，且所述距离小于所述预设距离阈值的行人躯干框候选框形成同探头下同一行人的行人轨迹。
本实施例中，结合上面两个步骤的计算，满足这两个条件的前后帧行人躯干，将被定义为此行人在当前探头下的轨迹；同时，若行人在经过外围探头的时候，会根据轨迹的移动方向，定义此行人为进入店铺或者离开店铺，店铺内的探头下的轨迹不产生此种进出数据流。
本实施例中，是通过神经网络对不同时刻下行人躯干框侯选框进行行人特征提取，将提取到的不同时刻下的行人特征进行匹配，最终得到同探头下同一行人的行人轨迹。
S14，对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征。所述对同探头下的行人轨迹进行跟踪与行人特征提取包括以下两个步骤：
S141，对所述同探头下的同一行人的行人轨迹进行轨迹采样，获取采样的行人躯干。
本实施例中，通过S133步骤，得到了同探头下同一行人的行人轨迹；对上述行人轨迹进行采样；所述采样时间间隔，是根据客流量统计需求，来进行等时间的间隔采样；最终获取同探头下同一行人的行人躯干的。
S142，对采样的行人躯干进行低维度行人特征提取，得到同探头下的高维度行人特征。
本实施例中，通过轻量化的特征提取网络，对所述S141中的行人躯干特征进行低维度特征提取，所提取到的低维度特征为同探头下的行人轨迹的行人特征。
S15，基于同探头下的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征。所述同探头的特征融合包括以下两个步骤：
S151，对提取到的同一行人在同探头下的高维度行人特征，进行维度累加。
对同一行人在同探头下的高维度行人特征，进行维度累加。
例如，本实施例中提取到的高维度特征是2048维度的高维度行人特征，将2048维的特征向量进行逐项累加，得到一个累加后的高维度行人特征。
S152，计算累加后的维度的均值，得到同一行人在同探头下的行人融合特征。
将S151步骤中得到的累加后的高维度行人特征，进行求均值。
例如，将得到的累加后的高维度行人特征除以2048维，得到高维度行人特征的均值；该均值为同一行人在同探头下的行人融合特征；所述行人融合特征用于对行人轨迹进行跨探头下的聚类。此时的行人融合特征可以代表同探头下同一行人的整条行动轨迹，极大地提升了后续聚类的性能。
S16，在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。请参阅图5，显示为本发明的基于行人重识别的客流量统计方法于一实施例中的获取当前目标区域内的客流数据流程示意图。如图5所示，所述对所有的行人轨迹进行跨探头的聚类包括以下几个步骤：
S161，将不同探头下的所有的行人融合特征作为检测数据集。
本实施例中，根据每个探头下的S152步骤中得到的同探头下的行人融合特征，将所有目标区域的探头下的行人融合特征进行提取，得到一个完整的行人融合特征集，将所述完整的行人融合特征集作为检测数据集。
S162，对检测数据集中的数据进行分类，获取若干个不同的数据密集区域；其中，所述数据密集区域为同一行人在目标区域内不同探头下的完整轨迹；统计所述数据密集区域的数量；所述密集区域的数量为总有效客流数。请参阅图6，显示为本发明一种基于行人重识别的客流量统计方法于一实施例中的对所有的行人轨迹进行跨探头的聚类流程示意图。如图6所示，所述S162包括以下几个步骤：
S162A，从所述检测数据集中随机选取一个数据。
从所述检测数据集中任意选取一个数据对象点p。
S162B，以该数据为中心，以预设长度为预设邻域半径，设定该数据的邻域区域。
S162C，当数据的邻域区域内数据点数大于预设点数阈值时，将该数据定义为核心点；当数据的邻域区域内数据点数小于预设点数阈值时，将该数据定义为边界点；其余数据定义为噪声点。
所选取的数据对象点 p 为中心点，邻域半径为Eps，最小点数目MinPts为点数阈值；对邻域半径进行预设，所述邻域半径预设值作为邻域区域；对最小点数目进行预设，所述最小点数目预设值作为点数阈值；进入下一步的运算。
在本实施例中，假设所述检测数据集中的数据总数为100，邻域区域半径预设为3，最小点数目预设为5。当以数据对象点p为中心的半径为3的邻域范围内的数据点数目大于5时，则该数据对象点p为该数据对象p点核心点；否则，为该数据对象p点的非核心点。依次对所述检测数据集的所有数据进行处理，完成对所有所述检测数据集中的数据的判断。
S162D，若核心点之间的距离小于所述邻域半径时，将距离小于邻域半径的两个核心点归为同一个密集区域。
通过S162C步骤中判断得到的所有核心点依次进行计算；
计算不同核心点之间的距离与邻域半径的关系，当核心点之间的距离小于邻域半径时，可判定所述核心点在同一个密集区域里；当核心点之间的距离大于等于邻域半径时，可判定所述核心点不在同一个密集区域里。
本实施例中，假设有不同的核心点m，n；当核心点m和核心点n之间的距离小于3时，则看作这两个核心点m和n在同一个密集区域里；当核心点m和核心点n之间的距离大于等于3时，则看作这两个核心点m和n不在同一个密集区域里。
S162E，循环执行上述步骤，直至选取完毕检测数据集中所有数据后形成若干个不同的数据密集区域。
由上述步骤可知，依次处理所有的核心点以后，最终得到若干个不同的密集区域；每一个密集区域为同一行人在所在探头下的全部的行人轨迹；也就是说，得到的是同一行人在目标检测区域内的完整轨迹。
假设所述检测数据集中的数据总数为100，最终经过上述步骤以后，得到了9个不同的密集区域，则可以判断，最终得到了目标区域内的9个人的完整轨迹。
本实施例中，DBSCAN的输入多条2048维均值融合后的行人特征，至于DBSCAN的参数邻域半径 Eps和最小点数目阈值 MinPts会根据不同的场地来进行灵活取值，最后输出密度联通密集区域。
本实施例中采用了DBSCAN聚类算法实现了跨探头下的聚类，也可以采用其他不同的聚类方法，如：rerank，k-means等聚类方法来实现跨探头下的聚类。
本实施例另外还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理 器执行时实现如图 1 所述基于行人重识别的客流统计方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质， 其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是（但不限于）电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如 Smalltalk、 C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面
实施例二
本实施例提供一种基于行人重识别的客流量统计系统，包括：
获取模块，用于获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面；
检测模块，用于对所述监控画面进行行人检测，以获取行人躯干框候选框；
轨迹形成模块，用于将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹；其中，从所述行人躯干框候选框对应的图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨；
特征提取模块，用于对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征；
特征融合模块，用于基于同探头下的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征；
聚类模块，用于在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。
以下将结合图示对本实施例所提供的基于行人重识别的客流量统计系统7进行详细描述。请参阅图7，显示为基于行人重识别的客流量统计系统7于一实施例中的原理结构示意图。如图7所示，所述基于行人重识别的客流量统计系统7包括：获取模块71、检测模块72、轨迹形成模块73、特征提取模块74、特征融合模块75以及聚类模块76。
所述获取模块71用于获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面。
所述的视频流，可以通过安装于实体店（如：店铺）的监控设备直接拍摄而得到，得到目标区域内的实时视频流。得到实时视频流后，对实时视频进行提取监控画面，提取的时间间隔根据客流量统计需求而定，最终得到若干帧图像。
所述检测模块72用于对所述监控画面进行行人检测，以获取行人躯干框候选框。
对视频流的画面进行预处理和行人检测，高效地提取画面中的有效信息。
本实施例选用了数字滤波法对所获取的实时画面进行相应预处理，通过对目标区域内运动目标所获取的图像进行宽高比过滤进行去模糊的处理，最终得到稳定且质量较高的画面。
同样，本实施例的数字滤波法可采用维纳滤波、逆滤波等算法来处理。可根据实际场景中的情况不同，采用不同的滤波方法，以此来降低此类噪声的影响，达到去模糊的效果。同时，能够为后续模块输入的行人躯干画面的稳定性提供有利的保障。
在进行行人检测时，可以采用神经网络行人检测法来实现。本实施例基于目标检测网络，图像进行缩放，并将图像通过全卷积神经网络进行处理，并利用极大值抑制对图像进行筛选，最终筛选出满足实施例所需要的不同程度框选着的行人躯干框侯选图像。
本实施例在使用神经网络行人检测方法时，采用的是流行的开源目标检测网络，也可采用如：Efficient Net等方法进行处理。
所述轨迹形成模块73用于将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹。
通过将所述于行人躯干框候选框图像中提取高维度行人特征和低维度行人特征；其中，所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨。
通过以下两个条件对行人躯干框侯选框进行判断：
将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框的中心点像素位移进行比较，以判断该位移是否超过预设位移阈值；计算行人躯干框候选框的高维度行人特征之间的距离，以判断该距离是否小于预设距离阈值。
由上述判断条件可知，满足所述位移未超过所述预设位移阈值，且所述距离小于所述预设距离阈值的行人躯干框候选框则形成同探头下同一行人的行人轨迹。
所述特征提取模块74用于对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征。
在本实施例中，本跟踪算法使用Reduce2下的模型，并且此时Reduce1下的模型并不会输出用于跨探头的行人重识别的特征，以便迅速完成行人图像到小特征的运算；所述特征提取模块实现了对所述同探头下的同一行人的行人轨迹进行轨迹采样，获取采样的行人躯干；再对采样的行人躯干进行高维度行人特征提取，得到同探头下的行人轨迹的高纬度行人特征。
将跟踪所用的网络与行人特征提取的网络进行合并，并且后续根据探头下完整的轨迹进行采样的行人特征提取，能够高效地完成客流算法的核心流程。
所述特征融合模块75用于基于同探头下的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征。
所述特征融合模块75对提取到的同一行人在同探头下的高维度行人特征，进行维度累加，得到累加后的高维度行人融合特征；再将累加后的高维度行人融合特征求得均值，得到同一行人在同探头下的行人融合特征。本实施例中，选取通过对行人躯干框候选框图像进行行人特征提取，得到2048维的高维度行人特征；通过对同探头下的高维度行人特征进行维度累加，得到2048维的累加后的高维度行人特征；再将所述累加后的高维度行人特征除以2048，得到高维度行人特征的均值；最终得到的所述高维度行人特征为同一行人在同探头下的所有的行人融合特征。
所述聚类模块76用于在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。
所述聚类模块76对所有的行人轨迹进行跨探头的聚类实现过程如下：
首先，将不同探头下的所有的行人融合特征作为检测数据集；其次，对检测数据集中的数据进行分类，获取若干个不同的数据密集区域；其中，每一个所述数据密集区域为同一行人在目标区域内不同探头下的完整轨迹。最后，统计所述数据密集区域的数量，得到的密集区域数量即为目标区域内的总行人数量，也就是总有效客流数。
具体地，所述所有行人整合特征作为检测数据集；从所述检测数据集中随机选取一个数据。从所述检测数据集中任意选取一个数据对象点p。以该数据为中心，以预设长度为预设邻域半径，设定该数据的邻域区域。当数据的邻域区域内数据点数大于预设点数阈值时，将该数据定义为核心点；当数据的邻域区域内数据点数小于预设点数阈值时，将该数据定义为边界点；其余数据定义为噪声点。
所选取的数据对象点 p 为中心点，邻域半径为Eps，最小点数目MinPts为点数阈值；对邻域半径进行预设，所述邻域半径预设值作为邻域区域；对最小点数目进行预设，所述最小点数目预设值作为点数阈值。
若核心点之间的距离小于所述邻域半径时，将距离小于邻域半径的两个核心点归为同一个密集区域。计算不同核心点之间的距离与邻域半径的关系，当核心点之间的距离小于邻域半径时，可判定所述核心点在同一个密集区域里；当核心点之间的距离大于等于邻域半径时，可判定所述核心点不在同一个密集区域里。循环执行上述步骤，直至选取完毕检测数据集中所有数据后形成若干个不同的数据密集区域。依次处理所有的核心点以后，最终得到若干个不同的密集区域；每一个密集区域为同一行人在所在探头下的全部的行人轨迹；也就是说，得到的是同一行人在目标检测区域内的完整轨迹。
本实施例中采用了DBSCAN聚类算法实现了跨探头下的聚类，也可以采用其他不同的聚类方法，如：rerank，k-means等聚类方法来实现跨探头下的聚类。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable GateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种基于行人重识别的客流统计设备，所述设备至少包括：处理器、存储器、收发器、通信接口和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使基于行人重识别的客流统计设备执行如上所述基于行人重识别的客流统计方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准（Peripheral ComponentInterconnect， 简称PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，简称 EISA） 总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备（如客户端、读写库和只读库）之间的通信。存储器可能包含随机存取存储器（RandomAccess Memory，简称 RAM），也可能还包括非易失性存储器（non-volatile memory）， 例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，简称 CPU）、网络处理器（ Network Processor， 简称 NP） 等；还可以是数字信号处理器（Digital SignalProcessing， 简称 DSP）、专用集成电路（Application SpecificIntegrated Circuit， 简称 ASIC）、现场可编程门阵列（Field Programmable GateArray， 简称 FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的基于行人重识别的店铺客流统计方法、系统、设备及介质的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、 步骤替换所实现的方案都包括在本发明的保护范围内。
综上所述，本发明提供的基于行人重识别的客流量统计系统、系统、设备及介质，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值，具有以下有益效果：
本发明可以应用于各大零售店铺当中，利用从前端探头设备获取的监控画面，经过本系统的技术处理，可以计算出当天零售店铺的人次、人数等的客流变化情况，帮助商家更好地评估店铺营业的真实情况，能够针对性地发掘潜在客户，提升营业额。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于行人重识别的客流统计方法，其特征在于，包括：
获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面；
对所述监控画面进行行人检测，以获取行人躯干框候选框；
将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹；其中，从所述行人躯干框候选框对应的图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨；
对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征；
基于同探头下的行人轨迹的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征；
在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。
2.根据权利要求1所述的基于行人重识别的客流统计方法，其特征在于，所述的对所述监控画面进行行人检测，以获取行人躯干框候选图像的步骤包括：
对所述监控画面进行画面预处理，形成预处理后的监控画面；
基于目标检测网络对预处理后的监控画面进行行人检测，以获取所述行人躯干框候选图像。
3.根据权利要求1所述的基于行人重识别的客流统计方法，其特征在于，所述将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹的步骤包括：
将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框的中心点像素位移进行比较，以判断该位移是否超过预设位移阈值；
计算行人躯干框候选框的高维度行人特征之间的距离，以判断该距离是否小于预设距离阈值；
将满足所述位移未超过所述预设位移阈值，且所述距离小于所述预设距离阈值的行人躯干框候选框形成同探头下同一行人的行人轨迹。
4.根据权利要求3所述的基于行人重识别的客流统计方法，其特征在于，所述对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征的步骤包括：
对所述同探头下的同一行人的行人轨迹进行轨迹采样，获取采样的行人躯干；
对采样的行人躯干进行低维度行人特征提取，得到同探头下的行人轨迹的高维度行人特征。
5.根据权利要求3所述的基于行人重识别的客流统计方法，其特征在于，所述基于同探头下的行人轨迹的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征的步骤包括：
对提取到的同一行人在同探头下的高维度行人特征，进行维度累加；
计算累加后的维度的均值，得到同一行人在同探头下的行人融合特征。
6.根据权利要求5所述的基于行人重识别的客流统计方法，其特征在于，所述在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据的步骤包括：
将不同探头下的所有的行人融合特征作为检测数据集；
对检测数据集中的数据进行分类，获取若干个不同的数据密集区域；其中，所述数据密集区域为同一行人在目标区域内不同探头下的完整轨迹；统计所述数据密集区域的数量；所述密集区域的数量为总有效客流数。
7.根据权利要求6所述的基于行人重识别的客流统计方法，其特征在于，所述对检测数据集中的数据进行分类，获取若干个不同的数据密集区域的步骤包括：
从所述检测数据集中随机选取一个数据；
以该数据为中心，以预设长度为预设邻域半径，设定该数据的邻域区域；
当数据的邻域区域内数据点数大于等于预设点数阈值时，将该数据定义为核心点；当数据的邻域区域内数据点数小于预设点数阈值时，将该数据定义为边界点；其余数据定义为噪声点；
若核心点之间的距离小于所述邻域半径时，将距离小于邻域半径的两个核心点归为同一个密集区域；
循环执行上述步骤，直至选取完毕检测数据集中所有数据后形成若干个不同的数据密集区域。
8.一种基于行人重识别的客流统计系统，其特征在于，包括：
获取模块，用于获取不同探头于目标区域内实时视频流，于实时视频流中提取监控画面；
检测模块，用于对所述监控画面进行行人检测，以获取行人躯干框候选框；
轨迹形成模块，用于将当前时刻的行人躯干框候选框与上一时刻的行人躯干框候选框进行匹配，以形成同探头下的行人轨迹；其中，从所述行人躯干框候选框对应的图像中提取高维度行人特征和低维度行人特征；所述高维度行人特征用于对行人特征进行特征融合；所述低维度行人特征用于对同探头下的行人躯干框图像的分辨；
特征提取模块，用于对同探头下的行人轨迹进行跟踪与行人特征提取，得到同探头下的行人轨迹的高维度行人特征；
特征融合模块，用于基于同探头下的行人轨迹的高维度行人特征，进行同探头的特征融合，以获取所有的行人融合特征；
聚类模块，用于在获取所有的行人融合特征后，对所有的行人轨迹进行跨探头的聚类，以获取当前目标区域内的客流数据。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述基于行人重识别的客流统计方法。
10.一种基于行人重识别的客流统计设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于行人重识别的客流统计设备执行权利要求1至7中任一项所述基于行人重识别的客流统计方法。
CN202211186051.9A 2022-09-28 2022-09-28 基于行人重识别的客流量统计方法、系统、设备及介质 Pending CN115272982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211186051.9A CN115272982A (zh) 2022-09-28 2022-09-28 基于行人重识别的客流量统计方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211186051.9A CN115272982A (zh) 2022-09-28 2022-09-28 基于行人重识别的客流量统计方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115272982A true CN115272982A (zh) 2022-11-01

Family

ID=83757673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211186051.9A Pending CN115272982A (zh) 2022-09-28 2022-09-28 基于行人重识别的客流量统计方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115272982A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270310A (zh) * 2020-11-24 2021-01-26 上海工程技术大学 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置
CN113642455A (zh) * 2021-08-11 2021-11-12 云从科技集团股份有限公司 行人数量确定方法、装置以及计算机可读存储介质
CN114821482A (zh) * 2022-05-27 2022-07-29 汇纳科技股份有限公司 一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270310A (zh) * 2020-11-24 2021-01-26 上海工程技术大学 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置
CN113642455A (zh) * 2021-08-11 2021-11-12 云从科技集团股份有限公司 行人数量确定方法、装置以及计算机可读存储介质
CN114821482A (zh) * 2022-05-27 2022-07-29 汇纳科技股份有限公司 一种基于鱼眼探头的矢量拓扑一体化客流计算方法及系统

Similar Documents

Publication Publication Date Title
Patil et al. MSFgNet: A novel compact end-to-end deep network for moving object detection
Patil et al. MsEDNet: Multi-scale deep saliency learning for moving object detection
Liu et al. Iterative relaxed collaborative representation with adaptive weights learning for noise robust face hallucination
Arya et al. Object detection using deep learning: A review
Gnouma et al. Video anomaly detection and localization in crowded scenes
Makwana et al. PCBSegClassNet—A light-weight network for segmentation and classification of PCB component
Wang et al. Visual tracking via robust multi-task multi-feature joint sparse representation
Bohush et al. Robust person tracking algorithm based on convolutional neural network for indoor video surveillance systems
Liu et al. An effective approach to crowd counting with CNN-based statistical features
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
Sridhar et al. Real time fire detection and localization in video sequences using deep learning framework for smart building
Padmashini et al. Vision based algorithm for people counting using deep learning
CN115272982A (zh) 基于行人重识别的客流量统计方法、系统、设备及介质
Roka et al. Deep stacked denoising autoencoder for unsupervised anomaly detection in video surveillance
Thangaraj et al. A competent frame work for efficient object detection, tracking and classification
Huu et al. Action recognition application using artificial intelligence for smart social surveillance system.
Hill et al. Reducing training demands for 3d gait recognition with deep koopman operator constraints
Vaidya et al. Comparative analysis of motion based and feature based algorithms for object detection and tracking
Wang Action recognition based on Riemannian manifold distance measurement and adaptive weighted feature fusion
Mostafa et al. Complex bingham distribution for facial feature detection
Thakur et al. Design of an ATM security through smart-vision
Chan et al. A combination of background modeler and encoder-decoder CNN for background/foreground segregation in image sequence
Mounsef et al. Augmented SRC for face recognition under quality distortions
Merikapudi et al. Video Face Detection using Bayesian Technique
Kumar et al. A Brief Study on Object Detection and Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221101

RJ01 Rejection of invention patent application after publication