CN112132119B - 客流统计方法、装置、电子设备和存储介质 - Google Patents

客流统计方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112132119B
CN112132119B CN202011326554.2A CN202011326554A CN112132119B CN 112132119 B CN112132119 B CN 112132119B CN 202011326554 A CN202011326554 A CN 202011326554A CN 112132119 B CN112132119 B CN 112132119B
Authority
CN
China
Prior art keywords
head
shoulder
image
passenger flow
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011326554.2A
Other languages
English (en)
Other versions
CN112132119A (zh
Inventor
李小兵
胡克任
茆晓萱
王旭
支洪平
刘德贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN202011326554.2A priority Critical patent/CN112132119B/zh
Publication of CN112132119A publication Critical patent/CN112132119A/zh
Application granted granted Critical
Publication of CN112132119B publication Critical patent/CN112132119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种客流统计方法、装置、电子设备和存储介质，其中方法包括：对待统计视频中的当前视频帧进行头肩检测，得到当前视频帧中的若干个头肩区域图像；将各个头肩区域图像输入至头肩特征提取模型，得到头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，头肩特征提取模型是基于样本图像对训练得到的，样本图像对包括锚点头肩图像、与锚点头肩图像属于相同行人的正样本头肩图像，以及与锚点头肩图像属于不同行人的负样本头肩图像；基于各个头肩区域图像的头肩特征，更新待统计视频的客流轨迹，基于客流轨迹进行客流统计。本发明实施例提供的客流统计方法、装置、电子设备和存储介质，能够保证客流轨迹跟踪的可靠性。

Description

客流统计方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种客流统计方法、装置、电子设备和存储介质。
背景技术
随着计算机视觉、数字图像处理技术的快速发展，智能视频分析已经成为一个十分活跃的领域，基于智能视频分析的客流统计也得到了广泛的应用。
目前的客流统计为了避免在行人靠近或者肢体之间相互接触发生遮挡时发生漏报。通常基于垂直视角进行视频采集，并对采集得到的视频进行头肩检测，进而匹配不同行人的运动轨迹。然而由于垂直视角下不同行人的头肩相似度较高，相同行人的头肩也可能存在一定的形变，目前的匹配方法难以保证匹配效果，影响行人的运动轨迹的准确性，导致客流统计可靠性受到影响。
发明内容
本发明实施例提供一种客流统计方法、装置、电子设备和存储介质，用以解决现有技术中基于头肩特征的行人轨迹匹配不准确，导致客流统计可靠性差的缺陷。
本发明实施例提供一种客流统计方法，包括：
对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；
将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。
根据本发明一个实施例的客流统计方法，所述头肩特征提取模型是以最大化所述锚点头肩图像与所述正样本头肩图像的头肩特征相似度，以及最小化所述锚点头肩图像与所述负样本头肩图像的头肩特征相似度为目标训练得到的。
根据本发明一个实施例的客流统计方法，所述头肩特征提取模型包括特征融合层，以及按照尺度从大到小的顺序排列的多个不同尺度的特征提取层；
所述将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征，包括：
将上一尺度的图像特征输入至当前尺度的特征提取层，得到当前尺度的特征提取层输出的当前尺度的图像特征；
将每个尺度的图像特征输入至所述特征融合层，得到所述特征融合层输出的头肩特征；
其中，首个尺度的特征提取层的输入为任一头肩区域图像。
根据本发明一个实施例的客流统计方法，所述对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像，包括：
对当前视频帧进行头肩检测，得到当前视频帧中的若干个候选头肩检出框；
基于所述待统计视频中当前视频帧的前一视频帧，以及当前视频帧，确定所述当前视频帧的差分图像；
对所述差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框；
基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像。
根据本发明一个实施例的客流统计方法，所述对所述差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框，包括：
基于头肩检出框尺寸，对二值化后的差分图像进行连通分量分析，得到若干个运动头肩检出框；
其中，所述头肩检出框尺寸是基于样本头肩检出框的尺寸得到的。
根据本发明一个实施例的客流统计方法，所述基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像，包括：
若任一运动头肩检出框在任一候选头肩检出框中的面积占比大于等于预设占比阈值，则确定所述任一候选头肩检出框在所述当前视频帧中的区域图像为所述头肩区域图像。
根据本发明一个实施例的客流统计方法，所述基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，包括：
将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，将匹配成功的头肩区域图像的头肩特征添加至对应行人运动轨迹中。
根据本发明一个实施例的客流统计方法，所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：
基于任一头肩区域图像的头肩特征与任一行人运动轨迹中各个历史头肩特征之间的距离，以及各个历史头肩特征对应的距离权重，确定所述任一头肩区域图像的头肩特征与所述行人运动轨迹之间的距离；
基于各个头肩区域图像的头肩特征与各个行人运动轨迹之间的距离，构建代价矩阵；
基于所述代价矩阵，对各个头肩区域图像的头肩特征与各个行人运动轨迹进行匹配。
根据本发明一个实施例的客流统计方法，所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：
基于任一行人运动轨迹中的各个历史头肩特征，确定所述任一行人运动轨迹的预估头肩特征；
将各个头肩区域图像中与所述预估头肩特征之间的距离小于预设距离阈值的头肩特征，与所述任一行人运动轨迹中的各个历史头肩特征进行匹配；
若所述任一行人运动轨迹未匹配到头肩特征，则将所述预估头肩特征添加至所述行人运动轨迹。
根据本发明一个实施例的客流统计方法，述基于所述客流轨迹进行客流统计，包括：
基于预先设定的规则线与所述客流轨迹中各个行人运动轨迹的交叉状态，进行客流统计。
本发明实施例还提供一种客流统计装置，包括：
头肩检测单元，用于对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；
特征提取单元，用于将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
客流统计单元，用于基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述客流统计方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述客流统计方法的步骤。
本发明实施例提供的客流统计方法、装置、电子设备和存储介质，应用头肩特征提取模型进行头肩特征的提取，相对于直接在头肩检测阶段提取头肩特征的方案，能够提高头肩特征的针对性和代表性，进而保证客流轨迹跟踪的可靠性。此外，基于样本图像对训练头肩特征提取模型，能够保证通过头肩提取模型得到的不同行人的头肩特征之间具有较大区别，进一步提高客流轨迹跟踪的可靠性，保证客流统计的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术行人来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的客流统计方法的流程示意图；
图2为本发明实施例提供的头肩特征提取模型的训练示意图；
图3为本发明实施例提供的头肩特征提取模型的运行流程示意图；
图4为本发明实施例提供的头肩特征提取模型的结构示意图；
图5为本发明实施例提供的头肩检测方法的流程示意图；
图6为本发明实施例提供的客流统计示意图；
图7为本发明另一实施例提供的客流统计方法的流程示意图；
图8为本发明实施例提供的客流统计装置的结构示意图；
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术行人在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
客流统计通常首先考虑对视频中的行人进行头肩检测，在检测的基础上对其进行跟踪，最后通过拌线进行人数统计。具体在跟踪时，通常是直接将用于检测的深度模型中某一层的深度卷积特征归一化后进行匹配，然而检测模型的卷积层通过训练后虽然可以预期头肩和其它背景之间区分的效果，但是无法保证不同行人头肩的区分效果。考虑垂直视角不同行人的头肩相似度较高，相同行人头肩也存在一定的形变，目前的匹配方法难以保证匹配效果，影响跟踪准确性，导致客流统计可靠性低。
对此，本发明实施例提供了一种客流统计方法。图1为本发明实施例提供的客流统计方法的流程示意图，如图1所示，该方法包括：
步骤110，对待统计视频中的当前视频帧进行头肩检测，得到当前视频帧中的若干个头肩区域图像。
具体地，待统计视频即需要进行客流统计的视频，待统计视频可以是以垂直视角装设在需要进行客流统计的场所下视频采集设备实时采集并传输的视频，也可以是视频采集设备预先采集并存储的视频。待统计视频包括多个视频帧，当前视频帧即当前需要进行客流统计的视频帧，基于当前视频帧进行客流统计所得的结果，反映的是当前视频帧对应时间的客流情况。
对当前视频帧进行头肩检测的方式有多种，例如可以将当前视频帧输入至预先训练好的用于头肩检测的神经网络模型中，将神经网络模型的输出结果作为头肩检测的结果，也可以结合当前视频帧与当前视频帧的前一视频帧，对当前视频帧进行运动状态下的头肩检测，本发明实施例对此不作具体限定。
通过对当前视频帧进行头肩检测，可以得到若干个头肩区域图像，此处的头肩区域图像即从当前视频帧中截取的包含有单个行人头肩的图像。头肩区域图像的数量等于当前视频帧中包含的行人人数，每个头肩区域图像对应一个行人。
步骤120，将各个头肩区域图像输入至头肩特征提取模型，得到头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，头肩特征提取模型是基于样本图像对训练得到的，样本图像对包括锚点头肩图像、与锚点头肩图像属于相同行人的正样本头肩图像，以及与锚点头肩图像属于不同行人的负样本头肩图像。
相较于直接将头肩检测过程中提取的特征作为头肩特征，本发明实施例中通过头肩特征提取模型额外进行头肩特征的提取，具备更强的针对性，由此得到的头肩特征更具备代表性，不同行人的头肩特征之间的区别性更强，更有益于提高客流轨迹跟踪的准确性和可靠性。
进一步地，考虑到垂直视角下不同行人的头肩相似度较高，为了提高头肩特征提取的代表性，可以基于样本图像对训练头肩特征提取模型。此处的样本图像对可以体现为三元组的形式，三元组中包括锚点头肩图像、正样本头肩图像以及负样本头肩图像，锚点头肩图像、正样本头肩图像以及负样本头肩图像均可以是对样本视频帧进行头肩检测所得的头肩区域图像，其中锚点头肩图像、正样本头肩图像对应的是同一个行人，锚点头肩图像和负样本头肩图像对应的是不同的行人。
在头肩特征提取模型训练过程中，可以将基于锚点头肩图像和正样本头肩图像所得的头肩特征之间的相似性，以及基于锚点头肩图像和负样本头肩图像所得的头肩特征之间的差异性作为头肩特征提取模型性能的衡量标准，从而尽量提取同个行人头肩特征的共性，以及不同行人头肩特征之间差异性，进而提高基于头肩特征提取模型输出的头肩特征的代表性。
步骤130，基于各个头肩区域图像的头肩特征，更新待统计视频的客流轨迹，基于客流轨迹进行客流统计。
具体地，客流轨迹用于反映待统计视频中包含的各个行人的运动轨迹，客流轨迹可以由若干条行人运动轨迹构成，行人运动轨迹和实际出现在待统计视频中的行人一一对应。每条行人运动轨迹均包含一个或者多个时刻下对应行人的位置，以及对应位置处该行人的头肩特征。
在得到当前视频帧中各个头肩区域图像的头肩特征后，即可将各个头肩区域图像的头肩特征与上一次更新后的客流轨迹中各个行人运动轨迹中包含的头肩特征进行匹配，得到当前视频帧中各个头肩区域图像的头肩特征与各个行人运动轨迹之间的对应关系，进而将各个头肩区域图像的头肩特征添加到对应的行人运动轨迹中，实现基于当前视频帧的客流轨迹更新。需要说明的是，客流轨迹会根据待识别视频中的每个视频帧逐次进行更新。
在得到更新后的客流轨迹后，即可基于预先设定的用于表征待统计区域的规则线，判断客流轨迹中各个行人运动轨迹对应行人与待统计区域之间的进出关系，进而得到客流统计结果。此处，待统计区域即待统计视频中需要进行客流统计的具体区域，待统计区域的规则线设置于待统计区域内，如果行人运动轨迹与规则先相交，则可以确定该行人运动轨迹对应的行人经过待统计区域，由此计入客流量。
本发明实施例提供的方法，应用头肩特征提取模型进行头肩特征的提取，相对于直接在头肩检测阶段提取头肩特征的方案，能够提高头肩特征的针对性和代表性，进而保证客流轨迹跟踪的可靠性。此外，基于样本图像对训练头肩特征提取模型，能够保证通过头肩提取模型得到的不同行人的头肩特征之间具有较大区别，进一步提高客流轨迹跟踪的可靠性，保证客流统计的准确性。
基于上述实施例，头肩特征提取模型是以最大化锚点头肩图像与正样本头肩图像的头肩特征相似度，以及最小化锚点头肩图像与负样本头肩图像的头肩特征相似度为目标训练得到的。
具体地，锚点头肩图像的头肩特征和正样本头肩图像的头肩特征之间的相似度即锚点头肩图像与正样本头肩图像的头肩特征相似度，锚点头肩图像与正样本头肩图像是同一个行人的头肩区域图像，两者之间的头肩特征相似度越高，则两者的头肩特征越能够反映在忽略掉行走状态、背景、形变等差异的情况下，同一个行人的头肩的共性特征。
锚点头肩图像的头肩特征与负样本头肩图像的头肩特征之间的相似度即锚点头肩图像与负样本头肩图像的头肩特征相似度，锚点头肩图像与负样本头肩图像是不同行人的头肩区域图像，两者之间的头肩特征相似度越低，则两者的头肩特征之间的差异性越明显，越能够反映出来不同行人的头肩之间的差异性特征。
以最大化锚点头肩图像与正样本头肩图像的头肩特征相似度，以及最小化锚点头肩图像与负样本头肩图像的头肩特征相似度为目标，可以使得头肩特征提取模型在训练过程中尽量多地学习同一个行人的头肩之间的共性特征，以及不同行人的头肩之间的差异性特征，从而使得训练得到的头肩特征提取模型所提取的头肩特征能够充分反映头肩区域图像中行人头肩的特征，提高头肩特征的代表性和针对性。
基于上述任一实施例，图2为本发明实施例提供的头肩特征提取模型的训练示意图，如图2所示，表示训练Trainning的箭头左侧为训练前的特征，箭头右侧为训练后的特征。Anchor表示锚点头肩图像的头肩特征，positive表示正样本头肩图像的头肩特征，negative表示负样本头肩图像的头肩特征。图2中以头肩特征之间的距离反映两者之间的相似度，相较于训练前，训练后的Anchor与positive之间的距离更近，相似度更高，训练后的Anchor与negative之间的距离更远，相似度更高。
相应地，头肩特征提取模型的损失函数可以基于锚点头肩图像与正样本头肩图像的头肩特征相似度，以及锚点头肩图像与负样本头肩图像的头肩特征相似度确定。具体可以体现为如下形式：
Figure 57506DEST_PATH_IMAGE001
式中，
Figure 284219DEST_PATH_IMAGE002
和
Figure 371124DEST_PATH_IMAGE003
分别表示锚点头肩图像、正样本头肩图像和负样本头肩图像，
Figure 907148DEST_PATH_IMAGE004
表示对应图像的头肩特征，
Figure 813924DEST_PATH_IMAGE005
为锚点头肩图像
Figure 782011DEST_PATH_IMAGE006
与正样本头肩图像
Figure 848056DEST_PATH_IMAGE007
的头肩特征相似度，
Figure 164768DEST_PATH_IMAGE008
为锚点头肩图像
Figure 434206DEST_PATH_IMAGE009
与负样本头肩图像
Figure 127356DEST_PATH_IMAGE003
的头肩特征 相似度，
Figure 313486DEST_PATH_IMAGE010
为用于保证训练效果的间隔参数，其作用是防止样本的特征聚合到一个 小空间中，要求同一样本图像对中锚点头肩图像
Figure 66679DEST_PATH_IMAGE009
与正样本头肩图像
Figure 823413DEST_PATH_IMAGE007
的头肩特征相似 度，与锚点头肩图像
Figure 54674DEST_PATH_IMAGE009
与负样本头肩图像
Figure 829732DEST_PATH_IMAGE003
的头肩特征相似度，此两者之间的距离至少大 于
Figure 832455DEST_PATH_IMAGE010
。
式中，N为样本图像对的总数，
Figure 201119DEST_PATH_IMAGE011
为对应图像的行人标识，
Figure 360705DEST_PATH_IMAGE012
表示锚点头肩图像
Figure 131215DEST_PATH_IMAGE009
与正样本头肩图像
Figure 101576DEST_PATH_IMAGE007
属于同一个行人，锚点 头肩图像
Figure 957537DEST_PATH_IMAGE009
与负样本头肩图像
Figure 858496DEST_PATH_IMAGE003
属于不同的行人。
基于上述任一实施例，头肩特征提取模型包括特征融合层，以及按照尺度从大到小的顺序排列的多个不同尺度的特征提取层。
其中，特征提取层的尺度用于表征对应输出的图像特征的尺度，特征提取层的尺度越小，其输出的图像特征具有的信息更高层、更丰富。多个不同尺度的特征提取层按照尺度从大到小的顺序排列，并将前一尺度的特征提取层的输出作为当前尺度的特征提取层的输入，从而逐次减小头肩区域图像的特征提取尺度，使得各个尺度的特征提取层输出的图像特征越来越高级。
特征融合层可以逐层融合各个尺度的特征提取层输出的图像特征，从而得到包含所有尺度的图像特征表征信息的头肩特征。
基于上述任一实施例，图3为本发明实施例提供的头肩特征提取模型的运行流程示意图，如图3所示，步骤120包括：
步骤121，将上一尺度的图像特征输入至当前尺度的特征提取层，得到当前尺度的特征提取层输出的当前尺度的图像特征；
其中，首个尺度的特征提取层的输入为该头肩区域图像。
具体地，针对于多个不同尺度的特征提取层，每个特征提取层均可以作为当前尺度的特征提取层执行步骤121。首先，可以将任一头肩区域图像输入至尺度最大的特征提取层，从而得到该特征提取层输出的尺度最大、最底层的图像特征。随即，将当前特征提取层输出的图像特征输入至下一尺度的特征提取层，得到该下一尺度的特征提取层输出的图像特征。以此类推，直至得到尺度最小的特征提取层输出的尺度最小、最高层的图像特征。
步骤122，将每个尺度的图像特征输入至特征融合层，得到特征融合层输出的头肩特征。
具体地，不同尺度的特征提取层所输出的图像特征中包含的语义信息不同，其中尺度越大的特征提取层输出的图像特征中包含的语义信息越底层，但细节信息越多，尺度越小的特征提取层输出的图像特征中包含的语义信息越高层，但细节信息越少。考虑到行人头肩本身的差异较小，为了捕获更加细节、更加全面的头肩特征，本发明实施例中的特征融合层将所有尺度的图像特征进行融合，并将融合后的图像特征作为最终的头肩特征输出。
本发明实施例提供的方法，利用不同尺度的特征提取层提取不同尺度的图像特征，然后基于特征融合层融合每一图像特征，实现低级语义和高级语义的融合，从而提高头肩特征匹配的准确性。
图4为本发明实施例提供的头肩特征提取模型的结构示意图，如图4所示，虚实线表示上采样（up sample），实线表示使用卷积层进行下采样（down sample），虚线表示保持原有分辨率（keep resolution）。头肩特征提取模型包括四个不同尺度的特征提取层，对应于图4中的Conv1、Conv2、Conv3和Conv4，分别对应的尺度是1/4、1/8、1/16和1/32。特征融合层对应于图4中的Add节点、全连接层FC和L2正则化L2 Norm，特征融合层将当前尺度的特征提取层输出的图像特征经过上采样后叠加在上一尺度的融合结果上，从而得到当前尺度的融合结果，将最后一个尺度的融合结果通过全连接层进行全局特征映射后，利用L2正则化进行归一化，得到最终的头肩特征。其中，全连接层映射所得的全局特征可以是256维，应用L2正则化是为了兼容欧式距离的度量，为后续计算图像特征之间的相似度提供便利。
在目前的头肩检测方法中，通常是针对单帧图像进行静态检测。静态检测在头肩相近的背景下极易产生误检，影响跟踪和技术效果。对此，基于上述任一实施例，图5为本发明实施例提供的头肩检测方法的流程示意图，如图5所示，步骤110包括：
步骤111，对当前视频帧进行头肩检测，得到当前视频帧中的若干个候选头肩检出框。
具体地，对当前视频帧进行头肩检测，即对当前视频帧的单帧静态图像进行头肩检测，由此得到若干个候选头肩检出框，具体可以通过预先训练的神经网络模型实现。此处，候选头肩检出框即对单帧静态图像进行头肩检测所得的结果，考虑到单帧静态检测容易存在误检的问题，由此得到的检测结果不作为最终的检测结果，而仅作为候选结果，后续可以结合运动信息所得的检测结果来校正误检问题。
步骤112，基于待统计视频中当前视频帧的前一视频帧，以及当前视频帧，确定当前视频帧的差分图像；对差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框。
具体地，考虑到客流统计是在动态的场景下执行的，待统计视频中采集到的各个行人均是运动的，可以通过帧差法获取运动特征以消除单帧静态检测导致的误检问题。帧差法具有计算速度快，对光线等场景变化不敏感的特点，能够快速适应环境变化，适合动态检测。
进一步地，可以对当前视频帧以及当前视频帧的前一视频帧进行差分运算，进而得到差分图像，差分图像用于反映相邻两个视频帧中的运动信息。由于行人处于运动状态，差分图像所反映的运动信息中保留了运动中的行人的头肩特征，针对差分图像进行头肩检测，即可得到运动状态下的头肩检测结果，即运动头肩检出框。
需要说明的是，本发明实施例不对步骤111和步骤112的执行顺序作具体限定，步骤111可以在步骤112之前或者之后执行，也可以与步骤122同步执行。
步骤113，基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像。
具体地，考虑到需要客流统计的场景通常人多拥挤，行人发型多样性，戴不同种类的帽子，步骤111中单帧静态检测可能存在误检的问题，可以在步骤111进行头肩检测时设置较低的阈值，从而尽量减小漏检的可能。在此基础上，将步骤111所得的每个候选头肩检出框与步骤112所得的每个运动头肩检出框相结合，来筛除候选头肩检出框中误检的部分，最终确定得到若干个头肩检出框，并将每个头肩检出框在当前视频帧中对应的区域图像作为头肩区域图像。
本发明实施例提供的方法，将单帧静态检测与运动检测相结合，实现了准确可靠的头肩检测。
基于上述任一实施例，步骤111包括：
将当前视频帧输入至预训练的头肩检测模型中，得到头肩检测模型输出的当前视频帧中的若干个候选头肩检出框。
此处，头肩检测模型可以使用简化的yolov3-tiny实现。yolov3-tiny作为单阶段检测算法yolov3的简化版，在运算速度和精度上进行了权衡，应用yolov3-tiny进行单帧静态图像的头肩检测，有助于提高头肩检测效率。
考虑到头肩检测模型仅需要检测头肩，检测目标的大小比较固定，可以通过预先收集的头肩数据集聚类计算anchor（锚框），从而提高边界框的检出率，其中边界框和分类的损失函数与yolov3-tiny保持一致，分类具体是头肩目标和背景两类。
在执行步骤111之前，可以首先对头肩检测模型进行训练，具体训练可以具体如下步骤实现：首先，收集大量包含头肩目标的图像作为样本图像，采用数据增强进一步增加数据量：随机遮挡目标的一部分，随机的颜色扰动（亮度，色调，饱和度和对比度），图像翻转，旋转和缩放等多种方式，增加模型的性能及稳定性。在完成样本图像的目标检出框标注后，基于样本图像及其目标检出框对初始模型进行训练，从而得到头肩检测模型。此处的初始模型可以是yolov3-tiny。
基于上述任一实施例，步骤112包括：
基于头肩检出框尺寸，对二值化后的差分图像进行连通分量分析，得到若干个运动头肩检出框；
其中，头肩检出框尺寸是基于样本头肩检出框的尺寸得到的。
具体地，可以对当前视频帧和前一视频帧分别进行灰度化处理，假设当前视频帧 的灰度图为
Figure 370598DEST_PATH_IMAGE013
，前一帧灰度图为
Figure 902073DEST_PATH_IMAGE014
，计算差分图像
Figure 104384DEST_PATH_IMAGE015
，对差分图像二值化 处理即得到二值化的差分图像，也就是前景图像
Figure 825347DEST_PATH_IMAGE016
：
Figure 304870DEST_PATH_IMAGE017
其中，
Figure 866301DEST_PATH_IMAGE018
为预先设定的二值化阈值。
对于上述提取的二值化后的差分图像
Figure 431275DEST_PATH_IMAGE016
，可以使用开运算清除小的像素噪 音，再使用闭运算重建在开运算中被腐蚀掉的区域。结合步骤111中聚类分析得到的头肩目 标的大小，即头肩检出框尺寸，通过连通分量分析，寻找足够大的轮廓并计算上述轮廓获得 头肩的团块结果。记录每个团块获取外接矩形框的位置，得到若干个运动头肩检出框。
基于上述任一实施例，步骤113包括：
若任一运动头肩检出框在任一候选头肩检出框中的面积占比大于等于预设占比阈值，则确定所述任一候选头肩检出框在当前视频帧中的区域图像为头肩区域图像。
具体地，假设候选头肩检出框的集合记为
Figure 487087DEST_PATH_IMAGE019
，
Figure 86695DEST_PATH_IMAGE020
表示第
Figure 819028DEST_PATH_IMAGE021
个候选 头肩检出框，
Figure 871297DEST_PATH_IMAGE022
为候选头肩检出框的总数。运动头肩检出框的集合记为
Figure 668483DEST_PATH_IMAGE023
，
Figure 247232DEST_PATH_IMAGE024
表示第
Figure 25832DEST_PATH_IMAGE025
个运动头肩检出框，n为运动头肩检出框的总数。对于候 选头肩矩形框
Figure 440764DEST_PATH_IMAGE020
，若存在
Figure 228592DEST_PATH_IMAGE026
使得
Figure 661847DEST_PATH_IMAGE027
则可以确定
Figure 611349DEST_PATH_IMAGE020
处于运动状态，可以正常跟踪计数，将
Figure 247997DEST_PATH_IMAGE020
在当前视频帧中对应的区 域图像作为头肩区域图像。
其中，
Figure 901833DEST_PATH_IMAGE028
表示的是运动头肩检出框
Figure 64961DEST_PATH_IMAGE029
在候选头肩检出框
Figure 60730DEST_PATH_IMAGE020
中的面积占比，如果
Figure 574888DEST_PATH_IMAGE028
大于预先设定的面积占比阈值，即预设占比阈值
Figure 563572DEST_PATH_IMAGE030
，可以确定
Figure 581207DEST_PATH_IMAGE028
处于运动状态。
基于上述任一实施例，步骤130中，所述基于各个头肩区域图像的头肩特征，更新待统计视频的客流轨迹，包括：
将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，将匹配成功的头肩区域图像的头肩特征添加至对应行人运动轨迹中。
进一步地，匹配过程可以基于如下步骤实现：
基于任一头肩区域图像的头肩特征与任一行人运动轨迹中各个历史头肩特征之间的距离，以及各个历史头肩特征对应的距离权重，确定该头肩区域图像的头肩特征与该行人运动轨迹之间的距离；基于各个头肩区域图像的头肩特征与各个行人运动轨迹之间的距离，构建代价矩阵；基于代价矩阵，对各个头肩区域图像的头肩特征与各个行人运动轨迹进行匹配。
假设当前时刻t对应的当前视频帧中第i个头肩区域图像为
Figure 13456DEST_PATH_IMAGE031
，当前视频帧中第i 个头肩区域图像的头肩特征为
Figure 14910DEST_PATH_IMAGE032
；上次更新的客流轨迹中第j条行人运动轨迹包括多 个时刻的头肩区域图像的头肩特征，其中第
Figure 541707DEST_PATH_IMAGE033
个时刻的头肩区域图像为
Figure 679427DEST_PATH_IMAGE034
，历史头 肩特征为
Figure 485840DEST_PATH_IMAGE035
。
当前视频帧中任一头肩区域图像的头肩特征与上次更新的客流轨迹中任一行人运动轨迹中任一历史头肩特征之间的相似度可以表示为两者之间的距离，具体体现为如下公式：
Figure 568065DEST_PATH_IMAGE036
式中，
Figure 39498DEST_PATH_IMAGE037
即当前视频帧中第i个头肩区域图像的头肩特征
Figure 907091DEST_PATH_IMAGE032
与上次更新 的客流轨迹中第j条行人运动轨迹中第
Figure 805777DEST_PATH_IMAGE033
个时刻的历史头肩特征
Figure 640878DEST_PATH_IMAGE035
之间的距 离，距离越小，两个头肩特征越相似，将头肩特征
Figure 650422DEST_PATH_IMAGE032
匹配至第j条行人运动轨迹的可能 性越高。
在此基础上，分别计算
Figure 372522DEST_PATH_IMAGE032
与第j条行人运动轨迹中每个历史头肩特征之间的 距离，由此得到
Figure 238846DEST_PATH_IMAGE032
与第j条行人运动轨迹的整体的距离
Figure 46397DEST_PATH_IMAGE038
，体现为如下公式：
Figure 859632DEST_PATH_IMAGE039
式中，
Figure 951085DEST_PATH_IMAGE040
为预先设定的权重系数，
Figure 191573DEST_PATH_IMAGE041
为当前时刻t的第i个头肩特征与第j条行 人运动轨迹中上一时刻
Figure 751998DEST_PATH_IMAGE042
对应的历史头肩特征之间的距离，
Figure 431242DEST_PATH_IMAGE043
为当前时刻t的第i个头肩特征与第j条行人运动轨迹中上一时刻
Figure 252567DEST_PATH_IMAGE042
之前的所有时刻对 应的历史头肩特征之间的距离的平均值。
在针对任一头肩区域图像的头肩特征与任一行人运动轨迹之间距离的计算过程中，考虑到行人动作突变或者高峰拥挤导致的检测不稳定，距离的计算除了利用行人运动轨迹中前一时刻的历史头肩特征，还利用了行人运动轨迹中前一时刻之前各个时刻的历史头肩特征。与此同时，考虑到行人运动轨迹中包含了各个时刻的历史头肩特征，而越接近当前时刻的历史头肩特征，与当前时刻的头肩特征进行距离计算的置信度越高，为行人运动轨迹中各个时刻的历史头肩特征与当前时刻的头肩特征匹配所得的距离设置了不同的距离权重，从而提高接近当前时刻的历史头肩特征在距离匹配中的距离权重，提高距离匹配的准确性。
在得到当前视频帧中各个头肩区域图像的头肩特征与上次更新的客流轨迹中各 个行人运动轨迹之间的距离
Figure 273744DEST_PATH_IMAGE044
后，可以基于
Figure 180520DEST_PATH_IMAGE044
构建代价矩阵，将头肩区域图像的头肩 特征与行人运动轨迹之间的匹配问题，转换为带权二分图的最优匹配问题，通过KM（kuhn- Munkres）算法进行匹配，从而得到头肩区域图像的头肩特征与各个行人运动轨迹之间的匹 配关系。
基于上述任一实施例，步骤130中，所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：
基于任一行人运动轨迹中的各个历史头肩特征，确定该行人运动轨迹的预估头肩特征；
将各个头肩区域图像中与预估头肩特征之间的距离小于预设距离阈值的头肩特征，与该行人运动轨迹中的各个历史头肩特征进行匹配；
若该行人运动轨迹未匹配到头肩特征，则将预估头肩特征添加至行人运动轨迹。
具体地，在进行匹配的过程中，针对任一行人运动轨迹，可以根据该行人运动轨迹中各个历史头肩特征，预测当前时刻该行人的头肩特征，即得到预估头肩特征。此处，预估头肩特征的预测可以通过卡尔曼滤波算法实现，具体可以通过卡尔曼滤波算法基于行人运动轨迹中的先验位置，对当前时刻的行人位置进行预测，并基于预测得到的位置计算预估头肩特征。
在得到预估头肩特征后，可以将预估头肩特征与当前视频帧中的各个头肩特征进行比较，若两者之间的差值大于等于预先设置的预设距离阈值，则说明头肩特征与该行人运动轨迹相匹配的概率较低，可以不对该头肩特征与该行人运动轨迹进行进一步的匹配，若两者之间的差值小于预设距离阈值，则说明头肩特征与该行人运动轨迹相匹配的概率较高，可以针对该头肩特征与该行人运动轨迹进行进一步的匹配。
在将所有头肩特征和所有行人运动轨迹进行匹配，有可能存在未被匹配到的行人运动轨迹，此时可以将预测所得的预估头肩特征作为当前时刻的该行人运动轨迹跟踪得到的头肩特征加入到该行人运动轨迹中。同时可以记录该行人运动轨迹未被匹配到的次数，如果任一行人运动轨迹连续预设次数未能匹配到头肩特征，则说明该行人运动轨迹跟踪丢失，可以删除该行人运动轨迹。
此外，还有可能存在未被匹配到的头肩特征，针对于当前视频帧中未被匹配到的头肩特征，可以回溯该头肩特征对应在头肩检测时的置信度，如果置信度高于预先设定的置信度阈值，则保留该头肩特征，并在后续多帧的跟踪匹配过程中，将该头肩特征与后续各帧的头肩特征分别进行匹配，如果该头肩特征能够与后续多帧的头肩特征相匹配，则说明待统计视频出现了新的行人目标，新建对应的行人运动轨迹，并将该头肩特征以及后续与其相匹配的头肩特征加入新建的行人运动轨迹中。
基于上述任一实施例，步骤130中，所述基于客流轨迹进行客流统计，包括：
基于预先设定的规则线与更新后的客流轨迹中各个行人运动轨迹之间的相交状态，进行客流统计。
此处，预先设定的规则线可以是一条，也可以是两条，两条规则线在统计客流的同时，通过标识进出方向。图6为本发明实施例提供的客流统计示意图，如图6所示，虚线框出的区域即待统计视频中的ROI（Region Of Interest，感兴趣区域），AB和CD即ROI中预先设定的两条规则线，根据行人运动轨迹与两条规则线相交的先后顺序，即可确定行人运动轨迹的运动方向，如果先与AB相交再与CD相交，则确定为外出方向；如果先与CD相交再与AB相交，则确定为进入方向。需要说明的是，只有与两条规则线均相交的行人运动轨迹对应的行人才会被计数，从而避免对犹豫未进入或门口徘徊的情形的计数。
头肩检出框与规则线是否相交的判断标准可以为检出框的任意一条边与规则线段相交，线段相交可以通过向量叉积进行判断：
设置向量
Figure 460191DEST_PATH_IMAGE045
为
Figure 401603DEST_PATH_IMAGE046
，向量
Figure 859260DEST_PATH_IMAGE047
为
Figure 253332DEST_PATH_IMAGE048
，则向量叉积
Figure 274378DEST_PATH_IMAGE049
Figure 945662DEST_PATH_IMAGE050
的结果仍然是一个向量，具体为
Figure 964433DEST_PATH_IMAGE045
和
Figure 704856DEST_PATH_IMAGE047
向量所在平面的法向量，可以通过叉积 的符号判断两个向量之间的顺逆时针关系：如果
Figure 201697DEST_PATH_IMAGE051
，则
Figure 919031DEST_PATH_IMAGE045
在
Figure 967758DEST_PATH_IMAGE047
的顺时针方向；如果
Figure 602002DEST_PATH_IMAGE052
，则
Figure 512320DEST_PATH_IMAGE045
在
Figure 17251DEST_PATH_IMAGE047
的逆时针方向；如果
Figure 236879DEST_PATH_IMAGE053
，则
Figure 905889DEST_PATH_IMAGE045
和
Figure 744532DEST_PATH_IMAGE047
共线，同向或者反向。
以图6中的AB和EH相交为例，需要点A、B和E、H相互跨立，即A和B分别在线段EH两侧，E和H分别在线段AB两侧。判断A和B在EH两侧只需向量EA和向量EB分别在向量EH两侧，即向量积EH×EA与向量积EH×EB异号；判断H和E在AB两侧只需向量AH和向量AE分别在向量AB两侧，即向量积AB×AH与向量积AB×AE异号。
基于上述任一实施例，步骤110中的头肩检测通过头肩检测模型实现，步骤120中头肩特征的提取通过头肩特征提取模型实现。
其中，头肩检测模型可以基于yolov3-tiny实现。然而，即便yolov3-tiny这种较轻量级模型也需要耗费大量计算资源和内存，而在前端相机部署并满足低延迟的检测计数场景的应用，还需要考虑到头肩检测模型和头肩特征提取模型训练时张量一般采用32位浮点数据精度（FP32），一旦训练完成，在实际部署时不需要反向传播，可以适当降低精度比如降为FP16或者INT8精度，从而降低延迟、减少内存占用。考虑到INT8只有256个数值，用INT8表示FP32的精度不可避免的造成信息丢失，可以通过使用权重共享来量化权重，具体可以通过使用K-means算法，对模型内部的每一层都做一个权重的聚类，属于同一个聚类的就共享同一个权值大小。再对量化后的权重和码本（codebook）使用霍夫曼编码，进一步压缩模型体积。从而在牺牲较小精度的前提保证客流功能的可用性。
基于上述任一实施例，图7为本发明另一实施例提供的客流统计方法的流程示意图，如图7所示，该方法包括：
首先，对待统计视频中的当前视频帧的单帧静态图像进行头肩检测，由此得到若干个候选头肩检出框。此处单帧静态检测可以通过预先训练好的yolov3-tiny模型实现。
其次，基于待统计视频中当前视频帧的前一视频帧，以及当前视频帧，确定当前视频帧的差分图像，进而应用帧差法筛除单帧静态检测所得的候选头肩检出框中误检的部分，从而得到准确可靠的头肩检测结果。
接着，对头肩检测所得的每个头肩区域图像进行头肩特征提取，得到相应的头肩特征。此处具体通过头肩特征提取模型进行头肩特征提取，头肩特征提取模型可以是基于同一个行人的头肩之间的共性特征，以及不同行人的头肩之间的差异性特征训练得到的。
随后，计算各个头肩特征与上次更新的客流轨迹中各个行人运动轨迹之间的距离，并由此构建代价矩阵。
基于代价矩阵，将头肩区域图像的头肩特征与行人运动轨迹之间的匹配问题，转换为带权二分图的最优匹配问题，通过KM算法进行匹配，从而得到头肩区域图像的头肩特征与各个行人运动轨迹之间的匹配关系。并基于头肩特征与各个行人运动轨迹之间的匹配关系，将头肩特征加入对应的行人运动轨迹中，实现客流轨迹的整体更新。
此后，基于更新后的客流轨迹进行客流统计。
基于上述任一实施例，图8为本发明实施例提供的客流统计装置的结构示意图，如图8所示，该装置包括头肩检测单元810、特征提取单元820和客流统计单元830；
其中，头肩检测单元810用于对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；
特征提取单元820用于将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
客流统计单元830用于基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。
本发明实施例提供的装置，应用头肩特征提取模型进行头肩特征的提取，相对于直接在头肩检测阶段提取头肩特征的方案，能够提高头肩特征的针对性和代表性，进而保证客流轨迹跟踪的可靠性。此外，基于样本图像对训练头肩特征提取模型，能够保证通过头肩提取模型得到的不同行人的头肩特征之间具有较大区别，进一步提高客流轨迹跟踪的可靠性，保证客流统计的准确性。
基于上述任一实施例，所述头肩特征提取模型是以最大化所述锚点头肩图像与所述正样本头肩图像的头肩特征相似度，以及最小化所述锚点头肩图像与所述负样本头肩图像的头肩特征相似度为目标训练得到的。
基于上述任一实施例，所述头肩特征提取模型包括特征融合层，以及按照尺度从大到小的顺序排列的多个不同尺度的特征提取层。
基于上述任一实施例，特征提取单元820用于：
将上一尺度的图像特征输入至当前尺度的特征提取层，得到当前尺度的特征提取层输出的当前尺度的图像特征；
将每个尺度的图像特征输入至所述特征融合层，得到所述特征融合层输出的头肩特征；
其中，首个尺度的特征提取层的输入为所述任一头肩区域图像。
基于上述任一实施例，头肩检测单元810包括：
静态检测子单元，用于对当前视频帧进行头肩检测，得到当前视频帧中的若干个候选头肩检出框；
差分子单元，用于基于所述待统计视频中当前视频帧的前一视频帧，以及当前视频帧，确定所述当前视频帧的差分图像；
动态检测子单元，用于对所述差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框；
综合子单元，用于基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像。
基于上述任一实施例，动态检测子单元具体用于：
基于头肩检出框尺寸，对二值化后的差分图像进行连通分量分析，得到若干个运动头肩检出框；
其中，所述头肩检出框尺寸是基于样本头肩检出框的尺寸得到的。
基于上述任一实施例，综合子单元具体用于：
若任一运动头肩检出框在任一候选头肩检出框中的面积占比大于等于预设占比阈值，则确定所述任一候选头肩检出框在所述当前视频帧中的区域图像为所述头肩区域图像。
基于上述任一实施例，客流统计单元830用于：
将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，将匹配成功的头肩区域图像的头肩特征添加至对应行人运动轨迹中。
基于上述任一实施例，客流统计单元830用于：
基于任一行人运动轨迹中的各个历史头肩特征，确定所述任一行人运动轨迹的预估头肩特征；
将各个头肩区域图像中与所述预估头肩特征之间的距离小于预设距离阈值的头肩特征，与所述任一行人运动轨迹中的各个历史头肩特征进行匹配；
若所述任一行人运动轨迹未匹配到头肩特征，则将所述预估头肩特征添加至所述行人运动轨迹。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行客流统计方法，该方法包括：
对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；
将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的客流统计方法，该方法包括：
对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；
将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的客流统计方法，该方法包括：
对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像；
将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术行人在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术行人可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术行人应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种客流统计方法，其特征在于，包括：
对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像，所述头肩区域图像是从所述当前视频帧中截取的包含有单个行人头肩的图像，所述待统计视频是基于垂直视角采集的；
将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计；
其中，所述基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，包括：
将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，将匹配成功的头肩区域图像的头肩特征添加至对应行人运动轨迹中；
所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：
基于任一头肩区域图像的头肩特征与任一行人运动轨迹中各个历史头肩特征之间的距离，以及各个历史头肩特征对应的距离权重，确定所述任一头肩区域图像的头肩特征与所述任一行人运动轨迹之间的距离；其中，头肩特征之间的距离为头肩特征之间的相似度；
基于各个头肩区域图像的头肩特征与各个行人运动轨迹之间的距离，构建代价矩阵；
基于所述代价矩阵，对各个头肩区域图像的头肩特征与各个行人运动轨迹进行匹配。
2.根据权利要求1所述的客流统计方法，其特征在于，所述头肩特征提取模型是以最大化所述锚点头肩图像与所述正样本头肩图像的头肩特征相似度，以及最小化所述锚点头肩图像与所述负样本头肩图像的头肩特征相似度为目标训练得到的。
3.根据权利要求1所述的客流统计方法，其特征在于，所述头肩特征提取模型包括特征融合层，以及按照尺度从大到小的顺序排列的多个不同尺度的特征提取层；
所述将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征，包括：
将上一尺度的图像特征输入至当前尺度的特征提取层，得到当前尺度的特征提取层输出的当前尺度的图像特征；
将每个尺度的图像特征输入至所述特征融合层，得到所述特征融合层输出的头肩特征；
其中，首个尺度的特征提取层的输入为任一头肩区域图像。
4.根据权利要求1所述的客流统计方法，其特征在于，所述对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像，包括：
对当前视频帧进行头肩检测，得到当前视频帧中的若干个候选头肩检出框；
基于所述待统计视频中当前视频帧的前一视频帧，以及当前视频帧，确定所述当前视频帧的差分图像；
对所述差分图像进行头肩检测，得到当前视频帧中的若干个运动头肩检出框；
基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像。
5.根据权利要求4所述的客流统计方法，其特征在于，所述基于每个候选头肩检出框和每个运动头肩检出框，确定所述当前视频帧中的若干个头肩区域图像，包括：
若任一运动头肩检出框在任一候选头肩检出框中的面积占比大于等于预设占比阈值，则确定所述任一候选头肩检出框在所述当前视频帧中的区域图像为所述头肩区域图像。
6.根据权利要求1所述的客流统计方法，其特征在于，所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：
基于任一行人运动轨迹中的各个历史头肩特征，确定所述任一行人运动轨迹的预估头肩特征；
将各个头肩区域图像中与所述预估头肩特征之间的距离小于预设距离阈值的头肩特征，与所述任一行人运动轨迹中的各个历史头肩特征进行匹配；
若所述任一行人运动轨迹未匹配到头肩特征，则将所述预估头肩特征添加至所述任一行人运动轨迹。
7.根据权利要求1至5中任一项所述的客流统计方法，其特征在于，所述基于所述客流轨迹进行客流统计，包括：
基于预先设定的规则线与所述客流轨迹中各个行人运动轨迹的交叉状态，进行客流统计。
8.一种客流统计装置，其特征在于，包括：
头肩检测单元，用于对待统计视频中的当前视频帧进行头肩检测，得到所述当前视频帧中的若干个头肩区域图像，所述头肩区域图像是从所述当前视频帧中截取的包含有单个行人头肩的图像，所述待统计视频是基于垂直视角采集的；
特征提取单元，用于将各个头肩区域图像输入至头肩特征提取模型，得到所述头肩特征提取模型输出的各个头肩区域图像的头肩特征；其中，所述头肩特征提取模型是基于样本图像对训练得到的，所述样本图像对包括锚点头肩图像、与所述锚点头肩图像属于相同行人的正样本头肩图像，以及与所述锚点头肩图像属于不同行人的负样本头肩图像；
客流统计单元，用于基于各个头肩区域图像的头肩特征，更新所述待统计视频的客流轨迹，基于所述客流轨迹进行客流统计；
其中，所述客流统计单元用于：
将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，将匹配成功的头肩区域图像的头肩特征添加至对应行人运动轨迹中；
所述将各个头肩区域图像的头肩特征，与上次更新的客流轨迹中各个行人运动轨迹中各个历史头肩特征进行匹配，包括：
基于任一头肩区域图像的头肩特征与任一行人运动轨迹中各个历史头肩特征之间的距离，以及各个历史头肩特征对应的距离权重，确定所述任一头肩区域图像的头肩特征与所述任一行人运动轨迹之间的距离；其中，头肩特征之间的距离为头肩特征之间的相似度；
基于各个头肩区域图像的头肩特征与各个行人运动轨迹之间的距离，构建代价矩阵；
基于所述代价矩阵，对各个头肩区域图像的头肩特征与各个行人运动轨迹进行匹配。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述客流统计方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述客流统计方法的步骤。
CN202011326554.2A 2020-11-24 2020-11-24 客流统计方法、装置、电子设备和存储介质 Active CN112132119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011326554.2A CN112132119B (zh) 2020-11-24 2020-11-24 客流统计方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011326554.2A CN112132119B (zh) 2020-11-24 2020-11-24 客流统计方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112132119A CN112132119A (zh) 2020-12-25
CN112132119B true CN112132119B (zh) 2021-05-28

Family

ID=73852232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011326554.2A Active CN112132119B (zh) 2020-11-24 2020-11-24 客流统计方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112132119B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597943A (zh) * 2020-12-28 2021-04-02 北京眼神智能科技有限公司 行人重识别的特征提取方法及装置、电子设备、存储介质
CN112633205A (zh) * 2020-12-28 2021-04-09 北京眼神智能科技有限公司 基于头肩检测的行人追踪方法及装置、电子设备、存储介质
CN112950254B (zh) * 2021-01-27 2023-04-25 北京市商汤科技开发有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112465855B (zh) * 2021-02-02 2021-04-20 南京甄视智能科技有限公司 客流统计方法、装置、存储介质及设备
CN113763418B (zh) * 2021-03-02 2024-02-02 华南理工大学 一种基于头肩检测的多目标跟踪方法
CN113160276B (zh) * 2021-04-28 2023-05-26 珠海市金锐电力科技有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN113392726B (zh) * 2021-05-26 2023-06-02 上海飞乐音响股份有限公司 室外监控场景下人头识别检测方法、系统、终端及介质
CN113823029A (zh) * 2021-10-29 2021-12-21 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN114640807B (zh) * 2022-03-15 2024-01-16 京东科技信息技术有限公司 基于视频的对象统计方法、装置、电子设备和存储介质
CN114677651B (zh) * 2022-05-30 2022-09-27 山东极视角科技有限公司 一种基于低画质低帧率视频的客流统计方法及相关装置
CN115240232A (zh) * 2022-09-22 2022-10-25 齐鲁空天信息研究院 人体头肩区域检测方法、装置、电子设备及存储介质
CN116664840B (zh) * 2023-05-31 2024-02-13 博衍科技(珠海)有限公司 一种基于互关系知识蒸馏的语义分割方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145845A (zh) * 2017-04-26 2017-09-08 中山大学 基于深度学习及多特征点融合的行人检测方法
US20190228234A1 (en) * 2016-09-06 2019-07-25 Panasonic Intellectual Property Management Co., Ltd. Congestion sensing device, congestion sensing system, and congestion sensing method
CN110688884A (zh) * 2019-02-28 2020-01-14 成都通甲优博科技有限责任公司 客流统计方法及装置
CN111476827A (zh) * 2019-01-24 2020-07-31 曜科智能科技（上海）有限公司 目标跟踪方法、系统、电子装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549846B (zh) * 2018-03-26 2022-03-22 北京航空航天大学 一种结合运动特征和头肩结构的行人检测与统计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228234A1 (en) * 2016-09-06 2019-07-25 Panasonic Intellectual Property Management Co., Ltd. Congestion sensing device, congestion sensing system, and congestion sensing method
CN107145845A (zh) * 2017-04-26 2017-09-08 中山大学 基于深度学习及多特征点融合的行人检测方法
CN111476827A (zh) * 2019-01-24 2020-07-31 曜科智能科技（上海）有限公司 目标跟踪方法、系统、电子装置及存储介质
CN110688884A (zh) * 2019-02-28 2020-01-14 成都通甲优博科技有限责任公司 客流统计方法及装置

Also Published As

Publication number Publication date
CN112132119A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132119B (zh) 客流统计方法、装置、电子设备和存储介质
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN109919223B (zh) 基于深度神经网络的目标检测方法及装置
CN113627229A (zh) 目标检测方法、系统、设备以及计算机存储介质
CN114495006A (zh) 遗留物体的检测方法、装置及存储介质
CN113569657A (zh) 一种行人重识别方法、装置、设备及存储介质
CN110598540B (zh) 一种监控视频中步态轮廓图的提取方法及系统
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN115577768A (zh) 半监督模型训练方法和装置
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
Zhao et al. Vehicle counting in very low-resolution aerial images via cross-resolution spatial consistency and Intraresolution time continuity
CN115690545A (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN108154199B (zh) 一种基于深度学习的高精度快速单类目标检测方法
CN113688804A (zh) 基于多角度视频的动作识别方法及相关设备
Xu et al. Feature extraction algorithm of basketball trajectory based on the background difference method
CN114913442A (zh) 一种异常行为检测方法、装置及计算机存储介质
Nag et al. ARCN: a real-time attention-based network for crowd counting from drone images
CN115862119A (zh) 基于注意力机制的人脸年龄估计方法及装置
CN112232162B (zh) 一种基于多特征融合级联分类器的行人检测方法及装置
Abdullah et al. Contour Based Tracking for Driveway Entrance Counting System
Labeni et al. Objects counting in videos via deep learning and image processing
CN112232124A (zh) 人群态势分析方法、视频处理装置及具有存储功能的装置
CN113836980A (zh) 人脸识别方法、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant