CN114399721A - 人流分析方法、设备及非易失性计算机可读介质 - Google Patents

人流分析方法、设备及非易失性计算机可读介质 Download PDF

Info

Publication number
CN114399721A
CN114399721A CN202111036311.XA CN202111036311A CN114399721A CN 114399721 A CN114399721 A CN 114399721A CN 202111036311 A CN202111036311 A CN 202111036311A CN 114399721 A CN114399721 A CN 114399721A
Authority
CN
China
Prior art keywords
image
camera
person
database
sample query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111036311.XA
Other languages
English (en)
Inventor
渡边裕树
拉维戈帕尔·文内拉坎蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN114399721A publication Critical patent/CN114399721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Measurement Of Unknown Time Intervals (AREA)

Abstract

提供人流分析方法、设备及非易失性计算机可读介质。在本文描述的示例性实施方式中，通过对象检测和跟踪获得的人物图像被存储到图像数据库内。之后，系统对人物图像自动采样，以作为针对过去图像的图像搜索查询。对搜索结果执行过滤，从而提取出具有高于某一阈值的相似性的人物图像。通过在时间线上对附加至人物图像的信息(相机标识符、时间)排序而计算出行进时间，并且系统检测该人在画面中出现的周期之间的间隔。

Description

人流分析方法、设备及非易失性计算机可读介质
技术领域
本公开总体上涉及对象跟踪系统，更具体而言涉及以图像中的对象跟踪为基础的人流分析。
背景技术
对象跟踪技术被粗略地划分为“相机内跟踪”和“跨相机跟踪”。
相机内跟踪是一种由同一固定相机拍摄的多个帧来估计移动对象(例如，人)的轨迹的技术。例如，Lucas-Kanade方法可以生成各个小区域的在帧之间的运动向量。通过观测运动向量并且对各个小区域内的相似向量进行分组，这样的现有技术实施方式能够在同一相机内对人进行跟踪。只要目标人物存在于相机帧内，就能够对该人进行跟踪，从而能够在同一视频内搜索另一帧的人物图像。由于图像处理的范围可以基于移动对象的大致速度受到限制，因而计算成本相对较低。如果发生遮挡或者出镜，那么跟踪可能失败。然而，由于图像来自同一相机来源，因而图像识别的准确度可以相对较高。图1示出了相机内跟踪的示例。
图2示出了跨相机跟踪的示例。如图2中所示，运动向量不能用于跨相机跟踪(所谓的重新识别)，因为图像是由拍摄独立空间的不同相机获得的。在各相机共享视场时，可以使用运动向量，但是需要精确的相机校准。因此，跨相机跟踪一般是通过检测来自各相机图像的人物区域并且通过使用图像特征比较人物图像而实现的。在现有技术实施方式中，存在一种学习神经网络的方法，其判断两幅面部图像是否属于同一个人。可以对人的全身图像应用图像匹配技术。
图3示出了图像匹配的示例性流程。如图3中所示，该技术判断测试图像中的人是否是目标图像中的同一个人。重新识别可能是一项相对复杂的任务，因为诸如亮度、色调、对象的比例尺等的图像条件依据相机来源而存在变化。此外，检测人物、提取图像特征和匹配需要高计算能力(例如，专用处理器，比如图形处理单元(GPU))。
发明内容
本文描述的示例性实施方式涉及对两个区域之间的行进时间的自动估算以及生成统计数据。为了解决这一问题，系统必须对出现在多个相机当中(在相机内以及跨相机)的人进行跟踪。图4示出了根据示例性实施方式的测量区域之间的行进时间的示例。如图4中所示，示例性实施方式可以由人离开相机1的时间与该人进入相机2的时间之间的差来计算行进时间。
在现有技术实施方式中，由用户人工选择对特定人的跟踪。另一方面，难以使用系统而在无需人工操作的情况下自动估算相机之间的行进时间。
图5示出了用于行进时间测量目的的示例性现有技术使用场景。在图5的现有技术示例中，用户必须向系统输入跟踪目标，并且检查其结果是否能够用来计算行进时间。此外，针对最新输入的图像中的所有人执行图像匹配的方法具有高计算成本。
在本文描述的示例性实施方式中，通过对象检测和跟踪获得的人物图像被存储到图像数据库内。之后，系统对人物图像自动采样，作为对过去图像的图像搜索查询。对搜索结果执行过滤，从而提取出具有高于某一阈值的相似性的人物图像。通过在时间线上对附加至人物图像的信息(相机标识符(ID)、时间)排序并且检测该人在帧中出现的周期之间的间隔而计算出行进时间。
在示例性实施方式中，可以在无需用户操作的情况下自动计算出行进时间。此外，与逐一图像匹配方法相比较，有可能以低计算成本估算行进时间。
本公开的各个方面可以涉及一种方法，该方法包括：通过来自第一相机的图像对人进行检测和跟踪；从通过来自第一相机的图像被检测和跟踪的人提取图像特征；将图像特征连同与相机相关联的信息存储到数据库内；执行样本查询从而在数据库搜索从来自第二相机的图像检测到的另一个人。对于所述另一个人处于来自第一相机的图像的该人的相似性阈值以内的情况，该方法可以进一步包括：确定来自第一相机的图像的该人与来自第二相机的图像的所述另一个人之间的时间间隔；以及由该时间间隔计算该人的行进时间。
本公开的各个方面可以涉及一种非易失性计算机可读介质，其存储用于执行处理的指令，所述指令涉及：通过来自第一相机的图像对人进行检测和跟踪；从通过来自第一相机的图像被检测和跟踪的人提取图像特征；将图像特征连同与相机相关联的信息存储到数据库内；执行样本查询从而在数据库搜索从来自第二相机的图像检测到的另一个人。对于所述另一个人处于来自第一相机的图像的该人的相似性阈值以内的情况，所述指令可以进一步涉及：确定来自第一相机的图像的该人与来自第二相机的图像的所述另一个人之间的时间间隔；以及由该时间间隔计算该人的行进时间。
本公开的各个方面可以涉及一种系统，该系统包括：用于通过来自第一相机的图像对人进行检测和跟踪的机构；用于从通过来自第一相机的图像被检测和跟踪的人提取图像特征的机构；用于将图像特征连同与相机相关联的信息存储到数据库内的机构；用于执行样本查询从而在数据库搜索从来自第二相机的图像检测到的另一个人的机构。对于所述另一个人处于来自第一相机的图像的该人的相似性阈值以内的情况，该系统可以进一步包括：用于确定来自第一相机的图像的该人与来自第二相机的图像的所述另一个人之间的时间间隔的机构；以及用于由该时间间隔计算该人的行进时间的机构。
本公开的各个方面可以涉及一种设备，该设备可以包括处理器，该处理器被配置为：通过来自第一相机的图像对人进行检测和跟踪；从通过来自第一相机的图像被检测和跟踪的人提取图像特征；将图像特征连同与相机相关联的信息存储到数据库内；执行样本查询从而在数据库搜索从来自第二相机的图像检测到的另一个人。对于所述另一个人处于来自第一相机的图像的该人的相似性阈值以内的情况，该处理器可以被进一步配置为：确定来自第一相机的图像的该人与来自第二相机的图像的所述另一个人之间的时间间隔；并且由该时间间隔计算该人的行进时间。
附图说明
图1示出了相机内跟踪的示例。
图2示出了跨相机跟踪的示例。
图3示出了图像匹配的示例性流程。
图4示出了根据示例性实施方式的测量区域之间的行进时间的示例。
图5示出了用于行进时间测量的目的的示例性现有技术使用场景。
图6示出了本文描述的示例性实施方式的总的处理流程。
图7示出了可以实施示例性实施方式的示例性系统。
图8示出了可以实施示例性实施方式的示例性硬件系统。
图9示出了根据示例性实施方式的用于管理具有对应的提取特征的图像的数据库配置的示例。
图10示出了根据示例性实施方式的示例性流程图。
图11示出了根据示例性实施方式的所提交查询连同所提取的结果的示例。
图12示出了根据示例性实施方式的基于属性信息过滤搜索结果的示例。
图13示出了根据示例性实施方式的通过使用相机拓扑信息过滤搜索结果的示例。
图14示出了根据示例性实施方式的基于查询采样过滤结果的示例。
图15(a)和图15(b)示出了根据示例性实施方式的人物图像在特征空间内的示例性分布。
图16示出了根据示例性实施方式的通过使用群体特征生成样本查询的示例。
具体实施方式
下文的详细描述提供了本申请的附图和示例性实施方式的细节。为了清楚起见，在附图之间省略了冗余要素的附图标记和描述。本说明书通篇使用的术语是作为示例提供的，而非意在构成限制。例如，“自动”一词的使用可以涉及完全自动的实施方式或者牵涉到用户或管理员对实施方式的某些方面的控制的半自动实施方式，具体取决于实践本申请的实施方式的本领域技术人员的预期实施方式。可以由用户通过用户接口或者其他输入手段执行选择，或者可以通过预期算法实施选择。如本文所述的各示例性实施方式可以单独使用或者可以结合使用，并且示例性实施方式的功能可以通过根据预期实施方式的任何手段得以实施。
图6示出了本文描述的示例性实施方式的总的处理流程。如601中所示，系统检测输入相机图像中的人物，并且对人物进行帧间的跟踪。之后，如602中所示，系统由人物图像提取出图像特征。可以例如根据人物属性(以估计性别、年龄等)执行图像分类，从而获得人物图像的额外信息。针对连接至系统的所有相机输入执行这一处理。将人物图像、图像特征和额外信息联系起来，并且存储到图像数据库，如603中所示。而且，系统可以执行特征向量的群集，以处理高速相似图像搜索。
除了上文的登记处理之外，系统可以对人物图像自动采样以作为查询，如604中所示。系统通过使用采样后的查询自动搜索过去场景中的相似图像，如605中所示。通过相似性阈值对搜索结果进行过滤，如606中所示，并且获得附加至人物图像的信息。使用该信息，系统检测查询人物出现的周期之间的时间间隔，如607和608中所示。如608中所示，可以计算第一相机的最后一幅图像和第二相机的第一幅图像的时间戳之间的Δ，以作为该人的行进时间。
通过对多项查询重复这一处理，系统能够输出行进时间的统计数据，诸如最短行进时间、最长行进时间、平均行进时间等等。
图7示出了可以实施示例性实施方式的示例性系统。在本文描述的示例性实施方式中，有图像存储设备700例如相机；还有输入设备701，诸如键盘、触摸屏和其他被配置为根据预期实施方式提供查询输入的输入设备。图像存储设备700将图像(例如，视频或图像反馈)提供给可以包含物理存储器缓冲的图像输入单元711，以供由系统的其他单元通过物理处理器(例如，中央处理单元(CPU))进行处理。
人物检测和追踪单元712包含被配置为由图像输入单元711内的图像检测人物并且追踪其移动路线的软件。特征提取单元713被配置为从人物检测和追踪单元712检测到的人物提取特征，从而对图像中的检测到的人物分类。特征和相关联的检测人物被存储到图像数据库714内。
查询生成单元721被配置为接受来自输入设备701的查询输入，以形成用于访问图像数据库714的查询。根据预期实施方式，这样的查询输入可以具有通过鼠标、键盘或触笔等从显示设备702显示的所显示图像选择人物的形式。还可以由人物检测和追踪单元712在自动采样处理中提供查询输入。查询生成单元721形成的查询可以涉及从所显示图像上的选定人物提取的特征或者根据预期实施方式以其他方式提取的特征。
图像检索单元722被配置为提交来自查询生成单元721的所形成查询从而从图像数据库714检索出对应于所形成的查询的候选人物。
搜索结果过滤单元723被配置为通过过滤技术过滤由图像检索单元722检索到的候选人物，如图12到图15(b)所示。行进时间计算单元724被配置为确定被跟踪人物的路径和所用时间。
图8示出了可以实施示例性实施方式的示例性硬件系统。在图8的示例性实施方式中，可以有包含计算装置800(例如，计算机、膝上型电脑等)的系统，计算装置800具有存储设备810。计算装置800可以包含网络接口(NIF)801以及一个或多个物理处理器802。物理处理器802可以具有硬件处理器的形式，例如，中央处理单元(CPU)。存储设备810可以是根据预期实施方式的任何形式的存储设备。存储设备可以包括处理程序803、以及管理对应图像的提取特征的图像数据库804，其中处理程序803由所述一个或多个物理处理器加载并执行以促进本文描述的示例性实施方式。处理程序803被配置为促进图7中所示的单元的功能。
一个或多个处理器802被配置为：通过来自第一相机的图像对人物进行检测和跟踪，如图6在601中以及图10在1001中所示；从通过来自第一相机的图像被检测并跟踪的人物提取图像特征，如图6在602和603中以及图10在1003中所示；将图像特征连同与相机相关联的信息存储到数据库内，如图7在714中以及图8在804中所示；并且执行样本查询从而在数据库搜索由来自第二相机的图像检测到的另一个人，如图6在604和605以及图10在1005和1006中所示。如图6在606中以及图11所示，如果所述另一个人处于来自第一相机的图像的该人的相似性阈值以内，那么一个或多个处理器802被配置为：确定来自第一相机的图像的该人与来自第二相机的图像的所述另一人之间的时间间隔，如图6在607和608中所示；并且由该时间间隔计算该人的行进时间，如图6在607和608中以及图10在1009中所示。
一个或多个处理器802可以被配置为执行样本查询从而在数据库搜索从来自第二相机的图像检测到的另一个人，其方式是：基于与该样本查询的关联图像特征相匹配的特征获得来自数据库的结果；过滤掉与某些人相关联的来自数据库的结果，该某些人关联于没有通往第二相机的关联区域的直接路径的相机；过滤掉在第一相机和第二相机之间具有重叠图像检测的来自数据库的结果；以及过滤掉与具有不超过阈值的行进时间的人相关联的来自数据库的结果，如图13所示。
一个或多个处理器802可以被配置为执行样本查询从而在数据库搜索从来自第二相机的图像检测到的另一个人，其方式是：基于与该样本查询的关联图像特征相匹配的特征获得来自数据库的结果；以及基于人物属性对来自数据库的结果进行过滤，如图11和图14所示。
一个或多个处理器802被配置为执行样本查询从而在数据库搜索从来自第二相机的图像检测到的另一个人，其方式是对该样本查询进行评估，所述处理器被配置为通过下述操作来评估该样本查询：由来自第二相机的所述另一个人的图像随着时间推移的轨迹生成测试集；使该测试集与和第二相机相关联的相机标识符相关联；基于与该样本查询的关联图像特征相匹配的特征以该样本查询搜索该测试集；并且对于根据该测试集的该样本查询的检索结果不符合准确度阈值的情况，抛弃该样本查询，如图14中所示。
一个或多个处理器802可以被配置为通过来自第一相机的图像对人进行检测和跟踪，其方式是检测并跟踪接近该人的一个或多个其他人；并且可以被配置为从通过来自第一相机的图像被检测和跟踪的人提取图像特征，该操作进一步包括从接近该人的所述一个或多个其他人提取图像特征，以推导出群体特征，如图15(a)、图15(b)和图16所示。
图9示出了根据示例性实施方式的用于管理具有对应的提取特征的图像的数据库配置的示例。在图9的示例性实施方式中，图像数据库可以采用参数管理图像，例如，所述参数为图像标识符(ID)、该图像、该图像在视频中的时间戳、拍摄该图像的相机的相机ID、通过该图像取得的轨迹的轨迹ID、所提取的图像特征和该图像的导出属性。
图10示出了根据示例性实施方式的示例性流程图。在1000中，加载来自相机的图像。在1001中，该流程通过人物检测和追踪单元712执行人物检测处理，从而由该图像检测人物。在1002中，针对在人物检测处理中检测到的每一人物执行迭代环。
在1003中，该流程通过特征提取单元713的运行提取图像特征并且对属性分类。在1004中，所提取的图像特征和经分类的属性被存储到图像数据库714内，如图9中所示。
在1005中，查询生成单元721生成一个或多个样本查询。在1006中，判断该查询是否满足准确度要求，如图14中所示。如果满足(是)，之后该流程进行至1007，通过运行图像检索单元722处理该查询并且在图像数据库714检索相似图像。在1008中，通过使用搜索结果过滤单元723对搜索结果进行过滤。在1009中，该流程通过运行行进时间计算单元724而计算行进时间。在1010中，更新图像数据库714内的行进时间统计数据，并且将其输出以供在显示设备702显示。
在本文描述的示例性实施方式中，可以在无需用户操作的情况下对查询自动采样，并且还可以在无需用户验证的情况下自动计算统计信息。然而，不适当的查询可能生成不正确的相似图像搜索结果。这使得输出统计数据不太可靠。相应地，可以对结果和查询本身采用过滤机制，以提高准确度。
图11示出了根据示例性实施方式的所提交查询连同所提取的结果的示例。例如，如图11中所示，通过使用第二个查询，系统能够通过最高相似性而获得同一个人的结果。但是对于其他查询而言，不同的人被置于最高相似性，并且这些结果的使用产生了错误的行进时间。
为了解决这样的潜在问题，一种示例性实施方式涉及仅提取并且使用可靠的搜索结果来计算行进时间。除了本文描述的相似性阈值之外，系统可以使用额外信息，诸如相机拓扑信息和人物属性。
图12示出了根据示例性实施方式的基于属性信息过滤搜索结果的示例。在使用属性信息的示例性方法中，系统可以去除具有与查询属性不匹配的属性的结果。在图12中，响应于查询1201涉及成年女性的图像，搜索结果1202中的第一搜索结果具有不同性别属性(成年男性对比成年女性)，并且第三结果具有不同年龄属性(女童对比成年女性)，可以通过由搜索结果过滤单元723执行的过滤处理将它们去除，以生成经过滤的结果1203。由于属性估计本身可能是不准确的，因而可以仅使用具有高的属性估计可靠性(例如，超过预设阈值)的结果。
图13示出了根据示例性实施方式的通过使用相机拓扑信息过滤搜索结果的示例。在图13的示例中，系统存储可用路径以及点到点行进所需的最短时间，如1300中所示。系统可以通过使用这一信息去除不适当的结果。例如，对于响应于查询1302生成的结果1301而言，系统可能在(1)不存在直接路径，(2)时间周期重叠，和/或(3)行进时间过短的情况下检测为不适当结果。
上文对搜索之后过滤不正确数据做出了相关描述。下文描述的另一种示例性实施方式是一种通过对用于跟踪的查询进行适当采样而在搜索之前过滤掉不正确数据的方法。
图14示出了根据示例性实施方式的基于查询采样过滤结果的示例。在图14的示例中，系统自动创建测试集，其中，各图像具有作为基础事实的跟踪ID。这一方案基于一种假设：同一轨迹上的人物图像是同一个人，并且不同轨迹表示不同的人，如1400中所示。
系统通过使用经采样的查询搜索测试集数据库，并且通过使用自动注释的基础事实计算图像搜索的准确度。通过使用对照该测试集具有计算出的高准确度的查询，提高了图像数据库的搜索准确度，并且系统能够生成行进时间的可靠统计数据。在图14的示例中，良好查询1401具有超过预设阈值的足够准确度(例如，五个结果中的四个是从该测试集提取的正确结果)，而不良查询1402则不具有超过预设阈值的足够准确度(例如，从测试集提取的五个结果中的两个是正确结果此时大部分是不正确的)。
图15(a)和图15(b)示出了根据示例性实施方式的人物图像在特征空间内的示例性分布。同一条轨迹内的同一个人的图像形成了特征空间中的子空间。有别于彼此的不同的人具有重叠子空间。图像搜索可以包括按照一定顺序围绕查询采集图像的处理，在该顺序当中，特征向量之间具有较小距离。因此，如果对测试集的搜索结果包含更少的错误，那么该人可以是适当的跟踪候选人。
在图15(a)中所示的示例中，在特征空间中有表示三个不同人物的三个子空间。如图15(a)中所示，人物1的子空间更有别于具有显著重叠的人物2和人物3的子空间。相应地，在如15(b)中所示形成查询时，与人物2和3相比，子空间1的人物是更好的跟踪候选者，因为相较于其他人具有最少的重叠。作为对照，图15(b)中的查询2将产生人物2和3之间的重叠，其归因于图15(a)中的人物2和3的重叠子空间，因此能够将查询2作为一个候选项被过滤掉。
另一种建立适当查询的示例性实施方式涉及如图16中所示的使用群体特征的方法。图16示出了根据示例性实施方式的通过使用群体特征生成样本查询的示例。在很多人来来去去的场景中，从一个人提取的图像特征可能没有足够的信息将其与其他人区分开。为了解决这一问题，在示例性实施方式中，系统假定多个人作为一个群体，并且跨相机进行群体跟踪。例如，由于家庭成员或朋友一起移动，因而可以从不同相机拍摄的群体图像提取出相似的图像特征。示例性实施方式可以涉及相机中的用以确定群体的轨迹。根据预期实施方式，通过轨迹的值(诸如位置、时间、速度、方向等)对轨迹进行群集。系统从轨迹集群中的人物图像提取图像特征。这些特征被累积成一个特征向量，并且用来搜索相似群体。相应地，由此能够基于近处的一个或多个其他人对某个人进行跟踪，这基于他们的一致的轨迹。
通过本文描述的示例性实施方式，有可能在无需用户操作的情况下估算出移动的对象在区域之间的行进时间。行进时间的统计数据可以用于优化设施的布局。此外，通过存储长期统计数据并且通过将统计数据与新估算出的行进时间进行比较，系统能够检测出异常，从而将其用于安全改善。
详细描述的某些部分按照计算机内操作的算法和符号表示来呈现。这些算法描述和符号表示是数据处理领域的技术人员所使用的用以将其创新的实质传达给该领域其他技术人员的手段。算法是取得预期最终状态或结果的一系列所定义步骤。在示例性实施方式中，所执行的步骤需要对真实量进行物理操纵，以实现真实结果。
除非另外特别说明，否则从这些讨论中显而易见的是，应当理解，在整个说明书中，使用诸如“处理”、“运算”、“计算”、“确定”或“显示”等的术语所做的讨论可以包括计算机系统或者其他类似信息处理装置的动作和处理，所述计算机系统或其他信息处理装置对计算机系统的寄存器和存储器内的被表示为物理(电子)量的数据进行操作，并将其转换成在计算机系统的存储器或寄存器或其他信息存储、传输或显示装置中被类似地表示为物理量的其他数据。
示例性实施方式还可以涉及用于执行本文的操作的设备。这种设备可以是针对所需的目的专门构建的，或者其可以包括一个或多个通用计算机，所述计算机通过一个或多个计算机程序被选择性地激活或者重新配置。这样的计算机程序可以被存储到计算机可读媒介内，诸如计算机可读存储介质或者计算接可读信号媒介。计算机可读存储介质可以包含有形介质，诸如光盘、磁盘、只读存储器、随机存取存储器、固态装置和驱动器或者任何其他类型的适于存储电子信息的有形或非易失性介质。计算机可读信号媒介可以包括如载波的媒介。本文中介绍的算法和显示并不固有地与任何特定计算机或其他装置相关。计算机程序可以涉及纯软件实施方式，这些实施方式涉及执行预期实施方式的操作的指令。
各种通用系统可以与根据本文的示例的程序和模块结合使用，或者可以证明可以方便地构建更加专用的设备来执行预期的方法步骤。此外，示例性实施方式不是参照任何特定编程语言描述的。应当认识到，各种各样的编程语言可以用于实施如本文所述的示例性实施方式的教导。编程语言的指令可以由一个或多个处理装置(例如，中央处理单元(CPU)、处理器或控制器)执行。
如本领域所已知的，上文描述的操作可以由硬件、软件或者软件和硬件的组合执行。示例性实施方式的各个方面可以是使用电路和逻辑装置(硬件)实施的，而其他方面可以是使用存储在计算机可读媒介上的指令(软件)实施的，所述指令如果被处理器运行将使该处理器执行用以实施本申请的实施方式的方法。此外，本申请的一些示例性实施方式可以是唯独通过硬件执行的，而其他示例性实施方式可以是唯独通过软件执行的。此外，所描述的各种功能可以是在单个单元内执行的，或者可以按照任何数量的方式跨越若干部件分布。在通过软件执行时，方法可以由处理器(例如，通用计算机)基于存储在计算机可读媒介的指令来执行。如果希望，指令可以被按照压缩和/或加密格式存储到媒介。
此外，通过考虑本申请的说明书和对本申请的教导的实践，本申请的其他实施方式对于本领域技术人员而言将是显而易见的。所描述的示例性实施方式的各个方面和/或构成部分可以单独使用或者按照任何组合加以使用。意在使说明书和示例性实施方式仅被视为示例，而本申请的实际范围和实质则由下述权利要求指定。

Claims (15)

1.一种人流分析方法，包括：
通过来自第一相机的图像对人进行检测和跟踪；
从通过来自所述第一相机的图像被检测和跟踪的人提取图像特征；
将所述图像特征连同与所述第一相机相关联的信息存储到数据库内；
执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人；
对于所述另一个人处于来自所述第一相机的图像的所述人的相似性阈值以内的情况：
确定来自所述第一相机的图像的所述人与来自所述第二相机的图像的所述另一个人之间的时间间隔；以及
由所述时间间隔计算所述人的行进时间。
2.根据权利要求1所述的人流分析方法，其中，执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人的处理包括：
基于与所述样本查询的关联图像特征相匹配的特征获得来自所述数据库的结果；
过滤掉与某些人相关联的来自所述数据库的结果，该某些人关联于没有通往所述第二相机的关联区域的直接路径的相机；
过滤掉在所述第一相机和所述第二相机之间具有重叠图像检测的来自所述数据库的结果；以及
过滤掉与具有不超过阈值的行进时间的人相关联的来自所述数据库的结果。
3.根据权利要求1所述的人流分析方法，其中，执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人的处理包括：
基于与所述样本查询的关联图像特征相匹配的特征获得来自所述数据库的结果；以及
基于人物属性过滤来自所述数据库的结果。
4.根据权利要求1所述的人流分析方法，其中，执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人的处理包括评估所述样本查询，所述评估所述样本查询包括：
由来自所述第二相机的所述另一个人的图像随着时间推移的轨迹生成测试集；
使所述测试集与和所述第二相机相关联的相机标识符相关联；
基于与所述样本查询的关联图像特征相匹配的特征以所述样本查询搜索所述测试集；以及
对于根据所述测试集的所述样本查询的检索结果不符合准确度阈值的情况，抛弃所述样本查询。
5.根据权利要求1所述的人流分析方法，
其中，通过来自所述第一相机的图像对人进行检测和跟踪进一步包括检测并跟踪接近该人的一个或多个其他人；
其中，从通过来自所述第一相机的图像被检测和跟踪的人提取图像特征进一步包括从接近该人的所述一个或多个其他人提取图像特征，以推导出群体特征。
6.一种非易失性计算机可读介质，其存储着用于执行处理的指令，所述指令包括：
通过来自第一相机的图像对人进行检测和跟踪；
从通过来自所述第一相机的图像被检测和跟踪的人提取图像特征；
将所述图像特征连同与所述第一相机相关联的信息存储到数据库内；
执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人；
对于所述另一个人处于来自所述第一相机的图像的所述人的相似性阈值以内的情况：
确定来自所述第一相机的图像的所述人与来自所述第二相机的图像的所述另一个人之间的时间间隔；以及
由所述时间间隔计算所述人的行进时间。
7.根据权利要求6所述的非易失性计算机可读介质，其中，执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人的处理包括：
基于与所述样本查询的关联图像特征相匹配的特征获得来自所述数据库的结果；
过滤掉与某些人相关联的来自所述数据库的结果，该某些人关联于没有通往所述第二相机的关联区域的直接路径的相机；
过滤掉在所述第一相机和所述第二相机之间具有重叠图像检测的来自所述数据库的结果；以及
过滤掉与具有不超过阈值的行进时间的人相关联的来自所述数据库的结果。
8.根据权利要求6所述的非易失性计算机可读介质，其中，执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人的处理包括：
基于与所述样本查询的关联图像特征相匹配的特征获得来自所述数据库的结果；以及
基于人物属性过滤来自所述数据库的结果。
9.根据权利要求6所述的非易失性计算机可读介质，其中，执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人的处理包括评估所述样本查询，所述评估所述样本查询包括：
由来自所述第二相机的所述另一个人的图像随着时间推移的轨迹生成测试集；
使所述测试集与和所述第二相机相关联的相机标识符相关联；
基于与所述样本查询的关联图像特征相匹配的特征以所述样本查询搜索所述测试集；以及
对于根据所述测试集的所述样本查询的检索结果不符合准确度阈值的情况，抛弃所述样本查询。
10.根据权利要求6所述的非易失性计算机可读介质，
其中，通过来自所述第一相机的图像对人进行检测和跟踪进一步包括检测并跟踪接近该人的一个或多个其他人；
其中，从通过来自所述第一相机的图像被检测和跟踪的人提取图像特征进一步包括从接近该人的所述一个或多个其他人提取图像特征，以推导出群体特征。
11.一种人流分析设备，包括：
处理器，其被配置为：
通过来自第一相机的图像对人进行检测和跟踪；
从通过来自所述第一相机的图像被检测和跟踪的人提取图像特征；
将所述图像特征连同与所述第一相机相关联的信息存储到数据库内；
执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人；
对于所述另一个人处于来自所述第一相机的图像的所述人的相似性阈值以内的情况：
确定来自所述第一相机的图像的所述人与来自所述第二相机的图像的所述另一个人之间的时间间隔；并且
由所述时间间隔计算所述人的行进时间。
12.根据权利要求11所述的人流分析设备，其中，所述处理器被配置为通过下述处理执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人：
基于与所述样本查询的关联图像特征相匹配的特征获得来自所述数据库的结果；
过滤掉与某些人相关联的来自所述数据库的结果，该某些人关联于没有通往所述第二相机的关联区域的直接路径的相机；
过滤掉在所述第一相机和所述第二相机之间具有重叠图像检测的来自所述数据库的结果；以及
过滤掉与具有不超过阈值的行进时间的人相关联的来自所述数据库的结果。
13.根据权利要求11所述的人流分析设备，其中，所述处理器被配置为通过下述处理执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人：
基于与所述样本查询的关联图像特征相匹配的特征获得来自所述数据库的结果；以及
基于人物属性过滤来自所述数据库的结果。
14.根据权利要求11所述的人流分析设备，其中，所述处理器被配置为通过评估所述样本查询的处理，执行样本查询从而在所述数据库搜索从来自第二相机的图像检测到的另一个人，所述处理器被配置为通过下述操作评估所述样本查询：
由来自所述第二相机的所述另一个人的图像随着时间推移的轨迹生成测试集；
使所述测试集与和所述第二相机相关联的相机标识符相关联；
基于与所述样本查询的关联图像特征相匹配的特征以所述样本查询搜索所述测试集；并且
对于根据所述测试集的所述样本查询的检索结果不符合准确度阈值的情况，抛弃所述样本查询。
15.根据权利要求11所述的人流分析设备，
其中，所述处理器被配置为通过来自所述第一相机的图像对人进行检测和跟踪，其方式是检测并跟踪接近该人的一个或多个其他人；
其中，所述处理器被配置为从通过来自所述第一相机的图像被检测和跟踪的人提取图像特征，其进一步包括从接近该人的所述一个或多个其他人提取图像特征，以推导出群体特征。
CN202111036311.XA 2020-10-08 2021-09-06 人流分析方法、设备及非易失性计算机可读介质 Pending CN114399721A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/066,121 US11657123B2 (en) 2020-10-08 2020-10-08 Method and apparatus for people flow analysis using similar-image search
US17/066,121 2020-10-08

Publications (1)

Publication Number Publication Date
CN114399721A true CN114399721A (zh) 2022-04-26

Family

ID=77398449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111036311.XA Pending CN114399721A (zh) 2020-10-08 2021-09-06 人流分析方法、设备及非易失性计算机可读介质

Country Status (4)

Country Link
US (1) US11657123B2 (zh)
EP (1) EP3982333A1 (zh)
JP (1) JP7235820B2 (zh)
CN (1) CN114399721A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020206350A1 (de) * 2020-05-20 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Detektion von Vergleichspersonen zu einer Suchperson, Überwachungsanordnung, insbesondere zur Umsetzung des Verfahrens, sowie Computerprogramm und computerlesbares Medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430666B2 (en) * 2013-03-29 2019-10-01 Nec Corporation Target object identifying device, target object identifying method and target object identifying program
JP6200306B2 (ja) 2013-12-09 2017-09-20 株式会社日立製作所 映像検索装置、映像検索方法、および記憶媒体
JP2018055607A (ja) 2016-09-30 2018-04-05 富士通株式会社 イベント検知プログラム、イベント検知装置、及びイベント検知方法
WO2019188079A1 (ja) 2018-03-26 2019-10-03 株式会社日立国際電気 人物通過時間計測システム及び人物通過時間計測方法

Also Published As

Publication number Publication date
JP2022062675A (ja) 2022-04-20
JP7235820B2 (ja) 2023-03-08
US11657123B2 (en) 2023-05-23
EP3982333A1 (en) 2022-04-13
US20220114381A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
US11288835B2 (en) Lighttrack: system and method for online top-down human pose tracking
Gaidon et al. Temporal localization of actions with actoms
US9117147B2 (en) Marginal space learning for multi-person tracking over mega pixel imagery
KR102132722B1 (ko) 영상 내 다중 객체 추적 방법 및 시스템
Gong et al. Kernelized temporal cut for online temporal segmentation and recognition
JP2004199669A (ja) 顔検出
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
JP2010231254A (ja) 画像解析装置、画像解析方法およびプログラム
CN114049581A (zh) 一种基于动作片段排序的弱监督行为定位方法和装置
CN115497124A (zh) 身份识别方法和装置及存储介质
CN111985333A (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
CN114399721A (zh) 人流分析方法、设备及非易失性计算机可读介质
Avola et al. Machine learning for video event recognition
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
Wu et al. Human action recognition based on kinematic similarity in real time
US20220375202A1 (en) Hierarchical sampling for object identification
Wu et al. In situ evaluation of tracking algorithms using time reversed chains
Handrich et al. Simultaneous prediction of valence/arousal and emotion categories in real-time
Deotale et al. Optimized hybrid RNN model for human activity recognition in untrimmed video
Wang et al. Hierarchical memory-guided long-term tracking with meta transformer inquiry network
Garg et al. Unsupervised video object segmentation using online mask selection and space-time memory networks
CN107871019B (zh) 人车关联搜索方法及装置
Lin et al. Multi-target video-based face recognition and gesture recognition based on enhanced detection and multi-trajectory incremental learning
US20230126761A1 (en) Method and apparatus for people flow analysis with inflow estimation
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination