CN115482486A - 一种客流识别方法以及装置 - Google Patents

一种客流识别方法以及装置 Download PDF

Info

Publication number
CN115482486A
CN115482486A CN202211103876.XA CN202211103876A CN115482486A CN 115482486 A CN115482486 A CN 115482486A CN 202211103876 A CN202211103876 A CN 202211103876A CN 115482486 A CN115482486 A CN 115482486A
Authority
CN
China
Prior art keywords
target object
passenger flow
target
region
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211103876.XA
Other languages
English (en)
Inventor
童超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202211103876.XA priority Critical patent/CN115482486A/zh
Publication of CN115482486A publication Critical patent/CN115482486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Abstract

本发明实施例公开了一种客流识别方法以及装置。该方法包括：获取第一目标对象的特征数据以及第二目标对象的特征数据；将第一目标对象的特征数据和第二目标对象的特征数据进行比较，得到比较结果；根据比较结果对第二目标对象进行客群分类和/或客流去重，得到目标客流数据。通过本发明，解决了相关技术中的客流统计方案难以获取高精度的客流数据的技术问题，达到了有效实现客流数据的分类和去重，从而得到高精度的客流数据的技术效果。

Description

一种客流识别方法以及装置
技术领域
本发明涉及图像识别技术领域，尤其涉及一种客流识别方法以及装置。
背景技术
基于智能视频分析的客流统计系统可以应用在各种商业零售场景中，包括大型购物中心、超市、连锁品牌店等，可以实时准确的分析各类客流数据信息(如不同时间段不同区域的客流量、客群属性)，帮助管理者设计更好的运营策略。
已有的客流统计分析产品或者系统大部分只有进入和离开的客流数据，无法获取精确去重后的客流数据。近几年开始有少部分客流统计分析产品或者系统通过人脸识别技术可以过滤店员、识别VIP客户以及短时间内频繁进出的同一客流，此外还有些技术通过人脸或者人体属性分析获得客流属性信息(如性别、年龄等)。例如，现有基于视频分析的高精度客流统计，通过对客流进行分析，并结合人脸识别判断是否是重复客流。该方案不能快速的进行客群类别扩展，在部分敏感应用场景，尤其是涉及到对人脸等敏感信息的获取，不易推广。
因此，上述现有技术方案中可能存在以下问题：涉及到获取用户的人脸信息，由于人脸信息属于个人敏感信息，未经个人授权同意会侵犯个人信息安全，无法真正保护个人信息安全；难以获取一些定制化的客群信息(如外卖小哥、店员等)，不涉及对客流的分类和去重，从而无法得到高精度的客流数据。
针对上述的问题，尚未提出有效地解决方案。
发明内容
本发明实施例提供了一种客流识别方法以及装置，以至少解决相关技术中的客流统计方案难以获取高精度的客流数据的技术问题。
根据本发明实施例的一个方面，提供了一种客流识别方法，包括：获取第一目标对象的特征数据以及第二目标对象的特征数据；将所述第一目标对象的特征数据和所述第二目标对象的特征数据进行比较，得到比较结果；根据所述比较结果对所述第二目标对象进行客群分类和/或客流去重，得到目标客流数据。
可选地，获取第一目标对象的特征数据，包括：获取第一图像中所述第一目标对象的感兴趣区域；对所述第一目标对象的感兴趣区域进行特征提取，得到所述第一目标对象的特征数据。
可选地，获取第一图像中所述第一目标对象的感兴趣区域，包括：获取所述第一图像中所述第一目标对象的初始感兴趣区域；对所述第一目标对象的初始感兴趣区域进行显著性目标检测，得到显著性目标；确定所述显著性目标对应的最小的外接矩形框；将包含所述显著性目标的所述最小的外接矩形框作为所述第一目标对象的感兴趣区域。
可选地，获取第二目标对象的特征数据，包括：获取目标图像序列中所述第二目标对象的非敏感信息，并基于所述第二目标对象的非敏感信息对所述第二目标对象进行跟踪，其中，所述非敏感信息为除人脸信息以外的信息；在跟踪所述第二目标对象时，获取所述第二目标对象的轨迹；基于所述第二目标对象的轨迹，从所述目标图像序列中获取第二图像；获取所述第二图像中所述第二目标对象的感兴趣区域；对所述第二目标对象的感兴趣区域进行特征提取，得到所述第二目标对象的特征数据。
可选地，基于所述第二目标对象的轨迹，从所述目标图像序列中获取第二图像，包括：根据所述第二目标对象的轨迹，确定所述第二目标对象的客流信息，其中，所述客流信息包括以下至少之一：进入客流、离开客流及经过客流；在所述第二目标对象的客流信息为所述进入客流时，从所述目标图像序列中筛选出所述第二图像。
可选地，根据所述第二目标对象的轨迹，确定所述第二目标对象的客流信息，包括：在所述第二目标对象的轨迹为从目标场景的第一区域进入第二区域的情况下，则确定所述第二目标对象的客流信息为所述进入客流；在所述第二目标对象的轨迹为从所述目标场景的第二区域进入第一区域的情况下，则确定所述第二目标对象的客流信息为所述离开客流；在所述第二目标对象的轨迹为处于所述目标场景的第一区域且未进入第二区域的情况下，则确定所述第二目标对象的客流信息为所述经过客流。
可选地，从所述目标图像序列中筛选出所述第二图像，包括：对所述目标图像序列中包含所述第二目标对象的单帧图像进行评估，得到评分结果；将所述评分结果中最大值对应的所述单帧图像，确定为所述第二图像。
可选地，将所述第一目标对象的特征数据和所述第二目标对象的特征数据进行比较，得到比较结果，包括：计算所述第一目标对象的特征数据和所述第二目标对象的特征数据的相似度；判断所述相似度是否大于相似度阈值；若所述相似度大于所述相似度阈值，则确定所述比较结果为所述第二目标对象和所述第一目标对象具有相同的客群属性；若所述相似度小于或者等于所述相似度阈值，则确定所述比较结果为所述第二目标对象和所述第一目标对象不具有相同的客群属性。
可选地，所述方法还包括：在获取所述第一目标对象的特征数据之后，将所述第一目标对象的特征数据关联到第一标签，其中，所述第一标签用于标识所述第一目标对象的感兴趣区域在人体区域的相对位置；和/或，在获取所述第二目标对象的特征数据之后，将所述第二目标对象的特征数据关联到第二标签，其中，所述第二标签用于标识所述第二目标对象的感兴趣区域在人体区域的相对位置。
根据本发明实施例的另一个方面，还提供了一种客流识别装置，包括：获取模块，用于获取第一目标对象的特征数据以及第二目标对象的特征数据；比较模块，用于将所述第一目标对象的特征数据和所述第二目标对象的特征数据进行比较，得到比较结果；处理模块，用于根据所述比较结果对所述第二目标对象进行客群分类和客流去重，得到目标客流数据。
在本发明实施例中，采用获取第一目标对象的特征数据以及第二目标对象的特征数据；将第一目标对象的特征数据和第二目标对象的特征数据进行比较，得到比较结果；根据比较结果对第二目标对象进行客群分类和/或客流去重，得到目标客流数据。也就是说，本发明实施例通过利用第一目标对象的特征数据和第二目标对象的特征数据进行比较，进而利用比较结果对第二目标对象进行客群分类和/或客流去重，从而得到目标客流数据，进而解决了相关技术中的客流统计方案难以获取高精度的客流数据的技术问题，达到了有效实现客流数据的分类和去重，从而得到高精度的客流数据的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的客流识别方法的流程图；
图2为本发明实施例提供的客流识别装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
为了便于描述，下面对本发明中出现的部分名词或术语进行详细说明。
卷积神经网络：是将人工神经网络和深度学习技术结合而产生的一个新型人工神经网络方法，具有局部感知区域、层次结构化、特征提取和分类过程结果的全局训练等特点，在图像识别领域获得广泛的应用。
客流统计：利用目标轨迹分析客流的进入和离开的数量。
显著性目标检测：利用智能算法提取图像中的突出对象或者人类感兴趣的区域。
根据本发明实施例的一个方面，提供了一种客流识别方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施例提供的客流识别方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取第一目标对象的特征数据以及第二目标对象的特征数据；
上述第一目标对象为待分类或者去重的目标，其可以包括店员、外卖小哥、医生等；第二目标对象为目标场景下的客流目标；该目标场景包括但不限于超市、会议室、餐馆以及火车站等。在具体实施过程中，对于第一目标对象的特征数据以及第二目标对象的特征数据的数量不做任何限定；另外，第一目标对象的特征数据可以包括一个或者多个子特征数据；第二目标对象的特征数据的数量可以包括一个或者多个子特征数据。
步骤S104，将第一目标对象的特征数据和第二目标对象的特征数据进行比较，得到比较结果；
可选地，在第一目标对象的特征数据包括一个子特征数据，第二目标对象的特征数据包括一个子特征数据时，可以将第一目标对象的一个子特征数据和第二目标对象的一个子特征数据进行比较，从而得到比较结果；在第一目标对象的特征数据的包括一个子特征数据，第二目标对象的特征数据包括多个子特征数据时，可以将第一目标对象的一个子特征数据和第二目标对象的多个子特征数据进行比较，从而得到比较结果；在第一目标对象的特征数据包括多个子特征数据，第二目标对象的特征数据包括一个子特征数据时，可以将第一目标对象的多个子特征数据和第二目标对象的一个子特征数据进行比较，从而得到比较结果；在第一目标对象的特征数据包括多个子特征数据，第二目标对象的特征数据包括多个子特征数据时，可以将第一目标对象的多个子特征数据和第二目标对象的多个子特征数据进行比较，从而得到比较结果。
另外，在第一目标对象的特征数据包括多个子特征数据时，上述第一目标对象的特征数据可以根据第一目标对象的多个子特征数据融合得到；以及第二目标对象的特征数据包括多个子特征数据时，上述第二目标对象的特征数据可以根据第二目标对象的多个子特征数据融合得到。
上述比较结果可以包括第二目标对象和第一目标对象具有相同的客群属性或者第二目标对象和第一目标对象不具有相同的客群属性。例如，具有相同的客群属性的客流群体，如具有相同服饰的店员，相同头盔和服饰的外卖小哥等。
步骤S106，根据比较结果对第二目标对象进行客群分类和/或客流去重，得到目标客流数据。
上述目标客流数据是对原始客流中的第二目标对象进行客群分类和/或客流去重而得到的。上述客群分类为确定目标对象所属的客群；上述客流去重为将目标对象从客流统计中去掉。客群是客户的集合,这些客户通常具有某些相同的特征。
在本发明实施例中，采用获取第一目标对象的特征数据以及第二目标对象的特征数据；将第一目标对象的特征数据和第二目标对象的特征数据进行比较，得到比较结果；根据比较结果对第二目标对象进行客群分类和/或客流去重，得到目标客流数据。也就是说，本发明实施例通过利用第一目标对象的特征数据和第二目标对象的特征数据进行比较，进而利用比较结果对第二目标对象进行客群分类和/或客流去重，从而得到目标客流数据，进而解决了相关技术中的客流统计方案难以获取高精度的客流数据的技术问题，达到了有效实现客流数据的分类和去重，从而得到高精度的客流数据的技术效果。
在一个示例性实施例中，为了规避获取客流的人脸等敏感信息，同时能够过滤掉部分无效客流(店员、外卖小哥等)，本发明可选实施例提供了一种可以利用非敏感信息来获取高精度客流的方法，需要先选定待分类目标(对应于上述上述第一目标对象)的一些感兴趣区域(如上身衣服区域、头部区域等)，提取并保存这些感兴趣区域的特征数据(可以是深度学习卷积神经网络特征)，然后利用目标检测提取目标客流(对应于上述上述第二目标对象)的头肩或者人体之后，对目标客流进行跟踪分析，提取每个进入的目标客流相同区域的特征数据，与待分类目标的特征数据进行相似性判断，如果特征相似，则将该目标客流归类到相同属性的客流，从而实现对目标客流的分类去重，最后对进入和离开客流进行统计，并归类统计具有相同的客群属性的客流，去除具有相同服饰的店员客流或者一些无效的客流(外卖小哥)。例如，设定目标客流的感兴趣区域是外卖小哥的头部外卖头盔，如果进入客流头部区域提取到相同的外卖头盔特征，就被划分到外卖小哥。又如要新增一类客群类别，再次选定目标客流的感兴趣区域是店员的上身衣服区域，则统一提取所有进入客流的上身衣服区域的特征，如判断是相似服装，则分类为店员。
在上述实施例中，可以设置特定客群的感兴趣区域，利用感兴趣区域特征比对过滤，来实现对特定客群属性的划分，去除店员、外卖小哥或者具有相似特征的客群，相比较于已有的利用人脸识别或者人体识别需要预先获取客群的个人敏感信息，本方案无须采集人脸等敏感信息，即可以自定义分类感兴趣客群，同时规避提取或者保存客流的人脸等敏感信息。另外，本方案还可以对用户输入的感兴趣区域进行显著性目标检测，进一步定位到输入感兴趣区域中具有高辨识信息的子区域，减少用户区域中过多的冗余信息，提高后续客群中比对分类的区分能力。
此外，还可以任意添加或者组合多个感兴趣区域特征来快速实现对特定客群属性的分类。相比于现有技术需要新增一类客群分析，需要重新升级算法或者程序，本方案使用和维护更为简单方便。
进一步地，利用非敏感信息提升特殊场景下客流的统计精度，并同时输出进入、离开和经过客流，给出进店客流的转换率等，以便更精准地实现客流统计。
可选地，获取第一目标对象的特征数据，包括：获取第一图像中第一目标对象的感兴趣区域；对第一目标对象的感兴趣区域进行特征提取，得到第一目标对象的特征数据。
对于上述第一图像的来源不作任何限定，例如，可以从保存有图像序列的存储介质、云端中选择包含第一目标对象的图像作为第一图像，选定画面场景中的感兴趣区域作为第一目标对象的感兴趣区域；也可以从外部导入包含类似第一目标对象的图像(如包含身穿特定制服的假人模特)作为第一图像，在导入图中设置类似的感兴趣区域作为第一目标对象的感兴趣区域。需要说明的是，本申请所涉及的感兴趣区域能够有效区分客群属性的区域，其包括但不限于人体完整区域或者人体局部区域，比如，上半身衣服区域、胸前衣服logo区域、头部帽子等。在具体实施过程中，上述第一目标对象的感兴趣区域可以根据应用场景的需要而设置。上述图像序列为采集的目标场景下的视频。
进一步地，利用深度学习算法从第一图像的感兴趣区域中自动提取相关的表征特征，得到第一目标对象的特征数据，来表示对感兴趣信息的特征描述。将该第一目标对象的特征数据关联到第一标签并进行保存。上述深度学习算法可以是深度卷积神经网络(Convolutional Neural Networks,CNN)、高分辨率网络(High-Resolution Net,HRNet)以及Transformer等结构。
可选地，获取第一图像中第一目标对象的感兴趣区域，包括：获取第一图像中第一目标对象的初始感兴趣区域；对第一目标对象的初始感兴趣区域进行显著性目标检测，得到显著性目标；确定显著性目标对应的最小的外接矩形框；将包含显著性目标的最小的外接矩形框作为第一目标对象的感兴趣区域。
上述第一目标对象的初始感兴趣区域可以为预先设置的感兴趣区域，由于第一目标对象的初始感兴趣区域可能包含较多的冗余信息，可以通过对第一目标对象的初始感兴趣区域进行显著性目标检测，即利用智能识别算法提取图像中的突出对象或者人类感兴趣的区域。进一步缩小真正具备区分能力的图像区域，也即是，最终得到的第一目标对象的感兴趣区域。
在一个示例性实施例中，采用基于全局和局部信息的深度学习显著性目标检测方法识别显著性目标。其中，全局信息主要是颜色、纹理、背景/前景等包含显著性目标的位置信息，局部信息可以补充增强显著性目标边界。此外，对第一目标对象的初始感兴趣区域进行显著性目标检测还可以采用残差谱(Spectral Residual，SR)算法、直方图对比(Histogram-based Contrast，HC)算法、FT算法、LC算法等。
在一个示例性实施例中，在得到显著性目标之后，对所有的显著性目标求取一个最小的外接矩形框，作为最终包含显著性目标的感兴趣区域，也即是第一目标对象的感兴趣区域。例如，输入店员的上衣区域，通过显著性目标检测之后，可以进一步聚焦到上衣区域的logo图案或者是XXX字符区域。
可选地，获取第二目标对象的特征数据，包括：获取目标图像序列中第二目标对象的非敏感信息，并基于第二目标对象的非敏感信息对第二目标对象进行跟踪，其中，非敏感信息为除人脸信息以外的信息；在跟踪第二目标对象时，获取第二目标对象的轨迹；基于第二目标对象的轨迹，从目标图像序列中获取第二图像；获取第二图像中第二目标对象的感兴趣区域；对第二目标对象的感兴趣区域进行特征提取，得到第二目标对象的特征数据。
上述目标图像序列为待分析客流的视频；上述非敏感信息包括但不限于头肩、人体等轮廓信息。
在一个示例性实施例中，获取目标图像序列中第二目标对象的非敏感信息，并基于第二目标对象的非敏感信息对第二目标对象进行跟踪，包括：利用深度学习的目标检测方法(如FRCNN、YOLO、FPN、Transformer等)，提取目标图像序列中第二目标对象的头肩和/或人体，并对第二目标对象的头肩和人体进行关联，以及使用多目标跟踪算法对第二目标对象进行跟踪；在利用头肩和人体进行关联的过程中，比如当人体被遮挡了，人体无法检出，但头肩能检测到，可以利用头肩框跟人体框的比例，构造出人体框，确保在部分遮挡场景下，也能有人体检测框，提升跟踪的稳定性。同样在头肩被遮挡情况下，人体如果能完整检测到，也可以利用人体框补全头肩框。通过利用第二目标对象的头肩和人体的关联可以解决特殊场景下单一目标检测不稳定的情况，如在遮挡情况下人体目标检测会出现漏检，但头肩目标相对比较稳定，可以基于头肩目标构造人体，来保证检测和跟踪的稳定性。
在一个示例性实施例中，在获取第二图像中第二目标对象的感兴趣区域时，可以基于第二图像利用人体框或者人体骨架关键点信息，计算出第二目标对象的感兴趣区域。
在一个示例性实施例中，利用深度学习算法从第二图像的感兴趣区域中自动提取相关的表征特征，得到第二目标对象的特征数据，来表示对感兴趣信息的特征描述。将该第二目标对象的特征数据关联到第一标签并进行保存。可选地，如果有多个感兴趣区域，可以同时计算不同感兴趣区域在人体区域的相对位置，并提取不同区域的特征加以标签区分。
可选地，基于第二目标对象的轨迹，从目标图像序列中获取第二图像，包括：根据第二目标对象的轨迹，确定第二目标对象的客流信息，其中，客流信息包括以下至少之一：进入客流、离开客流及经过客流；在第二目标对象的客流信息为进入客流时，从目标图像序列中筛选出第二图像。
在一个示例性实施例中，可以根据第二目标对象的轨迹来确定第二目标对象的客流信息，即利用轨迹来准确判断第二目标对象是进入客流、离开客流还是经过客流，若第二目标对象的客流信息为进入客流，则可以从目标图像序列中筛选出第二图像。通过该实施方式可以获得进入客流的整个动态过程中的单帧图像，并记录该帧单图像的信息，保证该客流目标在画面中是清晰完整的。
可选地，根据第二目标对象的轨迹，确定第二目标对象的客流信息，包括：在第二目标对象的轨迹为从目标场景的第一区域进入第二区域的情况下，则确定第二目标对象的客流信息为进入客流；在第二目标对象的轨迹为从目标场景的第二区域进入第一区域的情况下，则确定第二目标对象的客流信息为离开客流；在第二目标对象的轨迹为处于目标场景的第一区域且未进入第二区域的情况下，则确定第二目标对象的客流信息为经过客流。
在一个示例性实施例中，可以利用第二目标对象的轨迹和目标场景中出入口的两侧区域来判断是否是进入客流、离开客流还是经过客流。其中，进入客流是指轨迹从店外区域进入店内区域的客流，离开客流是指轨迹从店内区域进入到店外区域的客流，经过客流是指轨迹在店外区域未进入店内区域的客流。需要说明的是，出入口的两侧区域包括第一区域和第二区域，其中，第一区域又称为店外区域，第二区域又称为店内区域。
需要说明的是，上述目标场景的第一区域和第二区域可以根据实际需要而划分或者设置。
可选地，从目标图像序列中筛选出第二图像，包括：对目标图像序列中包含第二目标对象的单帧图像进行评估，得到评分结果；将评分结果中最大值对应的单帧图像，确定为第二图像。
由于目标图像序列中包含一张或者多张包含第二目标对象的单帧图像，可以反映出客流动态过程，为了更精准的实现客流统计，可以对所有包含第二目标对象的单帧图像进行评估，然后选取评分结果中最大值对应的单帧图像作为第二图像，从而保证该客流在画面中是清晰完整的。
可选地，对目标图像序列中包含第二目标对象的单帧图像进行评估，得到评分结果，包括：获取单帧图像中第二目标对象的评估参数，其中，该评估参数包括但不限于目标完整度(遮挡程度)、目标清晰度、目标朝向、目标大小等；确定评估参数对应的分值；根据第二目标对象的评估参数以及评估参数对应的分值，计算该单帧图像的总分值，进而得到目标图像序列中所有单帧图像的总分值，也就是评分结果。通过该实施方式可以评估图像中的目标完整度、目标清晰度、目标朝向、目标大小等信息，在客流进入过程中动态选择评分最高的单帧图像作为第二图像。
需要说明的是，上述评估参数对应的分值可以根据不同评估参数在目标场景中的权重而确定，例如，目标完整度在目标场景中的权重为35％、目标清晰度在目标场景中的权重为25％、目标朝向在目标场景中的权重为20％、目标大小在目标场景中的权重为20％；权重比例越高，评估参数对应的分值在总分值的比例也就越高；反之则越低。
另外，评估参数对应的分值还与评估参数本身相关，例如，目标完整度越高，其对应的分值也就越高；目标清晰度越高，其对应的分值也就越高；目标朝向与进店方向越一致，其对应的分值也就越高；目标大小越大，其对应的分值也就越高；反之则对应的分值也就越低。
可选地，将第一目标对象的特征数据和第二目标对象的特征数据进行比较，得到比较结果，包括：计算第一目标对象的特征数据和第二目标对象的特征数据的相似度；判断相似度是否大于相似度阈值；若相似度大于相似度阈值，则确定比较结果为第二目标对象和第一目标对象具有相同的客群属性；若相似度小于或者等于相似度阈值，则确定比较结果为第二目标对象和第一目标对象不具有相同的客群属性。
上述第一目标对象的特征数据和第二目标对象的特征数据的相似度可以采用欧式距离、余弦距离等计算得到；上述相似度阈值可以根据应用场景的需要而设置；
在一个示例性实施例中，首先需要计算第一目标对象的特征数据和第二目标对象的特征数据的相似度，然后将计算得到的相似度阈值与预设的相似度阈值进行比较，最后在相似度大于相似度阈值的情况下，可以确定比较结果为第二目标对象和第一目标对象具有相同的客群属性；或者，在相似度小于或者等于相似度阈值的情况下，可以确定比较结果为第二目标对象和第一目标对象不具有相同的客群属性。
在本申请的上述实施方式中，通过特征相似度对比的方式，能够准确的得到第二目标对象和第一目标对象是否具有相同的客群属性，从而便于实现后续的客群分类以及客流去重。
可选地，上述方法还包括：在获取第一目标对象的特征数据之后，将第一目标对象的特征数据关联到第一标签，其中，第一标签用于标识第一目标对象的感兴趣区域在人体区域的相对位置；和/或，在获取第二目标对象的特征数据之后，将第二目标对象的特征数据关联到第二标签，其中，第二标签用于标识第二目标对象的感兴趣区域在人体区域的相对位置。
可选地，可以利用人体框或者人体骨架关键点信息，计算最终感兴趣区域在人体区域的相对位置，如有多个区域，分类保存不同感兴趣区域标签。
上述第一标签可以关联一个或者多个第一目标对象的特征数据；上述第二标签可以关联一个或者多个第二目标对象的特征数据。
在一个示例性实施例中，在获取第一目标对象的特征数据之后，可以将第一目标对象的特征数据关联到第一标签；然后将第一标签关联到的第一目标对象的特征数据和第二目标对象的特征数据进行比较，得到比较结果；最后再根据比较结果对第二目标对象进行客群分类和/或客流去重，得到目标客流数据。
在一个示例性实施例中，在获取第二目标对象的特征数据之后，可以将第二目标对象的特征数据关联到第二标签；然后将第一目标对象的特征数据和第二标签关联到的第二目标对象的特征数据进行比较，得到比较结果；最后再根据比较结果对第二目标对象进行客群分类和/或客流去重，得到目标客流数据。
在一个示例性实施例中，在获取第一目标对象的特征数据以及第二目标对象的特征数据之后，可以分别将第一目标对象的特征数据关联到第一标签，以及第二目标对象的特征数据关联到第二标签；然后将第一标签关联到的第一目标对象的特征数据和第二标签关联到的第二目标对象的特征数据进行比较，得到比较结果；最后再根据比较结果对第二目标对象进行客群分类和/或客流去重，得到目标客流数据。
在上述示例性实施例中，可以利用同一标签下一个或者多个目标对象的特征数据进行比较，实现对第二目标对象进行客群分类和/或客流去重，从而计算出目标客流数据。
根据本发明实施例的另一个方面，还提供了一种客流识别装置，图2为本发明实施例提供的客流识别装置的示意图，如图2所示，该客流识别装置包括：获取模块22、比较模块24和处理模块26。下面对该客流识别装置进行详细说明。
获取模块22，用于获取第一目标对象的特征数据以及第二目标对象的特征数据；
上述第一目标对象为待分类或者去重的目标，其可以包括店员、外卖小哥、医生等；第二目标对象均为目标场景下的客流目标；该目标场景包括但不限于超市、会议室、餐馆以及火车站等。在具体实施过程中，对于第一目标对象的特征数据以及第二目标对象的特征数据的数量不做任何限定；另外，第一目标对象的特征数据可以包括一个或者多个子特征数据；第二目标对象的特征数据的数量可以包括一个或者多个子特征数据。
比较模块24，与上述获取模块22连接，用于将第一目标对象的特征数据和第二目标对象的特征数据进行比较，得到比较结果；
可选地，在第一目标对象的特征数据包括一个子特征数据，第二目标对象的特征数据包括一个子特征数据时，可以将第一目标对象的一个子特征数据和第二目标对象的一个子特征数据进行比较，从而得到比较结果；在第一目标对象的特征数据的包括一个子特征数据，第二目标对象的特征数据包括多个子特征数据时，可以将第一目标对象的一个子特征数据和第二目标对象的多个子特征数据进行比较，从而得到比较结果；在第一目标对象的特征数据包括多个子特征数据，第二目标对象的特征数据包括一个子特征数据时，可以将第一目标对象的多个子特征数据和第二目标对象的一个子特征数据进行比较，从而得到比较结果；在第一目标对象的特征数据包括多个子特征数据，第二目标对象的特征数据包括多个子特征数据时，可以将第一目标对象的多个子特征数据和第二目标对象的多个子特征数据进行比较，从而得到比较结果。
另外，在第一目标对象的特征数据包括多个子特征数据时，上述第一目标对象的特征数据可以根据第一目标对象的多个子特征数据融合得到；以及第二目标对象的特征数据包括多个子特征数据时，上述第二目标对象的特征数据可以根据第二目标对象的多个子特征数据融合得到。
上述比较结果可以包括第二目标对象和第一目标对象具有相同的客群属性或者第二目标对象和第一目标对象不具有相同的客群属性。
处理模块26，与上述比较模块24连接，用于根据比较结果对第二目标对象进行客群分类和客流去重，得到目标客流数据。
上述目标客流数据是对原始客流中的第二目标对象进行客群分类和/或客流去重而得到的。上述客群分类为确定目标对象所属的客群；上述客流去重为将目标对象从客流统计中去掉。客群是客户的集合,这些客户通常具有某些相同的特征。
在本发明实施例中，该客流识别装置通过利用第一目标对象的特征数据和第二目标对象的特征数据进行比较，进而利用比较结果对第二目标对象进行客群分类和/或客流去重，从而得到目标客流数据，进而解决了相关技术中的客流统计方案难以获取高精度的客流数据的技术问题，达到了有效实现客流数据的分类和去重，从而得到高精度的客流数据的技术效果。
此处需要说明的是，上述获取模块22、比较模块24和处理模块26对应于方法实施例中的步骤S102至S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。
可选地，上述获取模块22包括：第一获取单元，用于获取第一图像中第一目标对象的感兴趣区域；第一提取单元，用于对第一目标对象的感兴趣区域进行特征提取，得到第一目标对象的特征数据。
可选地，上述第一获取单元包括：第一获取子单元，用于获取第一图像中第一目标对象的初始感兴趣区域；检测子单元，用于对第一目标对象的初始感兴趣区域进行显著性目标检测，得到显著性目标；第一确定子单元，用于确定显著性目标对应的最小的外接矩形框；第一处理子单元，用于将包含显著性目标的最小的外接矩形框作为第一目标对象的感兴趣区域。
可选地，上述获取模块22包括：第二获取单元，用于获取目标图像序列中第二目标对象的非敏感信息，并基于第二目标对象的非敏感信息对第二目标对象进行跟踪，其中，非敏感信息为除人脸信息以外的信息；第三获取单元，用于在跟踪第二目标对象时，获取第二目标对象的轨迹；第四获取单元，用于基于第二目标对象的轨迹，从目标图像序列中获取第二图像；第五获取单元，用于获取第二图像中第二目标对象的感兴趣区域；第二提取单元，用于对第二目标对象的感兴趣区域进行特征提取，得到第二目标对象的特征数据。
可选地，上述第四获取单元包括：第二确定子单元，用于根据第二目标对象的轨迹，确定第二目标对象的客流信息，其中，客流信息包括以下至少之一：进入客流、离开客流及经过客流；筛选子单元，用于在第二目标对象的客流信息为进入客流时，从目标图像序列中筛选出第二图像。
可选地，上述第二确定子单元包括：第二处理子单元，用于在第二目标对象的轨迹为从目标场景的第一区域进入第二区域的情况下，则确定第二目标对象的客流信息为进入客流；第三处理子单元，用于在第二目标对象的轨迹为从目标场景的第二区域进入第一区域的情况下，则确定第二目标对象的客流信息为离开客流；第四处理子单元，用于在第二目标对象的轨迹为处于目标场景的第一区域且未进入第二区域的情况下，则确定第二目标对象的客流信息为经过客流。
可选地，上述筛选子单元包括：第五处理子单元，用于对目标图像序列中包含第二目标对象的单帧图像进行评估，得到评分结果；第六处理子单元，用于将评分结果中最大值对应的单帧图像，确定为第二图像。
可选地，上述比较模块24包括：计算单元，用于计算第一目标对象的特征数据和第二目标对象的特征数据的相似度；判断单元，用于判断相似度是否大于相似度阈值；第一确定单元，用于若相似度大于相似度阈值，则确定比较结果为第二目标对象和第一目标对象具有相同的客群属性；第二确定单元，用于若相似度小于或者等于相似度阈值，则确定比较结果为第二目标对象和第一目标对象不具有相同的客群属性。
可选地，上述装置还包括：第一关联模块，用于在获取第一目标对象的特征数据之后，将第一目标对象的特征数据关联到第一标签，其中，第一标签用于标识第一目标对象的感兴趣区域在人体区域的相对位置；和/或，第二关联模块，用于在获取第二目标对象的特征数据之后，将第二目标对象的特征数据关联到第二标签，其中，第二标签用于标识第二目标对象的感兴趣区域在人体区域的相对位置。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，该处理器被配置为执行上述中任一项的客流识别方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述中任一项的客流识别方法。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种客流识别方法，其特征在于，包括：
获取第一目标对象的特征数据以及第二目标对象的特征数据；
将所述第一目标对象的特征数据和所述第二目标对象的特征数据进行比较，得到比较结果；
根据所述比较结果对所述第二目标对象进行客群分类和/或客流去重，得到目标客流数据。
2.根据权利要求1所述的方法，其特征在于，获取第一目标对象的特征数据，包括：
获取第一图像中所述第一目标对象的感兴趣区域；
对所述第一目标对象的感兴趣区域进行特征提取，得到所述第一目标对象的特征数据。
3.根据权利要求2所述的方法，其特征在于，获取第一图像中所述第一目标对象的感兴趣区域，包括：
获取所述第一图像中所述第一目标对象的初始感兴趣区域；
对所述第一目标对象的初始感兴趣区域进行显著性目标检测，得到显著性目标；
确定所述显著性目标对应的最小的外接矩形框；
将包含所述显著性目标的所述最小的外接矩形框作为所述第一目标对象的感兴趣区域。
4.根据权利要求1所述的方法，其特征在于，获取第二目标对象的特征数据，包括：
获取目标图像序列中所述第二目标对象的非敏感信息，并基于所述第二目标对象的非敏感信息对所述第二目标对象进行跟踪，其中，所述非敏感信息为除人脸信息以外的信息；
在跟踪所述第二目标对象时，获取所述第二目标对象的轨迹；
基于所述第二目标对象的轨迹，从所述目标图像序列中获取第二图像；
获取所述第二图像中所述第二目标对象的感兴趣区域；
对所述第二目标对象的感兴趣区域进行特征提取，得到所述第二目标对象的特征数据。
5.根据权利要求4所述的方法，其特征在于，基于所述第二目标对象的轨迹，从所述目标图像序列中获取第二图像，包括：
根据所述第二目标对象的轨迹，确定所述第二目标对象的客流信息，其中，所述客流信息包括以下至少之一：进入客流、离开客流及经过客流；
在所述第二目标对象的客流信息为所述进入客流时，从所述目标图像序列中筛选出所述第二图像。
6.根据权利要求5所述的方法，其特征在于，根据所述第二目标对象的轨迹，确定所述第二目标对象的客流信息，包括：
在所述第二目标对象的轨迹为从目标场景的第一区域进入第二区域的情况下，则确定所述第二目标对象的客流信息为所述进入客流；
在所述第二目标对象的轨迹为从所述目标场景的第二区域进入第一区域的情况下，则确定所述第二目标对象的客流信息为所述离开客流；
在所述第二目标对象的轨迹为处于所述目标场景的第一区域且未进入第二区域的情况下，则确定所述第二目标对象的客流信息为所述经过客流。
7.根据权利要求5所述的方法，其特征在于，从所述目标图像序列中筛选出所述第二图像，包括：
对所述目标图像序列中包含所述第二目标对象的单帧图像进行评估，得到评分结果；
将所述评分结果中最大值对应的所述单帧图像，确定为所述第二图像。
8.根据权利要求1所述的方法，其特征在于，将所述第一目标对象的特征数据和所述第二目标对象的特征数据进行比较，得到比较结果，包括：
计算所述第一目标对象的特征数据和所述第二目标对象的特征数据的相似度；
判断所述相似度是否大于相似度阈值；
若所述相似度大于所述相似度阈值，则确定所述比较结果为所述第二目标对象和所述第一目标对象具有相同的客群属性；
若所述相似度小于或者等于所述相似度阈值，则确定所述比较结果为所述第二目标对象和所述第一目标对象不具有相同的客群属性。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
在获取所述第一目标对象的特征数据之后，将所述第一目标对象的特征数据关联到第一标签，其中，所述第一标签用于标识所述第一目标对象的感兴趣区域在人体区域的相对位置；和/或，
在获取所述第二目标对象的特征数据之后，将所述第二目标对象的特征数据关联到第二标签，其中，所述第二标签用于标识所述第二目标对象的感兴趣区域在人体区域的相对位置。
10.一种客流识别装置，其特征在于，包括：
获取模块，用于获取第一目标对象的特征数据以及第二目标对象的特征数据；
比较模块，用于将所述第一目标对象的特征数据和所述第二目标对象的特征数据进行比较，得到比较结果；
处理模块，用于根据所述比较结果对所述第二目标对象进行客群分类和客流去重，得到目标客流数据。
CN202211103876.XA 2022-09-09 2022-09-09 一种客流识别方法以及装置 Pending CN115482486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211103876.XA CN115482486A (zh) 2022-09-09 2022-09-09 一种客流识别方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211103876.XA CN115482486A (zh) 2022-09-09 2022-09-09 一种客流识别方法以及装置

Publications (1)

Publication Number Publication Date
CN115482486A true CN115482486A (zh) 2022-12-16

Family

ID=84392839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211103876.XA Pending CN115482486A (zh) 2022-09-09 2022-09-09 一种客流识别方法以及装置

Country Status (1)

Country Link
CN (1) CN115482486A (zh)

Similar Documents

Publication Publication Date Title
US11188783B2 (en) Reverse neural network for object re-identification
CN104933710B (zh) 基于监控视频下的商店人流轨迹智能分析方法
US6661907B2 (en) Face detection in digital images
CN102945366B (zh) 一种人脸识别的方法及装置
CN104866616B (zh) 监控视频目标搜索方法
CN103714181B (zh) 一种层级化的特定人物检索方法
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN109359625A (zh) 基于头肩检测和人脸识别技术判断顾客身份的方法和系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
JP2001216515A (ja) 人物の顔の検出方法およびその装置
CN104751108A (zh) 人脸图像识别装置和人脸图像识别方法
CN108921083A (zh) 基于深度学习目标检测的非法流动摊贩识别方法
CN107615298A (zh) 人脸识别方法及系统
CN105893946A (zh) 一种正面人脸图像的检测方法
CN106845513B (zh) 基于条件随机森林的人手检测器及方法
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN109919060A (zh) 一种基于特征匹配的身份证内容识别系统及方法
CN103996046A (zh) 基于多视觉特征融合的人员识别方法
CN110991397B (zh) 一种行进方向确定方法及相关设备
Bouma et al. Re-identification of persons in multi-camera surveillance under varying viewpoints and illumination
CN106909883A (zh) 一种基于ros的模块化手部区域检测方法和装置
Jang et al. An adult image identification system based on robust skin segmentation
CN112464797A (zh) 一种吸烟行为检测方法、装置、存储介质及电子设备
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN104899559B (zh) 一种基于视频监控的快速行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination