CN112906592A - 客流量分析方法及系统、电子设备 - Google Patents

客流量分析方法及系统、电子设备 Download PDF

Info

Publication number
CN112906592A
CN112906592A CN202110232714.5A CN202110232714A CN112906592A CN 112906592 A CN112906592 A CN 112906592A CN 202110232714 A CN202110232714 A CN 202110232714A CN 112906592 A CN112906592 A CN 112906592A
Authority
CN
China
Prior art keywords
face
faces
visitor
passenger flow
management database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110232714.5A
Other languages
English (en)
Inventor
李锋
周有喜
乔国坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Aiwinn Information Technology Co Ltd
Original Assignee
Xinjiang Aiwinn Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Aiwinn Information Technology Co Ltd filed Critical Xinjiang Aiwinn Information Technology Co Ltd
Priority to CN202110232714.5A priority Critical patent/CN112906592A/zh
Publication of CN112906592A publication Critical patent/CN112906592A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种客流量分析方法及系统、电子设备，通过采集访客人脸图像并从访客人脸图像进行人脸识别得到未在店员人脸管理数据库中的第一人脸，从第一人脸中自动识别出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值的第二人脸，将第二人脸作为店员人脸从第一人脸中区分开来，达到了非人工干预下的店员和访客的区分，实现客流量的自动统计。

Description

客流量分析方法及系统、电子设备
技术领域
本申请涉及图像技术领域，具体涉及一种客流量分析方法及系统、电子设备。
背景技术
在商家的管理和经营中需对店铺内的客流量进行分析，通常在摄像头实现AI(Artificial Intelligence，人工智能)人脸识别，将识别到的人脸数据上传至后台服务器；后台服务器基于注册店员信息来区分店员和顾客。
然而，店铺管理中店员存在频繁人事调动，需要依赖人工频繁注册店员信息，增加了人力成本，不利于店铺运营。
发明内容
鉴于此，本申请提供一种客流量分析方法及系统、电子设备，以解决现有的客流量统计时需要依赖人工频繁注册店员信息的问题。
第一方面，提供一种客流量分析方法，包括：
获取设于店铺内的至少一个摄像头在预设个数的时间段内采集的访客人脸图像；
对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸；并将各个时间段每个第一人脸的出现频率和/或连续出现时间段的个数进行排序；
当识别到出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，判断所述第二人脸为店员人脸，并将所述店员人脸的数据加入到所述店员人脸管理数据库中；
统计各个时间段的人脸总数，将人脸总数减去店员人脸后的数量作为客流量。
在其中一个实施例中，所述对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸之后，还包括：
当识别到出现频率未达到第一频率阈值和/或连续出现时间段的个数未达到第一数量阈值但达到第二频率阈值和/或连续出现时间段的个数达到第二数量阈值时的第二人脸，判断所述第二人脸为疑似店员人脸，并将所述疑似店员人脸的数据加入到疑似店员人脸管理数据库中，其中，所述第二频率阈值小于所述第一频率阈值，所述第二数量阈值小于所述第一数量阈值；
统计各个时间段的人脸总数后，将人脸总数减去疑似店员人脸后的数量作为客流量。
在其中一个实施例中，对访客人脸图像进行人脸识别的步骤中，还包括获取属于店员人脸管理数据库中的第三人脸，并判断第三人脸的出现频率是否达到第三频率阈值和/或连续出现时间段的个数是否达到第三数量阈值，其中，所述第三频率阈值小于所述第一频率阈值，所述第三数量阈值小于所述第一数量阈值；
如是则判断第三人脸为店员，如否则删除人脸管理数据库中对应第三人脸的数据。
在其中一个实施例中，所述判断第三人脸为店员之后，还包括：
判断店员人脸管理数据库中第三人脸是否有两组数据；
如是获取相似度相差最大的两组所述第三人脸，并更新至所述店员人脸管理数据库中，如否则在人脸管理数据库中新增一组第三人脸对应的数据。
在其中一个实施例中，所述对访客人脸图像进行人脸识别包括：
提取访客人脸图像中的待识别人脸特征值；
根据待识别人脸特征值，计算待识别人脸朝向相对于预设平面的角度；
根据所述角度将待识别人脸特征值转换为在所述预设平面的标准特征值；
将选取两个待识别人脸之间的标准特征值相比，计算得到待识别人脸之间的相似度；
当两个待识别人脸之间的相似度满足预设相似度阈值时，则识别所述两个待识别人脸为同一人脸。
在其中一个实施例中，所述提取访客人脸图像中的待识别人脸特征值包括：
将所述访客人脸图像进行离散小波变换；
对离散小波变换变换后访客人脸图像采用方向梯度直方图算法提取特征向量，并将所述特征向量通过分类器判别人脸部图像；
基于判别的人脸部图像，获取待识别人脸特征值。
在其中一个实施例中，所述采用方向梯度直方图算法提取特征向量包括：
将离散小波变换后的所述访客人脸图像分割为多个单元格；
采集单元格中各像素点的梯度方向直方图，得到每个单元格的特征描述；
将多个单元格组成一个单元块，将所述单元块按照预设步长横向平移或纵向平移，每次平移后串联单元块内所有单元格的特征描述，得到多个单元块的特征描述；
将所有单元块的特征描述串联得到所述访客人脸图像的特征向量。
在其中一个实施例中，所述预设步长与所述离散小波变换过程中的分解次数成反比。
提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序可被处理器所执行，以用于实现如上实施例所述的客流量分析方法。
提供一种客流量分析系统，包括后台服务器、电子终端和至少一个摄像机，所述后台服务器与所述电子终端、摄像机通信连接，所述电子终端与所述摄像机通信连接；
所述摄像机用于在预设个数的时间段内采集的访客人脸图像，并将所述访客人脸图像上传至所述服务器；
所述服务器对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸；并将各个时间段每个第一人脸的出现频率和/或连续出现时间段的个数进行排序；当识别到出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，判断所述第二人脸为店员人脸，并将所述店员人脸的数据加入到所述店员人脸管理数据库中；统计各个时间段的人脸总数，将人脸总数减去店员人脸后的数量作为客流量；
所述电子终端用于展示所述客流量。
本申请上述客流量分析方法中，从访客人脸图像进行人脸识别得到未在店员人脸管理数据库中的第一人脸，通过自动识别出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，将所述第二人脸作为店员人脸从第一人脸中区分开来，达到了非人工干预下的店员和访客的区分，实现客流量的自动统计。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例的电子设备的结构示意图；
图2是本申请一实施例的客流量分析方法流程示意图；
图3是本申请一具体实施例的客流量分析方法流程示意图；
图4是本申请一实施例的客流量分析系统的结构示意图。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
本申请实施例提出一种客流量分析方法，该方法可以应用于电子设备，具体可以是手机、平板电脑、笔记本电脑、掌上电脑、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种客流量分析方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。
请参阅图2，本申请实施例提供一种客流量分析方法，包括步骤101至步骤104：
步骤101、获取设于店铺内的至少一个摄像头在预设个数的时间段内采集的访客人脸图像；
步骤102、对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸；并将各个时间段每个第一人脸的出现频率和/或连续出现时间段的个数进行排序；
步骤103、当识别到出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，判断所述第二人脸为店员人脸，并将所述店员人脸的数据加入到所述店员人脸管理数据库中；
步骤104、统计各个时间段的人脸总数，将人脸总数减去店员人脸后的数量作为客流量。
本申请实施例客流量分析方法中，从访客人脸图像进行人脸识别得到未在店员人脸管理数据库中的第一人脸，通过自动识别出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，将所述第二人脸作为店员人脸从第一人脸中区分开来，达到了非人工干预下的店员和访客的区分，实现客流量的自动统计。
本申请实施例步骤101中，通过摄像头采集多个时间段内的访客人脸图像。多个所述摄像头可以均匀安装在店铺的四周，具体地，四个所述摄像头分别安装在天花板的四个角落。
所述时间段可以设置为一个自然日或多个自然日。一般地，所述时间段为一天。所述预设个数可以根据店铺的需要进行设置，举例地，所述摄像头采集店铺三天内的访客人脸图像。
本申请实施例步骤102中，第一人脸是指在访客人脸图像中识别到但未出现在人脸管理数据库中的人脸。可以理解的是，第一人脸中包含有访客人脸，也可能含有未在人脸管理数据库中新的店员人脸。
店员是店铺中的工作人员，与访客在店铺中出现的频率、出现的时以及连续出现时间段的个数均存在差异。具体地，店员在店铺中出现的频率会远远大于访客在店铺中出现的频率，而且店员通常会在多个连续的时间段内出现(例如，店员一般会在店铺内连续三天出现)。本申请通过对各个时间段每个第一人脸的出现频率和/或连续出现时间段的个数进行排序，进而从第一人脸中区分店员与访客。
所述连续出现时间段的个数是指第一人脸在连续的时间段内均出现时，对应的连续时间段的时间段个数。举例地，当第一人脸连续三天出现，每个时间段为一天，则所述第一人脸连续出现时间段的个数为三个。
本申请实施例步骤103中，通过设定第一频率阈值以及第一数量阈值来判断从第一人脸中识别出第二人脸与非店员人脸。其中，第二人脸也即是未出现在人脸管理数据库中但是满足作为新店员条件的人脸，可以理解为新增的店员人脸。
其中，出现频率是人脸出现次数与对应时间段的比值，例如10次/天。当第一人脸出现频率越大，所述第一人脸为店员的概率越大，当第一人脸出现频率超过第一频率阈值时则判断该第一人脸为第二人脸(店员)。举例地，店员在店铺中工作出现次数较多，如平均出现频率为50次/天，通常访客出现频率小于10次/天，基于上述情况，所述第一频率阈值可以设置为15-40次/天，具体如30次/天。
当第一人脸连续出现时间段的个数越多，所述第一人脸为店员的概率越大，当第一人脸连续出现时间段的个数超过第一个数阈值时则判断该第一人脸为第二人脸(店员)。举例地，店员在店铺中需要在工作日内工作，一般是周一至周五工作，所述连续出现时间段的第一数量阈值可以为所述三个，即第一人脸连续三天均线出现时所述第一人脸即为第二人脸，并判断第二人脸为店员人脸。
进一步地，可以将第一人脸的出现频率与第一人脸连续出现时间段的个数结合起来识别第一人脸是否为第二人脸。例如，当第一人脸连续三个时间段内出现，且每个时间段出现频率大于30次/天，可以判断为第二人脸。
将所述店员人脸的数据加入到所述店员人脸管理数据库中，所述店员人脸的数据可以包括人脸的特征值以及相应序号等数据。
本申请实施例步骤104中，通过将人脸总数减去店员人脸后的数量作为客流量中，店员人脸的数量是统计店员人脸管理数据库存储的店员人脸数量。
本申请的一个实施例中，所述对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸之后，还包括：
步骤105、当识别到出现频率未达到第一频率阈值和/或连续出现时间段的个数未达到第一数量阈值但达到第二频率阈值和/或连续出现时间段的个数达到第二数量阈值时的第二人脸，判断所述第二人脸为疑似店员人脸，并将所述疑似店员人脸的数据加入到疑似店员人脸管理数据库中，其中，所述第二频率阈值小于所述第一频率阈值，所述第二数量阈值小于所述第一数量阈值；
步骤106、统计各个时间段的人脸总数后，将人脸总数减去疑似店员人脸后的数量作为客流量。
其中，所述第一频率阈值大于第二频率阈值，第一数量阈值大于第二数量阈值，也即是，疑似店员人脸的出现频率介于第一频率阈值与第二频率阈值之间和/或连续出现时间段的个数介于第一数量阈值与第二数量阈值之间。
举例地，第一频率阈值为30次/天，第二频率阈值为20次/天，第一数量阈值设置为2个，第二数量阈值设置为3个，则第一人脸中出现频率大于20次/天且小于30次/天和/或在连续2个时间段均出现的第二人脸判断为疑似店员。
当识别到出现频率未达到第二频率阈值和/或连续出现时间段的个数未达到第二数量阈值时的第四人脸，判断所述第四人脸为访客人脸，统计所述访客人脸数量作为客流量。
本申请实施例中疑似店员是大概率为店铺店员的人脸，但是为减少店员误判，暂时还不能将疑似店员人脸的数据加入到人脸管理数据库中，还需要进一步验证疑似店员人脸是否为店员。
在后续访客人脸图像中，当疑似店员人脸达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时，所述疑似店员即为实际上的店员，将疑似店员的数据加入到店员人脸管理数据库中，并删除疑似店员人脸管理数据库中对应的数据。
本申请的一个实施例中，对访客人脸图像进行人脸识别的步骤中，还包括：
步骤107、获取属于店员人脸管理数据库中的第三人脸，并判断第三人脸的出现频率是否达到第三频率阈值和/或连续出现时间段的个数是否达到第三数量阈值，其中，所述第三频率阈值小于所述第一频率阈值，所述第三数量阈值小于所述第一数量阈值；
步骤108、如是则判断第三人脸为店员，如否则删除人脸管理数据库中对应第三人脸的数据。
步骤107是判断店员人脸管理数据库中的第三人脸是否还具有店员的资格，当第三人脸不具备店员资格时，删除人脸管理数据库中对应第三人脸的数据。具体可以应用在在店铺出现店员离职的场景中，及时删除人脸管理数据库中离职店员的数据。
其中，所述第三人脸是人脸管理数据库中存储的人脸数据，包含店员人脸以及也可能包含已经离职的店员人脸。通过判断第三人脸的出现频率是否达到第三频率阈值和/或连续出现时间段的个数是否达到第三数量阈值，判断第三人脸是否为离职店员人脸。举例地，当第三人脸连续两天出现，则判断第三人脸为店员人脸；当第三人脸在连续两天未出现，则删除人脸管理数据库中第三人脸的数据。
在本申请的一个实施例中，在所述判断第三人脸为店员之后，还包括：
步骤109、判断店员人脸管理数据库中第三人脸是否有两组数据；
步骤110、如是，获取相似度相差最大的两组所述第三人脸，并更新至所述店员人脸管理数据库中，如否则在人脸管理数据库中新增一组第三人脸对应的数据。
人脸识别技术中，人脸距离摄像头距离越远，误识别率越高，以及店员在访客人脸图像中行为与存储在人脸管理数据库对应的行为差异越大，误识别率越高。
本申请实施例中人脸管理数据库中每个人脸存储相似度最差的两组数据，可以实现在步骤102中通过两组相似度最差的人脸数据提高访客人脸图像中店员的识别率。
当店员人脸管理数据库中第三人脸只有一组数据时，则在人脸管理数据库中新增一组第三人脸对应的数据。当店员人脸管理数据库中第三人脸有两组数据时，获取相似度相差最大的两组所述第三人脸，并更新至所述店员人脸管理数据库中。具体地，当店员人脸管理数据库中第三人脸有两组数据时，将保存在店员人脸管理数据库中第三人脸的两组数据与从当前所述访客人脸图像中的数据相互计算相似度，获取保存其中相似度最差两组数据到店员人脸管理数据库中，实现所述店员人脸管理数据库的更新。
如图3为本申请一个具体实施例中的客流量分析方法的流程示意图，如图3所示，采集访客人脸图像数据后，判断待识别人脸是否在店员人脸管理数据库中，若否则继续判断是否连续三天出现频率大于第一频率阈值，若是，添加到店员人脸管理数据库中且删除疑似店员人脸管理数据库对应数据，然后保存店员人脸数据。在判断是否连续三天出现频率大于第一频率阈值时，若否则继续判断是否连续两天出现频率阈值大于二频率阈值，若是则添加到疑似店员人脸管理数据库中不参与客流量统计，若否则参与客流量统计。在判断待识别人脸是否在店员人脸管理数据库中时，若是则继续判断是否连续两天识别到，若否则删除店员人脸管理数据库中该人员的人脸数据并参与客流量统计，若是则判为店员，然后进一步判断是否有两组人脸数据，若是互相计算相似度保存相似度最差两组店员人脸数据，若否则保存店员人脸数据。
在本申请的一个实施例中，所述对访客人脸图像进行人脸识别包括步骤201-步骤205。
步骤201、提取访客人脸图像中的待识别人脸特征值。
在一个实施方式中，步骤201包括：将所述访客人脸图像进行离散小波变换(DWT，Discrete wavelet transform)；对离散小波变换变换后访客人脸图像采用方向梯度直方图算法提取特征向量，将所述特征向量通过分类器判别人脸图像；基于判别的人脸图像，获取待识别人脸特征值。所述人脸图像是从访客人脸图像中提取出来人的脸部信息图像，可以理解为从从访客人脸图像中提取的描述人脸形状特征的图像。
离散小波变换是对访客人脸图像进行采用二进小波作为小波变换函数，即使用2的整数次幂进行划分。在实施过程中，对在进行离散小波变换时，对访客人脸图像进行离散小波变换分解多次(例如离散小波变换分解2次)，能够有效减少访客人脸图像的冗余数据。
对离散小波变换变换后访客人脸图像采用方向梯度直方图算法提取特征向量包括：将离散小波变换后的所述访客人脸图像分割为多个单元格；采集单元格中各像素点的梯度方向直方图，得到每个单元格的特征描述；将多个单元格组成一个单元块，将所述单元块按照预设步长横向平移或纵向平移，每次平移后串联单元块内所有单元格的特征描述，得到多个单元块的特征描述；将所有单元块的特征描述串联得到所述访客人脸图像的特征向量。
其中，采集单元格中各像素点的梯度方向直方图，具体是根据每个单元格中每个像素的亮度值计算每个像素点的梯度幅值和梯度方向，再将梯度方向映射到180度的范围内，将像素的梯度幅值作为权值进行投影，用梯度方向决定向对应维度进行投影，例如像素的梯度方向为20度，梯度幅值为10，即在梯度方向直方图中横坐标对应为20度的维度增加10。
其中，像素点的梯度幅值和梯度方向的计算公式为：
Gx(x,y)＝I(x+1,y)-I(x-1,y)；
Gy(x,y)＝I(x,y+1)-I(x,y+1)；
Figure BDA0002960250090000121
Figure BDA0002960250090000122
Gx(x,y)和Gy(x，y)分别代表像素点(x，y)的梯度，I(x，y)代表像素点(x，y)的像素值，ΔG(x,y)代表像素点(x，y)的梯度幅值，θ(x，y)代表像素点(x，y)的梯度方向。
其中，所述预设步长的计算公式为
Figure BDA0002960250090000123
其中，s代表每次平移的预设步长，Wp代表所述访客人脸图像的宽度，Wb代表单元块的宽度，n代表预设平移次数，d代表离散小波变换过程中的分解次数。预设步长s、访客人脸图像的宽度为整数以及单元块的宽度的单位均可以为像素点的个数。本实施例中所述预设步长与所述离散小波变换过程中的分解次数成反比，即离散小波变换过程中的分解次数越多，访客人脸图像的像素也就越少，降低每次平移的步长，避免平移过大导致识别率降低的问题。
步骤202、根据待识别人脸特征值，计算待识别人脸朝向相对于预设平面的角度。其中，所述预设平面可以是平行于访客人脸图像所在的平面，所述待识别人脸朝向即为待识别人脸所面对的方向。可选地，所述待识别人脸朝向可以通过待识别人脸的五官的位置及形状确定。
步骤203、根据所述角度将待识别人脸特征值转换为在所述预设平面的标准特征值。其中，待识别人脸特征值可以为两眼之间的宽度、鼻翼宽度、嘴巴宽度等；所述标准特征值是当待识别人脸正面朝向所述预设平面的人脸特征值。对于访客人脸图像中待识别人脸未正面朝向所述预设平面的人脸时，需要根据所述角度将人脸特征值放大或缩小计算得到待识别人脸正对所述预设平面时的标准特征值。
步骤204、将选取两个待识别人脸之间的标准特征值相比，计算得到待识别人脸之间的相似度。根据两个待识别人脸之间的标准特征值以及相似度计算公式得到两个待识别人脸的相似度。具体可以采用采用欧氏距离和余弦距离来衡量人脸特征的相似度。举例地，所述预设相似度阈值可以设置为90-99％。
步骤205、当两个待识别人脸之间的相似度满足预设相似度阈值时，则识别所述两个待识别人脸为同一人脸。当两个待识别人脸之间的相似度未满足预设相似度阈值时，则识别所述两个待识别人脸为两个不同人的人脸。
综上，本申请实施例客流量分析方法，从访客人脸图像进行人脸识别得到未在店员人脸管理数据库中的第一人脸，通过自动识别出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，将所述第二人脸作为店员人脸从第一人脸中区分开来，达到了非人工干预下的店员和访客的区分，实现客流量的自动统计。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
还提出一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上任一实施例中所述的客流量分析方法的步骤。其中描述的电子设备可以包括诸如手机、平板电脑、导航装置、可穿戴设备、智能手环、计步器等移动终端。
后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
还提出一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一实施例中所述的客流量分析方法的步骤。
还提供一种客流量分析系统，如图4所示，包括后台服务器410、电子终端420和至少一个摄像机430，所述后台服务器410与所述电子终端420、摄像机430通信连接，所述电子终端420与所述摄像机430通信连接；
所述摄像机430用于在预设个数的时间段内采集的访客人脸图像，并将所述访客人脸图像上传至所述服务器；
所述后台服务器410对对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸；并将各个时间段每个第一人脸的出现频率和/或连续出现时间段的个数进行排序；当识别到出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，判断所述第二人脸为店员人脸，并将所述店员人脸的数据加入到所述店员人脸管理数据库中；统计各个时间段的人脸总数，将人脸总数减去店员人脸后的数量作为客流量；
所述电子终端420用于展示所述客流量。
其中一个实施例中，后台服务器410还用于当识别到出现频率未达到第一频率阈值和/或连续出现时间段的个数未达到第一数量阈值但达到第二频率阈值和/或连续出现时间段的个数达到第二数量阈值时的第二人脸，判断所述第二人脸为疑似店员人脸，并将所述疑似店员人脸的数据加入到疑似店员人脸管理数据库中；统计各个时间段的人脸总数后，将人脸总数减去疑似店员人脸后的数量作为客流量。
和/或，用于获取属于店员人脸管理数据库中的第三人脸，并判断第三人脸的出现频率是否达到第三频率阈值和/或连续出现时间段的个数是否达到第三数量阈值，其中，第三频率阈值小于第一频率阈值，第三数量阈值小于第一数量阈值；如是则判断第三人脸为店员，如否则删除人脸管理数据库中对应第三人脸的数据。
和/或，用于判断店员人脸管理数据库中第三人脸是否有两组数据；如是，获取相似度相差最大的两组所述第三人脸，并更新至所述店员人脸管理数据库中，如否则在人脸管理数据库中新增一组第三人脸对应的数据。
关于本申请实施例客流量分析系统的具体限定，参见前述客流量分析方法，不再赘述。前述客流量分析方法也可以参见本申请实施例中的客流量分析系统的具体限定。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种客流量分析方法，其特征在于，包括：
获取设于店铺内的至少一个摄像头在预设个数的时间段内采集的访客人脸图像；
对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸；并将各个时间段每个第一人脸的出现频率和/或连续出现时间段的个数进行排序；
当识别到出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，判断所述第二人脸为店员人脸，并将所述店员人脸的数据加入到所述店员人脸管理数据库中；
统计各个时间段的人脸总数，将人脸总数减去店员人脸后的数量作为客流量。
2.根据权利要求1所述的客流量分析方法，其特征在于，所述对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸之后，还包括：
当识别到出现频率未达到第一频率阈值和/或连续出现时间段的个数未达到第一数量阈值但达到第二频率阈值和/或连续出现时间段的个数达到第二数量阈值时的第二人脸，判断所述第二人脸为疑似店员人脸，并将所述疑似店员人脸的数据加入到疑似店员人脸管理数据库中；其中，所述第二频率阈值小于所述第一频率阈值，所述第二数量阈值小于所述第一数量阈值；
统计各个时间段的人脸总数后，将人脸总数减去疑似店员人脸后的数量作为客流量。
3.根据权利要求1所述的客流量分析方法，其特征在于，对访客人脸图像进行人脸识别的步骤中，还包括获取属于店员人脸管理数据库中的第三人脸，并判断第三人脸的出现频率是否达到第三频率阈值和/或连续出现时间段的个数是否达到第三数量阈值，其中，所述第三频率阈值小于所述第一频率阈值，所述第三数量阈值小于所述第一数量阈值；
如是则判断第三人脸为店员，如否则删除人脸管理数据库中对应第三人脸的数据。
4.根据权利要求3所述的客流量分析方法，其特征在于，所述判断第三人脸为店员之后，还包括：
判断店员人脸管理数据库中第三人脸是否对应存储有两组数据；
如是，获取相似度相差最大的两组所述第三人脸，并更新至所述店员人脸管理数据库中，如否，则在人脸管理数据库中新增一组所述第三人脸的数据。
5.根据权利要求1所述的客流量分析方法，其特征在于，所述对访客人脸图像进行人脸识别包括：
提取访客人脸图像中的待识别人脸特征值；
根据待识别人脸特征值，计算待识别人脸朝向相对于预设平面的角度；
根据所述角度将待识别人脸特征值转换为在所述预设平面的标准特征值；
将选取两个待识别人脸之间的标准特征值相比，计算得到所述两个待识别人脸之间的相似度；
当两个待识别人脸之间的相似度满足预设相似度阈值时，则识别所述两个待识别人脸为同一人脸。
6.根据权利要求5所述的客流量分析方法，其特征在于，所述提取访客人脸图像中的待识别人脸特征值包括：
将所述访客人脸图像进行离散小波变换；
对离散小波变换变换后访客人脸图像采用方向梯度直方图算法提取特征向量，并将所述特征向量通过分类器判别出人脸图像；
基于判别的人脸图像，获取待识别人脸特征值。
7.根据权利要求6所述的客流量分析方法，其特征在于，所述采用方向梯度直方图算法提取特征向量包括：
将离散小波变换后的所述访客人脸图像分割为多个单元格；
采集单元格中各像素点的梯度方向直方图，得到每个单元格的特征描述；
将多个单元格组成一个单元块，将所述单元块按照预设步长横向平移或纵向平移，每次平移后串联单元块内所有单元格的特征描述，得到多个单元块的特征描述；
将所有单元块的特征描述串联得到所述访客人脸图像的特征向量。
8.根据权利要求7所述的客流量分析方法，其特征在于，所述预设步长与所述离散小波变换过程中的分解次数成反比。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序可被处理器所执行，以用于实现如权利要求1-8任一项所述的客流量分析方法的步骤。
10.一种客流量分析系统，其特征在于，包括后台服务器、电子终端和至少一个摄像机，所述后台服务器与所述电子终端、摄像机通信连接，所述电子终端与所述摄像机通信连接；
所述摄像机用于在预设个数的时间段内采集的访客人脸图像，并将所述访客人脸图像上传至所述服务器；
所述服务器对访客人脸图像进行人脸识别，得到未在店员人脸管理数据库中的第一人脸；并将各个时间段每个第一人脸的出现频率和/或连续出现时间段的个数进行排序；当识别到出现频率达到第一频率阈值和/或连续出现时间段的个数达到第一数量阈值时的第二人脸，判断所述第二人脸为店员人脸，并将所述店员人脸的数据加入到所述店员人脸管理数据库中；统计各个时间段的人脸总数，将人脸总数减去店员人脸后的数量作为客流量；
所述电子终端用于展示所述客流量。
CN202110232714.5A 2021-03-03 2021-03-03 客流量分析方法及系统、电子设备 Pending CN112906592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110232714.5A CN112906592A (zh) 2021-03-03 2021-03-03 客流量分析方法及系统、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110232714.5A CN112906592A (zh) 2021-03-03 2021-03-03 客流量分析方法及系统、电子设备

Publications (1)

Publication Number Publication Date
CN112906592A true CN112906592A (zh) 2021-06-04

Family

ID=76108055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110232714.5A Pending CN112906592A (zh) 2021-03-03 2021-03-03 客流量分析方法及系统、电子设备

Country Status (1)

Country Link
CN (1) CN112906592A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269210A (zh) * 2021-07-16 2021-08-17 四川泓宝润业工程技术有限公司 基于图像处理对液位表指针浮动频率进行检测的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
CN106937253A (zh) * 2017-04-17 2017-07-07 上海汇纳信息科技股份有限公司 一种顾客判断方法及系统、服务器
CN108073974A (zh) * 2016-11-10 2018-05-25 杭州海康威视系统技术有限公司 一种客流统计方法、装置及系统
CN108090493A (zh) * 2017-11-15 2018-05-29 南京光普信息技术有限公司 一种基于wifi定位的进店顾客数据统计方法
CN108564405A (zh) * 2018-04-10 2018-09-21 上海连尚网络科技有限公司 推送营销信息的方法及设备
CN108805111A (zh) * 2018-09-07 2018-11-13 杭州善贾科技有限公司 一种基于人脸识别的客流检测系统及其检测方法
CN110457993A (zh) * 2019-06-26 2019-11-15 广州鹰云信息科技有限公司 基于人脸识别的客流统计方法及装置
CN110766474A (zh) * 2019-10-30 2020-02-07 浙江易时科技股份有限公司 基于人脸识别技术的销售展厅客流批次统计
CN110930990A (zh) * 2019-11-29 2020-03-27 秒针信息技术有限公司 基于语音识别的客流量的统计方法、装置、设备和介质
CN111783588A (zh) * 2020-06-23 2020-10-16 大连中维世纪科技有限公司 一种分布式智能客流统计有效去重方法
CN112257615A (zh) * 2020-10-26 2021-01-22 上海数川数据科技有限公司 一种基于聚类的顾客数量统计方法
CN112329635A (zh) * 2020-11-06 2021-02-05 北京文安智能技术股份有限公司 店铺客流统计方法和店铺客流统计装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
CN108073974A (zh) * 2016-11-10 2018-05-25 杭州海康威视系统技术有限公司 一种客流统计方法、装置及系统
CN106937253A (zh) * 2017-04-17 2017-07-07 上海汇纳信息科技股份有限公司 一种顾客判断方法及系统、服务器
CN108090493A (zh) * 2017-11-15 2018-05-29 南京光普信息技术有限公司 一种基于wifi定位的进店顾客数据统计方法
CN108564405A (zh) * 2018-04-10 2018-09-21 上海连尚网络科技有限公司 推送营销信息的方法及设备
CN108805111A (zh) * 2018-09-07 2018-11-13 杭州善贾科技有限公司 一种基于人脸识别的客流检测系统及其检测方法
CN110457993A (zh) * 2019-06-26 2019-11-15 广州鹰云信息科技有限公司 基于人脸识别的客流统计方法及装置
CN110766474A (zh) * 2019-10-30 2020-02-07 浙江易时科技股份有限公司 基于人脸识别技术的销售展厅客流批次统计
CN110930990A (zh) * 2019-11-29 2020-03-27 秒针信息技术有限公司 基于语音识别的客流量的统计方法、装置、设备和介质
CN111783588A (zh) * 2020-06-23 2020-10-16 大连中维世纪科技有限公司 一种分布式智能客流统计有效去重方法
CN112257615A (zh) * 2020-10-26 2021-01-22 上海数川数据科技有限公司 一种基于聚类的顾客数量统计方法
CN112329635A (zh) * 2020-11-06 2021-02-05 北京文安智能技术股份有限公司 店铺客流统计方法和店铺客流统计装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金剑锋;丁琦;陆天培;杨林玉;: "人脸识别技术在智能客流分析领域的实践应用", 电信科学, no. 1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269210A (zh) * 2021-07-16 2021-08-17 四川泓宝润业工程技术有限公司 基于图像处理对液位表指针浮动频率进行检测的方法
CN113269210B (zh) * 2021-07-16 2021-09-17 四川泓宝润业工程技术有限公司 基于图像处理对液位表指针浮动频率进行检测的方法

Similar Documents

Publication Publication Date Title
CN108038422B (zh) 摄像装置、人脸识别的方法及计算机可读存储介质
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN110197146B (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
CN110431560B (zh) 目标人物的搜索方法和装置、设备和介质
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、系统、设备和介质
WO2022022154A1 (zh) 脸部图像处理方法、装置、设备及存储介质
CN110956122B (zh) 图像处理方法及装置、处理器、电子设备、存储介质
CN107133590B (zh) 一种基于人脸图像的身份识别系统
CN111242128A (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN111461101A (zh) 工服标志的识别方法、装置、设备及存储介质
CN110599554A (zh) 人脸肤色的识别方法和装置、存储介质及电子装置
CN111931744B (zh) 一种遥感影像变化检测方法和装置
CN112906592A (zh) 客流量分析方法及系统、电子设备
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN114973057A (zh) 基于人工智能的视频图像检测方法及相关设备
CN114445663A (zh) 检测对抗样本的方法、装置及计算机程序产品
CN114332556A (zh) 训练样本筛选方法、装置、计算机设备和存储介质
CN112183380A (zh) 基于人脸识别的客流量分析方法和系统、电子设备
CN109376689B (zh) 人群分析方法及装置
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN111797922B (zh) 文本图像分类方法及装置
CN111708906B (zh) 基于人脸识别的来访检索方法、装置、设备及存储介质
CN114387670A (zh) 基于时空特征融合的步态识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination