CN112464843A - 一种基于人脸人形的精准客流统计系统、方法、及其装置 - Google Patents

一种基于人脸人形的精准客流统计系统、方法、及其装置 Download PDF

Info

Publication number
CN112464843A
CN112464843A CN202011413778.7A CN202011413778A CN112464843A CN 112464843 A CN112464843 A CN 112464843A CN 202011413778 A CN202011413778 A CN 202011413778A CN 112464843 A CN112464843 A CN 112464843A
Authority
CN
China
Prior art keywords
human
face
store
human face
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011413778.7A
Other languages
English (en)
Inventor
刘东海
沈修平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD
Original Assignee
SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD filed Critical SHANGHAI ULUCU ELECTRONIC TECHNOLOGY CO LTD
Priority to CN202011413778.7A priority Critical patent/CN112464843A/zh
Publication of CN112464843A publication Critical patent/CN112464843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于人脸人形的精准客流统计系统、方法、及其装置步骤如下：第一步：同时检测视频中人脸和人体，然后对人体检测做人体姿态分析，把人脸和人形进行关联；有效解决人形框内多个人脸框的人脸与人形的准确匹配；同一个人的轨迹号personID关联与人相关的所以人脸轨迹号faceID和人形轨迹号bodyID；第二步：通过分析人形的轨迹及其人体姿态，判断人员的是否进店，是否过店；对于进店的人形进行抓拍；通过店员的人体重识别；去除店门口进过抓拍的人脸；第三步：对于抓拍到人脸和人形数据人脸识别，人体识别；剔除店员，一段时间内重复进店人员的去重。

Description

一种基于人脸人形的精准客流统计系统、方法、及其装置
技术领域
本发明属于图像识别领域，尤其涉及基于人脸检测和人形检测及其跟踪算法相结合的精准客流统计方法，适用于一种半封闭环境出入口位置精准人员个数统计，是一种特别适合于商场出入口位置人数统计方法。
背景技术
传统门店KPI考核依托于坪效，即门店平均每平方米的营业额，以这种均摊的方式考察门店的整体运营状态。这种简单粗暴的方式因其历史因素自有其优点，但真正用其做门店店员或者整体运营的KPI考核，其缺陷便迅速凸显。
影响坪效的关键因素其实是选址，门店处于人流大小不同的位置，对应的坪效差异就比较明显。比如店员A1工作于车水马龙的A店，而店员B1工作于五环外的B店，A店因其优越的地理位置门店不愁客流，坪效自然变高，而B店因其地理位置偏远客流量较少，店员即便很努力，其坪效也只在固定的范围内浮动，无法跟客流量天然巨大的A店相比。因此用坪效的方式给店员做KPI考核就会出现不公平现象。员工的积极性因此也无法得到有效激发，整个企业的人效水平也大打折扣。
KPI的核心关键点在于公平竞争，进而提升企业的整体绩效，达到稳步、快速成长的目的。企业实际上也非常希望员工能够发挥更多前端优势，促进门店业绩突飞猛进的增长。而坪效这种KPI方式的核心点：在于精准到店客流统计。
目前的常见的客流统计方法，主要分为两类：基于吸顶垂直安装的头肩客流，基于人脸检测和识别的客流统计。基于吸顶垂直安装的头肩客流，原因在于头顶式客流只能统计次数，而无法识别出进出多次的是否是同一个人，无法排除店员，这样的数据还远远无法达到门店KPI考核的标准，只能起到辅助作用。
基于人脸检测和识别的人脸客流：主要抓拍监控区域内的人脸，一次人脸轨迹择优选图，用于人脸识别，判断人员是店员还是顾客。但是只基于人脸检测比较难判断是否进店人员，从店员门口进去的其他人员。对于戴口罩的人员，戴帽子等面部遮挡情况，会出现很多客流漏统计情况。
精准的客流：对于不同角度，姿态的进店顾客准确识别，店员剔除，顾客去重等功能。同时能够把门店口进过的人员明确区分出来。
目前主流的基于人脸检测和识别的人脸客流统计，存在对于人脸遮挡情况的漏统计，人脸姿势的侧脸，很难准确的人脸识别。从门口进过的人脸，很难区域是过店人员还是进店人员。
发明内容
为了做到精准客流统计的目的，我们主要是针对目前的客流统计技术的缺陷进行深入分析，提出一种明显提升客流统计的准确性的方法。
本发明提出了一种基于人脸人形的精准客流统计方法，步骤如下：
第一步：同时检测视频中人脸和人体，然后对人体检测做人体姿态分析，把人脸和人形进行关联；有效解决人形框内多个人脸框的人脸与人形的准确匹配；同一个人的轨迹号personID关联与人相关的所以人脸轨迹号faceID和人形轨迹号bodyID；通过建立人轨迹序列的管理，有效避免人脸姿势的变化过程中出现一些不利于识别的人脸图片。
第二步：通过分析人形的轨迹及其人体姿态，判断人员的是否进店，是否过店；对于进店的人形进行抓拍；便于后面店员的人体重识别；有效去除店门口进过抓拍的人脸。
第三步：对于抓拍到人脸和人形数据人脸识别，人体识别；有效剔除店员，一段时间内重复进店人员的去重。
本发明还提出了一种基于人脸人形的精准客流统计系统，包括：至少带有前端嵌入式处理人脸人形抓拍摄像头和后端人脸人形比对识别处理装置；所述嵌入式人脸人形抓拍处理装置包括：中央处理器CPU、深度学习处理芯片NPU、图形处理器GPU、数字信号处理器DSP，存储器和输入输出接口；所述后端人脸人形比对处理转置包括：中央处理器CPU，图形处理器GPU，存储器和输入输出接口；
所述嵌入式人脸人形抓拍处理装置，用于通过摄像头实时采集的图片数据，通过嵌入式设备的CPU，NUP,DSP等处理检测图片数据中抓拍人脸，或者人形；通过人脸人形单独进行相关的跟踪，去除跟踪序列中最优的人脸或者人形图片；根据人脸人形的进店状态，上传人脸或者人形图片到后端处理服务；后端人脸人形比对统计装置，用于从所述前端设备抓拍到的人脸或者人形图片中提取所述人员的人脸特征或者人形特征；通过所述CPU根据所述店员人脸人形，及其一段时间内抓拍到店人员的人脸人形特征；通过比对人相关人脸或者人形的特征，把店员，或者一段时间内到店的人员重复的统计去掉；统计得到顾客到店的精准客流量。
本发明还提出了一种基于人脸人形的精准客流统计装置，该装置包括如下模块：
人脸抓拍模块；通过对于摄像头抓拍实时处理的图片，通过嵌入式处理单元，包括中央处理器CPU，图形处理器GPU处理。对图片中存在的人脸位置的检测，人脸的图片质量，人脸特征关键点，人脸姿态位置。对于检测跟踪到的同一个目标对象，使用随机森林算法，选择一张综合评价较优的人脸图片，作为备选人脸轨迹最优图片。
人形抓拍模块；人形检测算法：通过运行在嵌入式NUP设备上的轻量级的深度学习人形检测算法获取人形框位置。通过在嵌入式CPU上运行相关滤波跟踪算法结合卡尔曼滤波跟踪算法，可以解决了检测算法可能存在的漏计的问题；人形抓图策略:根据人体没有遮挡，且在进店时刻进行人形的抓拍，存图。
人脸人形关联模块；人脸检测和人形检测是相互独立的两个模块。对于视频画面中只存一个人的时候，只检测出一个人脸，一个人形。并且人脸框包含于人形框内，通过简单的几何关系可以非常直观人脸人形进行绑定。但是对于人形框内存在多于1个人脸时候，相邻两个人脸的位置比较比较接近。从几何位置上看，选择其中任何一个人脸框进行关联都满足关联条件。这个时候很难准确决策人脸和人形的关联关系。本发明引用人体特征点，通过人体特征点的位置关系，包含人体特征点的人脸框的编号与人形框编号进行一一绑定。
人脸与人形关联单元流程：对人形区域抠图，对人形缩放到统一的尺寸。通过深度学习模式分析人体姿态检测，得到人形的对应的特征点。把检测到的人脸坐标框，与人形坐标框进行匹配。根据交叠框的IOU的包含关系。初步判断人脸与人形的包含关系。一个人形可能包含多人人脸，然后根据，人体姿态的特征点的面部特征的位置，人脸与人形绑定。得出人脸人形的关联关系。
人形三维坐标到二维坐标的转换关系：
通过人体特点中的脚部的位置，如图所示，两个脚部特征点，分别是A,B 两点。以A,B两点的中线点C作为人形检测区域的轨迹点。用于后续判断人与门店的状态关系，是否进店，是否过店。
一个人在摄像头的监控视野范围内，由于不同的角度和姿态的差异，可能先检测人形，也可能先检测人体，也可能同时检测人脸和人形。我们对于人的管理，采用人员编号(personID)，人员包含两个子编号：人形标号(bodyID)和人脸编号(faceID)。
人脸编号：按照人脸跟踪轨迹系列进行划分不同的标号。人脸的连续的轨迹序列使用相同的一个faceID号。
人形编号：按照人形跟踪轨迹序列进行划分不同的标号。人形连续的轨迹序列使用相同的一个bodyID号。
人员标号与两个子标号的对于关系：
只有人形标号(bodyID)；只有人脸标号(faceID)；同时存在人脸人形标号(faceID和bodyID)。
人脸人形上图模块：对于不同抓拍情况，及其人与门店的关系，把需要上传的人脸或者人形图，上传到后端比对分析，客流统计服务器端。
人与门店的状态判断，基于人体特点中两个脚部连线的中点作为人体的轨迹点，根据人体轨迹点在门店区域的运动范围。判断人员是否进店，是否过店。
过店状态:人体轨迹点先在店外区域，后续走到店内区域，并从店内区域消失，则判断为进店状态。
过店状态：目标的轨迹是没有到店内区域，开始进去区域的轨迹在店外区域，轨迹结束时候的轨迹到店内区域。
进店检测算法：人体姿态的特征点中的左右的特征点，选择两个特征点的中间位置特征点。根据人体脚部特征点，计算人在地面的映射点。
不同检测情况下，人脸人形的上图包含三种情况：
第一种情况：人员在进店的过程中，面部可能由于遮挡或者姿势角度等原因，只能检测到人形图片。通过对人形轨迹和人形的轨迹点进行分析，满足进店状态，这个时候把抓拍的人形图片上传到后端服务器上做进一步的比对分析。只抓拍到人形的上图流程如图所示。
第二种情况：在多人情况下，人员之间存在一定的遮挡，可能导只检测人脸。当人脸轨迹结束后，判断是否人脸图片是否满足最优上图的抓拍，如果有图片满足人脸抓拍的条件，把该人脸图片上传到后端服务器上做进一步比对分析。只抓拍人脸的上图流程如图所示。
第三种情况：同时能够检测到人脸和人形轨迹，需要人脸人形轨迹关联管理。需要把人员相关的人脸人形轨迹序列管理。一个人员可能存在至少一个人脸和人形的轨迹序列。对于一个人脸人形轨迹关系情况，则把人脸人形都绑定人脸图片作为人形抓拍图片作为人形上图图片。对于人脸或者人形存在多个轨迹存在多人时候，对于同一类图片需要跨越不同轨迹进一步择优选图。最后把选择的出来的一张人形图和一张人脸图片上传到后端服务器做进一步分析处理。
人脸人形比对分析模块；过对前端抓拍的图片进行相关特征提取，然后与注册的店员人脸人形图片特征进行匹配。如果比对相似度大于阈值，则认为是进店的人员是店员，不参与客流统计计数。如果不是店员，则进一步和一段内进店的顾客人脸人形特征进行分别比较。如果进店的顾客特征比对上，剔除店员计数。
人脸识别处理模块是后端人脸识别处理装置的核心模块之一，由GPU负责处理，并使用并行计算来进行深度网络的前向计算，从而提高计算速度。人脸识别处理模块依次执行人脸检测、人脸配准、和特征提取等处理流程，前端嵌入式设备上传的人脸图片中提取人脸特征。在客流统计流程图中可以人脸识别模块。如图所示。
人脸配准算法是一种图像预处理方法，主要用于人脸识别。其可以将面部图像的尺度、旋转和平移等变化去除，达到人脸识别的要求。采用基于深度学习的人脸配准算法，可在从图像中检测出人脸之后，对人脸的特征点位置进行精确定位。例如，人脸特征点位置为五官位置，包括人的左眼中心、右眼中心、鼻尖、两侧嘴角这几个特征点的位置。根据精确配准后的人脸的特征点位置，可以从图像中抠取归一化的人脸图像。人脸图像的归一化，目的是使不同成像条件下拍摄的同一个人的图像具有一致性。人脸图像的归一化包括几何归一化和灰度归一化。几何归一化也称为位置校准，有助于矫正因成像距离和人脸姿态变化造成的尺寸差异和角度倾斜，其目的在于解决人脸尺度变化和人脸旋转问题。几何归一化包括人脸尺度归一化、平面人脸旋转矫正(歪头)和深度人脸旋转矫正(扭脸)等过程。其中，人脸尺度归一化包括人脸图像的偏移、旋转、缩放和标准切割等。灰度归一化用于对不同光照强度、光源方向下得到的人脸图像进行补偿，以减弱单纯由于光照变化在成的图像信号的变化。
存储模块用于存储数据。存储模块用于存储预先准备的信息，例如包括门店店员的注册用户的姓名、ID(Identity，身份标识)、注册用户的人脸图像等。存储模块还用于存储注册人脸特征集、人脸识别的日志信息和统计结果等。此外，人脸识别处理模块还用于对一定时间内到店的顾客的人脸图像进行识别，得到注册用户的人脸特征。因此人脸比对存储模块是动态更新，超过时间的人脸按时间从比对库中更新。在客流统计流程图中可以人脸存储模块。如图所示。
人形识别处理模块是后端人脸识别处理装置的核心模块之一，由GPU负责处理，并使用并行计算来进行深度网络的前向计算，从而提高计算速度。人形识别处理模块依次执行人形检测、人形属性分析、和特征提取等处理流程，前端嵌入式设备上传的人脸图片中提取人脸特征。在客流统计流程图中可以人形识别模块。如图所示。
人形属性分析算法是一种图片预分析算法，主要分析人形的相对镜头的角度。如正面人体，后面人体，左侧面人体，右边侧面人体。在后面人体的比对时候，尽量选择尽量一致的人体进行特征比对。人形图像的归一化，目的是使不同成像条件下拍摄的同一个人的图像具有一致。这样更利于同源特征的准确性，及其避免光线变化对识别的干扰。
存储模块用于存储数据。存储模块用于存储预先准备的信息，例如包括门店店员的注册用户的姓名、ID(Identity，身份标识)、注册用户的人形图像等。存储模块还用于存储注册人形特征集、人形识别的日志信息和统计结果等。此外，人形识别处理模块还用于对一定时间内到店的顾客的人形图像进行识别，得到注册用户的人脸特征。因此人脸比对存储模块是动态更新，超过时间的人形按时间从比对库中更新。在客流统计流程图中可以人形存储模块。如图所示。
后端服务器进行人脸识别，人形的识别。服务器一般没有独立显卡，集成显卡用于一些简单的图形计算和图像处理。服务器的CPU性能较好，使用服务器进行基于深度学习的人脸识别处理时，可采用多线程的方式并行计算。
客流统计模块；对于人脸人形比对分析之后，获得人脸人形的去重之后的信息。还需要对于人脸人形关联的信息综合考虑，对于人脸人形绑定相关联的信息中是否存在有顾客是否重新的进店情况，如果没有重新信息，按照人员为单位，通过实际进入门店的客流量。
附图说明
图1是人脸抓拍流程示意图。
图2是人形特征点分布图。
图3是人与门店的状态区域规则示意图。
图4是只检测人形的上图流程。
图5是只检测人脸的上图流程。
图6是同时检测到人脸人形的上图流程。
图7是客流统计总体流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
一种基于人脸人形的精准客流统计方法，步骤如下：
第一步：同时检测视频中人脸和人体，然后对人体检测做人体姿态分析，把人脸和人形进行关联；有效解决人形框内多个人脸框的人脸与人形的准确匹配；同一个人的轨迹号personID关联与人相关的所以人脸轨迹号faceID和人形轨迹号bodyID；通过建立人轨迹序列的管理，有效避免人脸姿势的变化过程中出现一些不利于识别的人脸图片。
第二步：通过分析人形的轨迹及其人体姿态，判断人员的是否进店，是否过店；对于进店的人形进行抓拍；便于后面店员的人体重识别；有效去除店门口进过抓拍的人脸。
第三步：对于抓拍到人脸和人形数据人脸识别，人体识别；有效剔除店员，一段时间内重复进店人员的去重。
本发明还提出了一种基于人脸人形的精准客流统计系统，包括：至少带有前端嵌入式处理人脸人形抓拍摄像头和后端人脸人形比对识别处理装置；所述嵌入式人脸人形抓拍处理装置包括：中央处理器CPU、深度学习处理芯片NPU、图形处理器GPU、数字信号处理器DSP，存储器和输入输出接口；所述后端人脸人形比对处理转置包括：中央处理器CPU，图形处理器GPU，存储器和输入输出接口；
所述嵌入式人脸人形抓拍处理装置，用于通过摄像头实时采集的图片数据，通过嵌入式设备的CPU，NUP,DSP等处理检测图片数据中抓拍人脸，或者人形；通过人脸人形单独进行相关的跟踪，去除跟踪序列中最优的人脸或者人形图片；根据人脸人形的进店状态，上传人脸或者人形图片到后端处理服务；后端人脸人形比对统计装置，用于从所述前端设备抓拍到的人脸或者人形图片中提取所述人员的人脸特征或者人形特征；通过所述CPU根据所述店员人脸人形，及其一段时间内抓拍到店人员的人脸人形特征；通过比对人相关人脸或者人形的特征，把店员，或者一段时间内到店的人员重复的统计去掉；统计得到顾客到店的精准客流量。
一、人脸抓拍模块
人脸抓拍模块的主要功能：通过对于摄像头抓拍实时处理的图片，通过嵌入式处理单元，包括中央处理器CPU，图形处理器GPU处理。对图片中存在的人脸位置的检测，人脸的图片质量，人脸特征关键点，人脸姿态位置。对于检测跟踪到的同一个目标对象，使用随机森林算法，选择一张综合评价较优的人脸图片，作为备选人脸轨迹最优图片。
人脸择优抓拍包括人脸检测，人脸跟踪，人脸关键点检测，人脸图像质量分析，人脸轨迹序列最优选择。其中人脸择优抓拍的流程图1。
人脸检测单元：嵌入式端轻量级的深度学习人脸检测算法。从摄像头实时采集的图片中，通过轻量级的神经网络，把算法移植到高性能计算法单元中。如 NPU模块，把轻量级的网络模型量化，达到实时检测人脸所在位置框和人脸的置信度。选择一个较高召回率的阈值，求得相关人脸框坐标位置。
人脸图像质量单元：在原图上面根据检测的人脸框扣除人脸数据，把抠出来的人脸图片进行缩放到统一的尺寸之后，深度学习的分类模型，获取人脸图像的清晰度量化评估值。
人脸特征点部分：把抠出来人脸图像送到，人脸关键点检测单元，获取人脸面部的关联点特征。例如，特征点位置为五官位置，包括人的左眼中心、右眼中心、鼻尖、侧嘴角这几个特征点的位置。
人脸姿态部分：通过深度学习Landmark-free模型回归人脸姿态角度，直接获取人脸姿态值包括俯仰角、偏转角和翻滚角。
基于求得的人脸相关特征如下：
人脸正脸的偏移角度(X)；人脸的图像质量(Y)；归一化的人脸特征点(Z)
基于相关人脸特征，人脸综合质量评估函数： F(t)＝W1*F1(X)+W2*F2(Y)+W3*F3(Z)。
直接求人脸综合质量比较困难。通过机器学习方法，通过分析图像质量评估值，人脸姿态值，人脸瞳距值，给出一个适合人脸最优抓拍的分类推荐参数。最后根据推荐参数的最优值，根据最后推荐值较大值，选择最优推荐的参数值。综合质量综合评估值。采用机器学习的随机森林算法，通过标注一系列人脸最优抓拍的图片，获得人脸抓拍的最优人脸抓拍分类模型。
随机森林算法的原理：
随机森林就是用随机的方式建立一个森林，在森林里有很多决策树组成，并且每一棵决策树之间是没有关联的。当有一个新样本的时候，我们让森林的每一棵决策树分别进行判断，看看这个样本属于哪一类，然后用投票的方式，哪一类被选择的多，作为最终的分类结果。在回归问题中，随机森林输出所有决策树输出的平均值。
在随机森林中，每一个决策树“种植”和“生长”的四个步骤：
(1)假设我们设定训练集中的样本个数为N，然后通过有重置的重复多次抽样获得这N个样本，这样的抽样结果将作为我们生成决策树的训练集；
(2)如果有M个输入变量，每个节点都将随机选择m(m<M)个特定的变量，然后运用这m个变量来确定最佳的分裂点。在决策树的生成过程中，m的值是保持不变的；
(3)每棵决策树都最大可能地进行生长而不进行剪枝；
(4)通过对所有的决策树进行加总来预测新的数据(在分类时采用多数投票，在回归时采用平均)。
人脸综合质量评估
人脸综合质量评估的输入特征如下表所示：
Figure BDA0002819479190000111
通过对各个模块进行综合评估分数，把当前的图片综合评估分数与保存的人脸综合评估分数进行比较。如果当前分值高于保存的分值，更新保存的图片。
二、人形抓拍模块
人形检测算法：通过运行在嵌入式NUP设备上的轻量级的深度学习人形检测算法获取人形框位置。通过在嵌入式CPU上运行相关滤波跟踪算法结合卡尔曼滤波跟踪算法，可以解决了检测算法可能存在的漏计的问题，且相关滤波跟踪算法计算速度快，但缺乏尺度变化的缺点，经与卡尔曼滤波算法结合后，跟踪算法可以嵌入式端CPU上实时运行，同时兼顾高性能。
人形抓图策略:根据人体没有遮挡，且在进店时刻进行人形的抓拍，存图。
三、人脸人形关联模块
人脸检测和人形检测是相互独立的两个模块。对于视频画面中只存一个人的时候，只检测出一个人脸，一个人形。并且人脸框包含于人形框内，通过简单的几何关系可以非常直观人脸人形进行绑定。但是对于人形框内存在多于1个人脸时候，相邻两个人脸的位置比较比较接近。从几何位置上看，选择其中任何一个人脸框进行关联都满足关联条件。这个时候很难准确决策人脸和人形的关联关系。本发明引用人体特征点，通过人体特征点的位置关系，包含人体特征点的人脸框的编号与人形框编号进行一一绑定。
人脸与人形关联单元流程：对人形区域抠图，对人形缩放到统一的尺寸。通过深度学习模式分析人体姿态检测，得到人形的对应的特征点。把检测到的人脸坐标框，与人形坐标框进行匹配。根据交叠框的IOU的包含关系。初步判断人脸与人形的包含关系。一个人形可能包含多人人脸，然后根据，人体姿态的特征点的面部特征的位置，人脸与人形绑定。得出人脸人形的关联关系。如图2所示人形特征点分布图。
人形三维坐标到二维坐标的转换关系：
通过人体特点中的脚部的位置，如图3示，两个脚部特征点，分别是A,B 两点。以A,B两点的中线点C作为人形检测区域的轨迹点。用于后续判断人与门店的状态关系，是否进店，是否过店。
一个人在摄像头的监控视野范围内，由于不同的角度和姿态的差异，可能先检测人形，也可能先检测人体，也可能同时检测人脸和人形。我们对于人的管理，采用人员编号(personID)，人员包含两个子编号：人形标号(bodyID)和人脸编号(faceID)。
人脸编号：按照人脸跟踪轨迹系列进行划分不同的标号。人脸的连续的轨迹序列使用相同的一个faceID号。
人形编号：按照人形跟踪轨迹序列进行划分不同的标号。人形连续的轨迹序列使用相同的一个bodyID号。
人员标号与两个子标号的对于关系：
只有人形标号(bodyID)
只有人脸标号(faceID)
同时存在人脸人形标号(faceID和bodyID)
四、人脸人形上图模块
人脸人形上图模块：对于不同抓拍情况，及其人与门店的关系，把需要上传的人脸或者人形图，上传到后端比对分析，客流统计服务器端。
人与门店的状态判断，基于人体特点中两个脚部连线的中点作为人体的轨迹点，根据人体轨迹点在门店区域的运动范围。判断人员是否进店，是否过店。
过店状态:人体轨迹点先在店外区域，后续走到店内区域，并从店内区域消失，则判断为进店状态。
过店状态：目标的轨迹是没有到店内区域，开始进去区域的轨迹在店外区域，轨迹结束时候的轨迹到店内区域。
人与门店关系判断规则，如图3所示人与门店的状态区域规则示意图。
进店检测算法：人体姿态的特征点中的左右的特征点，选择两个特征点的中间位置特征点。根据人体脚部特征点，计算人在地面的映射点。
不同检测情况下，人脸人形的上图包含三种情况：
第一种情况：人员在进店的过程中，面部可能由于遮挡或者姿势角度等原因，只能检测到人形图片。通过对人形轨迹和人形的轨迹点进行分析，满足进店状态，这个时候把抓拍的人形图片上传到后端服务器上做进一步的比对分析。只抓拍到人形的上图流程如图所示。
第二种情况：在多人情况下，人员之间存在一定的遮挡，可能导只检测人脸。当人脸轨迹结束后，判断是否人脸图片是否满足最优上图的抓拍，如果有图片满足人脸抓拍的条件，把该人脸图片上传到后端服务器上做进一步比对分析。只抓拍人脸的上图流程如图所示。
第三种情况：同时能够检测到人脸和人形轨迹，需要人脸人形轨迹关联管理。需要把人员相关的人脸人形轨迹序列管理。一个人员可能存在至少一个人脸和人形的轨迹序列。对于一个人脸人形轨迹关系情况，则把人脸人形都绑定人脸图片作为人形抓拍图片作为人形上图图片。对于人脸或者人形存在多个轨迹存在多人时候，对于同一类图片需要跨越不同轨迹进一步择优选图。最后把选择的出来的一张人形图和一张人脸图片上传到后端服务器做进一步分析处理。
五、人脸人形比对分析模块
人脸人形比对分析模块主要通过对前端抓拍的图片进行相关特征提取，然后与注册的店员人脸人形图片特征进行匹配。如果比对相似度大于阈值，则认为是进店的人员是店员，不参与客流统计计数。如果不是店员，则进一步和一段内进店的顾客人脸人形特征进行分别比较。如果如果进店的顾客特征比对上，剔除店员计数。
人脸识别处理模块是后端人脸识别处理装置的核心模块之一，由GPU负责处理，并使用并行计算来进行深度网络的前向计算，从而提高计算速度。人脸识别处理模块依次执行人脸检测、人脸配准、和特征提取等处理流程，前端嵌入式设备上传的人脸图片中提取人脸特征。在客流统计流程图中可以人脸识别模块。如图所示。
人脸配准算法是一种图像预处理方法，主要用于人脸识别。其可以将面部图像的尺度、旋转和平移等变化去除，达到人脸识别的要求。采用基于深度学习的人脸配准算法，可在从图像中检测出人脸之后，对人脸的特征点位置进行精确定位。例如，人脸特征点位置为五官位置，包括人的左眼中心、右眼中心、鼻尖、两侧嘴角这几个特征点的位置。根据精确配准后的人脸的特征点位置，可以从图像中抠取归一化的人脸图像。人脸图像的归一化，目的是使不同成像条件下拍摄的同一个人的图像具有一致性。人脸图像的归一化包括几何归一化和灰度归一化。几何归一化也称为位置校准，有助于矫正因成像距离和人脸姿态变化造成的尺寸差异和角度倾斜，其目的在于解决人脸尺度变化和人脸旋转问题。几何归一化包括人脸尺度归一化、平面人脸旋转矫正(歪头)和深度人脸旋转矫正(扭脸)等过程。其中，人脸尺度归一化包括人脸图像的偏移、旋转、缩放和标准切割等。灰度归一化用于对不同光照强度、光源方向下得到的人脸图像进行补偿，以减弱单纯由于光照变化在成的图像信号的变化。
存储模块用于存储数据。存储模块用于存储预先准备的信息，例如包括门店店员的注册用户的姓名、ID(Identity，身份标识)、注册用户的人脸图像等。存储模块还用于存储注册人脸特征集、人脸识别的日志信息和统计结果等。此外，人脸识别处理模块还用于对一定时间内到店的顾客的人脸图像进行识别，得到注册用户的人脸特征。因此人脸比对存储模块是动态更新，超过时间的人脸按时间从比对库中更新。在客流统计流程图中可以人脸存储模块。如图所示。
人形识别处理模块是后端人脸识别处理装置的核心模块之一，由GPU负责处理，并使用并行计算来进行深度网络的前向计算，从而提高计算速度。人形识别处理模块依次执行人形检测、人形属性分析、和特征提取等处理流程，前端嵌入式设备上传的人脸图片中提取人脸特征。在客流统计流程图中可以人形识别模块。如图所示。
人形属性分析算法是一种图片预分析算法，主要分析人形的相对镜头的角度。如正面人体，后面人体，左侧面人体，右边侧面人体。在后面人体的比对时候，尽量选择尽量一致的人体进行特征比对。人形图像的归一化，目的是使不同成像条件下拍摄的同一个人的图像具有一致。这样更利于同源特征的准确性，及其避免光线变化对识别的干扰。
存储模块用于存储数据。存储模块用于存储预先准备的信息，例如包括门店店员的注册用户的姓名、ID(Identity，身份标识)、注册用户的人形图像等。存储模块还用于存储注册人形特征集、人形识别的日志信息和统计结果等。此外，人形识别处理模块还用于对一定时间内到店的顾客的人形图像进行识别，得到注册用户的人脸特征。因此人脸比对存储模块是动态更新，超过时间的人形按时间从比对库中更新。在客流统计流程图中可以人形存储模块。如图所示。
后端服务器进行人脸识别，人形的识别。服务器一般没有独立显卡，集成显卡用于一些简单的图形计算和图像处理。服务器的CPU性能较好，使用服务器进行基于深度学习的人脸识别处理时，可采用多线程的方式并行计算。
六、客流统计模块
客流统计模块：对于人脸人形比对分析之后，获得人脸人形的去重之后的信息。还需要对于人脸人形关联的信息综合考虑，对于人脸人形绑定相关联的信息中是否存在有顾客是否重新的进店情况，如果没有重新信息，按照人员为单位，通过实际进入门店的客流量。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于人脸人形的精准客流统计方法，步骤如下：
第一步：同时检测视频中人脸和人体，然后对人体检测做人体姿态分析，把人脸和人形进行关联；有效解决人形框内多个人脸框的人脸与人形的准确匹配；同一个人的轨迹号personID关联与人相关的所以人脸轨迹号faceID和人形轨迹号bodyID；
第二步：通过分析人形的轨迹及其人体姿态，判断人员的是否进店，是否过店；对于进店的人形进行抓拍；通过店员的人体重识别；去除店门口进过抓拍的人脸；
第三步：对于抓拍到人脸和人形数据人脸识别，人体识别；剔除店员，一段时间内重复进店人员的去重。
2.一种基于人脸人形的精准客流统计系统，包括：至少带有前端嵌入式处理人脸人形抓拍摄像头和后端人脸人形比对识别处理装置；所述嵌入式人脸人形抓拍处理装置包括：中央处理器CPU、深度学习处理芯片NPU、图形处理器GPU、数字信号处理器DSP，存储器和输入输出接口；所述后端人脸人形比对处理转置包括：中央处理器CPU，图形处理器GPU，存储器和输入输出接口；
所述嵌入式人脸人形抓拍处理装置，用于通过摄像头实时采集的图片数据，通过嵌入式设备的CPU，NUP,DSP处理检测图片数据中抓拍人脸，或者人形；通过人脸人形单独进行相关的跟踪，去除跟踪序列中最优的人脸或者人形图片；根据人脸人形的进店状态，上传人脸或者人形图片到后端处理服务；后端人脸人形比对统计装置，用于从所述前端设备抓拍到的人脸或者人形图片中提取所述人员的人脸特征或者人形特征；通过所述CPU根据所述店员人脸人形，及其一段时间内抓拍到店人员的人脸人形特征；通过比对人相关人脸或者人形的特征，把店员，或者一段时间内到店的人员重复的统计去掉；统计得到顾客到店的精准客流量。
3.一种基于人脸人形的精准客流统计装置，该装置包括如下模块：
人脸抓拍模块；通过对于摄像头抓拍实时处理的图片，通过嵌入式处理单元，对图片中存在的人脸位置的检测，人脸的图片质量，人脸特征关键点，人脸姿态位置进行处理；对于检测跟踪到的同一个目标对象，使用随机森林算法，选择一张综合评价较优的人脸图片，作为备选人脸轨迹最优图片；
人形抓拍模块；通过运行在嵌入式NUP设备上的轻量级的深度学习人形检测算法获取人形框位置；通过在嵌入式CPU上运行相关滤波跟踪算法结合卡尔曼滤波跟踪算法；据人体没有遮挡，且在进店时刻进行人形的抓拍，存图；
人脸人形关联模块；对于视频画面中只存一个人的时候，只检测出一个人脸，一个人形；并且人脸框包含于人形框内，通过人体特征点的位置关系，包含人体特征点的人脸框的编号与人形框编号进行一一绑定；
人脸与人形关联单元流程：对人形区域抠图，对人形缩放到统一的尺寸；通过深度学习模式分析人体姿态检测，得到人形的对应的特征点；把检测到的人脸坐标框，与人形坐标框进行匹配；根据交叠框的IOU的包含关系；初步判断人脸与人形的包含关系；一个人形可能包含多人人脸，然后根据人体姿态的特征点的面部特征的位置，人脸与人形绑定；得出人脸人形的关联关系；
人形三维坐标到二维坐标的转换关系：通过人体特点中的脚部的位置，两个脚部特征点，分别是A,B两点；以A,B两点的中线点C作为人形检测区域的轨迹点；判断人与门店的状态关系，是否进店，是否过店；
采用人员编号(personID)，人员包含两个子编号：人形标号(bodyID)和人脸编号(faceID)；
人脸编号：按照人脸跟踪轨迹系列进行划分不同的标号；人脸的连续的轨迹序列使用相同的一个faceID号；
人形编号：按照人形跟踪轨迹序列进行划分不同的标号；人形连续的轨迹序列使用相同的一个bodyID号；
人员标号与两个子标号的对于关系：
只有人形标号(bodyID)；只有人脸标号(faceID)；同时存在人脸人形标号(faceID和bodyID)；
人脸人形上图模块：对于不同抓拍情况，及其人与门店的关系，把需要上传的人脸或者人形图，上传到后端比对分析，客流统计服务器端；
人与门店的状态判断，基于人体特点中两个脚部连线的中点作为人体的轨迹点，根据人体轨迹点在门店区域的运动范围；判断人员是否进店，是否过店；
过店状态:人体轨迹点先在店外区域，后续走到店内区域，并从店内区域消失，则判断为进店状态；
过店状态：目标的轨迹是没有到店内区域，开始进去区域的轨迹在店外区域，轨迹结束时候的轨迹到店内区域；
进店检测算法：人体姿态的特征点中的左右的特征点，选择两个特征点的中间位置特征点；根据人体脚部特征点，计算人在地面的映射点；
不同检测情况下，人脸人形的上图包含三种情况：
第一种情况：人员在进店的过程中，面部可能由于遮挡或者姿势角度等原因，只能检测到人形图片；通过对人形轨迹和人形的轨迹点进行分析，满足进店状态，这个时候把抓拍的人形图片上传到后端服务器上做进一步的比对分析；
第二种情况：在多人情况下，人员之间存在一定的遮挡，可能导只检测人脸；当人脸轨迹结束后，判断是否人脸图片是否满足最优上图的抓拍，如果有图片满足人脸抓拍的条件，把该人脸图片上传到后端服务器上做进一步比对分析；
第三种情况：同时能够检测到人脸和人形轨迹，需要人脸人形轨迹关联；需要把人员相关的人脸人形轨迹序列；一个人员可能存在至少一个人脸和人形的轨迹序列；对于一个人脸人形轨迹关系情况，则把人脸人形都绑定人脸图片作为人形抓拍图片作为人形上图图片；对于人脸或者人形存在多个轨迹存在多人时候，对于同一类图片需要跨越不同轨迹进一步择优选图；最后把选择的出来的一张人形图和一张人脸图片上传到后端服务器做进一步分析处理；
人脸人形比对分析模块；过对前端抓拍的图片进行相关特征提取，然后与注册的店员人脸人形图片特征进行匹配；如果比对相似度大于阈值，则认为是进店的人员是店员，不参与客流统计计数；如果不是店员，则进一步和一段内进店的顾客人脸人形特征进行分别比较；如果进店的顾客特征比对上，剔除店员计数；
客流统计模块；对于人脸人形比对分析之后，获得人脸人形的去重之后的信息；对于人脸人形关联的信息综合考虑，对于人脸人形绑定相关联的信息中是否存在有顾客是否重新的进店情况，如果没有重新信息，按照人员为单位，通过实际进入门店的客流量。
CN202011413778.7A 2020-12-07 2020-12-07 一种基于人脸人形的精准客流统计系统、方法、及其装置 Pending CN112464843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011413778.7A CN112464843A (zh) 2020-12-07 2020-12-07 一种基于人脸人形的精准客流统计系统、方法、及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011413778.7A CN112464843A (zh) 2020-12-07 2020-12-07 一种基于人脸人形的精准客流统计系统、方法、及其装置

Publications (1)

Publication Number Publication Date
CN112464843A true CN112464843A (zh) 2021-03-09

Family

ID=74800232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011413778.7A Pending CN112464843A (zh) 2020-12-07 2020-12-07 一种基于人脸人形的精准客流统计系统、方法、及其装置

Country Status (1)

Country Link
CN (1) CN112464843A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158853A (zh) * 2021-04-08 2021-07-23 浙江工业大学 一种结合人脸与人体姿态的闯红灯行人识别系统
CN113326830A (zh) * 2021-08-04 2021-08-31 北京文安智能技术股份有限公司 基于俯视图像的客流统计模型训练方法和客流统计方法
CN113554693A (zh) * 2021-09-18 2021-10-26 深圳市安软慧视科技有限公司 一种边缘部署图像的关联和评判方法、设备及存储介质
CN113627403A (zh) * 2021-10-12 2021-11-09 深圳市安软慧视科技有限公司 一种选图推图方法、系统及相关设备
CN113823029A (zh) * 2021-10-29 2021-12-21 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN113962765A (zh) * 2021-10-11 2022-01-21 杭州拼便宜网络科技有限公司 一种零售智能化互动展售系统
WO2023071185A1 (zh) * 2021-10-28 2023-05-04 上海商汤智能科技有限公司 客流统计方法、装置、计算机设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158853A (zh) * 2021-04-08 2021-07-23 浙江工业大学 一种结合人脸与人体姿态的闯红灯行人识别系统
CN113326830A (zh) * 2021-08-04 2021-08-31 北京文安智能技术股份有限公司 基于俯视图像的客流统计模型训练方法和客流统计方法
CN113554693A (zh) * 2021-09-18 2021-10-26 深圳市安软慧视科技有限公司 一种边缘部署图像的关联和评判方法、设备及存储介质
CN113962765A (zh) * 2021-10-11 2022-01-21 杭州拼便宜网络科技有限公司 一种零售智能化互动展售系统
CN113627403A (zh) * 2021-10-12 2021-11-09 深圳市安软慧视科技有限公司 一种选图推图方法、系统及相关设备
WO2023071185A1 (zh) * 2021-10-28 2023-05-04 上海商汤智能科技有限公司 客流统计方法、装置、计算机设备及存储介质
CN113823029A (zh) * 2021-10-29 2021-12-21 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112464843A (zh) 一种基于人脸人形的精准客流统计系统、方法、及其装置
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
Boucher et al. Development of a semi-automatic system for pollen recognition
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN111931623A (zh) 一种基于深度学习的人脸口罩佩戴检测方法
US20070154088A1 (en) Robust Perceptual Color Identification
CN104978567B (zh) 基于场景分类的车辆检测方法
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111985348B (zh) 人脸识别方法和系统
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN109935080A (zh) 一种交通线路上的车流量实时计算的监测系统及方法
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN109800616A (zh) 一种基于图像特征的二维码定位识别系统
CN112001280B (zh) 一种实时、可在线优化的人脸识别系统和方法
CN117789081A (zh) 一种基于自信息的双重注意力机制小物体识别方法
CN111708907A (zh) 一种目标人员的查询方法、装置、设备及存储介质
Bonton et al. Colour image in 2D and 3D microscopy for the automation of pollen rate measurement
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN115830381A (zh) 基于改进YOLOv5的员工未佩戴口罩检测方法及相关组件
CN115661903A (zh) 一种基于空间映射协同目标过滤的识图方法及装置
CN106846527B (zh) 一种基于人脸识别的考勤系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination