CN111898592A - 一种轨迹数据处理方法、装置以及计算机可读存储介质 - Google Patents

一种轨迹数据处理方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN111898592A
CN111898592A CN202011046037.XA CN202011046037A CN111898592A CN 111898592 A CN111898592 A CN 111898592A CN 202011046037 A CN202011046037 A CN 202011046037A CN 111898592 A CN111898592 A CN 111898592A
Authority
CN
China
Prior art keywords
track
human body
attribute
matched
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011046037.XA
Other languages
English (en)
Other versions
CN111898592B (zh
Inventor
严石伟
蒋楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011046037.XA priority Critical patent/CN111898592B/zh
Publication of CN111898592A publication Critical patent/CN111898592A/zh
Application granted granted Critical
Publication of CN111898592B publication Critical patent/CN111898592B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种轨迹数据处理方法、装置以及计算机可读存储介质,该方法涉及到云技术中的数据传输相关技术,该方法包括:获取检测区域中的人脸轨迹和人体轨迹;基于检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;将绑定失败的人体轨迹确定为待匹配人体轨迹,根据轨迹绑定对的人体轨迹与待匹配人体轨迹间的轨迹相似度,确定与待匹配人体轨迹匹配的用户属性;对与待匹配人体轨迹匹配的用户属性和待匹配人体轨迹进行绑定,得到属性绑定对;根据属性绑定对和轨迹绑定对,确定检测区域中的用户流量和用户属性。采用本申请,可提高获取到的检测区域中的用户流量和用户属性的准确性。

Description

一种轨迹数据处理方法、装置以及计算机可读存储介质
技术领域
本申请涉及数据处理的技术领域,尤其涉及一种轨迹数据处理方法、装置以及计算机可读存储介质。
背景技术
在一些大型商场场地中,往往需要统计该商场的某个监控区域中的客流量和该客流量对应的客流属性,该客流属性可以是客流的年龄属性或者性别属性等。
现有技术中,往往是捕捉监控区域中的人脸图像,通过统计所捕捉到的人脸图像,来确定该监控区域中的客流量,并可以通过识别人脸图像中的人脸特征,来得到客流量对应的客流属性。
但是,很多时候所捕捉到的监控区域中的人脸图像,可能是通过对一些离监控区域较远的客人偶尔探出的人脸进行拍摄得到,而如果将远处客人探出的人脸所属的人脸图像也参与到监控区域的客流量以及客流属性的计算中,这会导致所统计得到的监控区域中的客流量以及客流属性并不准确。
发明内容
本申请提供了一种轨迹数据处理方法、装置以及计算机可读存储介质,可提高获取到的检测区域中的用户流量和用户属性的准确性。
本申请一方面提供了一种轨迹数据处理方法,包括:
获取检测区域中的人脸轨迹和人体轨迹;
基于检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;
将绑定失败的人体轨迹确定为待匹配人体轨迹,根据轨迹绑定对中的人体轨迹与待匹配人体轨迹之间的轨迹相似度,确定与待匹配人体轨迹相匹配的用户属性;
对与待匹配人体轨迹相匹配的用户属性和待匹配人体轨迹进行绑定,得到属性绑定对;
根据属性绑定对和轨迹绑定对,确定检测区域中的用户流量和用户流量对应的用户属性。
本申请一方面提供了一种轨迹数据处理装置,包括:
轨迹获取模块,用于获取检测区域中的人脸轨迹和人体轨迹;
轨迹对获取模块,用于基于检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;
属性确定模块,用于将绑定失败的人体轨迹确定为待匹配人体轨迹,根据轨迹绑定对中的人体轨迹与待匹配人体轨迹之间的轨迹相似度,确定与待匹配人体轨迹相匹配的用户属性;
属性对获取模块,用于对与待匹配人体轨迹相匹配的用户属性和待匹配人体轨迹进行绑定,得到属性绑定对;
流量属性确定模块,用于根据属性绑定对和轨迹绑定对,确定检测区域中的用户流量和用户流量对应的用户属性。
其中,轨迹获取模块,包括:
图像获取单元,用于获取检测区域中的至少两个人脸图像和至少两个人体图像;
评估单元,用于获取至少两个人脸图像之间的人脸图像相似度和人脸图像距离,获取至少两个人体图像之间的人体图像相似度和人体图像距离;
第一组合单元,用于根据人脸图像相似度和人脸图像距离,对至少两个人脸图像进行组合,得到检测区域中的人脸轨迹;一个人脸轨迹包括至少一个人脸图像;
第二组合单元,用于根据人体图像相似度和人体图像距离,对至少两个人体图像进行组合,得到检测区域中的人体轨迹;一个人体轨迹包括至少一个人体图像。
其中,轨迹对获取模块,包括:
轨迹确定单元,用于将检测区域中的人体轨迹确定为区域人体轨迹,将检测区域中的人脸轨迹确定为区域人脸轨迹;区域人体轨迹中的人体图像是从针对检测区域的目标摄像图像中所截获的;
人脸图像获取单元,用于获取目标摄像图像中的人脸图像;
关联性确定单元,用于将目标摄像图像中的人脸图像与区域人脸轨迹中的人脸图像之间的图像相似度,确定为区域人体轨迹与区域人脸轨迹之间的轨迹关联性;
轨迹绑定单元,用于当轨迹关联性大于或等于关联性阈值时,对区域人体轨迹和区域人脸轨迹进行绑定,得到轨迹绑定对。
其中,待匹配人体轨迹包括检测区域中的第一人体图像;轨迹绑定对的数量为至少两个;每个轨迹绑定对中的人体轨迹分别包括检测区域中的第二人体图像;
属性确定模块,包括:
第一向量获取单元,用于根据第一人体图像,获取待匹配人体轨迹的第一轨迹特征向量;
第二向量获取单元,用于根据每个轨迹绑定对包括的第二人体图像,分别获取每个轨迹绑定对中的人体轨迹的第二轨迹特征向量;
向量距离获取单元,用于获取第一轨迹特征向量分别与每个轨迹绑定对对应的第二轨迹特征向量之间的向量距离;
相似度确定单元,用于根据每个轨迹绑定对所属的向量距离,确定每个轨迹绑定对中的人体轨迹分别与待匹配人体轨迹之间的轨迹相似度;
匹配属性确定单元,用于当目标轨迹绑定对的数量大于第一数量阈值且小于或等于第二数量阈值时,将目标轨迹绑定对中的人脸轨迹所包含的用户属性,确定为与待匹配人体轨迹相匹配的用户属性;目标轨迹绑定对,指所属的轨迹相似度大于或等于轨迹相似度阈值的轨迹绑定对。
其中,第一人体图像的图像数量为至少两个;
第一向量获取单元,包括:
第一特征获取子单元,用于获取至少两个第一人体图像中的每个第一人体图像分别对应的图像特征向量;
第一特征平均子单元,用于根据每个第一人体图像分别对应的图像特征向量,获取至少两个第一人体图像对应的第一平均特征向量;
第一特征确定子单元,用于将第一平均特征向量,确定为第一轨迹特征向量。
其中,至少两个轨迹绑定对包括轨迹绑定对bx,x为小于或等于至少两个轨迹绑定对的总数量的正整数;轨迹绑定对bx包括的第二人体图像的图像数量为至少两个;
第二向量获取单元,包括:
第二特征获取子单元,用于获取轨迹绑定对bx包括的至少两个第二人体图像中的每个第二人体图像分别对应的图像特征向量;
第二特征平均子单元,用于根据每个第二人体图像分别对应的图像特征向量,获取至少两个第二人体图像对应的第二平均特征向量;
第二特征确定子单元,用于将第二平均特征向量,确定为轨迹绑定对bx中的人体轨迹的第二轨迹特征向量。
其中,待匹配人体轨迹的数量为至少两个;
上述装置还包括:
待定对确定模块,用于当目标轨迹绑定对的数量小于或等于第一数量阈值时,将与每个待匹配人体轨迹之间的轨迹相似度最大的人体轨迹所在的轨迹绑定对,分别确定为每个待匹配人体轨迹对应的待定绑定对;
待定属性确定模块,用于将每个待匹配人体轨迹对应的待定绑定对中的人脸轨迹所包含的用户属性,分别确定为每个待匹配人体轨迹对应的待定用户属性;
属性值确定模块,用于根据每个待匹配人体轨迹对应的待定用户属性,确定待确定属性对应的至少两个属性值;
出现比例获取模块,用于获取至少两个属性值在至少两个轨迹绑定对的人脸轨迹所包含的用户属性中的第一出现比例;
第一目标属性确定模块,用于根据第一出现比例,确定每个待匹配人体轨迹针对待确定属性的第一目标属性值;
第一匹配属性确定模块,用于将分别具有每个待匹配人体轨迹对应的第一目标属性值的待确定属性,确定为与每个待匹配人体轨迹相匹配的用户属性;至少两个属性值在与每个待匹配人体轨迹相匹配的用户属性中的第二出现比例,等于第一出现比例。
其中,上述装置还包括:
次数统计模块,用于当目标轨迹绑定对的数量大于第二数量阈值时,统计待确定属性的至少两个属性值在目标轨迹绑定对的人脸图像所包含的用户属性中的出现次数;至少两个属性值,是根据目标轨迹绑定对中的人脸轨迹所包含的用户属性所确定的;
第二目标属性确定模块,用于根据待匹配人体轨迹与目标轨迹绑定对之间的轨迹相似度、以及出现次数,从至少两个属性值中,确定待匹配人体轨迹针对待确定属性的第二目标属性值;
第二匹配属性确定模块,用于将具有第二目标属性值的待确定属性,确定为与待匹配人体轨迹相匹配的用户属性。
其中,上述装置还包括:
包含属性确定模块,用于将轨迹绑定对中的人脸轨迹所包含的用户属性,确定为轨迹绑定对所包含的用户属性;
区域对确定模块,用于将轨迹绑定对和属性绑定对,确定为检测区域中的区域绑定对;
目标属性确定模块,用于将区域绑定对所包含的用户属性,确定为目标用户属性;
标识添加模块,用于为目标用户属性与所在的区域绑定对中的人体轨迹添加相同的标识信息;
存储模块,用于将具有标识信息的目标用户属性,分别存储至先入先出队列、内存数据库以及持久化数据库;从先入先出队列中获取目标用户属性的速度,大于从内存数据库中获取目标用户属性的速度;从内存数据库中获取目标用户属性的速度,大于从持久化数据库中获取目标用户属性的速度;先入先出队列针对目标用户属性的数据存储量,小于内存数据库针对目标用户属性的数据存储量;内存数据库针对目标用户属性的数据存储量,小于持久化数据库针对目标用户属性的数据存储量;
流量属性确定模块,包括:
流量确定单元,用于根据区域绑定对中的人体轨迹,确定检测区域中的用户流量;
流量属性确定单元,用于根据区域绑定对中的人体轨迹所具有的标识信息,从先入先出队列、内存数据库或持久化数据库中,获取具有标识信息的目标用户属性,将获取到的目标用户属性确定为用户流量对应的用户属性。
其中,流量属性确定单元,包括:
第一获取子单元,用于根据区域绑定对中的人体轨迹所具有的标识信息,生成用于在先入先出队列中获取目标用户属性的第一数据获取请求,当根据第一数据获取请求未从先入先出队列中获取到目标用户属性时,根据第一数据获取请求,生成用于在内存数据库中获取目标用户属性的第二数据获取请求;
第二获取子单元,用于当根据第二数据获取请求未从内存数据库中获取到目标用户属性时,根据第二数据获取请求,生成用于在持久化数据库中获取目标用户属性的第三数据获取请求;
第三获取子单元,用于根据第三数据获取请求,从持久化数据库中获取目标用户属性。
其中,内存数据库中所存储的目标用户属性包括用户属性x1和用户属性x2;
上述装置还包括:
时段设置模块,用于为用户属性x1设置第一有效时段,为用户属性x2设置第二有效时段;第一有效时段不等于第二有效时段;
属性删除模块,用于当第一时刻不满足第一有效时段时,在第一时刻从内存数据库中删除用户属性x1,当第二时刻不满足第二有效时段时,在第二时刻从内存数据库中删除用户属性x2。
其中,第三获取子单元,包括:
目标请求获取子单元,用于当删除内存数据库中的用户属性x1后,获取到的针对用户属性x1的第二数据获取请求的请求数量大于请求数量阈值时,从至少两个第二数据获取请求中确定目标数据获取请求;
目标请求执行子单元,用于基于目标数据获取请求生成第三数据获取请求,根据第三数据获取请求,从持久化数据库中获取用户属性x1,将用户属性x1重新添加至内存数据库;
上述装置还包括:
请求确定模块,用于将至少两个第二数据获取请求中,除目标数据获取请求之外的数据获取请求,确定为待定数据获取请求;
请求执行模块,用于从内存数据库中,为每个待定数据获取请求分别获取用户属性x1。
本申请一方面提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行本申请中一方面中的方法。
本申请一方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时使该处理器执行上述一方面中的方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面等各种可选方式中提供的方法。
本申请通过获取检测区域中的人脸轨迹和人体轨迹;基于检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;将绑定失败的人体轨迹确定为待匹配人体轨迹,根据轨迹绑定对中的人体轨迹与待匹配人体轨迹之间的轨迹相似度,确定与待匹配人体轨迹相匹配的用户属性;对与待匹配人体轨迹相匹配的用户属性和待匹配人体轨迹进行绑定,得到属性绑定对;根据属性绑定对和轨迹绑定对,确定检测区域中的用户流量和用户流量对应的用户属性。由此可见,本申请提出的方法可以获取检测区域中的人脸轨迹和人体轨迹,通过该人体轨迹可以获取到检测区域中的用户流量,通过该人脸轨迹可以获取到检测区域中的用户属性,并且,对于绑定失败的人体轨迹,也可以为其匹配到对应的用户属性,因此提高了所获取的检测区域中的用户流量和用户属性的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请提供的一种轨迹数据处理的场景示意图;
图3是本申请提供的一种轨迹数据处理方法的流程示意图;
图4是本申请提供的一种获取与待匹配人体轨迹相匹配的用户属性的场景示意图;
图5是本申请提供的一种用户属性获取方法的流程示意图;
图6是本申请提供的一种获取人体轨迹对应的用户属性的场景示意图;
图7是本申请提供的一种获取与待匹配人体轨迹相匹配的用户属性的场景示意图;
图8是本申请提供的一种终端设备的页面示意图;
图9是本申请提供的一种终端设备的页面示意图;
图10是本申请提供的一种获取目标用户属性的场景示意图;
图11是本申请提供的一种获取人体轨迹对应的用户属性的场景示意图;
图12是本申请提供的一种目标用户属性获取方法的流程示意图;
图13是本申请提供的一种轨迹数据处理装置的结构示意图;
图14是本申请提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请涉及到云技术。其中,云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
本申请中主要涉及到的云技术可以指对人脸轨迹、人体轨迹以及用户属性相关的数据进行存储的技术,还可以指对人脸轨迹、人体轨迹以及用户属性相关的数据进行传输的技术。具体可以参见下述图3对应的实施例中的描述。
另外,本申请还涉及到人工智能相关技术。其中,人工智能(ArtificialIntelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请中主要涉及到了人工智能中的机器学习。其中,机器学习(MachineLearning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请中所涉及到的机器学习主要指,通过机器学习来识别人脸轨迹中的人脸图像所包含的用户属性特征(可以简称为用户属性),具体也可以参见下述图3对应的实施例。
请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示,网络架构可以包括服务器200和终端设备集群,终端设备集群可以包括一个或者多个终端设备,这里将不对终端设备的数量进行限制。如图1所示,多个终端设备具体可以包括终端设备100a、终端设备101a、终端设备102a、…、终端设备103a;如图1所示,终端设备100a、终端设备101a、终端设备102a、…、终端设备103a均可以与服务器200进行网络连接,以便于每个终端设备可以通过网络连接与服务器200之间进行数据交互。
如图1所示的服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等智能终端。下面以终端设备100a与服务器200之间的通信为例,进行本申请实施例的具体描述。
请一并参见图2,图2是本申请提供的一种轨迹数据处理的场景示意图。区域100b可以是商场中的某个区域,区域100b中包括摄像头101b,摄像头101b的拍摄范围可以是区域102b所包含的范围,可以将区域102b称之为检测区域。因此,上述终端设备100a可以是检测区域102b的管理员所持有的终端设备。管理员可以通过终端设备100a,向服务器200请求获取检测区域102b中的客流量和该客流量对应的客流属性。
其中,检测区域102b中的客流量,可以是服务器200通过获取到的检测区域102b中的人体轨迹所统计出来的,检测区域102b中的客流属性,可以是服务器200通过获取到的检测区域102b中的人脸轨迹所检测出来的,下面具体描述服务器200如何获取检测区域102b中的客流量和该客流量对应的客流属性。
如图2所示,摄像头101b可以在客人经过检测区域102b时,对所经过的客人进行拍摄,摄像头101b在拍摄下所经过的客人的照片之后,可以将所拍摄的客人的照片传输给服务器200。其中,摄像头101b可以通过有线的传输方式将所获取到的照片传输给服务器200,也可以通过无线通信的传输方式将所获取到的照片传输给服务器200。
如图2所示,摄像头101b向服务器200传输的客人的照片可以是框103b中的若干个客流图像。框103b中的客流图像可以包括图像104b。服务器200可以识别并分割出框103b中的每个图像所包含的人脸图像和人体图像。例如,服务器200可以识别出图像104b中的人脸图像110b和人体图像111b。
进而,服务器200可以对从框104b中分割出来的人脸图像进行组合,得到人脸轨迹,例如,服务器200获取到的人脸轨迹可以包括人脸轨迹105b。其中,一个人脸轨迹中可以包括多个连续(即相邻的人脸图像之间的物理距离趋近于0)的人脸图像,一个人脸轨迹中所包括的多个人脸图像均为同一个客人的人脸图像。
同理,服务器200可以对从框104b中分割出来的人体图像进行组合,得到人体轨迹,例如,服务器200获取到的人体轨迹可以包括人体轨迹106b。其中,一个人体轨迹中可以包括多个连续的人体图像,一个人体轨迹中所包括的多个人体图像均为同一个客人的人体图像。
其中,服务器200如何获取人脸轨迹和人体轨迹的具体过程还可以参见下述图3对应的实施例中对步骤S101的描述。
服务器200在获取到检测区域102b中的人脸轨迹(包括人脸轨迹105b)和人体轨迹(包括人体轨迹106b)之后,可以对人体轨迹和人脸轨迹之间绑定,即将属于相同客人的人体轨迹和人脸轨迹进行绑定。进而,服务器200就可以根据获取到的人体轨迹得到检测区域102b中的客流量107b。例如,可以将服务器200所获取到的检测区域102b中的人体轨迹的轨迹数量,直接作为检测区域102b中客流量107b的数值。服务器200还可以根据与人体轨迹具有绑定关系的人脸轨迹,来得到检测区域102b中的客流量107b对应的客流属性108b,该客流属性108b可以包括通过人脸轨迹中的人脸图像所识别出来的客人的年龄、性别、身份、毛发、表情以及肤色等属性。其中,如何获取对人脸轨迹和人体轨迹之间进行绑定,以及如何根据所绑定的人体轨迹和人脸轨迹,来得到检测区域102b中的客流量107b和客流属性108b的具体过程,还可以参见下述图3对应的实施例中对各个步骤的描述。
进而,服务器200在获取到终端设备101a针对检测区域102b中的客流量107b以及该客流量107b对应的客流属性108b的获取请求时,就可以将客流量107b以及该客流量107b对应的客流属性108b发送给终端设备101a。终端设备101a可以在终端页面中,对所获取到的客流量107b以及客流属性108b,进行输出显示,以向检测区域102b的管理员展示检测区域102b中的客流量107b以及客流属性108b。进而管理员就可以根据检测区域102b中的客流量107b以及客流属性108b,制定针对检测区域102b的区域管理策略109b。
例如,若管理员通过检测区域102b中的客流量107b以及客流属性108b,发现检测区域102b中的客流中年轻女孩子占大多数,则针对检测区域102b的区域管理策略就可以是在检测区域102b中设置更多的奶茶店等。
采用本申请所提供的方法,通过人体轨迹来获取检测区域中的客流量,会比通过人脸轨迹来获取检测区域中的客流量会更加准确,因此会使得在通过与人体轨迹具有绑定关系的人脸轨迹所获取到的客流量对应的客流属性也更加准确。
请参见图3,图3是本申请提供的一种轨迹数据处理方法的流程示意图,如图3所示,该方法可以包括:
步骤S101,获取检测区域中的人脸轨迹和人体轨迹;
具体的,本申请实施例中的执行主体可以是任意一个计算机设备或者多个计算机设备构成的设备集群。该计算机设备可以是服务器,也可以终端设备,还可以同时包括服务器和终端设备。若本申请实施例中的执行主体为服务器,则执行主体可以为任意一个服务器或者多个服务器构成的服务器集群。若本申请实施例中的执行主体是终端设备,则执行主体也可以是任意一个终端设备或者多个终端设备所构成的集群。此处,以本申请实施例中的执行主体为服务器为例进行说明,执行主体具体是什么,可以根据实际应用情况进行选择,对此不作限制。
首先,可以确定检测区域:该检测区域可以是商场中某个摄像头的摄像范围所包括的商场区域,该检测区域还可以是景区中的某个摄像头的摄像范围所包括的景区区域。换句话说,检测区域为需要检测用户流量和该用户流量对应的用户属性的区域,该检测区域同时是被某个摄像头进行摄像的区域。此处,假设检测区域是指目标摄像头的摄像范围所包括的区域。其中,由于枪机摄像头具有较高的摄像清晰度,因此,可以使用枪机摄像头作为目标摄像头。
其中,可以将检测区域中的用户流量称之为检测区域中的客流量,该客流量可以指在某个时间范围内,检测区域中所经过的客人的人次。例如该客流量可以指在15分钟内检测区域中所经过的客人的人次为50人次。还可以将检测区域中用户流量的用户属性称之为客流属性,该客流属性可以指客流量所包括的客人的年龄属性、性别属性、毛发属性、肤色属性以及表情属性等。
因此,首先,目标摄像头可以对途经检测区域的客人进行拍摄,得到若干张客人的照片,该若干张客人的照片即为若干个包括客人的图像。由于途经检测区域的客人之间或者客人与检测区域中的障碍物之间可能会存在遮挡情况,因此,目标摄像头所获取到的包括客人的图像中,有可能只包括客人的人脸,也有可能只包括客人的人体(即身体),当然也有可能同时包括客人的人脸和客人的人体。
目标摄像头可以将所拍摄下的若干个包括客人的图像,传输给服务器。其中,目标摄像头可以通过连接电线,将包括客人的图像传输给服务器,也可以通过无线通信,将包括客人的图像传输给服务器。
服务器在获取到目标摄像头所传输的包括客人的图像之后,就可以对该图像中客人的人体和人脸分别进行检测,并将所检测到的客人的人脸从图像中分割出来,即可得到多个人脸图像(至少两个,实际上也可以是一个)。该多个人脸图像即为仅包括客人的人脸的图像。同理,服务器还可以将所检测到的客人的人体从图像中分割出来,即可得到多个人体图像(至少两个,实际上也可以是一个)。该多个人体图像即为仅包括客人的人体的图像。
接着,服务器可以对上述所得到的多个人脸图像进行组合,来得到检测区域中的人脸轨迹:服务器可以通过图像识别模型(预先训练得到),来对每个人脸图像进行识别,来得到任意两个人脸图像之间的图像相似度。例如,服务器可以通过图像识别模型,提取每个人脸图像的图像特征,每个人脸图像的图像特征可以分别为一个图像特征向量。服务器可以通过任意两个人脸图像的图像特征向量之间的向量距离,来得到该任意两个人脸图像之间的图像相似度。
其中,两个人脸图像的图像特征向量之间的向量距离越大,则该两个人脸图像之间的图像相似度就越小;反之,两个人脸图像的图像特征向量之间的向量距离越小,则该两个人脸图像之间的图像相似度就越大。若两个人脸图像之间的图像相似度越大,表明该两个人脸图像中所包含的人脸是属于同一个客人(可以称之为用户)的。反之,若两个人脸图像之间的图像相似度越小,则表明该两个人脸图像中所包含的人脸不是属于同一个客人的。
服务器还可以检测任意两个人脸图像之间的图像距离,通过检测任意两个人脸图像之间的图像距离,可以判断该两个人脸图像是否是连续的。例如,若客人k1从检测区域中的位置a走到位置b的过程中,客人k1的人脸全程没有被遮挡过始终在目标摄像头的拍摄中,目标摄像头在客人k1从位置a走到位置b的过程中会拍摄下包括客人k1的人脸的多个图像。那么,目标摄像头将包括客人k1的人脸的多个图像给到服务器之后,服务器从该多个图像中分割得到的多个人脸图像之间就是连续的,可以理解为,该多个人脸图像中的人脸对应的图像帧之间是连续的没有断过。
再例如,若客人k2从检测区域中的位置c走到位置d再走到位置e再走到位置f的过程中,客人k2从位置c走到位置d的过程中,客人k2的人脸始终没有被遮挡过一直在目标摄像头的摄像中,而在位置d处,客人k2的人脸被其他遮挡物(可以是其他客人或者柱子等)遮挡了,直到走到位置e客人k2的人脸才被漏出来被目标摄像头拍摄到,而客人k2从位置e走到位置f的过程中,客人k2的人脸始终没有被遮挡住。因此,目标摄像头可以在客人k2从位置c走到位置d的过程中,获取到多个包括该客人k2的人脸的图像,可以将该多个包括客人k2的人脸的图像称之为多个第一图像。目标摄像头还可以在客人k2从位置e走到位置f的过程中,获取到多个包括该客人k2的人脸的图像,可以将该多个包括客人k2的人脸的图像称之为多个第二图像。因此,服务器在多个第一图像中获取到的用户k2对应的多个人脸图像之间是连续的,服务器在多个第二图像中获取到的用户k2的多个人脸图像之间也是连续的,但是从第一图像中获取到的用户k2的人脸图像与从第二图像中获取到的用户k2的人脸图像,就不是连续的。
因此,可以将人脸图像之间的图像相似度称之为人脸图像相似度,可以将人脸图像之间图像距离称之人脸图像距离。若两个人脸图像之间的图像距离小于或者等于人脸图像距离阈值(可以自行设置),则可以认为该两个人脸图像之间的连续的。服务器可以将人脸图像相似度大于或者等于人脸图像相似度阈值、并且人脸图像距离小于或者等于人脸图像距离阈值的多个人脸图像进行组合,即可得到人脸轨迹。一个人脸轨迹中至少包括一个人脸图像,一个人脸轨迹中若包括多个人脸图像,则该多个人脸图像是属于相同客人的,即该多个人脸图像之间的人脸图像相似度大于或者等于人脸图像相似度阈值,该多个人脸图像之间还是连续的,即该多个人脸图像中相邻人脸图像之间的人脸图像距离小于或者等于人脸图像距离阈值。
同理,服务器可以对上述所得到的多个人体图像进行组合,来得到检测区域中的人体轨迹:服务器可以通过图像识别模型(预先训练得到),来对每个人体图像进行识别,来得到任意两个人体图像之间的图像相似度。例如,服务器可以通过图像识别模型,提取每个人体图像的图像特征,每个人体图像的图像特征可以分别为一个图像特征向量。服务器可以通过任意两个人体图像的图像特征向量之间的向量距离,来得到该任意两个人体图像之间的图像相似度。
其中,两个人体图像的图像特征向量之间的向量距离越大,则该两个人体图像之间的图像相似度就越小;反之,两个人体图像的图像特征向量之间的向量距离越小,则该两个人体图像之间的图像相似度就越大。若两个人体图像之间的图像相似度越大,表明该两个人体图像中所包含的人体是属于同一个客人的。反之,若两个人体图像之间的图像相似度越小,则表明该两个人体图像中所包含的人体不是属于同一个客人的。
服务器还可以检测任意两个人体图像之间的图像距离,通过检测任意两个人体图像之间的图像距离,可以判断该两个人体图像是否是连续的。例如,若客人k1从检测区域中的位置a走到位置b的过程中,客人k1的人体全程没有被遮挡过始终在目标摄像头的拍摄中,目标摄像头在客人k1从位置a走到位置b的过程中会拍摄下包括客人k1的人体的多个图像。那么,目标摄像头将包括客人k1的人体的多个图像给到服务器之后,服务器从该多个图像中分割得到的多个人体图像之间就是连续的,可以理解为,该多个人体图像中的人体对应的图像帧之间是连续的没有断过。
再例如,若客人k2从检测区域中的位置c走到位置d再走到位置e再走到位置f的过程中,客人k2从位置c走到位置d的过程中,客人k2的人体始终没有被遮挡过一直在目标摄像头的摄像中,而在位置d处,客人k2的人体被其他遮挡物(可以是其他客人或者柱子等)遮挡了,直到走到位置e客人k2的人体才被漏出来被目标摄像头拍摄到,而客人k2从位置e走到位置f的过程中,客人k2的人体始终没有被遮挡住。因此,目标摄像头可以在客人k2从位置c走到位置d的过程中,获取到多个包括该客人k2的人体的图像,可以将该多个包括客人k2的人体的图像称之为多个第三图像。目标摄像头还可以在客人k2从位置e走到位置f的过程中,获取到多个包括该客人k2的人体的图像,可以将该多个包括客人k2的人体的图像称之为多个第四图像。因此,服务器在多个第三图像中获取到的用户k2对应的多个人体图像之间是连续的,服务器在多个第四图像中获取到的用户k2的多个人体图像之间也是连续的,但是服务器从第三图像中获取到的用户k2的人体图像与从第四图像中获取到的用户k2的人体图像之间,就不是连续的。
因此,可以将人体图像之间的图像相似度称之为人体图像相似度,可以将人体图像之间图像距离称之人体图像距离。若两个人体图像之间的图像距离小于或者等于人体图像距离阈值(可以自行设置),则可以认为该两个人体图像之间的连续的。服务器可以将人体图像相似度大于或者等于人体图像相似度阈值、并且人体图像距离小于或者等于人体图像距离阈值的多个人体图像进行组合,即可得到人体轨迹。一个人体轨迹中至少包括一个人体图像,一个人体轨迹中若包括多个人体图像,则该多个人体图像是属于相同客人的,即该多个人体图像之间的人体图像相似度大于或者等于人体图像相似度阈值,该多个人体图像之间还是连续的,即该多个人体图像中相邻人体图像之间的人体图像距离小于或者等于人体图像距离阈值。
因此,通过上述过程,服务器即可得到检测区域中的人脸轨迹和人体轨迹。其中,服务器可以是按照时间段来获取检测区域中的人脸轨迹和人体轨迹的,例如每隔15分钟(也可以是其他时长)为一轮,获取检测区域中的人脸轨迹和人体轨迹。可以理解的是,服务器所获取到的人脸轨迹中的人脸图像和人体轨迹中的人体图像,也是从目标摄像头在对应的15分钟内所拍摄的包括客人的图像中分割出来的。因此,后续也可以按照15分钟的时长来获取检测区域中的客流量和客流属性。例如,获取11:00-到11:15分钟内检测区域中的客流量以及该客流量的客流属性。
步骤S102,基于检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;
具体的,可以将服务器所获取到的检测区域中的人体轨迹称之为区域人体轨迹,可以将服务器获取到的检测区域中的人脸轨迹称之为区域人脸轨迹。其中,区域人体轨迹中的人脸图像可以是服务器从目标摄像图像中分割出来的,即从目标摄像图像中截获的。该目标摄像图像即为目标摄像头所拍摄的包括客人的图像。
其中,目标摄像图像中有可能只包括了客人的人体而不包括客人的人脸,但是,目标摄像图像中也可以在包括客人的人体的同时,还包括客人的人脸。因此,若目标摄像图像中包括客人的人脸,则服务器可以通过图像识别模型(预先训练得到)识别出目标摄像图像中的人脸,并从目标摄像图像中分割出人脸对应的部分图像,以得到目标摄像图像中的人脸图像。
服务器还可以通过图像识别模型提取目标摄像图像中的人脸图像的图像特征向量,服务器还可以通过图像识别模型提取区域人脸轨迹中的人脸图像的图像特征向量。服务器可以通过目标摄像图像中的人脸图像的图像特征向量、与区域人脸轨迹中的人脸图像的图像特征向量之间的向量距离,并根据该向量距离得到目标摄像图像中的人脸图像与区域人脸轨迹中的人脸图像之间的图像相似度。可以将该图像相似度,作为区域人脸轨迹与目标摄像图像中的人体图像所在的区域人体轨迹之间的轨迹关联性。
当该轨迹关联性大于或者等于关联性阈值(可以自行设置)时,就认为区域人脸轨迹与目标摄像图像中的人体图像所在的区域人体轨迹,是属于同一个用户的,因此就可以将区域人脸轨迹与目标摄像图像中的人脸图像所在的区域人体轨迹进行绑定,即可得到轨迹绑定对。一个轨迹绑定对中可以包括一个区域人体轨迹和一个区域人脸轨迹,一个轨迹绑定对中的区域人体轨迹和区域人脸轨迹是属于相同用户的。
步骤S103,将绑定失败的人体轨迹确定为待匹配人体轨迹,根据轨迹绑定对中的人体轨迹与待匹配人体轨迹之间的轨迹相似度,确定与待匹配人体轨迹相匹配的用户属性;
具体的,可以将未与区域人脸轨迹绑定成功的区域人体轨迹,称之为待匹配人体轨迹。例如,若目标摄像头拍摄的包含客人的图像中,只包括客人的人体,而不包括客人的人脸,则服务器根据该图像中的人体图像所得到的人体轨迹,就不能成功与人脸轨迹进行绑定。再例如,若不存在与某个人体轨迹之间的轨迹关联性大于或等于上述关联性阈值的人脸轨迹时,则该人体轨迹也不能成功与人脸轨迹进行绑定。
其中,由于可以检测区域中的人体轨迹来得到检测区域中的用户流量,因此,通过将人体轨迹和人脸轨迹进行绑定,也是想要通过与人体轨迹进行绑定的人脸轨迹,来获取人体轨迹对应的用户属性,该用户属性即为上述用户流量所属的用户属性。
因此,服务器还可以获取待匹配人体轨迹与上述轨迹绑定对中的人体轨迹之间的轨迹相似度,进而,服务器就可以通过待匹配人体轨迹与轨迹绑定对中的人体轨迹之间的轨迹相似度,来获取到与待匹配人体轨迹相匹配的用户属性。
换句话说,本申请不仅可以获取到与人脸轨迹绑定成功的人体轨迹对应的用户属性,还可以获取未与人脸轨迹绑定成功的人体轨迹对应的用户属性。获取与待匹配人体轨迹相匹配的用户属性的具体过程,请参见下述。
首先,具体描述如何获取待匹配人体轨迹与轨迹绑定对中的人体轨迹之间的轨迹相似度:可以将待匹配人体轨迹中所包括的人体图像,称之为第一人体图像,待匹配人体轨迹中可以包括多个第一人体图像。服务器可以通过图像识别模型(预先训练得到),提取每个第一人体图像的图像特征,该图像特征可以为一个图像特征向量。服务器可以对每个第一人体图像分别对应的图像特征向量求平均,得到全部第一人体图像对应的平均特征向量,可以将第一人体图像对应的平均特征向量,称之为第一平均特征向量。该第一平均特征向量也就是待匹配人体轨迹的轨迹特征,因此,可以将第一平均特征向量称之为待匹配人体轨迹的第一轨迹特征向量。
例如,待匹配人体轨迹中的第一人体图像可以包括第一人体图像1和第一人体图像2,若第一人体图像1的图像特征向量为(1,2,3),第一人体图像2的图像特征向量为(4,5,6),则对图像特征向量为(1,2,3)和图像特征向量为(4,5,6)求平均,得到的第一平均特征向量为((1+4)/2,(2+5)2,(3+6)/2),即为(2.5,3.5,4.5)。
同理,可以将轨迹绑定对中的人体轨迹所包含的人体图像称之为第二人体图像,轨迹绑定对可以有多个。服务器也可以获取到每个轨迹绑定对的轨迹特征:假设该多个轨迹绑定对包括轨迹绑定对bx,其中,x可以为小于或者等于所有轨迹绑定对的总数量的正整数,因此,轨迹绑定对bx可以指任意一个轨迹绑定对。因此,此处以获取轨迹绑定对bx的轨迹特征为例进行说明,可以理解的是,获取每个轨迹绑定对的轨迹特征的原理,与获取轨迹绑定对bx的轨迹特征的原理相同。
同理,服务器可以通过图像识别模型,提取轨迹绑定对bx所包含的每个第二人体图像的图像特征,该图像特征可以为一个图像特征向量。服务器可以对轨迹绑定对bx中的每个第二人体图像分别对应的图像特征向量求平均,得到轨迹绑定对bx中的全部第二人体图像对应的平均特征向量,可以将轨迹绑定对bx中的第二人体图像对应的平均特征向量,称之为第二平均特征向量。该第二平均特征向量也就是轨迹绑定对bx的轨迹特征,可以将每个轨迹绑定对中的人体轨迹的轨迹特征,称为第二轨迹特征向量。因此,该第二平均特征向量也就是轨迹绑定对bx中的人体轨迹的第二轨迹特征向量。
例如,轨迹绑定对bx中的第二人体图像可以包括第二人体图像1和第二人体图像2,若第二人体图像1的图像特征向量为(2,3,4),第二人体图像2的图像特征向量为(6,7,8),则对图像特征向量为(2,3,4)和图像特征向量为(6,7,8)求平均,得到的第二平均特征向量为((2+6)/2,(3+7)2,(4+8)/2),即为(4,5,6)。
在得到待匹配人体轨迹的第一轨迹特征向量和每个轨迹绑定对中的人体轨迹的第二轨迹特征向量之后,服务器可以获取第一轨迹特征向量分别与每个第二轨迹特征向量之间的向量距离,通过每个轨迹绑定对对应的向量距离,即可得到待匹配人体轨迹分别与每个轨迹绑定对中的人体轨迹之间的轨迹相似度。向量距离越大,轨迹相似度越小,向量距离越小,轨迹相似度越大。因此,可以将每个轨迹绑定对对应的向量距离的倒数,作为待匹配人体轨迹分别与每个轨迹绑定对中的人体轨迹之间的轨迹相似度,当然轨迹相似度不仅可以是向量距离的倒数。
可以将对应的轨迹相似度大于或者等于轨迹相似度阈值(可以自行设置)的轨迹绑定对,称之为目标轨迹绑定对。当目标轨迹绑定对的数量大于第一数量阈值、并且小于或者等于第二数量阈值时,就可以直接将目标轨迹绑定对中的人脸轨迹所包含的用户属性,作为与待匹配人体轨迹相匹配的用户属性。其中,第一数量阈值可以等于0,第二数量阈值可以等于1,因此,目标轨迹绑定对的数量大于第一数量阈值、并且小于或者等于第二数量阈值,也就是指目标轨迹绑定对的数量等于1,即只有一个目标轨迹绑定对,此时就可以直接将目标轨迹绑定对中的人脸轨迹所包含的用户属性,作为与待匹配人体轨迹相匹配的用户属性。
其中,需要知道的是,服务器可以通过图像识别模型对轨迹绑定对中的人脸轨迹所包含的人脸图像进行图像识别,以识别出人脸图像中的人脸的用户属性(可以将该用户属性称之为对应的人脸轨迹所包含的用户属性)。例如服务器识别出的人脸图像中的人脸的用户属性可以包括年龄属性为27岁、性别属性为女、毛发属性为黑色、表情属性为开心以及皮肤属性为中性皮肤等。
其中,上述待匹配人体轨迹也可以有多个。当上述目标轨迹绑定对的数量小于或者等于第一数量阈值时,服务器可以通过等比例扩展的方式,来得到与每个待匹配人体轨迹相匹配的用户属性。其中,目标轨迹绑定对的数量小于或者等于第一数量阈值,就是指目标轨迹绑定对的数量等于0,即一个目标轨迹绑定对都没有。通过等比例扩展的方式,来得到与每个待匹配人体轨迹相匹配的用户属性的具体过程,请参见下述。
可以将与每个待匹配人体轨迹之间的轨迹相似度最大的人体轨迹所在的轨迹绑定对,分别称之为每个待匹配人体轨迹对应的待定绑定对。可以将每个待匹配人体轨迹对应的待定绑定对中的人脸轨迹所包含的用户属性,分别称之为每个待匹配人体轨迹对应的待定用户属性。其中,服务器可以预先确定想要知道的用户属性(该用户属性也可以是开发人员预先录入的),例如想要知道用户的年龄属性、性别属性或者肤色属性等,可以将想要知道的用户属性称之为待确定属性。换句话说,待确定属性可以是年龄属性、性别属性、毛发属性、肤色属性以及表情属性等。
服务器可以通过每个待匹配轨迹对应的待定用户属性,得到针对待确定属性对应的多个属性值。例如若待确定属性为年龄,则待确定属性对应的多个属性值就可以是多个年龄数值,例如该多个年龄数值可以包括27岁、28岁以及29岁等。因此,若待匹配人体轨迹包括待匹配人体轨迹1、待匹配人体轨迹2和待匹配人体轨迹3,待匹配人体轨迹1对应的待定用户属性包括年龄属性为23岁,待匹配人体轨迹2对应的待定用户属性包括年龄属性为25岁,待匹配人体轨迹3对应的待定用户属性包括年龄属性为27岁,那么,如果待确定属性为年龄属性,则通过待匹配轨迹对应的待定用户属性,得到的针对待确定属性对应的多个属性值就可以为23岁、25岁和27岁。
服务器还可以获取上述所得到的待确定属性对应的多个属性值在所有轨迹绑定对的人脸轨迹所包含的用户属性中的出现比例,可以将该出现比例称之为第一出现比例。例如,若服务器获取到的待确定属性(年龄属性)对应的多个属性值包括3个23岁、5个27岁以及9个30岁,则该多个属性值对应的第一出现比例就为3:5:9。再例如,若服务器获取到的待确定属性(性别属性)对应的多个属性值(包括两种属性值,一种为男性,一种为女性)包括7个男性和13个女性,则该多个属性值对应的第一出现比例就为7:13。
服务器可以根据所得到的针对待确定属性的第一出现比例,来得到每个待匹配人体轨迹针对待确定属性的属性值,可以将每个待匹配人体轨迹针对待确定属性的属性值,称之为每个待匹配人体轨迹针对待确定属性的第一目标属性值。其中,服务器可以按照第一出现比例,将所有待匹配人体轨迹针对待确定属性的属性值之间的比例也等于第一出现比例。
例如,若上述第一出现比例等于1:2:3,其中,第一出现比例中的1表示属性值21岁所占的比例,第一出现比例中的2表示属性值22岁所占的比例,第一出现比例中的3表示属性值23岁所占的比例。那么,如果待匹配人体轨迹一共有6个,则服务器可以将该6个待匹配人体轨迹中的任意1个待匹配人体轨迹的第一目标属性值,确定为21岁,服务器可以将该6个待匹配人体轨迹中的任意2个待匹配人体轨迹的第一目标属性值,确定为22岁,服务器可以将该6个待匹配人体轨迹中的任意3个待匹配人体轨迹的第一目标属性值,确定为23岁,因此,上述属性值21、属性值22岁以及属性值23在6个待匹配人体轨迹的第一目标属性值中的出现比例,也等于上述第一出现比例1:2:3。
其中,可以将具有每个待匹配人体轨迹对应的第一目标属性值的待确定属性,作为与每个待匹配人体轨迹相匹配的用户属性。例如若待匹配人体轨迹对应的第一目标属性值为27岁,则与待匹配人体轨迹相匹配的用户属性即为年龄属性27岁。
由于很多时候统计检测区域中的客流量以及客流属性,不会在意某一个客人的用户属性,而是会在意所有客流量中每种用户属性所占的比例(例如性别比例或者年龄比例等),因此通过等比例扩展的方式来得到与待匹配人体轨迹相匹配的用户属性,在整体的用户属性的比例上具有较好的效果。
请参见图4,图4是本申请提供的一种获取与待匹配人体轨迹相匹配的用户属性的场景示意图。该实施例描述了当不存在目标绑定轨迹对时,如何获取与待匹配轨迹相匹配的用户属性。如图4所示,待确定属性可以是年龄属性,服务器从轨迹绑定对中获取到针对待确定属性的多个属性值可以包括属性值27岁、属性值28岁和属性值29岁。并且,如框100c所示,属性值27岁一共有10个;如框101c所示,属性值28岁一共有6个;如框102c所示,属性值29岁一共有2个。因此,属性值27岁、属性值28岁和属性值29岁的第一出现比例就为10:6:2,即为5:3:1。
因此,如框103c所示,假设待匹配人体轨迹一共有9个,因此,可以按照上述第一出现比例以及等比例扩展方法,将该9个待匹配人体轨迹中的任意5个待匹配人体轨迹相匹配的用户属性确定为年龄属性27岁,将该9个待匹配人体轨迹中的任意3个待匹配人体轨迹相匹配的用户属性确定为年龄属性28岁,将该9个待匹配人体轨迹中的任意1个待匹配人体轨迹相匹配的用户属性确定为年龄属性28岁。因此,属性值27岁、属性值28岁和属性值29岁的第二出现比例也为5:3:1。
更多的,当上述目标轨迹绑定对的数量大于第二数量阈值时,则需要通过设定某些策略根据多个目标轨迹绑定对,来得到与待匹配人体轨迹相匹配的用户属性。其中,目标轨迹绑定对的数量大于第二数量阈值,即是指目标轨迹绑定对的数量不止一个(至少两个),而是有多个。
同样,当目标轨迹绑定对的数量大于第二数量阈值时,服务器可以通过目标轨迹绑定对来得到待确定属性的多个属性值。例如,待确定属性为表情属性,多个目标轨迹绑定对包括目标轨迹绑定对1、目标轨迹绑定对2和目标轨迹绑定对3,目标轨迹绑定1的人脸轨迹所包含的用户属性中包括表情属性开心,目标轨迹绑定2的人脸轨迹所包含的用户属性中包括表情属性难过,目标轨迹绑定1的人脸轨迹所包含的用户属性中包括表情属性惊讶。那么,服务器通过目标轨迹绑定对得到的待确定属性的多个属性值就可以包括属性值开心、属性值难过以及属性值惊讶。
首先,服务器可以获取所获取到的待确定属性的多个属性值分别在目标轨迹绑定对的人脸轨迹所包含的用户属性中的出现次数,服务器可以根据待匹配人体轨迹与每个目标轨迹绑定对之间的轨迹相似度、以及待确定属性的多个属性值分别在目标轨迹绑定对的人脸轨迹所包含的用户属性中的出现次数,从该多个属性值中,得到待匹配人体轨迹针对待确定属性的属性值,此处可以将待匹配人体轨迹针对待确定属性的属性值,称之为第二目标属性值。具体请参见下述。
服务器可以比较统计到的待确定属性的多个属性值中的每个属性值的出现次数的多少,若只存在一个出现次数最多的属性值,则服务器就可以将该出现次数最多的属性值作为与待匹配人体轨迹相匹配的第二目标属性值。例如,若待确定属性为表情属性,服务器获取到的待确定属性的多个属性值包括属性值开心有5个、属性值难过有7个以及属性值惊讶有8个,则出现次数最多的属性值就为属性值惊讶(因为8大于7大于5),则服务器可以将该属性值惊讶作为待匹配人体轨迹的第二目标属性值。
若存在多个出现次数最多的属性值,则服务器可以比较该出现次数最多的每个属性值所属的人脸轨迹所在的目标轨迹绑定对,分别与待匹配人体轨迹之间的轨迹相似度,若该轨迹相似度中最大的轨迹相似度只有一个,则服务器就可以将最大的轨迹相似度对应的属性值,作为待匹配人体轨迹的第二目标属性值。
例如,若待确定属性为表情属性,服务器获取到的待确定属性的多个属性值包括属性值开心有5个、属性值难过有5个以及属性值惊讶有3个,则出现次数最多的属性值就包括属性值开心和属性值难过。那么,服务器可以获取5个属性值开心对应的5个目标轨迹绑定对的人体轨迹中,与待匹配人体轨迹具有的最大的轨迹相似度,例如该最大的轨迹相似度为g1。同样,服务器可以获取5个属性值难过对应的5个目标轨迹绑定对的人体轨迹中,与待匹配人体轨迹具有的最大的轨迹相似度,例如该最大的轨迹相似度为g2。
其中,服务器可以比较轨迹相似度g1与轨迹相似度g2之间的大小,若轨迹相似度g1大于轨迹相似度g2,那么,服务器就可以将轨迹相似度g1对应的属性值开心,作为待匹配人体轨迹的第二目标属性值。
若最大的轨迹相似度有多个(至少两个),则服务器还可以分别获取每个最大的轨迹相似度所属的属性值对应的多个目标轨迹绑定对具有的轨迹相似度之和,若该“和”中最大的“和”只有一个,那么,服务器可以将最大的和对应的属性值,作为待匹配人体轨迹的第二目标属性值。
例如,若上述轨迹相似度g1等于轨迹相似度g2,那么最大的轨迹相似度就包括2个(即轨迹相似度g1和轨迹相似度g2),服务器可以获取轨迹相似度g1对应的5个属性值开心对应的5个目标轨迹绑定对中的人体轨迹与待匹配人体轨迹之间的轨迹相似度之和,可以将该“和”称之为第一和值,服务器还可以获取轨迹相似度g2对应的5个属性值难过对应的5个目标轨迹绑定对中的人体轨迹与待匹配人体轨迹之间的轨迹相似度之和,可以将“和”称之为第二和值。服务器可以对比第一和值和第二和值的大小,将第一和值和第二和值中最大的和值对应的属性值,作为待匹配人体轨迹的第二目标属性值。例如若第一和值大于第二和值,则可以将属性值开心作为待匹配人体轨迹的第二目标属性值。
若上述“和”中最大的“和”有多个(不止一个),则服务器可以从多个具有最大的“和”对应的多个属性值中,任意选择一个属性值作为待匹配人体轨迹的第二目标属性值。例如,若上述第一和值等于第二和值,则服务器可以从属性值开心和属性值难过中,任意选择一个属性值,作为待匹配人体轨迹的第二目标属性值。
可以将具有第二目标属性值的待确定属性,作为与待匹配人体轨迹相匹配的用户属性。例如若待确定属性为表情属性,第二目标属性值为属性值开心,则与待匹配人体轨迹相匹配的用户属性,可以为表情属性开心。
通过上述过程,即在目标轨迹绑定对为0个、1个以及多个(至少两个)的情况下,都获取到了与待匹配人体轨迹相匹配的用户属性。
请参见图5,图5是本申请提供的一种用户属性获取方法的流程示意图。该实施例描述了当目标轨迹绑定对有多个时,如何获取与待匹配人体轨迹相匹配的用户属性。如图5所示,该方法可以包括:
步骤S201,统计人体轨迹查询到的所有可能值;
具体的,服务器可以统计人体轨迹查询到的所有可能值,该所有可能值即为上述服务器通过目标轨迹绑定对获取到的待确定属性的属性值。
步骤S202,出现多个值;
具体的,判断上述服务器根据目标轨迹绑定对获取到的待确定属性的属性值是否有多个,若有多个(例如包括属性值27岁、属性值28以及属性值29岁多个属性值),则执行下述步骤S204,若没有多个而只有一个,则执行下述步骤S210。
步骤S203,统计出现不同属性值的次数;
具体的,服务器可以统计待确定属性的多个属性值中的每个属性值的出现次数。
步骤S204,判断出现次数最多的属性值是否有多个;
具体的,服务器可以判断具有最大的出现次数的属性值是否有多个,若有多个,则执行下述步骤S205,若没有多个而只有一个,则执行下述步骤S210。
步骤S205,统计出现次数最多的属性值的个数;
具体的,服务器可以统计具有最大的出现次数的属性值的个数,并取出这些属性值。
步骤S206,判断匹配分数最高的属性值是否有多个;
具体的,服务器可以获取上述步骤S205中取出的每个属性值对应的最大的轨迹相似度(即匹配分数),服务器可以比较该每个属性值对应的属性值最大的轨迹相似度之间的大小,并继续判断该每个属性值对应的属性值最大的轨迹相似度中还最大的轨迹相似度,若该最大的轨迹相似度只有一个,则执行下述步骤S210,若该最大的轨迹相似度有多个,则服务器可以再次取出该最大的轨迹相似度对应的属性值,并执行下述步骤S207。
步骤S207,属性值对应的匹配分数求和;
具体的,服务器可以对上述步骤S206中取出的每个属性值对应的多个轨迹相似度分别进行求和,得到每个属性值分别对应的求和值。
步骤S208,判断匹配分数之和最高的属性值是否有多个;
具体的,服务器可以判断每个属性值分别对应的求和值中的最大值,若该最大值有多个,则执行下述步骤S209,若该最大值只有一个,则执行下述步骤S210。
步骤S209,随机选择;
具体的,服务器可以在上述步骤S208中多个最大值对应的多个属性值中任意选择一个属性值,作为待匹配人体轨迹的第二目标属性值。
步骤S209,得到人体轨迹最终属性值;
具体的,若从上述步骤S202执行到步骤S209,则可以将待确定属性唯一的属性值,作为待匹配人体轨迹的第二目标属性值。若从上述步骤S204执行到步骤S209,则可以将出现次数最多的那个属性值,作为待匹配人体轨迹的第二目标属性值。若从上述步骤S206执行到步骤S209,则可以将对应的轨迹相似度最大的那个属性值,作为待匹配人体轨迹的第二目标属性值。若从上述步骤S208执行到步骤S209,则可以将对应的和值最大的那个属性值,作为待匹配人体轨迹的第二目标属性值。
在得到待匹配人体轨迹的第二目标属性值之后,服务器即可将具有第二目标属性值的待确定属性,作为与待匹配轨迹相匹配的用户属性。
通过上述方法,即可根据轨迹绑定对中的人体轨迹与待匹配轨迹之间的轨迹相似度、以及待确定属性的各个属性值的出现次数,较为准确地得到与待匹配人体轨迹相匹配的用户属性。
请参见图6,图6是本申请提供的一种获取人体轨迹对应的用户属性的场景示意图。如框100d所示,对于绑定成功的人体轨迹,即对于处于轨迹绑定对中的人体轨迹,服务器可以直接请求人脸后台服务(用于存储人脸轨迹以及提取和存储该人脸轨迹所包含的用户属性的后台),获取到与该人体轨迹具有绑定关系的人脸轨迹以及该人脸轨迹所包含的用户属性(该用户属性也为该人体轨迹对应的用户属性)。继而服务器就可以缓存下获取到的人体轨迹对应的用户属性以及人体轨迹,以待后续用于计算检测区域中的用户流量和用户属性。
服务器还可以将绑定成功的人体轨迹以及该人体轨迹对应的用户属性存储至内存数据库,因此,对于绑定失败的人体轨迹(即待匹配人体轨迹),服务器可以从内存数据库中获取到绑定成功的人体轨迹以及该人体轨迹对应的用户属性。进而服务器可以通过绑定成功的人体轨迹与待匹配人体轨迹之间的轨迹相似度(即时空轨迹匹配策略)、投票策略(即上述当目标绑定轨迹对有多个时获取与待匹配人体轨迹相匹配的用户属性的策略)、以及等比例扩展策略(即上述当目标绑定轨迹对不存在时获取与待匹配人体轨迹相匹配的用户属性的策略),来获取到与绑定失败的人体轨迹相匹配的用户属性。
需要进行说明的是,时空轨迹匹配策略中的“时”即是指,服务器可以获取到历史时间内绑定成功的人体轨迹(例如上述轨迹绑定对中的人体轨迹,或者,还可以设定历史时间为15分钟,即为15分钟内获取到的轨迹绑定对中的人体轨迹),并计算该人体轨迹与待匹配人体轨迹之间的轨迹相似度。时空轨迹匹配策略中的“空”,即是指服务器还可以获取到,通过与目标摄像头处于同一楼层的其他关健位置(例如楼梯口位置等)处的摄像头,所得到的轨迹绑定对中的人体轨迹,进而服务器还可以计算该人体轨迹与待匹配人体轨迹之间的轨迹相似度。换句话说,上述目标轨迹绑定对可以是通过目标摄像头所获取到的轨迹绑定对,也可以是通过与目标摄像头处于同一楼层的其他摄像头所获取到的轨迹绑定对。
由于某个用户如果在目标摄像头中出现过,那么该用户很有可能也会出现在与目标摄像头处于同一楼层的其他关健位置处的摄像头中,因此,通过时空匹配策略来获取目标轨迹绑定对,会提高数据检索范围,提高目标轨迹绑定对的成功获取机率以及获取准确性,进而可以提高获取到的与待匹配人体轨迹相匹配的用户属性的准确性。
请参见图7,图7是本申请提供的一种获取与待匹配人体轨迹相匹配的用户属性的场景示意图。该方法可以包括:
步骤S301,绑定失败的人体轨迹;
具体的,服务器可以取出绑定失败的人体轨迹(即待匹配人体轨迹),并通过下述过程来获取与待匹配人体轨迹相匹配的人体轨迹。
步骤S302,从内存数据库中获取当前所有轨迹;
具体的,服务器可以从内存数据库中获取当前所有与人脸轨迹绑定成功的人体轨迹。
步骤S303,选取与绑定失败的人体轨迹处于同一摄像头下的人体轨迹;
具体的,服务器可以从所有与人脸轨迹绑定成功的人体轨迹中,选取出与待匹配人体轨迹所在的目标摄像头下的人体轨迹,该人体轨迹可以是上述轨迹绑定对中的人体轨迹。
步骤S304,轨迹特征匹配;
具体的,轨迹特征匹配即为计算人体轨迹之间的轨迹相似度,服务器可以计算待匹配人体轨迹与上述步骤S303中选取出的人体轨迹之间的轨迹相似度。
步骤S305,阈值过滤,判断轨迹是否匹配;
具体的,服务器可以将与待匹配人体轨迹之间的轨迹相似度大于轨迹相似度阈值的人体轨迹选取出来,若选取出来的人体轨迹有多个,则进行多绑定投票。其中进行多绑定投票,即为上述当目标轨迹绑定对有多个时,通过该多个目标轨迹绑定对来得到与待匹配人体轨迹相匹配的用户属性。若选取出来的人体轨迹为零个,即不存在,则服务器可以再获取与待匹配人体轨迹所属的目标摄像头处于同一楼层的其他摄像头获取到的绑定成功的人体轨迹,并可以再计算该人体轨迹与待匹配人体轨迹之间的轨迹相似度(即执行步骤S304)。
步骤S306,判断同楼层的轨迹是否匹配;
具体的,服务器可以将与目标摄像头同楼层的其他摄像头获取到的人体轨迹中,与待匹配人体轨迹之间的轨迹相似度大于轨迹相似度阈值的人体轨迹,选取出来。若选取出来的人体轨迹有多个,则再执行下述步骤S308,进行多绑定投票。
步骤S307,等比例扩展;
具体的,若在步骤S306中,未选取出人体轨迹,则可以通过等比例扩展的方式来获取与待匹配人体轨迹相匹配的用户属性,该过程与上述当目标轨迹绑定对不存在时,通过等比例扩展的方式来获取与待匹配人体轨迹相匹配的用户属性的过程相同。
步骤S308,多绑定投票;
具体的,即当服务器选取出来的人体轨迹有多个,则对该多个人体轨迹进行多绑定投票的过程,与上述当目标轨迹绑定有多个时,获取与待匹配人体轨迹相匹配的用户属性的过程相同。
通过上述过程,即一定可获取到与待匹配人体轨迹相匹配的用户属性。
步骤S104,对与待匹配人体轨迹相匹配的用户属性和待匹配人体轨迹进行绑定,得到属性绑定对;
具体的,服务器可以将与待匹配人体轨迹相匹配的用户属性和待匹配人体轨迹进行绑定,得到属性绑定对。一个属性绑定对中可以包括一个待匹配人体轨迹以及与该待匹配人体轨迹相匹配的用户属性。
可选的,当上述目标轨迹绑定对只有1个时,也可以不将待匹配人体轨迹与相匹配的用户属性进行绑定,而是直接将待匹配人体轨迹与目标轨迹绑定对中的人脸轨迹进行绑定,以得到更多的轨迹绑定对。
步骤S105,根据属性绑定对和轨迹绑定对,确定检测区域中的用户流量和用户流量对应的用户属性;
具体的,通过上述过程服务器即可获取到检测区域中的轨迹绑定对以及属性绑定对,可以将检测区域中的轨迹绑定对和属性绑定对,均称之为区域绑定对。该区域绑定对可以用于获取检测区域中的用户流量(即客流量)、以及该用户流量对应的用户属性(即客流属性),请参见下述。
其中,若某个人体轨迹与对应的用户属性或者人脸轨迹绑定成功,则可以称为该人体轨迹为成功绑定的人体轨迹,实际上,通过本申请提供的方法,服务器在检测区域中获取到的每个人体轨迹,均可以为其绑定到对应的用户属性或者人脸轨迹。
服务器可以统计某段时间内(例如11:45-12:00之间的15分钟内),检测区域中成功绑定的人体轨迹的数量,实际上,绑定成功的人体轨迹的数量就等于所属的区域绑定对的数量,因此,服务器也可以直接统计该段时间内获取到的区域绑定对的数量,服务器可以将统计得到的区域绑定对的数量,作为该段时间内检测区域中的用户流量,该用户流量的单位可以是人次,例如该用户流量可以是5000人次。
服务器可以通过人体轨迹所在的区域绑定对,获取人体轨迹对应的用户属性,由于是通过人体轨迹来获取的检测区域中的用户流量,因此,人体轨迹对应的用户属性也就是检测区域中的用户流量对应的用户属性。
其中,每个人体轨迹均对应有其对应的用户属性。一个人体轨迹对应的用户属性,即为该人体轨迹所在的区域绑定对中与该人体轨迹相匹配的用户属性、或者为该人体轨迹所在的区域绑定对中人脸轨迹所包含的用户属性。
请参见图8,图8是本申请提供的一种终端设备的页面示意图。终端设备101e可以是上述检测区域的管理员所持有的终端设备。服务器可以通过所获取到的检测区域中的区域绑定对,获取到检测区域中的客流相关情况,该客流相关情况可以指检测区域中的客流(即客人)的客流量、客流属性以及客流男女比例等情况。因此,终端设备101e可以响应管理员针对检测区域中的客流相关情况的获取操作,向服务器获取到该客流相关情况。终端设备101e在获取到检测区域中的客流相关情况之后,可以在终端页面100e中对该客流相关情况进行输出显示。
如终端页面100e所示,终端页面100e中显示了在2020年02月02日09:00到23:45期间,检测区域中的客流(即客人)的客流相关情况,该起始时间09:00可以是商场开门的时间,该终止时间23:45可以是商场关门的时间。该客流相关情况包括检测区域中的总客流(即总的客流量)为4980人次,进店率为30%,男女比例为24%:55%。该客流相关情况还包括,在2020年02月02日09:00到23:45期间的客流中,各个年龄段的客流的客流量的直方图,该直方图的横坐标为年龄段,该直方图的纵坐标为客流量(单位:人次)。具体的,该直方图中包括,小于18岁的客人人次有260人次,18岁到23岁的客人人次有400人次,24岁到30岁的客人人次有1800人次,31岁到40岁的客人人次有1500人次,41岁到50岁的客人人次有500人次,51岁到60岁的客人人次有400人次,大于60岁的客人人次有120人次。可以看出,各个年龄段的客人人次之和(260+400+1800+1500+500+400+120)即等于上述总客流4980。
请参见图9,图9是本申请提供的一种终端设备的页面示意图。如图9所示,终端设备101e除了可以在上述图8中的终端页面100e中,输出检测区域中的客流相关情况之外,还可以在终端页面102e中,输出检测区域中的客流相关情况。
如图9中的终端页面102e所示,终端页面102e中展示了,在2020年02月02日09:00到23:45期间,检测区域中各个年龄段的客流量变化曲线,该客流量变化曲线所在的坐标中横坐标是时间,纵坐标是客流量(单位:人次)。该客流量变化曲线包括在2020年02月02日09:00到23:45期间,小于18岁的客流的客流量的变化曲线103e、大于18岁小于30岁的客流的客流量的变化曲线104e、以及大于30岁的客流的客流量的变化曲线。
其中,服务器通过人体轨迹所在的区域绑定对,获取人体轨迹对应的用户属性的过程为:其中,可以预先训练好图像识别模型,服务器可以通过该图像识别模型提取区域绑定对中的人脸轨迹包含的人脸图像的图像特征,通过提取得到的图像特征即可识别出人脸轨迹中的人脸图像所包含的用户属性,该用户属性可以包括年龄属性、性别属性、毛发属性、肤色属性以及表情属性等。例如,服务器提取得到的人脸轨迹中人脸图像所包含的用户属性可以指年龄属性27岁、性别属性男、毛发属性紫色、肤色属性白皮肤以及表情属性开心。
更多的,当需要获取检测区域中的客流量对应的人体属性(例如着装风格、着装颜色或者着装品牌等)时,也可以对检测区域中的人体轨迹的人体图像进行图像识别,以得到检测区域中客流量对应的人体属性。
其中,可以将人脸轨迹中的人脸图像所包含的用户属性,称之为人脸轨迹所包含的用户属性。可以通过三层缓存机制来缓存区域绑定对中的人脸轨迹以及该人脸轨迹所包含的用户属性,以减轻在获取人脸轨迹所包含的用户属性时,针对数据库的数据请求压力,具体请参见下述。
上述三层缓存机制中的三层可以包括先入先出队列层、内存数据库层和持久化数据库层。可以将上述区域绑定对所包含的用户属性(包括轨迹绑定对中的人脸轨迹所包含的用户属性以及属性绑定对中与待匹配人体轨迹相匹配的用户属性),称之为目标用户属性。服务器可以将目标用户属性分别存储至先入先出队列(可以是FIFO队列)、内存数据库(可以是REDIS数据库)以及持久化数据库(可以是Mysql数据库)。
其中,若目标用户属性所在的区域绑定对中还包括人脸轨迹,则可以将目标用户属性和人脸轨迹组合成一个结构体,一起存储至先入先出队列、内存数据库以及持久化数据库。
其中,在将目标用户属性存储至先入先出队列、内存数据库以及持久化数据库之前,可以为目标用户属性或者对目标用户属性和人脸轨迹进行组合的结构体,添加标识信息。其中,对结构体添加标识信息,可以指对结构体中的目标用户属性和人脸轨迹一起添加相同的标识信息。同时,还可以为属于同一个区域绑定对中的目标用户属性和人体轨迹添加相同的标识信息,以便于后续可以通过该标识信息,快速获取到人体轨迹对应的目标用户属性。因此,可以将添加有标识信息的目标用户属性或者添加有标识信息的结构体,分别存储至先入先出队列、内存数据库以及持久化数据库。
下面描述先入先出队列、内存数据库以及持久化数据库的特征:
其中,从先入先出队列中获取目标用户属性的速度,要大于从内存数据库中获取目标用户属性的速度;从内存数据库中获取目标用户属性的速度,要大于从持久化数据库中获取目标用户属性的速度。而先入先出队列针对目标用户属性的数据存储量,要小于内存数据库针对目标用户属性的数据存储量;内存数据库针对目标用户属性的数据存储量,要小于持久化数据库针对目标用户属性的数据存储量。可以理解为,持久化数据库中保存了所有的目标用户属性。但是,随着时间的流逝,目标用户属性的数据量越来越多,先入先出队列和内存数据库中只能保存部分的目标用户属性,参见下述。
其中,先入先出队列的长度是固定的,例如先入先出队列的长度可以固定为长度L,该长度L可以自行设定。该长度L可以指先入先出队列中只能存储L个目标用户属性。因此,当先入先出队列中已经存储有了L个目标用户属性时,若有一个新的目标用户属性存储至先入先出队列,则该新的目标用户属性会存储至先入先出队列,而先入先出队列中最旧的那个目标用户属性就会被删除掉。
其中,随着目标用户属性的数据量的不断增加,需要减轻内存数据库的存储压力,因此,对于内存数据库中所存储的每个目标用户属性,可以对其分别设置一个随机的有效时段。使得后续一旦内存数据库中的某个目标用户属性的有效时段过了,就可以将该目标用户属性从内存数据库中删除。
其中,由于服务器获取目标用户属性时,首先会从先入先出队列中获取,若是在先入先出队列中未获取到目标用户属性,则可以再从内存数据库中获取,若是在内存数据库中也没有获取到目标用户属性,则再从持久化数据库中获取。
但是,由于在访问持久化数据库,从持久化数据库中获取目标用户属性时,其访问速度以及针对目标用户属性的获取速度会很慢,容易造成任务(针对目标用户属性的获取任务)堵塞。因此,对内存数据库中的各个目标用户属性设置不同的有效时段,即是为了减少在同一时间内存数据库中失效的目标用户属性的数量,使得后续在某个时间获取到针对内存数据库的多个数据获取请求(即针对目标用户属性的获取请求,一个目标用户属性可以对应于一个数据获取请求)时,服务器可以尽可能从内存数据库中获取到数据获取请求所请求的目标用户属性,以减少对持久化数据库的访问,即尽量减少在持久化数据库中的获取目标用户属性的频率。
例如,内存数据库中存储的目标用户属性可以包括用户属性x1和用户属性x2。可以将为用户属性x1设置的有效时段称之为第一有效时段,将为用户属性x2设置的有效时段称之为第二有效时段。第一有效时段可以不同于第二有效时段。当在第一时刻不满足第一有效时段,即第一时刻不在第一有效时段内,则可以在第一时刻,将用户属性x1从内存数据库中删除。当在第二时刻不满足第二有效时段,即第二时刻不在第二有效时段内,则可以在第二时刻,将用户属性x2从内存数据库中删除。
其中,服务器从先入先出队列、内存数据库或者持久化数据库中获取目标用户属性的过程可以是:服务器可以根据区域绑定对中的人体轨迹所添加的标识信息,生成第一数据获取请求,该第一数据获取请求可以指从先入先出队列中获取目标用户属性的数据获取请求。
若服务器根据该第一数据获取请求未从先入先出队列中获取到目标用户属性,则服务器可以根据该第一数据获取请求生成第二数据获取请求,该第二数据获取请求可以指从内存数据库中获取目标用户属性的数据获取请求。实际上,第二数据获取请求可以与第一数据获取请求相同。
若服务器根据该第二数据获取请求也未从内存数据库中获取到目标用户属性,则服务器可以根据该第二数据获取请求生成第三数据获取请求,该第三数据获取请求可以指从持久化数据库中获取目标用户属性的数据获取请求。实际上,该第三数据获取请求也可以与第二数据获取请求相同。
进而,服务器就可以通过该第三数据获取请求,从持久化数据库中获取到所请求的目标用户属性。其中,根据上述第一数据获取请求、第二数据获取请求或者第三数据获取请求,从先入先出队列、内存数据库或者持久化数据库中获取目标用户属性,即是获取添加有与第一数据获取请求、第二数据获取请求或者第三数据获取请求中的标识信息相同的标识信息的目标用户属性。
请参见图10,图10是本申请提供的一种获取目标用户属性的场景示意图。如图10所示,当服务器获取到针对目标用户属性的数据获取请求时,首先可以通过该数据获取请求在先入先出队列100f中获取目标用户属性。若是服务器未在先入先出队列100f中获取到目标用户属性,则服务器可以接着在内存数据库101f中获取目标用户属性。若是服务器还是未在内存数据库101f中获取到目标用户属性,则服务器可以再在持久化数据库102f中获取到目标用户属性。
请参见图11,图11是本申请提供的一种获取人体轨迹对应的用户属性的场景示意图。目标摄像头102g可以对检测区域中所经过的用户进行拍摄,得到若干个包括客人的图像。目标摄像头102g可以将所获取到的若干个包括客人的图像传输给服务器。如s1:服务器可以对该若干个包括客人的图像中的人脸进行检测,得到检测区域中的多个人脸图像。如s3:服务器可以对所获取到的多个人脸图像进行组合跟踪,即可得到检测区域中的人脸轨迹。如s2:服务器还可以对该若干个包括客人的图像中的人体进行检测,得到检测区域中的多个人体图像。如s3:服务器可以对所获取到的多个人体图像进行组合跟踪,即可得到检测区域中的人体轨迹。如s5:服务器可以对所获取到的人脸轨迹和人体轨迹进行绑定,即可得到检测区域中的轨迹绑定对。
如框100g所示,服务器获取到轨迹绑定对之后,可以提取该轨迹绑定对的中的人脸轨迹所包含的用户属性进行提取,即得到人脸属性。服务器可以将提取得到的人脸属性分别缓存至先入先出队列、内存数据库以及持久化数据库。因此请一并参见框101g,对于绑定成功的人体轨迹(即轨迹绑定对中的人体轨迹),则可以直接在人脸后台查询该人体轨迹对应的用户属性,该用户属性即为与该人体轨迹处于同一轨迹绑定对中的人脸轨迹所包含的用户属性。
如框101g所示,对于绑定失败的人体轨迹(即待匹配人体轨迹),服务器就可以通过待匹配人体轨迹所属的目标摄像头102g所获取到的绑定成功的人体轨迹、以及与目标摄像头102g处于相同楼层的其他摄像头获取到的绑定成功的人体轨迹,得到目标轨迹绑定对(即目标轨迹绑定对所包含的人体轨迹与待匹配人体轨迹之间的轨迹相似度大于或等于轨迹相似度阈值)。进而仅通过该目标轨迹绑定对(当目标轨迹绑定对的数量为1)、或者对该目标轨迹绑定对进行多绑定投票流程(当目标轨迹绑定对的数量不止一个)以及等比例扩展(当目标轨迹绑定对的数量为0)等操作,即可获取到与待匹配人体轨迹向匹配的用户属性,具体过程可以参见上述步骤S103。
其中,上述人脸后台就可以用于存储轨迹绑定对中的人脸轨迹以及该人脸轨迹所包括的用户属性。人体后台就可以用于获取与人体轨迹相匹配的用户属性。
更多的,当从内存数据库中删除上述用户属性x1之后,服务器又获取到针对用户属性x1的多个第二数据获取请求,并且该多个第二数据获取请求的数量大于请求数量阈值(可以自行设置)时,则可以从该多个第二数据获取请求,选出一个第二数据获取请求(可以随机选),作为目标数据获取请求。服务器可以根据该目标数据获取请求,生成用于从持久化数据库中获取用户属性x1的第三数据获取请求。服务器可以根据该第三数据获取请求从持久化数据库中,获取到用户属性x1。
接着,服务器可以将从持久化数据库中获取到的用户属性x1再回设回内存数据库,即将用户属性x1再重新存储至内存数据库。其中,可以将上述多个第二数据获取请求中除目标数据获取请求之外的数据获取请求,称之为待定数据获取请求。由于已经将用户属性x1重新存储至内存数据库中了,因此,就可以直接从内存数据库中为每个待定数据获取请求分别获取用户属性x1。通过将用户属性x1回设至内存数据库中,也可以减少针对持久化数据库的访问。通过此种方式保证在同一时间针对持久化数据库只有少量的数据获取请求,可以避免对持久化数据库造成缓存击穿的问题。
因此,服务器可以根据区域绑定对中的人体轨迹,统计得到检测区域中的客流量。服务器可以通过区域绑定对中的人体轨迹所添加的标识信息,从先入先出队列、内存数据库或者持久化数据库中,获取到人体轨迹对应的目标用户属性,获取到的该目标用户属性即为检测区域中的用户流量对应的用户属性。
本申请提出的方法可以获取检测区域中的人脸轨迹和人体轨迹,通过该人体轨迹可以获取到检测区域中的用户流量,通过该人脸轨迹可以获取到检测区域中的用户属性,并且,对于绑定失败的人体轨迹,也可以为其匹配到对应的用户属性,因此提高了所获取的检测区域中的用户流量和用户属性的准确性。
请参见图12,图12是本申请提供的一种目标用户属性获取方法的流程示意图。该方法可以包括:
步骤S401,为每个数据设置key(值);
具体的,此处每个数据可以指内存数据库中存储的每个目标用户属性,服务器为每个数据设置key(值),可以指为每个目标用户属性设置标识信息。
步骤S402,对每个key设置随机的生存时间;
具体的,服务器对每个key设置随机的生存时间,也就是为每个key对应的目标用户属性设置随机的有效时段。其中,对每个目标用户属性设置随机的有效时段,防止同一时间失效的目标用户属性的数量过多,这可以一定程度上减少在同一时间针对持久化数据库的访问次数,避免了针对持久化数据库的缓存雪崩的问题。
步骤S403,将每个key以及对应的数据哈希到位图;
具体的,服务器可以将每个key以及其对应的目标用户属性哈希到位图(bitmap),通过将每个key以及其对应的目标用户属性哈希到位图(bitmap),减少了所存储的每个key以及其对应的目标用户属性的数据量,使得后续可以更快速地通过key获取到其对应的目标用户属性。
步骤S404,基于布隆过滤器判断数据是否存在;
具体的,可以理解为上述位图中包括了对所有的key以及其对应的目标用户属性进行哈希的结果。当服务器获取到针对目标用户属性的获取请求时,可以通过布隆过滤器在位图中进行遍历,快速判断是否存储有所请求的目标用户属性,此处可以指持久化数据库中所存储的所有目标用户属性中是否存在有所请求的目标用户属性。若存在,则执行下述步骤S405,若不存在,则当前过程结束,即获取目标用户属性失败。
其中,通过布隆过滤器一定会过滤掉不存在的目标用户属性,因此,在布隆过滤器将不存在的目标用户属性过滤掉之后,若收到针对不存在的目标用户属性的数据获取请求,也不会再通过该数据获取请求去访问持久化数据库,避免了针对持久化数据库的缓存穿透问题。
步骤S405,判断同一时间是否存在针对相同数据的大量并发请求;
具体的,服务器可以判断针对当前同一目标用户属性是否有大量(数量超过请求数量阈值)数据获取请求,若是,则执行下述步骤S406,若不是,则执行下述步骤S407。
步骤S406,若内存数据库中没有查询到数据,只让一个请求访问持久化数据库,并回设数据;
具体的,若服务器在内存数据库中没有查找到所请求的目标用户属性,则从针对同一目标用户属性的大量数据获取请求中,选择一个数据获取请求来访问持久化数据库。
步骤S407,查询持久化数据库;
具体的,若针对当前同一目标用户属性有大量数据获取请求,则服务器可以通过在上述步骤S406中选择的那个数据获取请求访问持久化数据库,从持久化数据库中获取到所请求的目标用户属性之后,就可以将获取到的目标用户属性再重新存储至内存数据库,使得该大量数据获取请求中还未获取到所请求的该目标用户属性的数据获取请求,可以直接从内存数据库中获取到所请求的目标用户属性,而不用再访问持久化数据库。
若针对当前同一目标用户属性没有大量数据获取请求,例如只有少量的几个数据获取请求,则可以直接通过该少量的数据获取请求访问持久化数据库,以获取到所请求的目标用户属性。
通过本申请所提供的方法,可以使得在目标用户属性时,尽可能可以直接在先入先出队列或者内存数据库中获取,以尽量降低对持久化数据库的访问频率,从而避免过多访问持久化数据库带来的任务堵塞,同时还提高了针对目标用户属性的获取速度以及获取稳定性。
请参见图13,图13是本申请提供的一种轨迹数据处理装置的结构示意图。如图13所示,该轨迹数据处理装置1可以包括:轨迹获取模块101、轨迹对获取模块102、属性确定模块103、属性对获取模块104和流量属性确定模块105;
轨迹获取模块101,用于获取检测区域中的人脸轨迹和人体轨迹;
轨迹对获取模块102,用于基于检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;
属性确定模块103,用于将绑定失败的人体轨迹确定为待匹配人体轨迹,根据轨迹绑定对中的人体轨迹与待匹配人体轨迹之间的轨迹相似度,确定与待匹配人体轨迹相匹配的用户属性;
属性对获取模块104,用于对与待匹配人体轨迹相匹配的用户属性和待匹配人体轨迹进行绑定,得到属性绑定对;
流量属性确定模块105,用于根据属性绑定对和轨迹绑定对,确定检测区域中的用户流量和用户流量对应的用户属性。
其中,轨迹获取模块101、轨迹对获取模块102、属性确定模块103、属性对获取模块104和流量属性确定模块105的具体功能实现方式请参见图3对应的实施例中的步骤S101-步骤S105,这里不再进行赘述。
其中,轨迹获取模块101,包括:图像获取单元1011、评估单元1012、第一组合单元1013和第二组合单元1014;
图像获取单元1011,用于获取检测区域中的至少两个人脸图像和至少两个人体图像;
评估单元1012,用于获取至少两个人脸图像之间的人脸图像相似度和人脸图像距离,获取至少两个人体图像之间的人体图像相似度和人体图像距离;
第一组合单元1013,用于根据人脸图像相似度和人脸图像距离,对至少两个人脸图像进行组合,得到检测区域中的人脸轨迹;一个人脸轨迹包括至少一个人脸图像;
第二组合单元1014,用于根据人体图像相似度和人体图像距离,对至少两个人体图像进行组合,得到检测区域中的人体轨迹;一个人体轨迹包括至少一个人体图像。
其中,图像获取单元1011、评估单元1012、第一组合单元1013和第二组合单元1014的具体功能实现方式请参见图3对应的实施例中的步骤S101,这里不再进行赘述。
其中,轨迹对获取模块102,包括:轨迹确定单元1021、人脸图像获取单元1022、关联性确定单元1023和轨迹绑定单元1024;
轨迹确定单元1021,用于将检测区域中的人体轨迹确定为区域人体轨迹,将检测区域中的人脸轨迹确定为区域人脸轨迹;区域人体轨迹中的人体图像是从针对检测区域的目标摄像图像中所截获的;
人脸图像获取单元1022,用于获取目标摄像图像中的人脸图像;
关联性确定单元1023,用于将目标摄像图像中的人脸图像与区域人脸轨迹中的人脸图像之间的图像相似度,确定为区域人体轨迹与区域人脸轨迹之间的轨迹关联性;
轨迹绑定单元1024,用于当轨迹关联性大于或等于关联性阈值时,对区域人体轨迹和区域人脸轨迹进行绑定,得到轨迹绑定对。
其中,轨迹确定单元1021、人脸图像获取单元1022、关联性确定单元1023和轨迹绑定单元1024的具体功能实现方式请参见图3对应的实施例中的步骤S102,这里不再进行赘述。
其中,待匹配人体轨迹包括检测区域中的第一人体图像;轨迹绑定对的数量为至少两个;每个轨迹绑定对中的人体轨迹分别包括检测区域中的第二人体图像;
属性确定模块103,包括:第一向量获取单元1031、第二向量获取单元1032、向量距离获取单元1033、相似度确定单元1034和匹配属性确定单元1035;
第一向量获取单元1031,用于根据第一人体图像,获取待匹配人体轨迹的第一轨迹特征向量;
第二向量获取单元1032,用于根据每个轨迹绑定对包括的第二人体图像,分别获取每个轨迹绑定对中的人体轨迹的第二轨迹特征向量;
向量距离获取单元1033,用于获取第一轨迹特征向量分别与每个轨迹绑定对对应的第二轨迹特征向量之间的向量距离;
相似度确定单元1034,用于根据每个轨迹绑定对所属的向量距离,确定每个轨迹绑定对中的人体轨迹分别与待匹配人体轨迹之间的轨迹相似度;
匹配属性确定单元1035,用于当目标轨迹绑定对的数量大于第一数量阈值且小于或等于第二数量阈值时,将目标轨迹绑定对中的人脸轨迹所包含的用户属性,确定为与待匹配人体轨迹相匹配的用户属性;目标轨迹绑定对,指所属的轨迹相似度大于或等于轨迹相似度阈值的轨迹绑定对。
其中,第一向量获取单元1031、第二向量获取单元1032、向量距离获取单元1033、相似度确定单元1034和匹配属性确定单元1035的具体功能实现方式请参见图3对应的实施例中的步骤S103,这里不再进行赘述。
其中,第一人体图像的图像数量为至少两个;
第一向量获取单元1031,包括:第一特征获取子单元10311、第一特征平均子单元10312和第一特征确定子单元10313;
第一特征获取子单元10311,用于获取至少两个第一人体图像中的每个第一人体图像分别对应的图像特征向量;
第一特征平均子单元10312,用于根据每个第一人体图像分别对应的图像特征向量,获取至少两个第一人体图像对应的第一平均特征向量;
第一特征确定子单元10313,用于将第一平均特征向量,确定为第一轨迹特征向量。
其中,第一特征获取子单元10311、第一特征平均子单元10312和第一特征确定子单元10313的具体功能实现方式请参见图3对应的实施例中的步骤S103,这里不再进行赘述。
其中,至少两个轨迹绑定对包括轨迹绑定对bx,x为小于或等于至少两个轨迹绑定对的总数量的正整数;轨迹绑定对bx包括的第二人体图像的图像数量为至少两个;
第二向量获取单元1032,包括:第二特征获取子单元10321、第二特征平均子单元10322和第二特征确定子单元10323;
第二特征获取子单元10321,用于获取轨迹绑定对bx包括的至少两个第二人体图像中的每个第二人体图像分别对应的图像特征向量;
第二特征平均子单元10322,用于根据每个第二人体图像分别对应的图像特征向量,获取至少两个第二人体图像对应的第二平均特征向量;
第二特征确定子单元10323,用于将第二平均特征向量,确定为轨迹绑定对bx中的人体轨迹的第二轨迹特征向量。
其中,第二特征获取子单元10321、第二特征平均子单元10322和第二特征确定子单元10323的具体功能实现方式请参见图3对应的实施例中的步骤S103,这里不再进行赘述。
其中,待匹配人体轨迹的数量为至少两个;
上述装置1还包括:待定对确定模块106、待定属性确定模块107、属性值确定模块108、出现比例获取模块109、第一目标属性确定模块110和第一匹配属性确定模块111;
待定对确定模块106,用于当目标轨迹绑定对的数量小于或等于第一数量阈值时,将与每个待匹配人体轨迹之间的轨迹相似度最大的人体轨迹所在的轨迹绑定对,分别确定为每个待匹配人体轨迹对应的待定绑定对;
待定属性确定模块107,用于将每个待匹配人体轨迹对应的待定绑定对中的人脸轨迹所包含的用户属性,分别确定为每个待匹配人体轨迹对应的待定用户属性;
属性值确定模块108,用于根据每个待匹配人体轨迹对应的待定用户属性,确定待确定属性对应的至少两个属性值;
出现比例获取模块109,用于获取至少两个属性值在至少两个轨迹绑定对的人脸轨迹所包含的用户属性中的第一出现比例;
第一目标属性确定模块110,用于根据第一出现比例,确定每个待匹配人体轨迹针对待确定属性的第一目标属性值;
第一匹配属性确定模块111,用于将分别具有每个待匹配人体轨迹对应的第一目标属性值的待确定属性,确定为与每个待匹配人体轨迹相匹配的用户属性;至少两个属性值在与每个待匹配人体轨迹相匹配的用户属性中的第二出现比例,等于第一出现比例。
其中,待定对确定模块106、待定属性确定模块107、属性值确定模块108、出现比例获取模块109、第一目标属性确定模块110和第一匹配属性确定模块111的具体功能实现方式请参见图3对应的实施例中的步骤S103,这里不再进行赘述。
其中,上述装置1还包括:次数统计模块112、第二目标属性确定模块113和第二匹配属性确定模块114;
次数统计模块112,用于当目标轨迹绑定对的数量大于第二数量阈值时,统计待确定属性的至少两个属性值在目标轨迹绑定对的人脸图像所包含的用户属性中的出现次数;至少两个属性值,是根据目标轨迹绑定对中的人脸轨迹所包含的用户属性所确定的;
第二目标属性确定模块113,用于根据待匹配人体轨迹与目标轨迹绑定对之间的轨迹相似度、以及出现次数,从至少两个属性值中,确定待匹配人体轨迹针对待确定属性的第二目标属性值;
第二匹配属性确定模块114,用于将具有第二目标属性值的待确定属性,确定为与待匹配人体轨迹相匹配的用户属性。
其中,次数统计模块112、第二目标属性确定模块113和第二匹配属性确定模块114的具体功能实现方式请参见图3对应的实施例中的步骤S103,这里不再进行赘述。
其中,上述装置1还包括:包含属性确定模块114、区域对确定模块115、目标属性确定模块116、标识添加模块117和存储模块118;
包含属性确定模块115,用于将轨迹绑定对中的人脸轨迹所包含的用户属性,确定为轨迹绑定对所包含的用户属性;
区域对确定模块116,用于将轨迹绑定对和属性绑定对,确定为检测区域中的区域绑定对;
目标属性确定模块117,用于将区域绑定对所包含的用户属性,确定为目标用户属性;
标识添加模块118,用于为目标用户属性与所在的区域绑定对中的人体轨迹添加相同的标识信息;
存储模块119,用于将具有标识信息的目标用户属性,分别存储至先入先出队列、内存数据库以及持久化数据库;从先入先出队列中获取目标用户属性的速度,大于从内存数据库中获取目标用户属性的速度;从内存数据库中获取目标用户属性的速度,大于从持久化数据库中获取目标用户属性的速度;先入先出队列针对目标用户属性的数据存储量,小于内存数据库针对目标用户属性的数据存储量;内存数据库针对目标用户属性的数据存储量,小于持久化数据库针对目标用户属性的数据存储量;
流量属性确定模块105,包括:流量确定单元1051和流量属性确定单元1052;
流量确定单元1051,用于根据区域绑定对中的人体轨迹,确定检测区域中的用户流量;
流量属性确定单元1052,用于根据区域绑定对中的人体轨迹所具有的标识信息,从先入先出队列、内存数据库或持久化数据库中,获取具有标识信息的目标用户属性,将获取到的目标用户属性确定为用户流量对应的用户属性。
其中,包含属性确定模块115、区域对确定模块116、目标属性确定模块117、标识添加模块118和存储模块119的具体功能实现方式请参见图3对应的实施例中的步骤S105,流量确定单元1051和流量属性确定单元1052的具体功能实现方式请参见图3对应的实施例中的步骤S105,这里不再进行赘述。
其中,流量属性确定单元1052,包括:第一获取子单元10521、第二获取子单元10522和第三获取子单元10523;
第一获取子单元10521,用于根据区域绑定对中的人体轨迹所具有的标识信息,生成用于在先入先出队列中获取目标用户属性的第一数据获取请求,当根据第一数据获取请求未从先入先出队列中获取到目标用户属性时,根据第一数据获取请求,生成用于在内存数据库中获取目标用户属性的第二数据获取请求;
第二获取子单元10522,用于当根据第二数据获取请求未从内存数据库中获取到目标用户属性时,根据第二数据获取请求,生成用于在持久化数据库中获取目标用户属性的第三数据获取请求;
第三获取子单元10523,用于根据第三数据获取请求,从持久化数据库中获取目标用户属性。
其中,第一获取子单元10521、第二获取子单元10522和第三获取子单元10523的具体功能实现方式请参见图3对应的实施例中的步骤S105,这里不再进行赘述。
其中,内存数据库中所存储的目标用户属性包括用户属性x1和用户属性x2;
上述装置1还包括:时段设置模块121和属性删除模块122;
时段设置模块120,用于为用户属性x1设置第一有效时段,为用户属性x2设置第二有效时段;第一有效时段不等于第二有效时段;
属性删除模块121,用于当第一时刻不满足第一有效时段时,在第一时刻从内存数据库中删除用户属性x1,当第二时刻不满足第二有效时段时,在第二时刻从内存数据库中删除用户属性x2。
其中,时段设置模块120和属性删除模块121的具体功能实现方式请参见图3对应的实施例中的步骤S105,这里不再进行赘述。
其中,第三获取子单元10523,包括:目标请求获取子单元105231、目标请求执行子单元105232;
目标请求获取子单元105231,用于当删除内存数据库中的用户属性x1后,获取到的针对用户属性x1的第二数据获取请求的请求数量大于请求数量阈值时,从至少两个第二数据获取请求中确定目标数据获取请求;
目标请求执行子单元105232,用于基于目标数据获取请求生成第三数据获取请求,根据第三数据获取请求,从持久化数据库中获取用户属性x1,将用户属性x1重新添加至内存数据库;
上述装置1还包括:请求确定模块122和请求执行模块123;
请求确定模块122,用于将至少两个第二数据获取请求中,除目标数据获取请求之外的数据获取请求,确定为待定数据获取请求;
请求执行模块123,用于从内存数据库中,为每个待定数据获取请求分别获取用户属性x1。
其中,目标请求获取子单元105231、目标请求执行子单元105232的具体功能实现方式请参见图3对应的实施例中的步骤S105,请求确定模块122和请求执行模块123的具体功能实现方式请参见图3对应的实施例中的步骤S105,这里不再进行赘述。
本申请提出的装置可以获取检测区域中的人脸轨迹和人体轨迹,通过该人体轨迹可以获取到检测区域中的用户流量,通过该人脸轨迹可以获取到检测区域中的用户属性,并且,对于绑定失败的人体轨迹,也可以为其匹配到对应的用户属性,因此提高了所获取的检测区域中的用户流量和用户属性的准确性。
请参见图14,图14是本申请提供的一种计算机设备的结构示意图。如图14所示,计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图14所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图14所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现前文图3对应实施例中对轨迹数据处理方法的描述。应当理解,本申请中所描述的计算机设备1000也可执行前文图13所对应实施例中对轨迹数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的轨迹数据处理装置1所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3对应实施例中对轨迹数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖范围。

Claims (15)

1.一种轨迹数据处理方法,其特征在于,包括:
获取检测区域中的人脸轨迹和人体轨迹;
基于所述检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对所述检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;
将绑定失败的人体轨迹确定为待匹配人体轨迹,根据所述轨迹绑定对中的人体轨迹与所述待匹配人体轨迹之间的轨迹相似度,确定与所述待匹配人体轨迹相匹配的用户属性;
对与所述待匹配人体轨迹相匹配的用户属性和所述待匹配人体轨迹进行绑定,得到属性绑定对;
根据所述属性绑定对和所述轨迹绑定对,确定所述检测区域中的用户流量和所述用户流量对应的用户属性。
2.根据权利要求1所述的方法,其特征在于,所述获取检测区域中的人脸轨迹和人体轨迹,包括:
获取所述检测区域中的至少两个人脸图像和至少两个人体图像;
获取所述至少两个人脸图像之间的人脸图像相似度和人脸图像距离,获取所述至少两个人体图像之间的人体图像相似度和人体图像距离;
根据所述人脸图像相似度和所述人脸图像距离,对所述至少两个人脸图像进行组合,得到所述检测区域中的人脸轨迹;一个人脸轨迹包括至少一个人脸图像;
根据所述人体图像相似度和所述人体图像距离,对所述至少两个人体图像进行组合,得到所述检测区域中的人体轨迹;一个人体轨迹包括至少一个人体图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对所述检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对,包括:
将所述检测区域中的人体轨迹确定为区域人体轨迹,将所述检测区域中的人脸轨迹确定为区域人脸轨迹;所述区域人体轨迹中的人体图像是从针对所述检测区域的目标摄像图像中所截获的;
获取所述目标摄像图像中的人脸图像;
将所述目标摄像图像中的人脸图像与所述区域人脸轨迹中的人脸图像之间的图像相似度,确定为所述区域人体轨迹与所述区域人脸轨迹之间的所述轨迹关联性;
当所述轨迹关联性大于或等于关联性阈值时,对所述区域人体轨迹和所述区域人脸轨迹进行绑定,得到所述轨迹绑定对。
4.根据权利要求1所述的方法,其特征在于,所述待匹配人体轨迹包括所述检测区域中的第一人体图像;所述轨迹绑定对的数量为至少两个;每个轨迹绑定对中的人体轨迹分别包括所述检测区域中的第二人体图像;
所述根据所述轨迹绑定对中的人体轨迹与所述待匹配人体轨迹之间的轨迹相似度,确定与所述待匹配人体轨迹相匹配的用户属性,包括:
根据所述第一人体图像,获取所述待匹配人体轨迹的第一轨迹特征向量;
根据所述每个轨迹绑定对包括的第二人体图像,分别获取所述每个轨迹绑定对中的人体轨迹的第二轨迹特征向量;
获取所述第一轨迹特征向量分别与所述每个轨迹绑定对对应的第二轨迹特征向量之间的向量距离;
根据所述每个轨迹绑定对所属的向量距离,确定所述每个轨迹绑定对中的人体轨迹分别与所述待匹配人体轨迹之间的轨迹相似度;
当目标轨迹绑定对的数量大于第一数量阈值且小于或等于第二数量阈值时,将所述目标轨迹绑定对中的人脸轨迹所包含的用户属性,确定为与所述待匹配人体轨迹相匹配的用户属性;所述目标轨迹绑定对,指所属的轨迹相似度大于或等于轨迹相似度阈值的轨迹绑定对。
5.根据权利要求4所述的方法,其特征在于,所述第一人体图像的图像数量为至少两个;
所述根据所述第一人体图像获取所述待匹配人体轨迹的第一轨迹特征向量,包括:
获取至少两个第一人体图像中的每个第一人体图像分别对应的图像特征向量;
根据所述每个第一人体图像分别对应的图像特征向量,获取所述至少两个第一人体图像对应的第一平均特征向量;
将所述第一平均特征向量,确定为所述第一轨迹特征向量。
6.根据权利要求4所述的方法,其特征在于,所述至少两个轨迹绑定对包括轨迹绑定对bx,x为小于或等于所述至少两个轨迹绑定对的总数量的正整数;所述轨迹绑定对bx包括的第二人体图像的图像数量为至少两个;
所述根据所述每个轨迹绑定对包括的第二人体图像,分别获取所述每个轨迹绑定对中的人体轨迹的第二轨迹特征向量,包括:
获取所述轨迹绑定对bx包括的至少两个第二人体图像中的每个第二人体图像分别对应的图像特征向量;
根据所述每个第二人体图像分别对应的图像特征向量,获取所述至少两个第二人体图像对应的第二平均特征向量;
将所述第二平均特征向量,确定为所述轨迹绑定对bx中的人体轨迹的第二轨迹特征向量。
7.根据权利要求4所述的方法,其特征在于,所述待匹配人体轨迹的数量为至少两个;
所述方法还包括:
当所述目标轨迹绑定对的数量小于或等于所述第一数量阈值时,将与每个待匹配人体轨迹之间的轨迹相似度最大的人体轨迹所在的轨迹绑定对,分别确定为所述每个待匹配人体轨迹对应的待定绑定对;
将所述每个待匹配人体轨迹对应的待定绑定对中的人脸轨迹所包含的用户属性,分别确定为所述每个待匹配人体轨迹对应的待定用户属性;
根据所述每个待匹配人体轨迹对应的待定用户属性,确定待确定属性对应的至少两个属性值;
获取所述至少两个属性值在至少两个轨迹绑定对的人脸轨迹所包含的用户属性中的第一出现比例;
根据所述第一出现比例,确定所述每个待匹配人体轨迹针对所述待确定属性的第一目标属性值;
将分别具有所述每个待匹配人体轨迹对应的第一目标属性值的所述待确定属性,确定为与所述每个待匹配人体轨迹相匹配的用户属性;所述至少两个属性值在与所述每个待匹配人体轨迹相匹配的用户属性中的第二出现比例,等于所述第一出现比例。
8.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述目标轨迹绑定对的数量大于所述第二数量阈值时,统计待确定属性的至少两个属性值在所述目标轨迹绑定对的人脸图像所包含的用户属性中的出现次数;所述至少两个属性值,是根据所述目标轨迹绑定对中的人脸轨迹所包含的用户属性所确定的;
根据所述待匹配人体轨迹与所述目标轨迹绑定对之间的轨迹相似度、以及所述出现次数,从所述至少两个属性值中,确定所述待匹配人体轨迹针对所述待确定属性的第二目标属性值;
将具有所述第二目标属性值的所述待确定属性,确定为与所述待匹配人体轨迹相匹配的用户属性。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述轨迹绑定对中的人脸轨迹所包含的用户属性,确定为所述轨迹绑定对所包含的用户属性;
将所述轨迹绑定对和所述属性绑定对,确定为所述检测区域中的区域绑定对;
将所述区域绑定对所包含的用户属性,确定为目标用户属性;
为所述目标用户属性与所在的所述区域绑定对中的人体轨迹添加相同的标识信息;
将具有所述标识信息的所述目标用户属性,分别存储至先入先出队列、内存数据库以及持久化数据库;从所述先入先出队列中获取所述目标用户属性的速度,大于从所述内存数据库中获取所述目标用户属性的速度;从所述内存数据库中获取所述目标用户属性的速度,大于从所述持久化数据库中获取所述目标用户属性的速度;所述先入先出队列针对所述目标用户属性的数据存储量,小于所述内存数据库针对所述目标用户属性的数据存储量;所述内存数据库针对所述目标用户属性的数据存储量,小于所述持久化数据库针对所述目标用户属性的数据存储量;
所述根据所述属性绑定对和所述轨迹绑定对,确定所述检测区域中的用户流量和所述用户流量对应的用户属性,包括:
根据所述区域绑定对中的人体轨迹,确定所述检测区域中的所述用户流量;
根据所述区域绑定对中的人体轨迹所具有的所述标识信息,从所述先入先出队列、所述内存数据库或所述持久化数据库中,获取具有所述标识信息的所述目标用户属性,将获取到的所述目标用户属性确定为所述用户流量对应的用户属性。
10.根据权利要求9所述的方法,其特征在于,所述根据所述区域绑定对中的人体轨迹所具有的所述标识信息,从所述先入先出队列、所述内存数据库或所述持久化数据库中,获取具有所述标识信息的所述目标用户属性,包括:
根据所述区域绑定对中的人体轨迹所具有的所述标识信息,生成用于在所述先入先出队列中获取所述目标用户属性的第一数据获取请求,当根据所述第一数据获取请求未从所述先入先出队列中获取到所述目标用户属性时,根据所述第一数据获取请求,生成用于在所述内存数据库中获取所述目标用户属性的第二数据获取请求;
当根据所述第二数据获取请求未从所述内存数据库中获取到所述目标用户属性时,根据所述第二数据获取请求,生成用于在所述持久化数据库中获取所述目标用户属性的第三数据获取请求;
根据所述第三数据获取请求,从所述持久化数据库中获取所述目标用户属性。
11.根据权利要求10所述的方法,其特征在于,所述内存数据库中所存储的所述目标用户属性包括用户属性x1和用户属性x2;
所述方法还包括:
为所述用户属性x1设置第一有效时段,为所述用户属性x2设置第二有效时段;所述第一有效时段不等于所述第二有效时段;
当第一时刻不满足所述第一有效时段时,在所述第一时刻从所述内存数据库中删除所述用户属性x1,当第二时刻不满足所述第二有效时段时,在所述第二时刻从所述内存数据库中删除所述用户属性x2。
12.根据权利要求11所述的方法,其特征在于,所述根据所述第三数据获取请求,从所述持久化数据库中获取所述目标用户属性,包括:
当删除所述内存数据库中的所述用户属性x1后,获取到的针对所述用户属性x1的所述第二数据获取请求的请求数量大于请求数量阈值时,从至少两个第二数据获取请求中确定目标数据获取请求;
基于所述目标数据获取请求生成所述第三数据获取请求,根据所述第三数据获取请求,从所述持久化数据库中获取所述用户属性x1,将所述用户属性x1重新添加至所述内存数据库;
所述方法还包括:
将所述至少两个第二数据获取请求中,除所述目标数据获取请求之外的数据获取请求,确定为待定数据获取请求;
从所述内存数据库中,为每个待定数据获取请求分别获取所述用户属性x1。
13.一种轨迹数据处理装置,其特征在于,包括:
轨迹获取模块,用于获取检测区域中的人脸轨迹和人体轨迹;
轨迹对获取模块,用于基于所述检测区域中的人脸轨迹和人体轨迹之间的轨迹关联性,对所述检测区域中的人脸轨迹和人体轨迹进行绑定,得到轨迹绑定对;
属性确定模块,用于将绑定失败的人体轨迹确定为待匹配人体轨迹,根据所述轨迹绑定对中的人体轨迹与所述待匹配人体轨迹之间的轨迹相似度,确定与所述待匹配人体轨迹相匹配的用户属性;
属性对获取模块,用于对与所述待匹配人体轨迹相匹配的用户属性和所述待匹配人体轨迹进行绑定,得到属性绑定对;
流量属性确定模块,用于根据所述属性绑定对和所述轨迹绑定对,确定所述检测区域中的用户流量和所述用户流量对应的用户属性。
14.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-12中任一项所述方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,执行权利要求1-12任一项所述的方法。
CN202011046037.XA 2020-09-29 2020-09-29 一种轨迹数据处理方法、装置以及计算机可读存储介质 Expired - Fee Related CN111898592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046037.XA CN111898592B (zh) 2020-09-29 2020-09-29 一种轨迹数据处理方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046037.XA CN111898592B (zh) 2020-09-29 2020-09-29 一种轨迹数据处理方法、装置以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111898592A true CN111898592A (zh) 2020-11-06
CN111898592B CN111898592B (zh) 2020-12-29

Family

ID=73224005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046037.XA Expired - Fee Related CN111898592B (zh) 2020-09-29 2020-09-29 一种轨迹数据处理方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111898592B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723316A (zh) * 2021-09-01 2021-11-30 杭州智诚惠通科技有限公司 一种车辆识别方法、装置、设备及存储介质
CN113989914A (zh) * 2021-12-24 2022-01-28 安维尔信息科技(天津)有限公司 一种基于人脸识别的安防监控方法及系统
CN116186549A (zh) * 2023-05-04 2023-05-30 深圳前海中电慧安科技有限公司 模型的训练方法、装置、设备和介质
CN117671774A (zh) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
US20140270388A1 (en) * 2013-03-15 2014-09-18 Patrick Lucey Methods and systems for measuring group behavior
WO2015038144A1 (en) * 2013-09-13 2015-03-19 Intel Corporation Processing of images of a subject individual
CN105608419A (zh) * 2015-12-15 2016-05-25 上海微桥电子科技有限公司 一种客流视频侦测分析系统
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN109272347A (zh) * 2018-08-16 2019-01-25 苏宁易购集团股份有限公司 一种门店客流量的统计分析方法及系统
CN109426787A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标轨迹确定方法及装置
CN109558445A (zh) * 2018-12-04 2019-04-02 郑州云海信息技术有限公司 一种接口查询方法和可读存储介质
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技(深圳)有限公司 一种对象识别方法和装置
CN110446015A (zh) * 2019-08-30 2019-11-12 北京青岳科技有限公司 一种基于计算机视觉的异常行为监控方法及系统
CN110874583A (zh) * 2019-11-19 2020-03-10 北京精准沟通传媒科技股份有限公司 一种客流统计的方法、装置、存储介质及电子设备
US10614294B1 (en) * 2006-06-16 2020-04-07 Videomining Corporation Method and system for measuring viewership of people for displayed object
CN111242077A (zh) * 2020-01-20 2020-06-05 西安奥卡云数据科技有限公司 一种人物追踪方法、系统及服务器
CN111476183A (zh) * 2020-04-13 2020-07-31 腾讯科技(深圳)有限公司 客流信息处理方法及装置
CN111476820A (zh) * 2020-04-01 2020-07-31 深圳力维智联技术有限公司 一种对被追踪的目标进行定位的方法和装置
CN111709382A (zh) * 2020-06-19 2020-09-25 腾讯科技(深圳)有限公司 人体轨迹处理方法、装置、计算机存储介质以及电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614294B1 (en) * 2006-06-16 2020-04-07 Videomining Corporation Method and system for measuring viewership of people for displayed object
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
US20140270388A1 (en) * 2013-03-15 2014-09-18 Patrick Lucey Methods and systems for measuring group behavior
WO2015038144A1 (en) * 2013-09-13 2015-03-19 Intel Corporation Processing of images of a subject individual
CN105608419A (zh) * 2015-12-15 2016-05-25 上海微桥电子科技有限公司 一种客流视频侦测分析系统
CN109426787A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标轨迹确定方法及装置
CN108133172A (zh) * 2017-11-16 2018-06-08 北京华道兴科技有限公司 视频中运动对象分类的方法、车流量的分析方法及装置
CN109272347A (zh) * 2018-08-16 2019-01-25 苏宁易购集团股份有限公司 一种门店客流量的统计分析方法及系统
CN109558445A (zh) * 2018-12-04 2019-04-02 郑州云海信息技术有限公司 一种接口查询方法和可读存储介质
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技(深圳)有限公司 一种对象识别方法和装置
CN110446015A (zh) * 2019-08-30 2019-11-12 北京青岳科技有限公司 一种基于计算机视觉的异常行为监控方法及系统
CN110874583A (zh) * 2019-11-19 2020-03-10 北京精准沟通传媒科技股份有限公司 一种客流统计的方法、装置、存储介质及电子设备
CN111242077A (zh) * 2020-01-20 2020-06-05 西安奥卡云数据科技有限公司 一种人物追踪方法、系统及服务器
CN111476820A (zh) * 2020-04-01 2020-07-31 深圳力维智联技术有限公司 一种对被追踪的目标进行定位的方法和装置
CN111476183A (zh) * 2020-04-13 2020-07-31 腾讯科技(深圳)有限公司 客流信息处理方法及装置
CN111709382A (zh) * 2020-06-19 2020-09-25 腾讯科技(深圳)有限公司 人体轨迹处理方法、装置、计算机存储介质以及电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723316A (zh) * 2021-09-01 2021-11-30 杭州智诚惠通科技有限公司 一种车辆识别方法、装置、设备及存储介质
CN113723316B (zh) * 2021-09-01 2024-04-16 杭州智诚惠通科技有限公司 一种车辆识别方法、装置、设备及存储介质
CN113989914A (zh) * 2021-12-24 2022-01-28 安维尔信息科技(天津)有限公司 一种基于人脸识别的安防监控方法及系统
CN113989914B (zh) * 2021-12-24 2022-03-15 安维尔信息科技(天津)有限公司 一种基于人脸识别的安防监控方法及系统
CN116186549A (zh) * 2023-05-04 2023-05-30 深圳前海中电慧安科技有限公司 模型的训练方法、装置、设备和介质
CN116186549B (zh) * 2023-05-04 2023-08-08 深圳前海中电慧安科技有限公司 模型的训练方法、装置、设备和介质
CN117671774A (zh) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备
CN117671774B (zh) * 2024-01-11 2024-04-26 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备

Also Published As

Publication number Publication date
CN111898592B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN111898592B (zh) 一种轨迹数据处理方法、装置以及计算机可读存储介质
CN109766840B (zh) 人脸表情识别方法、装置、终端及存储介质
CN110309795B (zh) 视频检测方法、装置、电子设备及存储介质
CN108664914B (zh) 人脸检索方法、装置及服务器
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
CN112348117A (zh) 场景识别方法、装置、计算机设备和存储介质
WO2023168998A1 (zh) 视频片段的识别方法、装置、设备以及存储介质
CN110222718A (zh) 图像处理的方法及装置
WO2023173646A1 (zh) 一种表情识别方法及装置
CN108875587A (zh) 目标分布检测方法及设备
KR20220098030A (ko) 타깃 운동 궤적 구축 방법, 기기 및 컴퓨터 저장 매체
JP2021515321A (ja) メディア処理方法、その関連装置及びコンピュータプログラム
Elharrouss et al. FSC-set: counting, localization of football supporters crowd in the stadiums
WO2022228142A1 (zh) 对象密度确定方法、装置、计算机设备和存储介质
CN114219971A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN113244627B (zh) 识别外挂的方法、装置、电子设备以及存储介质
CN112235598B (zh) 一种视频结构化处理方法、装置及终端设备
CN109447112A (zh) 一种人像聚类方法、电子设备和存储介质
CN112257666B (zh) 目标图像内容的聚合方法、装置、设备及可读存储介质
CN111798356B (zh) 一种基于大数据的轨道交通客流异常模式识别方法
CN115082873A (zh) 基于通路融合的图像识别方法、装置及存储介质
JP2019028744A (ja) データ処理システム、データ処理方法およびプログラム
CN112487082B (zh) 一种生物特征识别的方法及相关设备
CN113642519A (zh) 一种人脸识别系统和人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201229