CN113344124B - 轨迹分析方法及装置、存储介质和系统 - Google Patents
轨迹分析方法及装置、存储介质和系统 Download PDFInfo
- Publication number
- CN113344124B CN113344124B CN202110729593.5A CN202110729593A CN113344124B CN 113344124 B CN113344124 B CN 113344124B CN 202110729593 A CN202110729593 A CN 202110729593A CN 113344124 B CN113344124 B CN 113344124B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- determining
- analysis data
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 264
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 319
- 238000013528 artificial neural network Methods 0.000 description 13
- 210000000887 face Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004454 trace mineral analysis Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种轨迹分析方法及装置、存储介质和系统,其中,所述方法包括:基于由至少一个图像采集设备采集的视频数据,确定多张活体图像;基于所述视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置。
Description
技术领域
本公开涉及计算机视觉领域,尤其涉及一种轨迹分析方法及装置、存储介质和系统。
背景技术
在安防、零售等诸多场景中,人脸识别发挥了重要作用。但人脸捕捉较为困难,对于摄像头布置位置、角度都有很高的要求。在大多数情况下,并不能很好的捕捉到人脸。一旦无法捕捉到人脸,在实际应用中就会有大量信息缺失,无法正确进行轨迹分析。
发明内容
本公开提供了一种轨迹分析方法及装置、存储介质和系统。
根据本公开实施例的第一方面,提供一种轨迹分析方法,所述方法包括:基于由至少一个图像采集设备采集的视频数据,确定多张活体图像;基于所述视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置。
在一些可选实施例中,还包括:基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析。
在一些可选实施例中,所述活体包括人,所述基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析,包括:分别确定与每张所述活体图像对应的人脸图像和人体图像;基于每张所述活体图像对应的所述轨迹分析数据,确定每张所述人脸图像对应的所述轨迹分析数据,以及每张所述人体图像对应的所述轨迹分析数据;基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果;基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人脸图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人脸图像进行图像聚类,确定第二聚类结果;基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像;基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析。
在一些可选实施例中,所述基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果,包括:确定待聚类图像和多个图像集合;其中,所述待聚类图像是多张所述活体图像和多张所述人体图像中待确定所对应的聚类标识的一张目标图像,所述图像集合是多张所述活体图像和多张所述人体图像中,由已确定对应同一聚类标识的图像组成的图像集合;将所述待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,基于匹配结果,在多个所述图像集合对应的所述聚类标识中,确定与所述待聚类图像对应的备选聚类标识;基于所述备选聚类标识,确定所述待聚类图像对应的目标聚类标识;基于所述多张活体图像和多张人体图像中每张图像对应的所述目标聚类标识,得到所述第一聚类结果。
在一些可选实施例中,所述将所述待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,基于匹配结果,在多个所述图像集合对应的所述聚类标识中,确定与所述待聚类图像对应的备选聚类标识,包括:将每个所述图像集合作为第一图像集合,基于所述第一图像集合中每张图像对应的所述轨迹分析数据,在所述第一图像集合中确定第一参考图像;响应于确定所述待聚类图像对应的所述轨迹分析数据与所述第一参考图像对应的所述轨迹分析数据之间满足第一预设条件,将所述待聚类图像与所述第一图像集合中的每张图像分别进行相似度匹配,确定至少一个第一相似度值;确定超过第一预设阈值的所述第一相似度值的第一数目;响应于确定所述第一数目占所述第一图像集合中图像总数目的比值超过第一预设比值,将所述第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
在一些可选实施例中,所述基于第一图像集合中每张图像对应的所述轨迹分析数据,在所述第一图像集合中确定第一参考图像,包括:将所述第一图像集合中采集时间最晚的一张图像作为所述第一参考图像。
在一些可选实施例中,所述确定所述待聚类图像对应的所述轨迹分析数据与所述第一参考图像对应的所述轨迹分析数据之间满足第一预设条件,包括以下至少一项:确定所述待聚类图像对应的第一采集时间与所述第一参考图像对应的第二采集时间之间的时间差小于或等于第一预设时间差;确定所述待聚类图像对应的第一采集位置与所述第一参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值。
在一些可选实施例中,所述视频数据的采集信息包括采集所述视频数据的图像采集设备标识;所述确定所述待聚类图像对应的第一采集位置与所述参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值,包括:确定所述待聚类图像对应的所述图像采集设备标识和所述第一参考图像对应的所述图像采集设备标识匹配。
在一些可选实施例中,所述基于所述备选聚类标识,确定所述待聚类图像对应的目标聚类标识,包括:在所述备选聚类标识的数目为多个时,分别确定每个所述备选聚类标识对应的所述图像集合中多张图像对应的平均特征向量值,以得到多个所述平均特征向量值;确定所述待聚类图像对应的特征向量值;将多个所述平均特征向量值中与所述特征向量值的乘积的最大值对应平均特征向量值指向的备选聚类标识,确定为所述待聚类图像对应的所述目标聚类标识。
在一些可选实施例中,还包括:响应于在多个所述图像集合对应的聚类标识中,确定不存在与所述待聚类图像对应的所述备选聚类标识,确定一个新聚类标识;将所述新聚类标识确定为所述待聚类图像对应的所述目标聚类标识。
在一些可选实施例中,还包括:基于每个所述图像集合中每张图像对应的所述轨迹分析数据,对至少两个聚类标识对应的所述图像集合进行合并。
在一些可选实施例中,所述基于每个所述图像集合中每张图像对应的所述轨迹分析数据,对至少两个聚类标识对应的所述图像集合进行合并,包括:将所述聚类标识不同的两个所述图像集合分别作为第二图像集合和第三图像集合;基于所述第二图像集合中每张图像对应的所述轨迹分析数据,在所述第二图像集合中确定第二参考图像,以及基于所述第三图像集合中每张图像对应的所述轨迹分析数据,在所述第三图像集合中确定第三参考图像;响应于确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,将所述第二图像集合中各张图像分别与所述第三图像集合中各张图像进行相似度匹配,确定多个第二相似度值;确定超过第二预设阈值的所述第二相似度值的第二数目;响应于确定所述第二数目占所述第二图像集合和所述第三图像集合中图像总数目的比值超过第二预设比值,合并所述第二图像集合和所述第三图像集合,且合并后的图像集合对应同一聚类标识。
在一些可选实施例中,所述确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,包括以下至少一项:确定所述第二参考图像对应的第三采集时间与所述第四参考图像对应的第四采集时间之间的时间差小于或等于第二预设时间差;确定所述第二参考图像对应的第三采集位置与所述第四参考图像对应的第四采集位置之间的距离小于或等于第二预设距离值。
在一些可选实施例中,所述基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像,包括:基于所述第一聚类结果、所述第二聚类结果和多张所述活体图像,确定人体标识和人脸标识之间的对应矩阵;基于所述对应矩阵,确定与每个所述人体标识对应的目标人脸标识;基于与每个所述人体标识对应的目标人脸标识,为每张所述人体图像中的每个人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。
在一些可选实施例中,所述基于所述对应矩阵,确定与每个所述人体标识对应的目标人脸标识,包括:针对每个所述人体标识,基于所述对应矩阵,确定与所述人体标识对应的多个人脸标识;在与所述人体标识对应的多个人脸标识中,将所占比值最大且所占比值超过第三预设比值的一个人脸标识,确定为与所述人体标识对应的所述目标人脸标识。
根据本公开实施例的第二方面,提供一种轨迹分析装置,包括:第一确定模块,用于基于由至少一个图像采集设备采集的视频数据,确定多张活体图像;第二确定模块,用于基于所述视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置。
在一些可选实施例中,还包括:轨迹分析模块,用于基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析。
在一些可选实施例中,所述活体包括人,所述轨迹分析模块包括:第一确定子模块,用于分别确定与每张所述活体图像对应的人脸图像和人体图像;第二确定子模块,用于基于每张所述活体图像对应的所述轨迹分析数据,确定每张所述人脸图像对应的所述轨迹分析数据,以及每张所述人体图像对应的所述轨迹分析数据;第一图像聚类子模块,用于基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果;第二图像聚类子模块,用于基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人脸图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人脸图像进行图像聚类,确定第二聚类结果;关联子模块,用于基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像;轨迹分析子模块,用于基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析。
在一些可选实施例中,所述第一图像聚类子模块包括:第一确定单元,用于确定待聚类图像和多个图像集合;其中,所述待聚类图像是多张所述活体图像和多张所述人体图像中待确定所对应的聚类标识的一张目标图像,所述图像集合是多张所述活体图像和多张所述人体图像中,由已确定对应同一聚类标识的图像组成的图像集合;匹配单元,用于将所述待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,基于匹配结果,在多个所述图像集合对应的所述聚类标识中,确定与所述待聚类图像对应的备选聚类标识;第二确定单元,用于基于所述备选聚类标识,确定所述待聚类图像对应的目标聚类标识;第三确定单元,用于基于所述多张活体图像和多张人体图像中每张图像对应的所述目标聚类标识,得到所述第一聚类结果。
在一些可选实施例中,所述匹配单元用于将每个所述图像集合作为第一图像集合,基于所述第一图像集合中每张图像对应的所述轨迹分析数据,在所述第一图像集合中确定第一参考图像;响应于确定所述待聚类图像对应的所述轨迹分析数据与所述第一参考图像对应的所述轨迹分析数据之间满足第一预设条件,将所述待聚类图像与所述第一图像集合中的每张图像分别进行相似度匹配,确定至少一个第一相似度值;确定超过第一预设阈值的所述第一相似度值的第一数目;响应于确定所述第一数目占所述第一图像集合中图像总数目的比值超过第一预设比值,将所述第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
在一些可选实施例中,所述匹配单元还用于将所述第一图像集合中采集时间最晚的一张图像作为所述第一参考图像。
在一些可选实施例中,所述匹配单元还用于执行以下至少一项:确定所述待聚类图像对应的第一采集时间与所述第一参考图像对应的第二采集时间之间的时间差小于或等于第一预设时间差;确定所述待聚类图像对应的第一采集位置与所述第一参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值。
在一些可选实施例中,所述视频数据的采集信息包括采集所述视频数据的图像采集设备标识;所述匹配单元还用于确定所述待聚类图像对应的所述图像采集设备标识和所述第一参考图像对应的所述图像采集设备标识匹配。
在一些可选实施例中,所述第二确定单元用于在所述备选聚类标识的数目为多个时,分别确定每个所述备选聚类标识对应的所述图像集合中多张图像对应的平均特征向量值,以得到多个所述平均特征向量值;确定所述待聚类图像对应的特征向量值;将多个所述平均特征向量值中与所述特征向量值的乘积的最大值对应平均特征向量值指向的备选聚类标识,确定为所述待聚类图像对应的所述目标聚类标识。
在一些可选实施例中,还包括:第三确定模块,用于响应于在多个所述图像集合对应的聚类标识中,确定不存在与所述待聚类图像对应的所述备选聚类标识,确定一个新聚类标识;第四确定模块,用于将所述新聚类标识确定为所述待聚类图像对应的所述目标聚类标识。
在一些可选实施例中,还包括:合并模块,用于基于每个所述图像集合中每张图像对应的所述轨迹分析数据,对至少两个聚类标识对应的所述图像集合进行合并。
在一些可选实施例中,所述合并模块包括:第三确定子模块,用于将所述聚类标识不同的两个所述图像集合分别作为第二图像集合和第三图像集合;第四确定子模块,用于基于所述第二图像集合中每张图像对应的所述轨迹分析数据,在所述第二图像集合中确定第二参考图像,以及基于所述第三图像集合中每张图像对应的所述轨迹分析数据,在所述第三图像集合中确定第三参考图像;匹配子模块,用于响应于确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,将所述第二图像集合中各张图像分别与所述第三图像集合中各张图像进行相似度匹配,确定多个第二相似度值;第五确定子模块,用于确定超过第二预设阈值的所述第二相似度值的第二数目;合并子模块,用于响应于确定所述第二数目占所述第二图像集合和所述第三图像集合中图像总数目的比值超过第二预设比值,合并所述第二图像集合和所述第三图像集合,且合并后的图像集合对应同一聚类标识。
在一些可选实施例中,所述匹配子模块包括以下至少一项:第四确定单元,用于确定所述第二参考图像对应的第三采集时间与所述第四参考图像对应的第四采集时间之间的时间差小于或等于第二预设时间差;第五确定单元,用于确定所述第二参考图像对应的第三采集位置与所述第四参考图像对应的第四采集位置之间的距离小于或等于第二预设距离值。
在一些可选实施例中,所述关联子模块包括:第六确定单元,用于基于所述第一聚类结果、所述第二聚类结果和多张所述活体图像,确定人体标识和人脸标识之间的对应矩阵;第七确定单元,用于基于所述对应矩阵,确定与每个所述人体标识对应的目标人脸标识;关联单元,用于基于与每个所述人体标识对应的目标人脸标识,为每张所述人体图像中的每个人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。
在一些可选实施例中,所述第七确定单用于针对每个所述人体标识,基于所述对应矩阵,确定与所述人体标识对应的多个人脸标识;在与所述人体标识对应的多个人脸标识中,将所占比值最大且所占比值超过第三预设比值的一个人脸标识,确定为与所述人体标识对应的所述目标人脸标识。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述任一所述的轨迹分析方法。
根据本公开实施例的第四方面,提供一种轨迹分析装置,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现上述任一项所述的轨迹分析方法。
根据本公开实施例的第五方面,提供一种轨迹分析系统,包括至少一个图像采集设备和云端设备;其中,所述图像采集设备用于采集视频数据,确定所述视频数据的采集信息,以及将所述视频数据和所述采集信息发送给云端设备;所述云端设备用于执行上述任一项所述的轨迹分析方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,云端设备可以基于由至少一个图像采集设备采集的视频数据,确定多张包括活体的活体图像,进一步地,云端设备还可以基于该视频数据的采集信息,来确定每张活体图像对应的轨迹分析数据,其中,轨迹分析数据至少包括了活体图像的采集时间和/或采集位置,使得轨迹分析数据更加丰富、完整。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种轨迹分析方法流程图;
图2是本公开根据一示例性实施例示出的另一种轨迹分析方法流程图;
图3是本公开根据一示例性实施例示出的另一种轨迹分析方法流程图;
图4是本公开根据一示例性实施例示出的另一种轨迹分析方法流程图;
图5是本公开根据一示例性实施例示出的另一种轨迹分析方法流程图;
图6是本公开根据一示例性实施例示出的一种确定备选聚类标识的流程示意图;
图7是本公开根据一示例性实施例示出的另一种轨迹分析方法流程图;
图8是本公开根据一示例性实施例示出的一种确定是否需要对图像集合进行合并的流程示意图;
图9是本公开根据一示例性实施例示出的另一种轨迹分析方法流程图;
图10A是本公开根据一示例性实施例示出的一种轨迹分析场景示意图;
图10B是本公开根据一示例性实施例示出的另一种轨迹分析分析方法流程图;
图11是本公开根据一示例性实施例示出的一种轨迹分析装置框图;
图12是本公开根据一示例性实施例示出的一种轨迹分析装置的一结构示意图;
图13是本公开根据一示例性实施例示出的一种轨迹分析系统示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前的轨迹分析方案,基本依赖于纯人脸信息。一旦人脸信息无法采集完整,会造成轨迹分析数据采集的不完整。
为了解决上述问题,本公开实施例提供了一种轨迹分析方案,将活体图像的采集时间和/或采集位置,作为轨迹分析数据,使得到的轨迹数据更加丰富、完整。
例如图1所示,图1是根据一示例性实施例示出的一种轨迹分析方法,该方法可以由云端设备执行,云端设备包括但不限于云端服务器,包括以下步骤101至102:
在步骤101中,基于由至少一个图像采集设备采集的视频数据,确定多张活体图像。
在本公开实施例中,云端设备可以从至少一个图像采集设备发送的视频数据中,截取多张包括活体的活体图像。其中,活体包括但不限于人、动物等。在后续实施例中,活体可以具体指代人。
在步骤102中,基于所述视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置。
在本公开实施例中,采集信息可以包括图像采集设备采集该视频数据的时间信息以及图像采集设备标识。
在一个可能的实现方式中,云端设备可以基于图像采集设备采集该视频数据的时间信息和活体图像的图像帧在视频数据中的位置,确定该活体图像的采集时间。
在一个可能的实现方式中,云端设备可以将图像采集设备标识直接确定为轨迹分析数据中活体图像的采集位置。
在另一个可能的实现方式中,云端设备也可以根据图像采集设备标识,确定该图像采集设备的空间位置,并结合该图像采集设备的拍摄角度,确定轨迹分析数据中活体图像的采集位置。
上述实施例中,云端设备可以基于由至少一个图像采集设备采集的视频数据,确定多张包括活体的活体图像,进一步地,云端设备还可以基于该视频数据的采集信息,来确定每张活体图像对应的轨迹分析数据,其中,轨迹分析数据至少包括了活体图像的采集时间和/或采集位置,使得轨迹分析数据更加丰富、完整。
在一些可选实施例中,例如图2所示,上述方法还可以包括步骤103:
在步骤103中,基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析。
上述实施例中,可以基于更丰富、完整的轨迹分析数据,对活体进行轨迹分析,提供了轨迹分析的准确性。
在一些可选实施例中,以活体包括人为例,对轨迹分析的具体过程进一步说明如下。例如图3所示,步骤103可以包括以下步骤201至206:
在步骤201中,分别确定与每张所述活体图像对应的人脸图像和人体图像。
在一个可能的实现方式中,人脸图像可以包括活体图像中出现的每个人脸对应的多个特征信息,其中,人脸对应的多个特征信息包括但不限于人脸关键点信息,例如五官分别对应的关键点信息,以及其他辅助特征信息,例如性别、发型、胡子、眼镜、眼皮等辅助确定人脸的特征信息。
例如活体图像中出现3个人,则人脸图像可以包括3个人脸各自对应的人脸关键点的特征信息,以及3个人脸各自对应的性别信息、发型信息、是否有胡子、胡子的类型信息、是否带眼镜、眼镜的形状信息、单眼皮或双眼皮信息等。
在另一个可能的实现方式中,人脸图像中可以只包括活体图像中出现的每个人脸对应的人脸关键点信息。
相应地,人体图像可以包括活体图像中出现的每个人体对应的多个特征信息,其中,人体对应的多个特征信息包括但不限于人体关键点信息,以及其他的人体辅助信息。可选地,人体关键点包括但不限于四肢和躯干,人体辅助信息包括但不限于动作状态信息,例如行走、站立或下蹲状态信息等。
在一个可能的实现方式中,可以将活体图像输入人脸特征提取神经网络,获得该人脸特征提取神经网络输出的包括人脸特征信息的人脸图像。采用类似的方式,将活体图像输入人体特征提取神经网络,获得该人体特征提取神经网络输出的包括人体特征信息的人体图像。
在步骤202中,基于每张所述活体图像对应的所述轨迹分析数据,确定每张所述人脸图像对应的所述轨迹分析数据,以及每张所述人体图像对应的所述轨迹分析数据。
在本公开实施例中,可以将活体图像对应的轨迹分析数据,作为该活体图像对应的人脸图像的轨迹分析数据,以及作为该活体图像对应的人体图像的轨迹分析数据。
在步骤203中,基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果。
在本公开实施例中,图像聚类是指将多张所述活体图像和多张所述人体图像中的所有图像,按照相似度进行分类,对应同一聚类标识的图像之间的图像相似度越高,相应的,对应不同聚类标识的图像之间的图像相似度越低。
在步骤204中,基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人脸图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人脸图像进行图像聚类,确定第二聚类结果。
在本公开实施例中,确定第二聚类结果的方式与步骤203中确定第一聚类结果的方式类似,在此先暂不介绍。
在步骤205中,基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。
在本公开实施例中,可以在每张人体图像中为每个人体关联匹配的人脸,从而得到关联图像。
在步骤206中,基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析。
上述实施例中,可以采用图像聚类,得到第一聚类结果和第二聚类结果,进而基于上述聚类结果,将每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。从而根据多张人脸图像、多张活体图像和多张关联图像进行轨迹分析,提高了轨迹分析的准确性和可靠性。
在一些可选实施例中,例如图4所示,步骤203可以包括以下步骤301至303:
在步骤301中,确定待聚类图像和多个图像集合。
在本公开实施例中,待聚类图像可以是多张所述活体图像和多张所述人体图像中待确定所对应的聚类标识的一张目标图像,其中,该目标图像可以指任一张图像或预先指定的一张图像。图像集合是多张所述活体图像和多张所述人体图像中,由当前已确定对应同一聚类标识的图像组成的图像集合。
在步骤302中,将所述待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,基于匹配结果,在多个所述图像集合对应的所述聚类标识中,确定与所述待聚类图像对应的备选聚类标识。
在本公开实施例中,可以将待聚类图像与每个图像集合中的图像分别进行归集分析数据的匹配以及图像相似度匹配,从而基于得到的匹配结果,在多个图像集合对应的聚类标识中,确定与待聚类图像对应的备选聚类标识。
在步骤303中,基于所述备选聚类标识,确定所述待聚类图像对应的目标聚类标识。
在一个可能的实现方式中,如果备选聚类标识的数目为一个,则可以直接将该备选聚类标识,确定为待聚类图像对应的目标聚类标识。
在另一个可能的实现方式中,备选聚类标识的数目为多个,可以在多个备选聚类标识中确定其中一个作为目标聚类标识。具体确定方式在后续实施例中介绍,这里暂不介绍。
在步骤304中,基于所述多张活体图像和多张人体图像中每张图像对应的所述目标聚类标识,得到所述第一聚类结果。
在本公开实施例中,可以重复上述步骤301至303,直到确定了所述多张活体图像和多张人体图像中每张图像对应的目标聚类标识,得到第一聚类结果。
上述实施例中,可以快速将多张人体图像和多张活体图像进行图像聚类,得到第一聚类结果,尤其针对无法捕获人脸的场景,后续可以为人体图像中的人体确定匹配的人脸,使得轨迹分析数据更加丰富、完善,提高了轨迹分析的准确性。
在一些可选实施例中,多张活体图像和多张人体图像中没有已确定聚类标识的图像集合,则可以由云端设备直接确定一个新聚类标识,将该新聚类标识确定为待聚类图像对应的目标聚类标识。
在一些可选实施例中,也可能在将待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配后,在多个图像集合对应的聚类标识中,不存在与待聚类图像对应的备选聚类标识,那么同样可以确定一个新聚类标识,将该新聚类标识直接作为待聚类图像对应的目标聚类标识。
上述实施例中,可以快速将多张人体图像和多张活体图像进行图像聚类,确定其中每张图像对应的聚类标识,可用性高。
在一些可选实施例中,例如图5所示,上述步骤302可以包括步骤401至404:
在步骤401中,将每个所述图像集合作为第一图像集合,基于所述第一图像集合中每张图像对应的所述轨迹分析数据,在所述第一图像集合中确定第一参考图像。
其中,云端设备可以将每个图像集合分别作为第一图像集合。在确定第一参考图像时,一个可能的实现方式下,可以将所述第一图像集合中采集时间最晚的一张图像作为所述第一参考图像。
在步骤402中,响应于确定所述待聚类图像对应的所述轨迹分析数据与所述第一参考图像对应的所述轨迹分析数据之间满足第一预设条件,将所述待聚类图像与所述第一图像集合中的每张图像分别进行相似度匹配,确定至少一个第一相似度值。
在一个可能的实现方式中,可以在确定所述待聚类图像对应的第一采集时间与所述第一参考图像对应的第二采集时间之间的时间差小于或等于第一预设时间差的情况下,确定满足第一预设条件。
在另一个可能的实现方式中,可以在确定所述待聚类图像对应的第一采集位置与所述第一参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值的情况下,确定满足第一预设条件。
在另一个可能的实现方式中,可以在确定待聚类图像对应的第一采集时间与所述第一参考图像对应的第二采集时间之间的时间差小于或等于第一预设时间差,且所述待聚类图像对应的第一采集位置与所述第一参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值的情况下,确定满足第一预设条件。
在确定满足第一预设条件后,可以将该待聚类图像与第一图像集合中每张图像分别进行相似度匹配,包括但不限于将待聚类图像和第一图像集合中的每张图像分别输入预先训练好的用于确定图像之间相似度值的神经网络,得到该神经网络输出的第一相似度值。
在步骤403中,确定超过第一预设阈值的所述第一相似度值的第一数目。
在上述步骤402中得到的至少一个第一相似度值中,确定超过第一预设阈值的所述第一相似度值的第一数目。
在步骤404中,响应于确定所述第一数目占所述第一图像集合中图像总数目的比值超过第一预设比值,将所述第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
例如,第一图像集合中图像总数目为N,第一相似度值的总数目也为N,其中超过第一阈值的第一相似度值的第一数目为M,如果M/N大于第一预设比值,可以将第一图像集合对应的聚类标识作为该待聚类图像对应的备选聚类标识。
上述实施例中,可以将待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,以便确定与待聚类图像对应的备选聚类标识,快速实现对人体图像和活体图像的聚类,可用性高。
在一些可选实施例中,可以确定不同的第一预设条件和不同的第一预设值,多次对待聚类图像和第一图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,从而确定出待聚类图像对应的备选聚类标识。
例如图6所示,云端设备可以先确定待聚类图像对应的第一采集时间与第一参考图像对应的第二采集时间是否位于同一天内。
在确定第一采集时间与第二采集时间位于同一天内的情况下,再确定至少一个第一相似度值,此时第一预设阈值假设为阈值1,第一预设比值为比值1,先确定超过阈值1的所述第一相似度值的第一数目,假设为M1,所述第一图像集合中图像总数目为N,M1与N的比值大于比值1的情况下,将第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
如果第一采集时间与第二采集时间位于同一天内,但M1与N的比值未超过比值1,进一步地,可以再次对待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配。例如,可以确定第一采集时间与第二采集时间是否位于同一分钟内,且第一采集位置与第二采集位置之间的距离是否小于或等于第一预设距离值。
如果第一采集时间与第二采集时间位于同一分钟内,且第一采集位置与第二采集位置之间的距离小于或等于第一预设距离值,此时第一预设阈值假设为阈值2(阈值2与阈值1可以不同),第一预设比值为比值2(比值2与比值1可以不同),云端设备可以确定超过阈值2的所述第一相似度值的第一数目,假设为M2,M2与N的比值超过比值2的情况下,将第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
如果第一采集时间与第二采集时间未位于同一分钟内,和/或第一采集位置与第二采集位置之间的距离大于第一预设距离值,和/或M2与N的比值未超过比值2,则云端设备可以再次确定第一采集时间与第二采集时间之间的时间差是否小于5分钟,此时的第一预设阈值假设为阈值3(阈值3可以与阈值2、阈值1不同),第一预设比值为比值3(比值3可以与比值2、比值1不同),在第一采集时间与第二采集时间之间的时间差小于5分钟,超过阈值3的所述第一相似度值的第一数目为M3,在M3与N的比值超过比值3的情况下,将第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
否则,确定第一图像集合对应的聚类标识不属于待聚类图像对应的备选聚类标识。
上述实施例中,可以设置不同的第一预设条件和不同的第一预设比值,从而在至少一个图像集合中,确定出与待聚类图像可能所属的分类。确保图像聚类的准确性,提高了后续进行轨迹分析的可靠性。
在一些可选实施例中,图像采集设备发送的视频数据的采集信息包括采集所述视频数据的图像采集设备标识,那么云端设备可以在确定待聚类图像对应的所述图像采集设备标识和所述第一参考图像对应的所述图像采集设备标识匹配的情况下,确定第一采集位置与第二采集位置之间的聚类小于或等于第一预设距离值。
在一个可能的实现方式中,标识匹配可以包括标识完全相同。待聚类图像对应的所述图像采集设备标识和所述第一参考图像对应的所述图像采集设备标识完全相同的情况下,说明待聚类图像和第一参考图像是由同一图像采集设备采集的,此时可以直接确定第一采集位置与第二采集位置之间的聚类小于或等于第一预设距离值。
在另一个可能的实现方式中,标识匹配可以包括标识号、标识字段中的至少一项相邻。在本公开实施例中,考虑到地理位置相邻的图像采集设备的标识可能具备规律性,那么待聚类图像对应的所述图像采集设备标识和所述第一参考图像对应的所述图像采集设备标识号、标识字段中的至少一项相邻的情况下,可以确定离第一采集位置与第二采集位置之间的聚类小于或等于第一预设距离值。上述实施例中,可以基于图像采集设备发送的采集信息,快速确定第一采集位置与第二采集位置之间的距离是否小于或等于第一预设距离值,提高了图像聚类的效率。
在一些可选实施例中,如果确定的备选聚类标识的数目为多个,则云端设备可以分别确定每个所述备选图像集合中多张图像对应的平均特征向量值,以得到多个所述平均特征向量值。
其中,平均特征向量值可以用于衡量该备选聚类标识对应的图像集合中多张图像的共同的人体特征。
进一步地,可以确定待聚类图像对应的特征向量值。
上述确定备选聚类标识对应的所述图像集合中多张图像对应的平均特征向量值和待聚类图像对应的特征向量值时,均可以通过预先训练好的人体特征分析神经网络得到。例如,将每个所述备选聚类标识对应的所述图像集合中多张图像输入该人体特征分析神经网络,得到该人体特征神经网络输出的与该备选聚类标识对应的平均特征向量值,备选聚类标识为多个的情况下,可以得到多个平均特征向量值。待聚类图像输入该人体特征分析神经网络,得到该人体特征神经网络输出的与待聚类图像对应的特征向量值。
进一步地,云端设备可以分别计算每个所述平均特征向量值与所述待聚类图像对应的特征向量值的乘积,将乘积的最大值对应平均特征向量值指向的备选聚类标识,确定为所述待聚类图像对应的目标聚类标识。
上述实施例中,可以在备选聚类标识有多个的情况下,确定与待聚类标识的图像相似度的匹配程度最高的一个图像集合对应的备选聚类标识,从而得到目标聚类标识。提高了图像聚类的准确性。
在一些可选实施例中,云端设备在得到第一聚类结果之后,可以对第一聚类结果进行优化,使得第一聚类结果更加准确。
在本公开实施例中,云端设备可以基于每个所述图像集合中每张图像对应的所述轨迹分析数据,对至少两个聚类标识对应的所述图像集合进行合并。
在一些可选实施例中,例如图7所示,对至少两个聚类标识对应的所述图像集合进行合并的过程可以包括以下步骤501至505:
在步骤501中,将所述聚类标识不同的两个所述图像集合分别作为第二图像集合和第三图像集合。
在本公开实施例中,可以在将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果之后,对至少两个聚类标识对应的所述图像集合进行合并。可选地,可以将聚类标识不同的两个所述图像集合分别作为第二图像集合和第三图像集合。
在步骤502中,基于所述第二图像集合中每张图像对应的所述轨迹分析数据,在所述第二图像集合中确定第二参考图像,以及基于所述第三图像集合中每张图像对应的所述轨迹分析数据,在所述第三图像集合中确定第三参考图像。
云端设备同样可以将第二图像集合中采集时间最晚的一张图像作为第二参考图像,以及将第三图像集合中采集时间最晚的一张图像作为第三参考图像。
在步骤503中,响应于确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,将所述第二图像集合中各张图像分别与所述第三图像集合中各张图像进行相似度匹配,确定多个第二相似度值。
在本公开实施例中,可以在确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件的情况下,将第二图像集合中的任一张图像与第三图像集合中的任一张图像进行相似度匹配,确定至少一个第二相似度值。可选地,第二预设条件与第一预设条件不同。
确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,可以包括以下至少一项:
确定所述第二参考图像对应的第三采集时间与所述第四参考图像对应的第四采集时间之间的时间差小于或等于第二预设时间差;确定所述第二参考图像对应的第三采集位置与所述第四参考图像对应的第四采集位置之间的距离小于或等于第二预设距离值。
在步骤504中,确定超过第二预设阈值的所述第二相似度值的第二数目。在步骤505中,响应于确定所述第二数目占所述第二图像集合和所述第三图像集合中图像总数目的比值超过第二预设比值,合并所述第二图像集合和所述第三图像集合,且合并后的图像集合对应同一聚类标识。
例如第二图像集合对应的聚类标识为标识2、第三图像集合对应的聚类标识为标识3,则两个图像集合合并后,对应同一个聚类标识,该聚类标识可以为标识2或标识3,或用一个异于标识2和标识3的新聚类标识来代替,比如标识X。
上述实施例中,可以对至少两个聚类标识对应的所述图像集合进行合并,确保最终得到的图像聚类结果的准确性,进而确保轨迹分析的准确性。
在一些可选实施例中,例如图8所示,云端设备可以先确定第二参考图像对应的第三采集时间与第三参考图像对应的第四采集时间是否位于同一天内。
在确定第三采集时间与第四采集时间位于同一天内的情况下,此时第二预设阈值假设为阈值4,第二预设比值为比值4,确定超过阈值4的所述第二相似度值的第二数目为M4,占所述第二图像集合和所述第三图像集合中图像总数目N’的比值超过比值4,此时确定需要对所述第二图像集合和所述第三图像集合进行合并。
如果第三采集时间与第四采集时间位于同一天内,但M4与N’的比值未超过比值4,进一步地,可以确定第三采集时间与第四采集时间是否位于同一分钟内,且第三采集位置与第四采集位置之间的距离是否小于或等于第二预设距离值。
如果第三采集时间与第四采集时间位于同一分钟内,且第三采集位置与第四采集位置小于或等于第二预设距离值,此时的第二预设阈值假设为阈值5(阈值5与阈值4可以不同),第二预设比值为比值5(比值5与比值4可以不同),超过阈值5的所述第二相似度值的第二数目为M5,M5与N’的比值超过比值5的情况下,确定需要对所述第二图像集合和所述第三图像集合进行合并。
如果第三采集时间与第四采集时间未位于同一分钟内,和/或第三采集位置与第四采集位置之间的距离大于第二预设距离值,和/或M5与N’的比值未超过比值5,则云端设备可以再次确定第一采集时间与第二采集时间之间的时间差是否小于5分钟,此时的第二预设阈值可以为阈值6(阈值6可以与阈值4、阈值5不同),第二预设比值为比值6(比值6可以与比值4、比值5不同),在第一采集时间与第二采集时间之间的时间差小于5分钟,超过阈值6的所述第二相似度值的第二数目为M6,M6与N’的比值超过比值6的情况下,确定需要对所述第二图像集合和所述第三图像集合进行合并。
否则,确定不需要对所述第二图像集合和所述第三图像集合进行合并。
上述实施例中,可以设置不同的第二预设条件和不同的第二预设比值,从而确定十分需要对所述第二图像集合和所述第三图像集合进行合并,提高了第一聚类结果的准确性。
在本公开实施例中,确定第二聚类结果的方式与上述确定第一聚类结果的方式类似,只是将确定第一聚类结果时的人体图像替换为人脸图像,具体过程在此不再赘述。
在一些可选实施例中,例如图9所示,上述步骤205可以包括以下步骤601至603:
在步骤601中,基于所述第一聚类结果、所述第二聚类结果和多张所述活体图像,确定人体标识和人脸标识之间的对应矩阵。
在本公开实施例中,基于第一聚类结果,可以确定与每张活体图像对应同一聚类标识的至少一张人体图像。
基于第二聚类结果,同样可以确定与每张活体图像对应同一聚类标识的至少一张人联图像。
确定对应同一活体图像的人体图像和人脸图像后,基于该人体图像中出现的每个人体标识与相应的人脸图像中的每个人脸标识,构建对应矩阵,例如对应活体图像1的人体图像包括人体图像1,对应活体图像1的人脸图像包括人脸图像1,人体图像1中出现的人体标识包括人体标识1、人体标识2,人脸图像1中出现的人脸标识包括人脸标识1,则人体标识和人脸标识之间的对应关系包括:人体标识1对应人脸标识1,人体标识2对应人脸标识1。
对应矩阵需要体现所有人体标识和人脸标识之间的对应关系,即使重复也需要重复出现在对应矩阵中,例如根据人体图像2和人脸图像2,再次确定人体标识1对应人脸标识1,则对应矩阵中需要出现2次人体标识1对应人脸标识1。
在步骤602中,基于所述对应矩阵,确定与每个所述人体标识对应的目标人脸标识。
在本公开实施例中,云端设备可以针对每个所述人体标识,基于所述对应矩阵,确定与所述人体标识对应的多个人脸标识。进一步地,云端设备在与所述人体标识对应的多个人脸标识中,将所占比值最大且所占比值超过第三预设比值的一个人脸标识,确定为与所述人体标识对应的所述目标人脸标识。例如,第三预设比值为50%,人体标识1对应2个人脸标识1、1个人脸标识2。其中所占比值最大的人脸标识为人脸标识1,且人脸标识1所占比值为66.7%,超过第三预设比值50%,因此可以将人脸标识1作为人体标识1对应的目标人脸标识。
在步骤603中,基于与每个所述人体标识对应的目标人脸标识,为每张所述人体图像中的每个人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。
在本公开实施例中,可以基于与每个所述人体标识对应的目标人脸标识,在每张人体图像中,为每个人体确定匹配的人脸,从而可以得到与每张所述人体图像对应的关联图像。其中,可以在人体图像中每个人体所在区域添加目标人脸标识对应的人脸特征信息,从而得到关联图像。
上述实施例中,可以将人体图像经过人脸人体关联得到关联图像,后续可以基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析。从而即使在人脸信息捕捉不完整的情况下,也可以快速进行轨迹分析,可用性高。
在本实施例中,可以在安防、零售等多个场景下应用本申请提供的轨迹分析方案,从而自动确定不同人的轨迹分析结果,并显示该轨迹分析结果。安防人员或管理者可以通过显示的轨迹分析结果,确定需要重点关注的人,例如是否存在逃避结账行为的人,是否存在与其他活体进行冲突进而影响安全的人。
下面以线下大卖场为例,对上述轨迹分析方案进行说明。
例如图10A所示,在线下大卖场中设置了多个摄像头,这些摄像头可以根据需要进行设置,例如设置在结账区域,卖场货架区域、卖场无购物结算区域(即图10A种无购物通道对应的区域)等,本公开对此不作限定。
其中,多个摄像头作为图像采集设备可以采集视频数据,确定视频数据的采集信息后,将视频数据和视频数据的采集信息发送给云端设备,云端设备可以是线下大卖场的轨迹分析服务器。
例如图10B所示,云端设备可以基于视频图像,确定多张活体图像,并基于视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置。进一步地,云端设备可以将每张活体图像分别输入人体特征提取神经网络和人脸特征提取神经网络,得到与每张所述活体图像对应的人脸图像和人体图像。将活体图像对应的所述轨迹分析数据,作为对应的人脸图像的轨迹分析数据,以及该活体图像对应的人体图像的所述轨迹分析数据。
进一步地,云端设备可以基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果,以及基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人脸图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人脸图像进行图像聚类,确定第二聚类结果。
云端设备在确定第一聚类结果和第二聚类结果后,可以为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。从而基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析,得到每个卖场中的人的轨迹分析结果。
其中,如果某个人的轨迹分析结果显示其未经过结账区域和无购物通道,云端设备可以确定该人的轨迹分析结果可能需要人工再次审核。云端设备可以从之前获取的视频数据中,获取该人的所有视频数据,并显示。由卖场管理人员再次进行核查,以降低造成经济损失的几率。
上述实施例中,在人流量比较大,捕捉人脸准确信息较为困难的场景中,也可以确定轨迹分析数据,轨迹分析数据至少包括活体图像的采集时间和/或采集位置。使得轨迹分析数据更加丰富、完整。且可以将人体图像与活体图像,以及将人脸图像与活体图像分别进行图像聚类,基于聚类结果快速得到与每个人体匹配的人脸,提高了轨迹分析的准确性。
与前述方法实施例相对应,本公开还提供了装置的实施例。
如图11所示,图11是本公开根据一示例性实施例示出的一种轨迹分析装置框图,装置包括:
第一确定模块701,用于基于由至少一个图像采集设备采集的视频数据,确定多张活体图像;
第二确定模块702,用于基于所述视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置。
在一些可选实施例中,还包括:轨迹分析模块,用于基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析。
在一些可选实施例中,所述活体包括人,所述轨迹分析模块包括:第一确定子模块,用于分别确定与每张所述活体图像对应的人脸图像和人体图像;第二确定子模块,用于基于每张所述活体图像对应的所述轨迹分析数据,确定每张所述人脸图像对应的所述轨迹分析数据,以及每张所述人体图像对应的所述轨迹分析数据;第一图像聚类子模块,用于基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果;第二图像聚类子模块,用于基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人脸图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人脸图像进行图像聚类,确定第二聚类结果;关联子模块,用于基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像;轨迹分析子模块,用于基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析。
在一些可选实施例中,所述第一图像聚类子模块包括:第一确定单元,用于确定待聚类图像和多个图像集合;其中,所述待聚类图像是多张所述活体图像和多张所述人体图像中待确定所对应的聚类标识的一张目标图像,所述图像集合是多张所述活体图像和多张所述人体图像中,由已确定对应同一聚类标识的图像组成的图像集合;匹配单元,用于将所述待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,基于匹配结果,在多个所述图像集合对应的所述聚类标识中,确定与所述待聚类图像对应的备选聚类标识;第二确定单元,用于基于所述备选聚类标识,确定所述待聚类图像对应的目标聚类标识;第三确定单元,用于基于所述多张活体图像和多张人体图像中每张图像对应的所述目标聚类标识,得到所述第一聚类结果。
在一些可选实施例中,所述匹配单元用于将每个所述图像集合作为第一图像集合,基于所述第一图像集合中每张图像对应的所述轨迹分析数据,在所述第一图像集合中确定第一参考图像;响应于确定所述待聚类图像对应的所述轨迹分析数据与所述第一参考图像对应的所述轨迹分析数据之间满足第一预设条件,将所述待聚类图像与所述第一图像集合中的每张图像分别进行相似度匹配,确定至少一个第一相似度值;确定超过第一预设阈值的所述第一相似度值的第一数目;响应于确定所述第一数目占所述第一图像集合中图像总数目的比值超过第一预设比值,将所述第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
在一些可选实施例中,所述匹配单元还用于将所述第一图像集合中采集时间最晚的一张图像作为所述第一参考图像。
在一些可选实施例中,所述匹配单元还用于执行以下至少一项:确定所述待聚类图像对应的第一采集时间与所述第一参考图像对应的第二采集时间之间的时间差小于或等于第一预设时间差;确定所述待聚类图像对应的第一采集位置与所述第一参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值。
在一些可选实施例中,所述视频数据的采集信息包括采集所述视频数据的图像采集设备标识;所述匹配单元还用于确定所述待聚类图像对应的所述图像采集设备标识和所述第一参考图像对应的所述图像采集设备标识匹配。
在一些可选实施例中,所述第二确定单元用于在所述备选聚类标识的数目为多个时,分别确定每个所述备选聚类标识对应的所述图像集合中多张图像对应的平均特征向量值,以得到多个所述平均特征向量值;确定所述待聚类图像对应的特征向量值;将多个所述平均特征向量值中与所述特征向量值的乘积的最大值对应平均特征向量值指向的备选聚类标识,确定为所述待聚类图像对应的所述目标聚类标识。
在一些可选实施例中,还包括:第三确定模块,用于响应于在多个所述图像集合对应的聚类标识中,确定不存在与所述待聚类图像对应的所述备选聚类标识,确定一个新聚类标识;第四确定模块,用于将所述新聚类标识确定为所述待聚类图像对应的所述目标聚类标识。
在一些可选实施例中,还包括:合并模块,用于基于每个所述图像集合中每张图像对应的所述轨迹分析数据,对至少两个聚类标识对应的所述图像集合进行合并。
在一些可选实施例中,所述合并模块包括:第三确定子模块,用于将所述聚类标识不同的两个所述图像集合分别作为第二图像集合和第三图像集合;第四确定子模块,用于基于所述第二图像集合中每张图像对应的所述轨迹分析数据,在所述第二图像集合中确定第二参考图像,以及基于所述第三图像集合中每张图像对应的所述轨迹分析数据,在所述第三图像集合中确定第三参考图像;匹配子模块,用于响应于确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,将所述第二图像集合中各张图像分别与所述第三图像集合中各张图像进行相似度匹配,确定多个第二相似度值;第五确定子模块,用于确定超过第二预设阈值的所述第二相似度值的第二数目;合并子模块,用于响应于确定所述第二数目占所述第二图像集合和所述第三图像集合中图像总数目的比值超过第二预设比值,合并所述第二图像集合和所述第三图像集合,且合并后的图像集合对应同一聚类标识。
在一些可选实施例中,所述匹配子模块包括以下至少一项:第四确定单元,用于确定所述第二参考图像对应的第三采集时间与所述第四参考图像对应的第四采集时间之间的时间差小于或等于第二预设时间差;第五确定单元,用于确定所述第二参考图像对应的第三采集位置与所述第四参考图像对应的第四采集位置之间的距离小于或等于第二预设距离值。
在一些可选实施例中,所述关联子模块包括:第六确定单元,用于基于所述第一聚类结果、所述第二聚类结果和多张所述活体图像,确定人体标识和人脸标识之间的对应矩阵;第七确定单元,用于基于所述对应矩阵,确定与每个所述人体标识对应的目标人脸标识;关联单元,用于基于与每个所述人体标识对应的目标人脸标识,为每张所述人体图像中的每个人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。
在一些可选实施例中,所述第七确定单用于针对每个所述人体标识,基于所述对应矩阵,确定与所述人体标识对应的多个人脸标识;在与所述人体标识对应的多个人脸标识中,将所占比值最大且所占比值超过第三预设比值的一个人脸标识,确定为与所述人体标识对应的所述目标人脸标识。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本公开实施例还提供了一种计算机可读存储介质,存储介质存储有计算机程序,计算机程序用于执行上述任一所述的轨迹分析方法。
在一些可选实施例中,本公开实施例提供了一种计算机程序产品,包括计算机可读代码,当计算机可读代码在设备上运行时,设备中的处理器执行用于实现如上任一实施例提供的轨迹分析方法的指令。
在一些可选实施例中,本公开实施例还提供了另一种计算机程序产品,用于存储计算机可读指令,指令被执行时使得计算机执行上述任一实施例提供的轨迹分析方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
本公开实施例还提供了一种轨迹分析装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为调用所述存储器中存储的可执行指令,实现上述任一项所述的轨迹分析方法。
图12为本公开实施例提供的一种轨迹分析装置的硬件结构示意图。该轨迹分析装置810包括处理器811,还可以包括输入装置812、输出装置813和存储器814。该输入装置812、输出装置813、存储器814和处理器811之间通过总线相互连接。
存储器包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable readonly memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置用于输入数据和/或信号,以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件,也可以是一个整体的器件。
处理器可以包括是一个或多个处理器,例如包括一个或多个中央处理器(centralprocessing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据,执行上述方法实施例中的步骤。具体可参见方法实施例中的描述,在此不再赘述。
可以理解的是,图12仅仅示出了一种轨迹分析装置的简化设计。在实际应用中,轨迹分析装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等,而所有可以实现本公开实施例的轨迹分析装置都在本公开的保护范围之内。
例如图13所示,本公开还提供了一种轨迹分析系统,包括至少一个图像采集设备901和云端设备902,在实际应用中图像采集设备901的数量可以多于或少于图13所示的情况,在此不予限定。
其中,所述图像采集设备901用于采集视频数据,确定所述视频数据的采集信息,以及将所述视频数据和所述采集信息发送给云端设备;
所述云端设备902用于执行上述任一项所述的轨迹分析方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已,并不用以限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开保护的范围之内。
Claims (17)
1.一种轨迹分析方法,其特征在于,包括:
基于由至少一个图像采集设备采集的视频数据,确定多张活体图像;
基于所述视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置;
还包括:
基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析;
所述活体包括人,所述基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析,至少包括:
分别确定与每张所述活体图像对应的人脸图像和人体图像;
基于每张所述活体图像对应的所述轨迹分析数据,确定每张所述人脸图像对应的所述轨迹分析数据,以及每张所述人体图像对应的所述轨迹分析数据;
基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果;
基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人脸图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人脸图像进行图像聚类,确定第二聚类结果;
其中,所述第一聚类结果基于所述轨迹分析数据的相似度以及图像相似度匹配确定,和/或,所述第二聚类结果基于所述轨迹分析数据的相似度以及图像相似度匹配确定;
其中,所述基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析,还包括:
基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像;
基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析。
2.根据权利要求1所述的方法,其特征在于,所述基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果,包括:
确定待聚类图像和多个图像集合;其中,所述待聚类图像是多张所述活体图像和多张所述人体图像中待确定所对应的聚类标识的一张目标图像,所述图像集合是多张所述活体图像和多张所述人体图像中,由已确定对应同一聚类标识的图像组成的图像集合;
将所述待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,基于匹配结果,在多个所述图像集合对应的所述聚类标识中,确定与所述待聚类图像对应的备选聚类标识;
基于所述备选聚类标识,确定所述待聚类图像对应的目标聚类标识;
基于所述多张活体图像和多张人体图像中每张图像对应的所述目标聚类标识,得到所述第一聚类结果。
3.根据权利要求2所述的方法,其特征在于,所述将所述待聚类图像与每个所述图像集合中的图像进行所述轨迹分析数据的匹配以及图像相似度匹配,基于匹配结果,在多个所述图像集合对应的所述聚类标识中,确定与所述待聚类图像对应的备选聚类标识,包括:
将每个所述图像集合作为第一图像集合,基于所述第一图像集合中每张图像对应的所述轨迹分析数据,在所述第一图像集合中确定第一参考图像;
响应于确定所述待聚类图像对应的所述轨迹分析数据与所述第一参考图像对应的所述轨迹分析数据之间满足第一预设条件,将所述待聚类图像与所述第一图像集合中的每张图像分别进行相似度匹配,确定至少一个第一相似度值;
确定超过第一预设阈值的所述第一相似度值的第一数目;
响应于确定所述第一数目占所述第一图像集合中图像总数目的比值超过第一预设比值,将所述第一图像集合对应的聚类标识确定为所述待聚类图像对应的所述备选聚类标识。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一图像集合中每张图像对应的所述轨迹分析数据,在所述第一图像集合中确定第一参考图像,包括:
将所述第一图像集合中采集时间最晚的一张图像作为所述第一参考图像。
5.根据权利要求3或4所述的方法,其特征在于,所述确定所述待聚类图像对应的所述轨迹分析数据与所述第一参考图像对应的所述轨迹分析数据之间满足第一预设条件,包括以下至少一项:
确定所述待聚类图像对应的第一采集时间与所述第一参考图像对应的第二采集时间之间的时间差小于或等于第一预设时间差;
确定所述待聚类图像对应的第一采集位置与所述第一参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值。
6.根据权利要求5所述的方法,其特征在于,所述视频数据的采集信息包括采集所述视频数据的图像采集设备标识;
所述确定所述待聚类图像对应的第一采集位置与所述参考图像对应的第二采集位置之间的距离小于或等于第一预设距离值,包括:
确定所述待聚类图像对应的所述图像采集设备标识和所述第一参考图像对应的所述图像采集设备标识匹配。
7.根据权利要求6所述的方法,其特征在于,所述基于所述备选聚类标识,确定所述待聚类图像对应的目标聚类标识,包括:
在所述备选聚类标识的数目为多个时,分别确定每个所述备选聚类标识对应的所述图像集合中多张图像对应的平均特征向量值,以得到多个所述平均特征向量值;
确定所述待聚类图像对应的特征向量值;
将多个所述平均特征向量值中与所述特征向量值的乘积的最大值对应平均特征向量值指向的备选聚类标识,确定为所述待聚类图像对应的所述目标聚类标识。
8.根据权利要求2-4任一项所述的方法,其特征在于,还包括:
响应于在多个所述图像集合对应的聚类标识中,确定不存在与所述待聚类图像对应的所述备选聚类标识,确定一个新聚类标识;
将所述新聚类标识确定为所述待聚类图像对应的所述目标聚类标识。
9.根据权利要求2-4任一项所述的方法,其特征在于,还包括:
基于每个所述图像集合中每张图像对应的所述轨迹分析数据,对至少两个聚类标识对应的所述图像集合进行合并。
10.根据权利要求9所述的方法,其特征在于,所述基于每个所述图像集合中每张图像对应的所述轨迹分析数据,对至少两个聚类标识对应的所述图像集合进行合并,包括:
将所述聚类标识不同的两个所述图像集合分别作为第二图像集合和第三图像集合;
基于所述第二图像集合中每张图像对应的所述轨迹分析数据,在所述第二图像集合中确定第二参考图像,以及基于所述第三图像集合中每张图像对应的所述轨迹分析数据,在所述第三图像集合中确定第三参考图像;
响应于确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,将所述第二图像集合中各张图像分别与所述第三图像集合中各张图像进行相似度匹配,确定多个第二相似度值;
确定超过第二预设阈值的所述第二相似度值的第二数目;
响应于确定所述第二数目占所述第二图像集合和所述第三图像集合中图像总数目的比值超过第二预设比值,合并所述第二图像集合和所述第三图像集合,且合并后的图像集合对应同一聚类标识。
11.根据权利要求10所述的方法,其特征在于,所述确定所述第二参考图像对应的所述轨迹分析数据与所述第三参考图像对应的所述轨迹分析数据之间满足第二预设条件,包括以下至少一项:
确定所述第二参考图像对应的第三采集时间与所述第三参考图像对应的第四采集时间之间的时间差小于或等于第二预设时间差;
确定所述第二参考图像对应的第三采集位置与所述第三参考图像对应的第四采集位置之间的距离小于或等于第二预设距离值。
12.根据权利要求1-4任一项所述的方法,其特征在于,所述基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像,包括:
基于所述第一聚类结果、所述第二聚类结果和多张所述活体图像,确定人体标识和人脸标识之间的对应矩阵;
基于所述对应矩阵,确定与每个所述人体标识对应的目标人脸标识;
基于与每个所述人体标识对应的目标人脸标识,为每张所述人体图像中的每个人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像。
13.根据权利要求12所述的方法,其特征在于,所述基于所述对应矩阵,确定与每个所述人体标识对应的目标人脸标识,包括:
针对每个所述人体标识,基于所述对应矩阵,确定与所述人体标识对应的多个人脸标识;
在与所述人体标识对应的多个人脸标识中,将所占比值最大且所占比值超过第三预设比值的一个人脸标识,确定为与所述人体标识对应的所述目标人脸标识。
14.一种轨迹分析装置,其特征在于,包括:
第一确定模块,用于基于由至少一个图像采集设备采集的视频数据,确定多张活体图像;
第二确定模块,用于基于所述视频数据的采集信息,确定每张所述活体图像对应的轨迹分析数据,所述轨迹分析数据至少包括所述活体图像的采集时间和/或采集位置;
还包括:
轨迹分析模块,用于基于每张所述活体图像对应的所述轨迹分析数据,对多张所述活体图像中的活体进行轨迹分析;
所述活体包括人,所述轨迹分析模块至少包括:
第一确定子模块,用于分别确定与每张所述活体图像对应的人脸图像和人体图像;
第二确定子模块,用于基于每张所述活体图像对应的所述轨迹分析数据,确定每张所述人脸图像对应的所述轨迹分析数据,以及每张所述人体图像对应的所述轨迹分析数据;
第一图像聚类子模块,用于基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人体图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人体图像进行图像聚类,确定第一聚类结果;
第二图像聚类子模块,用于基于每张所述活体图像对应的所述轨迹分析数据以及每张所述人脸图像对应的所述轨迹分析数据,将多张所述活体图像和多张所述人脸图像进行图像聚类,确定第二聚类结果;
其中,所述第一聚类结果基于所述轨迹分析数据的相似度以及图像相似度匹配确定,和/或,所述第二聚类结果基于所述轨迹分析数据的相似度以及图像相似度匹配确定;
其中,所述轨迹分析模块还包括:
关联子模块,用于基于所述第一聚类结果和所述第二聚类结果,为每张所述人体图像中的人体关联匹配的人脸,得到与每张所述人体图像对应的关联图像;
轨迹分析子模块,用于基于多张所述人脸图像、多张所述活体图像和多张所述关联图像,对多张所述活体图像中的人进行轨迹分析。
15.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-13任一所述的轨迹分析方法。
16.一种轨迹分析装置,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现权利要求1-13中任一项所述的轨迹分析方法。
17.一种轨迹分析系统,其特征在于,包括至少一个图像采集设备和云端设备;
其中,所述图像采集设备用于采集视频数据,确定所述视频数据的采集信息,以及将所述视频数据和所述采集信息发送给云端设备;
所述云端设备用于执行权利要求1-13任一项所述的轨迹分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110729593.5A CN113344124B (zh) | 2021-06-29 | 2021-06-29 | 轨迹分析方法及装置、存储介质和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110729593.5A CN113344124B (zh) | 2021-06-29 | 2021-06-29 | 轨迹分析方法及装置、存储介质和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113344124A CN113344124A (zh) | 2021-09-03 |
CN113344124B true CN113344124B (zh) | 2023-11-28 |
Family
ID=77481381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110729593.5A Active CN113344124B (zh) | 2021-06-29 | 2021-06-29 | 轨迹分析方法及装置、存储介质和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113344124B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115170616B (zh) * | 2022-09-08 | 2022-11-18 | 欣诚信息技术有限公司 | 人员轨迹分析方法、装置、终端及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015089949A1 (zh) * | 2013-12-19 | 2015-06-25 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
CN109117803A (zh) * | 2018-08-21 | 2019-01-01 | 腾讯科技(深圳)有限公司 | 人脸图像的聚类方法、装置、服务器及存储介质 |
CN110852269A (zh) * | 2019-11-11 | 2020-02-28 | 青岛海信网络科技股份有限公司 | 一种基于特征聚类的跨镜头人像关联分析方法及装置 |
CN111291678A (zh) * | 2020-02-06 | 2020-06-16 | 北京爱笔科技有限公司 | 一种基于多特征融合的人脸图像聚类方法及装置 |
CN111709382A (zh) * | 2020-06-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 人体轨迹处理方法、装置、计算机存储介质以及电子设备 |
CN112100305A (zh) * | 2020-09-15 | 2020-12-18 | 重庆中科云从科技有限公司 | 一种基于多源数据的轨迹确定方法、装置、设备及介质 |
-
2021
- 2021-06-29 CN CN202110729593.5A patent/CN113344124B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015089949A1 (zh) * | 2013-12-19 | 2015-06-25 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
CN109117803A (zh) * | 2018-08-21 | 2019-01-01 | 腾讯科技(深圳)有限公司 | 人脸图像的聚类方法、装置、服务器及存储介质 |
CN110852269A (zh) * | 2019-11-11 | 2020-02-28 | 青岛海信网络科技股份有限公司 | 一种基于特征聚类的跨镜头人像关联分析方法及装置 |
CN111291678A (zh) * | 2020-02-06 | 2020-06-16 | 北京爱笔科技有限公司 | 一种基于多特征融合的人脸图像聚类方法及装置 |
CN111709382A (zh) * | 2020-06-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 人体轨迹处理方法、装置、计算机存储介质以及电子设备 |
CN112100305A (zh) * | 2020-09-15 | 2020-12-18 | 重庆中科云从科技有限公司 | 一种基于多源数据的轨迹确定方法、装置、设备及介质 |
Non-Patent Citations (2)
Title |
---|
Kiyosumi Kidono 等.Pedestrian Recognition Using High-definition LIDAR.2011 IEEE Intelligent Vehicles Symposium (IV).2011,全文. * |
张锦堂 等.以行人再识别技术为核心的多算法融合模型在网格化管理中的应用.网络空间安全.2020,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113344124A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110490078B (zh) | 监控视频处理方法、装置、计算机设备和存储介质 | |
CN108509896B (zh) | 一种轨迹跟踪方法、装置和存储介质 | |
CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
JP7292492B2 (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
CN105913507B (zh) | 一种考勤方法及系统 | |
KR102225613B1 (ko) | 사람 재식별 장치 및 방법 | |
CN110111136B (zh) | 视频数据处理方法、装置、计算机设备和存储介质 | |
CN111241932A (zh) | 汽车展厅客流检测与分析系统、方法及存储介质 | |
CN108171138B (zh) | 一种生物特征信息获取方法和装置 | |
CN108108711B (zh) | 人脸布控方法、电子设备及存储介质 | |
CN110175553B (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
WO2020065954A1 (ja) | 認証装置、認証方法および記憶媒体 | |
CN113630721A (zh) | 推荐游览路线的生成方法和装置、及计算机可读存储介质 | |
US10891561B2 (en) | Image processing for item recognition | |
CN113344124B (zh) | 轨迹分析方法及装置、存储介质和系统 | |
CN113673308B (zh) | 对象识别方法、装置和电子系统 | |
US10824868B2 (en) | Image processing for determining relationships between tracked objects | |
Guehairia et al. | Deep random forest for facial age estimation based on face images | |
Merghani et al. | Adaptive mask for region-based facial micro-expression recognition | |
CN111242714A (zh) | 产品推荐方法及装置 | |
CN112001280A (zh) | 一种实时、可在线优化的人脸识别系统和方法 | |
CN109948718B (zh) | 一种基于多算法融合的系统及方法 | |
Chakraborty et al. | Person re-identification using multiple first-person-views on wearable devices | |
CN110956098B (zh) | 图像处理方法及相关设备 | |
CN113837066A (zh) | 行为识别方法、装置、电子设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |