CN110399835B - 一种人员停留时间的分析方法、装置及系统 - Google Patents
一种人员停留时间的分析方法、装置及系统 Download PDFInfo
- Publication number
- CN110399835B CN110399835B CN201910679529.3A CN201910679529A CN110399835B CN 110399835 B CN110399835 B CN 110399835B CN 201910679529 A CN201910679529 A CN 201910679529A CN 110399835 B CN110399835 B CN 110399835B
- Authority
- CN
- China
- Prior art keywords
- store
- body information
- human body
- feature vector
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 25
- 239000013598 vector Substances 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 210000001202 rhombencephalon Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及人工智能技术领域，公开了一种人员停留时间的分析方法、装置及系统。该方法包括：获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；将带有人脸和/或人体信息的所述进店和出店人员图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。采用本发明技术方案只需要在进出口处设置一个智能设备即可精确统计进出人员停留时间。
Description
技术领域
本发明涉及人工智能技术领域，特别涉及一种人员停留时间的分析方法、装置及系统。
背景技术
近年来，以卷积神经网络为代表的深度学习技术被广泛应用于各类人工智能任务，例如物体分类、人脸识别、行人身份再识别等。卷积神经网络在这些问题上取得的突破性进展源于其层次化的学习结构所带来的强大表达能力。在客流统计应用场景中，行人在商铺的停留时间是一个非常重要的参数，一般行人停留时间的长短与购买意愿和成交率正相关，也能反应出商品的市场受欢迎程度。现有技术中客人停留时间的统计方法通常是在商铺内安装多个视频摄像头，以覆盖整个商铺区域，通过各个摄像头的配合将进入店铺的人员轨迹进行跟踪分析，最终获取人员停留时间。
在现有技术的实现过程中，发明人发现现有技术至少存在如下技术问题：
现有技术中需要安装多个摄像头拍摄整个店面区域，使用跟踪算法跟踪进店的每一个人员。当跟踪轨迹结束时，使用跟踪轨迹的时间判断人员滞留时间。但是在上述行人检测和跟踪过程中很容易受到遮挡、变形等因素导致跟踪失败，导致对人员停留时间的计算很粗略和不精确，且需要多台硬件设备配合实现，从而使得系统的使用和维护成本较高。
发明内容
本发明的目的在于提供一种人员停留时间的分析方法、装置及系统，以克服现有技术中人员停留时间精度不高，且使用和维护成本高的缺陷。
为解决上述技术问题，本发明的实施方式提供了一种人员停留时间的分析方法，包括：
获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；
将带有人脸和/或人体信息的所述进店和出店人员图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；
将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间；
其中，所述人体信息至少包括：人后脑勺信息，前半身信息，后半身信息和全身特征信息中一种。
本发明的实施方式还提供了一种人员停留时间的分析装置，包括。
图像获取单元，用于获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；
图像处理单元，用于将带有人脸和/或人体信息的所述进店和出店人员图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；
停留时间获取单元，用于将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间；
其中，所述人体信息至少包括：人后脑勺信息，前半身信息，后半身信息和全身特征信息中一种。
本发明的实施方式还提供了一种人员停留时间的分析系统，包括：如上所述人员停留时间的分析装置。
本发明提供的一种人员停留时间的分析方法、装置及系统，通过将带有人脸和/或人体信息的所述进店和出店人员图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。本发明通过使用人员重识别人脸和人体特征，且只使用出入口处安装智能设备即可得到店内人员的停留时间，不但提高了人员停留时间判断的准确度，且降低了设备安装和数据计算的成本。
附图说明
图1是本发明实施例提供的一种人员停留时间的分析方法流程图；
图2是本发明实施例提供的另一种人员停留时间的分析方法流程图；
图3是本发明实施例提供的一种人员停留时间的分析装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
本发明的第一实施方式涉及一种人员停留时间的分析方法。具体流程如图1所示。该方法包括：
101：获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；
102：将带有人脸和/或人体信息的所述进店和出店人员图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；需要说明的是，该步骤具体包括：
获取预设图像参数；
根据所述带有人脸和/或人体信息的所述进店和出店人员图像，获取关键点信息；
根据所述预设图像参数和关键点信息，将所述带有人脸和/或人体信息的进店和出店人员图像进行图像处理，获取所述预设图像；所述预设图像包括：带有人脸和/或人体信息的进店人员预设图像，带有人脸和/或人体信息的出店人员预设图像；
将所述预设图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量。其中，所述预设图像可以通过重识别模型，获取行人重识别特征向量；
需要说明的是，所述重识别模型采用改进版的多粒度网络MGN作为网络架构，添加通道上的注意力机制。
还需要说明的是，所述重识别模型，采用等概约束的交叉熵作为训练的损失函数。
103：将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
需要说明的是，步骤103可以按照实时或者预设重识别特征向量的获取时间间隔两种方式进行人员停留时间的分析。
其中，当采用实时获取时间间隔方式进行人员停留时间的分析的具体实现过程如下：
实时获取所述带有人脸和/或人体信息的出店人员重识别特征向量；
将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
另外，当采用预设重识别特征向量的获取时间间隔方式进行人员停留时间的分析的具体实现过程如下：
预设重识别特征向量的获取时间间隔；
根据所述重识别特征向量的获取时间间隔，获取所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量；
将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
还需要说明的是，以上所述人体信息至少包括：人后脑勺信息，前半身信息，后半身信息和全身特征信息中一种。
本发明提供的一种人员停留时间的分析方法、装置及系统，通过将带有人脸和/或人体信息的所述进店和出店人员图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。本发明通过使用人员重识别人脸和人体特征，且只使用出入口处安装智能设备即可得到店内人员的停留时间，不但提高了人员停留时间判断的准确度，且降低了设备安装和数据计算的成本。
本发明技术方案通过带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。由于本发明技术方案采用的是带有人脸和/或人体信息的图片进行行人重识别，使得人员停留时间判断的准确度大大提高。此外，本发明技术方案仅仅需要再店铺进出入口处设置智能设备进行视频图像采集，获取带有人脸和/或人体信息的进出店人员的原始图片，与现有技术相比，无需在店铺全点设置视频采集设备，即可精确的完成进出店人员的停留时间的统计，从而大大降低了硬件设备的配置、安装及系统维护成本。与此同时，本发明技术方案，还可以通过预设重识别特征向量的获取时间间隔，或者采用实时进行出店人员重识别特征匹配，从而不但可以满足用户实时了解店铺内客流停留时间，也可以通过预设重识别特征向量的获取时间间隔，满足短时，或者长时间间隔内店铺内客流停留时间。
基于以上如图1所示的具体实施例，以下设预设图像参数为：预设图片大小为128x384；预设图片大小根据重识别模型的需求可以预设；设所述重识别模型采用改进版的多粒度网络MGN作为网络架构，添加通道上的注意力机制；采用等概约束的交叉熵作为训练的损失函数；采用实时获取重识别特征向量方式进行人员停留时间的分析；则所述人员停留时间的分析方法的具体实现过程如图2所示，具体流程如下：
201：获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；该步骤通过实时检测和跟踪，获取店铺进入或者出去的行人轨迹。为了提高检测的召回率，本发明技术方案使用的检测器可以同时检测人脸、人后脑勺和半身，并进行过滤：如果在同一位置，同时检测到人脸和半身，记录检测框属性为“人脸”；同时检测到人后脑勺和半身，记录检测框属性为“人后脑勺”；只检测到半身时，记录检测框属性为“半身”。在轨迹跟踪过程中，存储人头中心点的坐标、人头检测框大小、检测框属性和对应的帧数；当检测到有出去的人员时，则启动后续流程。
需要说明的是，使用智能判断人体进出的算法，判断轨迹是一个进门的顾客还是出门的顾客，并分别保存进门顾客和出门顾客的抓拍图像。
202：获取预设图像参数；即预设图片大小为128x384；
203：根据所述带有人脸和/或人体信息的所述进店和出店人员图像，获取关键点信息；
需要说明的是，因为进店和出点人员在图像中人体姿态各异，为了提高提取特征的质量，需要提前对抓拍的图像做人体关键点检测以更准确的确定人体的位置。设人脸检测框大小为s，以人脸中心点的坐标为原点向上扩展0.1倍s，向下扩展7倍s，向左右各扩展2.5倍s，获得一个粗略的全身人体图像，将这个图像缩放到288x384的大小后送入关键点检测模型，得到17个人体关键点，以及各个关键点的置信度。所述关键点检测模型采用ResNet50作为网络架构。
204：根据所述预设图像参数和关键点信息，将所述带有人脸和/或人体信息的进店和出店人员图像进行图像处理，获取所述预设图像；所述预设图像包括：带有人脸和/或人体信息的进店人员预设图像，带有人脸和/或人体信息的出店人员预设图像；将所述预设图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量。其中，所述预设图像可以通过重识别模型，获取行人重识别特征向量；具体为：
根据所述关键点信息，通过仿射变换将人体抓拍图像(即步骤201获取的进店和出店人员图像，即原始抓拍图像)映射为一个128x384的图像再送入重识别模型(REID模型)中，获取行人重识别特征向量。所述行人重识别特征向量可以表征行人的相似度，同一人的特征距离较近，不同人距离较远。
所述REID模型采用改进版的多粒度网络MGN作为网络架构，添加了通道上的注意力机制(channel-wise Attention)，并且采用等概约束的交叉熵作为训练的损失函数。以上改进可以带来约2％的精度提升。其中，等概约束的交叉熵损失函数定义如下：
定义归一化的非真实类别上的预测输出为：
其中，wj和bj是第j类的分类向量和偏置，K是总类别数。
定义等概损失函数为：
最终损失函数为：
Lad-softmax＝Lsoftmax-λLep。
205：将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
基于以上实施例，每当抓拍到一个出门顾客时就可以立即在库内进行匹配找到该顾客的进入时间。当用户对顾客停留时间这项数据的实时性要求不高时，本发明技术方案还将另外提供一种匹配策略；即当采用预设重识别特征向量的获取时间间隔方式进行人员停留时间时，设预设重识别特征向量的获取时间间隔为2小时；则采用构造二分图并进行短时匹配。
每隔2小时计算2小时内所有进门顾客和出门顾客抓拍图像的重识别(reid)特征。不论进出每次抓拍都会得到多张图像，对两组图像提取特征。计算两组图像之间的所有配对组合的距离，取距离最近的前n对组合的距离的均值作为这两次抓拍的距离。使用每个顾客作为节点，如果进门顾客和出门顾客的距离小于距离阈值，则构造一个边将这个进门顾客和出门顾客连接起来，最终得到一个用距离作为边权重的二分图。接下来，使用匈牙利算法，进行二分图匹配，找到最小权匹配，即该匹配可以配对的抓拍组合距离之和最近。所有配对成功的结果视为同一顾客进出门的抓拍。抓拍图像时间戳之差即为顾客的停留时间。
这种同时计算一段时间内顾客抓拍的策略可以很大程度上避免误匹配带来的影响，提高数据的可靠性。匈牙利算法的使用也极大的提升了匹配的速度。
基于以上实施例，对于客户停留时间准确度要求较高的用户，则进行长滞留时间的顾客匹配。例如设预设重识别特征向量的获取时间间隔为1天。
需要说明的是，以上所述重识别特征向量为分段特征向量；该特征向量包含三种粒度；粒度1包括：全局特征向量；粒度2包括：全局特征向量、身体上段特征向量、身体下段特征向量；粒度3包括：全局特征向量、身体上段特征向量、身体中段特征向量、身体下段特征向量。计算一对特征向量的各特征段之间的余弦距离，对得到的余弦距离做加权平均得到这对特征之间的距离。当人体出现遮挡现象的时候，对应遮挡位置的关键点置信度会降低，在做加权平均时会降低置信度低的关键点对应的特征段的权重。
本发明第二实施方式涉及一种人员停留时间的分析装置，如图3所示，该装置包括：
图像获取单元301，用于获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；
图像处理单元302，用于将带有人脸和/或人体信息的所述进店和出店人员图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；
停留时间获取单元303，用于将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间；
其中，所述人体信息至少包括：人后脑勺信息，前半身信息，后半身信息和全身特征信息中一种。
本发明第三实施方式涉及一种人员停留时间的分析系统，该系统包括：如上所述人员停留时间的分析装置。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种人员停留时间的分析方法，其特征在于，包括：
获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；
将带有人脸和/或人体信息的所述进店和出店人员图像通过重识别模型进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；
将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间；
其中，所述人体信息至少包括：人后脑勺信息，前半身信息，后半身信息和全身特征信息中一种；并且
其中，所述重识别模型采用改进版的多粒度网络MGN作为网络架构，添加通道上的注意力机制；所述重识别模型采用等概约束的交叉熵作为训练的损失函数；
所述训练的损失函数表示为：
Lad-softmax＝Lsoftmax-λLep；
其中，Lsoftmax表示交叉熵损失函数，Lep为等概损失函数，Lep表示为：
其中，qk满足：
其中，wj和bj是第j类的分类向量和偏置，K是总类别数，yi表示真实类别。
2.根据权利要求1所述的人员停留时间的分析方法，其特征在于，所述将带有人脸和/或人体信息的所述进店和出店人员图像通过重识别模型进行图像处理，获取行人重识别特征向量，具体包括：
获取预设图像参数；
根据所述带有人脸和/或人体信息的所述进店和出店人员图像，获取关键点信息；
根据所述预设图像参数和关键点信息，将所述带有人脸和/或人体信息的进店和出店人员图像进行图像处理，获取所述预设图像；所述预设图像包括：带有人脸和/或人体信息的进店人员预设图像，带有人脸和/或人体信息的出店人员预设图像；
将所述预设图像通过重识别模型进行图像处理，获取行人重识别特征向量。
3.根据权利要求1或2所述的人员停留时间的分析方法，其特征在于，所述将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间步骤，包括：
实时获取所述带有人脸和/或人体信息的出店人员重识别特征向量；
将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
4.根据权利要求或2所述的人员停留时间的分析方法，其特征在于，所述将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间步骤，包括：
预设重识别特征向量的获取时间间隔；
根据所述重识别特征向量的获取时间间隔，获取所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量；
将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
5.一种人员停留时间的分析装置，其特征在于，包括：
图像获取单元，用于获取进店和出店人员图像；所述进店和出店人员图像带有人脸和/或人体信息；
图像处理单元，用于将带有人脸和/或人体信息的所述进店和出店人员图像通过重识别模型进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量；
停留时间获取单元，用于将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间；
其中，所述人体信息至少包括：人后脑勺信息，前半身信息，后半身信息和全身特征信息中一种；并且
其中，所述重识别模型采用改进版的多粒度网络MGN作为网络架构，添加通道上的注意力机制；所述重识别模型采用等概约束的交叉熵作为训练的损失函数；
所述训练的损失函数表示为：
Lad-softmax＝Lsoftmax-λLep；
其中，Lsoftmax表示交叉熵损失函数，Lep为等概损失函数，Lep表示为：
其中，qk满足：
其中，wj和bj是第j类的分类向量和偏置，K是总类别数，yi表示真实类别。
6.根据权利要求5所述的人员停留时间的分析装置，其特征在于，所述图像处理单元，具体包括：
参数获取子单元，用于获取预设图像参数；
关键点信息获取子单元，用于根据所述带有人脸和/或人体信息的所述进店和出店人员图像，获取关键点信息；
图像处理子单元，用于根据所述预设图像参数和关键点信息，将所述带有人脸和/或人体信息的进店和出店人员图像进行图像处理，获取所述预设图像；所述预设图像包括：带有人脸和/或人体信息的进店人员预设图像，带有人脸和/或人体信息的出店人员预设图像；
向量获取子单元，用于将所述预设图像进行图像处理，获取行人重识别特征向量；所述行人重识别特征向量包括：带有人脸和/或人体信息的出店人员重识别特征向量，带有人脸和/或人体信息的进店人员重识别特征向量。
7.根据权利要求5或6中任意一项所述的人员停留时间的分析装置，其特征在于，所述停留时间获取单元，包括：
向量获取子单元，用于实时获取所述带有人脸和/或人体信息的出店人员重识别特征向量；
停留时间获取子单元，用于将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
8.根据权利要求5或6所述的人员停留时间的分析装置，其特征在于，所述停留时间获取单元，包括:
预设子单元，用于预设重识别特征向量的获取时间间隔；
向量获取子单元，用于根据所述重识别特征向量的获取时间间隔，获取所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量；
停留时间获取子单元，用于将所述带有人脸和/或人体信息的出店人员重识别特征向量和所述带有人脸和/或人体信息的进店人员重识别特征向量进行匹配，获取同一人的停留时间。
9.一种人员停留时间的分析系统，其特征在于，包括：如权利要求5-8中任意一项所述的人员停留时间的分析装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910679529.3A CN110399835B (zh) | 2019-07-26 | 2019-07-26 | 一种人员停留时间的分析方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910679529.3A CN110399835B (zh) | 2019-07-26 | 2019-07-26 | 一种人员停留时间的分析方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110399835A CN110399835A (zh) | 2019-11-01 |
| CN110399835B true CN110399835B (zh) | 2024-04-02 |
Family
ID=68325037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910679529.3A Active CN110399835B (zh) | 2019-07-26 | 2019-07-26 | 一种人员停留时间的分析方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110399835B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949342B (zh) * | 2019-11-26 | 2022-06-10 | 华方信息技术有限公司 | 人员滞留时长测量平台及方法 |
| CN111062294B (zh) * | 2019-12-10 | 2024-03-22 | 北京文安智能技术股份有限公司 | 一种客流排队时间的检测方法、装置及系统 |
| CN111291640B (zh) * | 2020-01-20 | 2023-02-17 | 北京百度网讯科技有限公司 | 用于识别步态的方法和装置 |
| CN111881866B (zh) * | 2020-08-03 | 2024-01-19 | 杭州云栖智慧视通科技有限公司 | 一种实时人脸抓取推荐方法、装置及计算机设备 |
| CN112733814B (zh) * | 2021-03-30 | 2021-06-22 | 上海闪马智能科技有限公司 | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 |
| CN113506132B (zh) * | 2021-07-06 | 2023-08-01 | 树蛙信息科技(南京)有限公司 | 线下关注度的确定方法及装置 |
| CN115457644B (zh) * | 2022-11-10 | 2023-04-28 | 成都智元汇信息技术股份有限公司 | 一种基于扩展空间映射获得目标的识图方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881637A (zh) * | 2015-05-09 | 2015-09-02 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于传感信息及目标追踪的多模信息系统及其融合方法 |
| CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
| KR20170108693A (ko) * | 2016-03-18 | 2017-09-27 | 서울대학교산학협력단 | 입출력 회로를 가지는 계층적 신경망 구조의 언어모델 장치 |
| CN109272347A (zh) * | 2018-08-16 | 2019-01-25 | 苏宁易购集团股份有限公司 | 一种门店客流量的统计分析方法及系统 |
| CN109448026A (zh) * | 2018-11-16 | 2019-03-08 | 南京甄视智能科技有限公司 | 基于头肩检测的客流统计方法和系统 |
| CN109508622A (zh) * | 2018-08-31 | 2019-03-22 | 镇江赛唯思智能科技有限公司 | 一种进店人员计数管理方法及系统 |
| CN109685013A (zh) * | 2018-12-25 | 2019-04-26 | 上海智臻智能网络科技股份有限公司 | 人体姿态识别中头部关键点的检测方法及装置 |
| CN109784288A (zh) * | 2019-01-22 | 2019-05-21 | 天津师范大学 | 一种基于判别感知融合的行人再识别方法 |
| CN109871804A (zh) * | 2019-02-19 | 2019-06-11 | 上海宝尊电子商务有限公司 | 一种店铺人流识别分析的方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10497145B2 (en) * | 2017-11-16 | 2019-12-03 | Nec Corporation | System and method for real-time large image homography processing |
-
2019
- 2019-07-26 CN CN201910679529.3A patent/CN110399835B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881637A (zh) * | 2015-05-09 | 2015-09-02 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于传感信息及目标追踪的多模信息系统及其融合方法 |
| CN105512289A (zh) * | 2015-12-07 | 2016-04-20 | 郑州金惠计算机系统工程有限公司 | 基于深度学习和哈希的图像检索方法 |
| KR20170108693A (ko) * | 2016-03-18 | 2017-09-27 | 서울대학교산학협력단 | 입출력 회로를 가지는 계층적 신경망 구조의 언어모델 장치 |
| CN109272347A (zh) * | 2018-08-16 | 2019-01-25 | 苏宁易购集团股份有限公司 | 一种门店客流量的统计分析方法及系统 |
| CN109508622A (zh) * | 2018-08-31 | 2019-03-22 | 镇江赛唯思智能科技有限公司 | 一种进店人员计数管理方法及系统 |
| CN109448026A (zh) * | 2018-11-16 | 2019-03-08 | 南京甄视智能科技有限公司 | 基于头肩检测的客流统计方法和系统 |
| CN109685013A (zh) * | 2018-12-25 | 2019-04-26 | 上海智臻智能网络科技股份有限公司 | 人体姿态识别中头部关键点的检测方法及装置 |
| CN109784288A (zh) * | 2019-01-22 | 2019-05-21 | 天津师范大学 | 一种基于判别感知融合的行人再识别方法 |
| CN109871804A (zh) * | 2019-02-19 | 2019-06-11 | 上海宝尊电子商务有限公司 | 一种店铺人流识别分析的方法和系统 |
Non-Patent Citations (4)
| Title |
|---|
| In Defense of the Classification Loss for Person Re-Identification;Yao Zhai 等;《arXiv:1809.05864》;1-10 * |
| Learning Discriminative Features with Multiple Granularities for Person Re-Identification;Guanshuo Wang 等;《arXiv:1804.01438》;1-9 * |
| 基于时空正则化的视频序列中行人的再识别;刘保成 等;《计算机应用》;3216-3220 * |
| 智能视觉监控中行人再识别技术研究;四建楼;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-33 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110399835A (zh) | 2019-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399835B (zh) | 一种人员停留时间的分析方法、装置及系统 | |
| US9875392B2 (en) | System and method for face capture and matching | |
| Kumar et al. | The p-destre: A fully annotated dataset for pedestrian detection, tracking, and short/long-term re-identification from aerial devices | |
| CN101095149B (zh) | 图像比较设备和图像比较方法 | |
| US9977991B2 (en) | Secure and private tracking across multiple cameras | |
| CN103971386B (zh) | 一种动态背景场景下的前景检测方法 | |
| CN108229335A (zh) | 关联人脸识别方法和装置、电子设备、存储介质、程序 | |
| US11055538B2 (en) | Object re-identification with temporal context | |
| CN105389562A (zh) | 一种时空约束的监控视频行人重识别结果的二次优化方法 | |
| CN114240997B (zh) | 一种智慧楼宇在线跨摄像头多目标追踪方法 | |
| CN111241932A (zh) | 汽车展厅客流检测与分析系统、方法及存储介质 | |
| CN110728216A (zh) | 一种基于行人属性自适应学习的无监督行人再识别方法 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| CN115410222A (zh) | 一种姿态感知的视频行人再识别网络 | |
| CN116824641A (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
| CN111160150A (zh) | 基于深度残差神经网络卷积的视频监控人群行为的识别方法 | |
| CN109858308B (zh) | 视频检索装置、视频检索方法和存储介质 | |
| Rashidan et al. | Detection of different classes moving object in public surveillance using artificial neural network (ann) | |
| CN111062294B (zh) | 一种客流排队时间的检测方法、装置及系统 | |
| Mahareek et al. | Detecting anomalies in security cameras with 3DCNN and ConvLSTM | |
| Yuan et al. | Estimation population density built on multilayer convolutional neural network | |
| Mohaghegh et al. | A four-component people identification and counting system using deep neural network | |
| CN117152668B (zh) | 一种基于物联网的智慧后勤实现方法、装置及设备 | |
| Qin et al. | End to end multi-object tracking algorithm applied to vehicle tracking | |
| Bennet et al. | Performance Evalution of Video Surveillance Using Mete, Melt and Nidc Technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 1602, 16th Floor, Building 4, Zone 4, No. 81 Beiqing Road, Haidian District, Beijing, 100094 Applicant after: BEIJING VION INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Room 801, Unit 5, Building 2, Courtyard 9, Fenghao East Road, Haidian District, Beijing, 100094 Applicant before: BEIJING VION INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |