CN110717885A - 顾客数量的统计方法及装置、电子设备及可读存储介质 - Google Patents

顾客数量的统计方法及装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110717885A
CN110717885A CN201910823322.9A CN201910823322A CN110717885A CN 110717885 A CN110717885 A CN 110717885A CN 201910823322 A CN201910823322 A CN 201910823322A CN 110717885 A CN110717885 A CN 110717885A
Authority
CN
China
Prior art keywords
human
shaped
image
objects
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910823322.9A
Other languages
English (en)
Inventor
陈思静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910823322.9A priority Critical patent/CN110717885A/zh
Publication of CN110717885A publication Critical patent/CN110717885A/zh
Priority to PCT/CN2020/112339 priority patent/WO2021043090A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种顾客数量的统计方法及装置、电子设备及可读存储介质,该方法先获取预设时间段内的视频数据,对该视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧,基于行人重识别技术及工牌特征检测技术,确定多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集,根据该对象集合及目标子集,得到视频数据中包含的顾客数量,基于行人重识别技术,使得能够有效的识别人形对象的数量,且进一步基于工牌特征检测技术,使得能够有效的确定哪些人是工作人员,以便将工作人员进行剔除,提高顾客数量统计的准确性。

Description

顾客数量的统计方法及装置、电子设备及可读存储介质
技术领域
本申请涉及电子设备技术领域,具体涉及一种顾客数量的统计方法及装置、电子设备及可读存储介质。
背景技术
在零售中,对客流量的分析至关重要,具体而言,在实体店投资、创业等商业行为中,客流量与购买力均为非常重要的参数。然而,在现有的对客流量的统计方法中,并未针对顾客和店员进行区分,降低了客流量统计的准确性。
发明内容
本申请实施例提供一种顾客数量的统计方法、电子设备及计算机可读存储介质,可以有效提高顾客数量的统计的准确性。
第一方面,本申请实施例提供一种顾客数量的统计方法,包括:
获取预设时间段内的视频数据;
对所述视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧;
基于行人重识别技术及工牌特征检测技术,确定所述多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集;
根据所述对象集合及所述目标子集,得到所述视频数据中包含的顾客数量。
第二方面,本申请实施例还提供一种顾客数量的统计装置,该装置包括:
获取模块,用于获取预设时间段内的视频数据;
提取模块,用于对所述视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧;
确定模块,用于基于行人重识别技术及工牌特征检测技术,确定所述多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集;
数量模块,用于根据所述对象集合及所述目标子集,得到所述视频数据中包含的顾客数量。
本申请实施例提供的顾客数量的统计方法,该方法先获取预设时间段内的视频数据,对该视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧,基于行人重识别技术及工牌特征检测技术,确定多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集,根据该对象集合及目标子集,得到视频数据中包含的顾客数量,基于行人重识别技术,使得能够有效的识别人形对象的数量,且进一步基于工牌特征检测技术,使得能够有效的确定哪些人是工作人员,以便将工作人员进行剔除,提高顾客数量统计的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中顾客数量的统计方法的流程示意图;
图2为本发明实施例中顾客数量的统计方法的另一流程示意图;
图3为本发明实施例中顾客数量的统计装置的一结构示意图;
图4为本发明实施例中顾客数量的统计装置的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明,以下所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在以下的说明中,本申请具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有该数据格式所定义的特定特征。但是,本申请原理以上述文字来说明,其并不代表一种限制,本领域测试人员将可了解到一下所述的多种步骤及操作亦可实施在硬件当中。
本申请的原理使用许多其他泛用性或特定目的运算,通信环境或组态来进行操作。所熟知的适合用于本申请的运算系统、环境或组态的范例可包括但不限于手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境,其中包括了任何的上述系统或装置。
以下将分别进行详细说明。
在本发明实施例中,顾客数量的统计方法通常由顾客数量的统计装置(以下简称为:统计装置)实现,该统计装置为应用程序,存储在电子设备的计算机可读存储介质中,电子设备内的处理器可从该可读存储介质中调取上述应用程序,以实现顾客数量的统计方法。
其中,上述的顾客数量的统计方法通常应用在具有一定人流量的商业场合,例如,可以是便利店、商场、火车站等等,在便利店场景下,需要预先在店内设置摄像头,通过摄像头获取视频数据,并由本发明实施例中的顾客数量的统计方法实现顾客数量的统计,以确定一天,一个月,或者一年,一家便利店的顾客数量,使得能够确定哪些时间段,或者哪个月,人流量高,以便于更好的进行商业活动。
请参阅图1,为本发明实施例中顾客数量的统计方法的一流程示意图,该方法包括:
步骤101、获取预设时间段内的视频数据;
在本发明实施例中,统计装置将获取预设时间段内的视频数据,该预设时间段具体可以为1个小时,12个小时,一天,或者其他的任意由用户自定义的时间段。
其中,视频数据是利用摄像头拍摄得到的。
步骤102、对视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧;
在本发明实施例中,统计装置将对视频数据中的每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧。
其中,人形轮廓识别是识别出视频帧中是否存在人,以便确定哪些视频帧中是有人的,通常情况下,是预先设置多个人处于不同姿势下的人形轮廓,例如,该人形轮廓可以是人行走状态、站立状态、下蹲状态等等状态下不同的轮廓,且该人形轮廓的尺寸包含了儿童至成年人不同年龄,不同胖瘦,不同高矮所对应的尺寸,通过对人形轮廓进行识别,使得能够有效的确定哪些视频帧中是存在人的,即可提取出包含人形轮廓的多个视频帧。
步骤103、基于行人重识别技术及工牌特征检测技术,确定多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集;
步骤104、根据对象集合及目标子集,得到视频数据中包含的顾客数量。
其中,行人重识别(Person re-identification)技术也称为行人再识别,是利用计算机视觉技术判断图像或视频帧中是否存在特定行人的技术。
可以理解的是,为了降低数据处理量,或者,为了缩短数据处理时间及减少处理占用的资源,在获取到预设时间段内的视频数据之后,还可以对该视频数据中的每一帧图像进行灰度化和去噪处理。
其中,灰度化处理算法为:其中,灰度化处理算法为:
F(i,j)=0.30*fR(i,j)+0.59*fG(i,j)+0.11*fB(i,j),F(i,j)为灰度化处理后的像素值,fR(i,j)、fG(i,j)、fB(i,j)分别为灰度化处理前的图像中的R分量、G分量及B分量的值。
其中,采用中值滤波算法对每一帧图像进行去噪处理,中值滤波的原理是把图像中一像素点的值用该像素点的一个邻域中各像素点的像素值的中值代替,让周围的像素值更接近真实值,从而消除孤立的噪声点。方法是以目标像素点为中心选取像素点区域,将该像素点区域内的所有像素点的像素值按照从大到小或者从小到大的顺序进行排序,选择排序得的序列中间的一个值(即中值)作为目标像素点的新的像素值。
其中,中值滤波算法为:
g(x,y)=med{f(x-k,y-i),(k,i∈W),f(x,y)及g(x,y)分别为滤波前和滤波后的图像的像素值,med表示取多个值的中值,W为以像素点(x,y)为中心选取的像素点区域的区域大小,k,i为一个像素点相对于像素点(x,y)的位置关系,f(x-k,y-i)表示以像素点区域内的像素点(x-k,y-i)的像素值。
其中,像素点区域的大小通常为3*3,或者5*5。
在本申请实施例中,在提取出包含人形轮廓的多个视频帧之后,为了进一步的确定该多个视频帧中包含了多少个人,则需要基于行人重识别技术确定哪些帧中的哪些人形轮廓是属于同一个人的,以便确定该视频数据中人的数量,且构成上述的人形对象的对象集合,且进一步的,为了确定人形对象的对象集合中存在多少个目标对象,则需要使用到工牌特征检测技术,其中,工牌特征检测技术通常是用于检测工作人员的数量(因为通常情况下,工作人员都是需要佩戴工牌的),以得到符合工牌特征的目标对象的目标子集,可以理解的是,在得到上述包含人形对象的对象集合及符合工牌特征的目标对象的目标子集之后,可以基于该两个集合,得到顾客数量,以得到剔除目标人员例如工作人员之后的顾客数量,对顾客数量的统计更加准确。
在本发明实施例中,获取预设时间段内的视频数据,对该视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧,基于行人重识别技术及工牌特征检测技术,确定多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集,根据该对象集合及目标子集,得到视频数据中包含的顾客数量,基于行人重识别技术,使得能够有效的识别人形对象的数量,且进一步基于工牌特征检测技术,使得能够有效的确定哪些人是工作人员,以便将工作人员进行剔除,提高顾客数量统计的准确性。
基于图1所示实施例,请参阅图2,为本发明实施例中顾客数量的统计方法的另一实施例,包括:
步骤201、获取预设时间段内的视频数据;
在本发明实施例中,步骤202中描述的内容与图1所示实施例中步骤101中的内容相似,此处不做赘述。
步骤202、对视频数据中的每一帧图像分别进行人形轮廓特征识别处理,获取各帧图像中的人形候选区域;
步骤203、将各帧图像中的人形候选区域输入已训练得到的人形分类模型中,确定各帧图像中是否包含人形图像;
步骤204、从各帧图像中提取包含人形图像的多个视频帧;
在本发明实施例中,对于视频数据中的每一帧图像,需要先分贝进行人形轮廓特征识别处理,获取各帧图像中的人形候选区域。
其中,在统计装置中预先存储了人形轮廓,例如,该人形轮廓可以是人行走状态、站立状态、下蹲状态等等状态下不同的轮廓,且该人形轮廓的尺寸包含了儿童至成年人不同年龄,不同胖瘦,不同高矮所对应的尺寸,基于该预先存储的人形轮廓在视频数据的各视频帧中进行识别,将与任意一个人形轮廓的相似度大于或等于预设阈值(例如95%)的区域,作为人形候选区域。可以理解的是,一帧图像中可以有至少一个人形候选区域,或者没有人形候选区域。
为了提高对人形图像的判断,还需要进一步的对人形候选区域进行进一步的筛选,具体的可以将各帧图像中的人形候选区域输入已训练得到的人形分类模型中,确定各帧图像中是否包含人形图像,并将确定包含人形图像的视频帧提取出来,可以理解的是,包含人形图像的视频帧是指至少包含一个人形图像的视频帧。
其中,人形分类器模型是预先使用样本数据对初始分类器模型进行训练得到的,该样本数据中包含经过人形轮廓识别处理确定为人形候选区域,但是实际上并非是人形图像的第一样本数据,和经过人形轮廓识别处理确定为人形候选区域,且是人形图像的第二样板数据,将第一样本数据和第二样本数据输入到初始分类器模型中,进行多次迭代计算,直至第一样本数据输入之后均判断为非人形图像,及第二样本数据输入之后均判断为人形图像,以训练得到人形分类器模型。
步骤205、采用行人重识别技术对多个视频帧进行人形识别,确定多个视频帧中包含的人形对象的对象集合;
步骤206、对人形对象的对象集合中各对象进行工牌特征检测,确定人形对象的对象集合中符合工牌特征检测的目标对象构成的目标子集;
步骤207、根据对象集合及目标子集,得到视频数据中包含的顾客数量。
在本申请实施例中,在确定包含人形图像的视频帧之后,需要确定多个视频帧中到底有多少人形对象(即有多少人),具体可以采用行人重识别技术对多个视频帧进行人形识别,确定多个视频帧中包含的人形对象的对象集合。
其中,步骤205具体包括以下步骤:
遍历多个视频帧,对于遍历到的目标视频帧中的每一个人形图像对应的区域,并基于行人重识别技术确定该人形图像对应的人形对象的行动轨迹,以确定多个视频帧中包含的人形对象的对象集合。
在本发明实施例中,统计装置将遍历包含人形对象的多个视频帧,且在遍历时,是基于视频帧的时序顺序进行遍历的,时序越早的遍历到越早,对于遍历到的视频帧可以称为是目标视频帧,对于该目标视频帧中的至少一个人形图像,确定该人形图像对应的区域,并对该人形图像进行标号,比如标为行人1号,基于人形图像重识别技术,在其他视频帧中查找与该人形图像均属于同一个人的人形图像,以得到该人形图像对应的人形对象的行动轨迹。例如,对于视频帧A中的人形图像a,基于行人重识别技术在视频帧A之后的视频帧中进行行人重识别处理,确定在视频帧B、视频帧C、视频帧D及视频帧E中均具有与人形图像a一样均属于同一人形对象的人形图像,即,可以基于视频帧A至视频帧E中人形对象所对应的人形图像,确定该人形对象的行动轨迹。且对该人形对象进行编号,并添加至人形对象的对象集合中,其中,该人形对象的对象集合的初始值为空。可以理解的是,在确定人形对象的行动轨迹之后,将其行动轨迹中所对应的人形图像均标记为已处理人形图像,使得在遍历时,将不再对已处理的人形图像再重复上述步骤205,以提高准确性,避免重复。
在本发明实施例中,在得到人形对象的对象集合之后,将进一步的从人形对象的对象集合中筛选出目标对象,以得到目标对象的目标子集,其中,该目标对象通常是指符合工牌特征检测的对象。可以是对人形对象的对象集合中的各对象进行工牌特征检测,确定人形对象的对象集合中符合工牌特征检测的目标对象构成的目标子集。
具体的,上述步骤206具体包括:
步骤A、从各视频帧中提取人形对象的对象集合中各人形对象的图像区域,得到各人形对象的图像区域集合;
步骤B、从各人形对象的图像区域集合中的图像区域中查找是否具有预先设置的工牌特征;
步骤C、若存在人形对象的图像区域集合中的图像区域中存在工牌特征,则将相应的人形对象确定为目标对象,得到符合工牌特征的目标对象的目标子集。
在本申请实施例中,统计装置将从各视频帧中提取人形对象的对象集合中各人形对象的图像区域,得到各人形对象的图像区域集合,例如,若人形对象A的行动轨迹为视频帧A至视频帧E,则从视频帧A至视频帧E中提取出该人形对象A的人形图像,即图像区域,作为人形对象A的图像区域集合。
且对于每一个人形对象,都将从该人形对象的图像区域集合中图像区域中查找是否具有预先设置的工牌特征。若存在人形对象的图像区域结合中的图像区域中存在工牌特征,则将相应的人形对象确定为目标对象,得到符合工牌特征的目标对象的目标子集。
其中,工牌特征具体可以包括位置特征、颜色特征、特殊标记特征等等特征,在实际应用中,可以体现出工牌与其他物体的区别的特征,都可以作为工牌特征使用,其中,位置特征可以是人形对象胸前预设大小的区域,颜色特征基于待识别的工牌的颜色预先设置,若某一个商店内的工牌为红色,则颜色特征即为红色。特殊标记特征则可以是logo特征,该特殊标记特征需要预先设置,不同的厂或者商户所使用到的logo特征是不一样的。可以理解的是,上述工牌特征的部分特征如颜色特征及特殊标记特征可以通过工作人员将拍摄的同一个工牌特征的多个图像输入到特征提取模块中,以得到提取的颜色特征及特殊标记特征,在实际应用中可以根据具体的需要设置,此处不做限定。
在本发明实施例中,在得到人形对象的对象集合和目标对象的目标子集之后,将确定人形对象的对象集合中包含的人形对象的第一数量,及确定目标对象的目标子集中人形对象的第二数量,将第一数量与第二数量进行相减,得到的差值即为视频数据中包含的顾客数量,例如,若人形对象的对象集合中包含的人形对象的数量为100,目标子集中目标对象的数量为5,则顾客数量为95。
在本发明实施例中,通过利用行人重识别技术能够有效确定视频中出现的人形对象,例如可以是顾客,也可以是店员,且进一步通过利用工牌特征检测技术,检测人形对象中哪些是符合工牌特征的目标对象,使得能够有效的从人形对象中确定出店员,有效提高顾客数量检测的准确性。
请参阅图3,为本申请实施例中顾客数量的统计装置的结构示意图,该装置包括:
获取模块301,用于获取预设时间段内的视频数据;
提取模块302,用于对视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧;
确定模块303,用于基于行人重识别技术及工牌特征检测技术,确定多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集;
数量模块304,用于根据对象集合及目标子集,得到视频数据中包含的顾客数量。
可以理解的是,为了降低数据处理量,或者,为了缩短数据处理时间及减少处理占用的资源,在获取到预设时间段内的视频数据之后,还可以对该视频数据中的每一帧图像进行灰度化和去噪处理。
其中,灰度化处理算法为:其中,灰度化处理算法为:
F(i,j)=0.30*fR(i,j)+0.59*fG(i,j)+0.11*fB(i,j),F(i,j)为灰度化处理后的像素值,fR(i,j)、fG(i,j)、fB(i,j)分别为灰度化处理前的图像中的R分量、G分量及B分量的值。
其中,采用中值滤波算法对每一帧图像进行去噪处理,中值滤波的原理是把图像中一像素点的值用该像素点的一个邻域中各像素点的像素值的中值代替,让周围的像素值更接近真实值,从而消除孤立的噪声点。方法是以目标像素点为中心选取像素点区域,将该像素点区域内的所有像素点的像素值按照从大到小或者从小到大的顺序进行排序,选择排序得的序列中间的一个值(即中值)作为目标像素点的新的像素值。
其中,中值滤波算法为:
g(x,y)=med{f(x-k,y-i),(k,i∈W),f(x,y)及g(x,y)分别为滤波前和滤波后的图像的像素值,med表示取多个值的中值,W为以像素点(x,y)为中心选取的像素点区域的区域大小,k,i为一个像素点相对于像素点(x,y)的位置关系,f(x-k,y-i)表示以像素点区域内的像素点(x-k,y-i)的像素值。
其中,像素点区域的大小通常为3*3,或者5*5。
在本发明实施例中,先获取预设时间段内的视频数据,对该视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧,基于行人重识别技术及工牌特征检测技术,确定多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集,根据该对象集合及目标子集,得到视频数据中包含的顾客数量,基于行人重识别技术,使得能够有效的识别人形对象的数量,且进一步基于工牌特征检测技术,使得能够有效的确定哪些人是工作人员,以便将工作人员进行剔除,提高顾客数量统计的准确性。
请参阅图4,为本发明实施例中顾客数量的统计方法的另一结构示意图,包括:如图3所示实施例中的获取模块301、提取模块302、确定模块303及数量模块304,且与图3所示实施例中描述的内容相似,此处不做赘述。
在本发明实施例中,提取模块302包括:
识别获取模块401,用于对视频数据中的每一帧图像分别进行人形轮廓特征识别处理,获取各帧图像中的人形候选区域;
输入确定模块402,用于将各帧图像中的人形候选区域输入已训练得到的人形分类模型中,确定各帧图像中是否包含人形图像;
帧提取模块403,用于从各帧图像中提取包含人形图像的多个视频帧。
在本发明实施例中,确定模块303包括:
第一确定模块404,用于采用行人重识别技术对多个视频帧进行人形识别,确定多个视频帧中包含的人形对象的对象集合;
第二确定模块405,用于对人形对象的对象集合中各对象进行工牌特征检测,确定人形对象的对象集合中符合工牌特征检测的目标对象构成的目标子集。
其中,上述第一确定模块404具体用于遍历多个视频帧,对于遍历到的目标视频帧中的每一个人形图像所对应的区域,并基于行人重识别技术确定人形图像对应的人形对象的行动轨迹,以确定多个视频帧中包含的人形对象的对象集合。
上述第二确定模块405具体用于:从各视频帧中提取人形对象的对象集合中各人形对象的图像区域,得到各人形对象的图像区域集合;从各人形对象的图像区域集合中的图像区域中查找是否具有预先设置的工牌特征;若存在人形对象的图像区域集合中的图像区域中存在工牌特征,则将相应的人形对象确定为目标对象,得到符合工牌特征的目标对象的目标子集。
其中,在统计装置中预先存储了人形轮廓,例如,该人形轮廓可以是人行走状态、站立状态、下蹲状态等等状态下不同的轮廓,且该人形轮廓的尺寸包含了儿童至成年人不同年龄,不同胖瘦,不同高矮所对应的尺寸,基于该预先存储的人形轮廓在视频数据的各视频帧中进行识别,将与任意一个人形轮廓的相似度大于或等于预设阈值(例如95%)的区域,作为人形候选区域。可以理解的是,一帧图像中可以有至少一个人形候选区域,或者没有人形候选区域。
其中,人形分类器模型是预先使用样本数据对初始分类器模型进行训练得到的,该样本数据中包含经过人形轮廓识别处理确定为人形候选区域,但是实际上并非是人形图像的第一样本数据,和经过人形轮廓识别处理确定为人形候选区域,且是人形图像的第二样板数据,将第一样本数据和第二样本数据输入到初始分类器模型中,进行多次迭代计算,直至第一样本数据输入之后均判断为非人形图像,及第二样本数据输入之后均判断为人形图像,以训练得到人形分类器模型。
在本发明实施例中,统计装置将遍历包含人形对象的多个视频帧,且在遍历时,是基于视频帧的时序顺序进行遍历的,时序越早的遍历到越早,对于遍历到的视频帧可以称为是目标视频帧,对于该目标视频帧中的至少一个人形图像,确定该人形图像对应的区域,并对该人形图像进行标号,比如标为行人1号,基于人形图像重识别技术,在其他视频帧中查找与该人形图像均属于同一个人的人形图像,以得到该人形图像对应的人形对象的行动轨迹。例如,对于视频帧A中的人形图像a,基于行人重识别技术在视频帧A之后的视频帧中进行行人重识别处理,确定在视频帧B、视频帧C、视频帧D及视频帧E中均具有与人形图像a一样均属于同一人形对象的人形图像,即,可以基于视频帧A至视频帧E中人形对象所对应的人形图像,确定该人形对象的行动轨迹。且对该人形对象进行编号,并添加至人形对象的对象集合中,其中,该人形对象的对象集合的初始值为空。可以理解的是,在确定人形对象的行动轨迹之后,将其行动轨迹中所对应的人形图像均标记为已处理人形图像,使得在遍历时,将不再对已处理的人形图像再重复处理,以提高准确性,避免重复。
在本发明实施例中,通过利用行人重识别技术能够有效确定视频中出现的人形对象,例如可以是顾客,也可以是店员,且进一步通过利用工牌特征检测技术,检测人形对象中哪些是符合工牌特征的目标对象,使得能够有效的从人形对象中确定出店员,有效提高顾客数量检测的准确性。
在本发明实施例中还提供一种电子设备,包括存储器、处理器及存储在存储器上且在处理器上运行的计算机程序,处理器执行计算机程序时,实现上述顾客数量的统计方法的实施例中的各个步骤。
本发明实施例还提供一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现如上述顾客数量的统计方法的实施例中的各个步骤。
在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本发明所提供的一种顾客数量的统计方法及装置、电子设备及可读存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种顾客数量的统计方法,其特征在于,所述方法包括:
获取预设时间段内的视频数据;
对所述视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧;
基于行人重识别技术及工牌特征检测技术,确定所述多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集;
根据所述对象集合及所述目标子集,得到所述视频数据中包含的顾客数量。
2.根据权利要求1所述的方法,其特征在于,所述对所述视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧,包括:
对所述视频数据中的每一帧图像分别进行人形轮廓特征识别处理,获取各帧图像中的人形候选区域;
将所述各帧图像中的人形候选区域输入已训练得到的人形分类模型中,确定所述各帧图像中是否包含人形图像;
从所述各帧图像中提取包含人形图像的多个视频帧。
3.根据权利要求1所述的方法,其特征在于,所述基于行人重识别技术及工牌特征检测技术,确定所述多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集,包括:
采用行人重识别技术对所述多个视频帧进行人形识别,确定所述多个视频帧中包含的人形对象的对象集合;
对所述人形对象的对象集合中各对象进行工牌特征检测,确定所述人形对象的对象集合中符合工牌特征检测的目标对象构成的目标子集。
4.根据权利要求3所述的方法,其特征在于,所述采用行人重识别技术对所述多个视频帧进行人形识别,确定所述多个视频帧中包含的人形图像的对象集合,包括:
遍历所述多个视频帧,对于遍历到的目标视频帧中的每一个人形图像所对应的区域,并基于行人重识别技术确定所述人形图像对应的人形对象的行动轨迹,以确定所述多个视频帧中包含的人形对象的对象集合。
5.根据权利要求3所述的方法,其特征在于,所述对所述人形对象的对象集合中各对象进行工牌特征检测,确定所述人形对象的对象集合中符合工牌特征检测的目标对象构成的目标子集,包括:
从所述各视频帧中提取所述人形对象的对象集合中各人形对象的图像区域,得到各人形对象的图像区域集合;
从各人形对象的图像区域集合中的图像区域中查找是否具有预先设置的工牌特征;
若存在人形对象的图像区域集合中的图像区域中存在工牌特征,则将相应的人形对象确定为目标对象,得到符合工牌特征的目标对象的目标子集。
6.一种顾客数量的统计装置,其特征在于,所述装置包括:
获取模块,用于获取预设时间段内的视频数据;
提取模块,用于对所述视频数据中每一帧图像进行人形轮廓识别,提取出包含人形轮廓的多个视频帧;
确定模块,用于基于行人重识别技术及工牌特征检测技术,确定所述多个视频帧中包含的人形对象的对象集合及符合工牌特征的目标对象的目标子集;
数量模块,用于根据所述对象集合及所述目标子集,得到所述视频数据中包含的顾客数量。
7.根据权利要求6所述的装置,其特征在于,所述提取模块包括:
识别获取模块,用于对所述视频数据中的每一帧图像分别进行人形轮廓特征识别处理,获取各帧图像中的人形候选区域;
输入确定模块,用于将所述各帧图像中的人形候选区域输入已训练得到的人形分类模型中,确定所述各帧图像中是否包含人形图像;
帧提取模块,用于从所述各帧图像中提取包含人形图像的多个视频帧。
8.根据权利要求6所述的装置,其特征在于,所述确定模块包括:
第一确定模块,用于采用行人重识别技术对所述多个视频帧进行人形识别,确定所述多个视频帧中包含的人形对象的对象集合;
第二确定模块,用于对所述人形对象的对象集合中各对象进行工牌特征检测,确定所述人形对象的对象集合中符合工牌特征检测的目标对象构成的目标子集。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至5任意一项所述的顾客数量的统计方法中的各个步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至5任意一项所述的顾客数量的统计方法的各个步骤。
CN201910823322.9A 2019-09-02 2019-09-02 顾客数量的统计方法及装置、电子设备及可读存储介质 Pending CN110717885A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910823322.9A CN110717885A (zh) 2019-09-02 2019-09-02 顾客数量的统计方法及装置、电子设备及可读存储介质
PCT/CN2020/112339 WO2021043090A1 (zh) 2019-09-02 2020-08-30 顾客数量的统计方法及装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910823322.9A CN110717885A (zh) 2019-09-02 2019-09-02 顾客数量的统计方法及装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110717885A true CN110717885A (zh) 2020-01-21

Family

ID=69209655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910823322.9A Pending CN110717885A (zh) 2019-09-02 2019-09-02 顾客数量的统计方法及装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN110717885A (zh)
WO (1) WO2021043090A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257660A (zh) * 2020-11-11 2021-01-22 汇纳科技股份有限公司 无效客流的去除方法、系统、设备及计算机可读存储介质
WO2021043090A1 (zh) * 2019-09-02 2021-03-11 平安科技(深圳)有限公司 顾客数量的统计方法及装置、电子设备及可读存储介质
CN112560765A (zh) * 2020-12-24 2021-03-26 上海明略人工智能(集团)有限公司 基于行人重识别的人流统计方法、系统、设备及存储介质
CN112906679A (zh) * 2021-05-08 2021-06-04 深圳市安软科技股份有限公司 基于人形语义分割的行人重识别方法、系统及相关设备
CN115063378A (zh) * 2022-06-27 2022-09-16 中国平安财产保险股份有限公司 智能点数方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN108764181A (zh) * 2018-05-31 2018-11-06 北京学之途网络科技有限公司 一种客流统计方法和装置、计算机可读存储介质
CN109448026A (zh) * 2018-11-16 2019-03-08 南京甄视智能科技有限公司 基于头肩检测的客流统计方法和系统
CN109508586A (zh) * 2017-09-15 2019-03-22 杭州海康威视数字技术股份有限公司 一种客流统计方法、装置及设备
WO2019114145A1 (zh) * 2017-12-12 2019-06-20 深圳光启合众科技有限公司 监控视频中人数检测方法及装置
CN109978813A (zh) * 2017-12-27 2019-07-05 中华电信股份有限公司 影像式人流计数的特定人物排除系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156733A1 (ja) * 2013-03-26 2014-10-02 株式会社日立国際電気 人数計数装置および人数計数方法
CN103955673B (zh) * 2014-04-30 2017-05-17 南京理工大学 一种基于头肩模型的人体识别方法
CN109271870B (zh) * 2018-08-21 2023-12-26 平安科技(深圳)有限公司 行人重识别方法、装置、计算机设备及存储介质
CN110717885A (zh) * 2019-09-02 2020-01-21 平安科技(深圳)有限公司 顾客数量的统计方法及装置、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN109508586A (zh) * 2017-09-15 2019-03-22 杭州海康威视数字技术股份有限公司 一种客流统计方法、装置及设备
WO2019114145A1 (zh) * 2017-12-12 2019-06-20 深圳光启合众科技有限公司 监控视频中人数检测方法及装置
CN109978813A (zh) * 2017-12-27 2019-07-05 中华电信股份有限公司 影像式人流计数的特定人物排除系统及方法
CN108764181A (zh) * 2018-05-31 2018-11-06 北京学之途网络科技有限公司 一种客流统计方法和装置、计算机可读存储介质
CN109448026A (zh) * 2018-11-16 2019-03-08 南京甄视智能科技有限公司 基于头肩检测的客流统计方法和系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021043090A1 (zh) * 2019-09-02 2021-03-11 平安科技(深圳)有限公司 顾客数量的统计方法及装置、电子设备及可读存储介质
CN112257660A (zh) * 2020-11-11 2021-01-22 汇纳科技股份有限公司 无效客流的去除方法、系统、设备及计算机可读存储介质
CN112257660B (zh) * 2020-11-11 2023-11-17 汇纳科技股份有限公司 无效客流的去除方法、系统、设备及计算机可读存储介质
CN112560765A (zh) * 2020-12-24 2021-03-26 上海明略人工智能(集团)有限公司 基于行人重识别的人流统计方法、系统、设备及存储介质
CN112906679A (zh) * 2021-05-08 2021-06-04 深圳市安软科技股份有限公司 基于人形语义分割的行人重识别方法、系统及相关设备
CN112906679B (zh) * 2021-05-08 2021-07-23 深圳市安软科技股份有限公司 基于人形语义分割的行人重识别方法、系统及相关设备
CN115063378A (zh) * 2022-06-27 2022-09-16 中国平安财产保险股份有限公司 智能点数方法、装置、设备及存储介质
CN115063378B (zh) * 2022-06-27 2023-12-05 中国平安财产保险股份有限公司 智能点数方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021043090A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN110717885A (zh) 顾客数量的统计方法及装置、电子设备及可读存储介质
CN106776619B (zh) 用于确定目标对象的属性信息的方法和装置
CN107346409B (zh) 行人再识别方法和装置
CN108229314B (zh) 目标人物的搜索方法、装置和电子设备
CN110503108A (zh) 违章建筑识别方法及装置、存储介质、计算机设备
CN107871111B (zh) 一种行为分析方法及系统
Sharma et al. A new pose invariant face recognition system using PCA and ANFIS
Türkyılmaz et al. License plate recognition system using artificial neural networks
CN114937232B (zh) 医废处理人员防护用具穿戴检测方法、系统和设备
CN110659588A (zh) 一种客流量统计方法、装置及计算机可读存储介质
CN109409377A (zh) 图像中文字的检测方法及装置
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN112464797B (zh) 一种吸烟行为检测方法、装置、存储介质及电子设备
CN109902550A (zh) 行人属性的识别方法和装置
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN105844204B (zh) 人体行为识别方法和装置
Neagoe et al. A concurrent neural network approach to pedestrian detection in thermal imagery
CN112800923A (zh) 人体图像质量检测方法及装置、电子设备、存储介质
CN110348386B (zh) 一种基于模糊理论的人脸图像识别方法、装置及设备
Vennila et al. A rough set framework for multihuman tracking in surveillance video
EP3629228B1 (en) Image processing for determining relationships between tracked objects
CN114092956A (zh) 门店客流统计方法、装置、计算机设备和存储介质
CN110825896A (zh) 一种商标检索系统及检索方法
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
CN111723628A (zh) 人物重识别方法、人物重识别系统及影像筛选方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination