CN109934072B - 人员统计方法及装置 - Google Patents

人员统计方法及装置 Download PDF

Info

Publication number
CN109934072B
CN109934072B CN201711373176.1A CN201711373176A CN109934072B CN 109934072 B CN109934072 B CN 109934072B CN 201711373176 A CN201711373176 A CN 201711373176A CN 109934072 B CN109934072 B CN 109934072B
Authority
CN
China
Prior art keywords
frame
image
target
density map
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711373176.1A
Other languages
English (en)
Other versions
CN109934072A (zh
Inventor
蔡冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201711373176.1A priority Critical patent/CN109934072B/zh
Publication of CN109934072A publication Critical patent/CN109934072A/zh
Application granted granted Critical
Publication of CN109934072B publication Critical patent/CN109934072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例提供一种人员统计方法及装置。该方法包括:获得每帧图像;对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模;对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图;基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图;对所述目标密度图中每个像素进行积分计算,得到人员统计结果。由此,能够对每帧图像中相应区域进行实时人数统计,同时能够有效避免图像中周围环境带来的影响,大大提高人数统计准确率。

Description

人员统计方法及装置
技术领域
本发明涉及计算机视觉领域,具体而言,涉及一种人员统计方法及装置。
背景技术
区域人数统计在寻常生活中有着广泛的应用,例如车站等候区域、旅游景点或者广场等场景都需要对该区域内的人数进行统计。传统针对图像的人数统计方法,都是先采用分割算法将人与背景分割开来,然后再对相邻帧进行搜索和匹配,最终得到人数统计结果。该方法的分割过程具有很大的局限性,对静止目标基本无效果。
发明内容
为了克服现有技术中的上述不足,本发明的目的在于提供一种人员统计方法及装置,能够对每帧图像中相应区域进行实时人数统计,同时能够有效避免图像中周围环境带来的影响,大大提高人数统计准确率。
为了实现上述目的,本发明较佳实施例采用的技术方案如下:
本发明较佳实施例提供一种人员统计方法,应用于电子设备,所述方法包括:
获得每帧图像;
对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模;
对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图;
基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图;
对所述目标密度图中每个像素进行积分计算,得到人员统计结果。
在本发明较佳实施例中,在接收输入的每帧图像之前,所述方法还包括:
接收输入的样本图像,所述样本图像包括多类标定类型的图像,所述标定类型包括单目标类型、多目标类型和背景类型;
基于所述样本图像训练目标检测网络,得到训练后的目标检测网络。
在本发明较佳实施例中,所述对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模,包括:
通过所述目标检测网络对所述图像进行目标检测,得到原始几何框集合;
对所述原始几何框集合进行聚类,得到新的目标框集合,所述目标框集合中包括有聚类后的多类几何框;
创建一个与所述原始密度图同等尺寸的矩阵区域,并将所述矩阵区域中与所述目标框集合对应区域的像素值进行赋值,得到密度图掩模。
在本发明较佳实施例中,所述对所述原始几何框集合进行聚类,得到新的目标框集合,包括:
计算所述原始几何框集合中的几何框与各类几何框之间的中心点距离;
如果所述中心点距离小于预设距离,则将所述几何框合并到该类几何框中,其中,每类几何框中的集合框数量小于一预设阈值;
如果所述几何框最终未被合并到某一类几何框中,则为该几何框创建新的类几何框,直到所有几何框均被归类到类几何框时,得到新的目标框集合。
在本发明较佳实施例中,所述将所述矩阵区域中与所述目标框集合对应区域的像素值进行赋值,得到密度图掩模,包括:
将该矩阵区域的所有像素值赋值为0;
将该矩阵区域中与所述目标框集合对应区域的像素值赋值为1,得到密度图掩模。
在本发明较佳实施例中,在接收输入的每帧图像之前,所述方法还包括:
接收输入的图像样本集;
基于人员密集程度将所述图像样本集分为多个类别,形成第一样本集;
将所述图像样本集中未被外物遮挡的人员进行标定,并将标定后的图像样本集进行高斯模糊,得到所述图像样本集对应的密度图像集,以形成第二样本集;
采用所述第一样本集对等级分类网络进行训练,得到训练后的第一网络参数的等级分类网络;
采用所述第二样本集对像素回归网络进行训练,并在训练过程中读取所述第一网络参数,并将所述等级分类网络中最后两层卷积层之外的卷积层固定与所述像素回归网络融合,得到融合后的第二网络参数的像素回归网络。
在本发明较佳实施例中,所述对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图,包括:
采用融合所述等级分类网络后的像素回归网络对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图。
在本发明较佳实施例中,所述基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图,包括:
将所述原始密度图与所述密度图掩模对应的值相乘,得到所述目标密度图。
在本发明较佳实施例中,在计算所述目标密度图中每个像素进行积分计算,得到人员统计结果之后,所述方法还包括:
将所述目标密度图进行高斯模糊,以生成彩色热力图。
本发明较佳实施例还提供一种人员统计装置,应用于电子设备,所述装置包括:
获得模块,用于获得每帧图像;
目标检测模块,用于对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模;
像素回归模块,用于对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图;
过滤模块,用于基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图;
积分计算模块,用于对所述目标密度图中每个像素进行积分计算,得到人员统计结果。
本发明较佳实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现上述的人员统计方法。
相对于现有技术而言,本发明具有以下有益效果:
本发明实施例提供一种人员统计方法及装置,通过获得每帧图像,再对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模,同时对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图,而后基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图,最后对所述目标密度图中每个像素进行积分计算,得到人员统计结果。由此,能够对每帧图像中相应区域进行实时人数统计,同时能够有效避免图像中周围环境带来的影响,大大提高人数统计准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本发明较佳实施例提供的人员统计方法的一种流程示意图;
图2为图1中所示的步骤S220包括的各个子步骤的一种流程示意图;
图3为本发明较佳实施例提供的人员统计方法的另一种流程示意图;
图4为本发明较佳实施例提供的人员统计装置的一种功能模块图;
图5为本发明较佳实施例提供的电子设备的一种结构示意框图。
图标:100-电子设备;110-总线;120-处理器;130-存储介质;140-总线接口;150-网络适配器;160-用户接口;200-人员统计装置;210-获得模块;220-目标检测模块;230-像素回归模块;240-过滤模块;250-积分计算模块。
具体实施方式
本申请发明人在实现本发明实施例提供的技术方案过程中,发现现有技术中,主要是通过对图像中的人数进行像素回归,然后通过积分计算得到最终统计人数,但是该方案对纹理丰富区域非常敏感,极易被绿化带等场景影响,从而造成最终的统计人数结果普遍偏高。另外,发明人还发现在其它方案中,虽然也可以通过在图像区域中标定热区,然后在热区中对头肩模型进行检测,如果检测到的头肩模型达到预定要求时,则对目标进行计数,该方案主要针对的是出入口场景,但是该方案受限于检测到头肩模型的位置和大小,例如,图像中尺寸较小的目标可能无法检测到,具有很大的局限性,对一些场所,例如广场、火车站候车厅等无法识别。
鉴于上述问题,本申请发明人提出下述技术方案,该方法能够对每帧图像中相应区域进行实时人数统计,同时能够有效避免图像中周围环境带来的影响,大大提高人数统计准确率。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本发明较佳实施例提供的人员统计方法的一种流程示意图。所应说明的是,本发明实施例提供的人员统计方法不以图1及以下所述的具体顺序为限制。所述方法的具体流程如下:
步骤S210,获得每帧图像。
本实施例中,所述图像可以是一些需要统计人数的场景下拍摄的图像,例如车站等候区域、旅游景点或者广场等场景的监控设备实时拍摄的图像,当然,所述图像也可以是预先保存的图像,或者其它任意需要统计人数的图像,本实施例对此不作具体限制。
步骤S220,对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模。
请参阅图2,在一种实施方式中,所述步骤S220可以包括以下子步骤:
子步骤S221,通过目标检测网络对所述图像进行目标检测,得到原始几何框集合。
本实施例中,首先对所述目标检测网络的训练过程进行说明。所述目标检测网络可以采用RFCN目标检测方法(Region-based Fully Convolutional Networks)的训练过程进行训练,具体地,首先,接入输入的样本图像,然后对样本图像进行标定,单个人标定为单目标,多个人则标定为多目标,以此分为单目标、多目标和背景这三种标定类型进行网络训练,得到训练后的目标检测网络。接着,可以通过训练好的目标检测网络检测所述图像,并输出检测到的原始几何框集合,所述原始几何框集合包括有多个原始几何框。
需要说明的是,所述几何框的形状在此不作具体限制,例如,所述几何框可以采用矩形框、椭圆框、圆框等其它形状。
子步骤S222,对所述原始几何框集合进行聚类,得到新的目标框集合。
经发明人仔细研究发现,通过所述目标检测网络得到的原始几何框集合,其覆盖范围相对较小,如果以此为掩模,可能存在部分有效像素被排除在掩模外的情况,且后续得到的密度图和热力图不具有连续性,视觉效果较差。基于此,发明人提出一种几何框聚类方法,可以将相互靠近的几何框进行聚类,但在实际研究中发现同时聚类几何框个数不能过多,因为过多的几何框合并后生成的几何框过大,可能会带来大量的背景,这样会失去掩模作用。
下面对所述原始几何框集合的聚类的聚类方法进行说明。需要说明的是,total_num为所述目标检测网络检测出的几何框个数,maxnum为每个类几何框中包括最大目标框个数,thres为距离阈值。
首先,计算所述原始几何框集合中的几何框与各个类几何框之间的中心点距离。具体地,循环计算序号为index的几何框的中心点同已经存在的类几何框(每个类几何框中的几何框数量小于maxnum)的中心点之间的距离dist。如果所述中心点距离小于预设距离,则将所述几何框合并到该类几何框中。也即,如果dist<thres,则将该几何框合并到此类几何框中,并计算中心点,跳出该循环。如果所述几何框最终未被合并到某一类几何框中,则为该几何框创建新的类几何框,直到所有几何框均被归类到类几何框时,得到新的目标框集合,所述目标框集合中包括有聚类后的多类几何框。
子步骤S223,创建一个与所述原始密度图同等尺寸的矩阵区域,并将所述矩阵区域中与所述目标框集合对应区域的像素值进行赋值。
本实施例中,首先创建一个与所述原始密度图同等尺寸的矩阵区域,然后将该矩阵区域的所有像素值赋值为0,并将该矩阵区域中与所述目标框集合对应区域的像素值赋值为1,得到密度图掩模。
请再次参阅图1,步骤S230,对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图。
本实施例中,在对所述步骤S230作进一步阐述之前,首先对像素回归网络的训练过程进行说明。本实施例对原有像素回归网络(Single-Image Crowd Counting viaMulti-Column Convolutional Neural Network,MCNN)进行了改进,添加了等级分类网络,其中等级分类网络为VGG网络,只改变其全连接部分,最后输出五维向量,混合网络为两个卷积层两个插值层组成的网络。
首先,接收输入的图像样本集,再基于人员密集程度将所述图像样本集分为多个类别,形成第一样本集A。
同时,将所述图像样本集中未被外物遮挡的人员进行标定,并将标定后的图像样本集进行高斯模糊,得到所述图像样本集对应的密度图像集,以形成第二样本集B。
接着,采用所述第一样本集A对等级分类网络进行训练,得到训练后的第一网络参数的等级分类网络。而后,采用所述第二样本集B对像素回归网络进行训练,并在训练过程中读取所述第一网络参数,并将所述等级分类网络中最后两层卷积层之外的卷积层固定与所述像素回归网络融合,得到融合后的第二网络参数的像素回归网络。
最后,在训练得到融合后的第二网络参数的像素回归网络,采用融合所述等级分类网络后的像素回归网络对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图。
步骤S240,基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图。
本实施例中,可以将上述像素回归网络输出的原始密度图同步骤S220得到的密度掩模图进行融合,即将所述原始密度图与所述密度图掩模对应的值相乘,得到最终去除背景的密度图,也即所述目标密度图。
步骤S250,对所述目标密度图中每个像素进行积分计算,得到人员统计结果。
本实施例中,通过对去除背景后的目标密度图中每个像素进行积分计算,可以得到人员统计结果,从而能够有效避免图像中周围环境带来的影响,大大提高人数统计准确率。
进一步地,请参阅图3,在所述步骤S250之后,所述方法还可以包括:
步骤S260,将所述目标密度图进行高斯模糊,以生成彩色热力图。
本实施例中,可以对所述目标密度图进行高斯模糊平滑,并以此矩阵生成彩色热力图,从而可为车站、广场等场所提供实时人数分布图和热力图,有助于工作人员及时对高密度区域人群进行引导疏散等工作。
进一步地,请参阅图4,本发明较佳实施例还提供一种人员统计装置200,所述装置可以包括:
获得模块210,用于获得每帧图像。
目标检测模块220,用于对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模。
像素回归模块230,用于对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图。
过滤模块240,用于基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图。
积分计算模块250,用于对所述目标密度图中每个像素进行积分计算,得到人员统计结果。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述。
进一步地,请参阅图5,为本发明较佳实施例提供的电子设备100的一种结构示意框图。本实施例中,所述电子设备100可以是一些需要统计人数的场景下拍摄的图像,例如车站等候区域、旅游景点或者广场等场景的监控设备,或者其它任意终端,例如手机(mobile phone)、平板电脑(Pad)、虚拟现实(Virtual Reality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对应用场景不做限定。
如图5所示,电子设备100可以由总线110作一般性的总线体系结构来实现。根据电子设备100的具体应用和整体设计约束条件,总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起,这些电路包括处理器120、存储介质130和总线接口140。可选地,电子设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现电子设备100中物理层的信号处理功能,并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备,例如:键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路,如定时源、外围设备、电压调节器或者功率管理电路等,这些电路是本领域所熟知的,因此不再详述。
可以替换的,电子设备100也可配置成通用处理系统,例如通称为芯片,该通用处理系统包括:提供处理功能的一个或多个微处理器,以及提供存储介质130的至少一部分的外部存储器,所有这些都通过外部总线体系结构与其它支持电路连接在一起。
可替换的,电子设备100可以使用下述来实现:具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路);以及集成在单个芯片中的存储介质130的至少一部分,或者,电子设备100可以使用下述来实现:一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本发明通篇所描述的各种功能的电路的任意组合。
其中,处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合,而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。
在图5中存储介质130被示为与处理器120分离,然而,本领域技术人员很容易明白,存储介质130或其任意部分可位于电子设备100之外。举例来说,存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品,这些介质均可以由处理器120通过总线接口140来访问。可替换地,存储介质130或其任意部分可以集成到处理器120中,例如,可以是高速缓存和/或通用寄存器。
所述处理器120可执行上述实施例,具体地,所述存储介质130中可以存储有所述人员统计装置200,所述处理器120可以用于执行所述人员统计装置200。
综上所述,本发明实施例提供一种人员统计方法及装置,通过获得每帧图像,再对每一帧图像进行目标检测,得到所述每一帧图像对应的目标框集合,并根据所述目标框集合生成密度图掩模,同时对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图,而后基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图,最后对所述目标密度图中每个像素进行积分计算,得到人员统计结果。由此,能够对每帧图像中相应区域进行实时人数统计,同时能够有效避免图像中周围环境带来的影响,大大提高人数统计准确率。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句"包括一个……"限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其它的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种人员统计方法,其特征在于,应用于电子设备,所述方法包括:
获得每帧图像;
通过目标检测网络对每一帧图像进行目标检测,得到所述每一帧图像的原始几何框集合,并对所述原始几何框集合进行聚类,得到新的目标框集合,而后根据新的目标框集合生成密度图掩模;
对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图;
基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图;
对所述目标密度图中每个像素进行积分计算,得到人员统计结果。
2.根据权利要求1所述的人员统计方法,其特征在于,在接收输入的每帧图像之前,所述方法还包括:
接收输入的样本图像,所述样本图像包括多类标定类型的图像,所述标定类型包括单目标类型、多目标类型和背景类型;
基于所述样本图像训练目标检测网络,得到训练后的目标检测网络。
3.根据权利要求2所述的人员统计方法,其特征在于,所述目标框集合中包括有聚类后的多类几何框,所述根据新的目标框集合生成密度图掩模,包括:
创建一个与所述原始密度图同等尺寸的矩阵区域,并将所述矩阵区域中与所述目标框集合对应区域的像素值进行赋值,得到密度图掩模。
4.根据权利要求3所述的人员统计方法,其特征在于,所述对所述原始几何框集合进行聚类,得到新的目标框集合,包括:
计算所述原始几何框集合中的几何框与各类几何框之间的中心点距离;
如果所述中心点距离小于预设距离,则将所述几何框合并到该类几何框中,其中,每类几何框中的集合框数量小于一预设阈值;
如果所述几何框最终未被合并到某一类几何框中,则为该几何框创建新的类几何框,直到所有几何框均被归类到类几何框时,得到新的目标框集合。
5.根据权利要求3所述的人员统计方法,其特征在于,所述将所述矩阵区域中与所述目标框集合对应区域的像素值进行赋值,得到密度图掩模,包括:
将该矩阵区域的所有像素值赋值为0;
将该矩阵区域中与所述目标框集合对应区域的像素值赋值为1,得到密度图掩模。
6.根据权利要求1所述的人员统计方法,其特征在于,在接收输入的每帧图像之前,所述方法还包括:
接收输入的图像样本集;
基于人员密集程度将所述图像样本集分为多个类别,形成第一样本集;
将所述图像样本集中未被外物遮挡的人员进行标定,并将标定后的图像样本集进行高斯模糊,得到所述图像样本集对应的密度图像集,以形成第二样本集;
采用所述第一样本集对等级分类网络进行训练,得到训练后的第一网络参数的等级分类网络;
采用所述第二样本集对像素回归网络进行训练,并在训练过程中读取所述第一网络参数,并将所述等级分类网络中最后两层卷积层之外的卷积层固定与所述像素回归网络融合,得到融合后的第二网络参数的像素回归网络。
7.根据权利要求6所述的人员统计方法,其特征在于,所述对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图,包括:
采用融合所述等级分类网络后的像素回归网络对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图。
8.根据权利要求1所述的人员统计方法,其特征在于,所述基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图,包括:
将所述原始密度图与所述密度图掩模对应的值相乘,得到所述目标密度图。
9.根据权利要求1所述的人员统计方法,其特征在于,在计算所述目标密度图中每个像素进行积分计算,得到人员统计结果之后,所述方法还包括:
将所述目标密度图进行高斯模糊,以生成彩色热力图。
10.一种人员统计装置,其特征在于,应用于电子设备,所述装置包括:
获得模块,用于获得每帧图像;
目标检测模块,用于通过目标检测网络对每一帧图像进行目标检测,得到所述每一帧图像的原始几何框集合,并对所述原始几何框集合进行聚类,得到新的目标框集合,而后根据新的目标框集合生成密度图掩模;
像素回归模块,用于对每一帧图像进行像素回归,得到所述每一帧图像对应的原始密度图;
过滤模块,用于基于所述密度图掩模对所述原始密度图进行过滤,得到目标密度图;
积分计算模块,用于对所述目标密度图中每个像素进行积分计算,得到人员统计结果。
CN201711373176.1A 2017-12-19 2017-12-19 人员统计方法及装置 Active CN109934072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711373176.1A CN109934072B (zh) 2017-12-19 2017-12-19 人员统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711373176.1A CN109934072B (zh) 2017-12-19 2017-12-19 人员统计方法及装置

Publications (2)

Publication Number Publication Date
CN109934072A CN109934072A (zh) 2019-06-25
CN109934072B true CN109934072B (zh) 2020-11-17

Family

ID=66983537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711373176.1A Active CN109934072B (zh) 2017-12-19 2017-12-19 人员统计方法及装置

Country Status (1)

Country Link
CN (1) CN109934072B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598672B (zh) * 2019-09-23 2023-07-04 天津天地伟业机器人技术有限公司 一种基于单台摄像机的多区域人数统计方法
CN111652168B (zh) * 2020-06-09 2023-09-08 腾讯科技(深圳)有限公司 基于人工智能的群体检测方法、装置、设备及存储介质
CN111813997B (zh) * 2020-09-08 2020-12-29 平安国际智慧城市科技股份有限公司 入侵分析方法、装置、设备及存储介质
CN114782412B (zh) * 2022-05-26 2024-07-26 马上消费金融股份有限公司 图像检测方法、目标检测模型的训练方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069648A (ja) * 2013-09-27 2015-04-13 株式会社リコー 目標検出方法及び目標検出システム
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069648A (ja) * 2013-09-27 2015-04-13 株式会社リコー 目標検出方法及び目標検出システム
CN105447458A (zh) * 2015-11-17 2016-03-30 深圳市商汤科技有限公司 一种大规模人群视频分析系统和方法
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法

Also Published As

Publication number Publication date
CN109934072A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN109934072B (zh) 人员统计方法及装置
CN107944450B (zh) 一种车牌识别方法及装置
CN107239794B (zh) 点云数据分割方法和终端
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN109118519A (zh) 基于实例分割的目标Re-ID方法、系统、终端和存储介质
CN110517262B (zh) 目标检测方法、装置、设备及存储介质
CN110689043A (zh) 一种基于多重注意力机制的车辆细粒度识别方法及装置
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN112434682B (zh) 基于多传感器的数据融合方法、装置及存储介质
CN112686314B (zh) 基于远距离拍摄场景的目标检测方法、装置及存储介质
CN111062400A (zh) 目标匹配方法及装置
CN111950345B (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN114972947B (zh) 一种基于模糊语义建模的深度场景文本检测方法和装置
CN110084232B (zh) 车牌中汉字字符的识别方法、装置及终端设备
CN110795975A (zh) 人脸误检优化方法及装置
CN110852209B (zh) 目标检测方法及装置、介质和设备
CN117576634B (zh) 基于密度检测的异常分析方法、设备以及存储介质
CN110135428B (zh) 图像分割处理方法和装置
CN112132892A (zh) 目标位置标注方法、装置及设备
Qi et al. Background subtraction via regional multi-feature-frequency model in complex scenes
CN113298122A (zh) 目标检测方法、装置和电子设备
CN107823886B (zh) 遮挡属性配置方法、装置及可读存储介质
CN116309643A (zh) 人脸遮挡分确定方法、电子设备及介质
Liang et al. Robust cross-Scene foreground segmentation in surveillance video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant