CN111723742A - 一种人群密度分析方法、系统、装置及计算机可读存储介质 - Google Patents

一种人群密度分析方法、系统、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111723742A
CN111723742A CN202010567692.3A CN202010567692A CN111723742A CN 111723742 A CN111723742 A CN 111723742A CN 202010567692 A CN202010567692 A CN 202010567692A CN 111723742 A CN111723742 A CN 111723742A
Authority
CN
China
Prior art keywords
layer
convolution layer
convolution
convolutional
crowd density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010567692.3A
Other languages
English (en)
Inventor
张莉
于厚舜
闫磊磊
王邦军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010567692.3A priority Critical patent/CN111723742A/zh
Publication of CN111723742A publication Critical patent/CN111723742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人群密度分析方法、系统、装置及计算机可读存储介质,包括:接收识别图像;利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别,得到人群密度;其中,轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层;第一卷积层和第二卷积层中的卷积层均为Ghost卷积层;本申请基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层,使得网络在保证原有性能的同时能够降低参数量,降低对硬件资源的消耗并加快运行速度,快速高效的计算出识别图像中的人群密度,提高了人群密度分析效率。

Description

一种人群密度分析方法、系统、装置及计算机可读存储介质
技术领域
本发明涉及人工智能领域,特别涉及一种人群密度分析方法、系统、装置及计算机可读存储介质。
背景技术
深度学习技术成为了近年来各界的热点研究问题,基于卷积神经网络(Convolutional Neural Network,CNN)的技术在图像分类领域中取得了很好的效果。研究者将卷积神经网络用到密集人群分析中,相对于传统的人群计数方法在准确率上有了大幅度的提升,因此目前普遍的人群分析技术均使用CNN模型预测人群信息。但是这些常规的人群计数网络模型具有较大的参数量和运算量,对硬件要求较高,难以实现在线人群密度的分析。
因此,需要一种硬件性能和网络参数量要求低,且识别效率更高的人群密度分析方法。
发明内容
有鉴于此,本发明的目的在于提供一种人群密度分析方法、系统、装置及计算机可读存储介质,降低硬件性能和网络参数量要求,提高识别效率。
其具体方案如下:
一种人群密度分析方法,包括:
接收识别图像;
利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别,得到人群密度;
其中,所述轻量化神经网络模型为利用历史识别图像进行训练得到的,所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层;
所述第一卷积层包括并列的多个卷积层,所述第一最大池化层分别与所述第一卷积层中每列卷积层连接,所述第二卷积层包括多个依次相连的卷积层;
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
可选的,所述第一卷积层包括3个并列的卷积层;
所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层;所述第一层卷积层连接所述第一最大池化层。
可选的,所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第二最大池化层、第四层卷积层、第三最大池化层、第五层卷积层和第六层卷积层;所述第一层卷积层连接所述第一最大池化层。
可选的,所述第一卷积层包括通道数分别为10、14和16,卷积核大小分别为9、7和5的卷积层。
可选的,所述轻量化神经网络模型利用历史识别图像进行训练的过程,包括:
接收所述历史识别图像;
标注所述历史识别图像中每个人头的中心位置,得到每个人头在所述历史识别图像上的人头中心坐标;
基于所述历史识别图像,利用高斯滤波器和每个人头的人头中心坐标,得到所述历史识别图像的密度图;
利用所述密度图对所述轻量化神经网络模型进行训练。
可选的,所述轻量化神经网络模型的损失函数L(Θ)为:
Figure BDA0002548421260000021
式中,N为训练样本的个数,Xi为第i个训练样本,Θ为网络学习的参数,F(Xi;Θ)为网络预测第i个样本的密度图,Mi为第i个样本的真实密度图。
可选的,所述轻量化神经网络模型中所有激活函数均为ReLU激活函数。
本发明还公开了一种人群密度分析系统,包括:
识别图像接收模块,用于接收识别图像;
人群密度分析模块,用于利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别,得到人群密度;
其中,所述轻量化神经网络模型为利用历史识别图像进行训练得到的,所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层;
所述第一卷积层包括并列的多个卷积层,所述第一最大池化层分别与所述第一卷积层中每列卷积层连接,所述第二卷积层包括多个依次相连的卷积层;
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
本发明还公开了一种分布式存储卷在线迁移装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如前述的人群密度分析方法。
本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的人群密度分析方法。
本发明中,人群密度分析方法,包括:接收识别图像;利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别,得到人群密度;其中,轻量化神经网络模型为利用历史识别图像进行训练得到的,轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层;第一卷积层包括并列的多个卷积层,第一最大池化层分别与第一卷积层中每列卷积层连接,第二卷积层包括多个依次相连的卷积层;第一卷积层和第二卷积层中的卷积层均为Ghost卷积层。
本发明基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层,使得网络在保证原有性能的同时能够降低参数量,降低对硬件资源的消耗并加快运行速度,快速高效的计算出识别图像中的人群密度,提高了人群密度分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种人群密度分析方法流程示意图;
图2为本发明实施例公开的一种轻量化神经网络模型结构示意图;
图3为本发明实施例公开的一种人群密度分析系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种人群密度分析方法,参见图1和图2所示,该方法包括:
S11:接收识别图像。
可以理解的是,识别图像可以为通过摄像头等图像拍摄设备获取,由于本发明实施例的轻量化神经网络模型是对识别图像中的人头进行识别,因此,图像拍摄设备应该放置在能够获取人头图像的位置,识别图像中尽可能包含人头图像,以便后续对图像中出现的人物进行人群密度分析。
S12:利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别,得到人群密度。
具体的,利用历史识别图像进行训练得到的轻量化神经网络模型,能够有效的对识别图像中出现的人头进行识别,轻量化神经网络模型对识别图像进行识别,能够得到识别图像中的人头数量,间接得到识别图像中的人数,得到识别图像中的人数后,可以根据识别图像的像素数量和人头所占的像素比得到相应的人群密度,或者根据识别图像对应的测量区域和人头在测量区域中相应的占比,得到相应的人群密度。
其中,测量区域可以为指定的需要测量人群密度的区域,例如,广场,识别图像不一定需要完整包括整个测量区域,例如,识别图像可以为测量区域的进出口或关键区域等,进而可以根据识别图像的分析出的密度结果,推测整个测量区域的密度或者直接作为测量区域的密度结果。
其中,轻量化神经网络模型为利用历史识别图像进行训练得到的,轻量化神经网络模型包括依次相连的第一卷积层1、第一最大池化层2和第二卷积层3;第一卷积层1包括并列的多个卷积层,第一最大池化层2分别与第一卷积层1中每列卷积层连接,第二卷积层3包括多个依次相连的卷积层;第一卷积层1和第二卷积层3中的卷积层均为Ghost卷积层。
具体的,轻量化神经网络模型在识别图像时,首先利用包括多个并列卷积层的第一卷积层1对识别图像进行特征提取,多个卷积层通过不同的通道获取识别图像中的特征,从而得到尽可能多的不同的识别图像中的特征信息,再接着由与每列卷积层连接的第一最大池化层2对每列卷积层输出的数据进行缩减,压缩数据,能够降低特征图的尺寸大小,特征图尺寸减小可以减少后续卷积操作的次数,减少数据处理量,降低计算量,提高整体识别效率,同时,能够突出其中的特征信息,接着再由与第一最大池化层2连接的包括多个卷积层的第二卷积层3进一步的对第一最大池化层2输出的数据进行特征提取,最终得到真实密度图,得到人群密度,第二卷积层3中多层的卷积层堆叠能够在提取高级语义特征时保持网络的参数量和计算量出于较低数值,保证网络运行的速度。
需要说明的是,第一最大池化层2也可以视为包括多个与第一卷积层1中每一列的卷积层分别连接的最大池化层的池化层。
具体的,第一卷积层1和第二卷积层3中的卷积层可以均为Ghost卷积层,在保证性能的同时网络参数量大幅下降,更适合部署在移动设备和其他低性能设备上运行。
可见,本发明实施例基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层,使得网络在保证原有性能的同时能够降低参数量,降低对硬件资源的消耗并加快运行速度,快速高效的计算出识别图像中的人群密度,提高了人群密度分析效率。
进一步的,参见图2所示,轻量化神经网络模型中的第一卷积层1可以包括3个并列的卷积层;第二卷积层3可以包括依次相连的第一层卷积层31、第二层卷积层32、第三层卷积层33、第四层卷积层34、第五层卷积层35和第六层卷积层36,共6个卷积层;其中,第二卷积层3中的第一层卷积层31连接第一最大池化层2。
其中,参见图2所示,第一卷积层1中3个并列的卷积层可以包括通道数分别为10、14和16,卷积核大小分别为9、7和5的卷积层,卷积核大小不同的多列结构使得轻量化神经网络模型能够捕捉到不同尺度的特征信息,提高人群计数的准确率。
具体的,参见图2所示,第二卷积层3可以包括六层卷积核大小均为3的卷积层,其中,第二卷积层3中的第三层卷积层33和第四层卷积层34后可以分别再接第二最大池化层和第四最大池化层,使第二卷积层3包括依次相连的第一层卷积层31、第二层卷积层32、第三层卷积层33、第二最大池化层、第四层卷积层34、第三最大池化层、第五层卷积层35和第六层卷积层36;第一层卷积层31连接第一最大池化层2;第三层卷积层33和第四层卷积层34,此处再利用最大池化层进一步降低特征图的尺寸,使第二卷积层3中六层的卷积层堆叠能够在提取高级语义特征时保持网络的参数量和计算量出于较低数值,保证网络运行的速度。
具体的,所有卷积层后可以均接批标准化层,可以加快轻量化神经网络模型训练和收敛的速度,防止轻量化神经网络模型过拟合;轻量化神经网络模型中所有激活函数可以均为ReLU激活函数,以保证所有输出的特征图中像素点的数值不为负数。
具体的,为了进一步的提高识别精准度,可以在训练前对拍摄设备获取的历史识别图像进行预处理,得到更为清晰的历史识别图像。
S21:接收历史识别图像。
具体的,历史识别图像为拍摄设备直接拍摄得到的图像。
例如,从监控摄像头拍摄的视频中进行抽帧,抽帧得到训练集
Figure BDA0002548421260000061
其中Xi为训练集中第i张图像,大小为m×n,N为训练集的数量。
S22:标注历史识别图像中每个人头的中心位置,得到每个人头在历史识别图像上的人头中心坐标。
具体的,可以利用标注工具标注历史识别图像中每个人头的中心位置,得到每个人头的人头中心坐标。
例如,使用标注工具标注训练集
Figure BDA0002548421260000071
中图像Xi中所有人头的中心位置。标注完成可得训练集
Figure BDA0002548421260000072
其中,Xi为训练集中第i张图像,大小为m×n;Pi是第i张图像中人头中心坐标的信息,大小为ci×2,其中第一列为人头中心点在图像中的横坐标,第二列为人头中心点在图像中的纵坐标,ci为第i张图像中的人头数;N为训练集的数量。
S23:基于历史识别图像,利用高斯滤波器和每个人头的人头中心坐标,得到历史识别图像的密度图。
具体的,对历史识别图像中人头的中心位置标注后,只有人头位置的坐标信息(x,y),后续神经网络模型直接将输入的历史识别图像映射到坐标点是很困难的,所以采用训练网络学习输入图像到对应的密度图的映射。
为此,可以采用一个大小为15×15、方差为σ的高斯滤波器,根据Pi中人头中心的坐标信息,生成Xi图像的密度图Mi,最终得到密度图形式的训练集
Figure BDA0002548421260000073
以用于训练网络。
具体的,采用训练网络学习输入图像到对应的密度图的映射的过程,可以包括:首先生成一个与输入图像即历史识别图像尺寸一致的全零矩阵,根据原始标注中的所有人头位置的坐标将全零矩阵中相应坐标位置的像素置为1。
具体的,高斯滤波器将矩阵中值为1的像素点中的数值溶解到S*S(S仅为单数)大小的方形区域内,原值为1的像素点为新生成矩形区域的中心点,这个矩形区域内的所有像素点的值和为1。这样处理过后网络要学习的映射就由本来的输入图像到人头坐标点单个固定数值像素转变成了输入图像到一个矩形区域分散数值像素块,每个人头对应一个像素块,这种映射能够使映射的学习可行化,并且能提高神经网络模型的容错率。
其中,高斯滤波器中的两个参数S和σ分别表示滤波后生成的矩形像素块的宽度和像素块内部像素点数值的方差。其中,S的取值可以根据实际应用需求进行设置,平均人头尺寸较大可以考虑用更大的S值。方差σ反应的是矩形像素块内部像素间数值的差异的大小,σ越大靠中间位置的像素点数值与边缘像素点值之间的差就越大,方差σ的值可以取4,让像素块内部像素点值分布偏均匀,同时也保证对中间位置像素的突出。
具体的,每张输入的图像都有一个对应的密度图。如上述,每个人头的位置都有一个大小为SxS的矩形表示,矩形内的像素点之和数值为1,表示该位置有一个人。一个矩形表示一个人,将所有的矩形块的像素值相加就能够得到人头数,因为一个矩形块的全部像素值之和为1,所有矩形块的全部像素值之和便为人头数。这一结果可由直接对密度图中所有像素点值求和而得,因为密度图中所有有数值的像素点都在矩形块内,非矩形块内其它位置的像素值均为0,即密度图是用于突出表现像素值的图像。
其中,轻量化神经网络模型的损失函数L(Θ)为:
Figure BDA0002548421260000081
式中,N为训练样本的个数,Xi为第i个训练样本,Θ为网络学习的参数,F(Xi;Θ)为网络预测第i个样本的密度图,Mi为第i个样本的真实密度图。
进一步的,本发明实施例还公开了一种轻量化神经网络模型的具体训练应用场景,包括:
具体的,选择一份已知数据集进行测试,该数据集中一共包含1198张已标注的图像,数据集中共有330165个人头中心位置已标注。该数据集包含两个部分:Part_A和Part_B。Part_A中有482张图像,其中300张用于训练,其余182张用于测试,Part_A中的数据是从网络上随机爬取的图像,人群密度较大,图像的大小不一致。Part_B中有716张图像,其中400张用于训练,其余316张用于测试,Part_B中的数据是从上海街道上拍摄的场景图像,人群密度较小,图像的尺寸均为768X1024。
首先,可以对数据进行预处理,这里利用Part_B中的图像进行距离,利用数据集中已标注过人头中心坐标的Part_B中每张图像,可直接得到带有人头中心坐标标注信息的训练集
Figure BDA0002548421260000082
其中,Xi为Part_B中的第i张图像,大小为768×1024;Pi是第i张图像中人头中心坐标的信息,大小为ci×2,其中第一列为人头中心点在图像中的横坐标,第二列为人头中心点在图像中的纵坐标,ci为第i张图像中的人头数;N为Part_B中训练集的数量。
其次,采用一个大小为15×15、方差为σ的高斯滤波器,根据Pi中人头中心的坐标信息,生成Xi图像的密度图Mi
最后,利用密度图Mi,可以得到处理好的训练集
Figure BDA0002548421260000091
用于训练轻量化积神经网络模型。
具体的,本发明实施例还提供了与现有技术中传统卷积神经网络的效果对比,具体的,从表1的结果中可以看出,本发明实施例提出的轻量化卷积神经网络模型在平均绝对误差(MAE)和均方误差(MSE)上都比传统卷积神经网络模型获得了更好的性能,同时在表2中参数量相较于传统卷积神经网络模型也有大幅下降,更有利于在线计数。
表1人群计数结果的对比
Figure BDA0002548421260000092
表2参数量对比
方法 参数量
轻量化卷积神经网络模型 0.037M
传统卷积神经网络 0.072M
相应的,本发明实施例还公开了一种人群密度分析系统,参见图3所示,该系统包括:
识别图像接收模块11,用于接收识别图像;
人群密度分析模块12,用于利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别,得到人群密度;
其中,
轻量化神经网络模型为利用历史识别图像进行训练得到的,轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层;
第一卷积层包括并列的多个卷积层,第一最大池化层分别与第一卷积层中每列卷积层连接,第二卷积层包括多个依次相连的卷积层;
第一卷积层和第二卷积层中的卷积层均为Ghost卷积层。
可见,本发明实施例基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层,使得网络在保证原有性能的同时能够降低参数量,降低对硬件资源的消耗并加快运行速度,快速高效的计算出识别图像中的人群密度,提高了人群密度分析效率。
其中,上述第一卷积层可以包括3个并列的卷积层;
上述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层;第一层卷积层连接第一最大池化层。
具体的,上述第二卷积层可以包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第二最大池化层、第四层卷积层、第三最大池化层、第五层卷积层和第六层卷积层;第一层卷积层连接第一最大池化层。
具体的,上述第一卷积层包括通道数分别为10、14和16,卷积核大小分别为9、7和5的卷积层。
具体的,还可以包括:历史图像接收模块、中心坐标标注模块、密度图生成模块和神经网络训练模块;其中,
历史图像接收模块,用于接收历史识别图像;
中心坐标标注模块,用于标注历史识别图像中每个人头的中心位置,得到每个人头在历史识别图像上的人头中心坐标;
密度图生成模块,用于基于历史识别图像,利用高斯滤波器和每个人头的人头中心坐标,得到历史识别图像的密度图;
神经网络训练模块,用于利用密度图对轻量化神经网络模型进行训练。
具体的,上述轻量化神经网络模型的损失函数L(Θ)为:
Figure BDA0002548421260000101
式中,N为训练样本的个数,Xi为第i个训练样本,Θ为网络学习的参数,F(Xi;Θ)为网络预测第i个样本的密度图,Mi为第i个样本的真实密度图。
具体的,上述轻量化神经网络模型中所有激活函数可以均为ReLU激活函数。
此外,本发明实施例还公开了一种分布式存储卷在线迁移装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序以实现如前述的人群密度分析方法。
另外,本发明实施例还公开了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如前述的人群密度分析方法。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的技术内容进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人群密度分析方法,其特征在于,包括:
接收识别图像;
利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别,得到人群密度;
其中,所述轻量化神经网络模型为利用历史识别图像进行训练得到的,所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层;
所述第一卷积层包括并列的多个卷积层,所述第一最大池化层分别与所述第一卷积层中每列卷积层连接,所述第二卷积层包括多个依次相连的卷积层;
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
2.根据权利要求1所述的人群密度分析方法,其特征在于,所述第一卷积层包括3个并列的卷积层;
所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层;所述第一层卷积层连接所述第一最大池化层。
3.根据权利要求2所述的人群密度分析方法,其特征在于,所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第二最大池化层、第四层卷积层、第三最大池化层、第五层卷积层和第六层卷积层;所述第一层卷积层连接所述第一最大池化层。
4.根据权利要求2所述的人群密度分析方法,其特征在于,所述第一卷积层包括通道数分别为10、14和16,卷积核大小分别为9、7和5的卷积层。
5.根据权利要求1至4任一项所述的人群密度分析方法,其特征在于,所述轻量化神经网络模型利用历史识别图像进行训练的过程,包括:
接收所述历史识别图像;
标注所述历史识别图像中每个人头的中心位置,得到每个人头在所述历史识别图像上的人头中心坐标;
基于所述历史识别图像,利用高斯滤波器和每个人头的人头中心坐标,得到所述历史识别图像的密度图;
利用所述密度图对所述轻量化神经网络模型进行训练。
6.根据权利要求5所述的人群密度分析方法,其特征在于,所述轻量化神经网络模型的损失函数L(Θ)为:
Figure FDA0002548421250000021
式中,N为训练样本的个数,Xi为第i个训练样本,Θ为网络学习的参数,F(Xi;Θ)为网络预测第i个样本的密度图,Mi为第i个样本的真实密度图。
7.根据权利要求5所述的人群密度分析方法,其特征在于,所述轻量化神经网络模型中所有激活函数均为ReLU激活函数。
8.一种人群密度分析系统,其特征在于,包括:
识别图像接收模块,用于接收识别图像;
人群密度分析模块,用于利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别,得到人群密度;
其中,所述轻量化神经网络模型为利用历史识别图像进行训练得到的,所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层;
所述第一卷积层包括并列的多个卷积层,所述第一最大池化层分别与所述第一卷积层中每列卷积层连接,所述第二卷积层包括多个依次相连的卷积层;
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
9.一种分布式存储卷在线迁移装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至7任一项所述的人群密度分析方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的人群密度分析方法。
CN202010567692.3A 2020-06-19 2020-06-19 一种人群密度分析方法、系统、装置及计算机可读存储介质 Pending CN111723742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010567692.3A CN111723742A (zh) 2020-06-19 2020-06-19 一种人群密度分析方法、系统、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010567692.3A CN111723742A (zh) 2020-06-19 2020-06-19 一种人群密度分析方法、系统、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111723742A true CN111723742A (zh) 2020-09-29

Family

ID=72568145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010567692.3A Pending CN111723742A (zh) 2020-06-19 2020-06-19 一种人群密度分析方法、系统、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111723742A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861718A (zh) * 2021-02-08 2021-05-28 暨南大学 一种轻量级特征融合人群计数方法及系统
CN113095273A (zh) * 2021-04-25 2021-07-09 哈尔滨理工大学 一种基于深度学习的人群计数方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858461A (zh) * 2019-02-21 2019-06-07 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质
CN110084155A (zh) * 2019-04-12 2019-08-02 苏州大学 一种密集人数计数的方法、装置、设备以及存储介质
AU2019100806A4 (en) * 2019-07-24 2019-08-29 Dynamic Crowd Measurement Pty Ltd Real-Time Crowd Measurement And Management Systems And Methods Thereof
CN110879982A (zh) * 2019-11-15 2020-03-13 苏州大学 一种人群计数系统及方法
CN111091093A (zh) * 2019-12-17 2020-05-01 苏州大学 一种高密度人群的数量估测方法、系统及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858461A (zh) * 2019-02-21 2019-06-07 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质
CN110084155A (zh) * 2019-04-12 2019-08-02 苏州大学 一种密集人数计数的方法、装置、设备以及存储介质
AU2019100806A4 (en) * 2019-07-24 2019-08-29 Dynamic Crowd Measurement Pty Ltd Real-Time Crowd Measurement And Management Systems And Methods Thereof
CN110879982A (zh) * 2019-11-15 2020-03-13 苏州大学 一种人群计数系统及方法
CN111091093A (zh) * 2019-12-17 2020-05-01 苏州大学 一种高密度人群的数量估测方法、系统及相关装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JINGANG LU ET AL.: ""Crowd Counting via Residual Multi-scale"", 《2019 SEVENTH INTERNATIONAL CONFERENCE ON ADVANCED CLOUD AND BIG DATA (CBD)》 *
KAI HAN ET AL.: ""GhostNet: More Features from Cheap Operations"", 《ARXIV:1911.11907 [CS.CV]》 *
XIAOWEN SHI ET AL.: ""A real-time deep network for corwd counting"", 《ARXIV:2002.06515 V1 [CS.CV]》 *
平嘉蓉等: ""基于轻量级神经网络的人群计数模型设计"", 《无线电工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861718A (zh) * 2021-02-08 2021-05-28 暨南大学 一种轻量级特征融合人群计数方法及系统
CN113095273A (zh) * 2021-04-25 2021-07-09 哈尔滨理工大学 一种基于深度学习的人群计数方法

Similar Documents

Publication Publication Date Title
CN110298266B (zh) 基于多尺度感受野特征融合的深度神经网络目标检测方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
WO2021022521A1 (zh) 数据处理的方法、训练神经网络模型的方法及设备
CN110569814B (zh) 视频类别识别方法、装置、计算机设备及计算机存储介质
CN110223106B (zh) 一种基于深度学习的欺诈应用检测方法
CN109711422A (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN109002766A (zh) 一种表情识别方法及装置
CN109472247B (zh) 基于深度学习非配合式的人脸识别方法
AU2020100052A4 (en) Unattended video classifying system based on transfer learning
CN114360067A (zh) 一种基于深度学习的动态手势识别方法
CN113591978B (zh) 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN111723742A (zh) 一种人群密度分析方法、系统、装置及计算机可读存储介质
Khan et al. Patch-based segmentation of latent fingerprint images using convolutional neural network
CN112367273A (zh) 基于知识蒸馏的深度神经网络模型的流量分类方法及装置
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
CN111860407A (zh) 一种视频中人物的表情识别方法、装置、设备及存储介质
CN115170926A (zh) 轻量化目标图像识别方法、装置及存储介质
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN114792430A (zh) 基于极化自注意力的行人重识别方法、系统及相关设备
CN110688966A (zh) 语义指导的行人重识别方法
CN112308087B (zh) 基于动态视觉传感器的一体化成像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination