CN111723742A - 一种人群密度分析方法、系统、装置及计算机可读存储介质 - Google Patents
一种人群密度分析方法、系统、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111723742A CN111723742A CN202010567692.3A CN202010567692A CN111723742A CN 111723742 A CN111723742 A CN 111723742A CN 202010567692 A CN202010567692 A CN 202010567692A CN 111723742 A CN111723742 A CN 111723742A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution layer
- convolution
- convolutional
- crowd density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000003062 neural network model Methods 0.000 claims abstract description 45
- 238000011176 pooling Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种人群密度分析方法、系统、装置及计算机可读存储介质，包括：接收识别图像；利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别，得到人群密度；其中，轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层；第一卷积层和第二卷积层中的卷积层均为Ghost卷积层；本申请基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层，使得网络在保证原有性能的同时能够降低参数量，降低对硬件资源的消耗并加快运行速度，快速高效的计算出识别图像中的人群密度，提高了人群密度分析效率。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种人群密度分析方法、系统、装置及计算机可读存储介质。
背景技术
深度学习技术成为了近年来各界的热点研究问题，基于卷积神经网络(Convolutional Neural Network，CNN)的技术在图像分类领域中取得了很好的效果。研究者将卷积神经网络用到密集人群分析中，相对于传统的人群计数方法在准确率上有了大幅度的提升，因此目前普遍的人群分析技术均使用CNN模型预测人群信息。但是这些常规的人群计数网络模型具有较大的参数量和运算量，对硬件要求较高，难以实现在线人群密度的分析。
因此，需要一种硬件性能和网络参数量要求低，且识别效率更高的人群密度分析方法。
发明内容
有鉴于此，本发明的目的在于提供一种人群密度分析方法、系统、装置及计算机可读存储介质，降低硬件性能和网络参数量要求，提高识别效率。
其具体方案如下：
一种人群密度分析方法，包括：
接收识别图像；
利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别，得到人群密度；
其中，所述轻量化神经网络模型为利用历史识别图像进行训练得到的，所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层；
所述第一卷积层包括并列的多个卷积层，所述第一最大池化层分别与所述第一卷积层中每列卷积层连接，所述第二卷积层包括多个依次相连的卷积层；
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
可选的，所述第一卷积层包括3个并列的卷积层；
所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层；所述第一层卷积层连接所述第一最大池化层。
可选的，所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第二最大池化层、第四层卷积层、第三最大池化层、第五层卷积层和第六层卷积层；所述第一层卷积层连接所述第一最大池化层。
可选的，所述第一卷积层包括通道数分别为10、14和16，卷积核大小分别为9、7和5的卷积层。
可选的，所述轻量化神经网络模型利用历史识别图像进行训练的过程，包括：
接收所述历史识别图像；
标注所述历史识别图像中每个人头的中心位置，得到每个人头在所述历史识别图像上的人头中心坐标；
基于所述历史识别图像，利用高斯滤波器和每个人头的人头中心坐标，得到所述历史识别图像的密度图；
利用所述密度图对所述轻量化神经网络模型进行训练。
可选的，所述轻量化神经网络模型的损失函数L(Θ)为：
式中，N为训练样本的个数，Xi为第i个训练样本，Θ为网络学习的参数，F(Xi；Θ)为网络预测第i个样本的密度图，Mi为第i个样本的真实密度图。
可选的，所述轻量化神经网络模型中所有激活函数均为ReLU激活函数。
本发明还公开了一种人群密度分析系统，包括：
识别图像接收模块，用于接收识别图像；
人群密度分析模块，用于利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别，得到人群密度；
其中，所述轻量化神经网络模型为利用历史识别图像进行训练得到的，所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层；
所述第一卷积层包括并列的多个卷积层，所述第一最大池化层分别与所述第一卷积层中每列卷积层连接，所述第二卷积层包括多个依次相连的卷积层；
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
本发明还公开了一种分布式存储卷在线迁移装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如前述的人群密度分析方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的人群密度分析方法。
本发明中，人群密度分析方法，包括：接收识别图像；利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别，得到人群密度；其中，轻量化神经网络模型为利用历史识别图像进行训练得到的，轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层；第一卷积层包括并列的多个卷积层，第一最大池化层分别与第一卷积层中每列卷积层连接，第二卷积层包括多个依次相连的卷积层；第一卷积层和第二卷积层中的卷积层均为Ghost卷积层。
本发明基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层，使得网络在保证原有性能的同时能够降低参数量，降低对硬件资源的消耗并加快运行速度，快速高效的计算出识别图像中的人群密度，提高了人群密度分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种人群密度分析方法流程示意图；
图2为本发明实施例公开的一种轻量化神经网络模型结构示意图；
图3为本发明实施例公开的一种人群密度分析系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种人群密度分析方法，参见图1和图2所示，该方法包括：
S11：接收识别图像。
可以理解的是，识别图像可以为通过摄像头等图像拍摄设备获取，由于本发明实施例的轻量化神经网络模型是对识别图像中的人头进行识别，因此，图像拍摄设备应该放置在能够获取人头图像的位置，识别图像中尽可能包含人头图像，以便后续对图像中出现的人物进行人群密度分析。
S12：利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别，得到人群密度。
具体的，利用历史识别图像进行训练得到的轻量化神经网络模型，能够有效的对识别图像中出现的人头进行识别，轻量化神经网络模型对识别图像进行识别，能够得到识别图像中的人头数量，间接得到识别图像中的人数，得到识别图像中的人数后，可以根据识别图像的像素数量和人头所占的像素比得到相应的人群密度，或者根据识别图像对应的测量区域和人头在测量区域中相应的占比，得到相应的人群密度。
其中，测量区域可以为指定的需要测量人群密度的区域，例如，广场，识别图像不一定需要完整包括整个测量区域，例如，识别图像可以为测量区域的进出口或关键区域等，进而可以根据识别图像的分析出的密度结果，推测整个测量区域的密度或者直接作为测量区域的密度结果。
其中，轻量化神经网络模型为利用历史识别图像进行训练得到的，轻量化神经网络模型包括依次相连的第一卷积层1、第一最大池化层2和第二卷积层3；第一卷积层1包括并列的多个卷积层，第一最大池化层2分别与第一卷积层1中每列卷积层连接，第二卷积层3包括多个依次相连的卷积层；第一卷积层1和第二卷积层3中的卷积层均为Ghost卷积层。
具体的，轻量化神经网络模型在识别图像时，首先利用包括多个并列卷积层的第一卷积层1对识别图像进行特征提取，多个卷积层通过不同的通道获取识别图像中的特征，从而得到尽可能多的不同的识别图像中的特征信息，再接着由与每列卷积层连接的第一最大池化层2对每列卷积层输出的数据进行缩减，压缩数据，能够降低特征图的尺寸大小，特征图尺寸减小可以减少后续卷积操作的次数，减少数据处理量，降低计算量，提高整体识别效率，同时，能够突出其中的特征信息，接着再由与第一最大池化层2连接的包括多个卷积层的第二卷积层3进一步的对第一最大池化层2输出的数据进行特征提取，最终得到真实密度图，得到人群密度，第二卷积层3中多层的卷积层堆叠能够在提取高级语义特征时保持网络的参数量和计算量出于较低数值，保证网络运行的速度。
需要说明的是，第一最大池化层2也可以视为包括多个与第一卷积层1中每一列的卷积层分别连接的最大池化层的池化层。
具体的，第一卷积层1和第二卷积层3中的卷积层可以均为Ghost卷积层，在保证性能的同时网络参数量大幅下降，更适合部署在移动设备和其他低性能设备上运行。
可见，本发明实施例基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层，使得网络在保证原有性能的同时能够降低参数量，降低对硬件资源的消耗并加快运行速度，快速高效的计算出识别图像中的人群密度，提高了人群密度分析效率。
进一步的，参见图2所示，轻量化神经网络模型中的第一卷积层1可以包括3个并列的卷积层；第二卷积层3可以包括依次相连的第一层卷积层31、第二层卷积层32、第三层卷积层33、第四层卷积层34、第五层卷积层35和第六层卷积层36，共6个卷积层；其中，第二卷积层3中的第一层卷积层31连接第一最大池化层2。
其中，参见图2所示，第一卷积层1中3个并列的卷积层可以包括通道数分别为10、14和16，卷积核大小分别为9、7和5的卷积层，卷积核大小不同的多列结构使得轻量化神经网络模型能够捕捉到不同尺度的特征信息，提高人群计数的准确率。
具体的，参见图2所示，第二卷积层3可以包括六层卷积核大小均为3的卷积层，其中，第二卷积层3中的第三层卷积层33和第四层卷积层34后可以分别再接第二最大池化层和第四最大池化层，使第二卷积层3包括依次相连的第一层卷积层31、第二层卷积层32、第三层卷积层33、第二最大池化层、第四层卷积层34、第三最大池化层、第五层卷积层35和第六层卷积层36；第一层卷积层31连接第一最大池化层2；第三层卷积层33和第四层卷积层34，此处再利用最大池化层进一步降低特征图的尺寸，使第二卷积层3中六层的卷积层堆叠能够在提取高级语义特征时保持网络的参数量和计算量出于较低数值，保证网络运行的速度。
具体的，所有卷积层后可以均接批标准化层，可以加快轻量化神经网络模型训练和收敛的速度，防止轻量化神经网络模型过拟合；轻量化神经网络模型中所有激活函数可以均为ReLU激活函数，以保证所有输出的特征图中像素点的数值不为负数。
具体的，为了进一步的提高识别精准度，可以在训练前对拍摄设备获取的历史识别图像进行预处理，得到更为清晰的历史识别图像。
S21：接收历史识别图像。
具体的，历史识别图像为拍摄设备直接拍摄得到的图像。
例如，从监控摄像头拍摄的视频中进行抽帧，抽帧得到训练集
其中Xi为训练集中第i张图像，大小为m×n，N为训练集的数量。
S22：标注历史识别图像中每个人头的中心位置，得到每个人头在历史识别图像上的人头中心坐标。
具体的，可以利用标注工具标注历史识别图像中每个人头的中心位置，得到每个人头的人头中心坐标。
例如，使用标注工具标注训练集
中图像Xi中所有人头的中心位置。标注完成可得训练集
其中，Xi为训练集中第i张图像，大小为m×n；Pi是第i张图像中人头中心坐标的信息，大小为ci×2，其中第一列为人头中心点在图像中的横坐标，第二列为人头中心点在图像中的纵坐标，ci为第i张图像中的人头数；N为训练集的数量。
S23：基于历史识别图像，利用高斯滤波器和每个人头的人头中心坐标，得到历史识别图像的密度图。
具体的，对历史识别图像中人头的中心位置标注后，只有人头位置的坐标信息(x,y)，后续神经网络模型直接将输入的历史识别图像映射到坐标点是很困难的，所以采用训练网络学习输入图像到对应的密度图的映射。
为此，可以采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中人头中心的坐标信息，生成Xi图像的密度图Mi，最终得到密度图形式的训练集
以用于训练网络。
具体的，采用训练网络学习输入图像到对应的密度图的映射的过程，可以包括：首先生成一个与输入图像即历史识别图像尺寸一致的全零矩阵，根据原始标注中的所有人头位置的坐标将全零矩阵中相应坐标位置的像素置为1。
具体的，高斯滤波器将矩阵中值为1的像素点中的数值溶解到S*S(S仅为单数)大小的方形区域内，原值为1的像素点为新生成矩形区域的中心点，这个矩形区域内的所有像素点的值和为1。这样处理过后网络要学习的映射就由本来的输入图像到人头坐标点单个固定数值像素转变成了输入图像到一个矩形区域分散数值像素块，每个人头对应一个像素块，这种映射能够使映射的学习可行化，并且能提高神经网络模型的容错率。
其中，高斯滤波器中的两个参数S和σ分别表示滤波后生成的矩形像素块的宽度和像素块内部像素点数值的方差。其中，S的取值可以根据实际应用需求进行设置，平均人头尺寸较大可以考虑用更大的S值。方差σ反应的是矩形像素块内部像素间数值的差异的大小，σ越大靠中间位置的像素点数值与边缘像素点值之间的差就越大，方差σ的值可以取4，让像素块内部像素点值分布偏均匀，同时也保证对中间位置像素的突出。
具体的，每张输入的图像都有一个对应的密度图。如上述，每个人头的位置都有一个大小为SxS的矩形表示，矩形内的像素点之和数值为1，表示该位置有一个人。一个矩形表示一个人，将所有的矩形块的像素值相加就能够得到人头数，因为一个矩形块的全部像素值之和为1，所有矩形块的全部像素值之和便为人头数。这一结果可由直接对密度图中所有像素点值求和而得，因为密度图中所有有数值的像素点都在矩形块内，非矩形块内其它位置的像素值均为0，即密度图是用于突出表现像素值的图像。
其中，轻量化神经网络模型的损失函数L(Θ)为：
式中，N为训练样本的个数，Xi为第i个训练样本，Θ为网络学习的参数，F(Xi；Θ)为网络预测第i个样本的密度图，Mi为第i个样本的真实密度图。
进一步的，本发明实施例还公开了一种轻量化神经网络模型的具体训练应用场景，包括：
具体的，选择一份已知数据集进行测试，该数据集中一共包含1198张已标注的图像，数据集中共有330165个人头中心位置已标注。该数据集包含两个部分：Part_A和Part_B。Part_A中有482张图像，其中300张用于训练，其余182张用于测试，Part_A中的数据是从网络上随机爬取的图像，人群密度较大，图像的大小不一致。Part_B中有716张图像，其中400张用于训练，其余316张用于测试，Part_B中的数据是从上海街道上拍摄的场景图像，人群密度较小，图像的尺寸均为768X1024。
首先，可以对数据进行预处理，这里利用Part_B中的图像进行距离，利用数据集中已标注过人头中心坐标的Part_B中每张图像，可直接得到带有人头中心坐标标注信息的训练集
其中，Xi为Part_B中的第i张图像，大小为768×1024；Pi是第i张图像中人头中心坐标的信息，大小为ci×2，其中第一列为人头中心点在图像中的横坐标，第二列为人头中心点在图像中的纵坐标，ci为第i张图像中的人头数；N为Part_B中训练集的数量。
其次，采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中人头中心的坐标信息，生成Xi图像的密度图Mi。
最后，利用密度图Mi，可以得到处理好的训练集
用于训练轻量化积神经网络模型。
具体的，本发明实施例还提供了与现有技术中传统卷积神经网络的效果对比，具体的，从表1的结果中可以看出，本发明实施例提出的轻量化卷积神经网络模型在平均绝对误差(MAE)和均方误差(MSE)上都比传统卷积神经网络模型获得了更好的性能，同时在表2中参数量相较于传统卷积神经网络模型也有大幅下降，更有利于在线计数。
表1人群计数结果的对比
表2参数量对比
| 方法 | 参数量 |
| 轻量化卷积神经网络模型 | 0.037M |
| 传统卷积神经网络 | 0.072M |
相应的，本发明实施例还公开了一种人群密度分析系统，参见图3所示，该系统包括：
识别图像接收模块11，用于接收识别图像；
人群密度分析模块12，用于利用预先训练得到的轻量化神经网络模型对识别图像中出现的人数进行识别，得到人群密度；
其中，
轻量化神经网络模型为利用历史识别图像进行训练得到的，轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层；
第一卷积层包括并列的多个卷积层，第一最大池化层分别与第一卷积层中每列卷积层连接，第二卷积层包括多个依次相连的卷积层；
第一卷积层和第二卷积层中的卷积层均为Ghost卷积层。
可见，本发明实施例基于轻量化神经网络模型的独有架构将其中常规卷积层全部替换成Ghost卷积层，使得网络在保证原有性能的同时能够降低参数量，降低对硬件资源的消耗并加快运行速度，快速高效的计算出识别图像中的人群密度，提高了人群密度分析效率。
其中，上述第一卷积层可以包括3个并列的卷积层；
上述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层；第一层卷积层连接第一最大池化层。
具体的，上述第二卷积层可以包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第二最大池化层、第四层卷积层、第三最大池化层、第五层卷积层和第六层卷积层；第一层卷积层连接第一最大池化层。
具体的，上述第一卷积层包括通道数分别为10、14和16，卷积核大小分别为9、7和5的卷积层。
具体的，还可以包括：历史图像接收模块、中心坐标标注模块、密度图生成模块和神经网络训练模块；其中，
历史图像接收模块，用于接收历史识别图像；
中心坐标标注模块，用于标注历史识别图像中每个人头的中心位置，得到每个人头在历史识别图像上的人头中心坐标；
密度图生成模块，用于基于历史识别图像，利用高斯滤波器和每个人头的人头中心坐标，得到历史识别图像的密度图；
神经网络训练模块，用于利用密度图对轻量化神经网络模型进行训练。
具体的，上述轻量化神经网络模型的损失函数L(Θ)为：
式中，N为训练样本的个数，Xi为第i个训练样本，Θ为网络学习的参数，F(Xi；Θ)为网络预测第i个样本的密度图，Mi为第i个样本的真实密度图。
具体的，上述轻量化神经网络模型中所有激活函数可以均为ReLU激活函数。
此外，本发明实施例还公开了一种分布式存储卷在线迁移装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如前述的人群密度分析方法。
另外，本发明实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述的人群密度分析方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的技术内容进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种人群密度分析方法，其特征在于，包括：
接收识别图像；
利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别，得到人群密度；
其中，所述轻量化神经网络模型为利用历史识别图像进行训练得到的，所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层；
所述第一卷积层包括并列的多个卷积层，所述第一最大池化层分别与所述第一卷积层中每列卷积层连接，所述第二卷积层包括多个依次相连的卷积层；
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
2.根据权利要求1所述的人群密度分析方法，其特征在于，所述第一卷积层包括3个并列的卷积层；
所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层；所述第一层卷积层连接所述第一最大池化层。
3.根据权利要求2所述的人群密度分析方法，其特征在于，所述第二卷积层包括依次相连的第一层卷积层、第二层卷积层、第三层卷积层、第二最大池化层、第四层卷积层、第三最大池化层、第五层卷积层和第六层卷积层；所述第一层卷积层连接所述第一最大池化层。
4.根据权利要求2所述的人群密度分析方法，其特征在于，所述第一卷积层包括通道数分别为10、14和16，卷积核大小分别为9、7和5的卷积层。
5.根据权利要求1至4任一项所述的人群密度分析方法，其特征在于，所述轻量化神经网络模型利用历史识别图像进行训练的过程，包括：
接收所述历史识别图像；
标注所述历史识别图像中每个人头的中心位置，得到每个人头在所述历史识别图像上的人头中心坐标；
基于所述历史识别图像，利用高斯滤波器和每个人头的人头中心坐标，得到所述历史识别图像的密度图；
利用所述密度图对所述轻量化神经网络模型进行训练。
6.根据权利要求5所述的人群密度分析方法，其特征在于，所述轻量化神经网络模型的损失函数L(Θ)为：
式中，N为训练样本的个数，Xi为第i个训练样本，Θ为网络学习的参数，F(Xi；Θ)为网络预测第i个样本的密度图，Mi为第i个样本的真实密度图。
7.根据权利要求5所述的人群密度分析方法，其特征在于，所述轻量化神经网络模型中所有激活函数均为ReLU激活函数。
8.一种人群密度分析系统，其特征在于，包括：
识别图像接收模块，用于接收识别图像；
人群密度分析模块，用于利用预先训练得到的轻量化神经网络模型对所述识别图像中出现的人数进行识别，得到人群密度；
其中，所述轻量化神经网络模型为利用历史识别图像进行训练得到的，所述轻量化神经网络模型包括依次相连的第一卷积层、第一最大池化层和第二卷积层；
所述第一卷积层包括并列的多个卷积层，所述第一最大池化层分别与所述第一卷积层中每列卷积层连接，所述第二卷积层包括多个依次相连的卷积层；
所述第一卷积层和所述第二卷积层中的卷积层均为Ghost卷积层。
9.一种分布式存储卷在线迁移装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的人群密度分析方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的人群密度分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567692.3A CN111723742A (zh) | 2020-06-19 | 2020-06-19 | 一种人群密度分析方法、系统、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567692.3A CN111723742A (zh) | 2020-06-19 | 2020-06-19 | 一种人群密度分析方法、系统、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111723742A true CN111723742A (zh) | 2020-09-29 |
Family
ID=72568145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010567692.3A Pending CN111723742A (zh) | 2020-06-19 | 2020-06-19 | 一种人群密度分析方法、系统、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723742A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861718A (zh) * | 2021-02-08 | 2021-05-28 | 暨南大学 | 一种轻量级特征融合人群计数方法及系统 |
| CN113095273A (zh) * | 2021-04-25 | 2021-07-09 | 哈尔滨理工大学 | 一种基于深度学习的人群计数方法 |
| CN114331908A (zh) * | 2021-12-27 | 2022-04-12 | 宜宾电子科技大学研究院 | 一种基于深度学习的智能终端夜景图像增强方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858461A (zh) * | 2019-02-21 | 2019-06-07 | 苏州大学 | 一种密集人群计数的方法、装置、设备以及存储介质 |
| CN110084155A (zh) * | 2019-04-12 | 2019-08-02 | 苏州大学 | 一种密集人数计数的方法、装置、设备以及存储介质 |
| AU2019100806A4 (en) * | 2019-07-24 | 2019-08-29 | Dynamic Crowd Measurement Pty Ltd | Real-Time Crowd Measurement And Management Systems And Methods Thereof |
| CN110879982A (zh) * | 2019-11-15 | 2020-03-13 | 苏州大学 | 一种人群计数系统及方法 |
| CN111091093A (zh) * | 2019-12-17 | 2020-05-01 | 苏州大学 | 一种高密度人群的数量估测方法、系统及相关装置 |
-
2020
- 2020-06-19 CN CN202010567692.3A patent/CN111723742A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858461A (zh) * | 2019-02-21 | 2019-06-07 | 苏州大学 | 一种密集人群计数的方法、装置、设备以及存储介质 |
| CN110084155A (zh) * | 2019-04-12 | 2019-08-02 | 苏州大学 | 一种密集人数计数的方法、装置、设备以及存储介质 |
| AU2019100806A4 (en) * | 2019-07-24 | 2019-08-29 | Dynamic Crowd Measurement Pty Ltd | Real-Time Crowd Measurement And Management Systems And Methods Thereof |
| CN110879982A (zh) * | 2019-11-15 | 2020-03-13 | 苏州大学 | 一种人群计数系统及方法 |
| CN111091093A (zh) * | 2019-12-17 | 2020-05-01 | 苏州大学 | 一种高密度人群的数量估测方法、系统及相关装置 |
Non-Patent Citations (4)
| Title |
|---|
| JINGANG LU ET AL.: ""Crowd Counting via Residual Multi-scale"", 《2019 SEVENTH INTERNATIONAL CONFERENCE ON ADVANCED CLOUD AND BIG DATA (CBD)》 * |
| KAI HAN ET AL.: ""GhostNet: More Features from Cheap Operations"", 《ARXIV:1911.11907 [CS.CV]》 * |
| XIAOWEN SHI ET AL.: ""A real-time deep network for corwd counting"", 《ARXIV:2002.06515 V1 [CS.CV]》 * |
| 平嘉蓉等: ""基于轻量级神经网络的人群计数模型设计"", 《无线电工程》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861718A (zh) * | 2021-02-08 | 2021-05-28 | 暨南大学 | 一种轻量级特征融合人群计数方法及系统 |
| CN113095273A (zh) * | 2021-04-25 | 2021-07-09 | 哈尔滨理工大学 | 一种基于深度学习的人群计数方法 |
| CN114331908A (zh) * | 2021-12-27 | 2022-04-12 | 宜宾电子科技大学研究院 | 一种基于深度学习的智能终端夜景图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298266B (zh) | 基于多尺度感受野特征融合的深度神经网络目标检测方法 | |
| CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
| CN110334765B (zh) | 基于注意力机制多尺度深度学习的遥感影像分类方法 | |
| WO2021022521A1 (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| CN111723742A (zh) | 一种人群密度分析方法、系统、装置及计算机可读存储介质 | |
| CN111340123A (zh) | 一种基于深度卷积神经网络的图像分数标签预测方法 | |
| CN110569814B (zh) | 视频类别识别方法、装置、计算机设备及计算机存储介质 | |
| CN109711422A (zh) | 图像数据处理、模型的建立方法、装置、计算机设备和存储介质 | |
| CN112818969B (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
| CN109472247B (zh) | 基于深度学习非配合式的人脸识别方法 | |
| CN107742095A (zh) | 基于卷积神经网络的汉语手语识别方法 | |
| CN113591978B (zh) | 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质 | |
| CN112836646A (zh) | 一种基于通道注意力机制的视频行人重识别方法及应用 | |
| CN111860407A (zh) | 一种视频中人物的表情识别方法、装置、设备及存储介质 | |
| CN114972208B (zh) | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 | |
| CN114360067A (zh) | 一种基于深度学习的动态手势识别方法 | |
| CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
| CN105956570A (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
| CN112367273A (zh) | 基于知识蒸馏的深度神经网络模型的流量分类方法及装置 | |
| CN111540203B (zh) | 基于Faster-RCNN调节绿灯通行时间的方法 | |
| CN108229432A (zh) | 人脸标定方法及装置 | |
| CN110046568A (zh) | 一种基于时间感知结构的视频动作识别方法 | |
| CN114596273B (zh) | 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法 | |
| Wang et al. | Single shot multibox detector with deconvolutional region magnification procedure | |
| CN110688966A (zh) | 语义指导的行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200929 |