CN110853025A - 基于多列残差空洞卷积神经网络的人群密度预测方法 - Google Patents

基于多列残差空洞卷积神经网络的人群密度预测方法 Download PDF

Info

Publication number
CN110853025A
CN110853025A CN201911121622.9A CN201911121622A CN110853025A CN 110853025 A CN110853025 A CN 110853025A CN 201911121622 A CN201911121622 A CN 201911121622A CN 110853025 A CN110853025 A CN 110853025A
Authority
CN
China
Prior art keywords
crowd
image
crowd density
detected
density prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911121622.9A
Other languages
English (en)
Inventor
张莉
闫磊磊
郑晓晗
王邦军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201911121622.9A priority Critical patent/CN110853025A/zh
Publication of CN110853025A publication Critical patent/CN110853025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于多列残差空洞卷积神经网络的人群密度预测方法、装置、设备及可读存储介质，方案包括：获取待测人群图像；将待测人群图像输入人群密度预测模型，得到人群密度图；根据人群密度图，确定待测人群图像中的人群数量。其中，人群密度预测模型在提取待测人群图像的高维特征之后，使用多列空洞卷积结构从高维特征中提取特征信息，由于各列空洞卷积结构的扩张率不同，因此能够捕捉高维特征中不同尺度的特征信息。此外，该模型还采用了残差结构，将高维特征直接输入到网络后端与各列空洞卷积结构输出的特征信息相加，不仅防止了网络过拟合现象的发生，还可以保留更多的特征信息，提升了人群数量计算结果的准确性和人群密度图的质量。

Description

基于多列残差空洞卷积神经网络的人群密度预测方法
技术领域
本申请涉及计算机技术领域，特别涉及一种基于多列残差空洞卷积神经网络的人群密度预测方法、装置、设备及可读存储介质。
背景技术
随着现代社会经济的不断发展，旅游行业发展迅速。但是，假期期间人员流量大、车流量多，为游区带来一定安全隐患。
传统的安全管理工作主要由旅游区管理人员完成，随着监控摄像头的普遍使用和计算机视觉技术的快速发展，密集人群分析技术成为了近年来学术界和工业界的热点研究问题。密集人群分析技术可以利用监控摄像头采集的人群图片计算得到该场景中人群的数量及人群的分布信息，可以将信息快速的反馈给管理人员，实现提前采取防护措施，避免发生安全事故。因此，密集人群分析技术不仅可以节省大量的人力物力，还可以对景区实现全天候、全方位24小时的监控景区人群分布信息，使景区的安全管理工作更加规范化、智能化、科学化，为旅游景区的安全工作做好有力保障。
深度学习技术成为了近年来各界的热点研究问题，基于卷积神经网络(CNN)的技术在图像分类及图像识别领域中取得了很好的效果。研究者将卷积神经网络用到密集人群分析中，相对于传统的人群计数方法在准确率上有了大幅度的提升，因此目前普遍的人群分析技术均使用CNN模型预测人群信息。
相关学者提出基于空洞卷积神经网络来预测高密集人群信息。该网络的结构使用单列的形式，首先提取图片中的高维特征，后端堆叠使用空洞卷积用于生成密度图，取得了较好的结果。但是，由于高维特征中往往具有尺度不一致的特征信息，使用单列的网络不足以捕捉这些不同尺度的特征信息，因此，该方案一方面会导致网络输出的特征图质量下降，另一方面还会影响人群数量分析结果的准确性。
综上，如何生成高质量的密度图及预测出更精确的人群数量，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种基于多列残差空洞卷积神经网络的人群密度预测方法、装置、设备及可读存储介质，用以解决传统人群密度分析方案输出的密度图质量低，且计算得到的人群数量准确性较差的问题。具体方案如下：
第一方面，本申请提供了一种基于多列残差空洞卷积神经网络的人群密度预测方法，包括：
获取待测人群图像；
将所述待测人群图像输入人群密度预测模型，得到人群密度图；所述人群密度预测模型包括前端结构和后端结构，所述前端结构用于提取所述待测人群图像的高维特征；所述后端结构包括第一支路和第二支路，其中所述第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，所述空洞卷积结构用于提取所述高维特征的特征信息，所述连接结构用于连接各列所述空洞卷积结构输出的特征信息，得到连接特征；所述第二支路包括残差结构，所述残差结构用于对所述高维特征与所述连接特征进行相加操作，以生成所述人群密度图；
根据所述人群密度图，确定所述待测人群图像中的人群数量。
优选的，在所述获取待测人群图像之前，还包括：
获取人群图像集合；
确定所述人群图像集合中各个人群图像的人头坐标；
选取预先定义的全零矩阵中以所述人头坐标为中心的目标区域，将所述目标区域与预先生成的高斯滤波器进行相加操作，得到人群密度图；其中所述全零矩阵与所述人群图像的大小一致，所述目标区域与所述高斯滤波器的大小一致；
利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练。
优选的，所述利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练，包括：
根据目标损失函数，利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练；所述目标损失函数为：
Figure BDA0002275606220000031
其中，N为所述人群图像集合中人群图像的数量，Xi为所述人群图像集合中第i个人群图像，Θ为所述人群密度预测模型学习的参数，F(Xi；Θ)为所述人群密度预测模型预测得到的第i个人群密度图，Mi'为第i个人群图像真实的人群密度图。
优选的，所述根据所述人群密度图，确定所述待测人群图像中的人群数量，包括：
对所述人群密度图进行求和操作，得到所述待测人群图像中的人群数量。
优选的，所述人群密度预测模型的第一支路包括三列具有不同扩张率的空洞卷积结构。
优选的，各列所述空洞卷积结构的扩张率分别为1、2、3。
优选的，所述人群密度预测模型的前端结构为VGG16的前十层结构。
第二方面，本申请提供了一种基于多列残差空洞卷积神经网络的人群密度预测装置，包括：
图像获取模块：用于获取待测人群图像；
模型预测模块：用于将所述待测人群图像输入人群密度预测模型，得到人群密度图；所述人群密度预测模型包括前端结构和后端结构，所述前端结构用于提取所述待测人群图像的高维特征；所述后端结构包括第一支路和第二支路，其中所述第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，所述空洞卷积结构用于提取所述高维特征的特征信息，所述连接结构用于连接各列所述空洞卷积结构输出的特征信息，得到连接特征；所述第二支路包括残差结构，所述残差结构用于对所述高维特征与所述连接特征进行相加操作，以生成所述人群密度图；
数量确定模块：用于根据所述人群密度图，确定所述待测人群图像中的人群数量。
第三方面，本申请提供了一种基于多列残差空洞卷积神经网络的人群密度预测设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的一种基于多列残差空洞卷积神经网络的人群密度预测方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于多列残差空洞卷积神经网络的人群密度预测方法的步骤。
本申请所提供的一种基于多列残差空洞卷积神经网络的人群密度预测方法，方案包括：获取待测人群图像；将待测人群图像输入人群密度预测模型，得到人群密度图；根据人群密度图，确定待测人群图像中的人群数量。其中，人群密度预测模型包括前端结构和后端结构，前端结构用于提取待测人群图像的高维特征；后端结构包括第一支路和第二支路，其中第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，空洞卷积结构用于提取高维特征的特征信息，连接结构用于连接各列空洞卷积结构输出的特征信息，得到连接特征；第二支路包括残差结构，残差结构用于对高维特征与连接特征进行相加操作，以生成人群密度图。
可见，该方案中的人群密度预测模型在提取待测人群图像的高维特征之后，使用具有不同扩张率的多列空洞卷积结构进一步从高维特征中提取特征信息，由于各列空洞卷积结构的扩张率不同，因此能够捕捉高维特征中不同尺度的特征信息，提升了后续人群数量计算结果的准确性和人群密度图的质量。此外，该模型还采用了残差结构，将高维特征直接输入到网络后端与各列空洞卷积结构输出的特征信息相加，不仅防止了网络过拟合现象的发生，还可以保留更多的特征信息，进一步提升了人群数量计算结果的准确性和人群密度图的质量。
此外，本申请还提供了一种基于多列残差空洞卷积神经网络的人群密度预测装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种基于多列残差空洞卷积神经网络的人群密度预测方法实施例一的实现流程图；
图2为本申请所提供的一种基于多列残差空洞卷积神经网络的人群密度预测方法实施例一的人群密度预测模型示意图；
图3为本申请所提供的一种基于多列残差空洞卷积神经网络的人群密度预测方法实施例二的实现流程图；
图4为本申请所提供的一种基于多列残差空洞卷积神经网络的人群密度预测方法实施例二的人群密度预测模型示意图；
图5为本申请所提供的一种基于多列残差空洞卷积神经网络的人群密度预测装置实施例的功能框图；
图6为本申请所提供的一种基于多列残差空洞卷积神经网络的人群密度预测设备实施例的结构示意图。
具体实施方式
本申请的核心是提供一种基于多列残差空洞卷积神经网络的人群密度预测方法、装置、设备及可读存储介质，采用具有不同扩张率的多列空洞卷积结构捕捉高维特征中不同尺度的特征信息，还采用残差结构将高维特征直接输入到网络后端与各列空洞卷积结构输出的特征信息相加，有效提升了人群数量计算结果的准确性和人群密度图的质量。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请提供的一种基于多列残差空洞卷积神经网络的人群密度预测方法实施例一进行介绍，参见图1，实施例一包括：
S101、获取待测人群图像；
S102、将所述待测人群图像输入人群密度预测模型，得到人群密度图；
S103、根据所述人群密度图，确定所述待测人群图像中的人群数量。
如图2所示，本实施例中人群密度预测模型包括前端结构和后端结构，前端结构用于提取待测人群图像的高维特征；后端结构包括第一支路和第二支路，其中第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，空洞卷积结构用于进一步提取高维特征的特征信息，连接结构用于连接各列空洞卷积结构输出的特征信息，得到连接特征；第二支路包括残差结构，残差结构用于对高维特征与连接特征进行相加操作，以生成人群密度图。
可以理解的是，人密度图中包含多种信息，本实施例根据人群密度图得到人群数量信息只是本实施例提供的一种实现方式，在实际应用场景中，也可以根据人群密度图得到其他信息，例如得到人群分布信息。
本实施例所提供一种基于多列残差空洞卷积神经网络的人群密度预测方法，利用人群密度预测模型生成待测人群图像的人群密度图，并计算得到人群数量。该人群密度预测模型在提取待测人群图像的高维特征之后，使用具有不同扩张率的多列空洞卷积结构进一步从高维特征中提取特征信息，由于各列空洞卷积结构的扩张率不同，因此能够捕捉高维特征中不同尺度的特征信息，提升了后续人群数量计算结果的准确性和人群密度图的质量。此外，该模型还采用了残差结构，将高维特征直接输入到网络后端与各列空洞卷积结构输出的特征信息相加，不仅防止了网络过拟合现象的发生，还可以保留更多的特征信息，进一步提升了人群数量计算结果的准确性和人群密度图的质量。
下面开始详细介绍本申请提供的一种基于多列残差空洞卷积神经网络的人群密度预测方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
具体的，本实施例中，人群密度预测模型的第一支路具体包括3列具有不同扩张率的空洞卷积结构，各列空洞卷积结构的扩张率分别为1、2、3，且本实施例选用VGG16的前十层结构以作为人群密度预测模型的前端结构。除此之外，本实施例还对人群密度预测模型的训练过程进行了介绍。
参见图3，实施例二具体包括以下步骤：
S301、获取人群图像集合；
具体的，可以从旅游景区的监控摄像头拍摄的视频中进行抽帧，作为本实施例的人群图像集合。
S302、确定所述人群图像集合中各个人群图像的人头坐标；
上述步骤的目的在于确定人群图像集合中各个人群图像的人头坐标，得到初始训练集。本实施例中，初始训练集记为
Figure BDA0002275606220000071
其中Xi为初始训练集中第i张人群图像，大小为m*n；Pi是第i张人群图像中的人头坐标，大小为c*2，其中第一列为人头中心点在人群图像中的横坐标，第二列为人头中心点在人群图像中的纵坐标；c为人群图像中的人头数；N为初始训练集中的样本数量。
S303、选取预先定义的全零矩阵中以所述人头坐标为中心的目标区域，将所述目标区域与预先生成的高斯滤波器进行相加操作，得到人群密度图；
在具体的实施过程中，先定义一个大小为m*n的全零矩阵M，然后生成一个大小为15×15，方差为σ(σ的值一般为4，也可以根据相近人头中心的平均距离决定)的高斯滤波器G。根据初始训练集中的人头坐标信息，取全零矩阵M中对应坐标位置上下左右大小为15×15的目标区域，最终将该目标区域与高斯滤波器G相加，即可得到人群图像的人群密度图M′。
最终，得到目标训练集
Figure BDA0002275606220000081
并利用目标训练集对人群密度预测模型进行训练，即，利用上述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练。
S304、根据目标损失函数，利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练；
具体的，将目标训练集在如图4所示的人群密度预测模型上进行训练，如图4所示，本实施例中人群密度预测模型的前端结构使用的是VGG16网络结构的前十层，用于提取人群图像中的高维特征；后端结构包括两个分支，一个分支使用三列卷积核大小为3×3扩张率分别为1、2和3的空洞卷积结构，并在该分支的最后将三列空洞卷积学习到的特征信息在其通道上进行连接；另一个分支采用了残差结构，将由VGG16前十层提取的高维特征直接输入到网络最后与三列空洞卷积输出的连接特征进行相加；最终，通过一层卷积核大小为1×1的卷积层输出人群密度图。
本实施例中人群密度预测模型的所有卷积层全部使用“same”模式填充，图4中卷积层的参数含义为：conv-(卷积核大小)-(卷积核数量)-(扩张率)。可以看出，本实施例中人群密度预测模型的三列空洞卷积结构具有相同的层数及相同的卷积核大小，而且，本实施例中人群密度预测模型使用的所有激活函数均为ReLU激活函数。当然以上仅作为本实施例提供的一种可实现方式，不应当理解为对本申请的限定。
上述目标损失函数具体为：
其中，N为人群图像集合中人群图像的数量，Xi为所述人群图像集合中第i个人群图像，Θ为所述人群密度预测模型学习的参数，F(Xi；Θ)为所述人群密度预测模型预测得到的第i个人群密度图，Mi'为第i个人群图像真实的人群密度图。
S305、获取待测人群图像；
S306、将所述待测人群图像输入人群密度预测模型，得到人群密度图；
S307、对所述人群密度图进行求和操作，得到所述待测人群图像中的人群数量。
假设待测人群图像为P，将待测人群图像P输入到训练好的人群密度预测模型中进行预测，可以得到待测人群图像P对应的预测密度图M′P，对M′P进行求和运算得到的值即为待测人群图像P中人群数量，如下所示：
p_count＝sum(M'P)
综上，本实施例中，在数据预处理过程中，根据人群图像中已经标注好的人头位置信息，利用高斯滤波器生成人群图像的密度图，并将所有人群图像归一化；在模型训练过程中，使用处理好的人群图像及生成的密度图对人群密度分析进行训练；在人群信息预测过程中，给定一张待测人群图像，使用训练好的人群密度预测模型进行预测该待测人群图像中的人群信息。
可见，本实施例所提供一种基于多列残差空洞卷积神经网络的人群密度预测方法，采用三列具有不同扩张率的空洞卷积结构，可以学习到由前端网络提取的高维特征中尺度不一致的特征信息，促进网络的计数性能及生成密度图的质量，而且在网络结构中使用了残差结构，不仅可以防止网络过拟合现象的发生，还可以保留更多的特征信息，进一步提升网络的计数性能及密度图的质量。
基于上述一种基于多列残差空洞卷积神经网络的人群密度预测方法实施例，下面以实际场景为例，对人群密度预测过程以及实施效果进行说明：
本申请在密集人群公开数据集Shanghaitech数据集上进行了测试，该数据集中一共包含1198张已标注的图片，数据集中共有330165个人头中心位置已标注。该数据集包含两个部分：Part_A和Part_B。Part_A中有482张图片，其中300张用于训练，其余182张用于测试，Part_A中的数据是从网络上随机爬取的图片，人群密度较大，图片的大小不一致。Part_B中有716张图片，其中400张用于训练，其余316张用于测试，Part_B中的数据是从上海街道上拍摄的场景图片，人群密度较小，图片的尺寸均为768×1024。
为方便描述，本申请将整个人群密度预测过程划分为以下三个模块：数据预处理模块、网络训练模块、人群信息预测模块，下面分别就各个模块进行说明：
一、数据预处理模块
(1)输入Shanghaitech数据集Part_B的训练集
Figure BDA0002275606220000101
其中Xi为Part_B中的第i张图片，大小为768×1024；Pi是第i张图片中人头中心坐标的信息，大小为c*2，其中第一列为人头中心点在图片中的横坐标，第二列为人头中心点在图片中的纵坐标，c为第i张图片中的人头数；N为Part_B中训练集的数量。
(2)先定义一个大小为768×1024的全零矩阵M。然后生成一个大小为15×15，方差为4的高斯滤波器G。最后根据Pi中人头中心的坐标信息，取M中对应坐标位置上下左右大小为15×15的区域与高斯滤波器G相加得到图片的ground-truth密度图M′。
(3)训练集D经过(1)和(2)的步骤之后就可以得到处理好的训练集
Figure BDA0002275606220000102
用于训练网络。
二、网络训练模块
使用处理好的训练集在如图4所示的多列残差空洞卷积神经网络上进行训练，本申请网络的前端结构使用的是VGG16网络结构的前十层，用于提取图片中的高维特征，后端结构使用三列卷积核大小为3×3扩张率分别为1、2和3的空洞卷积结构，在网络的最后分别将三列空洞卷积学习到的特征信息在其通道上进行连接，而且在本申请的网络结构中加入了残差结构，将由VGG16提取的特征图直接输入到网络的最后与三列空洞卷积输出的特征图进行相加，然后通过一层卷积核大小为1×1的卷积层输出最终的密度图。
该网络的损失函数L(Θ)定义如下：
其中N为训练样本的个数，Xi为第i个训练样本，Θ为网络学习的参数，F(Xi；Θ)为网络预测第i个样本的密度图，Mi'为第i个样本的真实密度图。
三、人群信息预测模块
给定一张测试图片P，将图片P输入到训练好的网络模型中进行预测，可以得到图片P的预测密度图M′P，对M′P进行求和运算得到的值即为图片P中预测的人数：
p_count＝sum(M'P)
本申请的效果可以通过如下实验验证：
本申请基于CSRNet网络提出了多列残差空洞卷积神经网络结构，它可以捕捉图片中尺度不一致的特征信息，并且加入了残差结构，能够进一步提高人群计数性能。本申请的网络模型与CSRNet网络模型在相同的数据集上做人群计数比较，从表1的结果中可以看出，本申请提出的网络模型在平均绝对误差(MAE)和均方误差(MSE)上都比CSRNet模型获得了更好的性能。
表1
Figure BDA0002275606220000112
Figure BDA0002275606220000121
下面对本申请实施例提供的一种基于多列残差空洞卷积神经网络的人群密度预测装置进行介绍，下文描述的一种基于多列残差空洞卷积神经网络的人群密度预测装置与上文描述的一种基于多列残差空洞卷积神经网络的人群密度预测方法可相互对应参照。
如图5所示，该装置包括：
图像获取模块501：用于获取待测人群图像；
模型预测模块502：用于将所述待测人群图像输入人群密度预测模型，得到人群密度图；所述人群密度预测模型包括前端结构和后端结构，所述前端结构用于提取所述待测人群图像的高维特征；所述后端结构包括第一支路和第二支路，其中所述第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，所述空洞卷积结构用于提取所述高维特征的特征信息，所述连接结构用于连接各列所述空洞卷积结构输出的特征信息，得到连接特征；所述第二支路包括残差结构，所述残差结构用于对所述高维特征与所述连接特征进行相加操作，以生成所述人群密度图；
数量确定模块503：用于根据所述人群密度图，确定所述待测人群图像中的人群数量。
本实施例的基于多列残差空洞卷积神经网络的人群密度预测装置用于实现前述的基于多列残差空洞卷积神经网络的人群密度预测方法，因此该装置中的具体实施方式可见前文中的基于多列残差空洞卷积神经网络的人群密度预测方法的实施例部分，例如，图像获取模块501、模型预测模块502、数量确定模块503，分别用于实现上述基于多列残差空洞卷积神经网络的人群密度预测方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于多列残差空洞卷积神经网络的人群密度预测装置用于实现前述的基于多列残差空洞卷积神经网络的人群密度预测方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种基于多列残差空洞卷积神经网络的人群密度预测设备，如图6所示，包括：
存储器100：用于存储计算机程序；
处理器200：用于执行所述计算机程序，以实现如上文所述的一种基于多列残差空洞卷积神经网络的人群密度预测方法的步骤。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的一种基于多列残差空洞卷积神经网络的人群密度预测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于多列残差空洞卷积神经网络的人群密度预测方法，其特征在于，包括：
获取待测人群图像；
将所述待测人群图像输入人群密度预测模型，得到人群密度图；所述人群密度预测模型包括前端结构和后端结构，所述前端结构用于提取所述待测人群图像的高维特征；所述后端结构包括第一支路和第二支路，其中所述第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，所述空洞卷积结构用于提取所述高维特征的特征信息，所述连接结构用于连接各列所述空洞卷积结构输出的特征信息，得到连接特征；所述第二支路包括残差结构，所述残差结构用于对所述高维特征与所述连接特征进行相加操作，以生成所述人群密度图；
根据所述人群密度图，确定所述待测人群图像中的人群数量。
2.如权利要求1所述的方法，其特征在于，在所述获取待测人群图像之前，还包括：
获取人群图像集合；
确定所述人群图像集合中各个人群图像的人头坐标；
选取预先定义的全零矩阵中以所述人头坐标为中心的目标区域，将所述目标区域与预先生成的高斯滤波器进行相加操作，得到人群密度图；其中所述全零矩阵与所述人群图像的大小一致，所述目标区域与所述高斯滤波器的大小一致；
利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练。
3.如权利要求2所述的方法，其特征在于，所述利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练，包括：
根据目标损失函数，利用所述人群图像集合中各个人群图像和相应的人群密度图，对人群密度预测模型进行训练；所述目标损失函数为：
Figure FDA0002275606210000021
其中，N为所述人群图像集合中人群图像的数量，Xi为所述人群图像集合中第i个人群图像，Θ为所述人群密度预测模型学习的参数，F(Xi；Θ)为所述人群密度预测模型预测得到的第i个人群密度图，Mi'为第i个人群图像真实的人群密度图。
4.如权利要求1所述的方法，其特征在于，所述根据所述人群密度图，确定所述待测人群图像中的人群数量，包括：
对所述人群密度图进行求和操作，得到所述待测人群图像中的人群数量。
5.如权利要求1-4任意一项所述的方法，其特征在于，所述人群密度预测模型的第一支路包括三列具有不同扩张率的空洞卷积结构。
6.如权利要求5所述的方法，其特征在于，各列所述空洞卷积结构的扩张率分别为1、2、3。
7.如权利要求5所述的方法，其特征在于，所述人群密度预测模型的前端结构为VGG16的前十层结构。
8.一种基于多列残差空洞卷积神经网络的人群密度预测装置，其特征在于，包括：
图像获取模块：用于获取待测人群图像；
模型预测模块：用于将所述待测人群图像输入人群密度预测模型，得到人群密度图；所述人群密度预测模型包括前端结构和后端结构，所述前端结构用于提取所述待测人群图像的高维特征；所述后端结构包括第一支路和第二支路，其中所述第一支路包括连接结构和多列具有不同扩张率的空洞卷积结构，所述空洞卷积结构用于提取所述高维特征的特征信息，所述连接结构用于连接各列所述空洞卷积结构输出的特征信息，得到连接特征；所述第二支路包括残差结构，所述残差结构用于对所述高维特征与所述连接特征进行相加操作，以生成所述人群密度图；
数量确定模块：用于根据所述人群密度图，确定所述待测人群图像中的人群数量。
9.一种基于多列残差空洞卷积神经网络的人群密度预测设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的一种基于多列残差空洞卷积神经网络的人群密度预测方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的一种基于多列残差空洞卷积神经网络的人群密度预测方法的步骤。
CN201911121622.9A 2019-11-15 2019-11-15 基于多列残差空洞卷积神经网络的人群密度预测方法 Pending CN110853025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911121622.9A CN110853025A (zh) 2019-11-15 2019-11-15 基于多列残差空洞卷积神经网络的人群密度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911121622.9A CN110853025A (zh) 2019-11-15 2019-11-15 基于多列残差空洞卷积神经网络的人群密度预测方法

Publications (1)

Publication Number Publication Date
CN110853025A true CN110853025A (zh) 2020-02-28

Family

ID=69601829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911121622.9A Pending CN110853025A (zh) 2019-11-15 2019-11-15 基于多列残差空洞卷积神经网络的人群密度预测方法

Country Status (1)

Country Link
CN (1) CN110853025A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091093A (zh) * 2019-12-17 2020-05-01 苏州大学 一种高密度人群的数量估测方法、系统及相关装置
CN111507183A (zh) * 2020-03-11 2020-08-07 杭州电子科技大学 一种基于多尺度密度图融合空洞卷积的人群计数方法
CN111523555A (zh) * 2020-04-24 2020-08-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112115988A (zh) * 2020-09-03 2020-12-22 中国农业大学 一种麦穗计数方法、装置及自行走小车
CN112418196A (zh) * 2021-01-22 2021-02-26 中航信移动科技有限公司 人群数量预测方法、装置、计算机设备及存储介质
CN112541891A (zh) * 2020-12-08 2021-03-23 山东师范大学 一种基于空洞卷积高分辨率网络的人群计数方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717528A (zh) * 2018-05-15 2018-10-30 苏州平江历史街区保护整治有限责任公司 一种基于深度网络的多策略全局人群分析方法
CN109101930A (zh) * 2018-08-18 2018-12-28 华中科技大学 一种人群计数方法及系统
CN109214337A (zh) * 2018-09-05 2019-01-15 苏州大学 一种人群统计方法、装置、设备及计算机可读存储介质
CN109241895A (zh) * 2018-08-28 2019-01-18 北京航空航天大学 密集人群计数方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717528A (zh) * 2018-05-15 2018-10-30 苏州平江历史街区保护整治有限责任公司 一种基于深度网络的多策略全局人群分析方法
CN109101930A (zh) * 2018-08-18 2018-12-28 华中科技大学 一种人群计数方法及系统
CN109241895A (zh) * 2018-08-28 2019-01-18 北京航空航天大学 密集人群计数方法及装置
CN109214337A (zh) * 2018-09-05 2019-01-15 苏州大学 一种人群统计方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAORAN LIU 等: "Static Crowd Scene Analysis via Deep Network with Multi-branch Dilated Convolution Blocks", 《IJCNN 2019. INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 *
YUHONG LI 等: "CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes", 《IEEE》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091093A (zh) * 2019-12-17 2020-05-01 苏州大学 一种高密度人群的数量估测方法、系统及相关装置
CN111507183A (zh) * 2020-03-11 2020-08-07 杭州电子科技大学 一种基于多尺度密度图融合空洞卷积的人群计数方法
CN111507183B (zh) * 2020-03-11 2021-02-02 杭州电子科技大学 一种基于多尺度密度图融合空洞卷积的人群计数方法
CN111523555A (zh) * 2020-04-24 2020-08-11 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112115988A (zh) * 2020-09-03 2020-12-22 中国农业大学 一种麦穗计数方法、装置及自行走小车
CN112115988B (zh) * 2020-09-03 2024-02-02 中国农业大学 一种麦穗计数方法、装置及自行走小车
CN112541891A (zh) * 2020-12-08 2021-03-23 山东师范大学 一种基于空洞卷积高分辨率网络的人群计数方法及系统
CN112418196A (zh) * 2021-01-22 2021-02-26 中航信移动科技有限公司 人群数量预测方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110853025A (zh) 基于多列残差空洞卷积神经网络的人群密度预测方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN108108751B (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN112417990B (zh) 一种考试学生违规行为识别方法及系统
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN111383244B (zh) 一种目标检测跟踪方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN113436210B (zh) 一种融合上下文逐级采样的道路图像分割方法
CN110298281A (zh) 视频结构化方法、装置、电子设备及存储介质
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111091093A (zh) 一种高密度人群的数量估测方法、系统及相关装置
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN115526852A (zh) 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN111723656A (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN111951260B (zh) 基于部分特征融合卷积神经网络实时目标计数系统及方法
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN112464765A (zh) 一种基于单像素特征放大的安全帽检测算法及其应用
CN111881996A (zh) 目标检测方法、计算机设备和存储介质
CN110059544B (zh) 一种基于道路场景的行人检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228

RJ01 Rejection of invention patent application after publication