CN111062275A - 一种多层次监督的人群计数方法、装置、介质及电子设备 - Google Patents

一种多层次监督的人群计数方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111062275A
CN111062275A CN201911214306.6A CN201911214306A CN111062275A CN 111062275 A CN111062275 A CN 111062275A CN 201911214306 A CN201911214306 A CN 201911214306A CN 111062275 A CN111062275 A CN 111062275A
Authority
CN
China
Prior art keywords
feature extraction
extraction module
feature
module
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911214306.6A
Other languages
English (en)
Inventor
袁德胜
王作辉
张宏俊
王海涛
姚磊
杨进参
游浩泉
刘耀文
吴贺丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winner Technology Co ltd
Original Assignee
Winner Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winner Technology Co ltd filed Critical Winner Technology Co ltd
Priority to CN201911214306.6A priority Critical patent/CN111062275A/zh
Publication of CN111062275A publication Critical patent/CN111062275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多层次监督的人群计数方法、装置、介质及电子设备，其中，方法包括将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征提取模块对应的输出特征图进行融合；分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；将各所述子密度图进行联合计算以获得最终密度图；根据所述最终密度图获取人群总数。本发明采用的多层次监督的网络能够融合多个密度图产生更加精确的最终密度图，避免一些误差，减少错误影响，以便更好统计人群总数。

Description

一种多层次监督的人群计数方法、装置、介质及电子设备
技术领域
本发明涉及图像处理领域，特别是涉及一种多层次监督的人群计数方法、装置、介质及电子设备。
背景技术
随着城市人口的日益增长，在地铁站，商场，各种节日集会中，超额聚集的人群带来潜在危险，极容易造成踩踏、骚乱等悲剧。近年来，人群计数和人群的密度分布估计成为安防领域的热门课题，同时人群计数的算法性能在与深度学习的结合下得到了很大的提升。因此，人群计数和人群密度估计有着重要研究价值。
人群计数的目的是找出特定场景中的人数，而人群密度分布估计需要获取空间密度信息和人数(密度图求和)。人群计数的难点在于，场景的变化跨度大，目标的尺度变化不尽相同，人和人、人和景物之间存在不同程度的遮挡等等。而且对高密度的人群图像来说，随着人群密度的提升，人群遮挡越来越严重。
近年来，众多使用深度学习的人群方法被提出。深度学习(Deep Learning，DL)根据图像块的内容信息来设计神经网络进行估算人群总数，无需对图片进行前景分割等预处理，无需人工设计和提取特征，可以输出不同大小的图像，网络可以实现端到端的训练，可以交替回归图像块的人群密度和人群总数来实现人数估计。
以下是一些常见的深度学习驱动的人群计数方法：
2016年提出的MCNN算法，提出了一种简单有效的多列卷积神经网络结构将图像映射到其人群密度图上。这类利用多个网络的模型具有较多的参数，计算量大，无法进行实时的人群计数预测。而且多阵列的网络并不能如所描述的一般，提取不同的人头特征。有很多低效的分支结构。
2017年提出的Switch-CNN同样使用了三个子网络和分类的思想，让不同密度等级的图像块通过相应的子网络，则所有图像块被更准确地预测，最终，所有图像块的准确预测构成了原图准确的人群估计。
实际场景中的人群，常常会出现传统人群计数问题难以解决的背景噪声，人与人之间的严重遮挡，人群密度分布不均的问题。现有技术很难针对具有较大背景噪声的人群进行人群计数和人群密度估计。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种多层次监督的人群计数方法、装置、介质及电子设备，用于解决现有技术中不能有效且准群的对人群密度进行估计的问题。
为实现上述目的及其他相关目的，本发明提供一种多层次监督的人群计数方法，预设N个特征提取模块，N为大于或等于2的整数，特征提取模块i的下级特征提取模块包括特征提取模块i+1到特征提取模块N，所述特征提取模块i的输出为所述特征提取模块i+1的输入，且所述特征提取模块i+1的特征提取精度大于所述特征提取模块i的特征提取精度，其中，i为所述特征提取模块的编号，i＝1～N；所述多层次监督的人群计数方法包括：将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征提取模块对应的输出特征图进行融合；分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；将各所述子密度图进行联合计算以获得最终密度图；根据所述最终密度图获取人群总数。
在一些实施例中，令特征提取模块1～特征提取模块j为基础特征提取模块，其中，1≤j＜N；所述基础特征提取模块的特征提取精度小于预设精度阈值。
在一些实施例中，不对所述基础特征提取模块对应的所述特征图进行所述融合。
在一些实施例中，根据对所述最终密度图的各像素值进行累加以获取所述人群总数。
在一些实施例中，所述特征提取模块i+1对应的输出特征图比所述所述特征提取模块i对应的输出特征图的图像大小减小，且通道数增加；所述特征提取模块i+1对应的输出特征图的代表语义信息比所述所述特征提取模块i对应的输出特征图的代表语义信息增多；所述特征提取模块i+1对应的输出特征图的空间信息比所述所述特征提取模块i对应的输出特征图的空间信息减少。
在一些实施例中，所述特征提取模块应用残差块进行特征提取。
在一些实施例中，使用均方误差作为损失函数计算关于所述最终密度图的误差。
为实现上述目的及其他相关目的，本发明还提供一种多层次监督的人群计数装置，所述多层次监督的人群计数装置包括：预设模块，预设N个特征提取模块，N为大于或等于2的整数，特征提取模块i的下级特征提取模块包括特征提取模块i+1到特征提取模块N，所述特征提取模块i的输出为所述特征提取模块i+1的输入，且所述特征提取模块i+1的特征提取精度大于所述特征提取模块i的特征提取精度，其中，i为所述特征提取模块的编号，i＝1～N；特征图获取模块，用以将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；融合模块，用以将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征模块对应的输出特征图进行融合；子密度图获取模块，用以分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；最终密度图获取模块，用以将各所述子密度图进行联合计算以获得最终密度图；人群总数获取模块，用以根据所述最终密度图获取人群总数。
为实现上述目的及其他相关目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一项所述多层次监督的人群计数方法。
为实现上述目的及其他相关目的，本发明还提供一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如上任一项所述多层次监督的人群计数方法。
如上所述，本发明提供一种多层次监督的人群计数方法、装置、介质及电子设备，其中，方法包括将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征提取模块对应的输出特征图进行融合；分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；将各所述子密度图进行联合计算以获得最终密度图；根据所述最终密度图获取人群总数。本发明采用的多层次监督的网络能够融合多个密度图产生更加精确的最终密度图，避免一些误差，减少错误影响，以便更好统计人群总数。
附图说明
图1显示为本发明的多层次监督的人群计数方法在一具体实施例中的流程示意图。
图2显示为本发明的多层次监督的人群计数方法在一具体实施例中的应用示意图。
图3显示为本发明的多层次监督的人群计数装置在一具体实施例中的组成示意图。
图4显示为本发明的电子设备在一具体实施例中的组成示意图。
元件标号说明
100 多层次监督的人群计数装置
101 预设模块
102 特征图获取模块
103 融合模块
104 子密度图获取模块
105 最终密度图获取模块
106 人群总数获取模块
200 电子设备
201 处理器
202 存储器
S11～S15 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明针对实际场景中的人群，提出了一种多层次监督的神经网络，能够有效地解决上述问题。基于多层次监督的人群计数方法，采用多层次网络来提取不同粗细粒度的特征，将其融合来生产密度图，从而计算出人群总数。该方案很好地适应了应付各种人与人之间的重合，相互遮掩，不同情景的人群图像，能够更好的产生精确的人群密度图。
具体的，请参阅图1，显示为本发明的多层次监督的人群计数方法在一具体实施例中的流程示意图。其中，预设N个特征提取模块，N为大于或等于2的整数，特征提取模块i的下级特征提取模块包括特征提取模块i+1到特征提取模块N，所述特征提取模块i的输出为所述特征提取模块i+1的输入，且所述特征提取模块i+1的特征提取精度大于所述特征提取模块i的特征提取精度，其中，i为所述特征提取模块的编号，i＝1～N；所述多层次监督的人群计数方法S1包括：
S11：将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；其中，所述特征提取模块可包括可变性卷积层，所述特征提取模块的网络结构可为VGG16、VGG19或Mobile Net等。所述特征提取模块的池化层可使用Max Pooling,去掉Feature Map中不重要的样本，进一步减少参数数量,可替换成Average Pooling。在训练所述特征提取模块的过程中，可以先训练好一个神经网络，使用预训练好的模型来产生特征图，再训练端到端计数网络。且，在训练过程中可不采用无人图像，只采用人群图像，该方案可减少网络的训练时间。
S12：将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征提取模块对应的输出特征图进行融合；即本发明利用多层特征的方法，逐渐融合从下层到上层的特征，采用多层次的网络来合成更精确的密度图，避免一些误差，减少错误影响以便更好统计人群总数。
S13：分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；
S14：将各所述子密度图进行联合计算以获得最终密度图；在一具体实施例中，将各所述子密度图在通道维度上拼接，通过一个卷积核大小为1x1，卷积核数量为1的卷积层进行联合计算以获得所述最终密度图。
S15：根据所述最终密度图获取人群总数。
在一些实施例中，令特征提取模块1～特征提取模块j为基础特征提取模块，其中，1≤j＜N；所述基础特征提取模块的特征提取精度小于预设精度阈值。
且在执行步骤S12中，将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征提取模块对应的输出特征图进行融合；不对所述基础特征提取模块对应的所述特征图进行所述融合。所述基础特征提取模块只提取图片的一些底层的基础的特征，例如图片中的线、点和/或角等。且该底层的基础的特征如果与其下级的特征提取模块的输出特征图进行融合，会降低最终密度图的获取精度，不对所述基础特征提取模块对应的所述特征图进行所述融合，而只根据所述基础特征提取模块的输出特征图作为邻接的下一级的特征提取模块的输入特征图。
其中，根据对所述最终密度图的各像素值进行累加以获取所述人群总数。
且，所述特征提取模块i+1对应的输出特征图比所述所述特征提取模块i对应的输出特征图的图像大小减小，且通道数增加；所述特征提取模块i+1对应的输出特征图的代表语义信息比所述所述特征提取模块i对应的输出特征图的代表语义信息增多；所述特征提取模块i+1对应的输出特征图的空间信息比所述所述特征提取模块i对应的输出特征图的空间信息减少。即，特征每经过一个模块，图像都有不定程度的缩小，通道数不断增加，代表语义信息逐渐增强而空间信息逐渐减弱，结合语义信息和空间信息可以减少特征的丢失，增强特征的表达，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。残差网络能够比简单叠加层生产的深度网络更容易优化，而且，因为深度的增加，结果得到了明显提升。
在一些实施例中，使用均方误差作为损失函数计算关于所述最终密度图的误差。平均绝对误差(MAE)和均方误差(MSE)是常用的衡量算法性能的标准，MAE表示算法估计的准确性，MSE表示算法估计的稳定性。其定义为：
Figure BDA0002299062460000061
Figure BDA0002299062460000062
其中，N代表测试图像数量，Ci代表第i张图片实际人数，
Figure BDA0002299062460000063
代表第i张图片预测人数。
本发明提出了多层次监督的人群计数方法，采用多层次的网络来合成更精确的密度图，避免一些误差，减少错误影响以便更好统计人群总数。多层次的网络是本发明重要组成部分，用于合成精确的密度图，是得出准确人群总数的重要技术手段。
本发明网络结构中还采用了多尺度网络，提出了一种能够从任意人群密度和任意视角的个体图像中准确估计人群数量的方法，可以自动处理任意大小的图片和应付各种人与人之间的重合，相互遮掩等问题。
且本发明的融合模块是一种利用多层特征的方法，逐渐融合从下层到上层的特征，提出了一种对每层输出进行深度监督的方案。通过组合来自不同级别的特征，实现准确的密度估计计算。
进一步的参阅图2，显示为本发明的多层次监督的人群计数方法在一具体实施例中的应用示意图。如图2所示，在本实施例中，预设五个特征提取模块，分别为特征提取模块0、特征提取模块1、特征提取模块2、特征提取模块3以及特征提取模块4。(2)特征提取模块0生成的特征图会依次进入特征提取模块1～4提取更细粒度的特征(如：特征提取模块2比特征提取模块1提取出更细粒度的特征)。其中，所述特征提取模块0为所述基础特征提取模块，只能提取图像的基础特征，对于后续的融合结果具有干扰影响，在此，不将所述特征提取模块0的特征提取结果进行融合，且所述特征提取模块1、特征提取模块2以及特征提取模块3分别具有对应的融合模块，且所述特征提取模块1、特征提取模块2、特征提取模块3以及特征提取模块4分别具有对应的密度图估计模块。
其中，所述特征提取模块是指使用计算机提取图像中属于特征性的信息的方法及过程的模块。特征每经过一个模块，图像都有不定程度的缩小，通道数不断增加，代表语义信息逐渐增强而空间信息逐渐减弱，结合语义信息和空间信息可以减少特征的丢失，增强特征的表达，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。残差网络能够比简单叠加层生产的深度网络更容易优化，而且，因为深度的增加，结果得到了明显提升。
图2所示融合模块是将多级特征进行拼接，合并起来作为后续层的输入的模块。本技术是一种利用多层特征的方法，逐渐融合从下层到上层的特征，提出了一种对每层输出进行深度监督的方案。这种密集式连接的结构不是简单地融合从不同尺度提取的多级特征，而是在自上而下的视图中考虑这样的问题。通过组合来自不同级别的特征，所得到的体系结构在每一层提供丰富的多尺度特征图，高级特征可以转换为较浅的侧输出层，较浅侧输出层可以学习丰富的低级特征，这是实现准确的密度估计的保障。
各个特征提取模块提取的特征会和其他更细粒度的特征进入融合模块。(如特征提取模块1的特征图和特征提取模块2，特征提取模块3，特征提取模块4进入第一个融合模块；特征提取模块2的特征图和特征提取模块3，特征提取模块4进入第二个融合模块)。融合模块的作用是将多个特征图进行拼接，合并起来作为后续层的输入。
密度图估计模块是通过特征图的特征信息计算出人群密度的模块。融合模块输出的特征图输入密度图估计模块，以分别获得对应所述特征提取模块1的密度图D1、对应所述特征提取模块2的密度图D2、对应所述特征提取模块3的密度图D3以及对应所述特征提取模块4的密度图D4。如图2所示，将所述特征提取模块1、所述特征提取模块2、所述特征提取模块3以及所述特征提取模块4的输出进行融合后，对该融合结果进行密度图估计，可以获得所述密度图D1。将所述特征提取模块2、所述特征提取模块3以及所述特征提取模块4的输出进行融合后，对该融合结果进行密度图估计，可以获得所述密度图D2。将所述特征提取模块3以及所述特征提取模块4的输出进行融合后，对该融合结果进行密度图估计，可以获得所述密度图D3。所述特征提取模块4的输出进行密度图估计后，可以获得所述密度图D4。在一些实施例中，所述密度图估计模块参阅表1所示：
Figure BDA0002299062460000081
表1
其中，Concat层实现输入数据的拼接。Concat层的作用就是将两个及以上的特征图按照在通道维度上进行拼接，把多个分支合并起来作为后续层的输入。concat层可以用于利用不同尺度特征图的语义信息，又能实现较好的性能。
如图2所示的联合计算模块，将多级特征产生的密度图D1,D2,D3,D4输入联合计算模块，联合计算模块用于将不同级别特征产生的人群密度图合成，得到最终的人群密度图。
且根据该最终的人群密度图的各像素值累加后得出人群总数。
本实施例中，还可使用均方误差(MSE)作为损失函数计算误差，然后从输出层开始，反向依次计算每个隐藏层的误差项，从而调整网络中参数的值。
在一具体实施例中，本发明的实施过程包括以下步骤：
1.收集大量人群图像，将数据集划分为训练集和测试集。
2.对训练集进行剪裁，使数据扩充，无人街景图的人群计数设置为0，对数据增强后的图像进行Gaussian核模糊归一化处理，得到真实的人群密度图。
3.对训练集的数据进行图像增强，我们将原始图像分为9个小块，没隔小块的大小是原图的1/4，前4个小块是原图的1/4区域不重叠的部分，后面5个小块是随机截取出来的图像，再将这9个小块做翻转变换，使得数据集数量翻倍。
4..定义损失函数的计算，使用sigmoid作为激活函数，神经网络中通过使用MSE作为损失函数，可使网络参数能够快速的从错误中学习问题
5.搭建网络并进行初始化。对于使用的VGG16网络，初始权值为该模型在ImageNet上的预训练权重；对于网络结构里其他部分参数，采用均值为0，均方差为0.01的正态分布进行初始化，偏差采用0进行初始化。
6.把图片输入到端到端计数网络，网络可得到特征图，进行特征提取，产生多个特征图。
7.生成的的特征图会多层次融合，经过密度估计模块产生四个密度图，将四个密度图输入到联合计算模块得出最终的人群密度图。
8.用欧氏距离来测量人群计数网络生成的密度图和真实密度图之间的差异，使用反向传播算法从输出层开始，然后反向依次计算每个隐藏层的误差项，直到与输入层相连的那个隐藏层，计算最终的损失。
9.利用测试集评估模型，挑选最优模型作为最终模型。
10.用密度图累加后得出人群总数。
本发明可以应用于各大公共区域的实际情景输入摄像头拍摄的图片。人群图形经过本技术处理，可以计算出该公共区域的人群总数以及人群密度变化。
参阅图3，显示为本发明的多层次监督的人群计数装置在一具体实施例中的组成示意图。
所述多层次监督的人群计数装置100包括：预设模块101、特征图获取模块102、融合模块103、子密度图获取模块104、最终密度图获取模块105以及人群总数获取模块106。
所述预设模块101预设N个特征提取模块，N为大于或等于2的整数，特征提取模块i的下级特征提取模块包括特征提取模块i+1到特征提取模块N，所述特征提取模块i的输出为所述特征提取模块i+1的输入，且所述特征提取模块i+1的特征提取精度大于所述特征提取模块i的特征提取精度，其中，i为所述特征提取模块的编号，i＝1～N；
所述特征图获取模块102用以将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；
所述融合模块103用以将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征模块对应的输出特征图进行融合；
所述子密度图获取模块104用以分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；
所述最终密度图获取模块105用以将各所述子密度图进行联合计算以获得最终密度图；
所述人群总数获取模块106用以根据所述最终密度图获取人群总数。
所述多层次监督的人群计数装置100为与所述多层次监督的人群计数方法S1对应的系统项，两者技术方案一一对应，所有关于所述多层次监督的人群计数方法S1的描述均可应用于本实施例中，在此不加赘述。
在一些实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所示的多层次监督的人群计数方法S1。
在一些实施例中，参阅图4，显示为本发明的电子设备在一具体实施例中的组成示意图。本发明还提供一种电子设备200，包括：处理器201及存储器202；
所述存储器202用于存储计算机程序，所述处理器201用于执行所述存储器202存储的计算机程序，以使所述电子设备200执行如图1所示的所述多层次监督的人群计数方法S1。所述电子设备200例如为智能手机、台式电脑或平板电脑等具有智能数据处理功能的设备。
所述存储器202可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储器202还可以包括远离一个或多个处理单元的存储单元，例如经由RF电路或外部端口以及通信网络访问的网络附加存储单元，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。
所述处理器201为一种能够进行数值运算、逻辑运算及数据分析的设备，其包括但不限于：CPU、GPU、FPGA等。
综上所述，本发明提供一种多层次监督的人群计数方法、装置、介质及电子设备，其中，方法包括将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征提取模块对应的输出特征图进行融合；分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；将各所述子密度图进行联合计算以获得最终密度图；根据所述最终密度图获取人群总数。本发明采用的多层次监督的网络能够融合多个密度图产生更加精确的最终密度图，避免一些误差，减少错误影响，以便更好统计人群总数。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种多层次监督的人群计数方法，其特征在于，预设N个特征提取模块，N为大于或等于2的整数，特征提取模块i的下级特征提取模块包括特征提取模块i+1到特征提取模块N，所述特征提取模块i的输出为所述特征提取模块i+1的输入，且所述特征提取模块i+1的特征提取精度大于所述特征提取模块i的特征提取精度，其中，i为所述特征提取模块的编号，i＝1～N；所述多层次监督的人群计数方法包括：
将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；
将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征提取模块对应的输出特征图进行融合；
分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；
将各所述子密度图进行联合计算以获得最终密度图；
根据所述最终密度图获取人群总数。
2.根据权利要求1所述的多层次监督的人群计数方法，其特征在于，令特征提取模块1～特征提取模块j为基础特征提取模块，其中，1≤j＜N；所述基础特征提取模块的特征提取精度小于预设精度阈值。
3.根据权利要求2所述的多层次监督的人群计数方法，其特征在于，不对所述基础特征提取模块对应的所述特征图进行所述融合。
4.根据权利要求1所述的多层次监督的人群计数方法，其特征在于，根据对所述最终密度图的各像素值进行累加以获取所述人群总数。
5.根据权利要求1所述的多层次监督的人群计数方法，其特征在于，所述特征提取模块i+1对应的输出特征图比所述所述特征提取模块i对应的输出特征图的图像大小减小，且通道数增加；所述特征提取模块i+1对应的输出特征图的代表语义信息比所述所述特征提取模块i对应的输出特征图的代表语义信息增多；所述特征提取模块i+1对应的输出特征图的空间信息比所述所述特征提取模块i对应的输出特征图的空间信息减少。
6.根据权利要求1所述的多层次监督的人群计数方法，其特征在于，所述特征提取模块应用残差块进行特征提取。
7.根据权利要求1所述的多层次监督的人群计数方法，其特征在于，使用均方误差作为损失函数计算关于所述最终密度图的误差。
8.一种多层次监督的人群计数装置，其特征在于，所述多层次监督的人群计数装置包括：
预设模块，预设N个特征提取模块，N为大于或等于2的整数，特征提取模块i的下级特征提取模块包括特征提取模块i+1到特征提取模块N，所述特征提取模块i的输出为所述特征提取模块i+1的输入，且所述特征提取模块i+1的特征提取精度大于所述特征提取模块i的特征提取精度，其中，i为所述特征提取模块的编号，i＝1～N；
特征图获取模块，用以将图像经由特征提取模块1依次输入所述特征提取模块1的各下级特征提取模块，以分别获得对应各所述特征提取模块i的输出特征图；
融合模块，用以将各所述特征提取模块i对应的输出特征图和所述特征提取模块i的各下级特征模块对应的输出特征图进行融合；
子密度图获取模块，用以分别将各所述融合结果进行密度图估计以分别获取对应各所述融合结果的子密度图；
最终密度图获取模块，用以将各所述子密度图进行联合计算以获得最终密度图；
人群总数获取模块，用以根据所述最终密度图获取人群总数。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述多层次监督的人群计数方法。
10.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至7中任一项所述多层次监督的人群计数方法。
CN201911214306.6A 2019-12-02 2019-12-02 一种多层次监督的人群计数方法、装置、介质及电子设备 Pending CN111062275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911214306.6A CN111062275A (zh) 2019-12-02 2019-12-02 一种多层次监督的人群计数方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911214306.6A CN111062275A (zh) 2019-12-02 2019-12-02 一种多层次监督的人群计数方法、装置、介质及电子设备

Publications (1)

Publication Number Publication Date
CN111062275A true CN111062275A (zh) 2020-04-24

Family

ID=70299364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911214306.6A Pending CN111062275A (zh) 2019-12-02 2019-12-02 一种多层次监督的人群计数方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111062275A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515991A (zh) * 2020-10-30 2021-10-19 阿里巴巴集团控股有限公司 属性识别、监控数据分析方法、设备及存储介质
CN117115723A (zh) * 2023-10-23 2023-11-24 四川泓宝润业工程技术有限公司 一种消防设施计数方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183766A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang Method and apparatus for generating predictive models
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN108960404A (zh) * 2017-05-22 2018-12-07 浙江宇视科技有限公司 一种基于图像的人群计数方法及设备
CN109359520A (zh) * 2018-09-04 2019-02-19 汇纳科技股份有限公司 人群计数方法、系统、计算机可读存储介质及服务器
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法
CN110163060A (zh) * 2018-11-07 2019-08-23 腾讯科技（深圳）有限公司 图像中人群密度的确定方法及电子设备
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183766A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang Method and apparatus for generating predictive models
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN108960404A (zh) * 2017-05-22 2018-12-07 浙江宇视科技有限公司 一种基于图像的人群计数方法及设备
CN109359520A (zh) * 2018-09-04 2019-02-19 汇纳科技股份有限公司 人群计数方法、系统、计算机可读存储介质及服务器
CN110163060A (zh) * 2018-11-07 2019-08-23 腾讯科技（深圳）有限公司 图像中人群密度的确定方法及电子设备
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
唐斯琪;陶蔚;张梁梁;潘志松;: "一种多列特征图融合的深度人群计数算法", 郑州大学学报(理学版), no. 02 *
陈朋;汤一平;王丽冉;何霞;: "多层次特征融合的人群密度估计" *
陈朋;汤一平;王丽冉;何霞;: "多层次特征融合的人群密度估计", 中国图象图形学报, no. 08, pages 1181 - 1192 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515991A (zh) * 2020-10-30 2021-10-19 阿里巴巴集团控股有限公司 属性识别、监控数据分析方法、设备及存储介质
CN117115723A (zh) * 2023-10-23 2023-11-24 四川泓宝润业工程技术有限公司 一种消防设施计数方法、装置、存储介质及电子设备
CN117115723B (zh) * 2023-10-23 2024-01-23 四川泓宝润业工程技术有限公司 一种消防设施计数方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
Li et al. Building-a-nets: Robust building extraction from high-resolution remote sensing images with adversarial networks
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Raza et al. Appearance based pedestrians’ head pose and body orientation estimation using deep learning
CN108108751B (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN108921822A (zh) 基于卷积神经网络的图像目标计数方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN111738231A (zh) 目标对象检测方法、装置、计算机设备和存储介质
Heo et al. Monocular depth estimation using whole strip masking and reliability-based refinement
CN110472634A (zh) 基于多尺度深度特征差值融合网络的变化检测方法
CN112862690A (zh) 一种基于Transformers的低分辨率图像超分辨方法及系统
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
Cho et al. Multi-task self-supervised visual representation learning for monocular road segmentation
CN111062275A (zh) 一种多层次监督的人群计数方法、装置、介质及电子设备
Zhou et al. Underwater scene segmentation by deep neural network
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
CN111126250A (zh) 一种基于ptgan的行人重识别方法及装置
CN111626212B (zh) 图片中对象的识别方法和装置、存储介质及电子装置
He et al. Classification of metro facilities with deep neural networks
Sedik et al. AI-enabled digital forgery analysis and crucial interactions monitoring in smart communities
CN115082966B (zh) 行人重识别模型训练方法、行人重识别方法、装置和设备
CN111062274A (zh) 上下文感知嵌入的人群计数方法、系统、介质及电子设备
CN113011506B (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
CN110147755B (zh) 基于上下文级联cnn的人头检测方法
Naik et al. Image segmentation using encoder-decoder architecture and region consistency activation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201203 No. 6, Lane 55, Chuanhe Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Winner Technology Co.,Ltd.

Address before: 201505 Room 216, 333 Tingfeng Highway, Tinglin Town, Jinshan District, Shanghai

Applicant before: Winner Technology Co.,Ltd.