CN112906522B - 一种群体迁移计数方法及系统 - Google Patents

一种群体迁移计数方法及系统 Download PDF

Info

Publication number
CN112906522B
CN112906522B CN202110158048.5A CN202110158048A CN112906522B CN 112906522 B CN112906522 B CN 112906522B CN 202110158048 A CN202110158048 A CN 202110158048A CN 112906522 B CN112906522 B CN 112906522B
Authority
CN
China
Prior art keywords
order
counting
features
module
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110158048.5A
Other languages
English (en)
Other versions
CN112906522A (zh
Inventor
胡睿晗
杨瑞
黎宇弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202110158048.5A priority Critical patent/CN112906522B/zh
Publication of CN112906522A publication Critical patent/CN112906522A/zh
Application granted granted Critical
Publication of CN112906522B publication Critical patent/CN112906522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种群体迁移计数方法及系统，采用了多阶特征提取模块，旨在面对不同视觉计数场景时，增强特征提取的分辨率，采用了切分融合模块，通过根据局部特征分类计数和回归计数表现，决定计算每阶段的局部特征是否应该被切分。通过分类和回归计数，构建适应于群体计数的背景域迁移模型；沿着多阶特征进行切分处理，并针对局部特征进行计数的基本思想，实现了模型针对多应用场景的泛化能力。提升了模型对于极端条件下的抗干扰性，补足了当前主流视觉计数模型只利用单一卷积网络实现视觉计数的缺陷。

Description

一种群体迁移计数方法及系统
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种群体迁移计数方法及系统。
背景技术
随着视频监控、医疗器械、智能制造和智慧城市等领域的兴起，越来越多的研究人员将他们的研究视角聚焦于群体计数的研究中。既利用相机作为传感器，通过获取群体场景的视觉信息实现群体计数。大量的前人实验中已经证实了，群体计数模型在社会安全和控制管理等领域扮演了重要的角色。
目前，群体计数模型的研究主要分为四类：基于检测的计数模型；基于回归的计数模型；密度估计计数模型和基于卷积神经网络的密度估计计数模型。基于检测的计数模型主要应用了滑窗法实现视觉计数。当面对高强度密集人群的场景中，基于检测的计数模型的效果会大打折扣。基于回归的计数模型首先提取视觉信息中的纹理、梯度、边缘特征。特征提取阶段之后，进一步使用线性和高斯混合回归等回归手段映射特征道计数模型中。虽然回归的计数模型虽然可以解决遮挡和背景杂质问题，但通常忽视了空间信息。密度估计模型通过拥挤先验信息构建局部特征和视觉密度图之间的映射关系，实现场景的计数。密度估计模型虽然考虑了空间信息，但只使用了传统的手工特征提取低阶信息，不能产生更高质量的映射关系，导致计数精度不高。相比于其它三类群体计数模型，基于卷积神经网络的密度估计计数模型利用了卷积神经网络的强大特征表达能力，提升了计数的精确性。
当前，以深度学习为代表的人工智能技术已被证明具备非常强的特征学习能力，并在计算机视觉、自然语言处理等应用中获得了显著的效果。在目标计数领域，基于卷积神经网络的密度估计计数模型主要用于解决固定场景中的计数问题，而较少关注在开放的群体计数场景中挖掘出有效信息。
基于卷积神经网络的密度估计计数模型的研究体系下，要解决群体计数问题，首先通过点信息标定法标定闭集合的视觉场景中的计数目标；并使用高斯核函数产生密度映射图；最后使用卷积神经网络实现密度映射图的建模。可是，当学习背景环境于封闭集合的背景环境有差异时，基于卷积神经网络的群体计数模型的学习效果在多重背景下学习的效果会下降。
发明内容
本申请实施例的主要目的在于提出一种群体迁移计数方法及系统，解决了现有技术中学习背景环境于封闭集合的背景环境有差异时，基于卷积神经网络的群体计数模型的学习效果在多重背景下学习的效果会下降的问题。
为解决上述问题，第一方面，本发明实施例提供一种群体迁移计数方法，包括：
步骤S1、获取视觉图像信号；
步骤S2、将所述视觉图像信号输入至预先训练好的切分融合深度编-解码网络，根据所述切分融合深度编-解码网络的特征提取网络提取所述视觉图像信号的多阶特征；
步骤S3、确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数；
步骤S4、对所述多阶特征的分类结果、回归结果和阶段重要性分数进行融合得到计数结果。
作为优选的，所述步骤S2中，所述特征提取网络包括VGG-16网络；
所述VGG-16网络包括64、128、256、512、512个卷积神经元构建的五阶特征提取网络。
作为优选的，所述步骤S3具体包括：
构建切分融合网络，依次选取低阶特征构建分类计数模块、重要性打分模块和回归计数模块：
步骤S31：构建视觉特征的分类计数模块，得到计数器Ci-1，计算步骤为：
Ci-1＝Cov2(Relu(Cov1(Fi-1)))
Cov2为第一层卷积层,Cov1为第二层卷积层，Relu为非线性激励函数,Fi-1为第i-1阶特征；为低阶视觉特征的分类计数模块打分，是用每阶段特征的计数器Ci-1，通过Softmax非线性算子计算，得到每阶特征的重要性分数ψi-1；计算公式为：
ψi-1＝Softmax(Ci-1)
步骤S32：构建视觉特征的密度计数模块，首先采用上采样操作实现低阶特征到高阶特征的编码操作，保持低阶特征i-1的维度与高阶特征i的维度的一致性；
构建高阶计数器更新模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新，高阶特征算子的计算公式为：
Fi＝Upsample(Fi-1)
得到高阶特征算子后，使用平均池化层保留更多的视觉特征信息，并经过两层卷积层和非线性层，得到高阶特征的掩码Wi；
最后利用非线性算子Sigmoid，将掩码限制在[0,1]之间：
Wi＝Sigmoid(Cov2(Relu(Cov1(Avg(Fi)))))
步骤S33：构建回归计数模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新：
Ci＝Cov2(Relu(Cov1(Fi)))；
根据所述分类计数模块、回归计数模块和重要性打分模块确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数。
作为优选的，所述步骤S4具体包括：
步骤S41：计算C(0)中每一列的最大值得到计数器C0，并将最低阶的计数器C0作为初阶的融合特征ρ0：
C0＝max(C(0))
步骤S42：计算更新计数器利用当前计数器C0与高阶特征Fi，实现/>与高阶掩码Wi，高阶计数器C1的维度保持一致：
步骤S43：计算高阶融合特征ρi+1，利用低阶更新计数器和高阶计数器的差分计算：
最后经过N个阶段的融合，并将最后一个阶段的融合特征ρN作为输出。
作为优选的，还包括：
步骤S5、构建切分融合深度编-解码网络模型的损失函数，使用切分-融合的学习方式训练所述切分融合深度编-解码网络。
作为优选的，构建切分融合深度编-解码网络模型的损失函数，具体包括：
步骤S51：构建融合损失函数Lρ，Lρ的计算与对数形式高阶掩码和每个计数器Ci的高度H、宽度W大小相关：
上式中，表示第i-1阶计数器中第j行第k列的计数值；Ι(.)表示指示算子，当/>时，Ι(.)＝1；反之，Ι(.)＝0；融合损失函数为多阶损失函数之和
步骤S52：构建回归计数损失函数LR，每阶回归损失由最小二乘计算：
损失函数LR为多阶损失函数之和
步骤S53：构建分类计数损失函数LC，每阶分类损失首先根据计数真值实现类别的离散化；
类别总数为M，当计数值落到{0}，(0,C1]，(C1,C2]，…,(CM-1,CM]时，分别标记为{1，2，..,M+1}；当模型计数值大于CM，计数值被标记为CM；分类损失由交叉熵损失函数计算：
损失函数LC为多阶损失函数之和
步骤S54：计算切分融合深度编-解码网络模型的多重损失函数L为分类损失，回归损失与融合损失函数之和：
L＝LC+Lρ+LR。
第二方面，本发明实施例提供一种群体迁移计数方法，包括：
图像提取模块，获取视觉图像信号；
多阶特征提取模块，将所述视觉图像信号输入至预先训练好的切分融合深度编-解码网络，根据所述切分融合深度编-解码网络的特征提取网络提取所述视觉图像信号的多阶特征；
切分融合模块，确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数；
多阶融合模块，对所述多阶特征的分类结果、回归结果和阶段重要性分数进行融合得到计数结果。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述群体迁移计数方法的步骤。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述群体迁移计数方法的步骤。
本发明实施例提出一种群体迁移计数方法及系统，采用了多阶特征提取模块，旨在面对不同视觉计数场景时，增强特征提取的分辨率，采用了切分融合模块，通过根据局部特征分类计数和回归计数表现，决定计算每阶段的局部特征是否应该被切分。通过分类和回归计数，构建适应于群体计数的背景域迁移模型；沿着多阶特征进行切分处理，并针对局部特征进行计数的基本思想，实现了模型针对多应用场景的泛化能力。提升了模型对于极端条件下的抗干扰性，补足了当前主流视觉计数模型只利用单一卷积网络实现视觉计数的缺陷。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1根据本发明实施例的一种群体迁移计数方法流程图；
图2是本发明的切分融合深度编-解码网络模型的计算框架；
图3(a)是切分融合深度编-解码网络模型在高阶噪声情况下的计数结果图；
图3(b)是切分融合深度编-解码网络模型在不同噪声等级下的学习效果图；
图4(a)是切分融合深度编-解码网络模型在低光照情况下的计数结果图；
图4(b)切分融合深度编-解码网络模型在不同光照等级下的学习效果图；
图5为根据本发明又一种实施例的一种服务器示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1和图2为根据本发明第一实施例提供的一种群体迁移计数方法，包括：
步骤S1：获取视觉图像信号作为样本，使用批梯度方式训练切分融合深度编-解码网络模型，使用切分-融合的学习方式训练深度自编码器网络，每次训练时在视觉样本中随机挑选出批训练样本，并将样本输入到多阶前端特征提取模块中；
步骤S2：构建多阶特征提取模块，按照64，128，256，512，512个卷积神经元构建五阶特征提取网络；
在多阶特征提取模块中，采用了多阶网络结构旨在提取更高分辨率的视觉特征信息。在本实施例中，切分融合深度编-解码网络采用了5阶网络结构，其中卷积网络被表示为M×N×K，其中M为网络的输入节点，N为网络的输出节点，K为卷积核尺寸。其中池化层被表示为K×S，其中K为池化核尺寸，S为池化层的划窗步长。经过多阶特征提取模块，最后得到五阶特征F1,F2,F3,F4,F5，多阶特征提取模块结构如表所示：
表1.特征提取模块网络结构
按照64，128，256，512，512个卷积神经元构建五阶特征提取网络。
步骤S3：对多阶前端特征提取模块中每阶特征提取网络进行建模，通过分类、回归和重要性打分子模块，计算每阶段特征的用于计数模型的分类结果，回归结果和阶段重要性分数。其中分类子网络由二维池化层、卷积层组成；回归子网络由二维池化层、卷积层组成；
构建切分融合网络，依次选取低阶特征构建分类计数模块、重要性打分模块和回归计数模块：
步骤S31：构建视觉特征的分类计数模块，得到计数器Ci-1，计算步骤为：
Ci-1＝Cov2(Relu(Cov1(Fi-1)))
为低阶视觉特征的分类计数模块打分，是用每阶段特征的计数器Ci-1，通过Softmax非线性算子计算，得到每阶特征的重要性分数ψi-1；计算公式为：
ψi-1＝Softmax(Ci-1)
步骤S32：构建视觉特征的密度计数模块，首先采用上采样操作实现低阶特征到高阶特征的编码操作，保持低阶特征i-1的维度与高阶特征i的维度的一致性；
构建高阶计数器更新模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新，高阶特征算子的计算公式为：
Fi＝Upsample(Fi-1)
得到高阶特征算子后，使用平均池化层保留更多的视觉特征信息，并经过两层卷积层和非线性层，得到高阶特征的掩码Wi；
最后利用非线性算子Sigmoid，将掩码限制在[0,1]之间：
Wi＝Sigmoid(Cov2(Relu(Cov1(Avg(Fi)))))
步骤S33：构建回归计数模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新：
Ci＝Cov2(Relu(Cov1(Fi)))；
根据所述分类计数模块、回归计数模块和重要性打分模块确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数。
步骤S4：构建特征融合模块，将重要性分数，分类模型输出以及回归模型输出当作融合特征的输入，通过多阶融合得到最后的计数输出；
步骤S41：计算C(0)中每一列的最大值得到计数器C0，并将最低阶的计数器C0作为初阶的融合特征ρ0：
C0＝max(C(0))
步骤S42：计算更新计数器利用当前计数器C0与高阶特征Fi，实现/>与高阶掩码Wi，高阶计数器C1的维度保持一致：
步骤S43：计算高阶融合特征ρi+1，利用低阶更新计数器和高阶计数器的差分计算：
最后经过N个阶段的融合，并将最后一个阶段的融合特征ρN作为输出。
步骤S5：构建切分融合深度编-解码网络模型的损失函数，包括分类损失、回归损失和融合损失函数，完成视觉场景的计数任务。
步骤S51：构建融合损失函数Lρ，Lρ的计算与对数形式高阶掩码和每个计数器Ci的高度H、宽度W大小相关：
上式中，表示第i-1阶计数器中第j行第k列的计数值；Ι(.)表示指示算子，当/>时，Ι(.)＝1；反之，Ι(.)＝0；融合损失函数为多阶损失函数之和/>
步骤S52：构建回归计数损失函数LR，每阶回归损失由最小二乘计算：
损失函数LR为多阶损失函数之和
步骤S53：构建分类计数损失函数LC，每阶分类损失首先根据计数真值实现类别的离散化；
类别总数为M，当计数值落到{0}，(0,C1]，(C1,C2]，…,(CM-1,CM]时，分别标记为{1，2，..,M+1}；当模型计数值大于CM，计数值被标记为CM；分类损失由交叉熵损失函数计算：
损失函数LC为多阶损失函数之和
步骤S54：计算切分融合深度编-解码网络模型的多重损失函数L为分类损失，回归损失与融合损失函数之和：
L＝LC+Lρ+LR。
本实施例采用了多阶特征提取模块，旨在面对不同视觉计数场景时，增强特征提取的分辨率，采用了切分融合模块，通过根据局部特征分类计数和回归计数表现，决定计算每阶段的局部特征是否应该被切分。通过分类和回归计数，构建适应于群体计数的背景域迁移模型；沿着多阶特征进行切分处理，并针对局部特征进行计数的基本思想，实现了模型针对多应用场景的泛化能力。提升了模型对于极端条件下的抗干扰性，补足了当前主流视觉计数模型只利用单一卷积网络实现视觉计数的缺陷。
本发明第二实施例提供的一种群体迁移计数方法，包括：
S.1：搜集到的视觉样本尽量分布广泛。经过统计一共有8095个视觉样本数据，其中一共有20％的样本分布在0-50，34％的样本分布在50-100，32％的样本分布在100-150，4％的样本分布在100-150，10％的样本分布在200-256。
S.2：数据预处理：
S2-1将视觉样本的图像信号进行图像增强，增强手段包括图片翻转；图片亮度增强，增强系数为0.6；图像色彩增强，增强系数为0.6。
步骤S3：网络构建：
S3-1前端特征提取模块中的分类子模块由3层网络组成，其中具体参数为:
第一层网络为二维平均池化层，其中核尺寸为2*2，滑动步长为2，填充尺寸为0；
第二层网络为卷积层，卷积的输入通道维度为512，输出通道维度为512，卷积核大小为1*1，滑动步长为1*1，Relu激励函数；
第三层网络，卷积的输入通道维度为512，输出通道维度为65，卷积核大小为1*1，滑动步长为1*1；
S3-2前端特征提取模块中的回归子模块由2层网络组成，其中具体参数为：
第一层网络为卷积层，卷积的输入通道维度为512，输出通道维度为512，卷积核大小为1*1，滑动步长为1*1，Relu激励函数。
第二层网络为卷积层，卷积的输入通道维度为512，输出通道维度为1，卷积核大小为1*1，滑动步长为1*1。
S3-3前端特征提取模块中的打分网络由3层网络组成，其中具体参数为：
第一层网络为二维平均池化层，其中核尺寸为2*2，滑动步长为2，填充尺寸为0；
第二层网络为卷积层，卷积的输入通道维度为512，输出通道维度为512，卷积核大小为1*1，滑动步长为1*1，Relu激励函数；
第三层网络，卷积的输入通道维度为512，输出通道维度为1，卷积核大小为1*1，滑动步长为1*1；
步骤S4：融合模块构建：通过分类子模块的输出得到计数模型，回归子模块的输出得到密度模型。将低阶特征的分类子模块作为融合阶段的初阶输出，并赋以打分网络的输出权重，最后得到融合特征。
S.5：切分融合深度编-解码网络的损失函数为联合损失函数，由分类损失，回归损失与融合损失函数之和：
L＝LC+Lρ+LR
针对分类损失函数，由切分融合输出计数值Ci，与真值数量之间的损失由交叉熵函数计算：
针对回归损失函数，由切分融合输出计数值Ci，与真值数量之间的损失由最小二乘损失函数计算：
S.5：训练切分融合深度编-解码网络：
采用梯度下降方法，训练切分融合深度编-解码网络，优化器采用“Adam”优化器，学习率为0.0001，误差判决尺度用MAE衡量。
S.6：量化计数结果
在不同噪声等级下，将经过切分融合深度编-解码网络和其他经典的视觉计数模型例如CSRNet、MCNN、CAN计算的密度映射图与经过高斯核函数转化的真值映射图进行比较，比较结果展示在图3(a)；我们将计算得到的发声物体空间位置展示在图3(b)。
在不同光照等级下，将经过切分融合深度编-解码网络和其他经典的视觉计数模型例如CSRNet、MCNN、CAN计算的密度映射图与经过高斯核函数转化的真值映射图进行比较，比较结果展示在图4(a)；我们将计算得到的各模型在不同噪声等级下的对数MAE误差值展示在图4(b)。
由此，由图4(a)和图4(b)结果可知，本发明一种切分融合深度编-解码网络，通过将大图像切分成若干图像块实现计数，缓解了不同图片之间背景差异带来的计数误差。在极端条件下例如高噪声、低高照的条件下确保了计数的准确性。
本发明第三实施例提供一种群体迁移计数系统，基于上述各实施例中的群体迁移计数方法，包括：
图像提取模块，获取视觉图像信号；
多阶特征提取模块，将所述视觉图像信号输入至预先训练好的切分融合深度编-解码网络，根据所述切分融合深度编-解码网络的特征提取网络提取所述视觉图像信号的多阶特征；
切分融合模块，确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数；
多阶融合模块，对所述多阶特征的分类结果、回归结果和阶段重要性分数进行融合得到计数结果。
基于相同的构思，本发明实施例还提供了一种服务器示意图，如图5所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述群体迁移计数方法的步骤。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者客户前置设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述群体迁移计数方法的步骤。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种群体迁移计数方法，其特征在于，包括：
步骤S1、获取视觉图像信号；
步骤S2、将所述视觉图像信号输入至预先训练好的切分融合深度编-解码网络，根据所述切分融合深度编-解码网络的特征提取网络提取所述视觉图像信号的多阶特征；所述特征提取网络包括VGG-16网络；
所述VGG-16网络包括64、128、256、512、512个卷积神经元构建的五阶特征提取网络；
步骤S3、确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数；所述步骤S3具体包括：
构建切分融合网络，依次选取低阶特征构建分类计数模块、重要性打分模块和回归计数模块：
步骤S31：构建视觉特征的分类计数模块，得到计数器Ci-1，计算步骤为：
Ci-1＝Cov2(Relu(Cov1(Fi-1)))
其中，Cov2为第一层卷积层,Cov1为第二层卷积层，Relu为非线性激励函数,Fi-1为第i-1阶特征；为低阶视觉特征的分类计数模块打分，是用每阶段特征的计数器Ci-1，通过Softmax非线性算子计算，得到每阶特征的重要性分数ψi-1；计算公式为：
ψi-1＝Softmax(Ci-1)
步骤S32：构建视觉特征的密度计数模块，首先采用上采样操作实现低阶特征到高阶特征的编码操作，保持低阶特征i-1的维度与高阶特征i的维度的一致性；
构建高阶计数器更新模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新，高阶特征算子的计算公式为：
Fi＝Upsample(Fi-1)
其中，Upsample为上采样层；得到高阶特征算子后，使用平均池化层保留更多的视觉特征信息，并经过两层卷积层和非线性层，得到高阶特征的掩码Wi；
最后利用非线性算子Sigmoid，将掩码限制在[0,1]之间：
Wi＝Sigmoid(Cov2(Relu(Cov1(Avg(Fi)))))
式中，Avg为算数平均函数；
步骤S33：构建回归计数模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新：
Ci＝Cov2(Relu(Cov1(Fi)))；
根据所述分类计数模块、回归计数模块和重要性打分模块确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数；
步骤S4、对所述多阶特征的分类结果、回归结果和阶段重要性分数进行融合得到计数结果。
2.根据权利要求1所述的群体迁移计数方法，其特征在于，所述步骤S4具体包括：
步骤S41：计算C(0)中每一列的最大值得到计数器C0，并将最低阶的计数器C0作为初阶的融合特征ρ0：
C0＝max(C(0))
步骤S42：计算更新计数器利用当前计数器C0与高阶特征Fi，实现/>与高阶掩码Wi，高阶计数器C1的维度保持一致：
式中，表示乘法算子；
步骤S43：计算高阶融合特征ρi+1，利用低阶更新计数器和高阶计数器的差分计算：
最后经过N个阶段的融合，并将最后一个阶段的融合特征ρN作为输出。
3.根据权利要求2所述的群体迁移计数方法，其特征在于，还包括：
步骤S5、构建切分融合深度编-解码网络模型的损失函数，使用切分-融合的学习方式训练所述切分融合深度编-解码网络。
4.根据权利要求3所述的群体迁移计数方法，其特征在于，构建切分融合深度编-解码网络模型的损失函数，具体包括：
步骤S51：构建融合损失函数Lρ，Lρ的计算与对数形式高阶掩码和每个计数器Ci的高度H、宽度W大小相关：
上式中，表示第i-1阶计数器中第j行第k列的计数值；I(.)表示指示算子，当时，I(.)＝1；反之，I(.)＝0；融合损失函数为多阶损失函数之和/>
步骤S52：构建回归计数损失函数LR，每阶回归损失由最小二乘计算：
损失函数LR为多阶损失函数之和
步骤S53：构建分类计数损失函数LC，每阶分类损失首先根据计数真值实现类别的离散化；
类别总数为M，当计数值落到{0}，(0,C1]，(C1,C2]，…,(CM-1,CM]时，分别标记为{1，2，..,M+1}；当模型计数值大于CM，计数值被标记为CM；分类损失由交叉熵损失函数计算：
损失函数LC为多阶损失函数之和
步骤S54：计算切分融合深度编-解码网络模型的多重损失函数L为分类损失，回归损失与融合损失函数之和：
L＝LC+Lρ+LR。
5.一种群体迁移计数系统，其特征在于，包括：
图像提取模块，获取视觉图像信号；
多阶特征提取模块，将所述视觉图像信号输入至预先训练好的切分融合深度编-解码网络，根据所述切分融合深度编-解码网络的特征提取网络提取所述视觉图像信号的多阶特征；所述特征提取网络包括VGG-16网络；
所述VGG-16网络包括64、128、256、512、512个卷积神经元构建的五阶特征提取网络；
切分融合模块，确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数；具体包括：
构建切分融合网络，依次选取低阶特征构建分类计数模块、重要性打分模块和回归计数模块：
步骤S31：构建视觉特征的分类计数模块，得到计数器Ci-1，计算步骤为：
Ci-1＝Cov2(Relu(Cov1(Fi-1)))
其中，Cov2为第一层卷积层,Cov1为第二层卷积层，Relu为非线性激励函数,Fi-1为第i-1阶特征；为低阶视觉特征的分类计数模块打分，是用每阶段特征的计数器Ci-1，通过Softmax非线性算子计算，得到每阶特征的重要性分数ψi-1；计算公式为：
ψi-1＝Softmax(Ci-1)
步骤S32：构建视觉特征的密度计数模块，首先采用上采样操作实现低阶特征到高阶特征的编码操作，保持低阶特征i-1的维度与高阶特征i的维度的一致性；
构建高阶计数器更新模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新，高阶特征算子的计算公式为：
Fi＝Upsample(Fi-1)
其中，Upsample为上采样层；得到高阶特征算子后，使用平均池化层保留更多的视觉特征信息，并经过两层卷积层和非线性层，得到高阶特征的掩码Wi；
最后利用非线性算子Sigmoid，将掩码限制在[0,1]之间：
Wi＝Sigmoid(Cov2(Relu(Cov1(Avg(Fi)))))
式中，Avg为算数平均函数；
步骤S33：构建回归计数模块，利用步骤S31公式中采用两层卷积层一层非线性池化层实现高阶计数器Ci的更新：
Ci＝Cov2(Relu(Cov1(Fi)))；
根据所述分类计数模块、回归计数模块和重要性打分模块确定所述多阶特征中每阶特征用于预设计数模型时的分类结果、回归结果和阶段重要性分数；
多阶融合模块，对所述多阶特征的分类结果、回归结果和阶段重要性分数进行融合得到计数结果。
6.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4任一项所述群体迁移计数方法的步骤。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述群体迁移计数方法的步骤。
CN202110158048.5A 2021-02-04 2021-02-04 一种群体迁移计数方法及系统 Active CN112906522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110158048.5A CN112906522B (zh) 2021-02-04 2021-02-04 一种群体迁移计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110158048.5A CN112906522B (zh) 2021-02-04 2021-02-04 一种群体迁移计数方法及系统

Publications (2)

Publication Number Publication Date
CN112906522A CN112906522A (zh) 2021-06-04
CN112906522B true CN112906522B (zh) 2024-02-27

Family

ID=76122486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110158048.5A Active CN112906522B (zh) 2021-02-04 2021-02-04 一种群体迁移计数方法及系统

Country Status (1)

Country Link
CN (1) CN112906522B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN111259833A (zh) * 2020-01-20 2020-06-09 青岛大学 一种基于交通图像的车辆计数方法
CN111428809A (zh) * 2020-04-02 2020-07-17 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于空间信息融合与卷积神经网络的人群计数方法
CN111460912A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于级联高分辨卷积神经网络的密集人群计数算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101036A1 (en) * 2015-12-16 2017-06-22 Intel Corporation Fully convolutional pyramid networks for pedestrian detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147743A (zh) * 2019-05-08 2019-08-20 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN111259833A (zh) * 2020-01-20 2020-06-09 青岛大学 一种基于交通图像的车辆计数方法
CN111460912A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于级联高分辨卷积神经网络的密集人群计数算法
CN111428809A (zh) * 2020-04-02 2020-07-17 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于空间信息融合与卷积神经网络的人群计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CRSNet：Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes;Li yuhong et at.;《2018 IEEE/VCF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》;正文全文 *
全局多阶统计中混合应用局部多核度量学习图像集分类研究;李娜;;经营管理者(第36期);正文全文 *

Also Published As

Publication number Publication date
CN112906522A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
Hopkinson et al. Automated classification of three-dimensional reconstructions of coral reefs using convolutional neural networks
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
Jiang et al. Focal-test-based spatial decision tree learning
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN110766708B (zh) 基于轮廓相似度的图像比较方法
Zheng et al. Underwater image enhancement using improved CNN based defogging
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN115439654B (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
Abdul Rahman et al. Enhancement of background subtraction techniques using a second derivative in gradient direction filter
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN116883303A (zh) 基于特征差分补偿与融合的红外与可见光图像融合方法
CN115240240A (zh) 基于yolo网络的红外人脸识别方法及系统
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN113554656B (zh) 基于图神经网络的光学遥感图像实例分割方法及装置
Reddy et al. Deep neural network (DNN) mechanism for identification of diseased and healthy plant leaf images using computer vision
CN112906522B (zh) 一种群体迁移计数方法及系统
CN116580174A (zh) 一种虚拟场景实时构建方法
CN111222576A (zh) 一种高分辨率遥感图像分类方法
Wang et al. Surface and underwater human pose recognition based on temporal 3D point cloud deep learning
CN116703744A (zh) 一种基于卷积神经网络的遥感影像匀光匀色方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant