CN114581946A - 人群计数方法、装置、存储介质及电子设备 - Google Patents
人群计数方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114581946A CN114581946A CN202210176763.6A CN202210176763A CN114581946A CN 114581946 A CN114581946 A CN 114581946A CN 202210176763 A CN202210176763 A CN 202210176763A CN 114581946 A CN114581946 A CN 114581946A
- Authority
- CN
- China
- Prior art keywords
- network
- feature extraction
- review
- training
- crowd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开关于人群计数方法、装置、存储介质及电子设备。该方法包括获取目标图像，所述目标图像包括至少一个人物；将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。本公开可以有效地缓解教师网络和学生网络的能力差距，以及解决错误传播问题。
Description
技术领域
本公开涉及互联网技术领域，尤其涉及人群计数方法、装置、存储介质及电子设备。
背景技术
现有的人群计数方法一般可分为三类，即：E基于检测器的方法、基于回归器的方法和基于深度学习的方法。第一类人群计数方法通常通过使用行人检测器对人群进行定位来估计人群数量，主要关注人类的一些重要特征，如面部和身体。这些方法通常适用于目标数量较少的稀疏场景，但对于背景复杂且目标密集的场景可能会失败目标，尤其是人群遮挡。基于回归器的方法通过从一些手工制作的低级特征中学习映射来产生人群数量的估计。虽然第二类方法在一定程度上可以缓解遮挡和背景杂波的问题，但是它们的性能取决于低级特征的质量，并且通常远不能满足实际应用的要求。基于深度学习的方法已成为人群计数任务的主流，并取得了显著进展。为了获得更好的性能，大多数最先进的方法使用重型骨干网络，如VGG网络作为特征提取器。虽然这些大量的人群计数模型在估计人群数量方面可以取得令人满意的性能，但它们令人印象深刻的性能是以高昂的计算成本和硬件负担为代价的，限制了它们在实际应用中的广泛使用，并导致可扩展性差，尤其是在边缘计算设备上有限的计算资源。
发明内容
本公开提供人群计数方法、装置、存储介质及电子设备，以至少解决相关技术中上述至少一个技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种人群计数方法，包括：
获取目标图像，所述目标图像包括至少一个人物；
将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；
其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。
在一示例性的实施方式中，所述第一网络包括第一特征提取网络、复习网络、第一解码网络和融合网络，所述第二网络包括第二特征提取网络和第二解码网络；
其中，所述复习网络用于所述第二网络中的知识进行复习，并且向所述融合网络输出复习结果；
并且，对所述第二网络的训练包括基于获取到的总损失反馈调整所述的第二特征提取网络和所述第二解码网络的参数，但是所述第二解码网络不用于对所述第一网络进行训练。
在一示例性的实施方式中，所述第一特征提取网络被设置为MobileNet 的子网，并且，所述第一特征提取网络不包括所述第二特征提取网络中的任意通道。
在一示例性的实施方式中，所述方法还包括对所述第一网络进行训练的步骤，所述对所述第一网络进行训练，包括：
基于所述第一网络和所述第二特征提取网络构建训练网络；
获取样本图像，所述样本图像携带的标签表征所述样本图像中的人物数量；
基于所述样本图像调整所第一网络的参数。
在一示例性的实施方式中，所述基于所述第一网络和所述第二特征提取网络构建训练网络，包括：
在所述第一特征提取网络和所述第二特征提取网络之间设置至少一个辅助训练网络，各所述辅助训练网络与所述第一特征提取网络和所述第二特征提取网络都进行双向信息传递；
所述第一特征提取网络与至少一个复习网络连接，并且所述第一特征提取网络与所述第一解码网络连接；
所述至少一个复习网络与所述第一解码网络均与所述融合网络连接，得到所述训练网络。
在一示例性的实施方式中，所述方法还包括：
所述辅助训练网络用于顺序提取所述第二特征提取网络输出的分层特征中的知识以指导所述第一特征提取网络的特征学习，以及提取所述第二特征提取网络的跨层知识以规范所述第一特征提取网络的特征学习。
在一示例性的实施方式中，所述基于所述样本图像调整所第一网络的参数，包括：
将所述样本图像输入所述训练网络，以使得所述第一提取网络输出第一特征信息，所述第二特征提取网络输出第二特征信息；
将所述第一特征信息输入所述至少一个复习网络，以使得所述至少一个复习网络基于上一次训练得到的参数输出所述至少一个复习网络对应的复习结果，所述复习结果表征所述至少一个复习网络在上一次参数调整后获取到的知识的基础上对所述第一特征信息进行解码所得到的第一人群计数结果；
将所述第一特征信息输入所述第一解码网络，得到第二人群计数结果；
融合所述第一人群计数结果和所述第二人群结束结果，得到预测人物数量；
根据所述预测人物数量和所述标签，调整所述第一特征网络和所述至少一个辅助训练网络。
根据本公开实施例的第二方面，提供一种人群计数装置，包括：
图像获取模块，用于获取目标图像，所述目标图像包括至少一个人物；
计数模块，用于将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；
其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。
在一示例性的实施方式中，所述第一网络包括第一特征提取网络、复习网络、第一解码网络和融合网络，所述第二网络包括第二特征提取网络和第二解码网络；
其中，所述复习网络用于所述第二网络中的知识进行复习，并且向所述融合网络输出复习结果；
并且，对所述第二网络的训练包括基于获取到的总损失反馈调整所述的第二特征提取网络和所述第二解码网络的参数，但是所述第二解码网络不用于对所述第一网络进行训练。
在一示例性的实施方式中，所述第一特征提取网络被设置为MobileNet 的子网，并且，所述第一特征提取网络不包括所述第二特征提取网络中的任意通道。
在一示例性的实施方式中，所述方计数模块，用于对所述第一网络进行训练，具体用于：
基于所述第一网络和所述第二特征提取网络构建训练网络；
获取样本图像，所述样本图像携带的标签表征所述样本图像中的人物数量；
基于所述样本图像调整所第一网络的参数。
在一示例性的实施方式中，所述计数模块，用于：
在所述第一特征提取网络和所述第二特征提取网络之间设置至少一个辅助训练网络，各所述辅助训练网络与所述第一特征提取网络和所述第二特征提取网络都进行双向信息传递；
所述第一特征提取网络与至少一个复习网络连接，并且所述第一特征提取网络与所述第一解码网络连接；
所述至少一个复习网络与所述第一解码网络均与所述融合网络连接，得到所述训练网络。
在一示例性的实施方式中，所述辅助训练网络用于顺序提取所述第二特征提取网络输出的分层特征中的知识以指导所述第一特征提取网络的特征学习，以及提取所述第二特征提取网络的跨层知识以规范所述第一特征提取网络的特征学习。
在一示例性的实施方式中，所述计数模块，用于：
将所述样本图像输入所述训练网络，以使得所述第一提取网络输出第一特征信息，所述第二特征提取网络输出第二特征信息；
将所述第一特征信息输入所述至少一个复习网络，以使得所述至少一个复习网络基于上一次训练得到的参数输出所述至少一个复习网络对应的复习结果，所述复习结果表征所述至少一个复习网络在上一次参数调整后获取到的知识的基础上对所述第一特征信息进行解码所得到的第一人群计数结果；
将所述第一特征信息输入所述第一解码网络，得到第二人群计数结果；
融合所述第一人群计数结果和所述第二人群结束结果，得到预测人物数量；
根据所述预测人物数量和所述标签，调整所述第一特征网络和所述至少一个辅助训练网络。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述如第一方面中任一项所述的人群计数方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述如第一方面中任一项所述的人群计数方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述如第一方面中任一项所述的人群计数方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种人群计数方法的应用环境图；
图2是根据一示例性实施例示出的一种人群计数方法的流程图；
图3(a)是根据一示例性实施例示出的被伞遮住的原始场景示意图；
图3(b)是根据一示例性实施例示出的教师网络的输出示意图；
图3(c)是根据一示例性实施例示出的SKT的输出示意图；
图3(d)是根据一示例性实施例示出的硬真值示意图；
图3(e)是根据一示例性实施例示出的不带任何复习网络的输出示意图；
图3(f)是根据一示例性实施例示出的带一个复习网络的输出示意图；
图4是根据一示例性实施例示出的训练网络结构示意图；
图5是根据一示例性实施例示出的一种人群计数装置框图；
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供一种人群计数方法、装置、存储介质及电子设备。请参阅图1，其所示为根据一示例性实施例示出的一种人群计数方法的应用环境图，该应用环境可以包括终端110和服务器120。
其中，终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端110中可以运行有由服务器120提供后台服务的客户端。
在一示例性的实施方式中，该客户端110可以获取目标图像，所述目标图像包括至少一个人物。向上述服务器120发送目标图像，获取服务器反馈的人物统计结果，本公开实施例中将各种神经网络部署在服务器侧，服务器 120将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；
其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。
图1中所示的服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，终端110和服务器120之间可以通过有线网络或者无线网络连接。
图2是根据一示例性实施例示出的一种人群计数方法的流程图，如图2 所示，包括以下步骤。
在步骤S10中，获取目标图像，所述目标图像包括至少一个人物。
在步骤S20中，将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。
本公开实施例中第一网络可以理解为学生网络，第二网络可以理解为教师网络。具体来说，可以训练一个小的学生网络,以获得训练有素的重型教师网络的知识，达到轻量级人物统计效果。
本公开实施例认为可以通过结构化知识迁移的方式解决被背景技术中提出的人群计数问题，也就是说，通过提出一种称为结构化知识转移(SKT)的高效轻量级人群计数模型实现轻量级高准确度的人群计数。针对这一创意，本公开实施例认为尽管SKT有效，但它仍可能受到能力差距问题的影响，即教师和学生网络的能力之间存在差距。由于能力差距问题，教师和学生网络的绩效通常存在显著准确度差距。特别是，学生网络的性能通常受到教师网络性能的限制。因此本公开实施例提出的方案旨在可以进一步突破这一限制，使学生网络的表现超越相关的教师网络。此外，本公开实施例对SKT进行了更深入的分析，发现SKT也可能存在错误传播问题，也就是说，教师网络犯下的错误可能会传播到学生网络，这可能是因为使用了软事实，导致学生网络的性能下降。如图3所示。从图3(a)中可以看出，由于伞的遮挡，教师网络在该遮挡区域发生错误，并将该错误传播到学生网络，如图3(b)和(c) 所示,图3(b)和(c)计数分别为97和84。
本公开实施例的方案进一步地，所述第一网络包括第一特征提取网络、复习网络、第一解码网络和融合网络，所述第二网络包括第二特征提取网络和第二解码网络；其中，所述复习网络用于所述第二网络中的知识进行复习，并且向所述融合网络输出复习结果；并且，对所述第二网络的训练包括基于获取到的总损失反馈调整所述的第二特征提取网络和所述第二解码网络的参数，但是所述第二解码网络不用于对所述第一网络进行训练。本公开实施例认为教师网络犯下的错误可能会传播到学生网络，这可能是因为使用了软事实，导致学生网络的性能下降，因此，本公开实施例中的第二解码网络不能用于对第一网络进行训练。也就是说，在基于第二网络对第一网络进行训练的时候，只保留了第二网络的第二特征提取网络，而去掉了最后的第二解码网络。因此，作为教师网络的解码器层(第二解码网络)输出的软基真值不用于最终推理。通过这样做，教师网络在解码阶段所犯的错误可以在第一网络训练过程中避免被学习到。
进一步地，所述第一特征提取网络被设置为MobileNet的子网，并且，所述第一特征提取网络不包括所述第二特征提取网络中的任意通道。为了缩小教师和学生网络之间的容量差距，本公开实施例基于MobileNetV2仔细设计了第一网络中的第一特征提取网络，这种设计方案没有像相关技术中那样直接将教师网络的一部分通道作为学生网络，这主要是由于MobileNetV2在捕获高级功能和轻量级特性方面的优势。第一特征提取网络的具体结构如表一所示，其中每一层都是来自MobileNetV2的一些剩余模块，被设置为 MobileNetV2的一个子网，只有1/n通道，其中n有一个正整数，如表1所示，即2和4。此后，本公开实施例将只有1/n通道的学生网络称为1/n-StuNet。此外，本公开实施例在第一解码网络中可以使用与相关技术中SKT相同的解码器。
表1
表1中示出本第一网络中第一特征提取网络的结构。所有层都是 MobileNetV2的剩余模块。从第二列到第四列，表中的值分别表示扩展因子、块数和步幅。本公开实施例考虑了三个不同的学生网络，其中n不同，即1, 2,4。应该指出的是，第0层只是一个普通的3×3卷积。*Layer5仅在教师网络为BL的VGG19时使用。
进一步地，本公开实施例所述方法还包括对所述第一网络进行训练的步骤，所述对所述第一网络进行训练，包括：
S101中，基于所述第一网络和所述第二特征提取网络构建训练网络。
具体来说，如图4所示可以在所述第一特征提取网络和所述第二特征提取网络之间设置至少一个辅助训练网络，各所述辅助训练网络与所述第一特征提取网络和所述第二特征提取网络都进行双向信息传递；所述辅助训练网络用于顺序提取所述第二特征提取网络输出的分层特征中的知识以指导所述第一特征提取网络的特征学习，以及提取所述第二特征提取网络的跨层知识以规范所述第一特征提取网络的特征学习。所述第一特征提取网络与至少一个复习网络连接，并且所述第一特征提取网络与所述第一解码网络连接。所述至少一个复习网络与所述第一解码网络均与所述融合网络连接，得到所述训练网络。
为了充分提取教师网络的知识，该方法引入了辅助训练网络，每一辅助训练网络包括两个互补模块，即：层内模式转换(Intra-PT)和层间关系模式(Inter-RT)，以充分利用教师网络的结构化知识。得益于这两个模块，本公开实施例不仅保持了具有竞争力的性能，也显著降低了计算成本和模型参数的大小。
S102中，获取样本图像，所述样本图像携带的标签表征所述样本图像中的人物数量。
S103中，基于所述样本图像调整所第一网络的参数。
具体来说，所述基于所述样本图像调整所第一网络的参数，包括：
S1031中，将所述样本图像输入所述训练网络，以使得所述第一提取网络输出第一特征信息，所述第二特征提取网络输出第二特征信息；
S1032中，将所述第一特征信息输入所述至少一个复习网络，以使得所述至少一个复习网络基于上一次训练得到的参数输出所述至少一个复习网络对应的复习结果，所述复习结果表征所述至少一个复习网络在上一次参数调整后获取到的知识的基础上对所述第一特征信息进行解码所得到的第一人群计数结果；
S1033中，将所述第一特征信息输入所述第一解码网络，得到第二人群计数结果；
S1034中，融合所述第一人群计数结果和所述第二人群结束结果，得到预测人物数量；
S1035中，根据所述预测人物数量和所述标签，调整所述第一特征网络和所述至少一个辅助训练网络。
本公开实施例中，Intra-PT用于顺序提取嵌入教师网络的分层特征中的知识以指导学生网络的特征学习，而Inter-RT用于密集提取教师的跨层相关知识以规范学生网络的特征演化。在Intra-PT模块中，使用余弦函数作为度量标准来度量同一层学生和教师网络特征的相似性。在Inter-RT模块中，利用两层特征之间的关系对求解流程(FSP)进行建模，并使用2Loss测量学生和教师网络之间的FSP误差。
本公开实施例可以通过复习旧知识获得新的理解。本公开实施例在第一特征提取网络之后引入了至少一个新颖的复习网络，以进一步提高其性能。如图4的右侧。如图4所示，每一复习网络两个操作符，如一个元素式乘积⊙和一个加法运算符+，以及每个复习网络中均共享针对第一网络中第一解码网络，将其作为自身的解码器。复习网络旨在模拟学生课后的一轮“复习”，也就是说，复习网络其中的解码器通过复习记录在笔记本中的知识(特征F) 以及从老师那里学到的知识(密度图M)，产生新的理解。在上一轮的复习中，作为反映笔记本中记录的知识的重要性的特定注意力地图(特征F)获得。数学上，让学生从老师那里学到的特征，D是复习网络中的解码器，Mi是第i 复习网络产生的密度图(特别是，当i＝0时，本公开实施例将M0表示为学生网络解码器产生的密度图，然后是第i+1产生的密度图的评审模块表达如下： Mi+1＝D((F⊙Mi)+F)。值得指出的是，建议的复习网络没有引入任何额外的模型参数，因为它共享学生网络的同一个解码器。
显而易见，本公开实施例引入了一个新的复习网络来提高学生网络的性能，并引入了一个由MobileNetV2的剩余模块构建的第一特征提取网络来缩小教师网络和学生网络之间的容量差距，在最后的推理阶段，只使用硬事实(标签信息)作为监督信息，以避免教师网络的错误被学生网络学习到。因此，可以有效地缓解教师网络和学生网络的能力差距，以及解决错误传播问题。
具体来说，由于MobileNet v2在捕获高级功能方面的优势及其自身的轻 量级性质。通过使用这种基于MobileNet v2搭建得到的第一网络(学生网络)， 可以缩小教师和学生网络之间的容量差距。通过仅仅使用硬基础事实(标签 信息)来进行学习，可以避免错误的传递。从图3(e)可以看出，错误传播 问题只能通过使用硬真值来有效解决。本公开实施例引入一个新颖的复习网 络，以进一步提高学生网络的性能，在每个复习网络中，复用的第一解码网 络被用来生成密度图，然后将其用作下一轮复习的注意力权重，以强调从教师网络中学到的重要知识。如图3(f)所示，其对应的计数结果分别为76和7 5，通过与图3(e)中没有任何复习网络的模型所产生的结果进行比较，使用 引入的复习网络可以进一步提高学生网络的准确度，并且性能远远好于相关 的教师网络。
需要指出的是，本公开实施例提供的方法非常通用，可适用于许多重人群计数模型(例如，CSRNet和BL)，以产生比自身性能更高的轻量级模型。此外，引入的复习网络还可以用作即插即用模块，以进一步提高人群计数模型的性能.
图5是根据一示例性实施例示出的一种人群计数装置，如图5所示，上述装置包括：
图像获取模块10，用于获取目标图像，所述目标图像包括至少一个人物；
计数模块20，用于将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；
其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。
在一示例性的实施方式中，所述第一网络包括第一特征提取网络、复习网络、第一解码网络和融合网络，所述第二网络包括第二特征提取网络和第二解码网络；
其中，所述复习网络用于所述第二网络中的知识进行复习，并且向所述融合网络输出复习结果；
并且，对所述第二网络的训练包括基于获取到的总损失反馈调整所述的第二特征提取网络和所述第二解码网络的参数，但是所述第二解码网络不用于对所述第一网络进行训练。
在一示例性的实施方式中，所述第一特征提取网络被设置为MobileNet 的子网，并且，所述第一特征提取网络不包括所述第二特征提取网络中的任意通道。
在一示例性的实施方式中，所述方计数模块，用于对所述第一网络进行训练，具体用于：
基于所述第一网络和所述第二特征提取网络构建训练网络；
获取样本图像，所述样本图像携带的标签表征所述样本图像中的人物数量；
基于所述样本图像调整所第一网络的参数。
在一示例性的实施方式中，所述计数模块，用于：
在所述第一特征提取网络和所述第二特征提取网络之间设置至少一个辅助训练网络，各所述辅助训练网络与所述第一特征提取网络和所述第二特征提取网络都进行双向信息传递；
所述第一特征提取网络与至少一个复习网络连接，并且所述第一特征提取网络与所述第一解码网络连接；
所述至少一个复习网络与所述第一解码网络均与所述融合网络连接，得到所述训练网络。
在一示例性的实施方式中，所述辅助训练网络用于顺序提取所述第二特征提取网络输出的分层特征中的知识以指导所述第一特征提取网络的特征学习，以及提取所述第二特征提取网络的跨层知识以规范所述第一特征提取网络的特征学习。
在一示例性的实施方式中，所述计数模块，用于：
将所述样本图像输入所述训练网络，以使得所述第一提取网络输出第一特征信息，所述第二特征提取网络输出第二特征信息；
将所述第一特征信息输入所述至少一个复习网络，以使得所述至少一个复习网络基于上一次训练得到的参数输出所述至少一个复习网络对应的复习结果，所述复习结果表征所述至少一个复习网络在上一次参数调整后获取到的知识的基础上对所述第一特征信息进行解码所得到的第一人群计数结果；
将所述第一特征信息输入所述第一解码网络，得到第二人群计数结果；
融合所述第一人群计数结果和所述第二人群结束结果，得到预测人物数量；
根据所述预测人物数量和所述标签，调整所述第一特征网络和所述至少一个辅助训练网络。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种电子设备，包括处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行存储器上所存放的指令时，实现上述实施例中的人群计数方法的步骤。
该电子设备可以终端、服务器或者类似的运算装置，以该电子设备是服务器为例，图6是根据一示例性实施例示出的人群计数方法的电子设备的框图，该电子设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(CentralProcessing Units，CPU)1010(处理器 1010可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1030，一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中，存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质 1020的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器1010可以设置为与存储介质 1020通信，在电子设备1000上执行存储介质1020中的一系列指令操作。电子设备1000还可以包括一个或一个以上电源1060，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1040，和/或，一个或一个以上操作系统1021，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM， FreeBSDTM等等。
输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1000的通信供应商提供的无线网络。在一个实例中，输入输出接口1040包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个示例性实施例中，输入输出接口100可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备1000还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
在示例性实施例中，还提供了一种存储介质，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例中任一种实施方式中提供的人群计数方法。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述任一种实施方式中提供的人群计数方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种人群计数方法，其特征在于，所述方法包括：
获取目标图像，所述目标图像包括至少一个人物；
将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；
其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。
2.根据权利要求1所述的人群计数方法，其特征在于，所述第一网络包括第一特征提取网络、复习网络、第一解码网络和融合网络，所述第二网络包括第二特征提取网络和第二解码网络；
其中，所述复习网络用于所述第二网络中的知识进行复习，并且向所述融合网络输出复习结果；
并且，对所述第二网络的训练包括基于获取到的总损失反馈调整所述的第二特征提取网络和所述第二解码网络的参数，但是所述第二解码网络不用于对所述第一网络进行训练。
3.根据权利要求2所述的人群计数方法，其特征在于，所述第一特征提取网络被设置为MobileNet的子网，并且，所述第一特征提取网络不包括所述第二特征提取网络中的任意通道。
4.根据权利要求2或3所述的人群计数方法，其特征在于，所述方法还包括对所述第一网络进行训练的步骤，所述对所述第一网络进行训练，包括：
基于所述第一网络和所述第二特征提取网络构建训练网络；
获取样本图像，所述样本图像携带的标签表征所述样本图像中的人物数量；
基于所述样本图像调整所第一网络的参数。
5.根据权利要求4所述的人群计数方法，其特征在于，所述基于所述第一网络和所述第二特征提取网络构建训练网络，包括：
在所述第一特征提取网络和所述第二特征提取网络之间设置至少一个辅助训练网络，各所述辅助训练网络与所述第一特征提取网络和所述第二特征提取网络都进行双向信息传递；
所述第一特征提取网络与至少一个复习网络连接，并且所述第一特征提取网络与所述第一解码网络连接；
所述至少一个复习网络与所述第一解码网络均与所述融合网络连接，得到所述训练网络。
6.根据权利要求5所述的人群计数方法，其特征在于，所述方法还包括：
所述辅助训练网络用于顺序提取所述第二特征提取网络输出的分层特征中的知识以指导所述第一特征提取网络的特征学习，以及提取所述第二特征提取网络的跨层知识以规范所述第一特征提取网络的特征学习。
7.根据权利要求6所述的人群计数方法，其特征在于，所述基于所述样本图像调整所第一网络的参数，包括：
将所述样本图像输入所述训练网络，以使得所述第一提取网络输出第一特征信息，所述第二特征提取网络输出第二特征信息；
将所述第一特征信息输入所述至少一个复习网络，以使得所述至少一个复习网络基于上一次训练得到的参数输出所述至少一个复习网络对应的复习结果，所述复习结果表征所述至少一个复习网络在上一次参数调整后获取到的知识的基础上对所述第一特征信息进行解码所得到的第一人群计数结果；
将所述第一特征信息输入所述第一解码网络，得到第二人群计数结果；
融合所述第一人群计数结果和所述第二人群结束结果，得到预测人物数量；
根据所述预测人物数量和所述标签，调整所述第一特征网络和所述至少一个辅助训练网络。
8.一种人群计数装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标图像，所述目标图像包括至少一个人物；
计数模块，用于将所述目标图像输入第一网络，得到所述目标图像的人物统计结果；
其中，所述第一网络通过对预训练好的第二网络的知识进行学习和复习得到，所述第二网络被训练为进行人群统计的网络，所述第一网络的容量小于所述第二网络的容量。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的人群计数方法。
10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的人群计数方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210176763.6A CN114581946B (zh) | 2022-02-25 | 2022-02-25 | 人群计数方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210176763.6A CN114581946B (zh) | 2022-02-25 | 2022-02-25 | 人群计数方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114581946A true CN114581946A (zh) | 2022-06-03 |
| CN114581946B CN114581946B (zh) | 2023-06-13 |
Family
ID=81773993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210176763.6A Active CN114581946B (zh) | 2022-02-25 | 2022-02-25 | 人群计数方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581946B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845621A (zh) * | 2017-01-18 | 2017-06-13 | 山东大学 | 基于深度卷积神经网络的密集人群人数计数方法及系统 |
| CN107944327A (zh) * | 2016-10-10 | 2018-04-20 | 杭州海康威视数字技术股份有限公司 | 一种人数统计方法及装置 |
| CN110569709A (zh) * | 2019-07-16 | 2019-12-13 | 浙江大学 | 一种基于知识重组的场景解析方法 |
| US20200092742A1 (en) * | 2019-08-06 | 2020-03-19 | Lg Electronics Inc. | Method and device for people counting |
| CN111738436A (zh) * | 2020-06-28 | 2020-10-02 | 电子科技大学中山学院 | 一种模型蒸馏方法、装置、电子设备及存储介质 |
| CN112001278A (zh) * | 2020-08-11 | 2020-11-27 | 中山大学 | 一种基于结构化知识蒸馏的人群计数模型及其方法 |
| CN112232140A (zh) * | 2020-09-25 | 2021-01-15 | 浙江远传信息技术股份有限公司 | 人群计数方法、装置、电子设备及计算机存储介质 |
| CN113673254A (zh) * | 2021-08-23 | 2021-11-19 | 东北林业大学 | 基于相似度保持的知识蒸馏的立场检测方法 |
-
2022
- 2022-02-25 CN CN202210176763.6A patent/CN114581946B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944327A (zh) * | 2016-10-10 | 2018-04-20 | 杭州海康威视数字技术股份有限公司 | 一种人数统计方法及装置 |
| CN106845621A (zh) * | 2017-01-18 | 2017-06-13 | 山东大学 | 基于深度卷积神经网络的密集人群人数计数方法及系统 |
| CN110569709A (zh) * | 2019-07-16 | 2019-12-13 | 浙江大学 | 一种基于知识重组的场景解析方法 |
| US20200092742A1 (en) * | 2019-08-06 | 2020-03-19 | Lg Electronics Inc. | Method and device for people counting |
| CN111738436A (zh) * | 2020-06-28 | 2020-10-02 | 电子科技大学中山学院 | 一种模型蒸馏方法、装置、电子设备及存储介质 |
| CN112001278A (zh) * | 2020-08-11 | 2020-11-27 | 中山大学 | 一种基于结构化知识蒸馏的人群计数模型及其方法 |
| CN112232140A (zh) * | 2020-09-25 | 2021-01-15 | 浙江远传信息技术股份有限公司 | 人群计数方法、装置、电子设备及计算机存储介质 |
| CN113673254A (zh) * | 2021-08-23 | 2021-11-19 | 东北林业大学 | 基于相似度保持的知识蒸馏的立场检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| LINGBO LIU等: "Efficient Crowd Counting via Structured Knowledge Transfer" * |
| PATRICIA CHATO等: "Image processing and artificial neural network for counting people inside public transport" * |
| 郭继昌等: "基于卷积神经网络和密度分布特征的人数统计方法" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581946B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112949786B (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| CN110880036A (zh) | 神经网络压缩方法、装置、计算机设备及存储介质 | |
| US20230093746A1 (en) | Video loop recognition | |
| EP3885966B1 (en) | Method and device for generating natural language description information | |
| US20220237917A1 (en) | Video comparison method and apparatus, computer device, and storage medium | |
| WO2018220700A1 (ja) | 新規学習データセット生成方法、新規学習データセット生成装置および生成された学習データセットを用いた学習方法 | |
| CN111898735A (zh) | 蒸馏学习方法、装置、计算机设备和存储介质 | |
| CN113761153A (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
| CN113536856A (zh) | 图像识别方法和系统、数据处理方法 | |
| CN111767697B (zh) | 文本处理方法、装置、计算机设备以及存储介质 | |
| CN116310667B (zh) | 联合对比损失和重建损失的自监督视觉表征学习方法 | |
| CN116664930A (zh) | 基于自监督对比学习的个性化联邦学习图像分类方法及系统 | |
| DE102022131824A1 (de) | Visuelle Spracherkennung für Digitalvideos unter Einsatz generativ-adversativen Lernens | |
| CN116245086A (zh) | 文本处理方法、模型训练方法和系统 | |
| CN117726884B (zh) | 对象类别识别模型的训练方法、对象类别识别方法及装置 | |
| CN113641835B (zh) | 多媒体资源推荐方法、装置、电子设备及介质 | |
| CN113420179B (zh) | 基于时序高斯混合空洞卷积的语义重构视频描述方法 | |
| CN113850012A (zh) | 数据处理模型生成方法、装置、介质及电子设备 | |
| CN114581946B (zh) | 人群计数方法、装置、存储介质及电子设备 | |
| KR102340387B1 (ko) | 뇌 연결성 학습 방법 및 이를 위한 시스템 | |
| CN114332469A (zh) | 模型训练方法、装置、设备及存储介质 | |
| CN114298961A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113569867A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN113011555B (zh) | 一种数据处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |