CN118015537A - 人群计数模型的训练方法及装置 - Google Patents
人群计数模型的训练方法及装置 Download PDFInfo
- Publication number
- CN118015537A CN118015537A CN202410102107.0A CN202410102107A CN118015537A CN 118015537 A CN118015537 A CN 118015537A CN 202410102107 A CN202410102107 A CN 202410102107A CN 118015537 A CN118015537 A CN 118015537A
- Authority
- CN
- China
- Prior art keywords
- picture
- network
- features
- category
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 104
- 230000006870 function Effects 0.000 claims abstract description 16
- 230000004913 activation Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开涉及目标检测技术领域,提供了一种人群计数模型的训练方法及装置。该方法包括:利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;将训练图片和类别信息输入人群计数模型:通过图片特征提取网络处理训练图片,得到图片特征;通过类别特征提取网络处理类别信息,得到类别特征;通过可学习网络处理图片特征和类别特征,得到注意力特征;通过分类网络处理图片特征和注意力特征,得到计数结果;利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数。采用上述技术手段,解决现有技术中,人群密集场景下人群计数模型精度低的问题。
Description
技术领域
本公开涉及目标检测技术领域,尤其涉及一种人群计数模型的训练方法及装置。
背景技术
人群计数的目的是统计图片中的人数,现有算法在简单场景下的人群计数精度高,但是在复杂场景下,因为人群密集而存在大量遮挡,从而影响了人群计数精度。为了解决密集场景下的人群计数问题,现有算法往往会用密度区域的特征图进行缩放,但是这种缩放有可能会降低稀疏区域的计数效果,最终导致计数效果达不到预期。
发明内容
有鉴于此,本公开实施例提供了一种人群计数模型的训练方法、装置、电子设备及计算机可读存储介质,以解决现有技术中,人群密集场景下人群计数模型精度低的问题。
本公开实施例的第一方面,提供了一种人群计数模型的训练方法,包括:构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;获取训练图片以及训练图片的类别信息,将训练图片和类别信息输入人群计数模型:通过图片特征提取网络处理训练图片,得到图片特征;通过类别特征提取网络处理类别信息,得到类别特征;通过可学习网络处理图片特征和类别特征,得到注意力特征;通过分类网络处理图片特征和注意力特征,得到计数结果;利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练。
本公开实施例的第二方面,提供了一种人群计数模型的训练装置,包括:构建模块,被配置为构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;获取模块,被配置为获取训练图片以及训练图片的类别信息,将训练图片和类别信息输入人群计数模型:图片提取模块,被配置为通过图片特征提取网络处理训练图片,得到图片特征;类别提取模块,被配置为通过类别特征提取网络处理类别信息,得到类别特征;学习模块,被配置为通过可学习网络处理图片特征和类别特征,得到注意力特征;分类模块,被配置为通过分类网络处理图片特征和注意力特征,得到计数结果;优化模块,被配置为利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练。
本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是:因为本公开实施例通过构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;获取训练图片以及训练图片的类别信息,将训练图片和类别信息输入人群计数模型:通过图片特征提取网络处理训练图片,得到图片特征;通过类别特征提取网络处理类别信息,得到类别特征;通过可学习网络处理图片特征和类别特征,得到注意力特征;通过分类网络处理图片特征和注意力特征,得到计数结果;利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练。采用上述技术手段,可以解决现有技术中,人群密集场景下人群计数模型精度低的问题,进而提高人群密集场景下人群计数模型的精度。
附图说明
为了更清楚地说明本公开实施例中技术方案,下面将对实施例或现有技术描述中所需要使用附图作简单地介绍,显而易见地,下面描述中附图仅仅是本公开一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其它附图。
图1是本公开实施例提供一种人群计数模型的训练模型的训练方法的流程示意图;
图2是本公开实施例提供一种人群计数方法的流程示意图;
图3是本公开实施例提供一种人群计数模型的训练模型的训练装置结构示意图;
图4是本公开实施例提供一种电子设备结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类具体细节,以便透彻理解本公开实施例。然而,本领域技术人员应当清楚,在没有这些具体细节其它实施例中也可以实现本公开。在其它情况中,省略对众所周知系统、装置、电路以及方法详细说明,以免不必要细节妨碍本公开描述。
下面将结合附图详细说明根据本公开实施例一种人群计数模型的训练模型的训练方法和装置。
图1是本公开实施例提供一种人群计数模型的训练模型的训练方法的流程示意图。图1人群计数模型的训练模型的训练方法可以由计算机或服务器,或者计算机或服务器上软件执行。如图1所示,该人群计数模型的训练模型的训练方法包括:
S101,构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;
S102,获取训练图片以及训练图片的类别信息,将训练图片和类别信息输入人群计数模型:
S103,通过图片特征提取网络处理训练图片,得到图片特征;
S104,通过类别特征提取网络处理类别信息,得到类别特征;
S105,通过可学习网络处理图片特征和类别特征,得到注意力特征;
S106,通过分类网络处理图片特征和注意力特征,得到计数结果;
S107,利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练。
训练图片可以是多个,训练图片的类别信息表示该训练图片中对象的类别,比如该训练图片中对象是人还是狗等。计数结果是人群计数模型识别的训练图片中人的数量,训练图片的标签是提前标注的训练图片中中人的数量。平均绝对值损失函数(MAE)也叫L1损失函数。
人群计数模型中,图片特征提取网络和类别特征提取网络是并列的关系,可学习网络的输入侧均与图片特征提取网络和类别特征提取网络的输出侧存在连接,分类网络的输入侧连接在可学习网络的输出侧。将训练图片和类别信息输入人群计数模型,在人群计数模型内部:图片特征提取网络提取训练图片的图片特征,类别特征提取网络提取类别信息类别特征,可学习网络基于图片特征和类别特征确定注意力特征,分类网络基于图片特征和注意力特征确定计数结果。
根据本申请实施例提供技术方案,构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;获取训练图片以及训练图片的类别信息,将训练图片和类别信息输入人群计数模型:通过图片特征提取网络处理训练图片,得到图片特征;通过类别特征提取网络处理类别信息,得到类别特征;通过可学习网络处理图片特征和类别特征,得到注意力特征;通过分类网络处理图片特征和注意力特征,得到计数结果;利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练。采用上述技术手段,可以解决现有技术中,人群密集场景下人群计数模型精度低的问题,进而提高人群密集场景下人群计数模型的精度。
进一步地,构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,包括:利用图片切分层、特征拉平层、残差网络和Transformer编码网络构建图片特征提取网络;将Transformer编码网络作为类别特征提取网络;将残差网络作为可学习网络;利用相乘层、多个卷积层、激活层、二值化层和连通域查找层构建分类网络。
图片切分层是Patch层,用于将一个大图片切分为多个小图片,特征拉平层是Flatten层,用于将一个矩阵转换为向量。残差网络可以是任意一个版本的残差网络,Transformer中的编码网络是指Transformer encoder。依次连接图片切分层、特征拉平层、残差网络和Transformer编码网络,得到图片特征提取网络。
类别特征提取网络使用一个Transformer编码网络,可学习网络使用一个残差网络。依次连接相乘层、多个卷积层、激活层、二值化层和连通域查找层,得到分类网络。
更进一步地,通过图片特征提取网络处理训练图片,得到图片特征,包括:将训练图片输入图片特征提取网络,在图片特征提取网络内部:通过图片切分层处理训练图片,得到多个小图片;通过特征拉平层处理各个小图片的像素矩阵,得到各个小图片的拉平特征;依次通过残差网络和Transformer编码网络处理各条拉平特征,得到各条拉平特征对应的编码特征;按照各个小图片在训练图片中的位置拼接各条编码特征,得到图片特征。
图片切分层将训练图片切分为多个小图片。因为图片可以被视为一个多维数据点,图片中每个像素的值代表了图片在该位置的颜色或强度信息,所以图片可以看作构成该图片的所有像素的像素矩阵(也就是说图片可以直接等价于一个像素矩阵)。特征拉平层将小图片的像素矩阵变换为拉平特征。
比如图片切分层将训练图片切分为九个小图片,特征拉平层处理九个小图片的像素矩阵,得到九个拉平特征。九个拉平特征依次经过残差网络和Transformer编码网络,得到九个编码特征。一个小图片对应一个编码特征,可以按照九个小图片在训练图片中的位置拼接九个编码特征,得到训练图片对应的图片特征。需要说的是,在拼接九个编码特征之前,还可以将九个编码特征经过特征拉平层对应操作的逆操作,也就是升维处理。特征拉平层是将一个矩阵转换为向量,该升维处理就是将向量还原为矩阵。
将Transformer编码网络作为类别特征提取网络,使用一个Transformer编码网络直接提取类别信息的类别特征。
更进一步地,通过可学习网络处理图片特征和类别特征,得到注意力特征,包括:将图片特征和类别特征相加,得到图片及类别特征;通过可学习网络处理图片及类别特征,得到注意力特征。
可学习网络是一个残差网络,依据图片及类别特征确定注意力特征。
更进一步地,通过分类网络处理图片特征和注意力特征,得到计数结果,包括:将图片特征和注意力特征输入分类网络,在分类网络内部:通过相乘层处理图片特征和注意力特征,得到相乘特征;通过多个卷积层处理相乘特征,得到通道融合特征;通过激活层处理通道融合特征,得到激活特征;通过二值化层处理激活特征,得到二值化特征;通过连通域查找层处理二值化特征,得到计数结果。
通过相乘层对图片特征和注意力特征进行相乘运算,输出相乘特征。依次通过多个卷积层对相乘特征进行处理得到通道融合特征,多个卷积层实际上是在通道层面对相乘特征进行特征内部的融合(相乘特征包括多个通道,对相乘特征进行特征内部的融合是融合相乘特征的通道)。通过激活层对通道融合特征进行处理,得到激活特征,激活特征是一个元素均为零至一之间数值的矩阵。二值化层将激活特征中小于0.5的元素转换为0,将不小于0.5的元素转换为1,得到二值化特征(元素为1的位置是人的一个身体部位,元素为0的位置不是人的身体部位)。连通域查找层在二值化特征中寻找连通域,一个连通域是二值化特征中一个连续的元素均为1的区域,一个连通域为一个人,二值化特征中连通域的数量就是训练图片中人的数量。
进一步地,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练,包括:图片特征提取网络已通过预训练,用于提取图片的特征;类别特征提取网络已通过预训练,用于提取图片的类别信息的特征;依据损失优化可学习网络和分类网络的模型参数,以完成对人群计数模型的训练。
图片特征提取网络已通过预训练,是指图片特征提取网络中的残差网络和Transformer编码网络是预训练网络,残差网络和Transformer编码网络整体经过预训练,构成一个表示处理小图片特征的网络。类别特征提取网络已通过预训练,是指作为类别特征提取网络的Transformer编码网络是预训练网络,Transformer编码网络经过预训练,能提取图片的类别信息的特征。依据损失优化可学习网络和分类网络的模型参数,主要是优化作为可学习网络的残差网络,以及分类网络中的多个卷积层。通过本申请实施例,可以极大的减少训练人群计数模型的工作量,提升训练的速度。
进一步地,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练,包括:依据损失整体优化人群计数模型中图片特征提取网络、类别特征提取网络、可学习网络和分类网络的模型参数,以完成对人群计数模型的训练。通过本申请实施例,可以极大的提升训练人群计数模型的精度。
图2是本公开实施例提供一种人群计数方法的流程示意图,如图2所示,该方法包括:
S201,获取目标图片以及目标图片的目标类别信息,利用目标图片和目标类别信息输入人群计数模型:
S202,通过图片特征提取网络处理目标图片,得到目标图片特征;
S203,通过类别特征提取网络处理目标类别信息,得到目标类别特征;
S204,通过可学习网络处理目标图片特征和目标类别特征,得到目标注意力特征;
S205,通过分类网络处理目标图片特征和目标注意力特征,得到目标计数结果。
本申请实施例是人群计数模型的推理阶段(训练后正式使用的阶段),推理阶段和训练阶段是对应。目标图片是待检测的图片。
通过图片特征提取网络处理目标图片,得到目标图片特征,包括:将目标图片输入图片特征提取网络,在图片特征提取网络内部:通过图片切分层处理目标图片,得到多个小目标图片;通过特征拉平层处理各个小目标图片的像素矩阵,得到各个小图片的目标拉平特征;依次通过残差网络和Transformer编码网络处理各条目标拉平特征,得到各条目标拉平特征对应的目标编码特征;按照各个小目标图片在目标图片中的位置拼接各条目标编码特征,得到目标图片特征。
通过可学习网络处理目标图片特征和目标类别特征,得到目标注意力特征,包括:将目标图片特征和目标类别特征相加,得到目标图片及类别特征;通过可学习网络处理目标图片及类别特征,得到目标注意力特征。
通过分类网络处理目标图片特征和目标注意力特征,得到目标计数结果,包括:将目标图片特征和目标注意力特征输入分类网络,在分类网络内部:通过相乘层处理目标图片特征和目标注意力特征,得到目标相乘特征;依次通过多个卷积层处理目标相乘特征,得到目标通道融合特征;通过激活层处理目标通道融合特征,得到目标激活特征;通过二值化层处理目标激活特征,得到目标二值化特征;通过连通域查找层处理目标二值化特征,得到目标计数结果。
上述所有可选技术方案,可以采用任意结合形成本申请可选实施例,在此不再一一赘述。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露细节,请参照本公开方法实施例。
图3是本公开实施例提供一种人群计数模型的训练模型的训练装置示意图。如图3所示,该人群计数模型的训练模型的训练装置包括:
构建模块301,被配置为构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;
获取模块302,被配置为获取训练图片以及训练图片的类别信息,将训练图片和类别信息输入人群计数模型:
图片提取模块303,被配置为通过图片特征提取网络处理训练图片,得到图片特征;
类别提取模块304,被配置为通过类别特征提取网络处理类别信息,得到类别特征;
学习模块305,被配置为通过可学习网络处理图片特征和类别特征,得到注意力特征;
分类模块306,被配置为通过分类网络处理图片特征和注意力特征,得到计数结果;
优化模块307,被配置为利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练。
根据本申请实施例提供技术方案,构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用图片特征提取网络、类别特征提取网络、可学习网络和分类网络构建人群计数模型;获取训练图片以及训练图片的类别信息,将训练图片和类别信息输入人群计数模型:通过图片特征提取网络处理训练图片,得到图片特征;通过类别特征提取网络处理类别信息,得到类别特征;通过可学习网络处理图片特征和类别特征,得到注意力特征;通过分类网络处理图片特征和注意力特征,得到计数结果;利用平均绝对值损失函数计算计数结果和训练图片的标签之间的损失,依据损失优化人群计数模型的模型参数,以完成对人群计数模型的训练。采用上述技术手段,可以解决现有技术中,人群密集场景下人群计数模型精度低的问题,进而提高人群密集场景下人群计数模型的精度。
在一些实施例中,构建模块301还被配置为利用图片切分层、特征拉平层、残差网络和Transformer编码网络构建图片特征提取网络;将Transformer编码网络作为类别特征提取网络;将残差网络作为可学习网络;利用相乘层、多个卷积层、激活层、二值化层和连通域查找层构建分类网络。
在一些实施例中,图片提取模块303还被配置为将训练图片输入图片特征提取网络,在图片特征提取网络内部:通过图片切分层处理训练图片,得到多个小图片;通过特征拉平层处理各个小图片的像素矩阵,得到各个小图片的拉平特征;依次通过残差网络和Transformer编码网络处理各条拉平特征,得到各条拉平特征对应的编码特征;按照各个小图片在训练图片中的位置拼接各条编码特征,得到图片特征。
在一些实施例中,学习模块305还被配置为将图片特征和类别特征相加,得到图片及类别特征;通过可学习网络处理图片及类别特征,得到注意力特征。
在一些实施例中,分类模块306还被配置为将图片特征和注意力特征输入分类网络,在分类网络内部:通过相乘层处理图片特征和注意力特征,得到相乘特征;通过多个卷积层处理相乘特征,得到通道融合特征;通过激活层处理通道融合特征,得到激活特征;通过二值化层处理激活特征,得到二值化特征;通过连通域查找层处理二值化特征,得到计数结果。
在一些实施例中,优化模块307还被配置为图片特征提取网络已通过预训练,用于提取图片的特征;类别特征提取网络已通过预训练,用于提取图片的类别信息的特征;依据损失优化可学习网络和分类网络的模型参数,以完成对人群计数模型的训练。
在一些实施例中,优化模块307还被配置为依据损失整体优化人群计数模型中图片特征提取网络、类别特征提取网络、可学习网络和分类网络的模型参数,以完成对人群计数模型的训练。通过本申请实施例,可以极大的提升训练人群计数模型的精度。
在一些实施例中,优化模块307还被配置为获取目标图片以及目标图片的目标类别信息,利用目标图片和目标类别信息输入人群计数模型:通过图片特征提取网络处理目标图片,得到目标图片特征;通过类别特征提取网络处理目标类别信息,得到目标类别特征;通过可学习网络处理目标图片特征和目标类别特征,得到目标注意力特征;通过分类网络处理目标图片特征和目标注意力特征,得到目标计数结果。
在一些实施例中,优化模块307还被配置为将目标图片输入图片特征提取网络,在图片特征提取网络内部:通过图片切分层处理目标图片,得到多个小目标图片;通过特征拉平层处理各个小目标图片的像素矩阵,得到各个小图片的目标拉平特征;依次通过残差网络和Transformer编码网络处理各条目标拉平特征,得到各条目标拉平特征对应的目标编码特征;按照各个小目标图片在目标图片中的位置拼接各条目标编码特征,得到目标图片特征。
在一些实施例中,优化模块307还被配置为将目标图片特征和目标类别特征相加,得到目标图片及类别特征;通过可学习网络处理目标图片及类别特征,得到目标注意力特征。
在一些实施例中,优化模块307还被配置为将目标图片特征和目标注意力特征输入分类网络,在分类网络内部:通过相乘层处理目标图片特征和目标注意力特征,得到目标相乘特征;依次通过多个卷积层处理目标相乘特征,得到目标通道融合特征;通过激活层处理目标通道融合特征,得到目标激活特征;通过二值化层处理目标激活特征,得到目标二值化特征;通过连通域查找层处理目标二值化特征,得到目标计数结果。
应理解,上述实施例中各步骤序号大小并不意味着执行顺序先后,各过程执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例实施过程构成任何限定。
图4是本公开实施例提供电子设备4示意图。如图4所示,该实施例电子设备4包括:处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中步骤。或者,处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解,图4仅仅是电子设备4示例,并不构成对电子设备4限定,可以包括比图示更多或更少部件,或者不同部件。
处理器401可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4内部存储单元,例如,电子设备4硬盘或内存。存储器402也可以是电子设备4外部存储设备,例如,电子设备4上配备插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。存储器402还可以既包括电子设备4内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需其它程序和数据。
所属领域技术人员可以清楚地了解到,为了描述方便和简洁,仅以上述各功能单元、模块划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同功能单元、模块完成,即将装置内部结构划分成不同功能单元或模块,以完成以上描述全部或者部分功能。实施例中各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成单元既可以采用硬件形式实现,也可以采用软件功能单元形式实现。
集成模块/单元如果以软件功能单元形式实现并作为独立产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样理解,本公开实现上述实施例方法中全部或部分流程,也可以通过计算机程序来指令相关硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明是,计算机可读介质包含内容可以根据司法管辖区内立法和专利实践要求进行适当增减,例如,在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细说明,本领域普通技术人员应当理解:其依然可以对前述各实施例所记载技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案本质脱离本公开各实施例技术方案精神和范围,均应包含在本公开保护范围之内。
Claims (10)
1.一种人群计数模型的训练方法,其特征在于,包括:
构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用所述图片特征提取网络、所述类别特征提取网络、所述可学习网络和所述分类网络构建人群计数模型;
获取训练图片以及所述训练图片的类别信息,将所述训练图片和所述类别信息输入所述人群计数模型:
通过所述图片特征提取网络处理所述训练图片,得到图片特征;
通过所述类别特征提取网络处理所述类别信息,得到类别特征;
通过所述可学习网络处理所述图片特征和所述类别特征,得到注意力特征;
通过所述分类网络处理所述图片特征和所述注意力特征,得到计数结果;
利用平均绝对值损失函数计算计数结果和所述训练图片的标签之间的损失,依据所述损失优化所述人群计数模型的模型参数,以完成对所述人群计数模型的训练。
2.根据权利要求1所述的方法,其特征在于,构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,包括:
利用图片切分层、特征拉平层、残差网络和Transformer编码网络构建所述图片特征提取网络;
将所述Transformer编码网络作为所述类别特征提取网络;
将所述残差网络作为所述可学习网络;
利用相乘层、多个卷积层、激活层、二值化层和连通域查找层构建所述分类网络。
3.根据权利要求2所述的方法,其特征在于,通过所述图片特征提取网络处理所述训练图片,得到图片特征,包括:
将所述训练图片输入所述图片特征提取网络,在所述图片特征提取网络内部:
通过所述图片切分层处理所述训练图片,得到多个小图片;
通过所述特征拉平层处理各个小图片的像素矩阵,得到各个小图片的拉平特征;
依次通过所述残差网络和所述Transformer编码网络处理各条拉平特征,得到各条拉平特征对应的编码特征;
按照各个小图片在所述训练图片中的位置拼接各条编码特征,得到所述图片特征。
4.根据权利要求2所述的方法,其特征在于,通过所述可学习网络处理所述图片特征和所述类别特征,得到注意力特征,包括:
将所述图片特征和所述类别特征相加,得到图片及类别特征;
通过所述可学习网络处理所述图片及类别特征,得到所述注意力特征。
5.根据权利要求2所述的方法,其特征在于,通过所述分类网络处理所述图片特征和所述注意力特征,得到计数结果,包括:
将所述图片特征和所述注意力特征输入所述分类网络,在所述分类网络内部:
通过所述相乘层处理所述图片特征和所述注意力特征,得到相乘特征;
通过多个卷积层处理所述相乘特征,得到通道融合特征;
通过所述激活层处理所述通道融合特征,得到激活特征;
通过所述二值化层处理所述激活特征,得到二值化特征;
通过所述连通域查找层处理所述二值化特征,得到所述计数结果。
6.根据权利要求1所述的方法,其特征在于,依据所述损失优化所述人群计数模型的模型参数,以完成对所述人群计数模型的训练,包括:
所述图片特征提取网络已通过预训练,用于提取图片的特征;
所述类别特征提取网络已通过所述预训练,用于提取图片的类别信息的特征;
依据所述损失优化所述可学习网络和所述分类网络的模型参数,以完成对所述人群计数模型的训练。
7.根据权利要求1所述的方法,其特征在于,依据所述损失优化所述人群计数模型的模型参数,以完成对所述人群计数模型的训练之后,所述方法还包括:
获取目标图片以及所述目标图片的目标类别信息,利用所述目标图片和所述目标类别信息输入所述人群计数模型:
通过所述图片特征提取网络处理所述目标图片,得到目标图片特征;
通过所述类别特征提取网络处理所述目标类别信息,得到目标类别特征;
通过所述可学习网络处理所述目标图片特征和所述目标类别特征,得到目标注意力特征;
通过所述分类网络处理所述目标图片特征和所述目标注意力特征,得到目标计数结果。
8.一种人群计数模型的训练装置,其特征在于,包括:
构建模块,被配置为构建图片特征提取网络、类别特征提取网络、可学习网络和分类网络,利用所述图片特征提取网络、所述类别特征提取网络、所述可学习网络和所述分类网络构建人群计数模型;
获取模块,被配置为获取训练图片以及所述训练图片的类别信息,将所述训练图片和所述类别信息输入所述人群计数模型:
图片提取模块,被配置为通过所述图片特征提取网络处理所述训练图片,得到图片特征;
类别提取模块,被配置为通过所述类别特征提取网络处理所述类别信息,得到类别特征;
学习模块,被配置为通过所述可学习网络处理所述图片特征和所述类别特征,得到注意力特征;
分类模块,被配置为通过所述分类网络处理所述图片特征和所述注意力特征,得到计数结果;
优化模块,被配置为利用平均绝对值损失函数计算计数结果和所述训练图片的标签之间的损失,依据所述损失优化所述人群计数模型的模型参数,以完成对所述人群计数模型的训练。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410102107.0A CN118015537A (zh) | 2024-01-24 | 2024-01-24 | 人群计数模型的训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410102107.0A CN118015537A (zh) | 2024-01-24 | 2024-01-24 | 人群计数模型的训练方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118015537A true CN118015537A (zh) | 2024-05-10 |
Family
ID=90945671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410102107.0A Pending CN118015537A (zh) | 2024-01-24 | 2024-01-24 | 人群计数模型的训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118015537A (zh) |
-
2024
- 2024-01-24 CN CN202410102107.0A patent/CN118015537A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108171701B (zh) | 基于u网络和对抗学习的显著性检测方法 | |
CN111310518B (zh) | 图片特征提取方法、目标重识别方法、装置及电子设备 | |
CN111738169A (zh) | 一种基于端对端网络模型的手写公式识别方法 | |
CN112464717A (zh) | 一种遥感图像目标检测方法、系统、电子设备和存储介质 | |
CN116994000A (zh) | 零件边缘特征提取方法和装置、电子设备及存储介质 | |
CN116612500B (zh) | 行人重识别模型训练方法及装置 | |
CN116912635B (zh) | 目标追踪方法及装置 | |
CN116127925B (zh) | 基于对文本进行破坏处理的文本数据增强方法及装置 | |
CN116912632A (zh) | 基于遮挡的目标追踪方法及装置 | |
Chithra et al. | 3D LiDAR point cloud image codec based on Tensor | |
CN116502700A (zh) | 皮肤检测模型训练方法、皮肤检测方法、装置及电子设备 | |
CN118015537A (zh) | 人群计数模型的训练方法及装置 | |
CN116912889B (zh) | 行人重识别方法及装置 | |
CN118038517A (zh) | 基于细粒度增强特征的表情识别模型的训练方法及装置 | |
CN117372818B (zh) | 目标重识别方法及装置 | |
CN118210940A (zh) | 检索方法及装置 | |
CN116912634B (zh) | 目标追踪模型的训练方法及装置 | |
CN117953345A (zh) | 多模态目标重识别方法及装置 | |
CN117392260B (zh) | 一种图像生成方法及装置 | |
CN117454016B (zh) | 基于改进点击预测模型的对象推荐方法及装置 | |
CN118135189A (zh) | 基于特征一致性的目标重识别方法及装置 | |
CN117830615A (zh) | 基于全局高阶关系的目标重识别方法及装置 | |
CN117953566A (zh) | 表情识别模型的双阶段训练方法及装置 | |
CN118038015A (zh) | 基于局部特征分类的目标重识别方法及装置 | |
CN118297790A (zh) | 字体图像生成模型的训练方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |