CN112766156B - 一种骑行属性识别方法及装置、存储介质 - Google Patents
一种骑行属性识别方法及装置、存储介质 Download PDFInfo
- Publication number
- CN112766156B CN112766156B CN202110069639.5A CN202110069639A CN112766156B CN 112766156 B CN112766156 B CN 112766156B CN 202110069639 A CN202110069639 A CN 202110069639A CN 112766156 B CN112766156 B CN 112766156B
- Authority
- CN
- China
- Prior art keywords
- riding
- image
- loss value
- features
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000003062 neural network model Methods 0.000 claims abstract description 70
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 17
- 238000007499 fusion processing Methods 0.000 claims description 9
- 230000007306 turnover Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 230000004913 activation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种骑行属性识别方法及装置、存储介质，包括：构建深度神经网络模型；获取用于训练的样本骑行图像；对样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像；将多个不同的预处理后的样本骑行图像输入深度神经网络模型中；提取多个不同的预处理后的样本骑行图像的图像特征；根据图像特征，计算分类特征向量；通过注意力机制对多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对图像特征进行处理，计算特征矩阵；根据分类特征向量和特征矩阵，计算总损失值；根据总损失值对深度神经网络模型的参数进行迭代优化，使总损失值减小，直至达到预设的停止条件为止。本发明能够在识别质量较低的骑行图像时获得较高的准确率。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种骑行属性识别方法及装置、存储介质。
背景技术
骑行通常在城市交通方式中占比较大，为了提升城市交通管理水平，需要对车型、是否佩戴头盔、是否打伞、是否佩戴眼镜、车辆颜色、头盔颜色等骑行属性进行识别。目前市面上已有通过深度神经网络模型对交通监控的骑行图像进行骑行属性的识别，但在实际应用中通常会因为骑行图像质量较低，例如分辨率低、背景环境复杂、目标被部分遮挡和目标所占图像面积较小等，导致骑行属性识别准确率低。
发明内容
为解决上述问题，本发明提出一种骑行属性识别方法及装置、存储介质，能够在识别质量较低的骑行图像时获得较高的准确率。
根据第一方面，一种实施例中提供一种骑行属性识别方法，包括：
获取待识别的骑行图像；
将所述待识别的骑行图像输入一预先训练的深度神经网络模型中进行识别，输出骑行属性的识别结果；
其中，所述预先训练的深度神经网络模型通过以下步骤获得：
构建深度神经网络模型；
获取用于训练的样本骑行图像；
对所述样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像；所述预处理包括尺寸调整、和/或根据一预设角度进行旋转、和/或翻转；
将所述多个不同的预处理后的样本骑行图像输入所述深度神经网络模型中；
提取所述多个不同的预处理后的样本骑行图像的图像特征；
根据所述图像特征，计算分类特征向量；
通过注意力机制对所述多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对所述图像特征进行处理，计算特征矩阵；
根据所述分类特征向量和所述特征矩阵，计算总损失值；
根据所述总损失值对所述深度神经网络模型的参数进行迭代优化，使所述总损失值减小，直至达到预设的停止条件为止，获得所述预先训练的深度神经网络模型。
在其中一种可能实现方式中，所述图像特征包括与所述多个不同的预处理后的样本骑行图像一一对应的多个局部特征、与所述多个不同的预处理后的样本骑行图像一一对应的多个全局特征和与所述多个不同的预处理后的样本骑行图像一一对应的多个融合特征；
所述提取所述多个不同的预处理后的样本骑行图像的图像特征，包括：
提取所述多个局部特征和所述多个全局特征；
将所述多个局部特征和所述多个全局特征进行融合处理，获得所述多个融合特征。
在其中一种可能实现方式中，所述特征矩阵包括与所述多个不同的预处理后的样本骑行图像一一对应的多个矩阵特征向量；
所述根据所述分类特征向量和所述特征矩阵，计算总损失值，包括：
根据所述分类特征向量计算总分类损失值；
根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值；
根据所述总分类损失值和所述总均方差损失值，计算总损失值。
在其中一种可能实现方式中，所述根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值，包括：
获取所述样本骑行图像的实际特征向量；
根据所述实际特征向量和所述多个矩阵特征向量，计算所述总均方差损失值。
根据第二方面，一种实施例中提供一种骑行属性识别装置，包括：
图像获取模块，用于获取待识别的骑行图像；
识别模块，用于将所述待识别的骑行图像输入一预先训练的深度神经网络模型中进行识别，输出骑行属性的识别结果；
其中，所述预先训练的深度神经网络模型通过以下步骤获得：
构建深度神经网络模型；
获取用于训练的样本骑行图像；
对所述样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像；所述预处理包括尺寸调整、和/或根据一预设角度进行旋转、和/或翻转；
将所述多个不同的预处理后的样本骑行图像输入所述深度神经网络模型中；
提取所述多个不同的预处理后的样本骑行图像的图像特征；
根据所述图像特征，计算分类特征向量；
通过注意力机制对所述多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对所述图像特征进行处理，计算特征矩阵；
根据所述分类特征向量和所述特征矩阵，计算总损失值；
根据所述总损失值对所述深度神经网络模型的参数进行迭代优化，使所述总损失值减小，直至达到预设的停止条件为止，获得所述预先训练的深度神经网络模型。
在其中一种可能实现方式中，所述图像特征包括与所述多个不同的预处理后的样本骑行图像一一对应的多个局部特征、与所述多个不同的预处理后的样本骑行图像一一对应的多个全局特征和与所述多个不同的预处理后的样本骑行图像一一对应的多个融合特征；
所述提取所述多个不同的预处理后的样本骑行图像的图像特征，包括：
提取所述多个局部特征和所述多个全局特征；
将所述多个局部特征和所述多个全局特征进行融合处理，获得所述多个融合特征。
在其中一种可能实现方式中，所述特征矩阵包括与所述多个不同的预处理后的样本骑行图像一一对应的多个矩阵特征向量；
所述根据所述分类特征向量和所述特征矩阵，计算总损失值，包括：
根据所述分类特征向量计算总分类损失值；
根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值；
根据所述总分类损失值和所述总均方差损失值，计算总损失值。
在其中一种可能实现方式中，所述根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值，包括：
获取所述样本骑行图像的实际特征向量；
根据所述实际特征向量和所述多个矩阵特征向量，计算所述总均方差损失值。
根据第三方面，一种实施例中提供一种骑行属性识别装置，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如上所述的骑行属性识别方法。
根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上所述的骑行属性识别方法。
依据上述实施例的骑行属性识别方法及装置、存储介质，由于在训练深度神经网络模型时，引入了注意力机制对多个不同的预处理后的样本骑行图像进行处理、或对图像特征进行处理，计算特征矩阵，并根据分类特征向量和特征矩阵，计算总损失值，最后根据总损失值对深度神经网络模型的参数进行迭代优化，使得在识别质量较低的待识别的骑行图像时，能够对待识别的骑行图像中的识别目标赋予更高的专注度，因此在识别质量较低的骑行图像时也能获得较高的准确率；此外，对全局特征和局部特征进行融合处理，可以扩大感受野，提高识别的准确率。
附图说明
图1为本申请的骑行属性识别方法在一种实施方式中的流程图；
图2为本申请的预先训练的深度神经网络模型的获得步骤在一种实施方式中的流程图一；
图3为本申请的预处理的方法在一种实施方式中的示意图；
图4为本申请的预先训练的深度神经网络模型的获得步骤在一种实施方式中的流程图二；
图5为本申请的获得多个融合特征的方法在一种实施方式中的示意图；
图6为本申请的预先训练的深度神经网络模型的获得步骤在一种实施方式中的流程图三；
图7为本申请的计算总分类损失值的方法在一种实施方式中的示意图；
图8为本申请的预先训练的深度神经网络模型的获得步骤在一种实施方式中的流程图四；
图9为本申请的计算总均方差损失值的方法在一种实施方式中的示意图；
图10为本申请的骑行属性识别装置在一种实施方式中的流程图一；
图11为本申请的骑行属性识别装置在一种实施方式中的流程图二。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
由于目前的骑行属性识别方法所使用的深度神经网络模型在进行训练时，通常只根据所获取的用于分类的特征向量进行损失计算并反向传播，使得在识别质量较低的骑行图像时，对骑行图像中的识别目标的专注度不够，导致识别的准确率较低。因此，本申请提出在深度神经网络模型训练的过程中引入注意力机制对多个不同的预处理后的样本骑行图像进行处理、或对图像特征进行处理，计算特征矩阵，并根据分类特征向量和特征矩阵，计算总损失值，最后根据总损失值对深度神经网络模型的参数进行迭代优化，使得在识别质量较低的骑行图像时，能够对骑行图像中的识别目标赋予更高的专注度，因此在识别质量较低的骑行图像时也能获得较高的准确率。
请参考图1，一种实施例中，骑行属性识别方法包括以下步骤：
步骤001：获取待识别的骑行图像。
步骤002：将待识别的骑行图像输入一预先训练的深度神经网络模型中进行识别，输出骑行属性的识别结果。
一些实施例中，步骤002将待识别的骑行图像输入一预先训练的深度神经网络模型中进行识别，输出骑行属性的识别结果之前，还可以包括：将待识别的骑行图像进行处理，以使待识别的骑行图像符合预先训练的深度神经网络模型的图像输入要求。
请参考图2，一种实施例中，预先训练的深度神经网络模型通过步骤100至步骤900获得：
步骤100：构建深度神经网络模型。
步骤200：获取用于训练的样本骑行图像。
步骤300：对样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像。其中，预处理包括尺寸调整、和/或根据一预设角度进行旋转、和/或翻转。
请参考图3，一些实施例中，多个不同的预处理后的样本骑行图像可以包括第一预处理图像、第二预处理图像、第三预处理图像和第四预处理图像，其对应的预处理过程可以为：将样本骑行图像进行尺寸调整，得到尺寸不同的第一预处理图像和第二预处理图像；将第一预处理图像和第二预处理图像分别进行水平翻转，得到第三预处理图像和第四预处理图像。
步骤400：将多个不同的预处理后的样本骑行图像输入深度神经网络模型中。
步骤500：提取多个不同的预处理后的样本骑行图像的图像特征。
请参考图4，一些实施例中，图像特征可以包括与多个不同的预处理后的样本骑行图像一一对应的多个局部特征、与多个不同的预处理后的样本骑行图像一一对应的多个全局特征和与多个不同的预处理后的样本骑行图像一一对应的多个融合特征；步骤500提取多个不同的预处理后的样本骑行图像的图像特征，可以包括步骤510至步骤520：
步骤510：提取多个局部特征和多个全局特征。
一些实施例中，可以使用ResNet50、ResNet101、VGG19、OSNet、InceptionNet等预训练模型作为特征提取器，以提取上述的多个局部特征和多个全局特征。
步骤520：将多个局部特征和多个全局特征进行融合处理，获得多个融合特征。
请参考图5，一些实施例中，可以先对多个局部特征分别进行池化处理，获得多个池化后的局部特征，以使多个池化后的局部特征与多个全局特征的维度相同；然后，将多个池化后的局部特征与多个全局特征分别进行融合，获得多个融合特征。对全局特征和局部特征进行融合处理，可以扩大感受野，提高识别的准确率。
步骤600：根据图像特征，计算分类特征向量。
一些实施例中，图像特征中的多个融合特征可以通过池化层和全连接层处理，获得分类特征向量。
步骤700：通过注意力机制对多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对图像特征进行处理，计算特征矩阵。
一些实施例中，可以通过注意力机制学习注意力权重分布，并将注意力权重分布作用在多个融合特征中进行处理获得特征矩阵，以获得对待识别的骑行图像更高的专注度。
步骤800：根据分类特征向量和特征矩阵，计算总损失值。
请参考图6，一些实施例中，特征矩阵可以包括与多个不同的预处理后的样本骑行图像一一对应的多个矩阵特征向量；步骤800根据分类特征向量和特征矩阵，计算总损失值，可以包括步骤810至步骤830：
步骤810：根据分类特征向量计算总分类损失值。
请参考图7，一些实施例中，在根据分类特征向量计算总分类损失值时，可以通过softmax激活函数和focal loss损失函数分别计算分类特征向量中每种骑行属性的特征向量的分类损失值，再将每种骑行属性的分类损失值进行加和，获得总分类损失值。通过softmax激活函数进行处理，能够对每种骑行属性的类间进行压缩；再用focal loss损失函数进行处理，能够加大难于分辨的样本权重，加入平衡因子来平衡正负样本本身的比例不均。
一些实施例中，在根据分类特征向量计算总分类损失值时，还可以通过sigmoid激活函数和BCELoss损失函数对分类特征向量进行总体计算，获得总分类损失值。
步骤820：根据样本骑行图像和/或多个矩阵特征向量，计算总均方差损失值。
请参考图8，一些实施例中，步骤820根据样本骑行图像和/或多个矩阵特征向量，计算总均方差损失值，可以包括步骤821至步骤822：
步骤821：获取样本骑行图像的实际特征向量。
步骤822：根据实际特征向量和多个矩阵特征向量，计算总均方差损失值。
请参考图9，一些实施例中，可以通过MSELoss损失函数分别计算第一预处理图像的矩阵特征向量与第二预处理图像的矩阵特征向量的第一均方差损失值、第三预处理图像的矩阵特征向量与样本骑行图像的实际特征向量的第二均方差损失值、第四预处理图像的矩阵特征向量与样本骑行图像的实际特征向量的第三均方差损失值，再将第一均方差损失值、第二均方差损失值和第三均方差损失值进行加和，获得总均方差损失值。
步骤830：根据总分类损失值和总均方差损失值，计算总损失值。
请参考图9，一些实施例中，可以将总分类损失值和总均方差损失值进行加和，获得总损失值。
步骤900：根据总损失值对深度神经网络模型的参数进行迭代优化，使总损失值减小，直至达到预设的停止条件为止，获得预先训练的深度神经网络模型。
下面对骑行属性识别方法的整体工作流程进行说明。
一种实施例中，首先可以通过以下步骤获得预先训练的深度神经网络模型：构建深度神经网络模型；获取用于训练的样本骑行图像，并对样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像；将多个不同的预处理后的样本骑行图像输入深度神经网络模型中，提取多个不同的预处理后的样本骑行图像的图像特征；根据图像特征计算分类特征向量，并通过注意力机制对多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对图像特征进行处理，计算特征矩阵；根据分类特征向量和特征矩阵，计算总损失值；然后根据总损失值对深度神经网络模型的参数进行迭代优化，使总损失值减小，直至达到预设的停止条件为止，即可获得预先训练的深度神经网络模型。获得预先训练的深度神经网络模型后，可以通过以下步骤对骑行图像进行骑行属性的识别：获取待识别的骑行图像，将待识别的骑行图像输入预先训练的深度神经网络模型中，根据所获得的分类特征向量进行识别，输出骑行属性的识别结果。
可以看到，由于在训练深度神经网络模型时，引入了注意力机制对多个不同的预处理后的样本骑行图像进行处理、或对图像特征进行处理，计算特征矩阵，并根据分类特征向量和特征矩阵，计算总损失值，最后根据总损失值对深度神经网络模型的参数进行迭代优化，使得在识别质量较低的待识别的骑行图像时，能够对待识别的骑行图像中的识别目标赋予更高的专注度，因此在识别质量较低的骑行图像时也能获得较高的准确率。
请参考图10，一种实施例中，骑行属性识别装置包括图像获取模块10和识别模块20，下面对各个模块进行具体说明。
图像获取模块10用于获取待识别的骑行图像。
识别模块20用于将待识别的骑行图像输入一预先训练的深度神经网络模型中进行识别，输出骑行属性的识别结果。
一些实施例中，骑行属性识别装置还可以包括预处理模块，用于将待识别的骑行图像进行处理，以使待识别的骑行图像符合预先训练的深度神经网络模型的图像输入要求。
一种实施例中，预先训练的深度神经网络模型通过如下步骤获得：
构建深度神经网络模型。
获取用于训练的样本骑行图像。
对样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像。其中，预处理包括尺寸调整、和/或根据一预设角度进行旋转、和/或翻转。一些实施例中，多个不同的预处理后的样本骑行图像可以包括第一预处理图像、第二预处理图像、第三预处理图像和第四预处理图像，其对应的预处理过程可以为：将样本骑行图像进行尺寸调整，得到尺寸不同的第一预处理图像和第二预处理图像；将第一预处理图像和第二预处理图像分别进行水平翻转，得到第三预处理图像和第四预处理图像。
将多个不同的预处理后的样本骑行图像输入深度神经网络模型中。
提取多个不同的预处理后的样本骑行图像的图像特征。一些实施例中，图像特征可以包括与多个不同的预处理后的样本骑行图像一一对应的多个局部特征、与多个不同的预处理后的样本骑行图像一一对应的多个全局特征和与多个不同的预处理后的样本骑行图像一一对应的多个融合特征；提取多个不同的预处理后的样本骑行图像的图像特征，可以包括如下步骤：
提取多个局部特征和多个全局特征。一些实施例中，可以使用ResNet50、ResNet101、VGG19、OSNet、InceptionNet等预训练模型作为特征提取器，以提取上述的多个局部特征和多个全局特征。
将多个局部特征和多个全局特征进行融合处理，获得多个融合特征。一些实施例中，可以先对多个局部特征分别进行池化处理，获得多个池化后的局部特征，以使多个池化后的局部特征与多个全局特征的维度相同；然后，将多个池化后的局部特征与多个全局特征分别进行融合，获得多个融合特征。对全局特征和局部特征进行融合处理，可以扩大感受野，提高识别的准确率。
根据图像特征，计算分类特征向量。一些实施例中，图像特征中的多个融合特征可以通过池化层和全连接层处理，获得分类特征向量。
通过注意力机制对多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对图像特征进行处理，计算特征矩阵。一些实施例中，可以通过注意力机制学习注意力权重分布，并将注意力权重分布作用在多个融合特征中进行处理获得特征矩阵，以获得对待识别的骑行图像更高的专注度。
根据分类特征向量和特征矩阵，计算总损失值。一些实施例中，特征矩阵可以包括与多个不同的预处理后的样本骑行图像一一对应的多个矩阵特征向量；根据分类特征向量和特征矩阵，计算总损失值，可以包括如下步骤：
根据分类特征向量计算总分类损失值。一些实施例中，在根据分类特征向量计算总分类损失值时，可以通过softmax激活函数和focal loss损失函数分别计算分类特征向量中每种骑行属性的特征向量的分类损失值，再将每种骑行属性的分类损失值进行加和，获得总分类损失值。通过softmax激活函数进行处理，能够对每种骑行属性的类间进行压缩；再用focal loss损失函数进行处理，能够加大难于分辨的样本权重，加入平衡因子来平衡正负样本本身的比例不均。一些实施例中，在根据分类特征向量计算总分类损失值时，还可以通过sigmoid激活函数和BCELoss损失函数对分类特征向量进行总体计算，获得总分类损失值。
根据样本骑行图像和/或多个矩阵特征向量，计算总均方差损失值。一些实施例中，根据样本骑行图像和/或多个矩阵特征向量，计算总均方差损失值，可以包括如下步骤：
获取样本骑行图像的实际特征向量。
根据实际特征向量和多个矩阵特征向量，计算总均方差损失值。一些实施例中，可以通过MSELoss损失函数分别计算第一预处理图像的矩阵特征向量与第二预处理图像的矩阵特征向量的第一均方差损失值、第三预处理图像的矩阵特征向量与样本骑行图像的实际特征向量的第二均方差损失值、第四预处理图像的矩阵特征向量与样本骑行图像的实际特征向量的第三均方差损失值，再将第一均方差损失值、第二均方差损失值和第三均方差损失值进行加和，获得总均方差损失值。
根据总分类损失值和总均方差损失值，计算总损失值。一些实施例中，可以将总分类损失值和总均方差损失值进行加和，获得总损失值。
根据总损失值对深度神经网络模型的参数进行迭代优化，使总损失值减小，直至达到预设的停止条件为止，获得预先训练的深度神经网络模型。
下面对骑行属性识别装置的整体工作流程进行说明。
一种实施例中，首先可以通过以下步骤获得识别模块20中预先训练的深度神经网络模型：构建深度神经网络模型；获取用于训练的样本骑行图像，并对样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像；将多个不同的预处理后的样本骑行图像输入深度神经网络模型中，提取多个不同的预处理后的样本骑行图像的图像特征；根据图像特征计算分类特征向量，并通过注意力机制对多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对图像特征进行处理，计算特征矩阵；根据分类特征向量和特征矩阵，计算总损失值；然后根据总损失值对深度神经网络模型的参数进行迭代优化，使总损失值减小，直至达到预设的停止条件为止，即可获得预先训练的深度神经网络模型。获得预先训练的深度神经网络模型后，可以通过以下步骤对骑行图像进行骑行属性的识别：图像获取模块10获取待识别的骑行图像并传输至识别模块20；识别模块20将待识别的骑行图像输入预先训练的深度神经网络模型中，根据所获得的分类特征向量进行识别，输出骑行属性的识别结果。
可以看到，由于在训练深度神经网络模型时，引入了注意力机制对多个不同的预处理后的样本骑行图像进行处理、或对图像特征进行处理，计算特征矩阵，并根据分类特征向量和特征矩阵，计算总损失值，最后根据总损失值对深度神经网络模型的参数进行迭代优化，使得在识别质量较低的待识别的骑行图像时，能够对待识别的骑行图像中的识别目标赋予更高的专注度，因此在识别质量较低的骑行图像时也能获得较高的准确率。
请参考图11，一种实施例中，骑行属性识别装置包括存储器40、处理器50和输入/输出接口60。存储器40用于存储程序。处理器50用于通过执行存储器存储的程序以实现上述的骑行属性识别方法。处理器50分别与存储器40、输入/输出接口60连接，例如可通过总线系统和/或其他形式的连接机构进行连接。存储器40可用于存储程序和数据，包括本发明实施例中涉及的骑行属性识别方法的程序，处理器50通过运行存储在存储器40的程序从而执行骑行属性识别装置的各种功能应用以及数据处理。
一种实施例中，计算机可读存储介质上存储有程序，程序能够被处理器执行以实现上述的骑行属性识别方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种骑行属性识别方法，其特征在于，包括：
获取待识别的骑行图像；
将所述待识别的骑行图像输入一预先训练的深度神经网络模型中进行识别，输出骑行属性的识别结果；
其中，所述预先训练的深度神经网络模型通过以下步骤获得：
构建深度神经网络模型；
获取用于训练的样本骑行图像；
对所述样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像；所述预处理包括尺寸调整、和/或根据一预设角度进行旋转、和/或翻转；
将所述多个不同的预处理后的样本骑行图像输入所述深度神经网络模型中；
提取所述多个不同的预处理后的样本骑行图像的图像特征；
根据所述图像特征，计算分类特征向量；
通过注意力机制对所述多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对所述图像特征进行处理，计算特征矩阵；
根据所述分类特征向量和所述特征矩阵，计算总损失值；
根据所述总损失值对所述深度神经网络模型的参数进行迭代优化，使所述总损失值减小，直至达到预设的停止条件为止，获得所述预先训练的深度神经网络模型。
2.如权利要求1所述的骑行属性识别方法，其特征在于，所述图像特征包括与所述多个不同的预处理后的样本骑行图像一一对应的多个局部特征、与所述多个不同的预处理后的样本骑行图像一一对应的多个全局特征和与所述多个不同的预处理后的样本骑行图像一一对应的多个融合特征；
所述提取所述多个不同的预处理后的样本骑行图像的图像特征，包括：
提取所述多个局部特征和所述多个全局特征；
将所述多个局部特征和所述多个全局特征进行融合处理，获得所述多个融合特征。
3.如权利要求1所述的骑行属性识别方法，其特征在于，所述特征矩阵包括与所述多个不同的预处理后的样本骑行图像一一对应的多个矩阵特征向量；
所述根据所述分类特征向量和所述特征矩阵，计算总损失值，包括：
根据所述分类特征向量计算总分类损失值；
根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值；
根据所述总分类损失值和所述总均方差损失值，计算总损失值。
4.如权利要求3所述的骑行属性识别方法，其特征在于，所述根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值，包括：
获取所述样本骑行图像的实际特征向量；
根据所述实际特征向量和所述多个矩阵特征向量，计算所述总均方差损失值。
5.一种骑行属性识别装置，其特征在于，包括：
图像获取模块，用于获取待识别的骑行图像；
识别模块，用于将所述待识别的骑行图像输入一预先训练的深度神经网络模型中进行识别，输出骑行属性的识别结果；
其中，所述预先训练的深度神经网络模型通过以下步骤获得：
构建深度神经网络模型；
获取用于训练的样本骑行图像；
对所述样本骑行图像进行预处理，获得多个不同的预处理后的样本骑行图像；所述预处理包括尺寸调整、和/或根据一预设角度进行旋转、和/或翻转；
将所述多个不同的预处理后的样本骑行图像输入所述深度神经网络模型中；
提取所述多个不同的预处理后的样本骑行图像的图像特征；
根据所述图像特征，计算分类特征向量；
通过注意力机制对所述多个不同的预处理后的样本骑行图像进行处理、或通过注意力机制对所述图像特征进行处理，计算特征矩阵；
根据所述分类特征向量和所述特征矩阵，计算总损失值；
根据所述总损失值对所述深度神经网络模型的参数进行迭代优化，使所述总损失值减小，直至达到预设的停止条件为止，获得所述预先训练的深度神经网络模型。
6.如权利要求5所述的骑行属性识别装置，其特征在于，所述图像特征包括与所述多个不同的预处理后的样本骑行图像一一对应的多个局部特征、与所述多个不同的预处理后的样本骑行图像一一对应的多个全局特征和与所述多个不同的预处理后的样本骑行图像一一对应的多个融合特征；
所述提取所述多个不同的预处理后的样本骑行图像的图像特征，包括：
提取所述多个局部特征和所述多个全局特征；
将所述多个局部特征和所述多个全局特征进行融合处理，获得所述多个融合特征。
7.如权利要求5所述的骑行属性识别装置，其特征在于，所述特征矩阵包括与所述多个不同的预处理后的样本骑行图像一一对应的多个矩阵特征向量；
所述根据所述分类特征向量和所述特征矩阵，计算总损失值，包括：
根据所述分类特征向量计算总分类损失值；
根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值；
根据所述总分类损失值和所述总均方差损失值，计算总损失值。
8.如权利要求7所述的骑行属性识别装置，其特征在于，所述根据所述样本骑行图像和/或所述多个矩阵特征向量，计算总均方差损失值，包括：
获取所述样本骑行图像的实际特征向量；
根据所述实际特征向量和所述多个矩阵特征向量，计算所述总均方差损失值。
9.一种骑行属性识别装置，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110069639.5A CN112766156B (zh) | 2021-01-19 | 2021-01-19 | 一种骑行属性识别方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110069639.5A CN112766156B (zh) | 2021-01-19 | 2021-01-19 | 一种骑行属性识别方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766156A CN112766156A (zh) | 2021-05-07 |
| CN112766156B true CN112766156B (zh) | 2023-11-03 |
Family
ID=75703109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110069639.5A Active CN112766156B (zh) | 2021-01-19 | 2021-01-19 | 一种骑行属性识别方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766156B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738146A (zh) * | 2019-09-27 | 2020-01-31 | 华中科技大学 | 一种目标重识别神经网络及其构建方法和应用 |
| CN111079602A (zh) * | 2019-12-06 | 2020-04-28 | 长沙千视通智能科技有限公司 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
| CN111368815A (zh) * | 2020-05-28 | 2020-07-03 | 之江实验室 | 一种基于多部件自注意力机制的行人重识别方法 |
| CN111639755A (zh) * | 2020-06-07 | 2020-09-08 | 电子科技大学中山学院 | 一种网络模型训练方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190258925A1 (en) * | 2018-02-20 | 2019-08-22 | Adobe Inc. | Performing attribute-aware based tasks via an attention-controlled neural network |
-
2021
- 2021-01-19 CN CN202110069639.5A patent/CN112766156B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738146A (zh) * | 2019-09-27 | 2020-01-31 | 华中科技大学 | 一种目标重识别神经网络及其构建方法和应用 |
| CN111079602A (zh) * | 2019-12-06 | 2020-04-28 | 长沙千视通智能科技有限公司 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
| CN111368815A (zh) * | 2020-05-28 | 2020-07-03 | 之江实验室 | 一种基于多部件自注意力机制的行人重识别方法 |
| CN111639755A (zh) * | 2020-06-07 | 2020-09-08 | 电子科技大学中山学院 | 一种网络模型训练方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766156A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| CN109271958B (zh) | 人脸年龄识别方法及装置 | |
| Türkyılmaz et al. | License plate recognition system using artificial neural networks | |
| CN111241989A (zh) | 图像识别方法及装置、电子设备 | |
| CN109615614B (zh) | 基于多特征融合的眼底图像中血管的提取方法与电子设备 | |
| US11023713B2 (en) | Suspiciousness degree estimation model generation device | |
| CN113449011A (zh) | 基于大数据预测的信息推送更新方法及大数据预测系统 | |
| CN112801085A (zh) | 一种图像中文字的识别方法、装置、介质及电子设备 | |
| CN115393606A (zh) | 图像识别的方法和系统 | |
| CN112380861B (zh) | 模型训练方法、装置及意图识别方法、装置 | |
| CN112766156B (zh) | 一种骑行属性识别方法及装置、存储介质 | |
| CN117009873A (zh) | 支付风险识别模型的生成方法、支付风险识别方法及装置 | |
| CN111553437A (zh) | 一种基于神经网络图像分类方法 | |
| CN114445716B (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN114119970B (zh) | 目标跟踪方法及装置 | |
| CN110210574A (zh) | 合成孔径雷达图像解译方法、目标识别装置及设备 | |
| Shen et al. | Optical Prior‐Based Underwater Object Detection with Active Imaging | |
| CN116958615A (zh) | 图片识别方法、装置、设备和介质 | |
| CN104680123A (zh) | 对象识别装置、对象识别方法和程序 | |
| CN114463574A (zh) | 一种遥感图像的场景分类方法及装置 | |
| CN107895167A (zh) | 一种基于稀疏表示的红外光谱数据分类识别方法 | |
| CN114241253A (zh) | 违规内容识别的模型训练方法、系统、服务器及存储介质 | |
| CN113947801A (zh) | 人脸识别方法、装置和电子设备 | |
| CN114359700A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN112614092A (zh) | 脊柱检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |