CN113283549A - 一种车辆属性识别模型的训练方法、系统及相关设备 - Google Patents
一种车辆属性识别模型的训练方法、系统及相关设备 Download PDFInfo
- Publication number
- CN113283549A CN113283549A CN202110827957.3A CN202110827957A CN113283549A CN 113283549 A CN113283549 A CN 113283549A CN 202110827957 A CN202110827957 A CN 202110827957A CN 113283549 A CN113283549 A CN 113283549A
- Authority
- CN
- China
- Prior art keywords
- attribute
- network
- vehicle
- feature map
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 230000007246 mechanism Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013485 heteroscedasticity test Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种车辆属性识别模型的训练方法、系统及相关设备,训练方法包括以下步骤:构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型;获取用于模型训练的图片集,其中图片包含车辆属性,并对图片进行数据增强,得到增强图片集;将增强图片集输入到主干网络中,得到初级特征图集;将初级特征图集利用BiFPN网络进行融合,得到融合特征图;将融合特征图输入到跨类别注意力网络,对其中图片的车辆属性进行权值标记和属性间信息提取,得到第三特征图集;将第三特征图集输入到属性分类网络,得到车辆属性识别结果。本发明使用跨类别的注意力机制构建车辆属性识别模型,提升了模型的泛化能力。
Description
技术领域
本发明属于计算机视觉应用领域,尤其涉及一种车辆属性识别模型的训练方法、系统及相关设备。
背景技术
计算机视觉是使用计算机及其相关设备对生物视觉的一种模拟。车辆属性是指车辆上许许多多的性质和关系。例如车辆的颜色性质称之为颜色属性,车辆车牌与车身位置关系称之为车牌位置属性。
计算机视觉最早可追溯到60年代Larry Roberts的一篇论文《Block World》,该论文也被称为计算机视觉的第一篇博士论文。在这之后计算机视觉的研究开始起步,但是进展比较缓慢。随着90年代末机器学习的发展,计算机视觉的发展出现了加速,但是此时的机器学习应用与计算机视觉领域往往需要人工的进行特征的选取,选取特征的好坏也直接影响着模型的质量。BP(Back Propagation,反向传播)神经网络在1985年被提出,后来出现了现在文楼模型的雏形LeNet。但是直到AlexNet在ImageNet竞赛中大放异彩,基于深度学习的计算机视觉的应用才如雨后春笋一般涌现。
目前基于深度学习的车辆属性识别往往存在不能充分挖掘不同属性之间的关系、在部分特殊场景下识别准确率低、对小目标属性识别准确率低、模型参数冗余等缺点。
发明内容
本发明实施例提供一种车辆属性识别模型的训练方法,旨在解决车辆属性识别模型不能充分挖掘不同属性之间的关系、在部分特殊场景下识别准确率低、对小目标属性识别准确率低、模型参数冗余等问题。
第一方面,本发明实施例提供一种车辆属性识别模型的训练方法,所述训练方法具体包括以下步骤:
构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型;
获取用于所述车辆属性识别模型训练的图片集,所述图片集的图片包含未标记的车辆属性,对所述图片集的图片进行数据增强,得到增强图片集;
将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集;
将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图;
将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间信息提取,得到包括属性间信息的属性注意力图的第三特征图集;
将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果。
更进一步地,所述训练方法还包括以下步骤:
使用预设的缩放参数对所述车辆属性识别模型进行缩放,使所述主干网络、所述BiFPN网络、所述跨类别注意力网络、所述属性分类网络能够处理的数据大小符合所述图片集的数据大小。
更进一步地,对所述图片集的图片进行数据增强,得到增强图片集的步骤具体包括:
对所述图片集的图片采用随机截取、随机翻转、随机擦除、随机亮度变化中的至少一种方式进行处理,得到所述增强图片集。
更进一步地,将所述增强图片集输入到主干网络中,得到包括多个不同大小的初级特征图的初级特征图集的步骤具体包括:
将所述增强图片集输入到主干网络中,所述主干网络包括由大到小顺序排列的多组卷积块,其中,每一个所述卷积块都会输出一个初级特征图,且次一级所述卷积块以更高一级的所述卷积块输出的所述初级特征图为输入内容,将所有所述初级特征图的集合作为所述初级特征图集。
更进一步地,将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图的步骤具体包括:
将所述初级特征图集输入所述BiFPN网络,所述BiFPN网络对所述初级特征图集中的不同尺寸的所述初级特征图所具有的特征进行加权的特征融合,得到具有所有所述初级特征图的特征的所述融合特征图。
更进一步地,将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间信息提取,得到包括属性间信息的属性注意力图属性注意力图的第三特征图集的步骤具体包括以下步骤:
将所述融合特征图输入所述跨类别注意力网络,所述跨类别注意力网络包括多组注意力机制结构,且每一组所述注意力机制结构还包括两个单元的BiLSTM方法块,每一组所述注意力机制结构对应一个待识别的所述车辆属性;
所述注意力机制结构对所述融合特征图中的所述车辆属性进行权值标记,并通过所述BiLSTM方法块在整个所述跨类别注意力网络中传递所述车辆属性的关系信息,最终,所述跨类别注意力网络输出具备车辆属性权值以及车辆属性关系信息的属性注意力图,将所有所述属性注意力图的集合作为所述第三特征图集。
更进一步地,将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果的步骤具体包括:
将所述第三特征图集输入到所述属性分类网络中,所述属性分类网络将所述属性注意力图中所述车辆属性权值相同、且被所述BiLSTM方法块标记为相同所述车辆属性关系的图片分为一类,最终得到根据不同所述车辆属性进行分类的分类图片,将得到的所述分类图片作为所述车辆属性识别结果。
第二方面,本发明实施例提供一种车辆属性识别模型的训练系统,包括模型构建模块、数据增强模块、主干网络模块、BiFPN网络模块、跨类别注意力网络模块、属性分类网络模块,其中:
所述模型构建模块用于构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型;
所述数据增强模块用于获取所述车辆属性识别模型训练用的图片集,所述图片集的图片包含未标记的车辆属性,对所述图片集的图片进行数据增强,得到增强图片集;
所述主干网络模块用于将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集;
所述BiFPN网络模块用于将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图;
所述跨类别注意力网络模块用于将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记,得到包括不同权重的属性注意力图的第三特征图集;
所述属性分类网络模块用于将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果。
第三方面,本发明实施例提供一种计算机设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述实施例中任一项所述的车辆属性识别模型的训练方法中的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中任一项所述的车辆属性识别模型的训练方法中的步骤。
本发明实施例达到的有益效果:由于在模型中引入了可缩放的数据增强、注意力机制、BiLSTM方法等对图片进行处理,所以车辆属性识别模型具有更好的泛化能力,同时在模型中使用BiFPN方法来融合不同尺度的图片特征,所以能够给车辆属性识别模型带来更好的特征提取效果。
附图说明
图1是本发明实施例提供的车辆属性识别模型的训练方法的流程框图;
图2是本发明实施例提供的车辆属性识别模型的训练方法步骤S105的子步骤流程框图;
图3是本发明实施例提供的车辆属性识别模型的训练系统的示意图;
图4是本发明实施例提供的计算机设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,图1是本发明实施例提供的车辆属性识别模型的训练方法的流程框图,所述训练方法具体包括以下步骤:
S101、构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型。
所述车辆属性识别模型的所述主干网络由多个卷积核大小不同的卷积结构组成,所述主干网络以图片数据为输入,并依次经过由大到小的卷积结构进行特征采集,输出多个尺寸的经过采集的特征图;所述BiFPN网络主要使用了BiFPN(Weighted Bi-directionalFeature Pyramid Network,加权双向特征金字塔)方法,所述BiFPN方法用于将图片通过自上而下和自下而上的采样结构进行特征融合,输出具备多尺寸特征的融合特征;所述跨类别注意力网络主要使用了注意力机制(Attention Mechanism),所述注意力机制对图片中的某一部分或特征进行标记,并赋予权重值,使得所述跨类别注意力网络经过学习可以优先识别到与权重值相关的图片特征,所述跨类别注意力网络还包括BiLSTM(Bi-directional Long Short-Term Memory,双向长短期记忆)结构,用于在多组注意力机制之间传递和交流需要处理的图片信息;所述属性分类网络根据预设的属性分类方法对经过所述跨类别注意力网络处理的图片进行分类,从而得到多个仅包含特定属性的图片集合。
具体的,所述主干网络、所述BiFPN网络、所述跨类别注意力网络和所述属性分类网络是可缩放设计,所述车辆属性识别模型根据一个缩放参数,可以将所述主干网络、所述BiFPN网络、所述跨类别注意力网络和所述属性分类网络所能处理的数据的大小调整为一个统一的值,同时,根据缩放的程度,所述车辆属性识别模型的逻辑空间体积以及运行需要的算力也会随之改变,使得所述车辆属性识别模型能够通过缩放而部署在不同计算能力的计算机设备上,从而提高所述车辆属性识别模型部署的灵活性。
S102、获取用于所述车辆属性识别模型训练的图片集,所述图片集的图片包含未标记的车辆属性,对所述图片集的图片进行数据增强,得到增强图片集。
具体的,本发明实施例所使用的所述图片集中的图片为真实世界环境中采集的车辆图片,所述车辆图片包含不同类型的车辆,并且这些车辆的属性足够丰富,例如车辆类型、车身颜色、车牌位置、车牌类型、车辆品牌标志等,在本发明实施例中所使用的需要进行识别的所述车辆属性包括车辆类型、车身颜色、车牌位置,需要说明的是,对何种所述车辆属性进行识别是可以根据实际需要进行选择的,本发明对此不作限定。获取到所述图片集后,对所述图片集中的图片进行数据增强,所述数据增强的方式包括随机截取、随机翻转、随机擦除、随机亮度变化等,在神经网络训练前对目标数据进行数据增强的主要目的是,将图片中的数据量进行倍数级提升,在数据丰富度得到扩充的同时,也能够避免神经网络训练中因为相似数据过多而出现过拟合的问题,本发明实施例中对于所述图片集中的任一张图片进行的数据增强处理至少包括以上方式的其中至少一种,此外,数据增强的方式还包括进行平移、旋转、灰度、曝光度等增强手段,且选用其中何种方式的组合都能够达到类似的数据量提升的技术效果,对于选用何种数据增强手段对所述图片集的图片进行处理,本发明不做限定。
S103、将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集。
具体的,所述主干网络包括由大到小顺序排列的多组卷积块,所述卷积块具体包含不同大小的卷积核,所述增强图片集输入到所述主干网络后,首先由所述卷积核最大的一个所述卷积块进行卷积运算,得到一个大尺寸的第一初级特征图,继而,所述第一初级特征图作为卷积核较小的次一级所述卷积块进行卷积运算,得到一个尺寸较所述第一初级特征图小的第二初级特征图,本发明实施例中所述主干网络包括四个所述卷积块,其后两个所述卷积块分别根据以上相似步骤得到第三初级特征图和第四初级特征图,最后,以所述第一初级特征图、所述第二初级特征图、所述第三初级特征图、所述第四初级特征图的集合作为所述初级特征图集,并将所述初级特征图集作为所述主干网络的输出。
S104、将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图。
具体的,所述BiFPN网络包括一个自底向上的特征融合层,以及一个自顶向下的特征融合层,所述自底向上的特征融合层以所述初级特征图集中的图片为输入,对应地,所述自底向上的特征融合层的特征融合结构以大尺寸的图像为最先处理的内容,并且,每往上一级,所得到的图像尺寸就越小,所述初级特征图集中的所述第一初级特征图、所述第二初级特征图等分别对应到所述自底向上的特征融合层的第一级所述特征融合结构、第二级所述特征融合结构,从而根据不同尺寸的所述初级特征图集中的图片进行特征融合,所述第三初级特征图和所述第四特征图根据以上类似的方式对应到所述自底向上的特征融合层中进行处理。所述自顶向下的特征融合层结构则是以最小尺寸的图片为优先处理对象,并且在所述BiFPN网络的结构中,所述自底向上的特征融合层的每一层输出均与对应层次的所述自顶向下的特征融合层的输入层相连,更具体的,所述自底向上的特征融合层的每一层输出均单独进行1×1的卷积,并与较浅层的输出进行参数传递,从而在不断得到小尺寸的所述融合特征图的过程中不丢失较大尺寸的特征,并且,所述自底向上的特征融合层输出的参数也能够传递给所述自顶向下的特征融合层的每一层,从而强化最终输出结果的特征表达。将先后经过所述自底向上的特征融合层和所述自顶向下的特征融合层处理得到的数据作为所述融合特征图。
S105、将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间信息提取,得到包括属性间信息的属性注意力图的第三特征图集。
具体的,所述跨类别注意力网络包括多组注意力机制结构,所述注意力机制结构利用了注意力机制方法,对于处理二维图像的所述车辆属性识别模型来说,图像一般具有长、宽、通道这三种属性,其中,所述通道在所述二维图像上的表现在本发明实施例中即为所述车辆属性,所述注意力机制结构对所述二维图像中的所述通道标记权重并进行学习,对希望突出表现的所述通道的权重通过乘法加权的方式进行更新,从而使所述二维图像中不重要的所述通道的表现得到抑制。请参照图2,图2是本发明实施例提供的车辆属性识别模型的训练方法步骤S105的子步骤流程框图,其具体包括:
S1051、将所述特征融合图输入所述跨类别注意力网络,所述跨类别注意力网络包括多组注意力机制结构,且每一组所述注意力机制结构还包括BiLSTM方法块,每一组所述注意力机制结构对应一个待识别的所述车辆属性。
在本发明实施例中,所述跨类别注意力网络包括三组注意力机制结构,分别对应需要进行识别的车辆类型、车身颜色、车牌位置这三种所述车辆属性。更具体的,所述注意力机制结构之后还设计有一组所述BiLSTM方法块,所述BiLSTM方法块是一种包含门结构的数据处理结构,通过控制门结构在方法运算过程中的启用和关闭,来分析推导其处理的数据权值之间可能存在的关系,所述BiLSTM方法块包括前推层和后推层,每一个所述注意力机制结构之后都设计有所述BiLSTM方法块,各个所述BiLSTM方法块之间存在数据传递通道。
S1052、所述注意力机制结构对所述融合特征图中的所述车辆属性进行权值标记,并通过所述BiLSTM方法块在整个所述跨类别注意力网络中传递所述车辆属性的关系信息,最终,所述跨类别注意力网络输出具备车辆属性权值以及车辆属性关系信息的属性注意力图,将所有所述属性注意力图的集合作为所述第三特征图集。
具体地,所述特征融合图输入到所述跨类别注意力网络后,经由三个所述注意力机制结构分别对其对应所述车辆属性的图片通道进行权重赋值,并经过乘法加权,使所述特征融合图中的所述车辆属性的通道得到突出,之后,所述BiLSTM方法块对经过通道突出后的所述特征融合图进行权值关系推导,并将推导出来的所述融合特征图中的所述车辆属性的关系信息在整个所述跨类别注意力网络中传递,使各个所述BiLSTM方法块之间能够互相学习到其他所述注意力机制结构处理过的所述车辆属性,其中,所述BiLSTM方法块的所述前推层推导学习出所述特征融合图中的第一特征,所述BiLSTM方法块的所述后推层根据所述第一特征推导学习出所述特征融合图中的第二特征,所述第一特征与所述第二特征具有所述特征融合图中经过权重赋值的所述通道的表达效果,将所述第一特征和所述第二特征相结合,从而得到最终的属性注意力图,将所有所述跨类别注意力网络输出的所述属性注意力图作为所述第三特征图集。
S106、将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果。
具体的,将所述第三特征图集输入到所述属性分类网络,所述属性注意力图根据所述第三特征图集中的属性注意力图的所述第一特征和所述第二特征进行分类,因为所述第一特征与所述第二特征是所述融合特征图中部分权重高的所述通道经过所述BiLSTM方法块推导得到的,因此所述第一特征与所述第二特征具有对应的所述车辆属性的表达效果,将所述第三特征图集根据所述车辆属性进行分类得到的结果作为最终的车辆属性识别结果。
本发明实施例所提供的车辆属性识别模型的训练方法,通过对包括可缩放的所述主干网络、所述BiFPN网络、所述跨类别注意力网络和所述属性分类网络的所述车辆属性识别模型进行训练,并引入所述BiFPN方法、所述注意力机制、所述BiLSTM方法,使所述车辆属性识别模型具备更好的泛化性,且使所述车辆识别模型能够部署在不同算力的计算机设备上,提高了部署的灵活性。
请参照图3,图3是本发明实施例提供的车辆属性识别模型的训练系统的示意图,所述车辆属性识别模型的训练系统200包括模型构建模块201、数据增强模块202、主干网络模块203、BiFPN网络模块204、跨类别注意力网络模块205、属性分类网络模块206,其中:
所述模型构建模块201用于构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型;
所述数据增强模块202获取用于所述车辆属性识别模型训练的图片集,所述图片集的图片包含未标记的车辆属性,对所述图片集的图片进行数据增强,得到增强图片集;
所述主干网络模块203用于将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集;
所述BiFPN网络模块204用于将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图;
所述跨类别注意力网络模块205用于将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记,得到包括不同权重的属性注意力图的第三特征图集;
所述属性分类网络模块206用于将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果。
请参照图4,图4是本发明实施例提供的计算机设备结构示意图,所述计算机设备300包括:存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的计算机程序。
处理器301调用存储器302存储的计算机程序,执行本发明实施例提供的车辆属性识别模型的训练方法中的步骤,请结合图1,具体包括:
S101、构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型;
S102、获取用于所述车辆属性识别模型训练的图片集,所述图片集的图片包含未标记的车辆属性,对所述图片集的图片进行数据增强,得到增强图片集;
S103、将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集;
S104、将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图;
S105、将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间新题提取,得到包括属性间信息的属性注意力图的第三特征图集;
S106、将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果。
更进一步地,所述训练方法还包括以下步骤:
使用预设的缩放参数对所述车辆属性识别模型进行缩放,使所述主干网络、所述BiFPN网络、所述跨类别注意力网络、所述属性分类网络能够处理的数据大小符合所述图片集的数据大小。
更进一步地,对所述图片集的图片进行数据增强,得到增强图片集的步骤具体包括:
对所述图片集的图片采用随机截取、随机翻转、随机擦除、随机亮度变化中的至少一种方式进行处理,得到所述增强图片集。
更进一步地,将所述增强图片集输入到主干网络中,得到包括多个不同大小的初级特征图的初级特征图集的步骤具体包括:
将所述增强图片集输入到主干网络中,所述主干网络包括由大到小顺序排列的多组卷积块,其中,每一个所述卷积块都会输出一个初级特征图,且次一级所述卷积块以更高一级的所述卷积块输出的所述初级特征图为输入内容,将所有所述初级特征图的集合作为所述初级特征图集。
更进一步地,将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图的步骤具体包括:
将所述初级特征图集输入所述BiFPN网络,所述BiFPN网络对所述初级特征图集中的不同尺寸的所述初级特征图所具有的特征进行加权的特征融合,得到具有所有所述初级特征图的特征的所述融合特征图;
更进一步地,将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间信息提取,得到包括属性间信息的属性注意力图的第三特征图集的步骤具体包括以下步骤:
将所述融合特征图输入所述跨类别注意力网络,所述跨类别注意力网络包括多组注意力机制结构,且每一组所述注意力机制结构还包括两个单元的BiLSTM方法块,每一组所述注意力机制结构对应一个待识别的所述车辆属性;
所述注意力机制结构对所述融合特征图中的所述车辆属性进行权值标记,并通过所述BiLSTM方法块在整个所述跨类别注意力网络中传递所述车辆属性的关系信息,最终,所述跨类别注意力网络输出具备车辆属性权值以及车辆属性关系信息的属性注意力图,将所有所述属性注意力图的集合作为所述第三特征图集。
更进一步地,将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果的步骤具体包括:
将所述第三特征图集输入到所述属性分类网络中,所述属性分类网络将所述属性注意力图中所述车辆属性权值相同、且被所述BiLSTM方法块标记为相同所述车辆属性关系的图片分为一类,最终得到根据不同所述车辆属性进行分类的分类图片,将得到的所述分类图片作为所述车辆属性识别结果
本发明实施例提供的计算机设备300可用于实现本发明实施例提供的车辆属性识别模型的训练方法中的步骤,解决的技术问题和达到的技术效果也相同,参上述车辆属性识别模型的训练方法的描述,在此不再赘述。
本发明实施例还提供一种计算机存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的车辆属性识别模型的训练方法中的各个过程及步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,所揭露的仅为本发明较佳实施例而已,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式用等同变化,均属于本发明的保护之内。
Claims (10)
1.一种车辆属性识别模型的训练方法,其特征在于,所述训练方法具体包括以下步骤:
构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型;
获取用于所述车辆属性识别模型训练的图片集,所述图片集的图片包含未标记的车辆属性,对所述图片集的图片进行数据增强,得到增强图片集;
将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集;
将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图;
将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间信息提取,得到包括属性间信息的属性注意力图的第三特征图集;
将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果。
2.如权利要求1所述的车辆属性识别模型的训练方法,其特征在于,所述训练方法还包括以下步骤:
使用预设的缩放参数对所述车辆属性识别模型进行缩放,使所述主干网络、所述BiFPN网络、所述跨类别注意力网络、所述属性分类网络能够处理的数据大小符合所述图片集的数据大小。
3.如权利要求1所述的车辆属性识别模型的训练方法,其特征在于,对所述图片集的图片进行数据增强,得到增强图片集的步骤具体包括:
对所述图片集的图片采用随机截取、随机翻转、随机擦除、随机亮度变化中的至少一种方式进行处理,得到所述增强图片集。
4.如权利要求1所述的车辆属性识别模型的训练方法,其特征在于,将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集的步骤具体包括:
将所述增强图片集输入到主干网络中,所述主干网络包括由大到小顺序排列的多组卷积块,其中,每一个所述卷积块都会输出一个初级特征图,且次一级所述卷积块以更高一级的所述卷积块输出的所述初级特征图为输入内容,将所有所述初级特征图的集合作为所述初级特征图集。
5.如权利要求1所述的车辆属性识别模型的训练方法,其特征在于,将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图的步骤具体包括:
将所述初级特征图集输入所述BiFPN网络,所述BiFPN网络对所述初级特征图集中的不同尺寸的所述初级特征图所具有的特征进行加权的特征融合,得到具有所有所述初级特征图的特征的所述融合特征图。
6.如权利要求1所述的车辆属性识别模型的训练方法,其特征在于,将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间信息提取,得到包括属性间信息的属性注意力图的第三特征图集的步骤具体包括以下步骤:
将所述融合特征图输入所述跨类别注意力网络,所述跨类别注意力网络包括多组注意力机制结构,且每一组所述注意力机制结构还包括两个单元的BiLSTM方法块,每一组所述注意力机制结构对应一个待识别的所述车辆属性;
所述注意力机制结构对所述融合特征图中的所述车辆属性进行权值标记,并通过所述BiLSTM方法块在整个所述跨类别注意力网络中传递所述车辆属性的关系信息,最终,所述跨类别注意力网络输出具备车辆属性权值以及车辆属性关系信息的属性注意力图,将所有所述属性注意力图的集合作为所述第三特征图集。
7.如权利要求6所述的车辆属性识别模型的训练方法,其特征在于,将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果的步骤具体包括:
将所述第三特征图集输入到所述属性分类网络中,所述属性分类网络将所述属性注意力图中所述车辆属性权值相同、且被所述BiLSTM方法块标记为相同所述车辆属性关系的图片分为一类,最终得到根据不同所述车辆属性进行分类的分类图片,将得到的所述分类图片作为所述车辆属性识别结果。
8.一种车辆属性识别模型的训练系统,其特征在于,包括模型构建模块、数据增强模块、主干网络模块、BiFPN网络模块、跨类别注意力网络模块、属性分类网络模块,其中:
所述模型构建模块用于构建包括可缩放的主干网络、BiFPN网络、跨类别注意力网络和属性分类网络的车辆属性识别模型;
所述数据增强模块用于获取所述车辆属性识别模型训练用的图片集,所述图片集的图片包含未标记的车辆属性,对所述图片集的图片进行数据增强,得到增强图片集;
所述主干网络模块用于将所述增强图片集输入到所述主干网络中,得到包括多个不同大小的初级特征图的初级特征图集;
所述BiFPN网络模块用于将所述初级特征图集利用BiFPN网络进行融合,得到具有所述初级特征图集中的图片的所有初级特征的融合特征图;
所述跨类别注意力网络模块用于将所述融合特征图输入到所述跨类别注意力网络,对所述融合特征图中的所述车辆属性进行权值标记和属性间信息提取,得到包括属性间信息的属性注意力图的第三特征图集;
所述属性分类网络模块用于将所述第三特征图集输入到所述属性分类网络进行处理,得到根据所述车辆属性分类的车辆属性识别结果。
9.一种计算机设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的车辆属性识别模型的训练方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的车辆属性识别模型的训练方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110827957.3A CN113283549B (zh) | 2021-07-22 | 2021-07-22 | 一种车辆属性识别模型的训练方法、系统及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110827957.3A CN113283549B (zh) | 2021-07-22 | 2021-07-22 | 一种车辆属性识别模型的训练方法、系统及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113283549A true CN113283549A (zh) | 2021-08-20 |
CN113283549B CN113283549B (zh) | 2021-12-03 |
Family
ID=77286904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110827957.3A Active CN113283549B (zh) | 2021-07-22 | 2021-07-22 | 一种车辆属性识别模型的训练方法、系统及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113283549B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150821A (zh) * | 2020-10-14 | 2020-12-29 | 清华大学 | 轻量化车辆检测模型构建方法、系统及装置 |
CN112232231A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技(中国)有限公司 | 行人属性的识别方法、系统、计算机设备和存储介质 |
CN112434683A (zh) * | 2021-01-27 | 2021-03-02 | 中国科学院自动化研究所 | 基于注意力机制的行人属性识别方法、系统、装置 |
CN112633264A (zh) * | 2021-03-11 | 2021-04-09 | 深圳市安软科技股份有限公司 | 一种车辆属性识别方法、装置、电子设备及存储介质 |
CN112749639A (zh) * | 2020-12-29 | 2021-05-04 | 中电金信软件有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
-
2021
- 2021-07-22 CN CN202110827957.3A patent/CN113283549B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150821A (zh) * | 2020-10-14 | 2020-12-29 | 清华大学 | 轻量化车辆检测模型构建方法、系统及装置 |
CN112232231A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技(中国)有限公司 | 行人属性的识别方法、系统、计算机设备和存储介质 |
CN112749639A (zh) * | 2020-12-29 | 2021-05-04 | 中电金信软件有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
CN112434683A (zh) * | 2021-01-27 | 2021-03-02 | 中国科学院自动化研究所 | 基于注意力机制的行人属性识别方法、系统、装置 |
CN112633264A (zh) * | 2021-03-11 | 2021-04-09 | 深圳市安软科技股份有限公司 | 一种车辆属性识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
XUQIANG YIN ET AL.: "Using an EfficientNet-LSTM for the recognition of single Cow’s motion behaviours in a complicated environment", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 * |
朱登柯 等: "基于EfficientDet网络的输电线路故障检测", 《国外电子测量技术》 * |
王尚: "基于深度学习的车辆检测和属性识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技II辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113283549B (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
CN108764471B (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
CN106156781B (zh) | 排序卷积神经网络构建方法及其图像处理方法与装置 | |
CN109754015B (zh) | 用于画作多标签识别的神经网络及相关方法、介质和设备 | |
CN113674140B (zh) | 一种物理对抗样本生成方法及系统 | |
CN110110689B (zh) | 一种行人重识别方法 | |
CN111126258A (zh) | 图像识别方法及相关装置 | |
CN111275107A (zh) | 一种基于迁移学习的多标签场景图像分类方法及装置 | |
CN109657715B (zh) | 一种语义分割方法、装置、设备及介质 | |
CN112036260B (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
CN113313119B (zh) | 图像识别方法、装置、设备、介质及产品 | |
CN106650615A (zh) | 一种图像处理方法及终端 | |
CN109685713A (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
CN108710893A (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
CN112465709B (zh) | 一种图像增强方法、装置、存储介质及设备 | |
CN110689065A (zh) | 一种基于扁平混合卷积神经网络的高光谱图像分类方法 | |
CN113505854A (zh) | 一种人脸图像质量评价模型构建方法、装置、设备及介质 | |
CN112950640A (zh) | 视频人像分割方法、装置、电子设备及存储介质 | |
CN111461211A (zh) | 一种用于轻量级目标检测的特征提取方法及相应检测方法 | |
CN113283549B (zh) | 一种车辆属性识别模型的训练方法、系统及相关设备 | |
CN113420871A (zh) | 图像质量的评估方法、装置、存储介质及电子装置 | |
CN110866866B (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
CN115578624A (zh) | 农业病虫害模型构建方法、检测方法及装置 | |
CN113408571B (zh) | 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端 | |
CN115630361A (zh) | 一种基于注意力蒸馏的联邦学习后门防御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PP01 | Preservation of patent right | ||
PP01 | Preservation of patent right |
Effective date of registration: 20240109 Granted publication date: 20211203 |