CN112598076B - 一种机动车属性识别方法及系统 - Google Patents
一种机动车属性识别方法及系统 Download PDFInfo
- Publication number
- CN112598076B CN112598076B CN202011599263.0A CN202011599263A CN112598076B CN 112598076 B CN112598076 B CN 112598076B CN 202011599263 A CN202011599263 A CN 202011599263A CN 112598076 B CN112598076 B CN 112598076B
- Authority
- CN
- China
- Prior art keywords
- motor vehicle
- image
- label
- attribute
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000015654 memory Effects 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000005012 migration Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种机动车属性识别方法及系统，通过训练的机动车属性识别模型，采用多标签分类的方法实现机动车的多属性分类，使用深度学习网络同时推理机动车的多个属性，大幅度减少了计算量和计算时长，有助于模型对于不同标签的属性的推断，同时方便了模型的管理和部署。
Description
技术领域
本发明涉及机器学习技术领域，具体涉及一种机动车属性识别方法及系统。
背景技术
随着城市智慧化、数字化的推进，智能交通已成为智慧城市中必不可少的一个环节，智能交通的发展，不仅节省了交通监管和查控所需投入的人力，解决恶劣交通环境下监管的困难，更加全面和及时地检测交通事件的发生，为人们出行带来极大便利。大量的机动车涌入道路，造成交通的拥堵，增大交通查控的难度。通过智能监管和资源调度等方式，帮助提高交通监管的效率，减轻交通拥堵的现象，减少交通事故发生的概率，对机动车进行查控，可以应用于车辆的搜索、定位和追踪，对于侦查追踪案件等可以起到良好的辅助作用，减少刑事侦查所需的人力。作为机动车查控技术中的一项基础手段，机动车属性识别技术通过自动检测车辆的属性特征，可有效应用于交通监管分析，以及车辆追踪等场景。但由于交通场景流量大、变化快，为保障交通系统能够高效流畅地运行，实时而准确的机动车属性识别技术尤为重要。
目前，应用深度学习的图像和视频处理技术已经成为智能交通核心的发展方向，相比于以往传统图像处理方法，基于深度学习的方法在准确率和时效性方面性能有明显的提升，满足交通场景对于算法的要求。例如，基于深度学习的目标检测方法，如FastRCNN、Yolo、SSD等，可应用在交通场景中行人、机动车、非机动车的检测，以便于人车非流量的统计，从而合理地分配交通资源；也可以应用在交通标志、车辆标志物的检测等。此外，基于深度学习的分类算法，如Resnet、Inception、Resnext等，常常用于交通目标的属性识别、符号识别等。以往常见的分类网络大多为单标签分类模型，对于现实场景存在的对目标的多种属性进行分类的情况，多个单分类网络在时效性和计算量方面存在计算资源的浪费、未考虑不同属性之间的内在联系、模型管理部署繁琐的问题。
发明内容
因此，本发明提供的一种机动车属性识别方法，克服了现有技术中多个单分类网络在时效性和计算量方面计算资源的浪费、未考虑不同属性之间的内在联系、模型管理部署繁琐的缺陷。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种机动车属性识别方法，包括：
获取待训练的机动车图像样本集；
对样本集中的图像的多个属性进行分析，生成标签二值化的一维向量，其中，各个属性对应不同标签；
构建由ResNext网络、CSPNet结构和SENet单元组成的神经网路，将带标签的图像样本集输入到神经网络中，生成一维标签概率向量；
根据标签二值化的一维向量、一维标签概率向量，计算标签的损失值，根据损失值对网络参数的偏导更新神经网络的参数权重，当更新次数大于第一预设次数时，得到训练好的机动车属性识别模型；
利用机动车属性识别模型，对预处理的待识别机动车属性的图片进行分析，生成多标签的概率值；
根据标签映射，生成多属性对应多标签的概率值矩阵。
在一实施例中，获取待训练的机动车图像样本集的步骤，包括：
S11：对图像样本集的预设原始机动车图像和预设纹理图像进行风格化处理，生成生成第一组合图像；
S12：根据原始机动车图像、预设纹理图像、第一组合图像进行风格化处理，生成第二组合图像；
S13：将第二组合图像替换第一组合图像，重复步骤S12，当迭代次数大于第二预设次数时，生成预设原始机动车图像对应的第三组合图像。
在一实施例中，机动车的属性包括：机动车类型、机动车颜色、机动车朝向。
在一实施例中，根据以下公式计算标签的损失值：
其中，∈为常量，N表示多标签融合后所有类别的数量，i为正确分类，j为错误分类，Ce表示原始的交叉熵计算公式，K为种类数量，yk表示k类别的真实标签，pk为网络的预测概率。
在一实施例中，在总损失值得引导下，进行风格化处理，根据以下公式计算图像风格化的总损失值：
ltotal(x,s,y)＝lcontent+lstyle
其中，lstyle为风格损失，lcontent为内容损失，x表示原始机动车图像，s和y分别表示预设纹理图像和第一组合图像。
在一实施例中，分别通过以下公式计算内容损失和风格损失：
其中，Xl和Yl分别表示原始机动车图像x和第一组合图像y在网络第l层输出的特征，Gl和Al分别表示上述特征逐通道拉伸后计算得到的格拉姆矩阵”，格拉姆矩阵Gram是n维空间中任意k个向量x1,…,xk的组成的矩阵X的内积，k≤n。
第二方面，本发明实施例提供一种机动车属性识别系统，包括：
机动车属性识别模型训练模块，用于获取待训练的机动车图像样本集；对样本集中的图像的多个属性进行分析，生成标签二值化的一维向量，其中，各个属性对应不同标签；构建由ResNext网络、CSPNet结构和SENet单元组成的神经网路，将带标签的图像样本集输入到神经网络中，生成一维标签概率向量；根据标签二值化的一维向量、一维标签概率向量，计算标签的损失值，根据损失对网络参数的偏导更新神经网络的参数权重，当更新次数大于第一预设次数时，得到训练好的机动车属性识别模型；
概率生成模块，用于利用机动车属性识别模型，对预处理的待识别机动车属性的图片进行分析，生成多标签的概率值；
标签映射模块，用于根据标签映射，生成多属性对应多标签的概率值矩阵。
第三方面，本发明实施例提供一种终端，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的机动车属性识别方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例第一方面所述的机动车属性识别方法。
本发明技术方案，具有如下优点：
1、本发明实施例中提供的机动车属性识别方法，多标签的融合二值化处理，给网络的训练过程带来便利，可以使用多个全连接分别处理的方式，在均衡计算量和各属性损失加权的基础上，实现有效的多标签分类。
2、本发明实施例中提供的机动车属性识别方法，利用风格迁移的方式能够生成保留原图像内容纹理特征的风格化图像，通过网络不同层特征的格拉姆矩阵差异，以及损失引导优化程度的不同，生成不同程度风格化的图像；采用图像风格迁移着重对数据量少的机动车类型进行增强，对于模型性能有提升，在数据量少的机动车类型方面，精确率和召回率有所提升，模型对于小样本的预测性能有较明显的提升。
3、本发明实施例中提供的机动车属性识别方法，采用多标签分类的方法实现机动车的多属性分类，使用一个深度学习网络同时推理机动车的多个属性，大幅度减少了计算量和计算时长，同时方便了模型的管理和部署。此外，通过学习到多个标签之间存在的依赖关系，有助于模型对于不同标签的属性的推断。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种机动车属性识别方法的一个具体示例的流程图；
图2为本发明实施例提供的获取待训练的机动车图像样本集的流程图；
图3为本发明实施例提供的卷积特征对应格拉姆矩阵计算示意图；
图4为本发明实施例提供的一种机动车属性识别方法的多标签二值化示意图；
图5为本发明实施例提供的一种机动车属性识别方法的CS-ResNext50网络block结构示意图；
图6为本发明实施例提供的一种机动车属性识别方法的学习率余弦衰减示意图；
图7为本发明实施例提供的一种机动车属性识别系统的模块组成图；
图8为本发明实施例提供的一种机动车属性识别终端一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种机动车属性识别方法，如图1所示，包括如下步骤：
步骤S1：获取待训练的机动车图像样本集。
在本发明实施例中，如图2所示，获取待训练的机动车图像样本集的步骤，包括：S11：对图像样本集的预设原始机动车图像和预设纹理图像进行风格化处理，生成生成第一组合图像；S12：根据原始机动车图像、预设纹理图像、第一组合图像进行风格化处理，生成第二组合图像；S13：将第二组合图像替换第一组合图像，重复步骤S12，当迭代次数大于第二预设次数时，生成预设原始机动车图像对应的第三组合图像。使用图像风格化的方法，着重针对数据量较少的机动车类型进行增强，从而缓解数据不平衡的影响，提升网络准确性和鲁棒性，对于数据量较少的机动车类型来说，其精确率和召回率均有明显提升。
在本发明实施例中，由于机动车数据集分布极其不平衡的情况，本申请根据较难分类的机动车类型属性，着重对机动车类型数据量较小的数据，使用基于图像风格化的方法进行增强，从而在一定程度上平衡数据分布，减轻数据不平衡的影响，增强算法的鲁棒性。
在本发明实施例中，图像风格化的方法主要通过内容损失和风格损失的联合使用来实现，在总损失值得引导下，进行风格化处理，根据以下公式计算图像风格化的总损失值：
ltotal(x,s,y)＝lcontent+lstyle
其中，lstyle为风格损失，lcontent为内容损失，x表示原始机动车图像，s和y分别表示预设纹理图像和第一组合图像。
在本发明实施例中，内容损失引导网络生成的风格化图像与原始图像内容在内容上保持一致性；与此同时，风格损失引导网络生成具有输入风格表示的风格化图像；风格损失的实现主要通过格拉姆矩阵获取特征空间的纹理信息，格拉姆矩阵Gram是n维空间中任意k个向量x1,…,xk的组成的矩阵X的内积(其中，k≤n)，分别通过以下公式计算内容损失和风格损失：
其中，∈为常量，N表示多标签融合后所有类别的数量，i为正确分类，j为错误分类，ce表示原始的交叉熵计算公式，K为种类数量，yk表示k类别的真实标签，pk为网络的预测概率。
在本发明实施例中，如图3所示，网络某一层输出的卷积特征(w*h*c)首先经过降维变换，即将每个通道的二维卷积特征(w*h)拉伸成一维的向量(wh)。而后c个一维向量组成的二维矩阵(wh*c)的内积，为格拉姆矩阵(wh*wh)；根据卷积的计算可知，卷积特征的每个点所表示的是输入在某一部分特征的响应程度，特征经过降维得到的二维矩阵中的内积可以反映每个通道拉伸得到的特征向量之间的相关性，从而格拉姆矩阵具有表示某张图片的风格特征的能力。利用风格迁移的方式能够生成保留原图像内容纹理特征的风格化图像，通过网络不同层特征的格拉姆矩阵差异，以及损失引导优化程度的不同，可以生成不同程度风格化的图像。采用图像风格迁移着重对数据量少的机动车类型进行增强，对于模型性能稍有提升。重要的是，在数据量少的机动车类型方面，精确率和召回率有所提升。模型对于小样本的预测性能有较明显的提升。
步骤S2：对样本集中的图像的多个属性进行分析，生成标签二值化的一维向量，其中，各个属性对应不同标签。
在本发明实施例中，获取待识别的机动车属性的图片，对待识别的机动车属性的图片进行预处理，将待识别的机动车属性的图片进行大小的剪裁、旋转、平移、放缩、翻转、随机裁剪以及添加高斯噪声等数据增强预处理操作，仅以此举例，不以此为限，在实际应用中根据实际需求进行相应的预处理；对待识别的机动车属性的图片进行预处理，使得在一定程度上能够提升算法精度和鲁棒性。
在本发明实施例中，多标签分类网络使用经过风格迁移数据增强处理的人工合成数据与原始数据共同训练。模型训练的数据预处理过程中，使用了sklearn函数库中的多标签二值化MultiLabelBinarizer函数，将机动车的类型、颜色、朝向三个标签转化为由0/1组成的一维向量。其示意图如图4所示，融合后的0/1向量每个位置对应固定的标签，真实情况下不同属性的标签之间交叉排布。
步骤S3：构建由ResNext网络、CSPNet结构和SENet单元组成的神经网路，将带标签的图像样本集输入到神经网络中，生成一维标签概率向量。
在本发明实施例中，本发明实施例结合了ResNext的block结构，SENet的SE(Squeeze-and-Excitation)单元，以及CSPNet模型中CSP(Cross Stage Partial Network)结构的思想，提出了CS-ResNext50网络结构。其中，使用了类似Inception单元的结构，在不增加网络计算量的基础上加宽了网络的结构，提高模型学习能力；利用SqueezeandExcitation结构添加通道注意力机制，学习不同通道特征的重要性；此外，网络还使用Cross Stage Partial策略，将浅层特征分部映射再进行融合，降低了模型的计算量，增加了模型的表示能力，其单元结构示意图如图5所示。
在本发明实施例中，ResNext是ResNet与Inception结合的产物，深度学习网络的趋势总是往更深和更宽的方向发展。这样的模型通常具有更强的特征表示能力，但是与此同时，网络的加深和加宽带来的计算量和显存占用的大幅增加也是不可忽略的。针对此问题，Inception结构利用组卷积的思想，实现了在不增加计算量的前提下，增大了网络的宽度，从而有助于提高模型的学习能力和结果准确率。本发明实施例沿用了自然语言处理中multi-head attention的思路，通过block单元的分支，使模型能够联合关注来自于不同的表示子空间的信息。此外，这种分组的操作能够在一定程度上起到网络正则化的作用，降低每个子网络的复杂度，从而降低了网络过拟合的概率。而ResNext的block则相当于在变形的Inception单元的基础上添加了跳跃连接实现残差机制。残差的引入实现了低层特征和高层特征的融合，有利于梯度的反向传播，避免梯度弥散问题的产生，从而使网络能够变得更深。
在本发明实施例中，如图5所示，SE单元通过先压缩后激励的方式，引入通道注意力(ChannelAttention)机制，使得网络能够学习到不同Channel特征的重要性。在SE模块中，卷积特征f通过GlobalPooling操作压缩(Squeeze)为1×1×C的通道级的全局特征Fs，其中C表示通道数。Squeeze计算过程如下：
然后该特征Fs(f)经过激励(Excitation)操作，学习不同通道特征之间的关系和重要性。从而避免在卷积过程中特征关系与卷积核学习到的空间关系混合在一起。使得模型直接学习到channel特征关系，得到具有ChannelAttention能力的通道级全局特征FE。Excitation计算过程如下所示：
FE(Fs(f))＝σ(W2Relu(W1Fs(f)))
其中，W1，W2分别表示两个全连接层的参数，σ表示sigmoid激活。该特征FE(Fs(f))乘以输入SE单元的原始特征，就得到了SE单元最终的输出O。即：
O＝fFE(Fs(f))
这个过程可以看做是网络自动学习了不同通道特征应该赋予的权重，使得网络能够更加关注信息量多的特征通道，减少关注信息量少的特征通道，从而增强网络的特征表示能力，提升网络性能。
在本发明实施例中，CSP结构使网络能够在降低计算精度的情况下保持甚至提升网络的计算能力。在基于低层次特征与高层次特征相加融合的跳跃连接结构提出不久，就有学者发现将浅层特征与深层特征进行concat串行连接融合的跳跃连接方式，对于模型性能的提升优于原始的相加融合。但是直接进行concat操作，由于通道维度的增加，会造成模型额外的计算量。对于这个问题，Cross Stage Partial网络单元的思想是将浅层特征在通道上分为两个部分，一部分的浅层特征经过卷积等变换得到深层特征，另一部分浅层特征直接与前者得到的深层特征进行concat输出。这样的方式不仅能够有效减少网络的计算量，还能进一步促进浅层特征和深层特征的融合，增强CNN的学习能力。
步骤S4：根据标签二值化的一维向量、一维标签概率向量，计算标签的损失值，根据损失值对网络参数的偏导更新神经网络的参数权重，当更新次数大于第一预设次数时，得到训练好的机动车属性识别模型。
在本发明实施例中，本发明实施例采用了标签平滑的交叉熵损失(crossentropysmoothingloss，lces)作为损失函数优化网络的训练，根据以下公式计算标签的损失值：
其中，∈为常量，本实施例实现过程中取0.1，N表示多标签融合后所有类别的数量，i为正确分类，j为错误分类，ce表示原始的交叉熵计算公式，K为种类数量，yk表示k类别的真实标签，pk为网络的预测概率。
在本发明实施例中，根据损失值对网络参数的偏导更新神经网络的参数权重，同时，为了避免网络的方向传播过程陷入局部最优，学习率衰减的最优方式是螺旋衰减。因此，本发明实施例采用了余弦退火衰减的学习率衰减策略，即采用余弦相关的学习率衰减方式，如图6所示，学习率的衰减图和余弦函数相似。经实验验证，这种学习率衰减方式能够给网络的优化和性能带来一定程度的提升。
在本发明实施例中，机动车的属性包括：机动车类型、机动车颜色、机动车朝向；仅以此举例，不以此为限，在实际应用中根据实际需求选择相应的机动车属性。
在本发明实施例中，第一预设次数根据实际需求进行选择，在此不作限制。
步骤S5：利用机动车属性识别模型，对预处理的待识别机动车属性的图片进行分析，生成多标签的概率值。
步骤S6：根据标签映射，生成多属性对应多标签的概率值矩阵。
在本发明实施例中，将多标签的概率值对应寻找相应的属性，生成多属性对应多标签的概率值矩阵。
本发明实施例中提供的机动车属性识别方法，通过训练的机动车属性识别模型，采用多标签分类的方法实现机动车的多属性分类，使用深度学习网络同时推理机动车的多个属性，大幅度减少了计算量和计算时长，有助于模型对于不同标签的属性的推断，同时方便了模型的管理和部署。
实施例2
本发明实施例提供一种机动车属性识别系统，如图7所示，包括：
机动车属性识别模型训练模块1，用于获取待训练的机动车图像样本集；对样本集中的图像的多个属性进行分析，生成标签二值化的一维向量，其中，各个属性对应不同标签；构建由ResNext网络、CSPNet结构和SENet单元组成的神经网路，将带标签的图像样本集输入到神经网络中，生成一维标签概率向量；根据标签二值化的一维向量、一维标签概率向量，计算标签的损失值，根据损失值对网络参数的偏导更新神经网络的参数权重，当更新次数大于第一预设次数时，得到训练好的机动车属性识别模型。此模块执行实施例1中的步骤S1至步骤S4所描述的方法，在此不再赘述。
概率生成模块2，用于利用机动车属性识别模型，对预处理的待识别机动车属性的图片进行分析，生成多标签的概率值。此模块执行实施例1中的步骤S5所描述的方法，在此不再赘述。
根据标签映射3，用于根据标签映射，生成多属性对应多标签的概率值矩阵。此模块执行实施例1中的步骤S6所描述的方法，在此不再赘述。
本发明实施例提供一种机动车属性识别系统，采用多标签分类的方法实现机动车的多属性分类，使用深度学习网络同时推理机动车的多个属性，大幅度减少了计算量和计算时长，有助于模型对于不同标签的属性的推断，同时方便了模型的管理和部署。
实施例3
本发明实施例提供一种终端，如图8所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的机动车属性识别方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的机动车属性识别方法。其中，通信总线402可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：HDD)或固降硬盘(英文：solid-statedrive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：networkprocessor，缩写：NP)或者CPU和NP的组合。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的机动车属性识别方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的机动车属性识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种机动车属性识别方法，其特征在于，包括：
获取待训练的机动车图像样本集；
对样本集中的图像的多个属性进行分析，生成标签二值化的一维向量，其中，各个属性对应不同标签；
构建由ResNext网络、CSPNet结构和SENet单元组成的神经网路，将带标签的图像样本集输入到神经网络中，生成一维标签概率向量；
根据标签二值化的一维向量、一维标签概率向量，计算标签的损失值，根据损失值对网络参数的偏导更新神经网络的参数权重，当更新次数大于第一预设次数时，得到训练好的机动车属性识别模型；
利用机动车属性识别模型，对预处理的待识别机动车属性的图片进行分析，生成多标签的概率值；
根据标签映射，生成多属性对应多标签的概率值矩阵。
2.根据权利要求1所述的机动车属性识别方法，其特征在于，获取待训练的机动车图像样本集的步骤，包括：
S11：对图像样本集的预设原始机动车图像和预设纹理图像进行风格化处理，生成生成第一组合图像；
S12：根据原始机动车图像、预设纹理图像、第一组合图像进行风格化处理，生成第二组合图像；
S13：将第二组合图像替换第一组合图像，重复步骤S12，当迭代次数大于第二预设次数时，生成预设原始机动车图像对应的第三组合图像。
3.根据权利要求1所述的机动车属性识别方法，其特征在于，机动车的属性包括：机动车类型、机动车颜色、机动车朝向。
4.根据权利要求1所述的机动车属性识别方法，其特征在于，根据以下公式计算标签的损失值：
其中，∈为常量，N表示多标签融合后所有类别的数量，i为正确分类，j为错误分类，ce表示原始的交叉熵计算公式，K为种类数量，yk表示k类别的真实标签，pk为网络的预测概率。
5.根据权利要求2所述的机动车属性识别方法，其特征在于，在总损失值得引导下，进行风格化处理，根据以下公式计算图像风格化的总损失值：
ltotal(x，s，y)＝lcontent+lstyle
其中，lstyle为风格损失，lcontent为内容损失，x表示原始机动车图像，s和y分别表示预设纹理图像和第一组合图像。
6.根据权利要求5所述的机动车属性识别方法，其特征在于，分别通过以下公式计算内容损失和风格损失：
其中，Xl和Yl分别表示原始机动车图像x和第一组合图像y在网络第l层输出的特征，Gl和Al分别表示上述特征逐通道拉伸后计算得到的格拉姆矩阵”，格拉姆矩阵Gram是n维空间中任意k个向量x1，…，xk的组成的矩阵X的内积，k≤n。
7.一种机动车属性识别系统，其特征在于，包括：
机动车属性识别模型训练模块，用于获取待训练的机动车图像样本集；对样本集中的图像的多个属性进行分析，生成标签二值化的一维向量，其中，各个属性对应不同标签；构建由ResNext网络、CSPNet结构和SENet单元组成的神经网路，将带标签的图像样本集输入到神经网络中，生成一维标签概率向量；根据标签二值化的一维向量、一维标签概率向量，计算标签的损失值，根据损失对网络参数的偏导更新神经网络的参数权重，当更新次数大于第一预设次数时，得到训练好的机动车属性识别模型；
概率生成模块，用于利用机动车属性识别模型，对预处理的待识别机动车属性的图片进行分析，生成多标签的概率值；
标签映射模块，用于根据标签映射，生成多属性对应多标签的概率值矩阵。
8.一种终端，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任一所述的机动车属性识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任一所述的机动车属性识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011599263.0A CN112598076B (zh) | 2020-12-29 | 2020-12-29 | 一种机动车属性识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011599263.0A CN112598076B (zh) | 2020-12-29 | 2020-12-29 | 一种机动车属性识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112598076A CN112598076A (zh) | 2021-04-02 |
| CN112598076B true CN112598076B (zh) | 2023-09-19 |
Family
ID=75203464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011599263.0A Active CN112598076B (zh) | 2020-12-29 | 2020-12-29 | 一种机动车属性识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598076B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990390B (zh) * | 2021-05-19 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 一种图像识别模型的训练方法、图像识别的方法及装置 |
| CN113420797B (zh) * | 2021-06-08 | 2023-05-30 | 杭州知衣科技有限公司 | 一种可在线学习的图像属性识别方法及系统 |
| CN113610739A (zh) * | 2021-08-10 | 2021-11-05 | 平安国际智慧城市科技股份有限公司 | 图像数据增强方法、装置、设备及存储介质 |
| CN114999183B (zh) * | 2022-05-30 | 2023-10-31 | 扬州大学 | 一种交通路口车流量检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325547A (zh) * | 2018-10-23 | 2019-02-12 | 苏州科达科技股份有限公司 | 非机动车图像多标签分类方法、系统、设备及存储介质 |
| WO2019100723A1 (zh) * | 2017-11-24 | 2019-05-31 | 华为技术有限公司 | 训练多标签分类模型的方法和装置 |
| CN109993058A (zh) * | 2019-02-27 | 2019-07-09 | 北京大学 | 基于多标签分类的道路交通标志的识别方法 |
| CN110209857A (zh) * | 2019-05-23 | 2019-09-06 | 厦门市美亚柏科信息股份有限公司 | 基于神经网络结构搜索的车辆多属性识别方法、装置、介质 |
-
2020
- 2020-12-29 CN CN202011599263.0A patent/CN112598076B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019100723A1 (zh) * | 2017-11-24 | 2019-05-31 | 华为技术有限公司 | 训练多标签分类模型的方法和装置 |
| CN109325547A (zh) * | 2018-10-23 | 2019-02-12 | 苏州科达科技股份有限公司 | 非机动车图像多标签分类方法、系统、设备及存储介质 |
| CN109993058A (zh) * | 2019-02-27 | 2019-07-09 | 北京大学 | 基于多标签分类的道路交通标志的识别方法 |
| CN110209857A (zh) * | 2019-05-23 | 2019-09-06 | 厦门市美亚柏科信息股份有限公司 | 基于神经网络结构搜索的车辆多属性识别方法、装置、介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的机动车违规行为监测方法;梁光胜;谢东;;计算机应用(第S1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112598076A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598076B (zh) | 一种机动车属性识别方法及系统 | |
| CN111259905B (zh) | 一种基于下采样的特征融合遥感图像语义分割方法 | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN111612008B (zh) | 基于卷积网络的图像分割方法 | |
| US20220382553A1 (en) | Fine-grained image recognition method and apparatus using graph structure represented high-order relation discovery | |
| CN114202672A (zh) | 一种基于注意力机制的小目标检测方法 | |
| CN111738110A (zh) | 基于多尺度注意力机制的遥感图像车辆目标检测方法 | |
| CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
| CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN111191654B (zh) | 道路数据生成方法、装置、电子设备及存储介质 | |
| CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
| CN115249332A (zh) | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN112085001A (zh) | 一种基于多尺度边缘特征检测的隧道识别模型及方法 | |
| CN115761667A (zh) | 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法 | |
| CN115376094A (zh) | 基于尺度感知神经网络的无人清扫车路面识别方法及系统 | |
| CN115409776A (zh) | 一种基于方位推理的输电线路金具图卷积检测方法及系统 | |
| CN114663751A (zh) | 一种基于增量学习技术的输电线路缺陷识别方法和系统 | |
| Pang et al. | PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images | |
| Li et al. | Prediction model of urban street public space art design indicators based on deep convolutional neural network | |
| CN115424250A (zh) | 一种车牌识别方法及装置 | |
| CN115272814B (zh) | 一种远距离空间自适应多尺度的小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |