CN111428735A - 一种基于迁移学习深层网络融合模型的货车品牌分类方法 - Google Patents

一种基于迁移学习深层网络融合模型的货车品牌分类方法 Download PDF

Info

Publication number
CN111428735A
CN111428735A CN202010194482.4A CN202010194482A CN111428735A CN 111428735 A CN111428735 A CN 111428735A CN 202010194482 A CN202010194482 A CN 202010194482A CN 111428735 A CN111428735 A CN 111428735A
Authority
CN
China
Prior art keywords
brand
truck
vehicle
mmd
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010194482.4A
Other languages
English (en)
Other versions
CN111428735B (zh
Inventor
赵池航
郑有凤
钱倩
化丽茹
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010194482.4A priority Critical patent/CN111428735B/zh
Publication of CN111428735A publication Critical patent/CN111428735A/zh
Application granted granted Critical
Publication of CN111428735B publication Critical patent/CN111428735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，包括：采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测；构建Inception V3‑MMD网络模型，并基于车脸图像获取车辆品牌特征向量FI；构建Xception‑MMD网络模型，并基于车脸图像获取车辆品牌特征向量FX；构建DenseNet‑201‑MMD网络模型，并基于车脸图像获取车辆品牌特征向量FD；得到车辆品牌融合特征向量FC；构建基于最大均值差异迁移学习的深层网络融合模型的输出层，并根据获取的车型融合特征向量FC对货车品牌进行识别分类。本发明将迁移学习理论与深度学习紧密结合，从而可以更精准的实现多种类型货车车辆品牌的分类，可对高速公路场景中货车智慧收费系统提供技术支持。

Description

一种基于迁移学习深层网络融合模型的货车品牌分类方法
技术领域
本发明属于智能交通、智慧高速研究领域，具体涉及一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法。
背景技术
车辆检测技术是智能交通系统中重要的一环，广泛应用于各种交通场景，无论对于交通执法、交通流检测，还是ETC不停车收费系统，该技术对于解决交通难题起着重大作用。传统的车辆检测技术大多基于车辆的颜色特征和纹理特征，基于颜色特征的车辆检测方法计算简单，实时性高，但鲁棒性较差；基于纹理特征的车辆检测方法对噪声的鲁棒性较高，检测效果较好。
随着计算机视觉和GPU等技术的快速发展，基于卷积神经网络的车辆检测及识别技术得到迅速发展。计算机的图像处理能力得到了大幅度提高，随之而来的是深度学习的快速发展。深度学习相比于传统的机器学习算法相比，不需要手动的提取特征，因此具有良好的普适性和自适应性。与此同时，由于深度学习的方法相对于机器学习的方法参数量大大提高，对数据量的要求也大大提高，从头训练一个网络往往需要几百万甚至上千万的数据量，这对于单一检测或识别任务来说几乎是不可能的。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其利用基于最大均值差异(MMD)迁移学习的深度学习方法有效地对货车车辆品牌类型进行识别和分类，可对高速公路场景中货车智慧收费系统提供技术支持。
技术方案：为实现上述目的，本发明提供一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，包括如下步骤：
S1：获取货车图像，采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测，构建货车车脸图像集；
S2：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Inception V3-MMD 网络模型，并基于车脸图像获取车辆品牌特征向量FI；
S3：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Xception-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FX；
S4：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的DenseNet-201-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FD；
S5：采用特征串联融合规则，将获取的车脸图像特征向量FI、FX和FD进行融合，得到车辆品牌融合特征向量FC；
S6：构建用于货车车辆品牌类型分类的基于最大均值差异迁移学习的深层网络融合模型的输出层，并根据获取的车型融合特征向量FC对货车品牌进行识别分类。
进一步的，所述步骤S1中采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测的具体步骤如下：
S1-1：输入待检测图片；
S1-2：提取图片EOH特征：
S1-3：计算组件数为1部件数为2的DPM检测模型中的根滤波器对提取出的EOH 特征的响应值，并计算各部件滤波器响应值和变形花费；
S1-4：计算总分，若总分大于阈值则检测到货车车脸，反之未检测到车脸。
进一步的，所述步骤S1-2中图片EOH特征的提取步骤如下：
①图像灰度化；
②采用Sobel运算得到(x，y)点的dx和dy；
③计算所有边缘点的边缘方向，θ(x，y)＝tan-1(fy/dx)；
④将图像分成16×16大小的单元格；
⑤将边缘方向等分为16份，记为16个bin，然后统计每个bin的边缘点数量，构成边缘方向直方图，统计得到一个单元格内的边缘方向直方图；
⑥将所有单元格的边缘方向直方图串联，得到整张图片的特征描述子。
进一步的，所述基于最大均值差异迁移学习的Inception V3-MMD网络模型的构建方法为：基于Inception V3-MMD的货车车辆品牌分类模型，在InceptionV3的基础上在最后一层全连接层加入基于MMD的迁移学习，整个网络模型输入为三通道图像，每个 block代表一组计算，前两组为卷积计算，一组卷积计算中包含若干卷积层和一个池化层，完成2个Block卷积计算后，与Inception单元相连，Block 3中使用3个Inception A 单元，Block 4中使用1个Inception B单元，Block 5中使用4个Inception C单元，Block 6中使用1个Inception D单元，Block 7中使用2个Inception E单元。
所述步骤S2中车辆品牌特征向量FI的提取步骤为：对于基于Inception V3-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，采用卷积层-卷积层-卷积层-池化层- 卷积层-卷积层-池化层的结构，池化之后加入3个Inception A单元，之后连接1个 InceptionB单元，之后再连接4个Inception C单元，之后连接1个Inception D单元，之后连接2个Inception E单元，最后得到2048维的输出特征。
进一步的，所述步骤S3中基于最大均值差异迁移学习的Xception-MMD网络模型的构建方法为：基于Xception-MMD的货车车辆品牌分类模型，在Xception的基础上在最后一层全连接层加入基于MMD的迁移学习，整个网络包括输入模块、中间模块和输出模块，分别包含三个深度可分卷积单元，八个深度可分卷积单元，一个深度可分卷积单元，模型输入为三通道图像，输出模块在深度可分卷积单元后进行两次深度可分卷积运算并进行全局平均最大池化，得到特征向量，输入全连接层，用逻辑回归进行分类。
所述步骤S3中车辆品牌特征向量FX的提取步骤为：对于基于Xception-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，先进行两次卷积核为3×3的卷积运算并经过激活函数提高非线性，之后连接深度可分卷积运算单元，每一个运算单元都包含 2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，输入模块得到特征图，中间模块是8个一样的深度可分卷积运算单元相连，每一个运算单元都包含3次带ReLU 激活函数的3×3深度可分卷积运算，输出模块是一个深度可分卷积运算单元，运算单元包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，之后进行2次带 ReLU激活函数的3×3深度可分卷积运算，得到2048维的输出特征。
进一步的，所述步骤S4中基于最大均值差异迁移学习的DenseNet-201-MMD网络模型的构建方法为：基于DenseNet-201-MMD的货车车辆品牌分类模型，在DenseNet-201 的基础上在最后一层全连接层加入基于MMD的迁移学习，DenseNet-201第一层为卷积层，之后进行池化，之后连接1个Block单元，1个过渡层，依此类推，总共有4个Block 层和4个过渡层，最后连接分类层，包括1个全局平均池化层和基于MMD迁移学习的全连接层以及Softmax层。
所述步骤S4中车辆品牌特征向量FD的提取步骤为：对于基于DenseNet-201-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，经过4个密集连接的Block，以及每两个Block之间的一个过渡层，过渡层包括一个BN层、一个1×1的卷积层和一个2 ×2平均池化层，进行多次卷积与池化运算后，得到1920维的输出特征。
所述步骤S6中构建基于最大均值差异迁移学习的深层网络融合模型 (Incep-Xcep-Den-MMD)：
提出一种用于货车车辆品牌分类的基于最大均值差异迁移学习的深层网络融合模型(Incep-Xcep-Den-MMD)；该模型基于Inception V3-MMD货车车辆品牌分类模型、基于Xception-MMD货车车辆品牌分类模型和基于DenseNet-201-MMD货车车辆品牌分类模型，采用串联融合规则得到输出向量，最终得到分类结果。
本发明在三种基于迁移学习深度学习模型的基础上，根据货车车辆品牌类型识别需要去除原模型最后的全连接层，在全连接层上加入基于MMD的迁移学习，构建了基于InceptionV3-MMD的车辆品牌分类模型、基于Xception-MMD的车辆品牌分类模型和基于DenseNet-201-MMD的车辆品牌分类模型，并采用串联融合规则构建了基于迁移学习深层网络融合模型(Incep-Xcep-Den-MMD)，最终通过模型得到输出向量，该向量中最大分量对应的类别即为最终分类结果。
有益效果：本发明与现有技术相比，将迁移学习理论与深度学习紧密结合，从而可以更精准的实现多种类型货车车辆品牌的分类，提高了对于货车品牌的识别率，可对高速公路场景中货车智慧收费系统提供技术支持。
附图说明
图1为基于迁移学习深层网络融合模型网络结构示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
如图1所示，本发明提供一种基于迁移学习深层网络融合模型的货车车辆品牌类型识别分类方法，包括以下步骤：
S1：采用高速公路监控相机获取货车图像，对货车图像采用基于边缘方向直方图的可变形部件模型(EOH+DPM)进行货车车脸检测，构建货车车脸图像集：
其具体为：
S1-1：输入待检测图片；
S1-2：提取图片EOH特征：
①图像灰度化；
②采用Sobel运算得到(x，y)点的dx和dy；
③计算所有边缘点的边缘方向，θ(x，y)＝tan-1(dy/dx)；
④将图像分成16×16大小的单元格；
⑤将边缘方向等分为16份，记为16个bin，然后统计每个bin的边缘点数量，构成边缘方向直方图，统计得到一个单元格内的边缘方向直方图；
⑥将所有单元格的边缘方向直方图串联，得到整张图片的特征描述子。
S1-3：计算组件数为1部件数为2的DPM检测模型中的根滤波器对提取出的EOH 特征的响应值，并计算各部件滤波器响应值和变形花费；
S1-4：计算总分，若总分大于阈值则检测到货车车脸，反之未检测到车脸。
S2：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Inception V3网络模型(Inception V3-MMD)：
基于Inception V3-MMD的货车车辆品牌分类模型，是在InceptionV3的基础上在最后一层全连接层加入基于MMD的迁移学习。整个网络模型输入为299×299RGB三通道图像，每个block代表一组计算，前两组为卷积计算，一组卷积计算中包含若干卷积层和一个池化层，卷积核为3×3，完成2个Block卷积计算后，与Inception单元相连， Block 3中使用3个Inception A单元，Block 4中使用1个Inception B单元，Block 5中使用4个InceptionC单元，Block 6中使用1个Inception D单元，Block 7中使用2个 Inception E单元。
然后基于车脸图像获取1×2048维的车辆品牌特征向量FI：
对于基于Inception V3-MMD的货车车辆品牌分类网络，将原始车脸图像320×120×3规格化为240×360×3，采用卷积层-卷积层-卷积层-池化层-卷积层-卷积层-池化层的结构，池化之后加入3个Inception A单元，之后连接1个Inception B单元，之后再连接4个Inception C单元，之后连接1个Inception D单元,之后连接2个InceptionE单元，最后得到2048维的输出特征。
S3：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Xception网络模型(Xception-MMD)：
基于Xception-MMD的货车车辆品牌分类模型，是在Xception的基础上在最后一层全连接层加入基于MMD的迁移学习。整个网络包括输入模块(Entry flow)、中间模块(Middle flow)和输出模块(Exit flow)，分别包含三个深度可分卷积单元，八个深度可分卷积单元，一个深度可分卷积单元。模型输入为299×299RGB三通道图像。输出模块在深度可分卷积单元后进行两次3×3的深度可分卷积运算并进行全局平均最大池化，得到特征向量，输入全连接层，用逻辑回归进行分类。
然后基于车脸图像获取1×2048维的车辆品牌特征向量FX：
对于基于Xception-MMD的货车车辆品牌分类网络，将原始车脸图像320×120×3规格化为320×480×3，先进行两次卷积核为3×3的卷积运算并经过激活函数提高非线性，之后连接深度可分卷积运算单元，每一个运算单元都包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，输入模块得到19×19×728的特征图，中间模块是8个一样的深度可分卷积运算单元相连，每一个运算单元都包含3次带ReLU激活函数的3×3深度可分卷积运算，输出模块是一个深度可分卷积运算单元，运算单元包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，之后进行2次带ReLU 激活函数的3×3深度可分卷积运算，得到2048维的输出特征。
S4：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的DenseNet-201网络模型(DenseNet-201-MMD)：
基于DenseNet-201-MMD的货车车辆品牌分类模型，是在DenseNet-201的基础上在最后一层全连接层加入基于MMD的迁移学习。DenseNet-201第一层为个7×7的卷积层，之后进行3×3池化，之后连接1个Block单元，1个过渡层，依此类推，总共有 4个Block层和4个过渡层。最后连接分类层，包括1个7×7的全局平均池化层和基于 MMD迁移学习的全连接层以及Softmax层。
基于车脸图像获取1×1920维的车辆品牌特征向量FD：
对于基于DenseNet-201-MMD的货车车辆品牌分类网络，将原始车脸图像320×120×3规格化为320×480×3，经过4个密集连接的Block，以及每两个Block之间的一个过渡层，过渡层包括一个BN层，一个1×1的卷积层和一个2×2平均池化层，进行多次卷积与池化运算后，得到1920维的输出特征。
S5：采用特征串联融合规则，将获取的车脸图像特征向量FI、FX和FD进行融合，得到1×6016维的车辆品牌融合特征向量FC：
参照图1，三个模型输出的2048，2048，1920维特征对应为三个通道的特征向量，将三个通道进行Concatenate合并，得到1×6016维特征，之后重新训练全连接层，采用基于MMD迁移学习的全连接层对特征进行处理，最后是一个Dropout层及全连接层，最终输出一个11维向量，该向量中最大分量对应的类别即为最终分类结果。
S6：构建用于货车车辆品牌类型分类的基于最大均值差异迁移学习的深层网络融合模型的输出层，并根据获取的车型融合特征向量FC对一汽、福田、陕汽、东风、重汽、江淮、江铃、跃进、五十铃、金杯等10个货车主要品牌类型以及1个其他类型货车品牌进行分类：
采用训练好的深层网络融合模型对一汽、福田、陕汽、东风、重汽、江淮、江铃、跃进、五十铃、金杯等10个货车主要品牌类型以及1个其他类型货车品牌进行分类，获取货车车辆品牌识别结果。
为了验证上述方法的效果，本实施例中将步骤S1的货车车脸检测与传统的DPM检测模型、基于传统机器学习算法的货车车脸检测方法以及基于车牌及车辆对称性的货车车脸检测方法进行实验对比，具体如下表1和表2所示：
表1 DPM与传统机器学习算法结果比较
Figure RE-RE-GDA0002468955910000061
表2不同特征下DPM的货车车脸检测结果
Figure RE-RE-GDA0002468955910000062
Figure RE-RE-GDA0002468955910000071
可以看出，EOH的检测精度达到了97.86％，要优于传统的DPM检测模型、基于传统机器学习算法的货车车脸检测方法以及基于车牌及车辆对称性的货车车脸检测方法。
本实施例将本发明提供的用于货车车辆品牌分类的基于迁移学习深层网络融合模型(Incep-Xcep–Den–MMD)与Inception V3-MMD、Xception-MMD、DenseNet-201-MMD 等单个迁移学习深度网络模型的货车车辆品牌识别分类方法进行实验对比，具体的对比数据如下表3所示：
表3单模型及融合模型实验结果对比
Figure RE-RE-GDA0002468955910000072
可见，融合模型Incep-Xcep–Den–MMD的货车品牌识别率高达99.07％，要明显高于其他单模型。

Claims (9)

1.一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：包括如下步骤：
S1：获取货车图像，采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测，构建货车车脸图像集；
S2：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Inception V3-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FI；
S3：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的Xception-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FX；
S4：构建用于车辆品牌特征提取的基于最大均值差异迁移学习的DenseNet-201-MMD网络模型，并基于车脸图像获取车辆品牌特征向量FD；
S5：采用特征串联融合规则，将获取的车脸图像特征向量FI、FX和FD进行融合，得到车辆品牌融合特征向量FC；
S6：构建用于货车车辆品牌类型分类的基于最大均值差异迁移学习的深层网络融合模型的输出层，并根据获取的车型融合特征向量FC对货车品牌进行识别分类。
2.根据权利要求1所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S1中采用基于边缘方向直方图的可变形部件模型对货车图像进行货车车脸检测的具体步骤如下：
S1-1：输入待检测图片；
S1-2：提取图片EOH特征：
S1-3：计算组件数为1部件数为2的DPM检测模型中的根滤波器对提取出的EOH特征的响应值，并计算各部件滤波器响应值和变形花费；
S1-4：计算总分，若总分大于阈值则检测到货车车脸，反之未检测到车脸。
3.根据权利要求2所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S1-2中图片EOH特征的提取步骤如下：
①图像灰度化；
②采用Sobel运算得到(x，y)点的dx和dy；
③计算所有边缘点的边缘方向，θ(x，y)＝tan-1(dy/dx)；
④将图像分成16×16大小的单元格；
⑤将边缘方向等分为16份，记为16个bin，然后统计每个bin的边缘点数量，构成边缘方向直方图，统计得到一个单元格内的边缘方向直方图；
⑥将所有单元格的边缘方向直方图串联，得到整张图片的特征描述子。
4.根据权利要求1所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述基于最大均值差异迁移学习的Inception V3-MMD网络模型的构建方法为：基于Inception V3-MMD的货车车辆品牌分类模型，在InceptionV3的基础上在最后一层全连接层加入基于MMD的迁移学习，整个网络模型输入为三通道图像，每个block代表一组计算，前两组为卷积计算，一组卷积计算中包含若干卷积层和一个池化层，完成2个Block卷积计算后，与Inception单元相连，Block 3中使用3个Inception A单元，Block 4中使用1个Inception B单元，Block 5中使用4个Inception C单元，Block 6中使用1个Inception D单元，Block 7中使用2个Inception E单元。
5.根据权利要求4所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S2中车辆品牌特征向量FI的提取步骤为：对于基于Inception V3-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，采用卷积层-卷积层-卷积层-池化层-卷积层-卷积层-池化层的结构，池化之后加入3个Inception A单元，之后连接1个Inception B单元，之后再连接4个Inception C单元，之后连接1个Inception D单元，之后连接2个Inception E单元，最后得到2048维的输出特征。
6.根据权利要求1所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S3中基于最大均值差异迁移学习的Xception-MMD网络模型的构建方法为：基于Xception-MMD的货车车辆品牌分类模型，在Xception的基础上在最后一层全连接层加入基于MMD的迁移学习，整个网络包括输入模块、中间模块和输出模块，分别包含三个深度可分卷积单元，八个深度可分卷积单元，一个深度可分卷积单元，模型输入为三通道图像，输出模块在深度可分卷积单元后进行两次深度可分卷积运算并进行全局平均最大池化，得到特征向量，输入全连接层，用逻辑回归进行分类。
7.根据权利要求6所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S3中车辆品牌特征向量FX的提取步骤为：对于基于Xception-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，先进行两次卷积核为3×3的卷积运算并经过激活函数提高非线性，之后连接深度可分卷积运算单元，每一个运算单元都包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，输入模块得到特征图，中间模块是8个一样的深度可分卷积运算单元相连，每一个运算单元都包含3次带ReLU激活函数的3×3深度可分卷积运算，输出模块是一个深度可分卷积运算单元，运算单元包含2次带ReLU激活函数的3×3深度可分卷积运算和最大池化，之后进行2次带ReLU激活函数的3×3深度可分卷积运算，得到2048维的输出特征。
8.根据权利要求1所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S4中基于最大均值差异迁移学习的DenseNet-201-MMD网络模型的构建方法为：基于DenseNet-201-MMD的货车车辆品牌分类模型，在DenseNet-201的基础上在最后一层全连接层加入基于MMD的迁移学习，DenseNet-201第一层为卷积层，之后进行池化，之后连接1个Block单元，1个过渡层，依此类推，总共有4个Block层和4个过渡层，最后连接分类层，包括1个全局平均池化层和基于MMD迁移学习的全连接层以及Softmax层。
9.根据权利要求8所述的一种基于迁移学习深层网络融合模型的货车品牌类型识别分类方法，其特征在于：所述步骤S4中车辆品牌特征向量FD的提取步骤为：对于基于DenseNet-201-MMD的货车车辆品牌分类网络，将原始车脸图像规格化，经过4个密集连接的Block，以及每两个Block之间的一个过渡层，过渡层包括一个BN层、一个1×1的卷积层和一个2×2平均池化层，进行多次卷积与池化运算后，得到1920维的输出特征。
CN202010194482.4A 2020-03-19 2020-03-19 一种基于迁移学习深层网络融合模型的货车品牌分类方法 Active CN111428735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010194482.4A CN111428735B (zh) 2020-03-19 2020-03-19 一种基于迁移学习深层网络融合模型的货车品牌分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010194482.4A CN111428735B (zh) 2020-03-19 2020-03-19 一种基于迁移学习深层网络融合模型的货车品牌分类方法

Publications (2)

Publication Number Publication Date
CN111428735A true CN111428735A (zh) 2020-07-17
CN111428735B CN111428735B (zh) 2021-06-25

Family

ID=71548137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010194482.4A Active CN111428735B (zh) 2020-03-19 2020-03-19 一种基于迁移学习深层网络融合模型的货车品牌分类方法

Country Status (1)

Country Link
CN (1) CN111428735B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256903A (zh) * 2020-10-27 2021-01-22 华东交通大学 一种基于卷积神经网络DenseNet201的铁路扣件缺陷形态分类系统
CN113425254A (zh) * 2021-05-10 2021-09-24 复旦大学 基于混合数据输入的体脂率预测模型的青年男性体脂率预测方法
CN115731436A (zh) * 2022-09-21 2023-03-03 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856050B2 (en) * 2011-01-13 2014-10-07 International Business Machines Corporation System and method for domain adaption with partial observation
CN105373783A (zh) * 2015-11-17 2016-03-02 高新兴科技集团股份有限公司 基于混合多尺度可变形部件模型的未系安全带检测方法
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
KR20190063582A (ko) * 2017-11-30 2019-06-10 재단법인대구경북과학기술원 전달 학습을 통한 운전자의 시선 응시영역 추정 방법
CN109948643A (zh) * 2019-01-21 2019-06-28 东南大学 一种基于深层网络融合模型的车辆类型分类方法
CN110598848A (zh) * 2019-08-16 2019-12-20 中国科学院计算技术研究所 一种基于通道剪枝的迁移学习加速方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856050B2 (en) * 2011-01-13 2014-10-07 International Business Machines Corporation System and method for domain adaption with partial observation
CN105373783A (zh) * 2015-11-17 2016-03-02 高新兴科技集团股份有限公司 基于混合多尺度可变形部件模型的未系安全带检测方法
KR20190063582A (ko) * 2017-11-30 2019-06-10 재단법인대구경북과학기술원 전달 학습을 통한 운전자의 시선 응시영역 추정 방법
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN109948643A (zh) * 2019-01-21 2019-06-28 东南大学 一种基于深层网络融合模型的车辆类型分类方法
CN110598848A (zh) * 2019-08-16 2019-12-20 中国科学院计算技术研究所 一种基于通道剪枝的迁移学习加速方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIVVALA,SANTOSH K ET.AL: "《How important are deformable parts in the deformable parts model》", 《ARXIV》 *
钱月晶: "《基于可变形部件模型的车牌检测》", 《浙江工贸职业技术学院报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256903A (zh) * 2020-10-27 2021-01-22 华东交通大学 一种基于卷积神经网络DenseNet201的铁路扣件缺陷形态分类系统
CN113425254A (zh) * 2021-05-10 2021-09-24 复旦大学 基于混合数据输入的体脂率预测模型的青年男性体脂率预测方法
CN115731436A (zh) * 2022-09-21 2023-03-03 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法
CN115731436B (zh) * 2022-09-21 2023-09-26 东南大学 基于深度学习融合模型的高速公路车辆图像检索方法

Also Published As

Publication number Publication date
CN111428735B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN111428735B (zh) 一种基于迁移学习深层网络融合模型的货车品牌分类方法
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
Liu et al. FPCNet: Fast pavement crack detection network based on encoder-decoder architecture
CN104657748A (zh) 一种基于卷积神经网络的车型识别方法
CN111325146B (zh) 一种货车车型和轴型识别方法和系统
CN107292933B (zh) 一种基于bp神经网络的车辆颜色识别方法
CN106529578A (zh) 一种基于深度学习的车辆品牌型号精细识别方法与系统
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN108154160A (zh) 车牌颜色识别方法及系统
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN108664969B (zh) 基于条件随机场的路标识别方法
Chantakamo et al. The multi vehicle recognition using hybrid blob analysis and feature-based
Naik et al. Driver’s seat belt detection using CNN
CN112381101B (zh) 一种基于类别原型回归的红外道路场景分割方法
CN102184412B (zh) 基于最小错误率贝叶斯分类器的车牌数字及字母识别方法
Yamashita et al. Multiple skip connections of dilated convolution network for semantic segmentation
Soon et al. Malaysian car number plate detection and recognition system
Ren et al. Vehicle make and model recognition based on convolutional neural networks
Chen et al. Vehicle type recognition based on multi-branch and multi-layer features
CN113269099A (zh) 基于图匹配的异构无人系统下车辆重新识别方法
Pillai et al. An initial deep CNN design approach for identification of vehicle color and type for amber and silver alerts
CN108647679B (zh) 一种基于车窗粗定位的车标识别方法
Priya et al. Intelligent parking system
CN102194130A (zh) 一种基于图像识别的车辆分类方法
Wang et al. The color identification of automobiles for video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant