CN108052861A - 一种神经网络系统及基于该神经网络系统的车型识别方法 - Google Patents

一种神经网络系统及基于该神经网络系统的车型识别方法 Download PDF

Info

Publication number
CN108052861A
CN108052861A CN201711092642.9A CN201711092642A CN108052861A CN 108052861 A CN108052861 A CN 108052861A CN 201711092642 A CN201711092642 A CN 201711092642A CN 108052861 A CN108052861 A CN 108052861A
Authority
CN
China
Prior art keywords
layer
local
network
global
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711092642.9A
Other languages
English (en)
Inventor
吴柯维
于曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuo Is Looked Logical Science And Technology Ltd Co Of Intelligence
Original Assignee
Beijing Zhuo Is Looked Logical Science And Technology Ltd Co Of Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuo Is Looked Logical Science And Technology Ltd Co Of Intelligence filed Critical Beijing Zhuo Is Looked Logical Science And Technology Ltd Co Of Intelligence
Priority to CN201711092642.9A priority Critical patent/CN108052861A/zh
Publication of CN108052861A publication Critical patent/CN108052861A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经网络系统及基于该神经网络系统的车型识别方法，所述系统包括：用于根据车辆部件图像进行车型分类的局部特征神经网络，包括：采用VGG16神经网络的第一卷积层和第一最大池化层的网络的第一局部卷积层和第一局部池化层；采用VGG16神经网络的第三卷积层和第三最大池化层的网络的第二局部卷积层和第二局部池化层；采用VGG16神经网络的第五卷积层和第五最大池化层的网络的第三局部卷积层和第三局部池化层；采用VGG16神经网络的第六全连接层的网络的第四局部全连结层；包括至少一个局部全连接网络的第五局部全连结层；包括至少一个局部分类网络的第六局部分类层。能够根据或进一步结合车辆部件的图像信息进行车型的识别。

Description

一种神经网络系统及基于该神经网络系统的车型识别方法
技术领域
本发明涉及神经网络和车型识别领域。更具体地，本发明涉及一种神经网络系统及基于该神经网络系统的车型识别方法。
背景技术
近年来，人们已经结合神经网络技术和图像处理技术针对行人、物体进行识别进行了大量的研究工作。同时，由于智能交通技术的不断发展，人们对车辆的管理也提出了更高的要求。例如，中华人民共和国交通部于2003年发布了《收费公路车辆通行费车型分类》行业标准(JT/T 489-2003)，将车辆按照外观、用途、承载能力等划分为五种类型(例如，第一种类型主要包括小轿车、吉普车、皮卡车；第二种类型主要包括小型货车、小型客车；第三种类型主要包括中型货车、中型客车；第四种类型主要包括大型货车、大型客车；第五种类型主要包括重型拖车、重型挂车)来收取车辆通行费。
因此，如果能够在智能交通管理系统中结合神经网络技术和图像处理技术来针对车辆进行车型识别，然后自动根据车型收取通行费，将会大大节省人工收费所涉及的操作步骤，提高收费效率。
文献CN106250812A便公开了一种利用深度学习神经网络进行车型识别的方法。该方法基于快速R-CNN深度神经网络来进行车型识别，包括一个用于深度学习和训练识别的VGG网络、一个用于提取出感兴趣区域的区域建议网络和一个用于车型分类的Softmax分类器；所述的VGG网络，包括8个卷基层，3个全连接层，共计11层；8个卷基层中有5个组的卷积层、2个分类层提取图像特征、1个分类层分类特征；3个全连接层分别连接分类层6、分类层7和分类层8；所述的区域建议网络，包括1个分类层、1个窗口回归层、1个计算分类损失的模块和1个计算窗口回归损失的模块，输出p个感兴趣的建议框；所述的Softmax分类器，将提取到的输入数据特征与学习训练得到特征库数据进行比对，计算出每一个分类结果的概率，然后取概率最高的一个结果进行输出；快速R-CNN深度神经网络，在所述的VGG网络的第5层末尾接入了所述的区域建议网络，使得所述的区域建议网络共享所述的VGG网络的前5层的底层特征提取过程与结果；所述的VGG网络的第6和第7层根据所述的区域建议网络输出的p个感兴趣的建议框内的图像特征进行卷积和ReLU处理，得到p个含有4096向量的特征图，接着分别送给分类层和窗口回归层进行处理，实现车辆图像的分割；另一方面，所述的Softmax分类器对p个含有4096向量的特征图进行分类识别，得到车辆车型的分类结果。
然而，文献CN106250812A所公开的车型识别方法仅仅利用车辆的全局图像进行车型识别，并没有考虑根据或进一步结合车辆部件(例如，车灯、车轮、车头车标、车尾车标及排量信息等)的图像信息进行车型识别的方法。
发明内容
本发明的目的是通过以下技术方案实现的。
根据本发明的神经网络系统，包括：
局部特征神经网络，所述局部特征神经网络用于根据车辆部件图像进行车型分类，包括：
第一局部卷积层和第一局部池化层，所述第一局部卷积层和第一局部池化层采用VGG16神经网络的第一卷积层和第一最大池化层的网络；
第二局部卷积层和第二局部池化层，所述第二局部卷积层和第二局部池化层采用VGG16神经网络的第三卷积层和第三最大池化层的网络；
第三局部卷积层和第三局部池化层，所述第三局部卷积层和第三局部池化层采用VGG16神经网络的第五卷积层和第五最大池化层的网络；
第四局部全连结层，所述第四局部全连结层采用VGG16神经网络的第六全连接层的网络；
第五局部全连结层，所述第五局部全连结层包括至少一个局部全连接网络，所述至少一个局部全连接网络中的每一个局部全连接网络都采用VGG16神经网络的第七全连接层的网络；
第六局部分类层，所述第六局部分类层包括至少一个局部分类网络，所述至少一个局部分类网络中的每一个局部分类网络分别与所述第五局部全连结层中的至少一个局部全连接网络中的一个局部全连接网络一一对应连接、且都采用VGG16神经网络的第八全连接层和第九soft-max分类层的网络。
根据本发明的神经网络系统，还包括：
全局特征神经网络，所述全局特征神经网络用于根据车辆全局图像进行车型分类，包括：
第一全局卷积层和第一全局池化层，所述第一全局卷积层和第一全局池化层与所述第一局部卷积层和第一局部池化层共用所述VGG16神经网络的第一卷积层和第一最大池化层的网络；
第二全局卷积层和第二全局池化层，所述第二全局卷积层和第二全局池化层采用VGG16神经网络的第二卷积层和第二最大池化层的网络；
第三全局卷积层和第三全局池化层，所述第三全局卷积层和第三全局池化层采用VGG16神经网络的第三卷积层和第三最大池化层的网络；
第四全局卷积层和第四全局池化层，所述第四全局卷积层和第四全局池化层采用VGG16神经网络的第四卷积层和第四最大池化层的网络；
第五全局卷积层和第五全局池化层，所述第五全局卷积层和第五全局池化层采用VGG16神经网络的第五卷积层和第五最大池化层的网络；
第六全局全连结层，所述第六全局全连结层采用VGG16神经网络的第六全连接层的网络；
第七全局全连结层，所述第七全局全连结层采用VGG16神经网络的第七全连接层的网络；
第八全局分类层，所述第八全局分类层采用VGG16神经网络的第八全连接层和第九soft-max分类层的网络。
根据本发明的神经网络系统，还包括：
第一分类结果统计输出层，用于根据所述第六局部分类层的多个局部分类网络输出的多个分类结果输出最终的分类结果。
根据本发明的神经网络系统，还包括：
第二分类结果统计输出层，用于根据所述第六局部分类层的所述至少一个局部分类网络输出的至少一个分类结果和所述第八全局分类层输出的分类结果输出最终的分类结果。
根据本发明的神经网络系统，还包括：
车辆部件检测与裁切神经网络，所述车辆部件检测与裁切神经网络采用Fast R-CNN网络，用于向所述局部特征神经网络输入经过检测与裁切的车辆部件图像。
根据本发明的神经网络系统，还包括：
车辆部件检测与裁切神经网络，所述车辆部件检测与裁切神经网络采用Fast R-CNN网络，用于向所述局部特征神经网络输入经过检测与裁切的车辆部件图像；以及
车辆检测与裁切神经网络，所述车辆检测与裁切神经网络采用Fast R-CNN网络，用于向所述全局特征神经网络输入经过检测与裁切的车辆全局图像。
根据本发明的神经网络系统，所述车辆部件至少包括车灯、车轮、车头车标、车尾车标及排量信息中的至少一个。
根据本发明的基于神经网络系统的车型识别方法，包括：
步骤1：构建根据上文所述的神经网络系统；
步骤2：对所述神经网络系统进行训练；
步骤3：使用经过训练的所述神经网络系统进行车型识别。
根据本发明的车型识别方法，在步骤2之后还包括：
步骤2’：当所述神经网络系统仅仅包括所述局部特征神经网络时，通过对所述第四局部全连结层、和/或所述第五局部全连结层的至少一个局部全连接网络中的至少一个局部全连接网络、和/或所述第六局部分类层中的全连接层所采用的网络与前一层网络的输出端和/或后一层网络的输入端之间的全连接关系所对应的连接系数进行SVD分解的方法，删除所述全连接关系中的部分连接关系；或者
当所述神经网络系统包括所述局部特征神经网络和所述全局特征神经网络时，通过对所述第四局部全连结层、和/或所述第六全局全连结层、和/或所述第七全局全连结层、和/或所述第五局部全连结层的至少一个局部全连接网络中的至少一个局部全连接网络、和/或所述第八全局分类层中的全连接层所采用的网络与前一层网络的输出端和/或后一层网络的输入端之间的全连接关系所对应的连接系数进行SVD分解的方法，删除所述全连接关系中的部分连接关系。
本发明的优点在于：能够根据或进一步结合车辆部件的图像信息进行车型的识别。
附图说明
通过阅读下文具体实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施方式的第一种神经网络系统的示意图。
图2示出了根据本发明实施方式的第二种神经网络系统的示意图。
具体实施方式
下面将参考附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明实施方式的第一种神经网络系统100的示意图。
如图1所示，神经网络系统100包括局部特征神经网络101。局部特征神经网络101用于根据车辆部件图像进行车型分类。即，根据输入的至少一种车辆部件图，输出车型的识别结果。
例如，车辆部件至少包括车灯、车轮、车头车标、车尾车标及排量信息等。可以被识别的车辆类型至少包括：小轿车、吉普车、皮卡车、小型货车、小型客车、中型货车、中型客车、大型货车、大型客车、重型拖车、重型挂车等。
局部特征神经网络101包括：第一局部卷积层(即，Conv1层)和第一局部池化层(即，pooling1层)、第二局部卷积层(即，Conv3层)和第二局部池化层(即，pooling3层)、第三局部卷积层(即，Conv5层)和第三局部池化层(即，pooling5层)、第四局部全连结层(即，fc6层)、第五局部全连结层(即，包括Fc7_2、Fc7_3、Fc7_4和Fc7_5的层)和第六局部分类层(即，包括第一局部分类网络、第二局部分类网络、第三局部分类网络和第四局部分类网络的层)。
所述第一局部卷积层和第一局部池化层采用VGG16神经网络的第一卷积层和第一最大池化层的网络。
所述第二局部卷积层和第二局部池化层采用VGG16神经网络的第三卷积层和第三最大池化层的网络。
所述第三局部卷积层和第三局部池化层采用VGG16神经网络的第五卷积层和第五最大池化层的网络。
所述第四局部全连结层采用VGG16神经网络的第六全连接层的网络。
所述第五局部全连结层包括至少一个局部全连接网络(即，Fc7_2、Fc7_3、Fc7_4和Fc7_5中的至少一个)，所述至少一个局部全连接网络中的每一个局部全连接网络都采用VGG16神经网络的第七全连接层的网络。
所述第六局部分类层包括至少一个局部分类网络(即，第一局部分类网络、第二局部分类网络、第三局部分类网络和第四局部分类网络中的至少一个)，所述至少一个局部分类网络中的每一个局部分类网络分别与所述第五局部全连结层中的至少一个局部全连接网络中的一个局部全连接网络一一对应连接、且都采用VGG16神经网络的第八全连接层和第九soft-max分类层的网络。
例如，关于VGG16神经网络的具体信息可以参考Karen Simonyan和AndrewZisserman于2015年在ICLR(国际学习表征会议)上发表的文章《Very Deep ConvolutionalNetworks For Large-Scale Image Recognition》。具体可以参考其表1中所列举的ConvNet配置D(即，VGG16)及相关文字描述。
例如，第一局部分类网络、第二局部分类网络、第三局部分类网络和第四局部分类网络可以用于分别根据车灯、车轮、车头车标和车尾车标及排量信息等来进行车型识别，并且输出各自的车型识别结果。
可选地，如图1下部小的虚线框所示，神经网络系统100还包括第一分类结果统计输出层，用于根据所述第六局部分类层的多个局部分类网络输出的多个分类结果输出最终的分类结果。
尽管在图1中未示出，然而，可选地，神经网络系统100还可以包括车辆部件检测与裁切神经网络，所述车辆部件检测与裁切神经网络采用Fast R-CNN网络，用于向所述局部特征神经网络输入经过检测与裁切的车辆部件图像。
例如，所述Fast R-CNN网络可以是微软公司的Ross Girshick于2015年在ICCV(国际计算机视觉大会)上发表的文章《Fast R-CNN》中所介绍的神经网络。
图2示出了根据本发明实施方式的第二种神经网络系统200的示意图。
如图2所示，神经网络系统200除了包括如图1所示的局部特征神经网络101之外，还包括全局特征神经网络201。全局特征神经网络201用于根据车辆全局图像进行车型分类。即，同时根据输入的车辆全局图像和至少一种车辆部件图，输出车型的识别结果。
全局特征神经网络201包括：第一全局卷积层(即，Conv1层)和第一全局池化层(即，pooling1层)、第二全局卷积层(即，Conv2层)和第二全局池化层(即，pooling2层)、第三全局卷积层(即，Conv3层)和第三全局池化层(即，pooling3层)、第四全局卷积层(即，Conv4层)和第四全局池化层(即，pooling4层)、第五全局卷积层(即，Conv5层)和第五全局池化层(即，pooling5层)、第六全局全连结层(即，fc6层)、第七全局全连结层(即，fc7_1层)和第八全局分类层(即，全局分类层)。
如图2所示，所述第一全局卷积层和第一全局池化层与局部特征神经网络101的第一局部卷积层和第一局部池化层共用所述VGG16神经网络的第一卷积层和第一最大池化层的网络。
所述第二全局卷积层和第二全局池化层采用VGG16神经网络的第二卷积层和第二最大池化层的网络。
所述第三全局卷积层和第三全局池化层采用VGG16神经网络的第三卷积层和第三最大池化层的网络。
所述第四全局卷积层和第四全局池化层采用VGG16神经网络的第四卷积层和第四最大池化层的网络。
所述第五全局卷积层和第五全局池化层采用VGG16神经网络的第五卷积层和第五最大池化层的网络。
所述第六全局全连结层采用VGG16神经网络的第六全连接层的网络。
所述第七全局全连结层采用VGG16神经网络的第七全连接层的网络。
所述第八全局分类层采用VGG16神经网络的第八全连接层和第九soft-max分类层的网络。
例如，关于VGG16神经网络的具体信息可以参考Karen Simonyan和AndrewZisserman于2015年在ICLR(国际学习表征会议)上发表的文章《Very Deep ConvolutionalNetworks For Large-Scale Image Recognition》。具体可以参考其表1中所列举的ConvNet配置D(即，VGG16)及相关文字描述。
可选地，如图2下部的虚线框所示，神经网络系统200还包括第二分类结果统计输出层，用于根据所述第六局部分类层的所述至少一个局部分类网络输出的至少一个分类结果和所述第八全局分类层输出的分类结果输出最终的分类结果。
尽管在图2中未示出，然而，可选地，神经网络系统200还可以包括车辆部件检测与裁切神经网络和车辆检测与裁切神经网络。
所述车辆部件检测与裁切神经网络采用Fast R-CNN网络，用于向所述局部特征神经网络输入经过检测与裁切的车辆部件图像。
所述车辆检测与裁切神经网络也采用Fast R-CNN网络，用于向所述全局特征神经网络输入经过检测与裁切的车辆全局图像。
例如，所述Fast R-CNN网络可以是微软公司的Ross Girshick于2015年在ICCV(国际计算机视觉大会)上发表的文章《Fast R-CNN》中所介绍的神经网络。
针对根据本发明的上述神经网络，还提出了基于该神经网络系统的车型识别方法，包括以下步骤：
步骤1：构建根据上文所述的神经网络系统100或神经网络系统200。
例如，由于系统包含神经网络系统100和神经网络系统200都包括局部特征神经网络101，能够充分利用车辆外围车身上的车灯、车轮、车头车标和车尾车标及排量信息等(即，车辆局部特征)图像信息(即，包括车身各处的360度的图像信息)，因此，可以被看作是一个360度的神经网络模型。
例如，当局部特征神经网络101仅仅基于一种车辆局部特征进行车型识别时，该模型为单一局部模型。当局部特征神经网络101基于多种车辆局部特征进行车型识别时，该模型为混合局部模型。而神经网络系统200由于同时包含了局部特征神经网络101和全局特征神经网络201，因此被称作统一模型。
步骤2：对神经网络系统100或神经网络系统200进行训练。
例如，对单一局部模型或混合局部模型进行训练时，需要结合车辆不同部位图像数据库(即，车辆局部特征图像数据库)，例如，该数据库可以包含由人工标记和裁切的车辆不同部位图像、或者通过目标(包括车辆、车辆的不同部件)检测与裁切模型(例如，上述Fast R-CNN网络)自动检测和裁切的车辆不同部位图像。
例如，对统一模型进行训练时，要结合上述车辆不同部位图像数据库和车辆全局图像数据库进行训练。此时，例如，可以分别训练出单一模型，再对具有较高准确率的模型进行融合为多任务输出结构，再次对融合后模型进行训练，并删减一些特征提取不理想的网络层，最终构建一个能具有所有的信息的输出且具有较高准确率的统一模型。
步骤3：使用经过训练的神经网络系统100或神经网络系统200进行车型识别(即，分类)。
例如，针对上述统一模型，可以使用经过训练(即，参数迭代收敛后)的神经网络系统200所得到的目标车辆的全局特征和局部特征，通过Softmax进行分类输出(即，车辆识别输出)。
例如，还可以为基于车辆全局图像和不同部位图像(即，不同的车辆局部特征图像)的车型识别输出结果设置不同优先级(例如，全图的输出结果优先级最高、局部图中车灯优先级最低)，并分别比较基于车辆全局图像和不同部位图像所各自输出的不同车型的识别概率中的最大概率值与各自的设定阈值，进行选择或加权计算，输出最终的分类结果。
对上述神经网络进行训练的方法同样可以参考微软公司的Ross Girshick于2015年在ICCV(国际计算机视觉大会)上发表的文章《Fast R-CNN》。具体可以参考其第2节和第4.4节、以及其中引用的相关文献。
可选地，根据本发明的车型识别方法，在步骤2之后还包括以下步骤：
步骤2’：针对结合上述神经网络系统100(其仅仅包括局部特征神经网络101)的车型识别方法，通过对所述第四局部全连结层、和/或所述第五局部全连结层的至少一个局部全连接网络中的至少一个局部全连接网络、和/或所述第六局部分类层中的全连接层所采用的网络与前一层网络的输出端和/或后一层网络的输入端之间的全连接关系所对应的连接系数进行SVD分解的方法，删除所述全连接关系中的部分连接关系。即，可以基于神经网络系统100构建单一局部压缩模型或者混合局部压缩模型。
例如，使用上述单一局部压缩模型或者混合局部压缩模型可以提取和识别车辆不同部位的(例如1024维的)特征，所提取的车辆不同部位的特征是基于深度学习所描述的图像特征。
或者，针对结合上述神经网络系统200(其同时包括局部特征神经网络101和全局特征神经网络201)的车型识别方法，通过对所述第四局部全连结层、和/或所述第六全局全连结层、和/或所述第七全局全连结层、和/或所述第五局部全连结层的至少一个局部全连接网络中的至少一个局部全连接网络、和/或所述第八全局分类层中的全连接层所采用的网络与前一层网络的输出端和/或后一层网络的输入端之间的全连接关系所对应的连接系数进行SVD分解的方法，删除所述全连接关系中的部分连接关系。即，可以基于神经网络系统200构建统一压缩模型。
例如，使用上述统一压缩模型可以同时提取和识别车辆不同部位的(例如1024维的)特征和车辆的(例如1024维的)全局特征，它们都是基于深度学习所描述的图像特征。
例如，根据SVD分解来删除部分连接关系的方法可以参考微软公司的RossGirshick于2015年在ICCV(国际计算机视觉大会)上发表的文章《Fast R-CNN》。具体可以参考其3.1节、以及3.1节中所列举的引用文献。
例如，上述各种不同的压缩模型是在保证准确率不降低的情况下对全连接层进行SVD分解，例如，获取前1024项有效参数，对其他影响较小的参数进行删除，以简化最终模型。
即，可以通过上述模型简化方法来寻找车型识别结果至少相同、且运算更加高效的压缩模型。另外，还可以进行模型融合与修改，以在提高最终模型的识别准确率的同时，减小模型结构与精简模型参数，并可以将最终分类层修改为多任务输出结构。
利用本发明的上述神经网络系统100进行车型识别的方法，能够基于车辆部件图像(即，局部特写图，包括车灯、车轮、车标、车尾标准信息)进行多渠道车辆识别，提出了与基于原始的VGG16网络模型对所裁切的车辆全局图像进行车型识别的传统方法完全不同的一种技术方案。由于所采用的局部特征神经网络101针对VGG16网络模型的网络结构进行了修改(例如，删除了其中的Conv2、Conv4层及其各自的池化层)，例如，提高了车辆的小尺寸图像中的车型识别的准确率。
利用本发明的上述神经网络系统200进行车型识别的方法，由于同时采用了局部特征神经网络101和全局特征神经网络201分别基于车辆部件图像和车辆全局图像进行车型识别(即，采用了混合网络模型进行车型识别)，并且能够结合多输入与多输出的多任务模型(局部特写图、即车辆部件图像混合多任务模型)进行训练和识别，例如，能够进一步提高基于原始的VGG16网络模型对所裁切的车辆全局图像进行车型识别的传统方法所能够达到的车型识别的准确率。
以上所述，仅为本发明示例性的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种神经网络系统，其特征在于，包括：
局部特征神经网络，所述局部特征神经网络用于根据车辆部件图像进行车型分类，包括：
第一局部卷积层和第一局部池化层，所述第一局部卷积层和第一局部池化层采用VGG16神经网络的第一卷积层和第一最大池化层的网络；
第二局部卷积层和第二局部池化层，所述第二局部卷积层和第二局部池化层采用VGG16神经网络的第三卷积层和第三最大池化层的网络；
第三局部卷积层和第三局部池化层，所述第三局部卷积层和第三局部池化层采用VGG16神经网络的第五卷积层和第五最大池化层的网络；
第四局部全连结层，所述第四局部全连结层采用VGG16神经网络的第六全连接层的网络；
第五局部全连结层，所述第五局部全连结层包括至少一个局部全连接网络，所述至少一个局部全连接网络中的每一个局部全连接网络都采用VGG16神经网络的第七全连接层的网络；
第六局部分类层，所述第六局部分类层包括至少一个局部分类网络，所述至少一个局部分类网络中的每一个局部分类网络分别与所述第五局部全连结层中的至少一个局部全连接网络中的一个局部全连接网络一一对应连接、且都采用VGG16神经网络的第八全连接层和第九soft-max分类层的网络。
2.根据权利要求1所述的神经网络系统，其特征在于，还包括：
全局特征神经网络，所述全局特征神经网络用于根据车辆全局图像进行车型分类，包括：
第一全局卷积层和第一全局池化层，所述第一全局卷积层和第一全局池化层与所述第一局部卷积层和第一局部池化层共用所述VGG16神经网络的第一卷积层和第一最大池化层的网络；
第二全局卷积层和第二全局池化层，所述第二全局卷积层和第二全局池化层采用VGG16神经网络的第二卷积层和第二最大池化层的网络；
第三全局卷积层和第三全局池化层，所述第三全局卷积层和第三全局池化层采用VGG16神经网络的第三卷积层和第三最大池化层的网络；
第四全局卷积层和第四全局池化层，所述第四全局卷积层和第四全局池化层采用VGG16神经网络的第四卷积层和第四最大池化层的网络；
第五全局卷积层和第五全局池化层，所述第五全局卷积层和第五全局池化层采用VGG16神经网络的第五卷积层和第五最大池化层的网络；
第六全局全连结层，所述第六全局全连结层采用VGG16神经网络的第六全连接层的网络；
第七全局全连结层，所述第七全局全连结层采用VGG16神经网络的第七全连接层的网络；
第八全局分类层，所述第八全局分类层采用VGG16神经网络的第八全连接层和第九soft-max分类层的网络。
3.根据权利要求1所述的神经网络系统，其特征在于，还包括：
第一分类结果统计输出层，用于根据所述第六局部分类层的多个局部分类网络输出的多个分类结果输出最终的分类结果。
4.根据权利要求2所述的神经网络系统，其特征在于，还包括：
第二分类结果统计输出层，用于根据所述第六局部分类层的所述至少一个局部分类网络输出的至少一个分类结果和所述第八全局分类层输出的分类结果输出最终的分类结果。
5.根据权利要求1所述的神经网络系统，其特征在于，还包括：
车辆部件检测与裁切神经网络，所述车辆部件检测与裁切神经网络采用Fast R-CNN网络，用于向所述局部特征神经网络输入经过检测与裁切的车辆部件图像。
6.根据权利要求2所述的神经网络系统，其特征在于，还包括：
车辆部件检测与裁切神经网络，所述车辆部件检测与裁切神经网络采用Fast R-CNN网络，用于向所述局部特征神经网络输入经过检测与裁切的车辆部件图像；以及
车辆检测与裁切神经网络，所述车辆检测与裁切神经网络采用Fast R-CNN网络，用于向所述全局特征神经网络输入经过检测与裁切的车辆全局图像。
7.根据权利要求1或2所述的神经网络系统，其特征在于，所述车辆部件至少包括车灯、车轮、车头车标、车尾车标及排量信息中的至少一个。
8.一种基于神经网络系统的车型识别方法，其特征在于，包括：
步骤1：构建根据权利要求1或2所述的神经网络系统；
步骤2：对所述神经网络系统进行训练；
步骤3：使用经过训练的所述神经网络系统进行车型识别。
9.根据权利要求8所述的车型识别方法，其特征在于，在步骤2之后还包括：
步骤2’：当所述神经网络系统仅仅包括所述局部特征神经网络时，通过对所述第四局部全连结层、和/或所述第五局部全连结层的至少一个局部全连接网络中的至少一个局部全连接网络、和/或所述第六局部分类层中的全连接层所采用的网络与前一层网络的输出端和/或后一层网络的输入端之间的全连接关系所对应的连接系数进行SVD分解的方法，删除所述全连接关系中的部分连接关系；或者
当所述神经网络系统包括所述局部特征神经网络和所述全局特征神经网络时，通过对所述第四局部全连结层、和/或所述第六全局全连结层、和/或所述第七全局全连结层、和/或所述第五局部全连结层的至少一个局部全连接网络中的至少一个局部全连接网络、和/或所述第八全局分类层中的全连接层所采用的网络与前一层网络的输出端和/或后一层网络的输入端之间的全连接关系所对应的连接系数进行SVD分解的方法，删除所述全连接关系中的部分连接关系。
CN201711092642.9A 2017-11-08 2017-11-08 一种神经网络系统及基于该神经网络系统的车型识别方法 Pending CN108052861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711092642.9A CN108052861A (zh) 2017-11-08 2017-11-08 一种神经网络系统及基于该神经网络系统的车型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711092642.9A CN108052861A (zh) 2017-11-08 2017-11-08 一种神经网络系统及基于该神经网络系统的车型识别方法

Publications (1)

Publication Number Publication Date
CN108052861A true CN108052861A (zh) 2018-05-18

Family

ID=62119037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711092642.9A Pending CN108052861A (zh) 2017-11-08 2017-11-08 一种神经网络系统及基于该神经网络系统的车型识别方法

Country Status (1)

Country Link
CN (1) CN108052861A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190687A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种神经网络系统及其识别车辆属性的方法
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN109635141A (zh) * 2019-01-29 2019-04-16 京东方科技集团股份有限公司 用于检索图像的方法、电子设备和计算机可读存储介质
CN109903248A (zh) * 2019-02-20 2019-06-18 厦门美图之家科技有限公司 一种生成自动白平衡模型的方法和图像处理方法
CN110490311A (zh) * 2019-07-08 2019-11-22 华南理工大学 基于risc-v架构的卷积神经网络加速装置及其控制方法
TWI684920B (zh) * 2018-12-05 2020-02-11 財團法人資訊工業策進會 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體
CN115206078A (zh) * 2022-09-15 2022-10-18 法施达(天津)智能科技有限公司 基于云数据分析的铁路锚固检测及预警方法、系统及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204215553U (zh) * 2014-04-04 2015-03-18 北京卓视智通科技有限责任公司 基于实时双路视频流的车型精确分类系统
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
CN105590102A (zh) * 2015-12-30 2016-05-18 中通服公众信息产业股份有限公司 一种基于深度学习的前车车脸识别方法
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106250838A (zh) * 2016-07-27 2016-12-21 乐视控股（北京）有限公司 车辆识别方法及系统
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及系统
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN106446834A (zh) * 2016-09-27 2017-02-22 东软集团股份有限公司 一种基于图像的车型识别方法及装置
CN106485235A (zh) * 2016-10-24 2017-03-08 厦门美图之家科技有限公司 一种卷积神经网络生成方法、年龄识别方法及相关装置
CN107301417A (zh) * 2017-06-28 2017-10-27 广东工业大学 一种无监督多层神经网络的车辆品牌识别的方法及装置
CN107330463A (zh) * 2017-06-29 2017-11-07 南京信息工程大学 基于cnn多特征联合和多核稀疏表示的车型识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204215553U (zh) * 2014-04-04 2015-03-18 北京卓视智通科技有限责任公司 基于实时双路视频流的车型精确分类系统
US20160140424A1 (en) * 2014-11-13 2016-05-19 Nec Laboratories America, Inc. Object-centric Fine-grained Image Classification
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
CN105590102A (zh) * 2015-12-30 2016-05-18 中通服公众信息产业股份有限公司 一种基于深度学习的前车车脸识别方法
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106250838A (zh) * 2016-07-27 2016-12-21 乐视控股（北京）有限公司 车辆识别方法及系统
CN106295541A (zh) * 2016-08-03 2017-01-04 乐视控股（北京）有限公司 车辆类型识别方法及系统
CN106446834A (zh) * 2016-09-27 2017-02-22 东软集团股份有限公司 一种基于图像的车型识别方法及装置
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN106485235A (zh) * 2016-10-24 2017-03-08 厦门美图之家科技有限公司 一种卷积神经网络生成方法、年龄识别方法及相关装置
CN107301417A (zh) * 2017-06-28 2017-10-27 广东工业大学 一种无监督多层神经网络的车辆品牌识别的方法及装置
CN107330463A (zh) * 2017-06-29 2017-11-07 南京信息工程大学 基于cnn多特征联合和多核稀疏表示的车型识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HEIKKI HUTTUNEN 等: "Car Type Recognition with Deep Neural Networks", 《ARXIV》 *
KUN HUANG 等: "Fine-grained Vehicle Recognition by Deep Convolutional Neural Network", 《CISP-BMEI 2016》 *
SHUAI ZHAO 等: "Research on the Recognition of Car Models Based on Deep-learning Networks", 《2017 ASIA-PACIFIC ENGINEERING AND TECHNOLOGY CONFERENCE (APETC 2017)》 *
张军 等: "深度卷积神经网络的汽车车型识别方法", 《传感器与微系统》 *
郭晓伟 等: "基于卷积神经网络的车型识别", 《第二十届计算机工程与工艺年华会暨第六届微处理器技术论坛论文集》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190687A (zh) * 2018-08-16 2019-01-11 新智数字科技有限公司 一种神经网络系统及其识别车辆属性的方法
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
TWI684920B (zh) * 2018-12-05 2020-02-11 財團法人資訊工業策進會 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體
CN109635141A (zh) * 2019-01-29 2019-04-16 京东方科技集团股份有限公司 用于检索图像的方法、电子设备和计算机可读存储介质
US11113586B2 (en) 2019-01-29 2021-09-07 Boe Technology Group Co., Ltd. Method and electronic device for retrieving an image and computer readable storage medium
CN109903248A (zh) * 2019-02-20 2019-06-18 厦门美图之家科技有限公司 一种生成自动白平衡模型的方法和图像处理方法
CN110490311A (zh) * 2019-07-08 2019-11-22 华南理工大学 基于risc-v架构的卷积神经网络加速装置及其控制方法
CN115206078A (zh) * 2022-09-15 2022-10-18 法施达(天津)智能科技有限公司 基于云数据分析的铁路锚固检测及预警方法、系统及设备
CN115206078B (zh) * 2022-09-15 2022-12-16 法施达(天津)智能科技有限公司 基于云数据分析的铁路锚固检测及预警方法、系统及设备

Similar Documents

Publication Publication Date Title
CN108052861A (zh) 一种神经网络系统及基于该神经网络系统的车型识别方法
CN106599773B (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
CN105335710A (zh) 一种基于多级分类器的精细车辆型号识别方法
CN106446949B (zh) 一种车辆型号识别方法及装置
CN102968637B (zh) 一种复杂背景图像文字分割方法
CN108509978A (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN107590489A (zh) 基于级联卷积神经网络的目标检测方法
CN110309723B (zh) 一种基于人体特征细分类的驾驶员行为识别方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN106295541A (zh) 车辆类型识别方法及系统
CN104463241A (zh) 一种智能交通监控系统中的车辆类型识别方法
CN110555347B (zh) 具有危险载货行为的车辆目标识别方法、装置及电子设备
CN113723377B (zh) 一种基于ld-ssd网络的交通标志检测方法
CN106250838A (zh) 车辆识别方法及系统
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN111401162A (zh) 渣土车违法审核方法、电子装置、计算机设备和存储介质
CN106257490A (zh) 检测行驶车辆信息的方法及系统
CN112364721A (zh) 一种道面异物检测方法
CN107038442A (zh) 一种基于深度学习的车牌检测和整体识别方法
CN108388871A (zh) 一种基于车身回归的车辆检测方法
CN110516691A (zh) 一种车辆尾气检测方法和装置
CN110163109A (zh) 一种车道线标注方法及装置
CN109993058A (zh) 基于多标签分类的道路交通标志的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication