CN107301417A - 一种无监督多层神经网络的车辆品牌识别的方法及装置 - Google Patents

一种无监督多层神经网络的车辆品牌识别的方法及装置 Download PDF

Info

Publication number
CN107301417A
CN107301417A CN201710507030.5A CN201710507030A CN107301417A CN 107301417 A CN107301417 A CN 107301417A CN 201710507030 A CN201710507030 A CN 201710507030A CN 107301417 A CN107301417 A CN 107301417A
Authority
CN
China
Prior art keywords
convolutional layer
network
image
characteristic image
sizes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710507030.5A
Other languages
English (en)
Inventor
程良伦
陈仿雄
佘爽
黄振杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710507030.5A priority Critical patent/CN107301417A/zh
Publication of CN107301417A publication Critical patent/CN107301417A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无监督多层神经网络的车辆品牌识别的方法，可以通过第一神经网络从车辆行驶图像中选出包含车标的图像，从而排除大量不包含车标的区域的图像，使得对于车辆品牌数据进行人工标注的工作量大大减少；本发明还公开了一种无监督多层神经网络的车辆品牌识别的装置，同样具有上述有益效果。

Description

一种无监督多层神经网络的车辆品牌识别的方法及装置
技术领域
本发明涉及人工智能领域，尤其涉及一种无监督多层神经网络的车辆品牌识别的方法及装置。
背景技术
随着人民生活水平的不断提高，整个城市中汽车数量在不断的增多，道路承载状况与汽车增长量之间的矛盾日益突出。由此产生的道路堵塞，事故频发等问题依然是当今社会的热点问题。
而在智能交通系统方向上，车型识别时其主要应用，但是由于单单识别出车型，对于交通监控、交通管制、交通事故责任判定等方面提供的信息太少，此时需要更进一步的对车辆品牌进行识别，对交通管理等方面提供更多的信息。
在现有技术中，对于车型进行识别已经有很好的应用，但是对车辆品牌进行识别却还处在研究阶段，没有一个成型的方案对车辆品牌进行识别。对车辆品牌进行识别与对车型进行识别相比，其难点在于车辆品牌数据需要对其进行大量的人工标注，其工作量太大，所以现阶段没有一个成型的方案可以对车辆品牌进行识别。
发明内容
有鉴于此，本发明的主要目的在于提供一种无监督多层神经网络的车辆品牌识别的方法，可以极大的减少对车辆品牌数据进行人工标注的工作量；本发明的另一目的在于提供一种无监督多层神经网络的车辆品牌识别的装置，可以极大的减少对车辆品牌数据进行人工标注的工作量。
为了解决上述技术问题，本发明提供了一种无监督多层神经网络的车辆品牌识别的方法，所述方法包括：
从车辆行驶图像中提取多个感兴趣区域图像；
通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像；
通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值；
选出所述概率值达到预设条件的特征图像所对应的感兴趣区域图像；
通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
通过第二神经网络的多类逻辑回归层识别出所述车标特征图像中的车辆品牌。
可选的，所述通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像包括：
通过第一神经网络的5个卷积层和2个全连接层从所述感兴趣区域中提取特征图像；
其中，所述第一神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第一神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第一神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第一神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第一神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第一神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第一神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
可选的，所述通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像包括：
通过第二神经网络的5个卷积层和2个全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
其中，所述第二神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第二神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第二神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第二神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第二神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第二神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第二神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
可选的，在所述从车辆行驶图像中提取多个感兴趣区域图像之后，所述方法进一步包括：
将多个所述感兴趣区域调整到预先设置的尺寸。
可选的，所述通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值包括：
通过所述第一神经网络的全连接层的回归损失函数SmoothL1调整所述特征图像中特征的位置；
通过所述第一神经网络的全连接层的分类损失函数SoftMax计算所述特征图像中包含车标的概率值。
本发明还提供了一种无监督多层神经网络的车辆品牌识别的装置，所述装置包括：
感兴趣区域图像提取模块：用于从车辆行驶图像中提取多个感兴趣区域图像；
特征图像提取模块：用于通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像；
计算模块：用于通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值；
选择模块：用于选出所述概率值达到预设条件的特征图像所对应的感兴趣区域图像；
车标特征图像提取模块：用于通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
识别模块：用于通过第二神经网络的多类逻辑回归层识别出所述车标特征图像中的车辆品牌。
可选的，所述特征图像提取模块具体用于：
通过第一神经网络的5个卷积层和2个全连接层从所述感兴趣区域中提取特征图像；
其中，所述第一神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第一神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第一神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第一神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第一神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第一神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第一神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
可选的，所述车标特征图像提取模块具体用于：
通过第二神经网络的5个卷积层和2个全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
其中，所述第二神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第二神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第二神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第二神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第二神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第二神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第二神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
可选的，在所述感兴趣区域图像提取模块之后，所述装置进一步包括：
归一化模块：用于将多个所述感兴趣区域调整到预先设置的尺寸。
可选的，所述计算模块包括：
回归损失函数单元：用于通过所述第一神经网络的全连接层的回归损失函数SmoothL1调整所述特征图像中特征的位置；
分类损失函数单元：通过所述第一神经网络的全连接层的分类损失函数SoftMax计算所述特征图像中包含车标的概率值。
本发明所提供的方法，可以通过第一神经网络从车辆行驶图像中选出包含车标的图像，从而排除大量不包含车标的区域的图像，使得对于车辆品牌数据进行人工标注的工作量大大减少。本发明还提供了一种基于上述方法的车辆品牌识别装置，同样具有上述有益效果，在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的第一种车辆品牌识别方法的流程图；
图2为本发明实施例所提供的第二种车辆品牌识别方法的流程图；
图3为本发明实施例提供的无监督多层神经网络的车辆品牌识别装置的结构框图。
具体实施方式
本发明的核心是提供一种无监督多层神经网络的车辆品牌识别的方法，在现有技术中，由于在对具体的车辆品牌进行识别时，需要对车辆品牌数据进行大量的人工标注，其工作量太大，导致现阶段没有一个成型的方案可以对车辆品牌进行识别。
而本发明所提供的车辆品牌识别方法，可以通过第一神经网络从车辆行驶图像中选出包含车标的图像，从而排除大量不包含车标的区域的图像，使得对于车辆品牌数据进行人工标注的工作量大大减少。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的第一种车辆品牌识别方法的流程图，该方法包括：
S101：从车辆行驶图像中提取多个感兴趣区域图像。
在本步骤中，所述车辆行驶图像是通过安装在行驶道路上的摄像头或者是抓拍卡口拍摄所得，当然也可以是通过其他方式获得的车辆行驶图像，在此不做具体限定。
从所述车辆行驶图像中提取多个感兴趣区域图像的方法通常是采用SelectiveSearch方法提取所述感兴趣区域图像，因为所述Selective Search方法综合了蛮力搜索和分割的方法，可以提供多种策略，能够大幅降低搜索空间。当然也可以选择其他的方式从车辆行驶图像中提取多个感兴趣区域图像，多个所述感兴趣区域图像应该尽可能的包括所述车辆行驶图像中大部分区域，以保证在后续提取的特征图像能够尽可能多的包括所述车辆行驶图像中的特征。
S102：通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像。
在本步骤中，所述第一神经网络的作用是从在S101中提取的感兴趣区域图像中提取特征图像，其中特征图像是由所述感兴趣区域图像中的特征所构成。特征图像中的特征大体上是其对应的感兴趣区域图像中各个物体的轮廓，特征图像所构成的图画代表着其对应的感兴趣区域图像中各个物体。
从所述感兴趣区域中提取特征图像的网络在本发明实施例中称作第一神经网络。在第一神经网络中，主要用于提取特征图像的是卷积层和全连接层，当然还包括有其他层共同从感兴趣区域图像中提取特征图像。有关于第一神经网络的具体结构以及各个层的工作流程，将在下述实施例中做详细描述，在此不再赘述。
S103：通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值。
在本发明实施例中，第一神经网络的最后一层全连接层是由多任务损失函数构成的。当感兴趣区域图像逐渐通过第一神经网络的各个层到达最后一层全连接层的时候，会通过所述多任务损失函数来计算每个特征图像中包含车标的概率值。在通常情况下，是选用分类损失函数SoftMax来当做所述多任务损失函数来计算所述特征图像中包含车标的概率值，当然也可以选择其它损失函数来计算所述特征图像中包含车标的概率值，在此不做具体限定，只要能实现本步骤的目的均可。
更进一步的，所述第一神经网络的最后一层全连接层，还可以是由分类损失函数SoftMax和回归损失函数SmoothL1共同构成的，即在此全连接层除了可以通过分类损失函数SoftMax计算特征图像中包含车标的概率值，还可以通过回归损失函数SmoothL1调整特征图像中特征的位置。在本发明实施例中，回归损失函数SmoothL1的作用是更加精确的定位到车标的位置。
S104：选出所述概率值达到预设条件的特征图像所对应的感兴趣区域图像。
在本步骤中，可以是选择所述概率值达到预先设定的阈值的特征图像所对应的感兴趣区域图像，也可以是选出所述概率值最高的特征图像所对应的感兴趣区域图像；当出现存在多个特征图像的概率值均为最大的情况时，可以进一步比较上述特征图像的大小，从中选出相对较小的特征图像所对应的感兴趣区域图像。
当然所述预设条件还可以是除去上述条件之外的其他条件，在此不做具体限定。
在选择出感兴趣区域图像之后，可以是将该感兴趣区域图像直接发送至第二神经网络，以便后续对该感兴趣区域图像中的车标特征进行提取，也可以是在S101中获取的车辆行驶图像中标注出符合预设条件的感兴趣区域图像的坐标，例如该感兴趣区域图像左下角和右上角在车辆行驶图像中的坐标。由于提取的感兴趣区域图像通常是矩形，通过上述两个坐标就可以从车辆行驶图像中确定出该感兴趣区域图像，之后在将该感兴趣区域图像输入到第二神经网络。
S105：通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像。
在本步骤中，第二神经网络与上述第一神经网络的作用相类似，也是从感兴趣区域图像中提取特征图像，不过第二神经网络所提取的图像具体为车标特征图像。在本发明实施例中，第一神经网络的主要作用是从大量感兴趣区域图像中，选出包含车标的感兴趣区域图像，而第二神经网络的作用是从包含车标的感兴趣区域图像中，识别出该车标具体代表了哪种车辆品牌。
在第二神经网络中，主要用于提取特征图像的是卷积层和全连接层，当然还包括有其他层共同从感兴趣区域图像中提取特征图像。有关于第二神经网络的具体结构以及各个层的工作流程，将在下述实施例中做详细描述，在此不再赘述。
S106：通过第二神经网络的多类逻辑回归层识别出所述车标特征图像中的车辆品牌。
在本发明实施例中，第二神经网络除了包括有卷积层和全连接层，还有多类逻辑回归层，所述多类逻辑回归层位于第二神经网络的最后一层，该层是由多类分类的逻辑回归函数构成，其作用是计算出所述车标特征图像中特征为数据库中所记载的各个车标特征图像所对应的车辆品牌的概率值，即计算出当前车标特征图像中所包括的车标为哪一种车辆品牌所对应的车标，其中计算得到的概率值越高，就说明车辆行驶图像中所包括的车辆越有可能是该车辆品牌。所述数据库中预先存有各个车辆品牌在不同环境中，例如在不同光线条件下的车标特征图像，该车标特征图像是通过人工标注得到的。所述数据库用于给多类逻辑回归层最终识别车辆品牌提供依据。
本发明实施例所提供的一种无监督多层神经网络的车辆品牌识别的方法，可以通过第一神经网络从车辆行驶图像中选出包含车标的图像，从而排除大量不包含车标的区域的图像，使得对于车辆品牌数据进行人工标注的工作量大大减少。
下面将对第一神经网络与第二神经网络做详细说明。
请参考图2，图2为本发明实施例所提供的第二种车辆品牌识别方法的流程图，该方法包括：
S201：从车辆行驶图像中提取多个感兴趣区域图像。
本步骤与上述实施例中S101相同，已在上述实施例中做详细描述，在此不再赘述。
S202：通过第一神经网络的5个卷积层和2个全连接层从所述感兴趣区域中提取特征图像。
在本发明实施例中，第一神经网络在构建时参照了CaffeNet网络的结构，所以所述第一神经网络具有5个卷积层和2个全连接层。
在第一神经网络接收所述感兴趣区域图像时，为了方便所述第一神经网络提取特征图像，可以先对全部感兴趣图像进行归一化，即将全部感兴趣区域图像调整到统一的大小，例如227×227。当然，也可以将感兴趣区域图像调整到其他尺寸，但是相应的需要调整下述各个卷积层的卷积核个数或者是卷积核尺寸等等，以便将所述感兴趣区域图像中的特征全部提取出来。
其中，所述第一神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
在经过上述第一卷积层的卷积核提取完特征之后，会生成初步的特征图像，此时所述初步特征图像还会经过ReLu函数和Norm函数，其中ReLu函数用于克服数据梯度消失的问题，以及加快上述提取速度；Norm函数会对所述初步特征图像进行归一化。
在本发明实施例中，所述第一神经网络的每一层卷积层或者是全连接层，都会接收由上一层提取过特征的特征图像中继续提取特征，并将新的特征图像发送至下一层。当所述感兴趣区域图像在经过5层卷积层和2层全连接层之后，就会得到最终的特征图像。
在后续卷积层中，都会让提取到的特征图像经过ReLu函数，以克服其中的数据梯度消失的问题，并加快上述提取速度，在后续说明过程中将不再赘述。
所述第一神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第一神经网络的第一卷积层与第二卷积层之间设置有池化层。
在第一卷积层和第二卷积层之间还会设置有池化层，用于对经过第一卷积层提取的特征图像进行降维，即对经过第一卷积层提取的特征图像做一个聚合统计，以达到降低数据量，加快特征提取速度的目的。
在本发明实施例中，第二卷积层会对第一卷积层生成的特征图像进行填充操作，及对所述特征图像的长跟宽进行填充，会将由第一卷积层所生成的特征图像填充至227×227的大小，以保证第二卷积层可以提取到更多的特征。在提取完特征并生成特征图像之后，在第二卷积层中该特征图像还会经过Norm函数，用于对所述特征图像进行归一化。
所述第一神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第一神经网络的第二卷积层与第三卷积层之间设置有池化层。
在本发明实施例中，第一神经网络的第二卷积层与第三卷积层之间同样设置有池化层，用于对经过第二卷积层提取的特征图像进行降维。详细情形已在上述实施例中做详细描述，在此不再赘述。
在第三卷积层中，会先对由第二卷积层所生成的特征图像进行边长为1的填充，以保证第三卷积层所生成的特征图像的大小为13×13×384。
所述第一神经网络的第四卷积层包括384个大小为3×3×192的卷积核。
在本发明实施例中，为了不让上述感兴趣区域图像在提取的过程中，发生边缘信息随意丢失的现象，在第四卷积层同样进行填充操作，该卷积层的卷积核为384个。
所述第一神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
在本发明实施例中，在第五卷积层会先对由第二卷积层所生成的特征图像进行边长为1的填充，最终第五卷积层所生成的特征图像大小为6×6×256。
在本发明实施例中，第七层与第八层为全连接层。为了防止第一神经网络在提取特征图像的过程中发生过拟合，会在所述全连接层中进行Dropout操作，所述全连接层每层均包括有4096个神经元，即最终生成的特征图像中包括有4096维特征。
S203：通过所述第一神经网络的全连接层的回归损失函数SmoothL1调整所述特征图像中特征的位置。
在本步骤中，会通过回归损失函数SmoothL1对S202中生成的特征图像中的特征进行调整，为了更加精确的定位到车标的位置。
S204：通过所述第一神经网络的全连接层的分类损失函数SoftMax计算所述特征图像中包含车标的概率值。
在本步骤中，会通过分类损失函数SoftMax计算在S202中所生成的特征图像中包含车标的概率值。
S203与S204之间的位置不是固定的，即S204可以在S203之前执行，也可以在S203之后执行。
S205：选出所述概率值达到预设条件的特征图像所对应的感兴趣区域图像。
本步骤与上述实施例中S104相同，已在上述实施例中做详细描述，在此不再进行赘述。
S206：通过第二神经网络的5个卷积层和2个全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像。
其中，所述第二神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核。
所述第二神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第二神经网络的第一卷积层与第二卷积层之间设置有池化层。
所述第二神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第二神经网络的第二卷积层与第三卷积层之间设置有池化层。
所述第二神经网络的第四卷积层包括384个大小为3×3×192的卷积核。
所述第二神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
在本发明实施例中，第二神经网络在构建是参照了AlexNet网络的结构，并对所述AlexNet网络进行了改进，将AlexNet网络的最后一层：二类逻辑回归层改为多类逻辑回归层。在本发明实施例中，第二神经网络除了包括有5个卷积层和两个全连接层，还设置有一个多类逻辑回归层，关于所述多类逻辑回归层将在后续进行详细描述。
在本发明实施例中，所述卷积层与全连接层的设置与本发明实施例中所述第一神经网络相同，具体情形已在上述实施例中做详细描述，在此不再进行展开描述，第二神经网络的卷积层与全连接层的具体构建请参照第一神经网络。在本发明实施例中，第一神经网络输出的特征图像与第二神经网络所输出的车标特征图像均为4096维特征。
S207：通过第二神经网络的多类逻辑回归层识别出所述车标特征图像中的车辆品牌。
在本步骤中，所述多类逻辑回归层的作用是从数据库中预先存储的K类车标特征图像中计算出全连接层输出的数据X具体为哪一类。在多分类中，对每一类定义为：
上述公式为多分类函数，其中W表示为该多分类函数的权重；b表示为该多分类函数的偏值。在神经网络的训练过程中，会自动调整所述分类函数的权重W和偏值b，以得到更好的识别结果。
在本步骤中，还会定义一个指标函数g(a)，使得上述多分类函数可以应用到二类逻辑回归：
在本步骤中，还会定义一个目标函数E，其作用是对Wk和bk进行最小化评估：
在本发明实施例中，所述多类逻辑回归层位于第二神经网络的最后一层，该层是由多类分类的逻辑回归函数构成，其作用是计算出所述车标特征图像中特征为数据库中所记载的各个车标特征图像所对应的车辆品牌的概率值，即计算出当前车标特征图像中所包括的车标为哪一种车辆品牌所对应的车标，其中计算得到的概率值越高，就说明车辆行驶图像中所包括的车辆越有可能是该车辆品牌。所述数据库中预先存有各个车辆品牌在不同环境中，例如在不同光线条件下的K类车标特征图像，该车标特征图像是通过人工标注得到的。所述数据库用于给多类逻辑回归层最终识别车辆品牌提供依据。
本发明实施例所提供的一种无监督多层神经网络的车辆品牌识别的方法，可以通过第一神经网络从车辆行驶图像中选出包含车标的图像，从而排除大量不包含车标的区域的图像，使得对于车辆品牌数据进行人工标注的工作量大大减少。由于本发明利用了第一神经网络和第二神经网络这两个深度模型，能够有效的从复杂环境中提取特征，并且该深度模型具有很好的识别正确率。由于本发明的数据来源量可以很大，这样在对第二神经网络训练时就可以进行更细小的分类，因此能突破在现有技术中只能识别车型的局限，能够更进一步的对车辆品牌进行识别。
下面对本发明实施例提供的一种无监督多层神经网络的车辆品牌识别的装置进行介绍，下文描述的无监督多层神经网络的车辆品牌识别装置与上文描述的无监督多层神经网络的车辆品牌识别方法可相互对应参照。
图3为本发明实施例提供的无监督多层神经网络的车辆品牌识别装置的结构框图，参照图3无监督多层神经网络的车辆品牌识别装置可以包括：
感兴趣区域图像提取模块100：用于从车辆行驶图像中提取多个感兴趣区域图像。
特征图像提取模块200：用于通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像。
计算模块300：用于通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值。
选择模块400：用于选出所述概率值达到预设条件的特征图像所对应的感兴趣区域图像。
车标特征图像提取模块500：用于通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像。
识别模块600：用于通过第二神经网络的多类逻辑回归层识别出所述车标特征图像中的车辆品牌。
在本发明实施例中，所述特征图像提取模块200具体用于：
通过第一神经网络的5个卷积层和2个全连接层从所述感兴趣区域中提取特征图像。
其中，所述第一神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核。
所述第一神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第一神经网络的第一卷积层与第二卷积层之间设置有池化层。
所述第一神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第一神经网络的第二卷积层与第三卷积层之间设置有池化层。
所述第一神经网络的第四卷积层包括384个大小为3×3×192的卷积核。
所述第一神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
在本发明实施例中，所述车标特征图像提取模块500具体用于：
通过第二神经网络的5个卷积层和2个全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像。
其中，所述第二神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核。
所述第二神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第二神经网络的第一卷积层与第二卷积层之间设置有池化层。
所述第二神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第二神经网络的第二卷积层与第三卷积层之间设置有池化层。
所述第二神经网络的第四卷积层包括384个大小为3×3×192的卷积核。
所述第二神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
在本发明实施例中，在所述感兴趣区域图像提取模块100之后，所述装置进一步包括：
归一化模块700：用于将多个所述感兴趣区域调整到预先设置的尺寸。
在本发明实施例中，所述计算模块300可以具体包括：
回归损失函数单元301：用于通过所述第一神经网络的全连接层的回归损失函数SmoothL1调整所述特征图像中特征的位置。
分类损失函数单元302：通过所述第一神经网络的全连接层的分类损失函数SoftMax计算所述特征图像中包含车标的概率值。
本实施例的无监督多层神经网络的车辆品牌识别装置用于实现前述的无监督多层神经网络的车辆品牌识别方法，因此无监督多层神经网络的车辆品牌识别装置中的具体实施方式可见前文中的无监督多层神经网络的车辆品牌识别方法的实施例部分，例如，感兴趣区域图像提取模块100，特征图像提取模块200，计算模块300，选择模块400，车标特征图像提取模块500,识别模块600分别用于实现上述无监督多层神经网络的车辆品牌识别方法中步骤S101，S102，S103，S104，S105和S106所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种无监督多层神经网络的车辆品牌识别的方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种无监督多层神经网络的车辆品牌识别的方法，其特征在于，所述方法包括：
从车辆行驶图像中提取多个感兴趣区域图像；
通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像；
通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值；
选出所述概率值达到预设条件的特征图像所对应的感兴趣区域图像；
通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
通过第二神经网络的多类逻辑回归层识别出所述车标特征图像中的车辆品牌。
2.根据权利要求1所述的方法，其特征在于，所述通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像包括：
通过第一神经网络的5个卷积层和2个全连接层从所述感兴趣区域中提取特征图像；
其中，所述第一神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第一神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第一神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第一神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第一神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第一神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第一神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
3.根据权利要求2所述的方法，其特征在于，所述通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像包括：
通过第二神经网络的5个卷积层和2个全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
其中，所述第二神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第二神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第二神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第二神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第二神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第二神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第二神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
4.根据权利要求1所述的方法，其特征在于，在所述从车辆行驶图像中提取多个感兴趣区域图像之后，所述方法进一步包括：
将多个所述感兴趣区域调整到预先设置的尺寸。
5.根据权利要求1至4任一项权利要求所述的方法，其特征在于，所述通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值包括：
通过所述第一神经网络的全连接层的回归损失函数SmoothL1调整所述特征图像中特征的位置；
通过所述第一神经网络的全连接层的分类损失函数SoftMax计算所述特征图像中包含车标的概率值。
6.一种无监督多层神经网络的车辆品牌识别的装置，其特征在于，所述装置包括：
感兴趣区域图像提取模块：用于从车辆行驶图像中提取多个感兴趣区域图像；
特征图像提取模块：用于通过第一神经网络的卷积层和全连接层从所述感兴趣区域图像中提取特征图像；
计算模块：用于通过所述第一神经网络的全连接层的多任务损失函数计算所述特征图像中包含车标的概率值；
选择模块：用于选出所述概率值达到预设条件的特征图像所对应的感兴趣区域图像；
车标特征图像提取模块：用于通过第二神经网络的卷积层和全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
识别模块：用于通过第二神经网络的多类逻辑回归层识别出所述车标特征图像中的车辆品牌。
7.根据权利要求6所述的装置，其特征在于，所述特征图像提取模块具体用于：
通过第一神经网络的5个卷积层和2个全连接层从所述感兴趣区域中提取特征图像；
其中，所述第一神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第一神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第一神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第一神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第一神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第一神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第一神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
8.根据权利要求7所述的装置，其特征在于，所述车标特征图像提取模块具体用于：
通过第二神经网络的5个卷积层和2个全连接层从所述达到预设条件的特征图像所对应的感兴趣区域图像中提取车标特征图像；
其中，所述第二神经网络的第一卷积层包括96个大小为11×11×3且步长为4个像素的卷积核；
所述第二神经网络的第二卷积层包括256个大小为5×5×48的卷积核，所述第二神经网络的第一卷积层与第二卷积层之间设置有池化层；
所述第二神经网络的第三卷积层包括384个大小为3×3×256的卷积核，所述第二神经网络的第二卷积层与第三卷积层之间设置有池化层；
所述第二神经网络的第四卷积层包括384个大小为3×3×192的卷积核；
所述第二神经网络的第五卷积层包括256个大小为3×3×192且步长为2个像素的卷积核。
9.根据权利要求6所述的装置，其特征在于，所述装置进一步包括：
归一化模块：用于在所述感兴趣区域图像提取模块之后，将多个所述感兴趣区域调整到预先设置的尺寸。
10.根据权利要求6至9任一项权利要求所述的装置，其特征在于，所述计算模块包括：
回归损失函数单元：用于通过所述第一神经网络的全连接层的回归损失函数SmoothL1调整所述特征图像中特征的位置；
分类损失函数单元：通过所述第一神经网络的全连接层的分类损失函数SoftMax计算所述特征图像中包含车标的概率值。
CN201710507030.5A 2017-06-28 2017-06-28 一种无监督多层神经网络的车辆品牌识别的方法及装置 Pending CN107301417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710507030.5A CN107301417A (zh) 2017-06-28 2017-06-28 一种无监督多层神经网络的车辆品牌识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710507030.5A CN107301417A (zh) 2017-06-28 2017-06-28 一种无监督多层神经网络的车辆品牌识别的方法及装置

Publications (1)

Publication Number Publication Date
CN107301417A true CN107301417A (zh) 2017-10-27

Family

ID=60135062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710507030.5A Pending CN107301417A (zh) 2017-06-28 2017-06-28 一种无监督多层神经网络的车辆品牌识别的方法及装置

Country Status (1)

Country Link
CN (1) CN107301417A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909016A (zh) * 2017-11-03 2018-04-13 车智互联（北京）科技有限公司 一种卷积神经网络生成方法及车系识别方法
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN108052861A (zh) * 2017-11-08 2018-05-18 北京卓视智通科技有限责任公司 一种神经网络系统及基于该神经网络系统的车型识别方法
CN110598621A (zh) * 2019-09-06 2019-12-20 高新兴科技集团股份有限公司 车辆品牌识别方法、装置、设备及计算机可读存储介质
CN110659631A (zh) * 2018-06-30 2020-01-07 华为技术有限公司 车牌识别方法和终端设备
CN111222409A (zh) * 2019-11-26 2020-06-02 北京迈格威科技有限公司 车辆品牌的标注方法、装置及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310231A (zh) * 2013-06-24 2013-09-18 武汉烽火众智数字技术有限责任公司 车标定位与识别方法
CN104992191A (zh) * 2015-07-23 2015-10-21 厦门大学 基于深度学习的特征和最大置信路径的图像分类方法
CN105512684A (zh) * 2015-12-09 2016-04-20 江苏大为科技股份有限公司 基于主成分分析卷积神经网络的车标自动识别方法
CN105760442A (zh) * 2016-02-01 2016-07-13 中国科学技术大学 基于数据库邻域关系的图像特征增强方法
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN105868786A (zh) * 2016-04-01 2016-08-17 山东正晨科技股份有限公司 一种基于自编码预训练深度神经网络的车标识别方法
CN106127747A (zh) * 2016-06-17 2016-11-16 史方 基于深度学习的汽车表面损伤分类方法及装置
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310231A (zh) * 2013-06-24 2013-09-18 武汉烽火众智数字技术有限责任公司 车标定位与识别方法
CN104992191A (zh) * 2015-07-23 2015-10-21 厦门大学 基于深度学习的特征和最大置信路径的图像分类方法
CN105512684A (zh) * 2015-12-09 2016-04-20 江苏大为科技股份有限公司 基于主成分分析卷积神经网络的车标自动识别方法
CN105760442A (zh) * 2016-02-01 2016-07-13 中国科学技术大学 基于数据库邻域关系的图像特征增强方法
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN105868786A (zh) * 2016-04-01 2016-08-17 山东正晨科技股份有限公司 一种基于自编码预训练深度神经网络的车标识别方法
CN106127747A (zh) * 2016-06-17 2016-11-16 史方 基于深度学习的汽车表面损伤分类方法及装置
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEX KRIZHEVSKY等: "ImageNet classification with deep convolutional neural networks", 《NIPS"12: PROCEEDINGS OF THE 25TH INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909016A (zh) * 2017-11-03 2018-04-13 车智互联（北京）科技有限公司 一种卷积神经网络生成方法及车系识别方法
CN107909016B (zh) * 2017-11-03 2020-09-01 车智互联（北京）科技有限公司 一种卷积神经网络生成方法及车系识别方法
CN108052861A (zh) * 2017-11-08 2018-05-18 北京卓视智通科技有限责任公司 一种神经网络系统及基于该神经网络系统的车型识别方法
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN107944442B (zh) * 2017-11-09 2019-08-13 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法
CN110659631A (zh) * 2018-06-30 2020-01-07 华为技术有限公司 车牌识别方法和终端设备
CN110659631B (zh) * 2018-06-30 2023-12-15 华为技术有限公司 车牌识别方法和终端设备
CN110598621A (zh) * 2019-09-06 2019-12-20 高新兴科技集团股份有限公司 车辆品牌识别方法、装置、设备及计算机可读存储介质
CN111222409A (zh) * 2019-11-26 2020-06-02 北京迈格威科技有限公司 车辆品牌的标注方法、装置及系统

Similar Documents

Publication Publication Date Title
CN107301417A (zh) 一种无监督多层神经网络的车辆品牌识别的方法及装置
CN106295646B (zh) 一种基于深度学习的车牌字符分割方法和装置
CN103578119B (zh) 基于超像素的Codebook动态场景中目标检测方法
CN105574550B (zh) 一种车辆识别方法及装置
CN110084304B (zh) 一种基于合成数据集的目标检测方法
CN108875595A (zh) 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN109886085A (zh) 基于深度学习目标检测的人群计数方法
CN107704857A (zh) 一种端到端的轻量级车牌识别方法及装置
CN109902677A (zh) 一种基于深度学习的车辆检测方法
CN108537824A (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN107103613A (zh) 一种三维手势姿态估计方法
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN108256431A (zh) 一种手部位置标识方法及装置
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN108635861A (zh) 控制应用中车辆的方法、设备及存储介质
CN106557814A (zh) 一种道路车辆密度评估方法及装置
CN108921850B (zh) 一种基于图像分割技术的图像局部特征的提取方法
CN104751466B (zh) 一种基于显著性的形变物体跟踪方法及其系统
CN106096542A (zh) 基于距离预测信息的图像视频场景识别方法
CN106780727B (zh) 一种车头检测模型重建方法及装置
CN111899515B (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN106767854A (zh) 移动设备、车库地图形成方法及系统
CN113160062A (zh) 一种红外图像目标检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171027