CN106650550A - 一种融合车标与车头图像特征的车辆型号识别方法及系统 - Google Patents

Abstract

本发明公开了一种融合车标与车头图像特征的车辆型号识别方法及系统，方案为：获取经过监控卡口的车辆监控视频；从车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片；从获取的车辆图片中截取车头图像，并在车头图像中搜索车标，并截取车标图像；使用图像特征提取算子分别从车标图像和车头图像中提取车标与车头的图像特征数据；将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据；对车标与车头融合特征数据进行分类判别，根据训练好的车辆型号分类器的输出结果得到车辆型号识别结果。本发明同时兼顾车标与车头的图像特征，具有适用范围广、识别准确度高的优点。

Description

一种融合车标与车头图像特征的车辆型号识别方法及系统

技术领域

本发明涉及模式识别和智能交通信息技术领域，尤其是涉及基于交通监控视频的一种融合车标与车头图像特征的车辆型号识别方法及系统。

背景技术

近年来，随着社会的不断进步，智能交通系统得到快速发展，同时，计算机视觉和模式识别技术的发展，为智能交通系统更有效的应用提供了契机。计算机视觉是利用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和识别。

在智能交通系统的应用中，车辆型号识别是道路监控的重要组成部分。车辆型号识别是根据不同品牌不同系列车辆的车头图像的唯一性进行车辆型号识别。车辆型号识别在城市交通监控、车辆追踪、打击涉车犯罪等领域有着广泛的应用前景。

现有的车辆型号识别方案中，主要分为三大类，一是提取整辆车的图像特征并输入分类器进行识别，二是只利用车辆车头的图像特征进行识别，三是分别提取车辆各重要组件的图像特征，将整合后的图像特征送入分类器进行识别。

第一种方法提取的是整车图像的特征，虽然包含和车辆各个方面的特征，但是由于车辆往往以各种不同的角度出现在交通监控视频中，这会造成获取的车辆图像变化较大，引入较多的干扰图像，因此同一类车型难以得到稳定的图像特征。

第二种方法提取的是车头图像，单纯提取车头的图像特征进行识别，这种方法只提取车头图像，避免引入过多的干扰信息，但是难以区分那些不同品牌有相似车头图像的车型。

第三种方法提取的是车辆各个组件的图像和几何特征，例如车标、车灯、雨刮器等形状和相互位置关系，这种方法获取的车辆特征辨识度不够高，而且车辆组件难以定位。

发明内容

有鉴于此，本发明目的在于提供一种融合车标与车头图像特征的车辆型号识别方法及系统，用于在智能交通系统中对车辆型号进行快速、准确、高效的识别。

具体地，本发明是通过如下技术方案实现的：

基于本发明实施例提供一种融合车标与车头图像特征的车辆型号识别方法，所述方法包括：

获取经过监控卡口的车辆监控视频；

从所述车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片；

从获取的车辆图片中截取车头图像，在车头图像中搜索车标，并截取车标图像；

使用图像特征提取算子分别从车标图像和车头图像中提取车标与车头的图像特征数据；

将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据；

对车标与车头融合特征数据进行分类判别，根据训练好的车辆型号分类器的输出结果得到车辆型号识别结果。

进一步地，所述从所述车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片，具体为：使用三帧差法对车辆监控视频中运动目标进行检测；截取运动目标并归一化尺寸后输入车辆判别分类器，通过车辆判别分类器判别运动目标是否为车辆；当通过车辆判别分类器判定运动目标为车辆时，获取包含车辆的监控画面；根据监控画面中车辆的位置信息和尺寸信息截取车辆图片。

进一步地，所述从获取的车辆图片中截取车头图像，在车头图像中搜索车标，并截取车标图像，具体为：在车辆图片中定位车牌，获取车辆的车牌中心坐标和车牌宽度；以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数的车牌宽度的距离构成一个矩形，截取矩形范围内的图像作为车头图像；在车头图像中定位车标，使用车标判别分类器在车牌的上方搜索车标，并用预设宽高比的矩形框截取车标图像；将截取到的车标与车头图像分别缩放到统一尺寸。

进一步地，所述将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据，具体为：合并车标与车头的图像特征数据；将合并后的车标与车头的图像特征数据输入到训练好的特征融合器，通过所述特征融合器对车标与车头的图像特征数据进行特征融合后获得车标与车头融合特征数据；所述车辆型号分类器的每一种输出结果对应一种车辆型号。

进一步地，所述的特征融合器为基于反向传播BP神经网络构建的特征融合器，将BP神经网络的输入层和隐藏层作为所述特征融合器。

基于本发明实施例，还提供一种融合车标与车头图像特征的车辆型号识别系统，该系统包括：

道路卡口监控视频获取模块，用于获取经过监控卡口的车辆监控视频；

车辆检测模块，用于从所述车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片；

车标与车头分割模块，用于从获取的车辆图片中截取车头图像，在车头图像中搜索车标，并截取车标图像；

图像特征提取模块，用于使用图像特征提取算子分别从车标图像和车头图像中提取车标与车头的图像特征数据；

特征融合模块，用于将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据；

车辆型号识别模块，用于对车标与车头融合特征数据进行分类判别，根据训练好的车辆型号分类器的输出结果得到车辆型号识别结果。

进一步地，所述车辆检测模块进一步包括：

运动目标检测模块，用于使用三帧差法对车辆监控视频中运动目标进行检测；

车辆判别模块，用于截取运动目标并归一化尺寸后输入车辆判别分类器，通过车辆判别分类器判别运动目标是否为车辆；

车辆图片截取模块，用于当通过车辆判别分类器判定运动目标为车辆时，获取包含车辆的监控画面，根据监控画面中车辆的位置信息和尺寸信息截取车辆图片。

进一步地，所述车标与车头分割模块进一步包括：车牌定位模块、车头图像截取模块及车标图像截取模块；

车牌定位模块，用于在车辆图片中定位车牌，获取车辆的车牌中心坐标和车牌宽度；

车头图像截取模块，用于以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数的车牌宽度的距离构成一个矩形，截取矩形范围内的图像作为车头图像；

车标图像截取模块，用于在车头图像中定位车标，使用车标判别分类器在车头图像车牌的上方区域搜索车标，并用预设宽高比的矩形框截取车标图像；

所述图像特征提取模块还用于将截取到的车标与车头图像分别缩放到统一尺寸。

进一步地，所述特征融合模块包括：

合并子模块，用于合并车标与车头的图像特征数据；

融合子模块，用于将合并后的车标与车头的图像特征数据输入到训练好的特征融合器，通过所述特征融合器对车标与车头的图像特征数据进行特征融合后获得车标与车头融合特征数据；

所述车辆型号分类器的每一种输出结果对应一种车辆型号。

进一步地，所述的特征融合器为基于反向传播BP神经网络构建的特征融合器，将BP神经网络的输入层和隐藏层作为所述特征融合器。

本发明提出一种融合车标与车头图像特征的车辆型号识别方法及系统，能从交通监控视频中获取过往车辆的车标图像与车头图像，通过融合车标与车头的图像特征识别出过往车辆所属的车辆型号，车辆型号信息包括车辆的品牌与系列。整个系统包括道路卡口监控视频获取模块、车辆检测模块、车标与车头分割模块、图像特征提取模块、特征融合模块、车辆型号识别模块，其中，图像特征提取模块使用独立的特征提取算子分别获取车标与车头的图像特征，特征融合模块使用BP神经网络融合车标与车头图像特征。相比现有技术，本发明同时兼顾车标与车头的图像特征，具有适用范围广、识别准确度高的优点，适用于智能交通系统，尤其适用于车辆追踪、生成交通视频的文本摘要、打击套牌车等应用。

附图说明

图1为本发明实施例提供的一种融合车标与车头图像特征的车辆型号识别系统结构示意图；

图2为本发明实施例提供的一种融合车标与车头图像特征的车辆型号识别方法的步骤流程图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图对本申请所述方案作进一步地详细说明。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

图1为本发明实施例提供的一种融合车标与车头图像特征的车辆型号识别系统的结构示意图，该系统100包括道路卡口监控视频获取模块101，车辆检测模块102，车标与车头分割模块103，图像特征提取模块104，特征融合模块105，车辆型号识别模块106。图2为本发明基于本发明实施例提供的车辆型号识别系统100，提出的一种融合车标与车头图像特征的车辆型号识别方法，通过所述方法与系统的配合实现融合车标与车头图像特征的车辆型号识别功能，该方法包括：

步骤201、获取经过监控卡口的车辆监控视频；

该步骤由道路卡口监控视频获取模块101完成，该模块可以由一个或多个安装在交通道路卡口的摄像头组成，用于获取经过交通监控卡口的车辆视频，同时通过交通监控网络将车辆监控视频回传至后端的服务器或电脑主机。

本发明实施例利用交通监控网的道路卡口监控视频作为车辆型号识别系统的输入，能够减少设备投入，有效降低成本，而且现有的交通卡口监控网络覆盖面广，能够获取大范围的车辆监控视频。

步骤202、从所述车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片；

该步骤由位于后端的服务器或电脑主机上的车辆检测模块102完成，所述车辆检测模块进一步包括：运动目标检测模块、车辆判别模块、车辆图片截取模块。

本发明一实施例中，运动目标检测模块首先使用三帧差法对车辆监控视频中连续的三帧视频图像进行相减，相减后图像中的非零像素块就是运动目标，车辆判别模块截取运动目标并归一化尺寸后输入车辆判别分类器，通过车辆判别分类器判别运动目标是否为车辆，其中，车辆判别分类器由梯度方向直方图算子与支持向量机构成。当通过车辆判别分类器判定运动目标为车辆时，车辆图片截取模块获取包含车辆的监控画面即包含有车辆的监控视频帧，然后根据监控画面中车辆的位置信息和尺寸信息截取车辆图片。该实施例中，采用三帧差法检测车辆运动目标，利用了道路上的大部分车辆都处于行驶状态这一特点，能够快速从监控视频中提取出运动目标；使用车辆识别分类器识别运动目标，能够排除行人、车辆阴影等非车辆运动目标的干扰，提高车辆检测的准确率。

车辆检测模块102从道路卡口监控视频中首先提取车辆图像，然后从车辆图像中提取车标与车头图像，能够缩小车标检测与车头的搜索范围，提高车标定位与车头截取的准确率。

步骤203、从获取的车辆图片中截取车头图像，并在车头图像中搜索车标，并截取车标图像；

该步骤包含车头图像分割和车标图像分割两个步骤，由位于后端服务器或电脑主机的车标与车头分割模块103完成，所述车标与车头分割模块进一步包括：车牌定位模块、车头图像截取模块、车标图像截取模块。

车头图像分割步骤包括：车牌定位模块使用车牌定位方法定位车辆图片中的车牌，并获取车牌中心点坐标与车牌宽度；车头图像截取模块以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数(例如两倍)的车牌宽度的距离，从而构成一个矩形，截取矩形范围内的图像以此作为获取的车头图像。

本发明一实施例中，所述的车牌定位方法具体包括：将采集到的车辆图像由彩色图转换为灰度图，并对车辆图像进行二值化和图像腐蚀处理；将处理得到的图像做边缘检测得到车辆轮廓图，对车辆轮廓图像进行逐行水平扫描，并记录每一行的像素值跳变次数，当跳变次数属于预定的范围内时，则判定该行属于车牌图像，由此获得车牌的上下边；然后，再对轮廓图像进行逐列垂直扫描，并记录每一列的像素值跳变次数，当跳变次数属于预定的范围内时，则判定该列属于车牌图像，由此获得车牌的左右边，从而定位到车辆图片中的车牌。

车标图像分割步骤包括：车标图像截取模块使用车标定位方法定位车头图像中的车标，并用预设宽高比(例如1:1)的矩形框截取车标图像。

本发明一实施例中，所述的车标定位方法具体包括：根据车牌定位的结果，确定车牌上方的图像区域，在该区域使用滑动窗的方式，在车牌上方区域获取一系列的车标候选图像，然后使用模板匹配法把车标候选图像逐一与车标模板进行比对判别，最后，记录被判别为车标图像的区域坐标，由此定位得到车标图像。

本发明具体实施例中，车标与车头分割模块103从车头图像中搜索车标图像，利用车标都位于车牌正上方区域的特点，使用车标判别分类器在车头图像中车牌正上方区域搜索车标，例如以滑动窗口的方式将车头图像的车牌正上方的图像块逐一输入车标判别分类器，搜索到车标后，用预设宽高比(例如1:1)的矩形框截取车标图像。从车牌正上方区域搜索车标能够减少搜索范围，提高车标搜索效率和检测的正确率。

本发明具体实施例中，根据车牌纹理特征与颜色特征较为独特和稳定的特点，能够准确定位车牌；使用车牌宽度作为参考长度进行车头截取，利用了不同车辆的车牌宽度都相同的特点，能够在不同场景下准确截取到相同尺寸的车头图像。

步骤204、使用图像特征提取算子分别从车标图像和车头图像中提取车标与车头的图像特征信息；

该步骤由位于后端服务器或电脑主机的图像特征提取模块204完成，优选地，在提取车标和车头图像特征信息之前，首先需要由该模块分别对车标与车头图像的图像尺寸进行统一，例如将截取的车标图像与车头图像分别缩放到统一尺寸，使得车标的图像尺寸为40*40，车头图像尺寸为128*128。

在完成车标和车头图像的尺寸处理后，图像特征提取模块204使用梯度方向直方图算子分别从车标图像和车头图像中提取车标图像与车头图像的图像特征数据，分别得到一维的车标特征数据与一维的车头特征数据。

优选地，该模块使用相互独立的特征提取算子分别提取车标与车头图像的图像特征。使用独立的特征提取算子能够根据车标图像与车头图像的不同特性的实际情况，提取更为有效的图像特征。

步骤205、将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据；

该步骤由位于后台服务器的特征融合模块205完成，特征融合模块205进一步包括：合并子模块、融合子模块；

该步骤进一步分解为以下几个子步骤：

子步骤A1、合并子模块合并车标与车头的图像特征数据；

在本发明一实施例中，该模块使用级联的方式合并车标与车头特征数据，即在车标的特征数据末端添加车头的特征数据，组成一维的既包含车标特征又包含车头特征的“车辆联合特征数据”。

子步骤A2、融合子模块将合并后的车标与车头的图像特征数据输入到训练好的基于反向传播BP神经网络构建的特征融合器，通过所述特征融合器对车标与车头的图像特征数据进行特征融合后获得车标与车头融合特征数据。

本发明中，在通过特征融合器对车标与车头的图像特征数据进行特征融合之前，首先要对特征融合器进行训练，以使训练好的特征融合器能够根据当前输入的车辆联合特征数据准确的输出与实际的车辆型号对应的车标与车头融合特征数据。对特征融合器进行训练需要以车辆实际对应的型号作为样本标签，通过执行步骤201至步骤204以及子步骤A1，针对已知的每一车辆型号的车标与车头的样本图像，获取该车辆型号的大量的合并后的车标与车头的图像特征数据样本，然后使用所获得的大量的合并后的车标与车头的图像特征数据样本对特征融合器进行训练。

具体地，本发明一具体实施例中，构建具有1个输入层、1个隐藏层、1个输出层的3层BP(Back Propagation，反向传播)神经网络，使用步骤201至步骤204以及子步骤A1获取的大量训练样本训练该BP神经网络。BP神经网络训练完成后，将BP神经网络的输入层和隐藏层作为子步骤A2中所述的特征融合器，从特征融合器输出的数据就是车标与车头特征融合后的“车标与车头融合特征数据”。

本发明将车标特征信息与车头特征信息合并，并输入预先训练好的特征融合器进行融合，输出融合后的数据作为车辆型号分类器的输入，这样可以利用车标与车头图像的独特性，兼顾车标与车头图像的特征，能够获取更丰富的车辆图像信息，提高识别准确率。

步骤206、对车标与车头融合特征数据进行分类判别，根据训练好的车辆型号分类器的输出结果得到车辆型号识别结果。

该步骤由位于后台服务器的车辆型号识别模块206完成，该模块将特征融合模块输出的数据送入车辆型号分类器，车辆型号分类器的每一种输出结果都对应了一种车辆型号，进而实现车辆型号的识别。

在执行本步骤之前，需要首先以车辆实际对应的型号作为样本标签，使用大量的已知车辆型号的车标与车头融合特征数据样本对车辆型号分类器进行训练，使得训练好的车辆型号分类器能够根据当前输入的车标与车头融合特征数据准确的输出与实际的车辆信号对应的车辆信号分类结果。本发明一具体实施例中，所述车辆信号分类器由支持向量机构成。

综上所述，本发明提供的技术方案具有如下技术效果：由于车标与车头具有较为扁平的特点，因此从不同角度获取的车标与车头图像差别较少，本发明利用该特点，同时提取车标与车头的图像特征，从而尽可能的减少拍摄的车辆图像中因车身角度变化而引入的干扰。对车标与车头的图像特征进行融合，能够获取更为丰富的特征信息，由于不同品牌不同系列的车标和车头图像都不相同，因此，兼顾车标特征与车头特征能够提高对不同品牌不同系列车辆型号的辨识能力。车辆型号识别模块将融合车标与车头的图像特征信息输入分类器进行识别，利用不同品牌不同系列车辆的车标和车头图像特征信息的唯一性进行识别，进而识别出车辆的型号。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种融合车标与车头图像特征的车辆型号识别方法，其特征在于，所述方法包括：

获取经过监控卡口的车辆监控视频；

从所述车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片；

从获取的车辆图片中截取车头图像，在车头图像中搜索车标，并截取车标图像；

使用图像特征提取算子分别从车标图像和车头图像中提取车标与车头的图像特征数据；

将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据；

对车标与车头融合特征数据进行分类判别，根据训练好的车辆型号分类器的输出结果得到车辆型号识别结果。

2.如权利要求1所述的方法，其特征在于，所述从所述车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片，具体为：

使用三帧差法对车辆监控视频中运动目标进行检测；

截取运动目标并归一化尺寸后输入车辆判别分类器，通过车辆判别分类器判别运动目标是否为车辆；

当通过车辆判别分类器判定运动目标为车辆时，获取包含车辆的监控画面；

根据监控画面中车辆的位置信息和尺寸信息截取车辆图片。

3.如权利要求1所述的方法，其特征在于，所述从获取的车辆图片中截取车头图像，在车头图像中搜索车标，并截取车标图像，具体为：

在车辆图片中定位车牌，获取车辆的车牌中心坐标和车牌宽度；

以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数的车牌宽度的距离构成一个矩形，截取矩形范围内的图像作为车头图像；

在车头图像中定位车标，使用车标判别分类器在车牌的上方搜索车标，并用预设宽高比的矩形框截取车标图像；

将截取到的车标与车头图像分别缩放到统一尺寸。

4.如权利要求1所述的方法，其特征在于，所述将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据，具体为：

合并车标与车头的图像特征数据；

将合并后的车标与车头的图像特征数据输入到训练好的特征融合器，通过所述特征融合器对车标与车头的图像特征数据进行特征融合后获得车标与车头融合特征数据；

所述车辆型号分类器的每一种输出结果对应一种车辆型号。

5.如权利要求4所述的方法，其特征在于，所述的特征融合器为基于反向传播BP神经网络构建的特征融合器，将BP神经网络的输入层和隐藏层作为所述特征融合器。

6.一种融合车标与车头图像特征的车辆型号识别系统，其特征在于，包括：

道路卡口监控视频获取模块，用于获取经过监控卡口的车辆监控视频；

车辆检测模块，用于从所述车辆监控视频中检测车辆，获取包含有车辆的监控画面，从监控画面截取车辆图片；

车标与车头分割模块，用于从获取的车辆图片中截取车头图像，在车头图像中搜索车标，并截取车标图像；

图像特征提取模块，用于使用图像特征提取算子分别从车标图像和车头图像中提取车标与车头的图像特征数据；

特征融合模块，用于将车标和车头的图像特征数据进行融合处理，生成车标与车头融合特征数据；

车辆型号识别模块，用于对车标与车头融合特征数据进行分类判别，根据训练好的车辆型号分类器的输出结果得到车辆型号识别结果。

7.如权利要求6所述的系统，其特征在于，所述车辆检测模块进一步包括：

运动目标检测模块，用于使用三帧差法对车辆监控视频中运动目标进行检测；

车辆判别模块，用于截取运动目标并归一化尺寸后输入车辆判别分类器，通过车辆判别分类器判别运动目标是否为车辆；

车辆图片截取模块，用于当通过车辆判别分类器判定运动目标为车辆时，获取包含车辆的监控画面，根据监控画面中车辆的位置信息和尺寸信息截取车辆图片。

8.如权利要求6所述的系统，其特征在于，所述车标与车头分割模块进一步包括：车牌定位模块、车头图像截取模块及车标图像截取模块；

车牌定位模块，用于在车辆图片中定位车牌，获取车辆的车牌中心坐标和车牌宽度；

车头图像截取模块，用于以车牌的中心位置为参考点，车牌宽度为参考宽度，从车牌中心位置向上下左右分别延伸预设倍数的车牌宽度的距离构成一个矩形，截取矩形范围内的图像作为车头图像；

车标图像截取模块，用于在车头图像中定位车标，使用车标判别分类器在车头图像车牌的上方区域搜索车标，并用预设宽高比的矩形框截取车标图像；

所述图像特征提取模块还用于将截取到的车标与车头图像分别缩放到统一尺寸。

9.如权利要求6所述的系统，其特征在于，所述特征融合模块包括：

合并子模块，用于合并车标与车头的图像特征数据；

融合子模块，用于将合并后的车标与车头的图像特征数据输入到训练好的特征融合器，通过所述特征融合器对车标与车头的图像特征数据进行特征融合后获得车标与车头融合特征数据；

所述车辆型号分类器的每一种输出结果对应一种车辆型号。

10.如权利要求9所述的系统，其特征在于，所述的特征融合器为基于反向传播BP神经网络构建的特征融合器，将BP神经网络的输入层和隐藏层作为所述特征融合器。