CN103310231A

CN103310231A - 车标定位与识别方法

Info

Publication number: CN103310231A
Application number: CN2013102515953A
Authority: CN
Inventors: 陆辉; 蒋恋华; 张仁辉
Original assignee: Wuhan Fiberhome Digtal Technology Co Ltd
Current assignee: Wuhan Fiberhome Digtal Technology Co Ltd
Priority date: 2013-06-24
Filing date: 2013-06-24
Publication date: 2013-09-18

Abstract

本发明公开了一种车标定位与识别方法，涉及智能交通领域。本发明的工作环境是智能网络摄像机，在智能网络摄像机中，抓拍图片后进入DSP图像处理单元，先经过车牌定位与识别模块处理获取车牌具体位置，然后将车牌具体位置和图像数据传给车标定位与识别模块，从而识别出车标类型。其中车标定位与识别分为：①基于多层分类的车标定位即使用三种定位方法对不同纹理背景的车标进行准确定位；②基于多层分类的车标识别即使用不同定位类型所对应的BP神经网络分类器对车标进行识别，最终准确获取车标类型。本发明对于车标定位和识别准确率有大幅度提高；实时性好，系统安装更加简单，且易于维护。

Description

车标定位与识别方法

技术领域

本发明涉及智能交通领域，尤其涉及一种车标定位与识别方法。

背景技术

在智能交通领域，随着机动车数量大幅度增加，机动车信息检索对于交通事故处理、违章车辆自动监控和自动收费等机动车的有效处理起到关键作用；但由于机动车信息检索仅仅依赖于车牌信息，在事故和案件的处理过程中，由于车牌的不合法更换、遮挡和不清晰，容易导致处理进度缓慢，因此机动车车标类型识别对于机动车信息检索的完善和发展具有重要的应用价值。

目前能够对车标进行有效检测、定位和识别的技术中大多数是基于视频的方法，但基于视频的方法对于车标定位与识别存在以下问题：

1、车标的背景纹理复杂，尤其是机动车车头散热片的形状各异导致定位困难；

2、车标的几何形状各异，对于定位与识别的一致性产生干扰；

3、车标灰度级和车标区域背景灰度级很相似，对于车标的整体定位有很大的干扰。

发明内容

本发明的目的就在于克服现有技术存在问题和不足，提供一种车标定位与识别方法。

本发明的目的是这样实现的：

1、使用多种定位方法对车标进行精确定位，在本方法中使用三种定位方法，对于问题1的解决起到了很好的效果；

2、使用HOG&BP方法对不同定位结果的不同车标类型训练不同的分类器，在本方法中对三种定位方法定位出的车标类型，训练出三个分类器模板，再使用不同的分类器模板对相应的车标定位结果进行识别，对于问题2和问题3的解决起到了很好的作用。

一、智能网络摄像机

智能网络摄像机包括LENS光学镜头，设置有CCD图像传感器、信号采集转换器、HV信号驱动器、FPGA可编程逻辑处理器、SDRAM存储器、H264录像编码器、ARM中心处理器和DSP图像处理器。

二、车标定位与识别方法

本发明的工作环境是智能网络摄像机，在智能网络摄像机中，抓拍图片后进入DSP图像处理单元，先经过车牌定位与识别模块处理获取车牌具体位置，然后将车牌具体位置和图像数据传给车标定位与识别模块，从而识别出车标类型。其中车标定位与识别分为：①基于多层分类的车标定位即使用三种定位方法对不同纹理背景的车标进行准确定位；②基于多层分类的车标识别即使用不同定位类型所对应的BP神经网络分类器对车标进行识别，最终准确获取车标类型。两者相辅相成，起到互相牵制的作用，对于准确率和性能的提高都起到了很好的效果。

具体实现步骤如下：

①基于多层分类的车标定位

a、根据车牌与车标的先验知识和已知的车牌在全景图片中具体位置，确定车标的粗略位置；

b、使用Sobel边缘检测方法对粗定位图像确定纹理丰富的区域，即缩小车标的待检测区域；

c、对待检测区域使用高帽定位方法对车标进行定位，然后将定位图像数据和定位类型传入车标识别进行识别；如果识别结果置信度大于某个阈值，则输出识别车标类型；否则保存识别结果进入差分定位；

d、对待检测区域使用差分定位方法对车标进行定位，然后将定位图像数据和定位类型传入车标识别进行识别；如果识别结果置信度大于某个阈值，则输出识别车标类型；否则保存识别结果进入方向滤波定位；

e、对待检测区域使用方向滤波定位方法对车标进行定位，然后将定位图像数据和定位类型传入车标识别进行识别；如果识别结果置信度大于某个阈值，则输出识别车标类型；否则输出置信度最大的识别结果；

②基于多层分类的车标识别

f、采集车标样本，得到车标样本集；

g、提取样本集中每一个样本图片的HOG特征；

h、将提取的HOG特征输入到BP神经网络训练，生成多类分类器模型；

i、据定位结果的不同和类型的不同，训练多层分类器模型；

j、将待识别车标与分类器模型进行匹配识别，输出识别结果；

k、流程结束。

本发明具有下列优点和积极效果：

①对于车标背景纹理复杂度进行分类，不同背景纹理使用不同的车标定位方法，在本方法中使用的三种车标定位方法，其定位准确率有大幅度提高；

②解决了对于车标几何形状的复杂因素所产生的影响，使用不同定位方法定位出车标，训练出多种分类器模版，在本方法中训练出三种分类器模板，提高了车标识别准确率；

③为智能交通系统中单张图片的车标定位与识别提供了解决方案，实时性好，系统安装更加简单，且易于维护。

附图说明

图1是智能网络摄像机的结构方框图；

图中：

A—智能网络摄像机；

1—LENS光学镜头；

2—CCD(Charge Coupled Device，电荷耦合器件)图像传感器；

3—信号采集转换器；

4—HV信号驱动器；

5—FPGA(Field－Programmable Gate Array, 现场可编程门阵列)可编程逻辑处理器；

6—SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存储器)存储器；

7—H264录像编码器；

8—ARM(Advanced RISC Machines)中心处理器；

9—DSP（Signal Processor，数字信号处理）图像处理器。

图2是基于多层分类的车标定位状态示意图；

图3是基于多层分类的车标识别状态示意图。

英译汉：

HOG特征：通过把图像分割成很多小的连接区域，每个连接区域汇集了该区域内的每个像素的梯度幅值和方向，综合每个区域的梯度方向直方图就可以得到整个感兴趣区域的特征描述。为了提高算法的可适用性和鲁棒性，再将相邻的多个区域汇聚成一个块，块内所有像素的梯度分布就是把块是所有的区域的梯度方向直方图（归一化）汇集起来即成为HOG特征；

HOG&BP方法：对图像进行HOG特征的计算，生成HOG特征向量，并使用BP（Back Propogate 反向传播方法）分类型模型进行图像所对应车标类型匹配；

Sobel边缘检测方法：使用3*3的Sobel模版对灰度图像进行卷积运算，从而增加前景和背景的差值，即提取图像边缘。

具体实施方式

下面结合附图和实施例详细说明：

一、智能网络摄像机A

1、总体

如图1，智能网络摄像机A包括LENS光学镜头1，设置有CCD图像传感器2、信号采集转换器3、HV信号驱动器4、FPGA可编程逻辑处理器5、SDRAM存储器6、H264录像编码器7、ARM中心处理器8和DSP图像处理器9；

其连接关系是：

①LENS光学镜头1、CCD图像传感器2、信号采集转换器3、FPGA可编程逻辑处理器5、SDRAM存储器6、DSP图像处理器9和ARM中心处理器8依次连接，实现图像采集、存储、分析和处理；

②FPGA可编程逻辑处理器5、HV信号驱动器4和CCD图像传感器2依次连接，实现对CCD图像传感器2的控制；

③FPGA可编程逻辑处理器5、H264录像编码器7和ARM中心处理器8依次连接，实现视频监控和处理。

2、功能部件

1）LENS光学镜头1、CCD图像传感器2、信号采集转换器3、HV信号驱动器4、FPGA可编程逻辑处理器5、SDRAM存储器6、H264录像编码器7和ARM中心处理器8均为通用器件。

2）DSP图像处理器9是一种高性能的图像处理器件，其主频高达800Mhz；

可以选用TMS320DM64X、TMS320DM81X等系列的DSP图像处理器，其内嵌入本方法的专用软件(后面介绍)；

DSP图像处理器9主要通过图片的分析处理，对机动车车标类型进行定位与识别，然后将车标类型记录输出给ARM中心处理器8。

3、工作原理

FPGA可编程逻辑处理器5通过LENS光学镜头1、CCD图像传感器2、信号采集转换器3将智能网络摄像机A视场的信息按25fps的速度采集上来，再存放在SDRAM存储器6中；DSP图像处理器9按照时间顺序依次从SDRAM存储器6中获取实时图片序列，实时分析与检测运动车辆。

FPGA可编程逻辑处理器5通过HV信号驱动器4对CCD图像传感器2控制，调节CCD图像传感器的曝光时间、增益和白平衡。

在运动车辆行驶过程中，进入系统预先设置的抓拍位置时，自动触发抓拍车辆通行图片；DSP图像处理器9从SDRAM存储器6中获得抓拍图片后先进行车牌定位与识别，然后将车牌在抓拍图片中的具体位置和全景图片数据信息传给车标定位与识别，进行车标识别，获取车标类型后将机动车车标类型传给ARM中心处理器8进行相应处理；

H264录像编码器7可将实时视频编码为H264视频文件，实现道路监控功能，再传给ARM中心处理器8进行相应处理。

二、车标定位与识别方法

①基于多层分类的车标定位

如图2，基于多层分类的车标定位的具体实现过程如下：

a、根据车标与车牌的先验知识粗定位车标a

根据车牌与车标的先验知识和已知的车牌在全景图片中具体位置，以车标的大概位置在车牌上方固定的区域内的几何知识，确定车标的粗略位置；

b、适用Sobel边缘检测确定待检测区域b

使用Sobel边缘检测方法对粗定位图像确定纹理丰富的区域，即缩小车标的待检测区域，这样对车标的待检测区域和时间消耗都有减少；

c、对待检测区域使用高帽定位方法对车标进行定位，然后将定位图像数据和定位类型传入车标识别进行识别；如果识别结果置信度大于某个阈值，则输出识别车标类型；否则进入下一步定位；

对待检测区域使用高帽定位方法具体过程如下：

c1、对待检测区域进行水平灰度膨胀c1；

c2、对待检测区域进行水平灰度腐蚀c2；

c3、膨胀图减俯视图并二值化c3

在使用膨胀图减去腐蚀图，这样可以去除水平栅格背景区域并凸显出车标；

c4、使用八连通域搜索方法凸显车标并确定其具体位置c4；

c5、车标识别c5

使用高帽分类器模板对车标进行识别；

c6、判断置信度是否大于设定阈值c6，是则进入步骤k，否则进入步骤c7；

c7、保存车标识别结果并进行差分定位处理c7；

d、对待检测区域使用差分定位方法对车标进行定位，然后将定位图像数据和定位类型传入车标识别模块进行识别；如果识别结果置信度大于某个阈值，则输出识别车标类型；否则保存识别结果进入下一步定位；

对待检测区域使用差分定位方法具体过程如下：

d1、对待检测区域进行垂直Sobel边缘检测并二值化d1；

d2、对二值化图像进行水平膨胀d2

使用二值图水平膨胀让差分后不连通的区域连接起来，这样可以去除垂直栅格背景区域并凸显车标；

d3、使用八连通域搜索方法凸显车标并确定其具体位置d3；

d4、车标识别d4

使用差分分类器模板对车标进行识别；

d5、判断置信度是否大于设定阈值d5，是则进入步骤k，否则进入步骤d6；

d6、保存车标识别结果并进行方向滤波定位处理d6；

e、对待检测区域使用方向滤波定位方法对车标进行定位，然后将定位图像数据和定位类型传入车标识别模块进行识别；如果识别结果置信度大于某个阈值，则输出识别车标类型；否则输出置信度最大的识别结果。

对待检测区域使用方向滤波定位方法具体过程如下：

e1、对待检测区域进行水平Sobel边缘检测并二值化e1；

e2、对待检测区域进行垂直Sobel边缘检测并二值化e2；

e3、水平图和垂直图进行二值与运算e3；

e4、对二值图进行形态学膨胀处理e4

使用二值图膨胀让方向滤波后不连通的区域连接起来，这样可以去除网状栅格背景区域并凸显出车标；

e5、使用八连通域搜索方法凸显车标并确定其具体位置e5；

e6、车标识别e6

使用方向滤波分类器模板对车标进行识别；

e7、判断置信度是否大于设定阈值e7，是则进入步骤k，否则进入步骤e8；

e8、取置信度最大的车标类型e8；

②基于多层分类的车标识别

基于多层分类的车标识别的具体实现过程如下：

f、采集车标样本，得到车标样本集

采集各种车标的样本图片，并归一化为固定尺寸大小，得到车标样本集，样本须清晰完整；

g、提取样本集中每一个样本图片的HOG特征

得到车标样本集后，首先对样本进行图像预处理，如归一化、滤波，抑制光照的变化和噪点的影响，预处理之后，提取样本的HOG特征；

h、将提取的HOG特征输入到BP神经网络训练，生成分类器模型

将提取的HOG特征输入到BP神经网络分类器训练，生成多类分类器模型；

i、据定位结果的不同和类型的不同，训练多层分类器模型

根据不同的定位结果，训练不同的分类器模型，根据同类车标不同的车标符号，训练不同的分类器模型；

如图3、

j、将待识别车标、定位类型与分类器模型进行匹配识别，输出识别结果

对不同定位类型精确定位的待识别车标进行车标识别，其具体过程如下：

j1、若定位类型为高帽j1，是则进入步骤j2，否则进入步骤j4；

j2、计算HOG特征j2

对待识别车标首先进行图像预处理，如归一化、滤波，抑制光照的变化和噪点的影响，预处理之后，提取待识别车标的HOG特征；

j3、使用高帽分类器模型进行识别j3，进入步骤j10；

j4、若定位类型为差分j4，是则进入步骤j5，否则进入步骤j7；

j5、计算HOG特征j5

同步骤j2对待识别车标进行HOG特征的计算；

j6、使用差分分类器模型进行识别j6，进入步骤j10；

j7、若定位类型为方向滤波j7，是则进入步骤j8，否则不进行车标识别；

j8、计算HOG特征j8

同步骤j2对待识别车标进行HOG特征的计算；

j9、使用方向滤波分类器模型进行识别j9，进入步骤j10；

j10、输出识别结果j10

将车标识别的车标类型和车标匹配置信度输出给车标定位流程进行处理；

k、流程结束。

Claims

1.一种车标定位与识别方法，其特征在于：

①基于多层分类的车标定位

②基于多层分类的车标识别

f、采集车标样本，得到车标样本集；

g、提取样本集中每一个样本图片的HOG特征；

i、据定位结果的不同和类型的不同，训练多层分类器模型；

k、流程结束。

2.按权利要求1所述的一种车标定位与识别方法，其特征在于步骤c：

c1、对待检测区域进行水平灰度膨胀（c1）；

c2、对待检测区域进行水平灰度腐蚀（c2）；

c3、膨胀图减俯视图并二值化（c3）；

c4、使用八连通域搜索方法凸显车标并确定其具体位置（c4）；

c5、车标识别（c5）

使用高帽分类器模板对车标进行识别；

c6、判断置信度是否大于设定阈值（c6），是则进入步骤k，否则进入步骤c7；

c7、保存车标识别结果并进行差分定位处理（c7）。

3.按权利要求1所述的一种车标定位与识别方法，其特征在于步骤d：

d1、对待检测区域进行垂直Sobel边缘检测并二值化（d1）；

d2、对二值化图像进行水平膨胀（d2）

d3、使用八连通域搜索方法凸显车标并确定其具体位置（d3）；

d4、车标识别（d4）

使用差分分类器模板对车标进行识别；

d5、判断置信度是否大于设定阈值（d5），是则进入步骤k，否则进入步骤d6；

d6、保存车标识别结果并进行方向滤波定位处理（d6）。

4.按权利要求1所述的一种车标定位与识别方法，其特征在于步骤e：

e1、对待检测区域进行水平Sobel边缘检测并二值化（e1）；

e2、对待检测区域进行垂直Sobel边缘检测并二值化（e2）；

e3、水平图和垂直图进行二值与运算（e3）；

e4、对二值图进行形态学膨胀处理（e4）

e5、使用八连通域搜索方法凸显车标并确定其具体位置（e5）；

e6、车标识别（e6）

使用方向滤波分类器模板对车标进行识别；

e7、判断置信度是否大于设定阈值（e7），是则进入步骤k，否则进入步骤e8；

e8、取置信度最大的车标类型（e8）。

5.按权利要求1所述的一种车标定位与识别方法，其特征在于步骤车标识别（j）：

j1、若定位类型为高帽（j1），是则进入步骤j2，否则进入步骤j4；

j2、计算HOG特征（j2）

j3、使用高帽分类器模型进行识别（j3），进入步骤j10；

j4、若定位类型为差分（j4），是则进入步骤j5，否则进入步骤j7；

j5、计算HOG特征（j5）

同步骤j2对待识别车标进行HOG特征的计算；

j6、使用差分分类器模型进行识别（j6），进入步骤j10；

j7、若定位类型为方向滤波（j7），是则进入步骤j8，否则不进行车标识别；

j8、计算HOG特征（j8）

同步骤j2对待识别车标进行HOG特征的计算；

j9、使用方向滤波分类器模型进行识别（j9），进入步骤j10；

j10、输出识别结果（j10）

将车标识别的车标类型和车标匹配置信度输出给车标定位流程进行处理。