CN105469046B - 基于pca和surf特征级联的车辆车型识别方法 - Google Patents

基于pca和surf特征级联的车辆车型识别方法 Download PDF

Info

Publication number
CN105469046B
CN105469046B CN201510819656.0A CN201510819656A CN105469046B CN 105469046 B CN105469046 B CN 105469046B CN 201510819656 A CN201510819656 A CN 201510819656A CN 105469046 B CN105469046 B CN 105469046B
Authority
CN
China
Prior art keywords
vehicle
image
pca
features
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510819656.0A
Other languages
English (en)
Other versions
CN105469046A (zh
Inventor
康波
汪峥
陈亮
赵辉
李云霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510819656.0A priority Critical patent/CN105469046B/zh
Publication of CN105469046A publication Critical patent/CN105469046A/zh
Application granted granted Critical
Publication of CN105469046B publication Critical patent/CN105469046B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于PCA和SURF特征级联的车辆车型识别方法，首先对建立已知车型的车型PCA特征库，PCA特征提取方法为：将车辆正面图像转换化HIS色彩空间，检测得到车牌区域的倾斜角度，对整个车辆正面图像进行倾斜校正，然后截取得到车脸图像，提取车脸图像的PCA特征；在车型识别时，先从被测车辆正面图像提取得到测试图像的PCA特征和车脸图像，然后从车型PCA特征库中搜索与测试图像的PCA特征最接近的K个PCA特征，将对应的K幅车脸图像构成候选车型集，对被测车辆的车脸图像和候选车型集中的K幅车脸图像分别进行SURF特征提取，然后进行SURF特征的匹配，将车脸图像与被测车辆车脸图像最匹配的车型作为车型识别结果。采用本发明可以提高车辆车型识别的准确率及效率。

Description

基于PCA和SURF特征级联的车辆车型识别方法
技术领域
本发明属于智能交通场景的车辆识别技术领域，更为具体地讲，涉及一种基于PCA和SURF特征级联的车辆车型识别方法。
背景技术
由于智能交通系统的普及，如何准确地从车的前脸中识别出车辆的品牌以及各品牌下面的各个系列是一个急需解决的问题，如果这个问题能够很好的解决，那么将会给高速公路收费和车辆调度管理系统或者说交通犯罪的侦破提供较为有力的技术支撑。
这几年来涌现了各式各样的车辆识别技术，它们当中大部分都是根据检测到的车辆的一些物理参数去自动归纳分类完成车辆识别，这些参数基本上是通过光电感应器、线圈等传感器来获取到的车辆的车重、车宽、车长、底盘轴粗、轮距、底盘高等各类物理数据。以上思路是可以比较简易地完成车辆识别，其算法不复杂。但系统的稳定性不高，因为需要去架设很多的外部辅助测量仪器，使得获得车辆那些参数就显得不易。同时这种方法往往很难识别出车辆的深层次的信息，只能初步把车辆的类型和大小判断出来。
2009年，D.R.Lim和他团队的学者对于车辆的图片提出了一种新的车辆特征提取思路——Gabor轮廓特征，用于后续的车辆识别。该算法首先利用Gabor滤波器对目标车辆图像进行滤波平滑的操作，这一操作之后就很容易获得车辆的轮廓信息，利用这些信息去对车辆进行匹配识别。尽管算法有不错的实时性，但车辆识别率比较低。
2010年，Iqbal等学者采用SIFT算法与Sobel算子相结合的思路去计算车辆特征，等于结合了这两种算法的优点。只是由于SIFT算法获取的特征维度很高，特征匹配所花费的时间很长，而且所用到的样本库的车类型不全，使得识别率也不高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于PCA和SURF特征级联的车辆车型识别方法，提高车辆车型识别的准确率及效率。
为实现上述发明目的，本发明基于PCA和SURF特征级联的车辆车型识别方法包括以下步骤：
S1：对已知车型的车辆正面图像进行PCA特征提取，根据提取得到的车脸图像、样本PCA特征和对应车型建立车型PCA特征库；PCA特征提取的具体步骤包括：
S1.1：将拍摄到的车辆正面图像从RGB色彩空间转换到HIS色彩空间；
S1.2：根据车牌的两种颜色对HIS空间的车辆正面图像进行边缘检测，然后对检测到的边缘进行形态学闭开操作，得到若干个区域轮廓，选择面积最大的区域作为初始车牌区域；根据车牌长宽的先验信息对提取得到的车牌区域进行水平和垂直投影，将边缘的不相干像素点去除，从而得到较为准确的车牌区域，提取得到车牌区域图像；
S1.3：将步骤S1.2提取的车牌区域灰度图像进行二值化，对二值化车牌图像进行边缘检测，得到车牌号码轮廓，在边缘检测后的车牌图像基础上进行旋转投影变换，将车牌号码轮廓的最大投影值对应的旋转角度作为车牌的倾斜角度然后将车辆正面图像按照角度进行倾斜校正；
S1.4：在倾斜校正后的车辆正面图像中截取得到车脸图像；
S1.5：对车脸图像进行预处理：将车牌区域设置为白色，再将车脸灰度图像调整为预定尺寸，最后对车脸灰度图像进行图像增强；对预处理完成后的车脸图像进行PCA特征提取；
S2：采用步骤S1中的PCA特征提取方法从被测车辆正面图像提取得到PCA特征作为测试PCA特征，并提取车脸图像；
S3：在车型PCA特征库中，搜索与测试PCA特征最接近的K个PCA特征，将对应的K幅车脸图像构成候选车型集，其中K＞1；
S4：对被测车辆的车脸图像和候选车型集中的K幅车脸图像分别进行SURF特征提取，然后进行SURF特征的匹配，将车脸图像与被测车辆车脸图像最匹配的车型作为车型识别结果。
本发明基于PCA和SURF特征级联的车辆车型识别方法，首先对已知车型的车辆正面图像进行PCA特征提取，建立车型PCA特征库，PCA特征提取首先将车辆正面图像转换化HIS色彩空间，检测得到车牌区域，得到其倾斜角度，对整个车辆正面图像进行倾斜校正，从校正后图像中截取得到车脸图像，然后提取PCA特征；在车型识别时，先从被测车辆正面图像提取得到测试图像的PCA特征和车脸图像，然后从车型PCA特征库中搜索与测试图像的PCA特征最接近的K个PCA特征，将对应的K幅车脸图像构成候选车型集，对被测车辆的车脸图像和候选车型集中的K幅车脸图像分别进行SURF特征提取，然后进行SURF特征的匹配，将车脸图像与被测车辆车脸图像最匹配的车型作为车型识别结果。
本发明具有以下有益效果：
(1)通过车牌区域的倾斜角度对整个车辆正面图像进行倾斜校正，排除了拍摄角度干扰，提高了样本和测试车辆的PCA特征的一致性；
(2)通过PCA特征与SURF特征相级联，以性能更稳定的SURF特征来弥补PCA特征鲁棒性较差的缺点，提高车型识别的准确率、稳定性及识别速度。
附图说明
图1是本发明基于PCA和SURF特征级联的车辆车型识别方法的流程图；
图2是本发明PCA特征提取的流程图；
图3是二值化图像示例图；
图4是车牌定位的结果示例图；
图5是倾斜校正的示例图；
图6是梯度化处理示例图；
图7是二值化梯度图像示例图；
图8是图7的水平积分投影和垂直积分投影；
图9是确定车脸区域边界的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于PCA和SURF特征级联的车辆车型识别方法的流程图。如图1所示，本发明基于PCA和SURF特征级联的车辆车型识别方法包括以下步骤：
S101：建立车型PCA特征库：
PCA(Principal Components Analysis,主成分分析)是由Karl Pearson提出的一种经典的方法，在模式识别图像处理方面有着广泛的应用，其主要思想是从多变量的事物中，寻找出能够描述事物本质的一个或者多个主要成分。
本发明为了进行车辆车型识别，首先要对已知车型的车辆正面图像进行PCA特征提取，根据提取得到的车脸图像、PCA特征和对应车型建立车型PCA特征库。车型PCA特征库可以离线以xml文件形式存储在本地，同时存储车辆基本信息至SQLServer2005数据库。为了保证PCA特征的输入空间是一样的，需要对所有车辆正面图像进行预处理，使其变换到同一空间，然后再进行PCA特征提取。
图2是本发明PCA特征提取的流程图。如图2所示，本发明中对车辆正面图像的PCA特征提取的具体步骤包括：
S201：颜色空间转换：
在计算机视觉和图像处理中许多算法都能够方便地在HIS空间中使用，在HSI色彩空间相对于普通的RGB色彩空间的明显优点是，在HIS空间各分量之间是相互独立的可以分开处理。所以有些图像分析和处理的工作量在HSI色彩空间可以得到简化。由于目前拍摄的照片基本都是属于RGB色彩空间，因此本发明首先要将车辆正面图像从RGB色彩空间转换到HIS色彩空间。RGB色彩空间和HSI色彩空间其实是同一物理量的两种不同表示方式，有如下转换关系：
其中，R、G、B分别表示RGB色彩的三个分量，H、S、I分别表示HIS色彩的三个分量。
由于本发明针对的是车辆车型的识别，目前现行的车牌颜色搭配有三种，蓝色和白色、黄色和黑色、黑色和白色。将原始车脸正面图像转换到HIS空间后，可以更多地保留车牌区域的信息，而弱化其他背景信息。为了说明这种效果，对H分量和S分量进行处理得到车辆正面图像的二值化图像。图3是二值化图像示例图。如图3所示，对一辆蓝白车牌的蓝色车辆正面图像先进行色彩空间转换，从转换后图像的二值化图像中可以看出，得到的HIS空间的车辆正面图像基本保留了车牌的绝大多数信息，而其他区域的信息则有一定的剔除。
S202：车牌定位：
考虑到在车牌区域较其他区域一个明显的特点就是有大量两种颜色的边缘。因此首先对HIS空间的车辆正面图像进行边缘检测。本实施例中采用的边缘检测方法为：预设车牌两种颜色H分量和S分量的范围，采用3×3的滑动窗口在车辆正面图像中依次滑动，记中心像素坐标为(i,j)，分别判断像素(i-1,j-1)、(i,j-1)、(i+1,j-1)、(i-1,j+1)、(i,j+1)、(i+1,j+1)所对应的颜色，如果像素(i-1,j-1)、(i,j-1)、(i+1,j-1)对应一种颜色，而(i-1,j+1)、(i,j+1)、(i+1,j+1)对应另一种颜色，那么像素(i-1,j)、(i,j)、(i+1,j)为边缘像素，将这三个像素值置为1，窗口中其他像素点的像素值置为0，否则将窗口中所有像素的像素值置为0。
然后对检测到的边缘进行形态学闭开操作，把检测到的边缘聚类在一起，得到若干个区域轮廓。由于车牌区域具有大量的两种颜色边缘，因此得到的轮廓会比其他区域更大。因此本发明直接从聚类得到的区域轮廓中选择面积最大的区域作为初始车牌区域。然后根据车牌长宽的先验信息对提取得到的车牌区域进行水平和垂直投影，将边缘的不相干像素点去除，从而得到较为准确的车牌区域。
图4是车牌定位的结果示例图。如图4所示，由于本发明是蓝底白字车牌，因此对图像进行蓝白边缘检测，得到蓝白边缘(如图4(a))，然后进行形态学闭开操作，得到若干区域轮廓(如图4(b))，筛选其中面积最大的轮廓线区域得到车牌轮廓(如图(c))，去除不相干像素点后得到车牌定位结果(如图4(d)中的白色方框内区域)。
S203：倾斜校正：
考虑到所拍摄的车辆正面图像可能发生一定角度的倾斜，为保证能够有效的提取PCA特征，需要对车辆正面图像的倾斜进行校正。而车辆的倾斜角度肯定和车牌是一样的，所以对车牌的倾斜校正也是对车辆的倾斜校正。本发明采用的车牌倾斜校正算法是改进的旋转投影法。为了降低算法复杂度，根据实际情况假设车牌倾斜的范围为[-30°,30°]。
旋转投影的基本思路是如果车牌存在倾斜，那么不断对车牌图像进行旋转，或者说每隔一个小角度对车牌图像进行旋转，然后进行水平投影，计算投影值。当从倾斜状态旋转到水平位置的时候，计算得到的投影值是最大的，因此只要记录下每旋转一个角度后的投影值，进行比较，最大的那个投影值对应的旋转角度即为车牌的倾斜角度。而且当旋转过了水平位置的时候，再往下面旋转，得到的水平投影值是慢慢减小的。也就是说投影值是呈抛物线变化的，基于此可以让旋转的角度范围大大缩小，减少不必要的角度旋转，这样在一定程度上减少了整体的车型识别时间。
根据上述分析可知，本发明采用的倾斜校正的具体方法为：按照步骤S202中得到的车牌区域从HIS色彩空间的车辆正面图像中提取到车牌灰度图像，然后进行二值化，这样可以减少计算量。然后对二值化车牌图像进行边缘检测，得到车牌号码轮廓，本实施例中采用Canny算子进行边缘检测。然后在边缘检测后的车牌图像基础上按照预定的角度步长进行旋转投影变换，搜索得到车牌号码轮廓的最大投影值，将该最大投影值所对应的旋转角度作为车牌的倾斜角度然后将车辆正面图像按照角度进行倾斜校正。
图5是倾斜校正的示例图。如图5所示，二值化车牌图像(图5(a))进行边缘检测后，得到边缘检测结果(图5(b))，然后旋转投影得到倾斜角度，倾斜校正后即可得到校正后的车牌图像(图5(c))。对比图5(c)和图5(a)可知，经过倾斜校正后，可以有效改善车牌的倾斜情况，相应地，整个车辆正面图像的倾斜也得到了校正。
S204：车脸区域截取：
车脸指位于车辆前主雾灯之间的区域，通常为车辆前部排气网面板区域，在这个区域拥有用于车辆识别的大量特征信息。而在步骤S203得到的倾斜校正后的车辆正面图像中，难免会有多余的背景信息，所以需要对车脸区域进行截取。截取车脸之后能够保证图片中绝大多数的信息是和车有关的信息，而非背景信息，这对于识别率至关重要。车脸区域的截取可以根据需要选择具体的方法。比如通过车脸与车牌的比例，将车牌区域扩大直接得到车脸区域，这种方法比较简单，但是由于各种车型的车脸与车牌的比例不一致，有可能出现部分车型车脸不全而部分车型车脸图像中存在背景区域的问题。
要准确的截取出车脸，需要运用到车脸区域的纹理信息。纹理信息主要从图像的灰度变化中提取，也就是图像梯度。因此本发明采用基于水平梯度投影的车脸截取方法，首先对车辆正面图像的灰度图像采用水平梯度进行梯度化处理，得到梯度图像。图6是梯度化处理示例图。如图6所示，图6(a)是原始的车辆正面图像的灰度图像，图6(b)是图6(a)经过梯度化处理得到的梯度图像。为简化计算量，本发明对梯度图像采用Otsu全局二值化方法进行二值化操作。图7是二值化梯度图像示例图。然后得到二值化梯度图像的水平积分投影和垂直积分投影。图8是图7的水平积分投影和垂直积分投影。如图8所示，在水平积分投影中车脸区域的中间位置有类似于“鼓包”的存在，而在垂直积分投影中的两边位置有类似于“低谷”存在，可以根据这两点来确定车脸的上下边界值和左右边界值，之后就可以在原车辆图像中较为准确的提取出车脸。图9是确定车脸区域边界的流程图。如图9所示，确定车脸区域边界的具体步骤包括：
S901：设定水平积分投影阈值初始值TH：该阈值是鼓包搜索的起点，可以是水平积分投影的最大值或略小于最大值的值，根据实际需要来确定即可。
S902：搜索鼓包：
在水平积分投影图中搜索得到直线x＝TH与投影曲线形成的鼓包，也就是该直线与水平积分投影曲线相交形成的波形突起，交点即为边界点。如果出现多个鼓包，可以先对鼓包进行合并，即如果两个鼓包的相邻边界点的y坐标距离小于预设阈值，则将这两个鼓包合并为一个，然后在合并完成的鼓包中选择宽度最大的那个鼓包作为鼓包的搜索结果。将搜索得到的鼓包两个边界点的y坐标分别记为y1和y2。
S903：判断是否|y1-y2|＜t1，t1表示预设的车盖高度阈值，如果是，进入步骤S904，否则进入步骤S905。
S904：令阈值TH＝TH-1，返回步骤S902。
S905：得到上下边界：
将y1和y2作为车脸区域的上下边界。
S906：设定垂直积分投影阈值初始值TV：该阈值是低谷搜索的起点，可以是1或略大于1的值。同时预设一个车脸宽度阈值初始值t2，该阈值是车脸宽度的起点，可以设为稍大些。
S907：搜索低谷：
在垂直积分投影图中搜索得到直线y＝TV与投影曲线形成的低谷，也就是该直线与水平积分投影曲线相交形成的波形凹陷，交点即为边界点。如果出现多个低谷，可以先对低谷进行合并，即如果两个低谷的相邻边界点的x坐标距离小于预设阈值，则将这两个低谷合并为一个，然后在合并完成的低谷中选择宽度最大的那个低谷作为低谷的搜索结果。将搜索得到的低谷两个边界点的x坐标分别记为x1和x2，然后统计小于x1的点的数量xleft和大于x2的点的数量xright，也就是统计图片两端低谷点的数量。
S908：判断是否xleft+xright＜thr，thr表示预设的容器阈值，如果是，进入步骤S909，否则进入步骤S910。
S909：令阈值TV＝TV+1，返回步骤S907。
S910：判断是否|x1-x2|＜t2，如果是，进入步骤S911，否则进入步骤S912。S911：t2＝t2-λ，λ为针对车脸的宽度预设的调整步长，一般其取值范围为1≤λ≤10，TV＝TV-1，返回步骤S907。
在搜索上下边界时，车盖高度采用固定阈值，因为只要车盖高度阈值不十分大，一般都不会截取到背景区域。但是在搜索左右边界时，不同型号的车脸宽度的差别可能比较大，如果车脸宽度设置固定的值，有可能导致某些车型截取得到的车脸区域会存在背景，因此此处将车脸宽度阈值t2和垂直积分投影阈值TV一样，设置为可调，从而更好地确定车脸区域的左右边界。
S912：得到左右边界：
将x1和x2作为车脸区域的左右边界。
S205：提取车脸区域的PCA特征：
由于每一辆车的车牌号是不一样的，如果对车牌区域也提取PCA特征的话，会影响后续车型识别的准确率，故本发明首先在车脸灰度图像中统一将车牌区域设置成白色。为保证PCA的输入一致，可将每张车脸灰度图像调整到一个预定尺寸。经过实验比对，本实施例中选取的尺寸大小为80×30。为了减小光照等因素的影响，再对车脸灰度图像进行图像增强操作，本实施例中采取的是灰度图像均衡化进行图像增强。然后对预处理完后的车脸灰度图像进行PCA特征的提取。PCA特征是目前常用的一种图像特征，其具体提取方法在此不再赘述。
S102：提取被测车辆正面图像的PCA特征：
按照与样本PCA特征同样的提取方法，从被测车辆正面图像提取得到PCA特征，作为测试PCA特征，并提取车脸图像。
S103：寻找候选车型集：
在车型PCA特征库中，搜索与测试PCA特征最接近的K个PCA特征，将对应的K幅车脸图像构成候选车型集，其中K＞1，其取值根据实际情况设置。本实施例中，采用改进的k-d树(k-dimension tree):BBF(Best-Bin-Frist)算法并以马氏距离为距离函数来获取最接近样本。
本发明之所以取最接近的K个样本，而不是直接取最接近的那个样本，是因为PCA特征虽然能够保证所得到的关于车辆的信息尽可能地多，但是易于受到光照等多种外在因素的影响，其鲁棒性较差，使得最接近的样本并不一定是准确结果。经过实验发现，与测试PCA特征真正匹配的，即使不是距离最近的那个匹配样本，也会以90％以上的概率出现在距离最近的五幅样本中。同时也考虑到接下来SURF特征提取的复杂度，故一般设置寻找最匹配的样本集的大小为五个，即寻找最匹配的五个样本。
S104：SURF特征的提取与匹配：
由于与测试样本最匹配的不一定是距离最近的，而是以高概率出现在距离最近的K幅候选样本中，这就是说PCA特征不足以完全描述它们之间的区别，为此本发明采用区分度更高的SURF特征算法去提取待测车辆图像的车辆正面图像与候选车型的车辆正面图像的SURF特征，然后再进行匹配。
SURF(Speed-up robust features，加速健壮特征)是由Herbert Bay等在2006年提出的对SIFT的改进算法，在计算时间，图片模糊，光照等方面都较SIFT有较大的提升。提取SURF特征的主要步骤如下，(1)尺度空间的建立，(2)检测关键点，(3)主方向的指定，(4)生成局部图像描述算子。然后通过局部图像描述算子来表达一副图像。SURF特征是目前较为常用的一种图像特征，其具体提取过程在此不再赘述。本实施例中，利用Flann匹配算法来进行SURF特征的匹配。
鉴于本发明中SURF特征匹配只是限于K对图像的SURF特征匹配，同时利用SURF特征匹配可能会出现一些错误的匹配，本发明提出一个比较简单的去除误匹配特征点的方法，剔除误匹配的方法如下：
对于两幅车脸图像的所有匹配特征点对，计算每对特征点的距离，得到最小距离Dmin。然后遍历每对特征点，如果其距离大于2倍Dmin，则认为是误匹配特征点对，将其进行剔除。然后计算剩余特征点对的距离的平方和，将K幅候选样本中，与测试样本特征点对距离平方和最小的样本对应的车型作为车型识别结果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (7)

1.一种基于PCA和SURF特征级联的车辆车型识别方法，其特征在于，包括以下步骤：
S1：对已知车型的车辆正面图像进行PCA特征提取，根据提取得到的车脸图像、样本PCA特征和对应车型建立车型PCA特征库；PCA特征提取的具体步骤包括：
S1.1：将拍摄到的车辆正面图像从RGB色彩空间转换到HIS色彩空间；
S1.2：根据车牌的两种颜色对HIS空间的车辆正面图像进行边缘检测，然后对检测到的边缘进行形态学闭开操作，得到若干个区域轮廓，选择面积最大的区域作为初始车牌区域；根据车牌长宽的先验信息对提取得到的车牌区域进行水平和垂直投影，将边缘的不相干像素点去除，从而得到较为准确的车牌区域，提取得到车牌区域灰度图像；
S1.3：将步骤S1.2提取的车牌区域灰度图像进行二值化，对二值化车牌图像进行边缘检测，得到车牌号码轮廓，在边缘检测后的车牌图像基础上进行旋转投影变换，将车牌号码轮廓的最大投影值对应的旋转角度作为车牌的倾斜角度然后将车辆正面图像按照角度进行倾斜校正；
S1.4：在倾斜校正后的车辆正面图像中截取得到车脸图像，具体方法为：对车辆正面图像的灰度图像采用水平梯度进行梯度化处理，得到水平梯度图像，并进行二值化，然后对二值化图像进行水平积分投影和垂直积分投影，基于水平积分投影和垂直积分投影确定车脸区域边界，截取得到车脸图像；确定车脸区域边界的具体方法包括以下步骤：
S1.4.1：设定水平积分投影阈值初始值TH；
S1.4.2：在水平积分投影图中搜索得到直线x＝TH与投影曲线形成的鼓包，将搜索得到的鼓包两个边界点的y坐标分别记为y1和y2；
S1.4.3：如果|y1-y2|＜t1，t1表示预设的车盖高度阈值，令阈值TH＝TH-1，返回步骤S1.4.2，否则将y1和y2作为车脸区域的上下边界；
S1.4.4：设定垂直积分投影阈值初始值TV和车脸宽度阈值初始值t2；
S1.4.5：在垂直积分投影图中搜索得到直线y＝TV与投影曲线形成的低谷，将搜索得到的低谷两个边界点的x坐标分别记为x1和x2，然后统计小于x1的点的数量xleft和大于x2的点的数量xright；
S1.4.6：如果xleft+xright＜thr，thr表示预设的容器阈值，令阈值TV＝TV+1，返回步骤S1.4.5，否则进入步骤S1.4.7；
S1.4.7：如果|x1-x2|＜t2，令t2＝t2-λ，λ为预设的调整步长，TV＝TV-1，返回步骤S1.4.5，否则将x1和x2作为车脸区域的左右边界；
S1.5：对车脸图像进行预处理：将车牌区域设置为白色，再将车脸灰度图像调整为预定尺寸，最后对车脸灰度图像进行图像增强；对预处理完成后的车脸灰度图像进行PCA特征提取；
S2：采用步骤S1中的PCA特征提取方法从被测车辆正面图像提取得到PCA特征作为测试PCA特征，并提取车脸图像；
S3：在车型PCA特征库中，搜索与测试PCA特征最接近的K个PCA特征，将对应的K幅车脸图像构成候选车型集，其中K＞1；
S4：对被测车辆的车脸图像和候选车型集中的K幅车脸图像分别进行SURF特征提取，然后进行SURF特征的匹配，将车脸图像与被测车辆车脸图像最匹配的车型作为车型识别结果。
2.根据权利要求1所述的车辆车型识别方法，其特征在于，所述步骤S1.2中，边缘检测的具体方法为：预设车牌两种颜色H分量和S分量的范围，采用3×3的滑动窗口在车辆正面图像中依次滑动，记中心像素坐标为(i,j)，分别判断像素(i-1,j-1)、(i,j-1)、(i+1,j-1)、(i-1,j+1)、(i,j+1)、(i+1,j+1)所对应的颜色，如果像素(i-1,j-1)、(i,j-1)、(i+1,j-1)对应一种颜色，而(i-1,j+1)、(i,j+1)、(i+1,j+1)对应另一种颜色，那么像素(i-1,j)、(i,j)、(i+1,j)为边缘像素，将这三个像素点的像素值置为1，窗口中其他像素点的像素值置为0，否则将窗口中所有像素点的像素值置为0。
3.根据权利要求1所述的车辆车型识别方法，其特征在于，所述步骤S1.3中，旋转投影变换时设置车牌倾斜范围为[-30°,30°]。
4.根据权利要求1所述的车辆车型识别方法，其特征在于，所述水平梯度图像的二值化采用Otsu全局二值化方法。
5.根据权利要求1所述的车辆车型识别方法，其特征在于，所述步骤S1.4.7中，λ的取值范围为1≤λ≤10。
6.根据权利要求1所述的车辆车型识别方法，其特征在于，所述步骤S3中K＝5。
7.根据权利要求1所述的车辆车型识别方法，其特征在于，所述步骤S4中，在SURF特征匹配中采用以下方法来剔除误匹配：对于两幅车脸图像的所有匹配特征点对，计算每对特征点的距离，得到最小距离Dmin；然后遍历每对特征点，如果其距离大于2倍Dmin，则认为是误匹配特征点对，将其进行剔除。
CN201510819656.0A 2015-11-23 2015-11-23 基于pca和surf特征级联的车辆车型识别方法 Expired - Fee Related CN105469046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510819656.0A CN105469046B (zh) 2015-11-23 2015-11-23 基于pca和surf特征级联的车辆车型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510819656.0A CN105469046B (zh) 2015-11-23 2015-11-23 基于pca和surf特征级联的车辆车型识别方法

Publications (2)

Publication Number Publication Date
CN105469046A CN105469046A (zh) 2016-04-06
CN105469046B true CN105469046B (zh) 2018-09-07

Family

ID=55606717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510819656.0A Expired - Fee Related CN105469046B (zh) 2015-11-23 2015-11-23 基于pca和surf特征级联的车辆车型识别方法

Country Status (1)

Country Link
CN (1) CN105469046B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956633B (zh) * 2016-06-22 2020-04-07 北京小米移动软件有限公司 搜索引擎类别的识别方法和装置
CN106529471B (zh) * 2016-11-08 2019-08-23 广东安居宝数码科技股份有限公司 车脸定位方法和系统
CN106803066B (zh) * 2016-12-29 2020-11-13 广州大学 一种基于Hough变换的车辆偏航角确定方法
CN108268866B (zh) * 2016-12-30 2020-07-10 纵目科技（上海）股份有限公司 一种车辆检测方法和系统
CN107101598B (zh) * 2017-03-10 2023-11-03 华南理工大学 一种压电陶瓷银片同心度质量自动检测方法和装置
CN107122740A (zh) * 2017-04-26 2017-09-01 南京理工大学 一种基于双摄像机的车型识别装置及方法
CN108844527B (zh) * 2018-05-07 2021-05-25 广东省电信规划设计院有限公司 基站天线工程参数获取方法和系统、存储介质及设备
CN111144390B (zh) * 2019-12-20 2023-10-27 武汉瑞纳捷半导体有限公司 一种车牌识别中漏检字符查找方法、系统及电子设备
CN113554024A (zh) * 2021-07-27 2021-10-26 宁波小遛共享信息科技有限公司 一种车辆的清洁度的确定方法、装置及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077407A (zh) * 2013-01-21 2013-05-01 信帧电子技术（北京）有限公司 车标定位识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123783B2 (en) * 2002-01-18 2006-10-17 Arizona State University Face classification using curvature-based multi-scale morphology

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077407A (zh) * 2013-01-21 2013-05-01 信帧电子技术（北京）有限公司 车标定位识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
车牌定位和倾斜校正的关键技术研究;申继龙;《中国优秀硕士学位论文全文数据库信息科技辑》;20130615(第06期);第I138-1219页 *
车牌检测及汽车类型分类方法研究;姜谊;《中国优秀硕士学位论文全文数据库信息科技辑》;20101015(第10期);第I138-713页 *

Also Published As

Publication number Publication date
CN105469046A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105469046B (zh) 基于pca和surf特征级联的车辆车型识别方法
CN107729818B (zh) 一种基于深度学习的多特征融合车辆重识别方法
KR101856401B1 (ko) 차선 데이터의 처리 방법, 장치, 저장매체 및 기기
CN102609686B (zh) 一种行人检测方法
US8073233B2 (en) Image processor, microscope system, and area specifying program
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
Alefs et al. Road sign detection from edge orientation histograms
CN106650553A (zh) 车牌识别方法及系统
CN101625760A (zh) 一种证件图像倾斜校正的办法
CN105844621A (zh) 一种印刷品质量检测方法
CN109409208A (zh) 一种基于视频的车辆特征提取与匹配方法
CN107122777A (zh) 一种基于视频文件的车辆分析系统及分析方法
KR20130105952A (ko) 차량 번호판 인식 방법과 그 장치
TWI522934B (zh) 智慧型手機之陀螺儀感測器車牌辨識系統及其方法
CN104036284A (zh) 基于Adaboost算法的多尺度行人检测方法
CN104766344B (zh) 基于运动边缘提取器的车辆检测方法
CA2815591C (en) Method for detecting and recognising an object in an image, and an apparatus and a computer program therefor
CN104463138A (zh) 基于视觉结构属性的文本定位方法及系统
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN103093200A (zh) 快速精准定位图像中车牌的算法
CN113673541B (zh) 一种用于目标检测的图像样本生成方法及应用
CN110008900A (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN109190455A (zh) 基于高斯混合和自回归滑动平均模型的黑烟车识别方法
CN103743750A (zh) 一种大口径光学元件表面损伤分布图的生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180907

Termination date: 20211123