CN109635804A - 一种基于SIFT和kNN的车牌识别方法及系统 - Google Patents

一种基于SIFT和kNN的车牌识别方法及系统 Download PDF

Info

Publication number
CN109635804A
CN109635804A CN201811488985.1A CN201811488985A CN109635804A CN 109635804 A CN109635804 A CN 109635804A CN 201811488985 A CN201811488985 A CN 201811488985A CN 109635804 A CN109635804 A CN 109635804A
Authority
CN
China
Prior art keywords
license plate
sift
knn
character
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811488985.1A
Other languages
English (en)
Inventor
王育坚
李深圳
谭卫雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN201811488985.1A priority Critical patent/CN109635804A/zh
Publication of CN109635804A publication Critical patent/CN109635804A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于SIFT和kNN的车牌识别方法及系统，其中方法包括提取拍摄到的车牌图像，还包括以下步骤：基于SIFT进行车牌定位；基于SIFT和kNN进行字符识别。本发明提出了一种基于SIFT和kNN的车牌识别系统及方法，不仅能够实现准确的车牌定位及倾斜校正，而且对图像亮度、污损、倾斜、尺寸变化等具有良好的适应性和鲁棒性。并且能有效提高车牌识别的效率。

Description

一种基于SIFT和kNN的车牌识别方法及系统
技术领域
本发明涉及车牌识别的技术领域，特别是一种基于SIFT和kNN 的车牌识别方法及系统。
背景技术
车牌识别技术(Vehicle License Plate Recognition，VLPR) 是指通过视觉传感器检测受监控路面的车辆并自动提取车辆牌照信息 (包括汉字、大写英文字母、阿拉伯数字和车牌颜色等)，并且进行相 应处理的技术。车牌识别是智能交通系统(IntelligentTransportation System，ITS)中的重要组成部分之一，有着广泛的 应用场景。一般来说，车牌识别方法包括以下几个步骤，车辆图像预 处理、车牌定位以及字符切分和字符识别。采集车辆图像的环境往往 很复杂，受到很多因素影响，如天气，光线等；进而使得采集到的图 像不够清晰。为了能够有效地识别车辆和车牌，一般先采用一定的图 像预处理对图像进行预处理，以消除对后面识别有影响的各种噪声。 牌照定位是指在待处理的图像中将牌照的位置标示出来，当然对于多 个车牌，需要能够同时都进行分割。字符切分是将图像中定位的牌照 区域中的字符一一切割出来。而字符识别是对切割出来的牌照字符图 像进行识别，转化为文本。
车牌识别往往需要车辆运动的情况下采集图像，汽车的高速运动 会使得采集到的图像上存在噪声和模糊等情况，传统的车牌识别方法 依赖于准确的车牌定位和有效的光学字符识别。而在复杂环境中准确 定位目标是模式识别中的一个难点，车牌的定位往往存在很多错误， 从而影响最后的车牌识别。车牌的污损程度、光照条件、是否含有类 文字背景等都会对现有算法的定位效果产生严重影响；已有方法对车 牌拍摄视角偏斜程度也较为敏感，一些方法取得的定位结论多数都附 带假设条件，比如假设字符基本呈水平排列，拍摄视角不允许较大和 旋转等情况。
公开号为CN105740886A的发明专利公开了一种基于机器学习的 车标识别方法，包括以下步骤：1)车标定位：首先根据车牌定位方法 找出车牌，在此基础上确定车标可能的区域，即包含车标的ROI区域作 为车标定位图像；2)提取车标定位图像的SIFT特征集；3)采用聚类 方法，从SIFT特征集生成特征的K个关键词及其权重；4)从SIFT特征 集产生得到K个关键词及其权重对作为分类器的输入；5)利用训练好 的多类SVM分类器进行分类。该方法的缺点是对于汉字的识别率不高。
发明内容
为了解决上述的技术问题，本发明提出一种基于SIFT和kNN的 车牌识别方法及系统，本发明针对车牌容易变形，涂漆易脱落，受光 照等环境因素的影响，将SIFT算法和kNN应用在车牌识别领域中， 有效地克服了上述问题。SIFT算法对汉字，字母和数字提取SIFT局 部特征，并用之构建特征模板库，然后把待识别车牌图像的SIFT特 征与之相匹配，用RANSAC算法剔除误匹配点后，便得到仿射变换 矩阵，从而实现对车牌较准确的初定位和初倾斜校正。进一步对提取 的车牌区域图像二值化，用Radon变换求得倾斜角度后，可生成精确 的仿射变换矩阵，并实现对车牌的倾斜校正和精确定位。把分割后的 字符提取SIFT局部特征，然后串行加在分割字符向量后面组成新的 特征向量，用kNN算法提取前九个最相近的特征向量，采用一种相 对加权方法算出最相近的字符。
本发明第一目的是提供一种基于SIFT和kNN的车牌识别方法， 包括提取拍摄到的车牌图像，还包括以下步骤：
步骤1：基于SIFT进行车牌定位；
步骤2：基于SIFT和kNN进行字符识别。
优选的是，所述车牌定位方法的步骤如下：
步骤11：输入所述车牌图像，记为Im；
步骤12：提取Im的SIFT特征；
步骤13：进行欧氏距离匹配，若匹配成功，则重新执行步骤11；
步骤14：用RANSAC剔除误匹配，通过相似性度量得到潜在匹配对；
步骤15：进行车牌的仿射变换；
步骤16：利用仿射变换矩阵H1对车牌区域初定位，并将定位区域矫 正为标准车牌尺寸，记校正后的车牌图像为Im1；
步骤17：对所述Im1进行精确定位和倾斜校正。
在上述任一方案中优选的是，所述SIFT特征包括特征点位置、 尺度、主方向和128维SIFT描述算子中至少一种。
在上述任一方案中优选的是，所述步骤13包括把Database中各 汉字128维SIFT描述算子与提取到的所述SIFT算子进行欧氏距离 匹配。
在上述任一方案中优选的是，所述步骤13还包括采用kd树的数 据结构来完成搜索。
在上述任一方案中优选的是，所述车牌仿射变换的模型表示为
其中，H1为仿射变换矩阵，(x,y)和(x′,y′)分别是车牌首位汉字的关键 点在标准车牌和待检测车牌中的位置。
在上述任一方案中优选的是，所述仿射变换矩阵H1的计算公式为 H1＝BAT(AAT)-1，其中，A和B为矩阵，T表示矩阵的转置。
在上述任一方案中优选的是，所述A的公式为 其中，(x,y)为车牌首位汉字的关键点在标准车 牌中的位置，N是关键点个数。
在上述任一方案中优选的是，所述B的公式为 其中，(x′,y′)为车牌首位汉字的关键点在待 检测车牌中的位置。
在上述任一方案中优选的是，所述步骤17包括以下子步骤：
步骤171：对所述车牌图像Im1进行颜色二值化，若如果颜色二值化失 败则执行步骤172，若颜色二值化成功则执行步骤173；
步骤172：用图像形态学对所述车牌图像Im1进行二值化；
步骤173：对得到的二值化图像进行直线检测；
步骤174：计算精确的仿射变换矩阵H；
步骤175：利用精确仿射变换矩阵H对原图像Im1进行精确定位；
步骤176：提取车牌区域。
在上述任一方案中优选的是，所述步骤171包括将Im1从RGB颜 色空间转换到HSV颜色空间。
在上述任一方案中优选的是，所述步骤171还包括将车牌底色区 域标定为黑色，其他区域标定为白色。
在上述任一方案中优选的是，所述步骤172的方法为将Im1灰度化， 对灰度化图像直方图均衡化灰度拉伸，中值滤波去除孤立噪声点，进 行大律法二值化(OTSU)使字符与底色背景分离，最后用2×4的全1 矩阵进行膨胀运算，得到水平纹理突出的二值化图像。
在上述任一方案中优选的是， 所述步骤174包括用Radon变换检测字符的倾斜角度θ。
在上述任一方案中优选的是，所述仿射变换矩阵H的计算公式为
在上述任一方案中优选的是，所述字符识别包括以下子步骤：
步骤21：把每个字符向量化成一个p×q的向量。再提取该字符的SIFT 特征，让其SIFT特征串行加在p×q的向量的后面组成一个新的特征 向量V，其中，p和q为自然数；
步骤22：让所述特征向量V和kNN样本特征向量库Datavector计算 欧式距离，提取前9个距离最近的{d1,d2,…,d9}；
步骤23：计算加相对权值ai；
步骤24：把权值ai、特征向量库Datavector和字符特征向量V输入 kNN算法用于识别字符。
在上述任一方案中优选的是，所述加相对权值ai的计算公式为
其中，i＝1,2…,9。
本发明第二目的是提供一种基于SIFT和kNN的车牌识别系统， 包括用于提取拍摄到的车牌图像的图像获取模块，还包括以下模块： 车牌定位模块：用于基于SIFT进行车牌定位；
字符识别模块：用于基于SIFT和kNN进行字符识别。
优选的是，所述车牌定位方法的步骤如下：
步骤11：输入所述车牌图像，记为Im；
步骤12：提取Im的SIFT特征；
步骤13：进行欧氏距离匹配，若匹配成功，则重新执行步骤11；
步骤14：用RANSAC剔除误匹配，通过相似性度量得到潜在匹配对；
步骤15：进行车牌的仿射变换；
步骤16：利用仿射变换矩阵H1对车牌区域初定位，并将定位区域矫 正为标准车牌尺寸，记校正后的车牌图像为Im1；
步骤17：对所述Im1进行精确定位和倾斜校正。
在上述任一方案中优选的是，所述SIFT特征包括特征点位置、 尺度、主方向和128维SIFT描述算子中至少一种。
在上述任一方案中优选的是，所述步骤13包括把Database中各 汉字128维SIFT描述算子与提取到的所述SIFT算子进行欧氏距离 匹配。
在上述任一方案中优选的是，所述步骤13还包括采用kd树的数 据结构来完成搜索。
在上述任一方案中优选的是，所述车牌仿射变换的模型表示为
其中，H1为仿射变换矩阵，(x,y)和(x′,y′)分别是车牌首位汉字的关键 点在标准车牌和待检测车牌中的位置。
在上述任一方案中优选的是，所述仿射变换矩阵H1的计算公式为 H1＝BAT(AAT)-1，其中，A和B为矩阵，T表示矩阵的转置。
在上述任一方案中优选的是，所述A的公式为 其中，(x,y)为车牌首位汉字的关键点在标准车 牌中的位置，N是关键点个数。
在上述任一方案中优选的是，所述B的公式为 其中，(x′,y′)为车牌首位汉字的关键点在待 检测车牌中的位置。
在上述任一方案中优选的是，述步骤17包括以下子步骤：
步骤171：对所述车牌图像Im1进行颜色二值化，若如果颜色二值化失 败则执行步骤172，若颜色二值化成功则执行步骤173；
步骤172：用图像形态学对所述车牌图像Im1进行二值化；
步骤173：对得到的二值化图像进行直线检测；
步骤174：计算精确的仿射变换矩阵H；
步骤175：利用精确仿射变换矩阵H对原图像Im1进行精确定位；
步骤176：提取车牌区域。
在上述任一方案中优选的是，所述步骤171包括将Im1从RGB颜 色空间转换到HSV颜色空间。
在上述任一方案中优选的是，所述步骤171还包括将车牌底色区 域标定为黑色，其他区域标定为白色。
在上述任一方案中优选的是，所述步骤172的方法为将Im1灰度化， 对灰度化图像直方图均衡化灰度拉伸，中值滤波去除孤立噪声点，进 行大律法二值化(OTSU)使字符与底色背景分离，最后用2×4的全1 矩阵进行膨胀运算，得到水平纹理突出的二值化图像。
在上述任一方案中优选的是， 所述步骤174包括用Radon变换检测字符的倾斜角度θ。
在上述任一方案中优选的是，所述仿射变换矩阵H的计算公式为
在上述任一方案中优选的是，所述字符识别包括以下子步骤：
步骤21：把每个字符向量化成一个p×q的向量。再提取该字符的SIFT 特征，让其SIFT特征串行加在p×q的向量的后面组成一个新的特征 向量V，其中，p和q为自然数；
步骤22：让所述特征向量V和kNN样本特征向量库Datavector计算 欧式距离，提取前9个距离最近的{d1,d2,…,d9}；
步骤23：计算加相对权值ai；
步骤24：把权值ai、特征向量库Datavector和字符特征向量V输入 kNN算法用于识别字符。
在上述任一方案中优选的是，所述加相对权值ai的计算公式为
其中，i＝1,2…,9。
本发明提出了一种基于SIFT和kNN的车牌识别系统及方法，不 仅能够实现准确的车牌定位及倾斜校正，而且对图像亮度、污损、倾 斜、尺寸变化等具有良好的适应性和鲁棒性，并且能有效提高车牌识 别的效率。
附图说明
图1为按照本发明的基于SIFT和kNN的车牌识别方法的一优选 实施例的流程图。
图1A为按照本发明的基于SIFT和kNN的车牌识别方法的如图1所示实施 例的二值分割方法流程图。
图1B为按照本发明的基于SIFT和kNN的车牌识别方法的如图1所示实施 例的精确定位方法流程图。
图1C为按照本发明的基于SIFT和kNN的车牌识别方法的如图1所示实施 例的字符识别方法流程图。
图2为按照本发明的基于SIFT和kNN的车牌识别系统的一优选 实施例的结构图。
图3为按照本发明的基于SIFT和kNN的车牌识别方法的一实施 例的原始图。
图4为按照本发明的基于SIFT和kNN的车牌识别方法的如图3 所示实施例的初匹配图。
图5为按照本发明的基于SIFT和kNN的车牌识别方法的如图3 所示实施例的检测剔除误匹配图。
图6为按照本发明的基于SIFT和kNN的车牌识别方法的如图3 所示实施例的车牌初定位图。
图7为按照本发明的基于SIFT和kNN的车牌识别方法的如图3 所示实施例的提取初定位车牌图。
图8为按照本发明的基于SIFT和kNN的车牌识别方法的如图3 所示实施例的初校正后车牌图。
图9为按照本发明的基于SIFT和kNN的车牌识别方法的如图3 所示实施例的颜色法二值化图。
图10为按照本发明的基于SIFT和kNN的车牌识别方法的如图3 所示实施例的颜色法二值化。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1、2所示，执行步骤100，图像获取模块200提取拍摄到的 车牌图像。
执行步骤110，车牌定位模块210基于SIFT进行车牌定位。车牌 定位方法的步骤如图1A所示，执行步骤111：输入所述车牌图像，记 为Im。执行步骤112，提取Im的SIFT特征，SIFT特征包括特征点位 置、尺度、主方向和128维SIFT描述算子中至少一种。执行步骤113，把Database中各汉字128维SIFT描述算子与提取到的所述SIFT算 子进行欧氏距离匹配，采用kd树的数据结构来完成搜索。如果匹配成 功，则重新执行步骤111。如果匹配失败则执行步骤114，用RANSAC剔 除误匹配，通过相似性度量得到潜在匹配对。
执行步骤115，进行车牌的仿射变换。车牌仿射变换的模型表示为其中，H1为仿射变换矩阵，(x,y)和 (x′,y′)分别是车牌首位汉字的关键点在标准车牌和待检测车牌中的位 置。仿射变换矩阵H1的计算公式为H1＝BAT(AAT)-1，其中，A和B为矩 阵，T表示矩阵的转置。A的公式为其中，(x,y)为 车牌首位汉字的关键点在标准车牌中的位置，B的公式为 其中，(x′,y′)为车牌首位汉字的关键点在待检测车牌中的位置，N是关键点个数。执行步骤116，利用仿射变换矩阵 H1对车牌区域初定位，并将定位区域矫正为标准车牌尺寸，记校正后 的车牌图像为Im1。执行步骤117，对所述Im1进行精确定位和倾斜校正。 如图1B所示，步骤117包括以下子步骤：执行步骤171，对所述车牌图像Im1进行颜色二值化，将Im1从RGB颜色空间转换到HSV颜色空间， 将车牌底色区域标定为黑色，其他区域标定为白色。执行步骤172， 判断颜色二值化是否成功。如果颜色二值化成功则执行步骤174，对 得到的二值化图像进行直线检测。如果颜色二值化失败则执行步骤 173，用图像形态学对所述车牌图像Im1进行二值化，方法为将Im1灰度 化，对灰度化图像直方图均衡化灰度拉伸，中值滤波去除孤立噪声点， 进行大律法二值化(OTSU)使字符与底色背景分离，最后用2×4的 全1矩阵进行膨胀运算，得到水平纹理突出的二值化图像。执行步骤 174，对得到的二值化图像进行直线检测，并用Radon变换检测字符 的倾斜角度θ。执行步骤175，计算精确的仿射变换矩阵H，仿射变换 矩阵H的计算公式为在此处，H＝H2。执行 步骤176，利用精确仿射变换矩阵H对原图像Im1进行精确定位。执行 步骤177，提取车牌区域。
执行步骤120，字符识别模块220基于SIFT和kNN进行字符识 别。如图1C所示，字符识别包括以下子步骤：执行步骤121，把每个 字符向量化成一个p×q的向量。再提取该字符的SIFT特征，让其SIFT 特征串行加在p×q的向量的后面组成一个新的特征向量V，其中，p和q为自然数，在本实施例中，p＝1，q＝1024。执行步骤122，让所述 特征向量V和kNN样本特征向量库Datavector计算欧式距离，提取 前9个距离最近的{d1,d2,…,d9}。执行步骤123，计算加相对权值 ai，计算公式为其中，i＝1,2…,9。执行步骤124，利用 kNN算法把k＝9，权值ai,特征向量库Datavector和字符特征向量V 输入用于识别字符。
实施例二
本发明主要针对车牌容易变形，涂漆易脱落，受光照等环境因素 的影响，将SIFT算法和kNN应用在车牌识别领域中，有效地克服了 上述问题。SIFT算法对汉字，字母和数字提取SIFT局部特征，并用 之构建特征模板库，然后把待识别车牌图像的SIFT特征与之相匹配， 用RANSAC算法剔除误匹配点后，便得到仿射变换矩阵，从而实现对车 牌较准确的初定位和初倾斜校正。进一步对提取的车牌区域图像二值 化，用Radon变换求得倾斜角度后，可生成精确的仿射变换矩阵，并 实现对车牌的倾斜校正和精确定位。把分割后的字符提取SIFT局部特 征，然后串行加在分割字符向量后面组成新的特征向量，用kNN算法 提取前九个最相近的特征向量，采用一种相对加权方法算出最相近的 字符。
本发明实现主要分为基于SIFT的车牌定位方法、基于SIFT和 kNN字符识别方法。
一、基于SIFT的车牌定位方法
我国的汽车车牌，字符由汉字、英文字母与数字组成。由于车牌的 首位字符是汉字，并且汉字的特征较英文字母、数字明显，文中方法 正是利用了这一特点。首先拍摄图像质量好的各省、直辖市正面汽车 牌照，然后从拍摄图像中截取车牌部分，用绘图软件生成只含汉字且 字体大小基本一致的图片库(图2)，提取图片库中各图片的SIFT特征 并构建数据库，记为Database，至此前期准备工作完成。
本发明方法的流程和具体实现步骤如下：
Step1：输入待检测图片，记为Im；
Step2：提取Im的SIFT特征，包括特征点位置、尺度、主方向、 128维SIFT描述算子；
Step3：把Database中各汉字128维SIFT描述算子与Step2生 成的SIFT算子进行欧氏距离匹配，为提高效率，采用kd树的数据结 构来完成搜索，如果匹配成功点对的数目超过某汉字图片SIFT特征 点数目的10％，则判断为匹配成功，否则判断不含车牌区域，返回Step1；
Step4：用RANSAC剔除误匹配，通过相似性度量得到潜在匹配对， 由于可能存在相似的局部区域，所以会出现一些错误匹配,因此需要根 据附加约束条件将其剔除,以提高鲁棒性。常见算法有M估计法， MLESAC算法，最小中值法(LMS)，RANSAC算法等，文中使用RANSAC 算法。
Step5：严格来说，实际拍摄的车牌图像与标准车牌的变换关系属 于透视变换，但是由于拍摄车牌图像时，拍摄距离远大于车牌的尺寸， 故可以近似为仿射变换。车牌仿射变换模型可以表示为
式中：H1为仿射变换矩阵，(x,y)和(x′,y′)分别是车牌首位汉字的关 键点在标准车牌和待检测车牌中的位置。为得到H1，设Step4去除误 匹配后的正确匹配点对为(Pi,Pi′)，i∈[1,N]，N为正确匹配点对数目， Pi,和Pi′的坐标分别为(x,y)和(x′,y′)，则
H1＝BAT(AAT)-1. (7)
式中：
Step6：利用仿射变换矩阵H1对车牌区域初定位，并将定位区域矫 正为标准车牌尺寸，记校正后的车牌图像为Im1；理想情况下，此时得 到的校正图像为标准的横平竖直车牌，但此时标准车牌库中汉字一般 不可能完全标准。当待检测的车牌图像中车牌存在弯折等刚性形变或 者视角较大时，初定位得到的校正车牌图像可能出现小角度的倾斜， 所以必须进行精确定位和倾斜校正，车牌的精定位和校正步骤如 Step7～11：
Step7：为简化算法，需对车牌图像Im1进行颜色二值化：首先将Im1从RGB颜色空间转换到HSV颜色空间，然后将满足表1的车牌底色区 域标定为黑色，其他区域标定为白色，表1给出的取值范围为实验所 得的经验值。另外，经实验得知黑、白2种底色的车牌用颜色法得到 二值化图像的效果不十分理想，为适应图片质量一般甚至较差的车牌 以及黑白2种底色车牌，需要对颜色二值化图像作进一步判断：如果 底色面积超过了Im1总面积的50％，则颜色二值化成功，转向Step9， 否则，颜色二值化失败，转向Step8。
表1 Step8：对颜色二值化失败车牌图像，用图像形态学对Im1进行二值 化。具体做法：将Im1灰度化，由于进行到这一步的图片很大一部分质 量较差，故需对灰度化图像直方图均衡化灰度拉伸，中值滤波去除孤 立噪声点，进行大律法二值化(OTSU)使字符与底色背景分离，此过 程中字符可能出现断裂，最后需要用2×4的全1矩阵进行膨胀运算， 得到水平纹理突出的二值化图像。
Step9：对以上得到的二值化图像进行直线检测，通常的方法是用 Hough变换检测车牌的边框直线，但是当牌照边框有磨损变形或牌照 本身无边框时，效果较差；文中用Radon变换检测字符的倾斜角度， 该方法简单易行，不依赖于车牌边框，即使当车牌图像只剩下字符时 也可准确计算出倾斜角度。记检测得到的水平倾斜角为θ(Im1经Step6 进行水平边框与垂直边框校正后已基本垂直，故本步只需检测水平倾 角)。
Step10：由θ得到H2，再利用式(9)求出精确的仿射变换矩阵H；
Step11：利用精确仿射变换矩阵H对原图像Im1进行精确定位、提 取车牌区域，至此车牌定位算法即全部完成。
二、基于SIFT和kNN字符识别方法
首先把图片库中的图片分割字符如图3，然后统一把各个分割好的 字符向量化成一个1×2048的向量。再提取分割好的字符的SIFT特 征，让其SIFT特征串行加在1×2048的向量的后面组成一个新的特 征向量。并且建立一个kNN样本特征向量库，记为Datavector。
本发明字符识别方法的流程和具体实现步骤如下：
Step1：在定位车牌并且采用投影分割字符后，把每个字符向量化 成一个1×2048的向量。再提取该字符的SIFT特征，让其SIFT特征 串行加在1×2048的向量的后面组成一个新的特征向量V。
Step2：让V和建立好的样本库Datavector算欧式距离，提取前 9个距离最近的{d1,d2,…,d9}。
Step3：然后为这个9个加相对权值ai，i＝1,2…,9。ai的计算 如下式
Step4：利用kNN算法把k＝9，权值ai,特征向量库Datavector和 字符特征向量V输入就能识别该字符了。
实施例三
下面车牌图片的定位实验
对待识别车牌图片462幅(分辨率为1920×1080)进行了实验， 其中随机一次实验结果如图3～10所示。
本次实验车牌汉字为“津”，共找到11个匹配点对，经RANSAC 检测出一个误匹配点对，如图5中深色粗线所示，图10显示经精确 校正后图像的水平度更好些，图8中的水平倾斜角θ＝0.67°也很 好地印证了本方法的正确性。对462幅车牌图片进行检测，实验结果 如表2所示。除4幅漏检图片因拍摄距离过远，车牌区域太小，无 法提取有效的SIFT特征和1幅错检因有其它车辆外，对其余车牌图 片的检测均未出现误检现象。可见本方法漏检率很低。
表2
车牌字符的识别实验
对以分割好的车牌字符650个进行实验，其中中文250个，数字 200个，字母200个。实验结果如表3所示。
表3
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述， 但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做 的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施 例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似 的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对 应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于SIFT和kNN的车牌识别方法，包括提取拍摄到的车牌图像，其特征在于，还包括以下步骤：
步骤1：基于SIFT进行车牌定位；
步骤2：基于SIFT和kNN进行字符识别。
2.如权利要求1所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述车牌定位方法的步骤如下：
步骤11：输入所述车牌图像，记为Im；
步骤12：提取Im的SIFT特征；
步骤13：进行欧氏距离匹配，若匹配成功，则重新执行步骤11；
步骤14：用RANSAC剔除误匹配，通过相似性度量得到潜在匹配对；
步骤15：进行车牌的仿射变换；
步骤16：利用仿射变换矩阵H1对车牌区域初定位，并将定位区域矫正为标准车牌尺寸，记校正后的车牌图像为Im1；
步骤17：对所述Im1进行精确定位和倾斜校正。
3.如权利要求:2所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述SIFT特征包括特征点位置、尺度、主方向和128维SIFT描述算子中至少一种。
4.如权利要求3所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述步骤13包括把Database中各汉字128维SIFT描述算子与提取到的所述SIFT算子进行欧氏距离匹配。
5.如权利要求4所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述步骤13还包括采用kd树的数据结构来完成搜索。
6.如权利要求2所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述车牌仿射变换的模型表示为
其中，H1为仿射变换矩阵，(x,y)和(x′,y′)分别是车牌首位汉字的关键点在标准车牌和待检测车牌中的位置。
7.如权利要求6所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述仿射变换矩阵H1的计算公式为H1＝BAT(AAT)-1，其中，A和B为矩阵，T表示矩阵的转置。
8.如权利要求7所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述矩阵A的公式为其中，(x,y)为车牌首位汉字的关键点在标准车牌中的位置，N是关键点个数。
9.如权利要求7所述的基于SIFT和kNN的车牌识别方法，其特征在于：所述矩阵B的公式为其中，(x′,y′)为车牌首位汉字的关键点在待检测车牌中的位置。
10.一种基于SIFT和kNN的车牌识别系统，包括用于提取拍摄到的车牌图像的图像获取模块，其特征在于，还包括以下模块：
车牌定位模块：用于基于SIFT进行车牌定位；
字符识别模块：用于基于SIFT和kNN进行字符识别。
CN201811488985.1A 2018-12-06 2018-12-06 一种基于SIFT和kNN的车牌识别方法及系统 Pending CN109635804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811488985.1A CN109635804A (zh) 2018-12-06 2018-12-06 一种基于SIFT和kNN的车牌识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811488985.1A CN109635804A (zh) 2018-12-06 2018-12-06 一种基于SIFT和kNN的车牌识别方法及系统

Publications (1)

Publication Number Publication Date
CN109635804A true CN109635804A (zh) 2019-04-16

Family

ID=66071604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811488985.1A Pending CN109635804A (zh) 2018-12-06 2018-12-06 一种基于SIFT和kNN的车牌识别方法及系统

Country Status (1)

Country Link
CN (1) CN109635804A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693513A (zh) * 2022-03-28 2022-07-01 西南石油大学 一种基于视觉图像的房屋日照分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
CN102930292A (zh) * 2012-10-17 2013-02-13 清华大学 一种基于p-SIFT特征的物体识别方法
US20160148074A1 (en) * 2014-11-26 2016-05-26 Captricity, Inc. Analyzing content of digital images
CN107808392A (zh) * 2017-10-31 2018-03-16 中科信达（福建）科技发展有限公司 开放场景的安检车辆自动跟踪定位方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
CN102930292A (zh) * 2012-10-17 2013-02-13 清华大学 一种基于p-SIFT特征的物体识别方法
US20160148074A1 (en) * 2014-11-26 2016-05-26 Captricity, Inc. Analyzing content of digital images
CN107808392A (zh) * 2017-10-31 2018-03-16 中科信达（福建）科技发展有限公司 开放场景的安检车辆自动跟踪定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUANG JINGHUA 等: ""An Improved Graph-based Image Segmentation Algorithm"", 《IEEE》 *
钟钰: ""基于内容的图像查询在车牌识别系统中的应用研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693513A (zh) * 2022-03-28 2022-07-01 西南石油大学 一种基于视觉图像的房屋日照分析方法
CN114693513B (zh) * 2022-03-28 2024-03-26 西南石油大学 一种基于视觉图像的房屋日照分析方法

Similar Documents

Publication Publication Date Title
Liao et al. Rotation-sensitive regression for oriented scene text detection
CN109657632B (zh) 一种车道线检测识别方法
Shi et al. Automatic license plate recognition system based on color image processing
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
TWI384408B (zh) 影像辨識以及輸出方法與其系統
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
CN105740886B (zh) 一种基于机器学习的车标识别方法
CN106874901B (zh) 一种行驶证识别方法及装置
CN106203539B (zh) 识别集装箱箱号的方法和装置
CN106778736B (zh) 一种鲁棒的车牌识别方法及其系统
Maldonado-Bascon et al. Traffic sign recognition system for inventory purposes
Wu et al. Strong shadow removal via patch-based shadow edge detection
CN110443295A (zh) 改进的图像匹配与误匹配剔除算法
Gilly et al. A survey on license plate recognition systems
CN111027544A (zh) 一种基于视觉显著性检测的mser车牌定位方法及系统
Liu et al. An efficient real-time speed limit signs recognition based on rotation invariant feature
Suchitra et al. Detection & classification of arrow markings on roads using signed edge signatures
Hossen et al. Vehicle license plate detection and tilt correction based on HSI color model and SUSAN corner detector
CN113538585A (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
CN109635804A (zh) 一种基于SIFT和kNN的车牌识别方法及系统
US20030044067A1 (en) Apparatus and methods for pattern recognition based on transform aggregation
CN107330436B (zh) 一种基于尺度判据的全景图像sift优化方法
CN116363655A (zh) 一种财务票据识别方法及系统
Jain et al. Number plate detection using drone surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230825