CN105046255A - 一种基于车尾文字识别的车型鉴定方法及系统 - Google Patents

一种基于车尾文字识别的车型鉴定方法及系统 Download PDF

Info

Publication number
CN105046255A
CN105046255A CN201510419100.2A CN201510419100A CN105046255A CN 105046255 A CN105046255 A CN 105046255A CN 201510419100 A CN201510419100 A CN 201510419100A CN 105046255 A CN105046255 A CN 105046255A
Authority
CN
China
Prior art keywords
tailstock
vehicle
image
license plate
character area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510419100.2A
Other languages
English (en)
Inventor
刘渭滨
尹瑞雪
邢薇薇
卢苇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201510419100.2A priority Critical patent/CN105046255A/zh
Publication of CN105046255A publication Critical patent/CN105046255A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于车尾文字识别的车型鉴定方法及系统,其中方法包括如下步骤:S1、对车尾图像进行车牌定位,得到车牌区域图像;S2、进行车牌字符识别,得到车牌信息并基于车牌信息在车辆数据库中提取车辆详细信息;S3、利用车尾文字和车牌的位置关系得到车尾文字区域初始定位图像;S4、根据文字区域图像的投影特性得到车尾文字区域图像;S5、对车尾文字区域图像进行SIFT特征提取并识别,得到车辆的识别车型信息;S6、将识别车型信息与车辆详细信息中的车型信息进行对比。本发明所述技术方案具有很好的鲁棒性,且相对于现有技术中的其他方法在适用性、有效性和准确性上都有一定的优越性,能够很好的满足实际需求。

Description

一种基于车尾文字识别的车型鉴定方法及系统
技术领域
本发明涉及智能交通系统中的车辆信息识别。更具体地,涉及一种基于车尾文字识别的车型鉴定方法及系统。
背景技术
随着人类社会的进步和科学技术的飞速发展,计算机视觉相关技术已经深入到人们生活中的方方面面,其中,为了更加高效地管理日益复杂的交通系统,基于计算机视觉的智能交通系统应运而生。
车辆信息识别系统是智能交通系统中重要的子系统,同时也成为近年智能交通系统中的一个研究热点。车辆信息识别系统就是对包含车辆信息的图像以及视频运用计算机视觉和数字信号处理等技术进行适当的处理,识别车辆的相关信息,为智能交通系统中其他子系统提供识别数据。近年来,包括车辆信息识别系统在内的智能交通系统中的多个子系统已经开发并应用于世界各地,在这些子系统中,车辆制造商和车型识别是一个至关重要的课题,也是难点之一。
目前,车牌识别技术已经被广泛应用,并在某些方面已经相当成熟。但是,车辆其他信息的识别,比如车标识别和车型识别等方面仍然存在许多问题,成为当下研究车辆信息识别课题的一个研究重点。然而,对车尾文字识别的研究一直处于空白,车尾文字通常包含丰富的车辆信息:车辆制造商、汽车型号和排气量等,但由于其字型字体并没有严格的规范,而且分布位置也不固定,为定位和识别带来了困难。
现有的字符识别技术目前对印刷体已经有了比较好的识别效果,但是对于字型不规范的手写体识别仍然存在诸多问题,在实际应用中,由于车辆图像或视频通常拍摄环境较为复杂,受光照角度等影响较大,而且字体小,字迹模糊,通常还会出现字符变形,粘连等现象,直接影响传统字符识别技术的初始步骤:字符分割,上述原因限制了传统字符识别技术在车尾文字识别方向的应用。
目前,涉及车辆的犯罪行为频繁出现,为正常的交通秩序和社会公共秩序带来了极大的安全隐患,如车辆盗窃和套牌车,不仅为车主带来经济损失,也扰乱了车辆市场乃至经济市场的正常秩序。急需相关技术解决上述问题。
因此,需要提供一种基于车尾文字识别的车型鉴定方法及系统。
发明内容
本发明的目的在于提供一种基于车尾文字识别的车型鉴定方法及系统,在对车尾文字进行识别的基础上对车型进行鉴定,进而可以依据鉴定结果检测车辆是否为正规挂牌备案的车辆。
为达到上述目的,本发明采用下述技术方案:
一种基于车尾文字识别的车型鉴定方法,包括如下步骤:
S1、对车尾图像进行车牌定位,得到车牌区域图像;
S2、对车牌区域图像进行车牌字符识别,得到车牌信息,并基于得到的车牌信息在车辆数据库中提取车辆详细信息;
S3、利用车尾文字和车牌的位置关系对车尾文字区域进行初始定位,得到车尾文字区域初始定位图像;
S4、根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位,得到车尾文字区域图像;
S5、对车尾文字区域图像进行SIFT特征提取并识别,得到车辆的识别车型信息;
S6、将识别车型信息与车辆详细信息中的车型信息进行对比,判断是否为同一车型。
优选地,步骤S1进一步包括如下子步骤:
S1.1、对车尾图像进行平滑去噪、Sobel边缘检测和图像二值化处理,得到二值图像;
S1.2、对二值图像进行形态闭运算,根据形态闭运算后的二值图像进行轮廓选择,基于车牌特有的长宽比得到车牌候选区域;
S1.3、根据车牌的字符跳变次数选定车牌区域,得到车牌区域图像。
优选地,步骤S2进一步包括如下子步骤:
S2.1、根据灰度跳变位置对车牌区域图像中的车牌字符进行分割;
S2.2、利用BP神经网络算法对车牌字符进行识别;
S2.3、根据车牌字符在车辆信息数据库中提取该车牌对应登记备案的车辆详细信息。
优选地,车辆详细信息包括:车牌号、车辆制造商、车型、排气量。
优选地,步骤S4中根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位的方法为:对车尾文字区域初始定位图像进行水平投影,根据投影得到的直方图进行阈值化,确定文字区域的上下边界;并对车尾文字区域初始定位图像进行垂直投影,根据投影得到的直方图进行阈值化,确定文字区域的左右边界。
优选地,步骤S5进一步包括如下子步骤:
S5.1、检测车尾文字区域图像尺度空间的极值点;
S5.2、提取车尾文字区域图像的特征点;
S5.3、为车尾文字区域图像的特征点指定方向;
S5.4、生成车尾文字区域图像的特征点描述子;
S5.5、提取车尾文字区域图像的特征点描述子,并同模板库中已经特征提取过的模板进行特征点匹配,得到识别车型信息。
一种基于车尾文字识别的车型鉴定系统,包括:
车牌定位模块,用于对车尾图像进行车牌定位,得到车牌区域图像;
车牌识别模块,用于对车牌区域图像进行车牌字符识别,得到车牌信息,并基于得到的车牌信息在车辆数据库中提取车辆详细信息;
车尾文字初始定位模块,用于利用车尾文字和车牌的位置关系对车尾文字区域进行初始定位,得到车尾文字区域初始定位图像;
车尾文字精确定位模块,用于根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位,得到车尾文字区域图像;
车尾文字识别模块,用于对车尾文字区域图像进行SIFT特征提取并识别,得到车辆的识别车型信息;
车型鉴定模块,用于将识别车型信息与车辆详细信息中的车型信息进行对比,判断是否为同一车型。
优选地,车牌定位模块包括:
车尾图像处理子模块,用于对车尾图像进行平滑去噪、Sobel边缘检测和图像二值化处理,得到二值图像;
车牌候选区域定位子模块,用于对二值图像进行形态闭运算,根据二值图像进行轮廓选择,基于车牌特有的长宽比得到车牌候选区域;
车牌区域选定子模块,用于根据车牌的字符跳变次数选定车牌区域,得到车牌区域图像。
优选地,车牌识别模块包括:
车牌字符分割子模块,用于根据灰度跳变位置对车牌区域图像中的车牌字符进行分割;
车牌字符识别子模块,用于利用BP神经网络算法对车牌字符进行识别;
车辆详细信息提取子模块,用于根据车牌字符在车辆信息数据库中提取该车牌对应登记备案的车辆详细信息。
优选地,车尾文字识别模块包括:
极值点检测子模块,用于检测车尾文字区域图像尺度空间的极值点;
特征点提取子模块,用于提取车尾文字区域图像的特征点;
特征点方向指定子模块,用于为车尾文字区域图像的特征点指定方向;
特征点描述子生成子模块,用于生成车尾文字区域图像的特征点描述子;
特征点匹配子模块,用于提取车尾文字区域图像的特征点描述子,并同模板库中已经特征提取过的模板进行特征点匹配,得到识别车型信息。
本发明的有益效果如下:
本发明所述技术方案在对车尾文字进行识别的基础上对车型进行鉴定,进而可以依据鉴定结果检测车辆是否为正规挂牌备案的车辆。本发明所述技术方案对于车尾文字的图像识别有很好的鲁棒性,且相对于现有技术中的其他方法在适用性、有效性和准确性上都有一定的优越性,能够很好的满足实际需求。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出基于车尾文字识别的车型鉴定方法流程图。
图2示出车牌定位与字符分割结果示意图。
图3示出车尾文字初始定位区域示意图。
图4中4-a至4-c分别示出车尾文字区域精确定位中水平投影、垂直投影和定位结果示意图。
图5示出基于车尾文字识别的车型鉴定系统示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
本实施例提供的基于车尾文字识别的车型鉴定方法,首先利用车牌的长宽比和字符跳变特性进行车牌定位,并将车牌字符识别结果查询车牌对应的车辆详细信息。根据经验知识得知,车尾文字区域位置和车牌位置存在一定的联系,这种联系有一定程度的共通性,适用于大部分小型车辆。得到车尾文字区域初始定位图像后,根据图像的投影直方图,进行阈值化处理确定文字区域的精确边界,从而得到车尾文字区域图像。得到车尾文字区域图像后用SIFT算法进行图像匹配,以搜索模板库中的对应图像,匹配点对最多的图像为识别结果。将识别车型信息与根据车牌信息得到的车型信息进行对比,判断是否为同一车型,作为判断是否为登记备案的车型的参考
如图1所示,该方法包括如下步骤:
S1、利用经验知识,根据车牌的长宽比、边缘特性对车尾图像进行车牌定位,得到车牌区域图像;
S2、对车牌区域图像进行车牌字符识别,得到车牌信息,并基于得到的车牌信息在车辆数据库中提取车辆详细信息;
S3、利用车尾文字和车牌的位置关系对车尾文字区域进行初始定位,得到车尾文字区域初始定位图像;
S4、根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位,得到车尾文字区域图像;
S5、对车尾文字区域图像进行SIFT(尺度不变特征变换)特征提取并识别,得到车辆的识别车型信息;
S6、将识别车型信息与车辆详细信息得到的车型信息进行对比,判断是否为同一车型,作为判断是否为登记备案的车型的参考,如车辆为套牌车,并且与登记车型不同,通过该方法能够自动化地进行鉴定。
其中
步骤S1“利用经验知识,根据车牌的长宽比,边缘特性对车尾图像进行车牌定位,得到车牌区域图像”进一步包括如下子步骤:
S1.1、将源车尾图像进行图像增强处理,经过平滑去噪、Sobel边缘检测和图像二值化等步骤后,得到强调边缘的二值图像;
S1.2、对二值图像进行形态闭运算,根据形态闭运算后的二值图像进行轮廓选择,基于车牌特有的长宽比得到车牌候选区域;
S1.3、根据车牌的字符跳变次数的特性选定车牌区域,得到车牌区域图像,我国的车牌通常由汉字加字母数字组成,共7位,各个字符大小固定,因此灰度跳变次数为6次,由此可以排除非车牌区域。
步骤S2“对车牌区域图像进行车牌字符识别,得到车牌信息,并基于得到的车牌信息在车辆数据库中提取车辆详细信息”进一步包括如下子步骤:
S2.1、根据灰度跳变位置对车牌区域图像中的车牌字符进行分割;
S2.2、利用BP神经网络算法对车牌字符进行识别,具体过程为:输入学习样本,使用反向传播算法对网络的权值和偏差进行反复的调整训练,使输出的向量与期望向量尽可能地接近,当网络输出层的误差平方和小于指定的误差时训练完成,保存网络的权值和偏差,车牌定位与字符分割结果如图2所示;
S2.3、根据车牌字符在车辆信息数据库中提取该车牌对应登记备案的车辆详细信息,车辆详细信息包括:车牌号、车辆制造商、车型、排气量等。
步骤S3“利用车尾文字和车牌的位置关系对车尾文字区域进行初始定位,得到车尾文字区域初始定位图像”的具体过程如下:
车尾文字和车牌的位置关系公式可由如下公式(1)描述:
l l . x = r e c t . x - t e * Δ w l r . x = r e c t . x r l . x = r e c t . x + t e * Δ w r r . x = r e c t . x + t s * Δ w l t . y = r e c t . y - t s * Δ h l b . y = r e c t . y - t e * Δ h 公式(1)
其中,ll.x、lr.x分别为车尾文字区域初始定位图像左侧子图的左右边界;rl.x、rr.x分别为车尾文字区域初始定位图像右侧子图的左右边界;lt.y、lb.y分别为车尾文字区域初始定位图像的上下边界,需要说明的是:车尾文字区域初始定位图像左、右侧子图像的上下边界相同;(rect.x,rect.y)为车牌左上角坐标;Δw、Δh分别为车牌宽度和高度;te、ts分别为距离系数,根据统计得出其值分别为1、2。
最终根据车尾文字和车牌的位置关系公式得到车尾文字区域初始定位图像,车尾文字与车牌位置关系如图3所示。
步骤S4“根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位,得到车尾文字区域图像”的具体过程为:
车尾文字区域初始定位图像经过平滑去噪、Sobel边缘检测和图像二值化等一系列图像预处理后,对图像进行水平投影,根据投影得到的直方图进行阈值化,确定文字区域的上下边界,同理根据垂直投影直方图的阈值化结果确定文字区域的左右边界,从而根据上下边界和左右边界得到车尾文字区域图像。阈值处理计算入公式(2)所示:
p ( y ) = 0 i f p ( y ) < T p ( y ) i f p ( y ) &GreaterEqual; T 公式(2)
其中,p(y)是水平投影结果图,T是根据先验知识设定的阈值。
车尾文字区域精确定位效果图如图4所示,其中图4-a、4-b分别为水平投影和垂直投影示意图;4-c为最终定位结果图,即车尾文字区域图像。
步骤S5“对车尾文字区域图像进行SIFT(尺度不变特征变换)特征提取并识别,得到车辆的识别车型信息”进一步包括如下子步骤:
S5.1、检测车尾文字区域图像尺度空间的极值点:
图像的尺度空间定义为函数L(x,y,σ),该函数由一个尺度可变的高斯函数G(x,y,σ)和输入图像I(x,y)的卷积生成:
L ( x , y , &sigma; ) = G ( x , y , &sigma; ) * I ( x , y ) G ( x , y , &sigma; ) = 1 2 &pi;&sigma; 2 e - ( x 2 + y 2 ) 2 &sigma; 2 公式(3-4)
为了在尺度空间高效地检测稳定特征点的位置,利用高斯差分函数与图像的卷积构成的空间来寻找极值点。定义该空间函数为D(x,y,σ),它通过两个相邻尺度之差计算得到:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)公式(5)
其中,k为倍乘因子,用于区分不同的尺度。为了检测D(x,y,σ)的局部最大值和最小值,每个采样点都与它所在图像的八个邻域进行比较,并且还要和它所在图像的上一层和下一层的各九个邻域进行比较。当且仅当该采样点的像素值大于所有邻域的像素值或小于所有邻域的像素值的时候,该采样点被提取出来作为一个极值点。
S5.2、提取车尾文字区域图像的特征点:
对于某一个尺度上求取的极值点,我们需要求出该极值点在原图像中的位置。首先,在某极值点处对尺度空间函数D(x,y,σ)进行泰勒展开:
D ( x ) = D + &part; D T &part; x x + 1 2 x T &part; 2 D &part; x 2 x 公式(6)
其中,x=(x,y,σ)T是到该点的偏移量。对上式求x的偏导,并令偏导为零,得到估计值
x ^ = - &part; 2 D - 1 &part; x 2 &part; D &part; x 公式(7)
如果大于0.5,那么这意味着该极值点与另一个采样点(图像中的另一个像素)距离很近,所以采用插值法估计该极值点的位置。极值点处的函数值用来排除具有低对比度的不稳定的极值点:
D ( x ^ ) = D + 1 2 &part; D T &part; x x ^ 公式(8)
其中,函数值 | D ( x ^ ) | 小于0.03的所有极值点被去除,认为是对比度较低的点。高斯差分函数在边缘点处沿着边缘方向的主曲率较大,垂直边缘方向主曲率较小。主曲率通过一个2×2的Hessian矩阵H计算得到:
H = D x x D x y D x y D y y 公式(9)
导数由采样点相邻差估计得到。有限差分法以变量离散取值后对应的函数值来近似微分方程中独立变量的连续取值。H的特征值α和β代表x和y方向的梯度,与D的主曲率成比例。最大特征值α和最小特征值β根据矩阵性质得到:
Tr(H)=Dxx+Dyy=α+βDet(H)=DxxDyy-(Dxy)2=αβ公式(10-11)
其中,Tr(H)为H的迹,Det(H)为H的行列式。通常行列式的值不会是负值,如果行列式为负,则丢弃这个点。设r为最大特征值和最小特征值的比值,即α=rβ,那么得到:
T r ( H ) 2 D e t ( H ) = ( &alpha; + &beta; ) 2 &alpha; &beta; = ( r &beta; + &beta; ) 2 r&beta; 2 = ( r + 1 ) 2 r 公式(12)
由上式得之,主曲率只与特征值的比值r有关,而两个特征值相等时取最小值,并且随着r的增大而增大。因此,为了判断两个主曲率的比值r是否比某阈值小,只需证明上式左端是否比某个阈值小。通过实验观察给出r=10,如果极值点的两个主曲率的比值大于10,则去除该极值点。
S5.3、为车尾文字区域图像的特征点指定方向:
为了实现尺度无关性,根据特征点所在的尺度选择与该尺度最相近的高斯平滑图像L,然后对于该图像中的一点L(x,y),利用像素的差值计算它的梯度值m(x,y)和方向θ(x,y):
m ( x , y ) = ( L ( x + 1 , y ) - L ( x - 1 , y ) ) 2 + ( L ( x , y + 1 ) - L ( x , y - 1 ) ) 2 公式(13)
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))公式(14)
计算特征点周围区域中每个采样点的梯度方向,然后构造方向直方图。在梯度方向直方图中,选取最大梯度值对应的方向作为该特征点的主方向,大于最大值80%的梯度对应的方向作为辅方向。
S5.4、生成车尾文字区域图像的特征点描述子:
首先将坐标轴旋转为特征点的方向,以确保旋转不变性。以特征点为中心选取16*16的邻域作为采样窗口,则含有4*4个子区域,将采样点与特征点的相对方向通过高斯加权后归入包含8个方向直方图,最后获得4*4*8的128维特征描述子。
S5.5、提取车尾文字区域图像的特征点描述子,并同模板库中已经特征提取过的模板进行特征点匹配,将匹配点最多的作为识别结果,得到识别车型信息。
由以上结果可以看出,本实施例提供的方法对于车尾文字图像的识别有很好的鲁棒性。且相对于现有技术中的其他算法,在适用性、有效性和准确性上都有一定的优越性,能够很好的满足实际需求。
如图5所示,本实施例还提供了基于车尾文字识别的车型鉴定系统,该系统包括:
车牌定位模块,用于对车尾图像进行车牌定位,得到车牌区域图像;
车牌识别模块,用于对车牌区域图像进行车牌字符识别,得到车牌信息,并基于得到的车牌信息在车辆数据库中提取车辆详细信息;
车尾文字初始定位模块,用于利用车尾文字和车牌的位置关系对车尾文字区域进行初始定位,得到车尾文字区域初始定位图像;
车尾文字精确定位模块,用于根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位,得到车尾文字区域图像;
车尾文字识别模块,用于对车尾文字区域图像进行SIFT特征提取并识别,得到车辆的识别车型信息;
车型鉴定模块,用于将识别车型信息与车辆详细信息中的车型信息进行对比,判断是否为同一车型。
其中
车牌定位模块包括:
车尾图像处理子模块,用于对车尾图像进行平滑去噪、Sobel边缘检测和图像二值化处理,得到二值图像;
车牌候选区域定位子模块,用于对二值图像进行形态闭运算,根据形态闭运算后的二值图像进行轮廓选择,基于车牌特有的长宽比得到车牌候选区域;
车牌区域选定子模块,用于根据车牌的字符跳变次数选定车牌区域,得到车牌区域图像。
车牌识别模块包括:
车牌字符分割子模块,用于根据灰度跳变位置对车牌区域图像中的车牌字符进行分割;
车牌字符识别子模块,用于利用BP神经网络算法对车牌字符进行识别;
车辆详细信息提取子模块,用于根据车牌字符在车辆信息数据库中提取该车牌对应登记备案的车辆详细信息。
车尾文字识别模块包括:
极值点检测子模块,用于检测车尾文字区域图像尺度空间的极值点;
特征点提取子模块,用于提取车尾文字区域图像的特征点;
特征点方向指定子模块,用于为车尾文字区域图像的特征点指定方向;
特征点描述子生成子模块,用于生成车尾文字区域图像的特征点描述子;
特征点匹配子模块,用于提取车尾文字区域图像的特征点描述子,并同模板库中已经特征提取过的模板进行特征点匹配,得到识别车型信息。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种基于车尾文字识别的车型鉴定方法,其特征在于,该方法包括如下步骤:
S1、对车尾图像进行车牌定位,得到车牌区域图像;
S2、对车牌区域图像进行车牌字符识别,得到车牌信息,并基于得到的车牌信息在车辆数据库中提取车辆详细信息;
S3、利用车尾文字和车牌的位置关系对车尾文字区域进行初始定位,得到车尾文字区域初始定位图像;
S4、根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位,得到车尾文字区域图像;
S5、对车尾文字区域图像进行SIFT特征提取并识别,得到车辆的识别车型信息;
S6、将识别车型信息与车辆详细信息中的车型信息进行对比,判断是否为同一车型。
2.根据权利要求1所述的基于车尾文字识别的车型鉴定方法,其特征在于,步骤S1进一步包括如下子步骤:
S1.1、对车尾图像进行平滑去噪、Sobel边缘检测和图像二值化处理,得到二值图像;
S1.2、对二值图像进行形态闭运算,根据形态闭运算后的二值图像进行轮廓选择,基于车牌特有的长宽比得到车牌候选区域;
S1.3、根据车牌的字符跳变次数选定车牌区域,得到车牌区域图像。
3.根据权利要求1所述的基于车尾文字识别的车型鉴定方法,其特征在于,步骤S2进一步包括如下子步骤:
S2.1、根据灰度跳变位置对车牌区域图像中的车牌字符进行分割;
S2.2、利用BP神经网络算法对车牌字符进行识别;
S2.3、根据车牌字符在车辆信息数据库中提取该车牌对应登记备案的车辆详细信息。
4.根据权利要求3所述的基于车尾文字识别的车型鉴定方法,其特征在于,所述车辆详细信息包括:车牌号、车辆制造商、车型、排气量。
5.根据权利要求1所述的基于车尾文字识别的车型鉴定方法,其特征在于,步骤S4中所述根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位的方法为:对车尾文字区域初始定位图像进行水平投影,根据投影得到的直方图进行阈值化,确定文字区域的上下边界;并对车尾文字区域初始定位图像进行垂直投影,根据投影得到的直方图进行阈值化,确定文字区域的左右边界。
6.根据权利要求1所述的基于车尾文字识别的车型鉴定方法,其特征在于,步骤S5进一步包括如下子步骤:
S5.1、检测车尾文字区域图像尺度空间的极值点;
S5.2、提取车尾文字区域图像的特征点;
S5.3、为车尾文字区域图像的特征点指定方向;
S5.4、生成车尾文字区域图像的特征点描述子;
S5.5、提取车尾文字区域图像的特征点描述子,并同模板库中已经特征提取过的模板进行特征点匹配,得到识别车型信息。
7.一种基于车尾文字识别的车型鉴定系统,其特征在于,该系统包括:
车牌定位模块,用于对车尾图像进行车牌定位,得到车牌区域图像;
车牌识别模块,用于对车牌区域图像进行车牌字符识别,得到车牌信息,并基于得到的车牌信息在车辆数据库中提取车辆详细信息;
车尾文字初始定位模块,用于利用车尾文字和车牌的位置关系对车尾文字区域进行初始定位,得到车尾文字区域初始定位图像;
车尾文字精确定位模块,用于根据车尾文字区域初始定位图像和文字区域图像的投影特性对车尾文字区域进行精确定位,得到车尾文字区域图像;
车尾文字识别模块,用于对车尾文字区域图像进行SIFT特征提取并识别,得到车辆的识别车型信息;
车型鉴定模块,用于将识别车型信息与车辆详细信息中的车型信息进行对比,判断是否为同一车型。
8.根据权利要求7所述的基于车尾文字识别的车型鉴定系统,其特征在于,所述车牌定位模块包括:
车尾图像处理子模块,用于对车尾图像进行平滑去噪、Sobel边缘检测和图像二值化处理,得到二值图像;
车牌候选区域定位子模块,用于对二值图像进行形态闭运算,根据二值图像进行轮廓选择,基于车牌特有的长宽比得到车牌候选区域;
车牌区域选定子模块,用于根据车牌的字符跳变次数选定车牌区域,得到车牌区域图像。
9.根据权利要求7所述的基于车尾文字识别的车型鉴定系统,其特征在于,所述车牌识别模块包括:
车牌字符分割子模块,用于根据灰度跳变位置对车牌区域图像中的车牌字符进行分割;
车牌字符识别子模块,用于利用BP神经网络算法对车牌字符进行识别;
车辆详细信息提取子模块,用于根据车牌字符在车辆信息数据库中提取该车牌对应登记备案的车辆详细信息。
10.根据权利要求7所述的基于车尾文字识别的车型鉴定系统,其特征在于,所述车尾文字识别模块包括:
极值点检测子模块,用于检测车尾文字区域图像尺度空间的极值点;
特征点提取子模块,用于提取车尾文字区域图像的特征点;
特征点方向指定子模块,用于为车尾文字区域图像的特征点指定方向;
特征点描述子生成子模块,用于生成车尾文字区域图像的特征点描述子;
特征点匹配子模块,用于提取车尾文字区域图像的特征点描述子,并同模板库中已经特征提取过的模板进行特征点匹配,得到识别车型信息。
CN201510419100.2A 2015-07-16 2015-07-16 一种基于车尾文字识别的车型鉴定方法及系统 Pending CN105046255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510419100.2A CN105046255A (zh) 2015-07-16 2015-07-16 一种基于车尾文字识别的车型鉴定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510419100.2A CN105046255A (zh) 2015-07-16 2015-07-16 一种基于车尾文字识别的车型鉴定方法及系统

Publications (1)

Publication Number Publication Date
CN105046255A true CN105046255A (zh) 2015-11-11

Family

ID=54452784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510419100.2A Pending CN105046255A (zh) 2015-07-16 2015-07-16 一种基于车尾文字识别的车型鉴定方法及系统

Country Status (1)

Country Link
CN (1) CN105046255A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741561A (zh) * 2016-03-11 2016-07-06 中国联合网络通信集团有限公司 车牌特征位的识别方法及装置
CN106127205A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 一种适用于室内轨道机器人的数字仪表图像的识别方法
CN106504261A (zh) * 2016-10-31 2017-03-15 北京奇艺世纪科技有限公司 一种图像分割方法及装置
CN107358794A (zh) * 2017-06-13 2017-11-17 深圳前海慧泊中安运营管理有限公司 数据处理方法及装置
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108304839A (zh) * 2017-08-31 2018-07-20 腾讯科技(深圳)有限公司 一种图像数据处理方法以及装置
CN108710854A (zh) * 2018-05-22 2018-10-26 长治学院 一种电子元器件的识别方法和装置
CN109977937A (zh) * 2019-03-26 2019-07-05 北京字节跳动网络技术有限公司 图像处理方法、装置及设备
CN110598749A (zh) * 2019-08-13 2019-12-20 广东数鼎科技有限公司 一种基于卷积神经网络ai算法的图像识车实现系统
CN110651313A (zh) * 2017-05-15 2020-01-03 佳能株式会社 控制装置和控制方法
CN110930727A (zh) * 2019-12-12 2020-03-27 淄博市公安局交通警察支队张店大队 一种大小型车辆长距广角电子警察抓拍方法
CN111723601A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像处理的方法及装置
CN111923917A (zh) * 2020-08-19 2020-11-13 厦门金龙联合汽车工业有限公司 一种用于无人驾驶车辆的超车控制方法和系统
CN113505782A (zh) * 2021-06-07 2021-10-15 上海图丽信息技术有限公司 一种货车车牌与车厢手写车牌结合识别系统
CN114266930A (zh) * 2021-12-02 2022-04-01 中国联合网络通信集团有限公司 车尾标检测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630361A (zh) * 2008-12-30 2010-01-20 北京邮电大学 一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
US8644561B2 (en) * 2012-01-18 2014-02-04 Xerox Corporation License plate optical character recognition method and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630361A (zh) * 2008-12-30 2010-01-20 北京邮电大学 一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
US8644561B2 (en) * 2012-01-18 2014-02-04 Xerox Corporation License plate optical character recognition method and system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张颖: "车型识别技术研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王殿君等: "《移动机器人自主定位技术》", 30 June 2013 *
笪东旭: "基于车脸识别的套牌车检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741561B (zh) * 2016-03-11 2018-03-16 中国联合网络通信集团有限公司 车牌特征位的识别方法及装置
CN105741561A (zh) * 2016-03-11 2016-07-06 中国联合网络通信集团有限公司 车牌特征位的识别方法及装置
CN106127205A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 一种适用于室内轨道机器人的数字仪表图像的识别方法
CN106504261B (zh) * 2016-10-31 2019-08-06 北京奇艺世纪科技有限公司 一种图像分割方法及装置
CN106504261A (zh) * 2016-10-31 2017-03-15 北京奇艺世纪科技有限公司 一种图像分割方法及装置
US11390276B2 (en) 2017-05-15 2022-07-19 Canon Kabushiki Kaisha Control device, control method, and non-transitory storage medium
CN110651313A (zh) * 2017-05-15 2020-01-03 佳能株式会社 控制装置和控制方法
CN107358794A (zh) * 2017-06-13 2017-11-17 深圳前海慧泊中安运营管理有限公司 数据处理方法及装置
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN107545239B (zh) * 2017-07-06 2021-01-12 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108304839A (zh) * 2017-08-31 2018-07-20 腾讯科技(深圳)有限公司 一种图像数据处理方法以及装置
CN108304839B (zh) * 2017-08-31 2021-12-17 腾讯科技(深圳)有限公司 一种图像数据处理方法以及装置
CN108710854A (zh) * 2018-05-22 2018-10-26 长治学院 一种电子元器件的识别方法和装置
CN111723601A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像处理的方法及装置
CN109977937A (zh) * 2019-03-26 2019-07-05 北京字节跳动网络技术有限公司 图像处理方法、装置及设备
CN109977937B (zh) * 2019-03-26 2020-11-03 北京字节跳动网络技术有限公司 图像处理方法、装置及设备
CN110598749A (zh) * 2019-08-13 2019-12-20 广东数鼎科技有限公司 一种基于卷积神经网络ai算法的图像识车实现系统
CN110930727B (zh) * 2019-12-12 2021-09-21 淄博市公安局交通警察支队张店大队 一种大小型车辆长距广角电子警察抓拍方法
CN110930727A (zh) * 2019-12-12 2020-03-27 淄博市公安局交通警察支队张店大队 一种大小型车辆长距广角电子警察抓拍方法
CN111923917A (zh) * 2020-08-19 2020-11-13 厦门金龙联合汽车工业有限公司 一种用于无人驾驶车辆的超车控制方法和系统
CN113505782A (zh) * 2021-06-07 2021-10-15 上海图丽信息技术有限公司 一种货车车牌与车厢手写车牌结合识别系统
CN114266930A (zh) * 2021-12-02 2022-04-01 中国联合网络通信集团有限公司 车尾标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN105046255A (zh) 一种基于车尾文字识别的车型鉴定方法及系统
US10255691B2 (en) Method and system of detecting and recognizing a vehicle logo based on selective search
Gonzalez et al. Text detection and recognition on traffic panels from street-level imagery using visual appearance
Nomura et al. A novel adaptive morphological approach for degraded character image segmentation
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
Huang et al. Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads
Wang et al. An effective method for plate number recognition
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
Alam et al. Indian traffic sign detection and recognition
CN106650553A (zh) 车牌识别方法及系统
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN104751187A (zh) 抄表图像自动识别方法
CN104598885A (zh) 街景图像中的文字标牌检测与定位方法
CN106874901B (zh) 一种行驶证识别方法及装置
CN104200228A (zh) 一种安全带识别方法与系统
CN103106409A (zh) 一种针对头肩检测的混合特征提取方法
US10157320B2 (en) Vehicle detection method based on hybrid image template
CN106778777B (zh) 一种车辆匹配方法及系统
CN108921006B (zh) 手写签名图像真伪鉴别模型建立方法及真伪鉴别方法
da Silva Soares et al. Methodology based on texture, color and shape features for traffic light detection and recognition
CN106980859A (zh) 一种用于识别铝车轮背腔字符的方法
Xavier et al. Automatic detection and recognition of text in traffic sign boards based on word recognizer
CN108647679B (zh) 一种基于车窗粗定位的车标识别方法
Chaturvedi et al. Automatic license plate recognition system using surf features and rbf neural network
KR101910256B1 (ko) 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151111