CN104809461A - 结合序列图像超分辨率重建的车牌识别方法及系统 - Google Patents

结合序列图像超分辨率重建的车牌识别方法及系统 Download PDF

Info

Publication number
CN104809461A
CN104809461A CN201510230680.0A CN201510230680A CN104809461A CN 104809461 A CN104809461 A CN 104809461A CN 201510230680 A CN201510230680 A CN 201510230680A CN 104809461 A CN104809461 A CN 104809461A
Authority
CN
China
Prior art keywords
image
license plate
resolution
character
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510230680.0A
Other languages
English (en)
Other versions
CN104809461B (zh
Inventor
吕晓琪
张奇
任国印
李银辉
谷宇
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Science and Technology
Original Assignee
Inner Mongolia University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Science and Technology filed Critical Inner Mongolia University of Science and Technology
Priority to CN201510230680.0A priority Critical patent/CN104809461B/zh
Publication of CN104809461A publication Critical patent/CN104809461A/zh
Application granted granted Critical
Publication of CN104809461B publication Critical patent/CN104809461B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words

Abstract

一种图像处理领域的结合序列图像超分辨率重建的车牌识别方法及系统,首先对视频图像采用基于L1和L2混合范式的超分辨率重建算法对视频进行预处理,重建出清晰可辨的高分辨率图像;然后对高分辨率图像进行车牌定位:首先利用HSV颜色空间上结合大津法对车牌进行定位,然后利用垂直投影法对定位出的车牌进行字符分割,得到单个字符;再利用字符的HOG特征信息生成训练集,采用SVM方式对分割出的字符进行识别,得出车牌字符串。本发明可以在低分辨率视频中准确识别车牌;解决了视频中分辨率低情况下字符识别率低的问题。

Description

结合序列图像超分辨率重建的车牌识别方法及系统
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种结合序列图像超分辨率重建的分辨率低于256*256的图像车牌识别方法及系统。
背景技术
车牌识别技术在智能交通管理系统中占有至关重要的地位。在交通管理系统中起到维持道路交通安全运行的重要作用。它的一般处理流程是:车牌定位,字符分割,车牌字符识别。然而,随着监控系统的迅速普及也伴随着大量不同分辨率图像的产生,车牌识别系统的发展速度远跟不上监控系统采集信息的速度。大多数监控采集视频后无法进行深层的处理也不能得到更多有用的信息。海量监控视频数据的有效利用变得可望而不可即。为了降低设备成本,大多数摄像头采集的图像分辨率较低。即使监控设备的分辨率较高,在大风,暴雨,雾霾等恶劣天气条件下也会使得视频清晰度较低。低分辨率的图像清晰度无法满足车牌识别中对图像细节信息的清晰度要求,使得现有绝大多数车牌识别系统无法正常识别。所以对序列低分辨率图像的车牌识别技术研究就变得尤为重要。
传统的车牌识别技术识别对象是单幅照片图像或序列图像中单幅图像。这样对于分辨率较低或大风、暴雨、雾霾等恶劣天气下传统的车牌识别技术是无法正常应用的。而序列图像的超分辨率重建技术运用于车牌识别上恰恰解决了清晰度较低引起车牌识别能力降低的问题,可以完成对低分辨率视频的车牌识别。
Linwei Yue,Huanfeng Shen,Qiangqiang Yuan,Liangpei Zhang于2014年6月在Signal Processing上发表了一篇名为“A locally adaptive L1‐L2norm for multi‐frame super‐resolution of images with mixed noise and outliers”的文章中提出了结合L1和L2范式混合模型的自适应超分辨率重建方法,文中采用的是一般图像加入不同的噪声进行实验,该技术对低分辨率图像的去模糊处理,对图像中自然噪声滤除。
Jon Almazán,Albert Gordo,Alicia Fornés,Ernest Valveny;于2014年6月在Pattern Recognition上发表了一篇名为“Segmentation‐free word spotting with exemplar SVMs”的文章中提出了利用滑动窗口中的HOG信息对文档中单词进行分割和识别,利用SVM分类器提高手写文本和机器书写的文本的识别率,其与本文算法将HOG特征应用于车牌字符特征中,有一定针对性,对象中的字符数为34个,包含10个数字和24个字母(字母I和O除外)。
Bing‐Fei Wu,Hao‐Yu Huang,Yen‐Lin Chen*;等人2013在“International Conference on  Networking,Sensing and Control(ICNSC 2013)”会议上发表的文章“Degraded License Plate Recognition system for town buses on highway”中提出了一种退化车牌识别系统。该系统是采用了台湾地区高速交通路口收费站的降质车牌图像进行车牌识别的,车牌定位和识别均是提取HOG特征送入SVM进行训练得到分类器的方法,再利用降质图像进行车牌定位和识别实验。实验中方法对部分缺失图像有一定定位和识别作用,但实验中训练样本和测试样本相同说服力不强。文中利用了HOG和SVM的方法对车牌区域和车牌字符分别进行训练得到两个训练库,分别用来车牌定位和字符识别。其车牌训练库的定位方法得到的定位时间比直接用HOG和SVM进行定位时间有所减少。该技术针对序列低分辨率图像无法提取出有用的HOG信息,进而导致识别效率很难提升。
中国专利文献号为:CN102880859A,公开日:2013.01.16,发明名称为:“一种车牌识别方法”中公开了一种车牌识别的方法,该方法基于获取的单幅图像对车牌进行定位,得到车牌区域后,对定位后区域进行超分辨率重建,然后进行字符分割和字符识别。该技术分辨率较低情况下单幅图像进行超分辨率后得到高分辨率图像,其信息不足以提供车牌识别所需要的信息,直接导致车牌识别率的降低。
中国专利文献号为:CN103489173.A,公开日:2014.01.01,发明名称为:“一种视频图像超分辨率重建方法”中公开了一种视频超分辨率重建方法。具体方法如下;1)需要在相同场景下获得的多幅低分辨率图像,手动选取出所需视频的连续序列帧,得到静态图像文件,结合场景参数,选择一个象元内连续多帧的亚像素图像;2)根据序列图像之间存在亚像素级精度位移,选择目标兴趣点,并进行块状目标的运动估计;3)根据运动估计结果,采用非均匀内插的重建算法,重建一副高分辨率图像。该技术利用的非线性内插将图像进行了局部增强,配准准则中利用图像块具有相同的形状特点,当对图像进行内插时,可能造成目标区域的错误判定,对局部增强可能造成噪声信息叠加,得到适得其反的效果。
发明内容
本发明针对现有技术存在的上述不足,提出一种结合序列图像超分辨率重建的车牌识别方法及系统,可以在低分辨率视频中准确识别车牌;解决了视频中分辨率低情况下字符识别率低的问题。
本发明是通过以下技术方案实现的:
本发明涉及一种基于结合序列图像超分辨率重建的车牌识别方法,通过从低分辨率视频中提取序列图像,序列图像超分辨率重建,HSV车牌定位,字符分割,HOG和SVM相结合的字符识别,输出车牌字符。
所述识别方法具体包括以下步骤:
第一步、对视频图像采用基于L1和L2混合范式的超分辨率重建算法对视频进行预处理,重建出清晰可辨的高分辨率图像;
第二步、对高分辨率图像进行车牌定位:首先利用HSV颜色空间上结合大津法对车牌进行定位,然后利用垂直投影法对定位出的车牌进行字符分割,得到单个字符;
第三步、利用字符的HOG特征信息生成训练集,采用SVM方式对分割出的字符进行识别,得出车牌字符串。
本发明涉及一种实现上述方法的系统,包括:超分辨率模块、车牌字符提取模块、梯度SVM分类模块,其中:超分辨率重建模块与低分辨率图像采集装置相连并传输视频图像信息,车牌字符提取模块与超分辨率重建模块相连并传输重建得到的高分辨率图像信息,梯度SVM分类模块与车牌字符提取模块相连并传输字符图像信息。
技术效果
与现有技术相比,本发明能完成在监控设备分辨率较低或大风、大雨、雾霾等恶劣条件造成的图像清晰度较低下对车牌进行定位分割并且识别出车牌字符。对于普通超分辨率重建方法无法完成定位的序列图像,本文方法能够较好的实现定位效果,并分割出单个字符。利用梯度方向直方图信息和支持向量机的结合对字符进行识别,能够得到较好的识别效果。
附图说明
图1为本发明流程示意图。
图2为本发明胞元中梯度方向分块数。
图3为本发明SVM分类器的训练过程。
图4为本发明超分辨率重建效果图;
图中:(a)为低分辨率图像中其中四帧图像,(b)为L1范式超分辨率重建效果图,(c)为L2范式超分辨率重建效果图,(d)为L1和L2范式相结合的超分辨率重建效果图,其信噪比相比于单独利用一个范式重建后图像要高很多。
图5为图4中各图的车牌部位的截图;
图中:(e)(f)(g)(h)分别对应图4中的(a)(b)(c)(d)的车牌部位的截图。
图6本发明定位和识别效果图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示,本实施例包括以下步骤:
第一步:从小区内监控设备,交通路口设备,乡村街道出入口等处采集获取低分辨率视频,从中选取合适的模拟低分辨率图像,然后采用混合范式结合BTV正则化算法对模拟低分辨率图像进行重建。
所述的混合范式是指:基于L1和L2混合范式,其中:L1范式的BTV正则化函数f1以及L2范式的BTV正则化函数f2为:
       f 1 = arg min [ Σ k = 1 K | | y k - DBM k X | | 1 1 + λR BTV ( X ) ] - - - ( 1 )
       f 2 = arg min [ Σ k = 1 K | | y k - DBM k X | | 2 2 + λR BTV ( X ) ] - - - ( 2 )
其中:DBMkX为模拟低分辨率图像,其中的D代表降采样矩阵,B代表模糊矩阵,Mk代表运动变形矩阵,λ为正则化系数,用于平衡保真项和正则项;yk为采用到的第k帧低分辨率图像,X为待估计高分辨率图像;K为序列图像的总帧数,RBTV(X)为双边全变分正则化核函数,具体为:
       R BTV ( x ) = Σ l = - q q Σ m = - q q α | l | + | m | | | X - S x l S y m X | | - - - ( 3 )
其中:l和m为图像X在水平和垂直方向的位移,q为在水平和垂直方向上的最大位移, 为平移后的变换矩阵,调节双边滤波算子的权重参数α取值为[0,1],α的大小对重建得到的高分辨率图像有重要影响,α较大可以有效的抑制噪声,但为对图像有了一定程度的平滑;α较小可以锐化图像边缘,但会带来噪声,因此要选择较合适的α达到既保证抑制噪声又保护图像边缘的效果。
从计算速度上讲,公式(2)中的第一项为平方的形式,由于图像在计算机中是以矩阵的形式存储,所以平方运算会降低计算速度,而公式(1)中的第一项是各个元素绝对值之和,相对于L2范式的平方运算速度明显加快。
基于上述混合范式的BTV正则化函数为:
       X ^ = μf 1 + ( 1 - μ ) f 2 + R BTV ( X ) - - - ( 4 )
结合(1)、(2)将公式(4)展开得到公式(5):
       X ^ = arg min [ μ Σ k = 1 K | | y k - DBM k X | | 1 + ( 1 - μ ) Σ k = 1 K | | y k - DBM k X | | 2 2 ] + λ Σ l = - q q Σ m = - q q α | l | + | m | X - S x l S y m X | | 1 - - - ( 5 )
其中:为重建后图像;μ为L1范式和L2范式的调节参数,通过选取合适的调节参数μ,使得上式的第一项最小,即原始低分辨图像yk与模拟低分辨率图像DBMkX之间的差最小,解决这种最优化的办法为采用迭代算法,这里利用梯度下降法,即最速下降法,在图像重建迭代过 程,沿着负梯度的方向收敛到目标函数的极小值。
所述的梯度下降法是指:L1和L2混合范式的保真项梯度函数和BTV正则项梯度函数  X n + 1 = X n - β ∂ f ( X n ) ∂ X n , 展开为:
       X n = X n - 1 - β { ( DBM k X ) T [ μsign ( y k - DBM k X ) + ( 1 - μ ) ( y k - DBM k X ) ] + λ Σ l = - q q Σ m = - q q α | l | + | m | ( I - S x - l S y - m ) sign ( X n - 1 S x l S y m X n - 1 ) } - - - ( 6 )
其中:sign()为符号函数,分别是的逆操作。为了快速的重建高分辨率图像,选择合适的收敛精度ε和沿梯度方向的步长β以使得代价函数减少,第n次迭代过程的最优步长是通过计算第n‐1次的代价函数得到。Xn代表经过n次迭代以后得到的高分辨率图像,Xn-1代表经过n‐1次迭代后得到的高分辨率图像。
所述的迭代的停止条件为收敛精度本实施例中收敛精度为10‐4,当Xn满足Xn与Xn-1之间的收敛精度小于等于10‐4时,迭代停止,此时得到的Xn即为超分辨率重建后的高分辨率图像。
第二步:对得到的高分辨率图像进行高斯滤波去除部分噪声干扰,然后对其进行RGB到HSV颜色空间的转换。
所述的转换,即对Xn进行RGB到HSV颜色空间的转换,具体如下:
      
       s = 0 , if max = 0 ( max - min ) / max = 1 min / ma x , othe wise v = max , 其中:H代表[0,360)之间的一个角度,0代表红色,120代表绿色,240代表蓝色;S是[0,1]之间的数值,代表颜色的浓淡程度,0代表该色调的最淡颜色即为白色,1代表该色调的最深颜色;V是[0,1]之间的值,0代表最暗,1代表最亮。RGB模型转换为HSV模型时,设(r,g,b)为某图像红、绿、 蓝颜色坐标,它们的值是在0到1之间的实数;(h,s,v)为变换得到的HSV模型坐标。HSV颜色模型的数学模型如图3所示。设max代表着r,g和b三原色中最大的那个值,设min代表三原色中最小的那个值。
第三步:根据HSV颜色空间中H值范围选择90‐120,S分量范围为0.24‐0.85对HSV图像进行前景背景的区分,符合H和S分量范围的设置为前景区域图像,即车牌候选区域,其余的像素都设置为背景区域图像。
第四步:对前景区域图像进行HSV到RGB的颜色空间转换,再对车牌候选区域进行灰度化处理。利用大津(OTSU)分割算法对图像进行分割,并经定位核对得到精细车牌区域。
给定在HSV中(h,s,v)值定义的一个颜色,带有如上的h,和分别表示饱和度和明度的s和v变化于0到1之间,在RGB空间中对应的(r,g,b)三原色可以计算为(R,G,B变化于0到1之间):
      
       f = h 60 - h i
p=v×(1-s)
q=v×(1-f×s)
t=v×(1-(1-f)×s)
对于每个颜色向量 ( r , g , b ) = ( v , t , p ) , if h i = 0 ( q , v , p ) , if h i = 1 ( p , v , t ) , if h i = 2 ( p , q , v ) , if h i = 3 ( t , p , v ) , if h i = 4 ( v , p , q ) , if h i = 5
所述的OTSU分割算法又称最大类间方差法,使用的是聚类的思想,把图像的灰度数按灰度级分为两部分,使得两个部分间的灰度值差异最大,每个部分间的灰度差异最小,通过方差的计算来寻找一个合适的灰度级别来划分,该算法基本思想是以某一灰度为阈值将图像分为两组并计算其方差,当该方差最大时,以该灰度为阈值分割图像,此时得到的图像分割结果的错分率为最小。
OTSU算法是阈值选取中的最佳算法,计算简单,不受图像亮度和对比度的影响。具有很高的实时性和分割效率。
所述的分割,通过离散度矩阵的迹作为背景和目标类的距离测度函数求解出最大时的分割阈值完成对车牌图像的最优分割。
所述的定位核对是指:根据车牌的经验信息,车牌区域的二值化图像的横向(水平)跳变数目大于15;且定位出的车牌矩形区域长宽比约为3:1。判定分割得到的二值图像是否满足该条件,满足则定位成功;否则重新定位,直至定位成功后得到精细车牌区域,该过程在图像采集之后自动运行,无需人为控制交互。
第五步:对精细车牌区域进行二分思想的投影算法对图像进行字符分割,得到单个字符。
第六步:对SVM的训练集字符进行梯度方向直方图信息提取,生成SVM训练集,其具体为:
6.1)对单个模板字符标准化Gamma空间和颜色空间,Gamma压缩公式为: 
I(x,y)=I(x,y)Gamma,其中:Gamma=1/2。
6.2)计算单个字符图像梯度,计算图像横坐标和纵坐标方向的梯度,并据此计算每个像素的梯度方向值;
上述操作不仅能够捕获轮廓、纹理信息,还能进一步弱化光照的影响。
6.3)计算水平和垂直方向梯度Gh(x,y)和Gv(x,y)及其梯度强度M(x,y)和方向θ(x,y):
       G h ( x , y ) = f ( x + 1 , y ) - f ( x - 1 , y ) ∀ x , y
       G v ( x , y ) = f ( x , y + 1 ) - f ( x , y - 1 ) ∀ x , y
       M ( x , y ) = G h ( x , y ) 2 + G v ( x , y ) 2 ≈ | G h ( x , y ) | + | G v ( x , y ) |
θ(x,y)=arctan(Gh(x,y)/Gv(x,y)) 
对于梯度方向的方位限定,一般采用无符号的范围,故梯度方向如式:
      
6.4)根据待测字符为24个不同的字母和10个不同的数字,共34个不同字符,单个字符的训练字符数为100个,选取3400个训练字符进行梯度方向直方图信息的提取作为SVM训练集,具体为:设置单元大小为8×8,块大小为16×16,每个单元梯度方向数设定为9。单个字符包含的块数:((32-16)/8+1)×((16-16)/8+1)=3;每个块所含胞元数:
(16/8)×(16/8)=4;每个胞元的梯度方向数为9;总的维度:3×4×9=108。
第七步:以SVM训练集对SVM中进行训练,在实时检测时,将分割后字符归一化为训 练字符大小16×32大小,计算其梯度方向直方图信息,利用训练后的SVM模型进行识别得到对应字符信息,顺序输出得到车牌字符串信息。完成车牌识别过程。
支持向量机(Support vector machine,SVM),核函数的目的是将训练样本映射到更有利于可线性分割的样本集。映射的结果是增加了样本向量的维度,这一过程通过采用高斯径向基函数内核(Radial basis function kernel,RBF)来完成。本发明采用径向基函数内核作为支持向量机分类中的核函数。
上述过程对于常规车牌识别系统无法识别的视频,通过分发明的系列过程可以进行车牌定位分割和字符识别,并且具有较好的识别效果,具体如以下实验比较示意:
表1为不同图像峰值信噪比
      
表2为SVM训练结果
      
表3为字符识别数据统计
      

Claims (9)

1.一种基于结合序列图像超分辨率重建的车牌识别方法,其特征在于,包括以下步骤:
第一步、对视频图像采用基于L1和L2混合范式的超分辨率重建算法对视频进行预处理,重建出清晰可辨的高分辨率图像;
第二步、对高分辨率图像进行车牌定位:首先利用HSV颜色空间上结合大津法对车牌进行定位,然后利用垂直投影法对定位出的车牌进行字符分割,得到单个字符;
第三步、利用字符的HOG特征信息生成训练集,采用SVM方式对分割出的字符进行识别,得出车牌字符串。
2.根据权利要求1所述的方法,其特征是,所述的重建是指:基于L1范式的BTV正则化函数f1以及L2范式的BTV正则化函数f2对模拟低分辨率图像进行重建, f 1 = arg min [ Σ k = 1 K | | y k - DBM k X | | 1 1 + λ R BTV ( X ) ] , f 2 = arg min [ Σ k = 1 K | | y k - DBM k X | | 2 2 + λ R BTV ( X ) ] , 其中:DBMkX为模拟低分辨率图像,其中的D代表降采样矩阵,B代表模糊矩阵,Mk代表运动变形矩阵,λ为正则化系数,用于平衡保真项和正则项;yk为采用到的第k帧低分辨率图像,X为待估计高分辨率图像;K为序列图像的总帧数,RBTV(X)为双边全变分正则化核函数,具体为:其中:l和m为图像X在水平和垂直方向的位移,q为在水平和垂直方向上的最大位移,为平移后的变换矩阵,α为调节双边滤波算子的权重参数;
基于上述混合范式的BTV正则化函数为:
x ^ = arg min [ μ Σ k = 1 K | | y k - DBM k X | | 1 + ( 1 - μ ) Σ k = 1 K | | y k - DBM k X | | 2 2 ] + λ Σ l = - q q Σ m = - q q α | l | + | m | X - S x l S y m X | | 1 , 其中:为重建后图像;μ为L1范式和L2范式的调节参数,通过采用迭代算法选取调节参数μ,使得上式的第一项最小,即原始低分辨图像yk与模拟低分辨率图像DBMkX之间的差最小。
3.根据权利要求2所述的方法,其特征是,所述的迭代算法是指梯度下降法,即最速下降法,具体为:在图像重建迭代过程,沿着负梯度的方向收敛到目标函数的极小值。
4.根据权利要求1所述的方法,其特征是,所述的第二步具体是指:
2.1)对得到的高分辨率图像进行高斯滤波去除部分噪声干扰,然后对其进行RGB到HSV颜色空间的转换;
2.2)根据HSV颜色空间中蓝色的H值范围对HSV图像进行前景背景的区分,提取前景区域图像,即车牌候选区域,利用S分量把图像中符合蓝色色调不符合车牌饱和度的区域设置为背景区域;
2.3)对前景区域图像进行HSV到RGB的颜色空间转换,再对车牌候选区域进行灰度化处理。利用大津分割算法对图像进行分割,并经定位核对得到精细车牌区域;
2.4)对精细车牌区域进行水平投影以去除上下边界多余区域,然后进行垂直投影以去除左右边界多余区域,再对每个字符进行分割,得到单个字符。
5.根据权利要求4所述的方法,其特征是,所述的分割,通过离散度矩阵的迹作为背景和目标类的距离测度函数求解出最大时的分割阈值完成对车牌图像的最优分割。
6.根据权利要求4所述的方法,其特征是,所述的定位核对是指:根据车牌的经验信息,车牌区域的二值化图像的横向(水平)跳变数目大于15;且定位出的车牌矩形区域长宽比约为3:1;判定分割得到的二值图像是否满足该条件,满足则定位成功;否则重新定位,直至定位成功后得到精细车牌区域。
7.根据权利要求1所述的方法,其特征是,所述的HOG特征信息通过以下方式得到:
1)对单个模板字符标准化Gamma空间和颜色空间,Gamma压缩公式为:
I(x,y)=I(x,y)Gamma,其中:Gamma=1/2;
2)计算单个字符图像梯度,计算图像横坐标和纵坐标方向的梯度,并据此计算每个像素的梯度方向值;
3)计算水平和垂直方向梯度Gh(x,y)和Gv(x,y)及其梯度强度M(x,y)和方向θ(x,y):
G h ( x , y ) = f ( x + 1 , y ) - f ( x - 1 , y ) ∀ x , y ,
G v ( x , y ) = f ( x , y + 1 ) - f ( x , y - 1 ) ∀ x , y ,
M ( x , y ) = G h ( x , y ) 2 + G v ( x , y ) 2 ≈ | G h ( x , y ) | + | G v ( x , y ) | ,
θ(x,y)=arctan(Gh(x,y)/Gv(x,y));
4)根据待测字符为24个不同的字母和10个不同的数字,共34个不同字符,单个字符的训练字符数为100个,选取3400个训练字符进行梯度方向直方图信息的提取作为SVM训练集,具体为:设置单元大小为8×8,块大小为16×16,每个单元梯度方向数设定为9,单个字符包含的块数:((32-16)/8+1)×((16-16)/8+1)=3;每个块所含胞元数:(16/8)×(16/8)=4;每个胞元的梯度方向数为9;总的维度:3×4×9=108。
8.根据权利要求1所述的方法,其特征是,第三步中所述的识别,具体是指:以训练集对SVM中进行训练,在实时检测时,将分割后字符归一化为训练字符大小16×32大小,计算其梯度方向直方图信息,利用训练后的SVM模型进行识别得到对应字符信息,顺序输出得到车牌字符串信息。
9.一种实现上述任一权利要求所述方法的系统,其特征在于,包括:超分辨率模块、车牌字符提取模块、梯度SVM分类模块,其中:超分辨率重建模块与低分辨率图像采集装置相连并传输视频图像信息,车牌字符提取模块与超分辨率重建模块相连并传输重建得到的高分辨率图像信息,梯度SVM分类模块与车牌字符提取模块相连并传输字符图像信息。
CN201510230680.0A 2015-05-08 2015-05-08 结合序列图像超分辨率重建的车牌识别方法及系统 Expired - Fee Related CN104809461B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510230680.0A CN104809461B (zh) 2015-05-08 2015-05-08 结合序列图像超分辨率重建的车牌识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510230680.0A CN104809461B (zh) 2015-05-08 2015-05-08 结合序列图像超分辨率重建的车牌识别方法及系统

Publications (2)

Publication Number Publication Date
CN104809461A true CN104809461A (zh) 2015-07-29
CN104809461B CN104809461B (zh) 2018-01-05

Family

ID=53694272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510230680.0A Expired - Fee Related CN104809461B (zh) 2015-05-08 2015-05-08 结合序列图像超分辨率重建的车牌识别方法及系统

Country Status (1)

Country Link
CN (1) CN104809461B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184317A (zh) * 2015-08-29 2015-12-23 电子科技大学 一种基于svm分类的车牌字符分割方法
CN107016417A (zh) * 2017-03-28 2017-08-04 青岛伟东云教育集团有限公司 一种字符识别的方法及装置
CN107103320A (zh) * 2017-04-28 2017-08-29 常熟理工学院 嵌入式医疗数据图像识别及集成方法
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107194889A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 分块双边全变分正则化图像噪声消除方法
CN107895377A (zh) * 2017-11-15 2018-04-10 国光电器股份有限公司 一种前景目标提取方法、装置、设备及存储介质
CN107909017A (zh) * 2017-11-06 2018-04-13 余帝乾 一种复杂背景下车牌识别的方法、装置以及系统
CN108171654A (zh) * 2017-11-20 2018-06-15 西北大学 带干扰抑制的汉字图像超分辨率重建方法
CN108460723A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于邻域相似性的双边全变分图像超分辨率重建方法
CN108734658A (zh) * 2018-05-16 2018-11-02 四川大学 一种高分辨率图像的重建方法及系统
CN109493280A (zh) * 2018-11-02 2019-03-19 腾讯科技(深圳)有限公司 图像处理方法、装置、终端及存储介质
CN110298790A (zh) * 2019-06-28 2019-10-01 北京金山云网络技术有限公司 一种对图像进行超分辨率重建的处理方法及装置
CN112070774A (zh) * 2020-09-16 2020-12-11 西南石油大学 一种用于页岩数字岩心图像分割的神经网络优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880859A (zh) * 2012-08-30 2013-01-16 华南理工大学 一种车牌识别方法
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法
CN102999753A (zh) * 2012-05-07 2013-03-27 腾讯科技(深圳)有限公司 车牌定位方法
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法
US20140177925A1 (en) * 2012-12-25 2014-06-26 National Chiao Tung University License plate recognition system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999753A (zh) * 2012-05-07 2013-03-27 腾讯科技(深圳)有限公司 车牌定位方法
CN102880859A (zh) * 2012-08-30 2013-01-16 华南理工大学 一种车牌识别方法
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法
US20140177925A1 (en) * 2012-12-25 2014-06-26 National Chiao Tung University License plate recognition system and method
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LINWEI YUE ET.AL.: ""A locally adaptive L1-L2 norm for multi-frame super-resolution of images with mixed noise and outliers"", 《SIGNAL PROCESSING》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184317B (zh) * 2015-08-29 2019-03-15 电子科技大学 一种基于svm分类的车牌字符分割方法
CN105184317A (zh) * 2015-08-29 2015-12-23 电子科技大学 一种基于svm分类的车牌字符分割方法
CN107016417A (zh) * 2017-03-28 2017-08-04 青岛伟东云教育集团有限公司 一种字符识别的方法及装置
CN107103320A (zh) * 2017-04-28 2017-08-29 常熟理工学院 嵌入式医疗数据图像识别及集成方法
CN107103320B (zh) * 2017-04-28 2020-05-15 常熟理工学院 嵌入式医疗数据图像识别及集成方法
CN107194889A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 分块双边全变分正则化图像噪声消除方法
CN107194889B (zh) * 2017-05-11 2021-02-02 西安电子科技大学 分块双边全变分正则化图像噪声消除方法
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107909017A (zh) * 2017-11-06 2018-04-13 余帝乾 一种复杂背景下车牌识别的方法、装置以及系统
CN107895377A (zh) * 2017-11-15 2018-04-10 国光电器股份有限公司 一种前景目标提取方法、装置、设备及存储介质
CN107895377B (zh) * 2017-11-15 2020-07-10 国光电器股份有限公司 一种前景目标提取方法、装置、设备及存储介质
CN108171654A (zh) * 2017-11-20 2018-06-15 西北大学 带干扰抑制的汉字图像超分辨率重建方法
CN108171654B (zh) * 2017-11-20 2021-06-22 西北大学 带干扰抑制的汉字图像超分辨率重建方法
CN108460723A (zh) * 2018-02-05 2018-08-28 西安电子科技大学 基于邻域相似性的双边全变分图像超分辨率重建方法
CN108460723B (zh) * 2018-02-05 2021-07-27 西安电子科技大学 基于邻域相似性的双边全变分图像超分辨率重建方法
CN108734658A (zh) * 2018-05-16 2018-11-02 四川大学 一种高分辨率图像的重建方法及系统
CN108734658B (zh) * 2018-05-16 2020-05-12 四川大学 一种高分辨率图像的重建方法及系统
CN109493280A (zh) * 2018-11-02 2019-03-19 腾讯科技(深圳)有限公司 图像处理方法、装置、终端及存储介质
CN109493280B (zh) * 2018-11-02 2023-03-14 腾讯科技(深圳)有限公司 图像处理方法、装置、终端及存储介质
CN110298790A (zh) * 2019-06-28 2019-10-01 北京金山云网络技术有限公司 一种对图像进行超分辨率重建的处理方法及装置
CN112070774A (zh) * 2020-09-16 2020-12-11 西南石油大学 一种用于页岩数字岩心图像分割的神经网络优化方法

Also Published As

Publication number Publication date
CN104809461B (zh) 2018-01-05

Similar Documents

Publication Publication Date Title
CN104809461A (zh) 结合序列图像超分辨率重建的车牌识别方法及系统
DE112016005059B4 (de) Unterkategorienbewusste faltende neuronale Netzwerke zur Objekterfassung
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN103886308B (zh) 一种使用聚合通道特征和软级联分类器的行人检测方法
US10198657B2 (en) All-weather thermal-image pedestrian detection method
CN105261017A (zh) 基于路面约束的图像分割法提取行人感兴趣区域的方法
US20210216806A1 (en) Fully automatic natural image matting method
CN103049763B (zh) 一种基于上下文约束的目标识别方法
US11854244B2 (en) Labeling techniques for a modified panoptic labeling neural network
CN106056155A (zh) 基于边界信息融合的超像素分割方法
CN102147867B (zh) 一种基于主体的国画图像和书法图像的识别方法
CN104484886B (zh) 一种mr图像的分割方法及装置
CN103824081A (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
DE112016006922T5 (de) Erkennung einer Aktivität in einer Videobildfolge anhand von Tiefeninformationen
CN103400386A (zh) 一种用于视频中的交互式图像处理方法
CN105335949A (zh) 一种视频图像去雨方法及系统
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN104597057A (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN104021566A (zh) 基于GrabCut算法的舌诊图像自动分割方法
CN103678552A (zh) 基于显著区域特征的遥感影像检索方法及系统
CN104951795A (zh) 图像分类识别判断方法
CN104021527A (zh) 一种图像中雨雪的去除方法
CN104050674B (zh) 一种显著性区域检测方法及装置
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN106469440B (zh) 基于OpenCL的暗通道去雾并行优化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lv Xiaoqi

Inventor after: Zhang Ming

Inventor after: Ren Guoyin

Inventor after: Zhang Qi

Inventor after: Li Yinhui

Inventor after: Gu Yu

Inventor before: Lv Xiaoqi

Inventor before: Zhang Qi

Inventor before: Ren Guoyin

Inventor before: Li Yinhui

Inventor before: Gu Yu

Inventor before: Zhang Ming

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180105