CN108364010B - 一种车牌识别方法、装置、设备及计算机可读存储介质 - Google Patents
一种车牌识别方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108364010B CN108364010B CN201810189777.5A CN201810189777A CN108364010B CN 108364010 B CN108364010 B CN 108364010B CN 201810189777 A CN201810189777 A CN 201810189777A CN 108364010 B CN108364010 B CN 108364010B
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- character
- region
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
本发明实施例公开了一种车牌识别方法、装置、设备及计算机可读存储介质。其中,方法包括获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成车辆图像的梯度灰度图像;在梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像;根据车牌区域图像的面积与车牌包含字符的个数,从车牌区域图像中将各个字符进行分割提取;分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量;根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果,字符库包括符合车牌牌照要求的字符和各自相对应的特征向量。本申请提供的技术方案快速精确的定位了车牌区域,提高了车牌识别的识别效率和准确率。
Description
技术领域
本发明实施例涉及图像处理技术领域,特别是涉及一种车牌识别方法、装置、设备及计算机可读存储介质。
背景技术
随着互联网技术的快速发展,智能网联汽车是汽车产业技术的战略制高点和新一轮国际竞争焦点。新一轮科技革命和产业革命正向纵深发展,智能网联汽车和智慧交通应用涉及到自动驾驶、宽带移动通信、人工智能、大数据等多种前沿技术。车牌作为每一辆汽车最直观最易识别的ID号,对其快速识别将对未来智能网联汽车产生重要的影响。智能停车场、智能收费站等地方都将可能要求对汽车的车牌进行读取识别。
目前,车牌识别设备已经被广泛应用于停车场、城市道路、高速公路等区域进行车辆号牌的自动抓拍和识别,车牌识别技术可以分为车牌检测、车牌分割与识别。其中,在车牌检测环节中准确定位车牌图像中车牌区域,对整个车牌识别至关重要。
现有技术中,在获取车牌图像后,通常直接采用车牌分类器,如基于哈尔Haar特征的AdaBoost车牌分类器,对获的车牌图像进行检测,即对获取的车牌图像全图进行Haar检测,使用车牌分类器能够精确地检测到获取的车牌图像中的车牌区域,或者是利用边缘检测对车牌进行粗定位,再利用投影方法进行车牌区域的精确定位利用垂直投影方法将车牌区域分割为车牌字符,然后提取车牌字符的一些特征进行匹配对比,得到车牌字符识别结果。
但是,由于获取的车牌图像面积大,像素点多,为了在获取的车牌图像中检测得到所需的车牌区域,需要经过繁杂的计算,运算量庞大,如果应用在嵌入式设备中,其速度将无法满足要求,不适用于硬件设备实现,此外,在背景较复杂、光照不均匀等情况下都难以取得令人满意的定位效果,而且现行的车牌识别技术大都采用单一的颜色模型,而单一颜色模型进行分割定位会因汽车所处的复杂环境等原因使定位结果的精确度受到限制。
发明内容
本发明实施例的目的是提供一种车牌识别方法、装置、设备及计算机可读存储介质,快速精确的定位了车牌区域,提高了车牌识别的识别效率和准确率。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种车牌识别的方法,包括:
获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成所述车辆图像的梯度灰度图像;
在所述梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像;
根据所述车牌区域图像的面积与车牌包含字符的个数,从所述车牌区域图像中将各个字符进行分割提取;
分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量;
根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果;所述字符库包括符合车牌牌照要求的字符和各自相对应的特征向量。
可选的,在所述获取图像采集设备采集的车辆图像之前,还包括:
获取与待识别车牌对应车辆的距离信息;
判断所述距离信息是否等于预设距离阈值;
若是,则发送采集所述车辆图像的指令,以使所述图像采集设备根据所述指令进行图像采集。
可选的,所述图像采集设备根据所述指令进行图像采集包括:
所述图像采集设备为视频采集设备,所述视频采集设备根据所述指令采集当前车辆的图像,并发送当前的车辆图像帧之后,自动缓存一帧车辆图像。
可选的,所述利用HSV颜色空间模型生成所述车辆图像的梯度灰度图像包括:
利用下述公式,将所述车辆图像转化至HSV表示的颜色空间中:
式中,R为所述车辆图像各像素点中红色的亮度值,G为所述车辆图像各像素点中绿色的亮度值,B为所述车辆图像各像素点中蓝色的亮度值,H为转化后车辆图像的各像素点的色调值,S为转化后车辆图像的各像素点的饱和度值,V为转化后车辆图像的各像素点的明度值;
将转化到HSV颜色空间的车辆图像中,符合牌照底色的H分量阈值区间和S分量阈值区间的区域像素值,设置为第一标记灰度值,其他区域像素值设置为第二标记灰度值,所述第一标记灰度值与第二标记灰度值不相等,生成所述车辆图像的梯度灰度图像;
其中,所述牌照底色的H分量阈值区间和S分量阈值区间为预先在HSV空间中设置的,不同牌照底色的H分量阈值区间和S分量阈值区间不同,且不同牌照底色对应的第一标记灰度值不同。
可选的,在所述生成所述车辆图像的梯度灰度图像之后,还包括:
对所述梯度灰度图像进行二值化处理,得到二值化图像;
根据待处理的牌照底色与标准车牌面积,去除所述二值化图像中非车牌位置的区域;
根据用户选择的结构元素,对去除非车牌位置区域的二值化图像进行形态学运算,得到目标二值化图像。
可选的,所述在所述梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像包括:
利用投影法在所述目标二值化图像中确定各个候选区域,并根据各候选区域的面积按照从大到小进行排序;
计算排序后的第一候选区域的长宽比,判断所述第一候选区域的长宽比是否在预设比值区间;
若是,则将第一候选区域确定为车牌区域图像;
若否,则依次计算下一个候选区域的长宽比,并判断当前长宽比是否在所述比值空间;若各候选区域中存在长宽比在所述比值空间,则将长宽比在所述比值空间对应的候选区域确定为所述车牌区域图像;若各候选区域中不存在长宽比在所述比值空间,则重新获取待识别车牌对应的车辆图像。
可选的,所述根据所述车牌区域图像的面积与车牌包含字符的个数,从所述车牌区域图像中将各个字符进行分割提取包括:
S3:在ia≤i≤ia+wn的范围内继续遍历每列的像素点,若在遍历过程中有不存在的像素点的列,则该列为所述当前字符的结束位置,记为ib;若ib-ia<δ,δ为常数,则在ib≤i≤ia+wn范围内取出第一次不存在的像素点所在列,则该列为所述当前字符的结束位置;
S4:将ia~ib之间的位置区域作为单个字符的图像,进行分割提取;
S5:重复执行S2-S4,直至完成N个字符的分割提取;
其中,所述车牌区域图像坐标为(i,j)的像素点对应的像素值为f(i,j),所述车牌区域图像的长度为L个像素点,宽度为W个像素点,所述车牌包含的字符个数为N,wn为所述车牌中包含的字符的平均宽度。
本发明实施例另一方面提供了一种车牌识别的装置,包括:
梯度灰度图像生成模块,用于获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成所述车辆图像的梯度灰度图像;
车牌区域图像提取模块,用于在所述梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像;
字符分割提取模块,用于根据所述车牌区域图像的面积与车牌包含字符的个数,从所述车牌区域图像中将各个字符进行分割提取;
字符特征向量生成模块,用于分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量;
特征匹配识别模块,用于根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果;所述字符库包括符合车牌牌照要求的字符和各自相对应的特征向量。
本发明实施例还提供了一种车牌识别设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述车牌识别方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有车牌识别程序,所述车牌识别程序被处理器执行时实现如前任一项所述车牌识别方法的步骤。
本发明实施例提供了一种车牌识别方法,获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成车辆图像的梯度灰度图像;在梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像;根据车牌区域图像的面积与车牌包含字符的个数,从车牌区域图像中将各个字符进行分割提取;分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量;根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果。
本申请提供的技术方案的优点在于,运用梯度灰度图对待识别车牌对应的车辆图像中,快速精确的定位了车牌位置区域,解决了现有技术中在背景复杂、光照不均匀情景下捕捉的图像导致定位车牌区域不准确的问题,实现了车牌区域的快速精确提取分离,运用特征提取的方法对字符进行提取配对,提高了车牌识别的识别效率和准确率。
此外,本发明实施例还针对车牌识别方法提供了相应的实现装置、设备及计算机可读存储介质,进一步使得所述方法更具有实用性,所述装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车牌识别方法的流程示意图;
图2为本发明实施例提供的另一种车牌识别方法的流程示意图;
图3为本发明实施例提供的车牌识别装置的一种具体实施方式结构图;
图4为本发明实施例提供的车牌识别装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种车牌识别方法的流程示意图,本发明实施例可包括以下内容:
S101:获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成车辆图像的梯度灰度图像。
图像采集设备可为视频采集设备,也可为一般的照相机,这均不影响本申请的实现。
图像采集设备采集的车辆图像为彩色图像,考虑到彩色图像容易受到外部光源的干扰,可将彩色车辆图像转化到HSV空间中,HSV颜色空间模型包括的参数为色调(H),饱和度(S),明度(V);H参数表示色彩信息,即所处的光谱颜色的位置。该参数用一HSV颜色空间模型角度量来表示,红、绿、蓝分别相隔120度。互补色分别相差180度。纯度S为一比例值,范围从0到1,它表示成所选颜色的纯度和该颜色最大的纯度之间的比率。S=0时,只有灰度。V表示色彩的明亮程度,范围从0到1,需要说明的是,HSV颜色空间模型和光强度之间并没有直接的联系。
S102:在梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像。
S103:根据车牌区域图像的面积与车牌包含字符的个数,从车牌区域图像中将各个字符进行分割提取。
S104:分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量。
对分割提取后的每个字符,都进行特征提取,即每个字符都提取它的网格特征和交叉点特征,然后利用网格特征和交叉点特征构成该字符的识别特征向量。具体的特征提取可参照现有技术中的特征提取方法,本申请不做任何限定。
S105:根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果。
字符库可包括符合车牌牌照要求的字符和各自相对应的特征向量,也就是字符库中仅存车牌牌照上可能出现的字符及其特征向量,以中国牌照为例,字符库可包括34个省级行政单位简称、26个英文大写字母及10个数字,及各自对应的特征向量。
将各字符的识别特征向量与字符库中的特征向量进行匹配,特征向量匹配成功的字符与字符库中存储的字符一样,将识别特征向量匹配成功的特征向量对应的字符输出,即为各字符的识别结果。
利用HSV颜色空间模型生成车辆图像的梯度灰度图像的过程具体可为:
彩色车辆图像中各像素值由红色(R)、绿色(G)和蓝色(B)三种颜色的亮度值来表示,对于任3个在[0,1]范围内的R、G、B值,其对应HSV颜色空间中的H、S、V分量可以由下面的转换公式得到,也即利用下述公式,可将所述车辆图像转化至HSV表示的颜色空间中:
式中,R为车辆图像各像素点中红色的亮度值,G为车辆图像各像素点中绿色的亮度值,B为车辆图像各像素点中蓝色的亮度值,H为转化后车辆图像的各像素点的色调值,S为转化后车辆图像的各像素点的饱和度值,V为转化后车辆图像的各像素点的明度值;
将转化到HSV颜色空间的车辆图像中,符合牌照底色的H分量阈值区间和S分量阈值区间的区域像素值,设置为第一标记灰度值,其他区域像素值设置为第二标记灰度值,第一标记灰度值与第二标记灰度值不相等,生成车辆图像的梯度灰度图像;
其中,牌照底色的H分量阈值区间和S分量阈值区间为预先在HSV空间中设置的,不同牌照底色的H分量阈值区间和S分量阈值区间不同,且不同牌照底色对应的第一标记灰度值不同。
牌照底色即车牌的底色,即非字符的其他颜色,举例来说,中国车牌牌照一般为蓝底白字、黄底黑字、黑底白字和白底黑字四种类型,那么牌照底色即为蓝、黄、黑、白四色,也即在车辆图像中确定车牌位置区域需要识别的是蓝、黄、黑、白四色。
针对中国牌照,以牌照底色为蓝色为例来说,在HSV颜色空间中,确定蓝色的H分量和S分量的阈值区间,分别记为[H1,H2]和[S1,S2]。将输入车辆图像中符合蓝色H、S分量阈值区间的区域像素值设为255(第一标记灰度值),其他区域设为0(第二标记灰度值),从而可以将蓝色区域从输入图像中标记出来。
黄色、白色和黑色的区域可分别用不同的灰度值标记出来,其他无关区域置为0(第二标记灰度值),构造出梯度灰度图G(x,y)。例如用灰度值255标识蓝色区域,灰度值200标识黄色区域,灰度值150标识白色区域,灰度值100标识黑色区域。
当然,第一标记灰度值可以为任何值,第二标记灰度值也可为任何值,只要二者可以区别开即可,优选的,第二标记灰度值可为0,也即非车牌位置区域的其他区域的像素点的灰度值都赋值为0。
为了提高后续图像识别的精度和速度,可对车牌区域图像进行处理,例如可包括:对梯度灰度图像进行二值化处理,得到二值化图像。例如,即将待处理的颜色对应的灰度值赋值为1,其他颜色对应的灰度值赋值为0,得到一个二值图像g(x,y)。
进一步的,还可根据待处理的牌照底色与标准车牌面积,去除二值化图像中非车牌位置的区域,也即去除一些与标准车牌面积相比差距太大的区域。
当然,还可根据用户选择的结构元素,对去除非车牌位置区域的二值化图像进行形态学运算,得到目标二值化图像,通过运用合适的结构元素进行数学形态学运算,改善二值图像的质量。
其中,在梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像具体过程可包括:
利用投影法在目标二值化图像中确定各个候选区域,并根据各候选区域的面积按照从大到小进行排序。当然,也可从小到大进行排序,或者不进行排序直接进行后续操作,这均不影响本申请的实现。
计算排序后的第一候选区域的长宽比,判断第一候选区域的长宽比是否在预设比值区间。预设比值区间可为根据现有实际应用场景中的多个车牌的长宽比进行确定,即先计算出实际中车牌的长宽比,以此值一定范围内的区间作为预设的比值区间,具体的比值区间,本领域技术人员可根据实际情况进行设定,本申请对此不做任何限定。
若是,则将第一候选区域确定为车牌区域图像;
若否,则依次计算下一个候选区域的长宽比,并判断当前长宽比是否在比值空间;若各候选区域中存在长宽比在比值空间,则将长宽比在比值空间对应的候选区域确定为车牌区域图像;若各候选区域中不存在长宽比在比值空间,则重新获取待识别车牌对应的车辆图像。
也就是说,如果二值图像的各个区域均不符合车牌的几何结构特征(候选区域的长宽比不在比值空间),则说明牌照底色不是这一灰度值所代表的颜色。可对其他牌照底色的灰度值按照上述步骤进行操作执行。如果其他牌照底色依然没有,则说明车牌区域图像或者是车辆图像中没有车牌信息,需要重新获取图像进行识别,可选的,可直接使用缓存图像进行检测。
在确定车牌所在的区域后,可根据投影图的坐标知识,分离提取出车牌区域图像。
在本发明实施例提供的技术方案中,运用梯度灰度图对待识别车牌对应的车辆图像中,快速精确的定位了车牌位置区域,解决了现有技术中在背景复杂、光照不均匀情景下捕捉的图像导致定位车牌区域不准确的问题,实现了车牌区域的快速精确提取分离,运用特征提取的方法对字符进行提取配对,提高了车牌识别的识别效率和准确率。
考虑到如果图像采集设备实时采集车辆图像,会导致采集到的图像中包含的有用信息很少或者是没有,这样根据采集到的图像进行车牌识别不仅识别精度低,还浪费时间,鉴于此,本申请还提供了另外一个实施例,请参见图3,图3为本发明实施例提供的另一种车牌识别方法的流程示意图,具体的可包括以下内容:
S201:获取与待识别车牌对应车辆的距离信息。
可借用距离检测装置检测待识别车牌对应的车辆与图像采集设备的距离,然后距离检测装置采集到的距离信息发送给处理器。
S202:判断距离信息是否等于预设距离阈值,若是,则执行S203。
预设距离阈值为车辆与图像采集设备的距离为该值时,采集到的车辆图像中车辆占据整个图像最多像素,当二者距离大于该值时,多余的图像信息较大,为后续图像处理增加难度和处理时间;当距离小于该值时,采集到的车辆图像中车辆信息不完整,可能不包含车牌区域,为了避免后续图像识别的不精确,可在当车辆与图像采集设备的距离等于预设距离阈值时,进行图像采集。
S203:发送采集车辆图像的指令,以使图像采集设备根据指令进行图像采集。
当图像采集设备为视频采集设备,视频采集设备根据指令采集当前车辆的图像,并发送当前的车辆图像帧之后,可自动缓存一帧车辆图像。自动缓存的车辆图像与当前的车辆图像为相同时刻采集的同一辆车辆的图像,该缓存的车辆图像为当前车辆图像的拷贝图像。
S204:获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成车辆图像的梯度灰度图像。
S205:在梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像。
S206:根据车牌区域图像的面积与车牌包含字符的个数,从车牌区域图像中将各个字符进行分割提取。
在一种具体的实施方式中,S206具体可包括下述过程:
S2063:在ia≤i≤ia+wn的范围内继续遍历每列的像素点,若在遍历过程中有不存在的像素点的列,则该列为当前字符的结束位置,记为ib;若ib-ia<δ,δ为常数,则在ib≤i≤ia+wn范围内取出第一次不存在的像素点所在列,则该列为当前字符的结束位置。在具体的应用场景中,当前字符的结束位置也即为字符的右边界。δ作为不满足最小字宽的值,具体取值可根据实际的经验确定,本申请不做任何限定。当二者位置小于最小字宽时,可视为为噪音干扰。
S2064:将ia~ib之间的位置区域作为单个字符的图像,进行分割提取。
S2065:重复执行S2062-S2064,直至完成N个字符的分割提取;
其中,车牌区域图像坐标为(i,j)的像素点对应的像素值为f(i,j),车牌区域图像的长度为L个像素点,宽度为W个像素点,车牌包含的字符个数为N,wn为所述车牌中包含的字符的平均宽度wn,举例来说,车牌由7个字符组成,因此每个字符的平均宽度wn为W/7个像素点
S207:分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量。
S208:根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果。
与上述实施例描述相一致的步骤,具体的实现方式可参照上述实施例的描述,此处,在本实施例就不再赘述。
由上可知,本发明实施例可进一步提升车牌识别的识别效率和准确率。
本发明实施例还针对车牌识别方法提供了相应的实现装置,进一步使得所述方法更具有实用性。下面对本发明实施例提供的车牌识别装置进行介绍,下文描述的车牌识别装置与上文描述的车牌识别方法可相互对应参照。
参见图3,图3为本发明实施例提供的车牌识别装置在一种具体实施方式下的结构图,该装置可包括:
梯度灰度图像生成模块301,用于获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成车辆图像的梯度灰度图像。
车牌区域图像提取模块302,用于在梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像。
字符分割提取模块303,用于根据车牌区域图像的面积与车牌包含字符的个数,从车牌区域图像中将各个字符进行分割提取。
字符特征向量生成模块304,用于分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量。
特征匹配识别模块305,用于根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果;字符库包括符合车牌牌照要求的字符和各自相对应的特征向量。
在本实施例的一些实施方式中,请参阅图4,所述装置例如还可以包括采集图像触发模块306,具体的可包括:
获取信息单元,用于获取与待识别车牌对应车辆的距离信息;
判断单元,用于判断距离信息是否等于预设距离阈值;
触发采集单元,用于当距离信息等于预设距离阈值,发送采集车辆图像的指令,以使图像采集设备根据指令进行图像采集。
其中,所述采集图像触发模块306可为图像采集设备为视频采集设备,视频采集设备根据指令采集当前车辆的图像,并发送当前的车辆图像帧之后,自动缓存一帧车辆图像的模块。
可选的,在本实施例的另一些实施方式中,所述梯度灰度图像生成模块301可以包括:
转化单元,用于利用下述公式,将车辆图像转化至HSV表示的颜色空间中:
式中,R为车辆图像各像素点中红色的亮度值,G为车辆图像各像素点中绿色的亮度值,B为车辆图像各像素点中蓝色的亮度值,H为转化后车辆图像的各像素点的色调值,S为转化后车辆图像的各像素点的饱和度值,V为转化后车辆图像的各像素点的明度值;
赋值单元,将转化到HSV颜色空间的车辆图像中,符合牌照底色的H分量阈值区间和S分量阈值区间的区域像素值,设置为第一标记灰度值,其他区域像素值设置为第二标记灰度值,第一标记灰度值与第二标记灰度值不相等,生成车辆图像的梯度灰度图像;
其中,牌照底色的H分量阈值区间和S分量阈值区间为预先在HSV空间中设置的,不同牌照底色的H分量阈值区间和S分量阈值区间不同,且不同牌照底色对应的第一标记灰度值不同。
此外,在上述实施方式中,具体的,所述采集图像触发模块306还可包括:
二值化处理单元,用于对梯度灰度图像进行二值化处理,得到二值化图像;
去除非车牌位置区域单元,用于根据待处理的牌照底色与标准车牌面积,去除二值化图像中非车牌位置的区域;
图像质量改善单元,用于根据用户选择的结构元素,对去除非车牌位置区域的二值化图像进行形态学运算,得到目标二值化图像。
可选的,在一种具体的实施方式中,所述车牌区域图像提取模块302例如还可包括:
候选区域确定单元,用于利用投影法在目标二值化图像中确定各个候选区域,并根据各候选区域的面积按照从大到小进行排序;
几何结构判断单元,用于计算排序后的第一候选区域的长宽比,判断第一候选区域的长宽比是否在预设比值区间;
车牌区域图像确定单元,当第一候选区域的长宽比在预设比值区间,则将第一候选区域确定为车牌区域图像;当第一候选区域的长宽比不在预设比值区间,则依次计算下一个候选区域的长宽比,并判断当前长宽比是否在比值空间;若各候选区域中存在长宽比在比值空间,则将长宽比在比值空间对应的候选区域确定为车牌区域图像;若各候选区域中不存在长宽比在比值空间,则重新获取待识别车牌对应的车辆图像。
本发明实施例所述车牌识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例运用梯度灰度图对待识别车牌对应的车辆图像中,快速精确的定位了车牌位置区域,解决了现有技术中在背景复杂、光照不均匀情景下捕捉的图像导致定位车牌区域不准确的问题,实现了车牌区域的快速精确提取分离,运用特征提取的方法对字符进行提取配对,提高了车牌识别的识别效率和准确率。
本发明实施例还提供了一种车牌识别设备,具体可包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序以实现如上任意一实施例所述车牌识别方法的步骤。
本发明实施例所述车牌识别设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例快速精确的定位了车牌位置区域,提高了车牌识别的识别效率和准确率。
本发明实施例还提供了一种计算机可读存储介质,存储有车牌识别程序,所述车牌识别程序被处理器执行时如上任意一实施例所述车牌识别方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例快速精确的定位了车牌位置区域,提高了车牌识别的识别效率和准确率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种车牌识别方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种车牌识别方法,其特征在于,包括:
获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成所述车辆图像的梯度灰度图像;
在所述梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像;
根据所述车牌区域图像的面积与车牌包含字符的个数,从所述车牌区域图像中将各个字符进行分割提取;
分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量;
根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果;所述字符库包括符合车牌牌照要求的字符和各自相对应的特征向量;
其中,所述根据所述车牌区域图像的面积与车牌包含字符的个数,从所述车牌区域图像中将各个字符进行分割提取包括:
S3:在ia≤i≤ia+wn的范围内继续遍历每列的像素点,若在遍历过程中有不存在的像素点的列,则该列为所述当前字符的结束位置,记为ib;若ib-ia<δ,δ为常数,则在ib≤i≤ia+wn范围内取出第一次不存在的像素点所在列,则该列为所述当前字符的结束位置;
S4:将ia~ib之间的位置区域作为单个字符的图像,进行分割提取;
S5:重复执行S2-S4,直至完成N个字符的分割提取;
其中,所述车牌区域图像坐标为(i,j)的像素点对应的像素值为f(i,j),所述车牌区域图像的长度为L个像素点,宽度为W个像素点,所述车牌包含的字符个数为N,wn为所述车牌中包含的字符的平均宽度。
2.根据权利要求1所述的车牌识别方法,其特征在于,在所述获取图像采集设备采集的车辆图像之前,还包括:
获取与待识别车牌对应车辆的距离信息;
判断所述距离信息是否等于预设距离阈值;
若是,则发送采集所述车辆图像的指令,以使所述图像采集设备根据所述指令进行图像采集。
3.根据权利要求2所述的车牌识别方法,其特征在于,所述图像采集设备根据所述指令进行图像采集包括:
所述图像采集设备为视频采集设备,所述视频采集设备根据所述指令采集当前车辆的图像,并发送当前的车辆图像帧之后,自动缓存一帧车辆图像。
4.根据权利要求1至3任意一项所述的车牌识别方法,其特征在于,所述利用HSV颜色空间模型生成所述车辆图像的梯度灰度图像包括:
利用下述公式,将所述车辆图像转化至HSV表示的颜色空间中:
式中,R为所述车辆图像各像素点中红色的亮度值,G为所述车辆图像各像素点中绿色的亮度值,B为所述车辆图像各像素点中蓝色的亮度值,H为转化后车辆图像的各像素点的色调值,S为转化后车辆图像的各像素点的饱和度值,V为转化后车辆图像的各像素点的明度值;
将转化到HSV颜色空间的车辆图像中,符合牌照底色的H分量阈值区间和S分量阈值区间的区域像素值,设置为第一标记灰度值,其他区域像素值设置为第二标记灰度值,所述第一标记灰度值与第二标记灰度值不相等,生成所述车辆图像的梯度灰度图像;
其中,所述牌照底色的H分量阈值区间和S分量阈值区间为预先在HSV空间中设置的,不同牌照底色的H分量阈值区间和S分量阈值区间不同,且不同牌照底色对应的第一标记灰度值不同。
5.根据权利要求4所述的车牌识别方法,其特征在于,在所述生成所述车辆图像的梯度灰度图像之后,还包括:
对所述梯度灰度图像进行二值化处理,得到二值化图像;
根据待处理的牌照底色与标准车牌面积,去除所述二值化图像中非车牌位置的区域;
根据用户选择的结构元素,对去除非车牌位置区域的二值化图像进行形态学运算,得到目标二值化图像。
6.根据权利要求5所述的车牌识别方法,其特征在于,所述在所述梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像包括:
利用投影法在所述目标二值化图像中确定各个候选区域,并根据各候选区域的面积按照从大到小进行排序;
计算排序后的第一候选区域的长宽比,判断所述第一候选区域的长宽比是否在预设比值区间;
若是,则将第一候选区域确定为车牌区域图像;
若否,则依次计算下一个候选区域的长宽比,并判断当前长宽比是否在所述比值区间;若各候选区域中存在长宽比在所述比值区 间,则将长宽比在所述比值区 间对应的候选区域确定为所述车牌区域图像;若各候选区域中不存在长宽比在所述比值区 间,则重新获取待识别车牌对应的车辆图像。
7.一种车牌识别装置,其特征在于,包括:
梯度灰度图像生成模块,用于获取图像采集设备采集的车辆图像,利用HSV颜色空间模型生成所述车辆图像的梯度灰度图像;
车牌区域图像提取模块,用于在所述梯度灰度图像中,利用投影法确定车牌位置并分离提取车牌区域图像;
字符分割提取模块,用于根据所述车牌区域图像的面积与车牌包含字符的个数,从所述车牌区域图像中将各个字符进行分割提取;
字符特征向量生成模块,用于分别提取各字符的网格特征和交叉点特征,构成各字符的识别特征向量;
特征匹配识别模块,用于根据各字符的识别特征向量在预存的字符库中进行特征匹配,得到各字符的识别结果;所述字符库包括符合车牌牌照要求的字符和各自相对应的特征向量;
其中,所述字符分割提取模块进一步用于:
S3:在ia≤i≤ia+wn的范围内继续遍历每列的像素点,若在遍历过程中有不存在的像素点的列,则该列为所述当前字符的结束位置,记为ib;若ib-ia<δ,δ为常数,则在ib≤i≤ia+wn范围内取出第一次不存在的像素点所在列,则该列为所述当前字符的结束位置;
S4:将ia~ib之间的位置区域作为单个字符的图像,进行分割提取;
S5:重复执行S2-S4,直至完成N个字符的分割提取;
其中,所述车牌区域图像坐标为(i,j)的像素点对应的像素值为f(i,j),所述车牌区域图像的长度为L个像素点,宽度为W个像素点,所述车牌包含的字符个数为N,wn为所述车牌中包含的字符的平均宽度。
8.一种车牌识别设备,其特征在于,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6任一项所述车牌识别方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有车牌识别程序,所述车牌识别程序被处理器执行时实现如权利要求1至6任一项所述车牌识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810189777.5A CN108364010B (zh) | 2018-03-08 | 2018-03-08 | 一种车牌识别方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810189777.5A CN108364010B (zh) | 2018-03-08 | 2018-03-08 | 一种车牌识别方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108364010A CN108364010A (zh) | 2018-08-03 |
CN108364010B true CN108364010B (zh) | 2022-03-22 |
Family
ID=63003916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810189777.5A Expired - Fee Related CN108364010B (zh) | 2018-03-08 | 2018-03-08 | 一种车牌识别方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108364010B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447074A (zh) * | 2018-09-03 | 2019-03-08 | 中国平安人寿保险股份有限公司 | 一种车牌识别方法及终端设备 |
CN109389064B (zh) * | 2018-09-27 | 2021-02-23 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆特征获取方法及装置 |
CN110969176B (zh) * | 2018-09-29 | 2023-12-29 | 杭州海康威视数字技术股份有限公司 | 一种车牌样本扩增方法、装置和计算机设备 |
CN109376740A (zh) * | 2018-10-19 | 2019-02-22 | 天津天地伟业投资管理有限公司 | 一种基于视频的水尺读数检测方法 |
CN111161542B (zh) * | 2018-11-08 | 2021-09-28 | 杭州海康威视数字技术股份有限公司 | 车辆识别方法及装置 |
CN109614945A (zh) * | 2018-12-18 | 2019-04-12 | 杭州匹知共创科技有限公司 | 一种过滤环境干扰的车辆特征识别方法 |
CN111563402B (zh) * | 2019-02-14 | 2023-05-09 | 杭州海康威视数字技术股份有限公司 | 车牌识别方法、装置、终端及存储介质 |
CN110197139A (zh) * | 2019-05-16 | 2019-09-03 | 苏州思卡信息系统有限公司 | 一种车辆牌照的检测识别方法 |
CN110490192A (zh) * | 2019-07-16 | 2019-11-22 | 广东工业大学 | 一种商品生产日期标签检测方法及系统 |
CN110378317A (zh) * | 2019-07-29 | 2019-10-25 | 广东泓胜科技股份有限公司 | 一种车牌识别方法及装置 |
CN112686246B (zh) * | 2019-10-18 | 2024-01-02 | 深圳市优必选科技股份有限公司 | 一种车牌字符分割方法、装置、存储介质及终端设备 |
CN111382722B (zh) * | 2020-03-23 | 2023-09-05 | 浙江大华技术股份有限公司 | 车牌图像优选方法、图像处理装置及具有存储功能的装置 |
CN111950546A (zh) * | 2020-08-06 | 2020-11-17 | 广东飞翔云计算有限公司 | 一种车牌识别方法、装置、计算机设备和存储介质 |
CN112329769A (zh) * | 2020-10-27 | 2021-02-05 | 广汽本田汽车有限公司 | 一种车辆铭牌识别方法、装置、计算机设备及存储介质 |
CN112329758A (zh) * | 2020-11-04 | 2021-02-05 | 深圳市极致科技股份有限公司 | 基于车牌的模糊匹配方法、装置,电子设备及存储介质 |
CN113192081A (zh) * | 2021-04-30 | 2021-07-30 | 北京达佳互联信息技术有限公司 | 图像识别方法、装置、电子设备和计算机可读存储介质 |
CN114529897B (zh) * | 2022-04-24 | 2022-09-06 | 浙江大华技术股份有限公司 | 牌照生成方法、电子设备及存储介质 |
CN114821078B (zh) * | 2022-05-05 | 2023-03-14 | 北方工业大学 | 一种车牌识别方法、装置、电子设备及存储介质 |
CN116311215B (zh) * | 2023-05-22 | 2023-11-17 | 成都运荔枝科技有限公司 | 一种车牌识别方法 |
CN116415610B (zh) * | 2023-06-12 | 2023-10-03 | 恒银金融科技股份有限公司 | 银行存折条形码的处理方法、装置和电子设备 |
CN116503848B (zh) * | 2023-06-27 | 2023-10-03 | 深圳市前海铼停科技有限公司 | 车牌的智能识别方法、装置、设备及存储介质 |
CN117011507B (zh) * | 2023-09-04 | 2024-01-26 | 南京诺源医疗器械有限公司 | 一种2cmos图像识别数据分析方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408942A (zh) * | 2008-04-17 | 2009-04-15 | 浙江师范大学 | 一种复杂背景下的车牌定位方法 |
CN102375982A (zh) * | 2011-10-18 | 2012-03-14 | 华中科技大学 | 一种融合多字符特征的车牌定位方法 |
CN102708356A (zh) * | 2012-03-09 | 2012-10-03 | 沈阳工业大学 | 一种基于复杂背景下的车牌自动定位和识别方法 |
CN103324958A (zh) * | 2013-06-28 | 2013-09-25 | 浙江大学苏州工业技术研究院 | 一种复杂背景下基于投影法和svm的车牌定位方法 |
CN104050450A (zh) * | 2014-06-16 | 2014-09-17 | 西安通瑞新材料开发有限公司 | 一种基于视频的车牌识别方法 |
CN105809166A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市佳信捷技术股份有限公司 | 车牌识别方法、装置及系统 |
CN105825212A (zh) * | 2016-02-18 | 2016-08-03 | 江西洪都航空工业集团有限责任公司 | 一种基于Hadoop的分布式车牌识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9122953B2 (en) * | 2013-04-15 | 2015-09-01 | Xerox Corporation | Methods and systems for character segmentation in automated license plate recognition applications |
CN106650739B (zh) * | 2016-12-09 | 2020-08-11 | 浙江浩腾电子科技股份有限公司 | 一种车牌字符切割新方法 |
-
2018
- 2018-03-08 CN CN201810189777.5A patent/CN108364010B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101408942A (zh) * | 2008-04-17 | 2009-04-15 | 浙江师范大学 | 一种复杂背景下的车牌定位方法 |
CN102375982A (zh) * | 2011-10-18 | 2012-03-14 | 华中科技大学 | 一种融合多字符特征的车牌定位方法 |
CN102708356A (zh) * | 2012-03-09 | 2012-10-03 | 沈阳工业大学 | 一种基于复杂背景下的车牌自动定位和识别方法 |
CN103324958A (zh) * | 2013-06-28 | 2013-09-25 | 浙江大学苏州工业技术研究院 | 一种复杂背景下基于投影法和svm的车牌定位方法 |
CN104050450A (zh) * | 2014-06-16 | 2014-09-17 | 西安通瑞新材料开发有限公司 | 一种基于视频的车牌识别方法 |
CN105825212A (zh) * | 2016-02-18 | 2016-08-03 | 江西洪都航空工业集团有限责任公司 | 一种基于Hadoop的分布式车牌识别方法 |
CN105809166A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市佳信捷技术股份有限公司 | 车牌识别方法、装置及系统 |
Non-Patent Citations (3)
Title |
---|
么立宝.基于Zynq的车牌识别系统的研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2015, * |
基于Zynq的车牌识别系统的研究;么立宝;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315;正文第15-29页 * |
新型车牌定位系统的设计;叶必锭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130615;正文第39-40页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108364010A (zh) | 2018-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108364010B (zh) | 一种车牌识别方法、装置、设备及计算机可读存储介质 | |
CN109460709B (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
CN107545239B (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
CN106651872B (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
CN105373794B (zh) | 一种车牌识别方法 | |
KR101403876B1 (ko) | 차량 번호판 인식 방법과 그 장치 | |
US10592754B2 (en) | Shadow removing method for color image and application | |
CN109657632B (zh) | 一种车道线检测识别方法 | |
CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
CN103824091B (zh) | 一种用于智能交通系统的车牌识别方法 | |
CN104778721A (zh) | 一种双目图像中显著性目标的距离测量方法 | |
CN110781877B (zh) | 一种图像识别方法、设备及存储介质 | |
CN111382658B (zh) | 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法 | |
CN108182691B (zh) | 识别限速标志的方法、装置及车辆 | |
CN114387591A (zh) | 车牌识别方法、系统、设备及存储介质 | |
CN109977941A (zh) | 车牌识别方法及装置 | |
KR101794632B1 (ko) | 전기차 번호판 로고 패턴 인식 방법 | |
JP4762026B2 (ja) | 道路標識データベース構築装置 | |
CN111723805A (zh) | 一种信号灯的前景区域识别方法及相关装置 | |
CN111178359A (zh) | 车牌号码识别方法、装置和设备及计算机存储介质 | |
CN116324911A (zh) | 用于从车辆牌照中提取字符的方法和用于执行方法的牌照字符提取装置 | |
JP5327241B2 (ja) | 物体識別装置 | |
CN110046618B (zh) | 基于机器学习和最大极值稳定区域的车牌识别方法 | |
JP5010627B2 (ja) | 文字認識装置及び文字認識方法 | |
CN111402185A (zh) | 一种图像检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220322 |