CN112329886A - 双车牌识别方法、模型训练方法、装置、设备及存储介质 - Google Patents

双车牌识别方法、模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112329886A
CN112329886A CN202011350336.2A CN202011350336A CN112329886A CN 112329886 A CN112329886 A CN 112329886A CN 202011350336 A CN202011350336 A CN 202011350336A CN 112329886 A CN112329886 A CN 112329886A
Authority
CN
China
Prior art keywords
target frame
license plate
model
frame detection
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011350336.2A
Other languages
English (en)
Inventor
邓练兵
李大铭
李皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN202011350336.2A priority Critical patent/CN112329886A/zh
Publication of CN112329886A publication Critical patent/CN112329886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种双车牌识别方法、模型训练方法、装置、设备及存储介质。步骤包括:利用第一训练集对多个目标框检测模型进行训练,并利用第一验证集对训练后的多个目标框检测模型进行验证;利用第二训练集对多个字符识别模型进行训练,并利用第二验证集对训练后的多个字符识别模型进行验证;选择准确率超过第一阈值的目标框检测模型,对第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框;选择准确率超过第二阈值的字符识别模型,分别对每个选择的目标框检测模型检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果。该方法避免了在对双车牌车辆进行车牌检测时存在框选误差,提高了车牌识别的精度。

Description

双车牌识别方法、模型训练方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域,具体涉及一种双车牌识别方法、模型训练方法、装置、设备及存储介质。
背景技术
随着居民生活水平的提高和出行需求的增加,我国的汽车保有量不断攀升。车牌的检测与识别是指从复杂的自然图像中定位车牌的位置,并将车牌号进行识别的技术,该技术广泛应用于停车管理、交通执法、车辆调度、交通诱导等各种场合。传统的基于射频的车牌识别方法需要在车辆中部署射频标签,不仅成本高,而且部署不便;相较于基于射频的车牌识别方法来说,基于视觉的车牌识别方法具有成本低,部署方便,同时可以为交通执法留存重要的图片证据等优点,而具有更广泛的应用前景。
随着港珠澳大桥的开通运营,澳门、香港以及内地车牌开始互通,车辆挂两地双车牌逐渐普及。然而,现有双车牌的目标框检测模型在对双车牌进行车牌检测时存在框选误差,所框选的目标框内可能对字符存有遗漏或者整个字符只有部分,导致对双车牌的框选不能达到满意的效果,使用这样的目标框进行字符分割与识别,会使得字符识别模型对字符分割与识别的效果不佳,影响到了最终所输出的车牌号的精确度。
发明内容
因此,本发明要解决的技术问题在于克服现有技术中的由于目标框检测模型在对双车牌进行车牌检测时存在框选误差,会使得字符识别模型对字符分割与识别的效果不佳的缺陷,从而提供一种用于识别双车牌模型的训练方法,包括如下步骤:
获取预先标注的车牌图像的第一样本集,所述第一样本集包括第一训练集和第一验证集;
利用所述第一训练集对多个目标框检测模型进行训练,并利用所述第一验证集对训练后的多个目标框检测模型进行验证,得到每个目标框检测模型的准确率;
获取预先标注的车牌字符的第二样本集,所述第二样本集包括第二训练集和第二验证集;
利用所述第二训练集对多个字符识别模型进行训练,并利用所述第二验证集对训练后的多个字符识别模型进行验证,得到每个字符识别模型的准确率;
获取预先标注的双车牌图像的第三样本集,所述第三样本集包括第三验证集;
选择准确率超过第一阈值的目标框检测模型,对所述第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框;
选择准确率超过第二阈值的字符识别模型,分别对每个选择的目标框检测模型检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果;
计算每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合。
优选地,在对每个选择的目标框检测模型检测到的目标框进行字符识别之后,还包括:
利用预设的字符排序算法对所识别出的字符进行字符排序,得到多种排序结果;
计算每种排序结果与所述双车牌图像的相似度;
将相似度最高的排序结果对应的字符排序作为所述检测结果。
优选地,所述计算每种排序结果与所述双车牌图像的相似度包括:
获取双车牌排序规则,依次判断每种排序结果是否符合所述双车牌排序规则;
计算符合所述双车牌排序规则的排序结果与所述双车牌图像的相似度。
优选地,还包括:
将不符合所述双车牌排序规则的排序结果添加用于表示非双车牌的第一标记;
将添加所述第一标记的排序结果归入到所述第三样本集中作为训练集,以扩展所述第三样本集。
优选地,将除相似度最高的排序结果以外的其他排序结果添加用于表示是双车牌的第二标记;
将添加所述第二标记的排序结果归入到所述第三样本集中作为验证集,以扩展所述第三样本集。
本发明还提供了一种双车牌识别方法,包括以下步骤:
利用上述的训练方法得到的目标框检测模型与字符识别模型的组合来进行目标框检测和字符识别;
利用预设的字符排序算法对所识别出的字符进行字符排序,输出双车牌的车牌号。
本发明还提供了一种用于识别双车牌模型的训练装置,包括:
第一获取模块,用于获取预先标注的车牌图像的第一样本集,所述第一样本集包括第一训练集和第一验证集;
第一检测模块,用于利用所述第一训练集对多个目标框检测模型进行训练,并利用所述第一验证集对训练后的多个目标框检测模型进行验证,得到每个目标框检测模型的准确率;
第二获取模块,用于获取预先标注的车牌字符的第二样本集,所述第二样本集包括第二训练集和第二验证集;
第一识别模块,用于利用所述第二训练集对多个字符识别模型进行训练,并利用所述第二验证集对训练后的多个字符识别模型进行验证,得到每个字符识别模型的准确率;
第三获取模块,用于获取预先标注的双车牌图像的第三样本集,所述第三样本集包括第三验证集;
第二检测模块,用于选择准确率超过第一阈值的目标框检测模型,对所述第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框;
第二识别模块,用于选择准确率超过第二阈值的字符识别模型,分别对每个选择的目标框检测模型检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果;
选择模块,用于计算每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合。
本发明还提供了一种双车牌识别装置,包括:
检测与识别模块,用于利用上述的训练方法得到的目标框检测模型与字符识别模型的组合来进行目标框检测和字符识别;
排序输出模块,用于利用预设的字符排序算法对所识别出的字符进行字符排序,输出双车牌的车牌号。
本发明还提供了一种电子设备,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行上述的用于识别双车牌模型的训练方法,或者执行上述的双车牌识别方法。
本发明还提供了一种存储介质,计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行上述的用于识别双车牌模型的训练方法,或用于使所述计算机执行上述的双车牌识别方法。
本发明技术方案,具有如下优点:
1.本发明提供的用于识别双车牌模型的训练方法,通过对多个目标框检测模型和多个字符识别模型进行模型权重选择,利用多个目标框检测模型和多个字符识别模型对第三验证集交叉检测与识别,选择出准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合作为双车牌的识别模型,该方法避免了目标框检测模型在对双车牌车辆进行车牌检测时存在框选误差,进而影响到字符识别模型的识别效果,提高了车牌号识别的精确度。
2.本发明提供的双车牌识别方法,利用模型训练方法对目标框检测模型、字符识别模型进行训练及选择,选择出准确率最好的神经网络模型来对双车牌进行检测与识别,避免了目标框检测模型在进行车牌检测时存在检测误差,影响到了后续字符识别的效果。
3.本发明提供的用于识别双车牌模型的训练装置,第一获取模块获取第一样本集,第一检测模块利用第一获取模板所获取的第一样本集对多个目标框检测模型进行训练,并利用第一样本集中的第一验证集对多个训练后的目标框检测模型进行验证,得到每个目标框监测模型的准确率;第二获取模块获取第二样本集,第一识别模块利用第二样本集对多个字符识别模型进行训练,并利用第二样本集中的第二验证集对多个训练后的字符识别模型进行验证,得到每个字符识别模型的准确率。
第三获取模块获取第三样本集,第二检测模块利用第三样本集进行车牌检测得到各个目标框检测模型相对应的目标框,第二识别模块利用第二检测模块所检测到的目标框进行字符识别,得到相对应的检测结果。选择模块根据每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合作为双车牌识别的神经网络模型。该装置训练的神经网络模型避免了目标框检测模型在进行车牌检测时存在检测误差,影响到了后续字符识别的效果。
4.本发明提供的双车牌识别装置,检测与识别模块用于对所需识别的图像/视频进行目标框检测与字符识别,排序输出模块用于对所识别出来的字符进行排序并输出车牌号。检测与识别模块避免了目标框检测模型在进行车牌检测时存在检测误差,影响到了后续字符识别的效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例用于识别双车牌模型的训练方法的流程图;
图2为本发明实施例双车牌识别方法的流程图;
图3为本发明实施例用于识别双车牌模型的训练装置的原理框图;
图4为本发明实施例双车牌识别装置的原理框图;
图5为本发明实施例电子设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供了一种用于识别双车牌模型的训练方法,图1是说明根据本发明某些实施例,通过对多个目标框检测模型、多个字符识别模型进行训练与验证,从而得到高精度的双车牌识别模型的流程图。虽然下文描述的过程包括以特定的顺序出现的多个操作,但是应该清楚地了解到,这些过程也可以包括更多或者更少的操作,这些操作可以顺序执行或者并行执行(例如使用并行处理器或者多线程环境)。
本发明提供的用于识别双车牌模型的训练方法,如图1所示,包括以下步骤:
S101、获取预先标注的车牌图像的第一样本集,所述第一样本集包括第一训练集和第一验证集。
在上述实施方式中,第一样本集的制作步骤如下:收集大量带有双车牌的车辆图像,这些带有双车牌的车辆图像可以是摄像头所拍摄到的视频中的一帧图像,也可以是摄像机所拍摄到的照片,例如道路交通中摄像头所拍摄到的视频或者照片、车辆行车仪所拍摄到的视频或者照片以及路人通过手机、摄像机等具有摄像功能的电子设备所拍摄到的视频或者照片。
可用于制作第一样本集的图像需要满足图像中存在具有双车牌的车辆,并且图像中的车牌号能够被清楚完整地观察到。收集到所需要的图像后,需要对所收集的图像进行样本标注以形成第一样本集,即分别对图像中的车辆、车牌以及车牌上的字符采用矩形框或多边形框的形式进行位置标定,其中车牌的四个角点,以左上角的角点为起始点,按顺时针方向依次标定,并以这四个角点为端点从而形成车牌区域的矩形框。以车牌的四个角点进行车牌定位,能有效改善车牌倾斜及畸变情况,提高车牌的识别效果。
考虑到内地双车牌的车辆较少,带有双车牌的图像比较难收集,为了使目标框检测模型能够得到有效的训练,可以通过旋转图像来实现第一样本集的扩增。第一样本集包括第一训练集和第一验证集,第一训练集用于对目标框检测模型进行训练,第一验证集用于对训练后的目标框检测模型进行验证。
S102、利用所述第一训练集对多个目标框检测模型进行训练,并利用所述第一验证集对训练后的多个目标框检测模型进行验证,得到每个目标框检测模型的准确率。
在上述实施方式中,目标框检测模型采用yolov3-tiny目标检测网络进行车辆的双车牌检测,yolov3-tiny目标检测网络能够快速、高效地定位车牌位置。在进行目标框检测模型训练前,将步骤S101中所制作的第一样本集转为标准YOLO系列常用的数据格式,利用第一训练集对多个目标框检测模型进行双车牌检测训练。
目标框检测模型训练完成后,利用第一验证集对多个经训练得到的目标框检测模型进行验证,验证训练后的多个目标框检测模型是否能够正确检测出图像中的双车牌位置,从而计算得到各个目标框检测模型的车牌正确检出率,并初步确定数个精度较好的目标框检测模型权重,车牌正确检出率LP车牌表示为:
Figure BDA0002801061650000101
其中:n车牌表示车辆被成功检测的图像数,N车牌表示图像总数,车牌正确检出率LP车牌表示目标框检测模型的准确率。
在本实施例中,当目标框检测模型检测出来的车牌目标框与车牌真值的交并比(IoU)大于0.5时,即可认为该目标框检测模型成功检测出该车牌,当该图像上所有的车牌经目标框检测模型检测出来的车牌目标框与车牌真值的交并比(IoU)都大于0.5时,即可认为该车辆被成功检测,其中,车牌真值为车牌区域在图像中的范围大小。在另外一些实施例中,可以认为,只有当目标框检测模型检测出来的车牌目标框与车牌真值的交并比(IoU)大于0.6、0.7或者0.8时,才可认为该目标框检测模型成功检测出该车牌,交并比(IoU)的数值越大,目标框检测模型对图像中的车牌检测效果则越好,本领域技术人员可根据实际情况确定交并比(IoU)的具体数值。
S103、获取预先标注的车牌字符的第二样本集,所述第二样本集包括第二训练集和第二验证集。
在上述实施方式中,可以直接从第一样本集所收集到图像中裁剪出带有双车牌的车辆图像,同时考虑到内地双车牌车辆较少,为有效识别出双车牌车辆中的香港、澳门车牌,同时收集一些香港、澳门单车牌车辆的图像,并对所裁剪出的双车牌车辆图像以及香港、澳门单车牌车辆图像进行样本标注作为第二样本集,即对图像中的车牌、字符采用矩形框或多边形框进行位置标定。
第二样本集包括第二训练集和第二验证集,第二训练集用于对多个字符识别模型进行模型训练,第二验证集用于对训练后的字符识别模型进行验证,并计算得到各个字符识别模型的准确率。
S104、利用所述第二训练集对多个字符识别模型进行训练,并利用所述第二验证集对训练后的多个字符识别模型进行验证,得到每个字符识别模型的准确率。
在上述实施方式中,字符识别模型采用LPS/CR-NET字符分割识别网络,在对字符识别模型进行模型训练前,先将第二样本集转为标准YOLO系列常用的数据格式,利用第二训练集训练好多个字符识别模型后,再利用第二验证集对各个训练后的字符识别模型进行验证,得到各个字符识别模型的准确率LP字符,字符识别模型的准确率LP字符表示为:
Figure BDA0002801061650000111
其中,n字符表示车牌上的所有字符全部被成功识别的车牌数,N字符表示车牌总数。
在本实施例中,通过字符识别模型识别出的车牌上所有的字符与该车牌的车牌号一致时,即认为该车牌上的所有字符全部被成功识别。计算得到多个字符识别模型的准确率,初步确定数个精度较好的字符识别模型权重。
S105、获取预先标注的双车牌图像的第三样本集,所述第三样本集包括第三验证集。
在上述实施方式中,第三样本集图像中所有的车辆都带有双车牌,第三样本集的制作步骤和第一样本集的制作步骤一样,此处不再赘述。
S106、选择准确率超过第一阈值的目标框检测模型,对所述第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框。
在上述实施方式中,系统首先设定一个第一阈值,该第一阈值的范围在0到1之间,例如可以为0.9、0.95或0.96等数值,本领域技术人员可根据具体情况进行合理的选择,在此不作限定。
将步骤S102中所得到的多个目标框检测模型的准确率与系统设定的第一阈值做对比,选择出准确率大于第一阈值的目标框检测模型,并利用准确率大于第一阈值的目标框检测模型对第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框。举例来说,系统设定的第一阈值为0.95,在步骤S102中训练得到的多个目标框检测模型的准确率分别为0.93、0.95、0.96、0.955以及0.99,则选出与准确率为0.96、0.955以及0.99相对应的目标框检测模型对第三验证集进行检测,从而得到所选择的目标框检测模型检测到的目标框。
S107、选择准确率超过第二阈值的字符识别模型,分别对每个选择的目标框检测模型检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果。
在上述实施方式中,系统首先设定一个第二阈值,该第二阈值的范围和第一阈值的范围相同,都在0到1之间,例如也可以为0.9、0.95或0.96等数值,第一阈值和第二阈值的数值可以相等,也可以不相等,本领域技术人员可根据具体情况进行合理的选择,在此不作限定。
将步骤S104中所得到的多个字符识别模型的准确率与第二阈值进行对比,选择出准确率大于第二阈值的字符识别模型,并利用所选择出的字符识别模型对步骤S106中所检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果。举例来说,系统设定的第二阈值为0.96,在步骤S104中训练得到的多个字符识别模型的准确率分别为0.94、0.95、0.963、0.97以及0.99,则选择出与准确率0.963、0.97以及0.99相对应的字符识别模型,并利用所选择的字符识别模型对步骤S106中所检测到的目标框进行字符识别,得到步骤S106中的所选的目标框检测模型与步骤S107所选的字符识别模型对应的检测结果。
S108、计算每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合。
在上述实施方式中,每张车辆图像都具有双车牌,当经步骤S107所识别出来的单个车牌中的字符与车牌号一致,则该单个车牌识别成功;当经步骤S107所识别出来的双车牌中的字符都与各自对应的车牌号一致,则该车辆图像识别成功。本实施例中所述的检测结果为车辆图像识别结果,即车辆图像中的双车牌是否都被识别出来。在另外一些实施例中,车辆图像被成功识别还需要满足在步骤S106时,所检测出来的双车牌的目标框与各自的车牌真值的交并比(IoU)都大于0.5。检测结果的准确率LP表示为:
Figure BDA0002801061650000131
其中,n表示车辆图像被成功识别的图像数量,N表示车辆图像总数。
通过上式计算得到各个检测结果的准确率,选择与准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合作为双车牌的识别模型。
在本实施例中,通过对多个目标框检测模型和多个字符识别模型进行模型权重选择,利用多个目标框检测模型和多个字符识别模型对第三验证集交叉检测与识别,选择出准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合作为双车牌的识别模型,该方法避免了目标框检测模型在对双车牌车辆进行车牌检测时存在框选误差,进而影响到字符识别模型的识别效果,提高了车牌号识别的精确度。
步骤S107中,在对每个选择的目标框检测模型检测到的目标框进行字符识别之后,还可以包括利用预设的字符排序算法对所识别出的字符进行字符排序,从而得到多种字符排序结果,并计算每种排序结果与双车牌图像的相似度,将相似度最高的排序结果对应的字符排序作为检测结果。
考虑到香港、澳门不仅有一行字符的车牌,还有两行字符的车牌存在,在进行字符排序时,先默认所有字符都处在第二行,车牌字符的目标框具有n个,按目标框的中心位置坐标的X坐标(水平方向)升序排列,记第i个目标框为Ki(i=1,2,……,n),构造判别式:
Figure BDA0002801061650000141
Figure BDA0002801061650000142
其中,P表示为相邻字符Ki和Ki+1之间的垂直距离比值,用于表示相邻两个字符在垂直方向的距离差异,从而判断相邻字符Ki和Ki+1是否处于同一行;b表示偏置值;Δhi,i+1表示相邻字符之间的垂直距离,Δhi,i+1=yi+1-yi,yi表示Ki的中心点的Y坐标,
Figure BDA0002801061650000151
表示n个目标框的平均高度;Δwi,i+1表示相邻字符之间水平距离,Δwi,i+1=xi+1-xi,xi表示Ki的中心点的X坐标,
Figure BDA0002801061650000152
表示n个目标框的平均宽度。
按字符的位置从左向右计算垂直距离比值P,由于预先默认所有字符都处在第二行,若垂直距离比值P>0.8且Δhi,i+1<0,则将Ki+1放置在第一行,由于车牌字符只有两行,并且Ki+1在第一行,则Ki也在第一行中;若垂直距离比值P>0.8且Δhi,i+1>0,则将Ki放置在第一行。
若计算得到Ki在第一行中,则i的值加1,返回执行计算所识别出的相邻字符Ki和Ki+1之间的垂直距离比值P和相邻字符之间的垂直距离Δhi,i+1的步骤,直至i=n-1时。当计算得到相邻字符Kn-1和Kn的垂直距离比值P>0.8且Δhn-1,n<0,则Kn在第一行,并且Kn之前所有的字符都处在第一行,第二行不存在字符,此时第一行的字符即为排序结果;当计算得到相邻字符Kn-1和Kn的垂直距离比值P>0.8且Δhn-1,n>0,则Kn-1在第一行,并且Kn-1之前所有的字符都处在第一行,Kn处于第二行,此时第一行和第二行的字符即为排序结果。当相似度最高的排序结果具有两行时,串联第一行和第二行的字符作为检测结果。
按字符的位置从右向左反向计算相邻字符Ki-1和Ki之间的垂直距离比值P,以更正相邻字符所属的行位置。还包括计算Ki-1、Ki的水平距离Δwi-1,i=xi-xi-1及垂直距离Δhi-1,i=yi-yi-1,其中,i=n,n-1,…,2,若计算得到相邻字符Ki-1和Ki之间的垂直距离比值P<0.7,则将Ki-1归为Ki所属的行位置;若计算得到相邻字符Ki-1和Ki之间的垂直距离比值P≥0.7,则Ki-1与Ki位于不同行。
举例来说,前面计算得到K3位于第一行、K4位于第二行,若反向计算K3和K4之间的垂直距离比值P为0.6,则前面计算错误,K3和K4都应该处于第二行;若反向计算K3和K4之间的垂直距离比值P为0.8,则前面计算正确,相邻字符K3和K4处于不同行。该字符排序算法能有效排除位置异常的字符,从而提高车牌识别效果。
将所获得的多种排序结果与双车牌图像进行相似度计算之前,可通过获取双车牌的排序规则来将多种排序结果中的错误结果进行删除,例如,大陆及港澳台的车牌中第一个字符都不是数字,如果所获得的排序结果第一个字符(当字符为两行时,第一行的第一个字符为排序结果第一个字符)为“0”或“7”等数字,则该排序结果为错误的结果。依次判断每种排序结果是否符合双车牌的排序规则,进而剔除那些不符合双车牌排序规则的排序结果,从而只计算那些符合双车牌排序规则的排序结果与上车牌图像的相似度。此步骤的设置,可以减少计算量,从而提高效率。
为了扩大第三样本集,可将不符合所述双车牌排序规则的排序结果添加用于表示非双车牌的第一标记,将添加第一标记的排序结果归入到第三样本集中作为训练集;将除相似度最高的排序结果以外的其他排序结果添加用于表示是双车牌的第二标记,将添加第二标记的排序结果归入到第三样本集中作为验证集,以扩展第三样本集。
实施例2
本实施例提供了一种双车牌识别方法,图2是说明根据本发明某些实施例,通过目标框检测模型以及字符识别模型对图像进行双车牌识别的流程图。虽然下文描述的过程包括以特定的顺序出现的多个操作,但是应该清楚地了解到,这些过程也可以包括更多或者更少的操作,这些操作可以顺序执行或者并行执行(例如使用并行处理器或者多线程环境)。
本实施例提供了一种双车牌识别方法,如图2所示,包括以下步骤:
S201、利用实施例1中所述的训练方法得到的目标框检测模型与字符识别模型的组合来进行目标框检测和字符识别。
在上述实施方式中,利用实施例1所述的训练方法来对目标框检测模型与字符识别模型进行训练与选择,得到能够识别双车牌图像中车牌号的神经网络模型,利用所得到的神经网络模型对所需识别的图像或者视频中的双车牌进行车牌检测、字符分割以及字符识别。
S202、利用预设的字符排序算法对所识别出的字符进行字符排序,输出双车牌的车牌号。
在上述实施方式中,利用实施例1中所述的字符排序算法对步骤S201中所识别出来的字符进行字符排序,以实现检测出车牌区域的同时输出车牌号,而不是各个孤立的字符。该字符排序算法与实施例1中所述的方法相同,此处不再赘述。
所输出的车牌号可用于其他系统的输入,例如连接到车辆管理系统,将车牌号输入到车辆管理系统中,实时调出该车牌所属车辆的车型、车主信息以及历史违规记录等信息。还可以连接到道路交通管理系统中,当所识别的车辆违反道路交通时,可实时与道路交通管理系统进行信息交流,将该车的违规图像或者视频上传到相应系统。
本实施例中,利用实施例1的训练方法对目标框检测模型、字符识别模型进行训练及选择,选择出准确率最好的神经网络模型来对双车牌进行检测与识别,避免了目标框检测模型在进行车牌检测时存在检测误差,影响到了后续字符识别的效果。
实施例3
本实施例提供了一种用于识别双车牌模型的训练装置,如图3所示,包括:
第一获取模块301,用于获取预先标注的车牌图像的第一样本集,第一样本集包括第一训练集和第一验证集。详细内容请参见实施例1中步骤S101的相关描述,此处不再赘述。
第一检测模块302,用于利用第一训练集对多个目标框检测模型进行训练,并利用第一验证集对训练后的多个目标框检测模型进行验证,得到每个目标框检测模型的准确率。详细内容请参见实施例1中步骤S102的相关描述,此处不再赘述。
第二获取模块303,用于获取预先标注的车牌字符的第二样本集,第二样本集包括第二训练集和第二验证集。详细内容请参见实施例1中步骤S103的相关描述,此处不再赘述。
第一识别模块304,用于利用第二训练集对多个字符识别模型进行训练,并利用所述第二验证集对训练后的多个字符识别模型进行验证,得到每个字符识别模型的准确率。详细内容请参见实施例1中步骤S104的相关描述,此处不再赘述。
第三获取模块305,用于获取预先标注的双车牌图像的第三样本集,第三样本集包括第三验证集。详细内容请参见实施例1中步骤S105的相关描述,此处不再赘述。
第二检测模块306,用于选择准确率超过第一阈值的目标框检测模型,对第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框。详细内容请参见实施例1中步骤S106的相关描述,此处不再赘述。
第二识别模块307,用于选择准确率超过第二阈值的字符识别模型,分别对每个选择的目标框检测模型检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果。详细内容请参见实施例1中步骤S107的相关描述,此处不再赘述。
选择模块308,用于计算每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合。详细内容请参见实施例1中步骤S108的相关描述,此处不再赘述。
本实施例提供的用于识别双车牌模型的训练装置,第一获取模块301获取第一样本集,第一检测模块302利用第一获取模板301所获取的第一样本集对多个目标框检测模型进行训练,并利用第一样本集中的第一验证集对多个训练后的目标框检测模型进行验证,得到每个目标框监测模型的准确率;第二获取模块303获取第二样本集,第一识别模块304利用第二样本集对多个字符识别模型进行训练,并利用第二样本集中的第二验证集对多个训练后的字符识别模型进行验证,得到每个字符识别模型的准确率。
第三获取模块305获取第三样本集,第二检测模块306利用第三样本集进行车牌检测得到各个目标框检测模型相对应的目标框,第二识别模块307利用第二检测模块306所检测到的目标框进行字符识别,得到相对应的检测结果。选择模块308根据每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合作为双车牌识别的神经网络模型。该装置训练的神经网络模型避免了目标框检测模型在进行车牌检测时存在检测误差,影响到了后续字符识别的效果。
实施例4
本实施例提供了一种双车牌识别装置,如图4所示,包括:
检测与识别模块401,用于经实施例1的训练方法训练得到的目标框检测模型与字符识别模型的组合来进行目标框检测和字符识别。详细内容请参见实施例2中步骤S201的相关描述,此处不再赘述。
排序输出模块402,用于利用预设的字符排序算法对所识别出的字符进行字符排序,输出双车牌的车牌号。详细内容请参见实施例2中步骤S202的相关描述,此处不再赘述。
本实施例中,检测与识别模块401用于对所需识别的图像/视频进行目标框检测与字符识别,排序输出模块402用于对所识别出来的字符进行排序并输出车牌号。检测与识别模块401避免了目标框检测模型在进行车牌检测时存在检测误差,影响到了后续字符识别的效果。
实施例5
本实施例提供一种电子设备,如图5所示,该设备包括处理器501和存储器502,其中处理器501和存储器502可以通过总线或者其他方式连接,图5中以通过总线连接为例。
处理器501可以为中央处理器(Central Processing Unit,CPU)。处理器501还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、图形处理器(Graphics Processing Unit,GPU)、嵌入式神经网络处理器(Neural-network ProcessingUnit,NPU)或者其他专用的深度学习协处理器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器502作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中用于识别双车牌模型的训练方法和/或双车牌识别方法对应的程序指令/模块(如图4所示的检测与识别模块401、排序输出模块402)。处理器501通过运行存储在存储器502中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的用于识别双车牌模型的训练方法和/或双车牌识别方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器501所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至处理器501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器502中,当被所述处理器501执行时,执行如图1和/或图2所示实施例中的用于识别双车牌模型的训练方法和/或双车牌识别方法。
通过对多个目标框检测模型、多个字符识别模型进行训练及验证,选择出精度较好的数个目标框检测模型和数个字符识别模型进行交叉组合,再利用这些组合对验证集进行检测与识别,最终选择出精度最好的模型组合。避免了目标框检测模型在进行车牌检测时存在检测误差,影响到了后续字符识别的效果。
本发明实施例还提供一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的用于识别双车牌模型的训练方法和/或双车牌识别方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种用于识别双车牌模型的训练方法,其特征在于,包括如下步骤:
获取预先标注的车牌图像的第一样本集,所述第一样本集包括第一训练集和第一验证集;
利用所述第一训练集对多个目标框检测模型进行训练,并利用所述第一验证集对训练后的多个目标框检测模型进行验证,得到每个目标框检测模型的准确率;
获取预先标注的车牌字符的第二样本集,所述第二样本集包括第二训练集和第二验证集;
利用所述第二训练集对多个字符识别模型进行训练,并利用所述第二验证集对训练后的多个字符识别模型进行验证,得到每个字符识别模型的准确率;
获取预先标注的双车牌图像的第三样本集,所述第三样本集包括第三验证集;
选择准确率超过第一阈值的目标框检测模型,对所述第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框;
选择准确率超过第二阈值的字符识别模型,分别对每个选择的目标框检测模型检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果;
计算每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合。
2.如权利要求1所述的训练方法,其特征在于,在对每个选择的目标框检测模型检测到的目标框进行字符识别之后,还包括:
利用预设的字符排序算法对所识别出的字符进行字符排序,得到多种排序结果;
计算每种排序结果与所述双车牌图像的相似度;
将相似度最高的排序结果对应的字符排序作为所述检测结果。
3.如权利要求2所述的训练方法,其特征在于,所述计算每种排序结果与所述双车牌图像的相似度包括:
获取双车牌排序规则,依次判断每种排序结果是否符合所述双车牌排序规则;
计算符合所述双车牌排序规则的排序结果与所述双车牌图像的相似度。
4.如权利要求3所述的训练方法,其特征在于,还包括:
将不符合所述双车牌排序规则的排序结果添加用于表示非双车牌的第一标记;
将添加所述第一标记的排序结果归入到所述第三样本集中作为训练集,以扩展所述第三样本集。
5.如权利要求2所述的训练方法,其特征在于,
将除相似度最高的排序结果以外的其他排序结果添加用于表示是双车牌的第二标记;
将添加所述第二标记的排序结果归入到所述第三样本集中作为验证集,以扩展所述第三样本集。
6.一种双车牌识别方法,其特征在于,包括以下步骤:
利用权利要求1-5任一项所述的训练方法得到的目标框检测模型与字符识别模型的组合来进行目标框检测和字符识别;
利用预设的字符排序算法对所识别出的字符进行字符排序,输出双车牌的车牌号。
7.一种用于识别双车牌模型的训练装置,其特征在于,包括:
第一获取模块,用于获取预先标注的车牌图像的第一样本集,所述第一样本集包括第一训练集和第一验证集;
第一检测模块,用于利用所述第一训练集对多个目标框检测模型进行训练,并利用所述第一验证集对训练后的多个目标框检测模型进行验证,得到每个目标框检测模型的准确率;
第二获取模块,用于获取预先标注的车牌字符的第二样本集,所述第二样本集包括第二训练集和第二验证集;
第一识别模块,用于利用所述第二训练集对多个字符识别模型进行训练,并利用所述第二验证集对训练后的多个字符识别模型进行验证,得到每个字符识别模型的准确率;
第三获取模块,用于获取预先标注的双车牌图像的第三样本集,所述第三样本集包括第三验证集;
第二检测模块,用于选择准确率超过第一阈值的目标框检测模型,对所述第三验证集进行检测,得到每个选择的目标框检测模型检测到的目标框;
第二识别模块,用于选择准确率超过第二阈值的字符识别模型,分别对每个选择的目标框检测模型检测到的目标框进行字符识别,得到每组目标框检测模型与字符识别模型对应的检测结果;
选择模块,用于计算每个检测结果的准确率,选择准确率最高的检测结果对应的目标框检测模型和字符识别模型的组合。
8.一种双车牌识别装置,其特征在于,包括:
检测与识别模块,用于利用权利要求1-5任一项所述的训练方法得到的目标框检测模型与字符识别模型的组合来进行目标框检测和字符识别;
排序输出模块,用于利用预设的字符排序算法对所识别出的字符进行字符排序,输出双车牌的车牌号。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-5中任一项所述的用于识别双车牌模型的训练方法,或者执行权利要求6所述的双车牌识别方法。
10.一种计算机可读存储介质,其特征在于,计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-5中任一项所述的用于识别双车牌模型的训练方法,或用于使所述计算机执行权利要求6所述的双车牌识别方法。
CN202011350336.2A 2020-11-26 2020-11-26 双车牌识别方法、模型训练方法、装置、设备及存储介质 Pending CN112329886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011350336.2A CN112329886A (zh) 2020-11-26 2020-11-26 双车牌识别方法、模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011350336.2A CN112329886A (zh) 2020-11-26 2020-11-26 双车牌识别方法、模型训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112329886A true CN112329886A (zh) 2021-02-05

Family

ID=74308886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011350336.2A Pending CN112329886A (zh) 2020-11-26 2020-11-26 双车牌识别方法、模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112329886A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239854A (zh) * 2021-05-27 2021-08-10 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN114677774A (zh) * 2022-03-30 2022-06-28 深圳市捷顺科技实业股份有限公司 道闸控制方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665353A (zh) * 2017-09-15 2018-02-06 平安科技(深圳)有限公司 基于卷积神经网络的车型识别方法、装置、设备及计算机可读存储介质
CN108694716A (zh) * 2018-05-15 2018-10-23 苏州大学 一种工件检测方法、模型训练方法及设备
CN109325487A (zh) * 2018-08-27 2019-02-12 电子科技大学 一种基于目标检测的全种类车牌识别方法
CN110288096A (zh) * 2019-06-28 2019-09-27 江苏满运软件科技有限公司 预测模型训练及预测方法、装置、电子设备、存储介质
CN111046945A (zh) * 2019-12-10 2020-04-21 北京化工大学 基于组合卷积神经网络的故障类型及损坏程度诊断方法
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665353A (zh) * 2017-09-15 2018-02-06 平安科技(深圳)有限公司 基于卷积神经网络的车型识别方法、装置、设备及计算机可读存储介质
CN108694716A (zh) * 2018-05-15 2018-10-23 苏州大学 一种工件检测方法、模型训练方法及设备
CN109325487A (zh) * 2018-08-27 2019-02-12 电子科技大学 一种基于目标检测的全种类车牌识别方法
CN110288096A (zh) * 2019-06-28 2019-09-27 江苏满运软件科技有限公司 预测模型训练及预测方法、装置、电子设备、存储介质
CN111046945A (zh) * 2019-12-10 2020-04-21 北京化工大学 基于组合卷积神经网络的故障类型及损坏程度诊断方法
CN111666938A (zh) * 2020-05-21 2020-09-15 珠海大横琴科技发展有限公司 一种基于深度学习的两地双车牌检测识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜学惠 等,: "基于单个特征分类准确率的特征选择方法研究", 《南京林业大学学报(自然科学版)》 *
王维智,: "基于特征提取和特征选择的级联深度学习模型研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239854A (zh) * 2021-05-27 2021-08-10 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN113239854B (zh) * 2021-05-27 2023-12-19 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN114677774A (zh) * 2022-03-30 2022-06-28 深圳市捷顺科技实业股份有限公司 道闸控制方法及相关设备
CN114677774B (zh) * 2022-03-30 2023-10-17 深圳市捷顺科技实业股份有限公司 道闸控制方法及相关设备

Similar Documents

Publication Publication Date Title
CN109087510B (zh) 交通监测方法及装置
CN108986465B (zh) 一种车流量检测的方法、系统及终端设备
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
CN104700099A (zh) 识别交通标志的方法和装置
CN113822247B (zh) 基于航拍影像的违章建筑识别方法及系统
CN112329881B (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN110956169A (zh) 一种车牌识别方法、装置及电子设备
CN111274942A (zh) 一种基于级联网络的交通锥识别方法及装置
CN112613344B (zh) 车辆占道检测方法、装置、计算机设备和可读存储介质
CN113468967A (zh) 基于注意力机制的车道线检测方法、装置、设备及介质
CN110688902B (zh) 一种检测停车位内车辆区域的方法及装置
CN112329886A (zh) 双车牌识别方法、模型训练方法、装置、设备及存储介质
CN113191353A (zh) 一种车速确定方法、装置、设备和介质
CN113159024A (zh) 一种基于改进YOLOv4的车牌识别技术
CN110909598A (zh) 一种基于深度学习的非机动车道交通违法行驶识别方法
CN111369801A (zh) 车辆识别方法、装置、设备和存储介质
CN111353580A (zh) 目标检测网络的训练方法、电子设备及存储介质
CN111914845A (zh) 一种车牌中字符分层方法、装置及电子设备
CN111950583A (zh) 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN103136536A (zh) 对象检测系统和方法、图像的特征提取方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN116721396A (zh) 车道线检测方法、设备及存储介质
CN111104965A (zh) 车辆目标识别的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205

RJ01 Rejection of invention patent application after publication