CN110674817B - 一种基于双目摄像头的车牌防伪的方法及装置 - Google Patents

一种基于双目摄像头的车牌防伪的方法及装置 Download PDF

Info

Publication number
CN110674817B
CN110674817B CN201911149971.1A CN201911149971A CN110674817B CN 110674817 B CN110674817 B CN 110674817B CN 201911149971 A CN201911149971 A CN 201911149971A CN 110674817 B CN110674817 B CN 110674817B
Authority
CN
China
Prior art keywords
license plate
information
image information
key point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911149971.1A
Other languages
English (en)
Other versions
CN110674817A (zh
Inventor
江伟
祝本云
石悦鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Brilliants Smart Hardware Co ltd
Original Assignee
Shenzhen Brilliants Smart Hardware Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Brilliants Smart Hardware Co ltd filed Critical Shenzhen Brilliants Smart Hardware Co ltd
Priority to CN201911149971.1A priority Critical patent/CN110674817B/zh
Publication of CN110674817A publication Critical patent/CN110674817A/zh
Application granted granted Critical
Publication of CN110674817B publication Critical patent/CN110674817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于车牌防伪技术领域,提供了一种基于双目摄像头的车牌防伪的方法,包括:获取目标车牌的特征信息;所述特征信息包括所述目标车牌对应的像素宽度信息和视差信息;将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。上述方案,将基于车牌宽度数据的测量问题转换为基于支持向量机模型的二分类问题,减少误差,提高了车牌防伪的准确度。

Description

一种基于双目摄像头的车牌防伪的方法及装置
技术领域
本申请属于车牌防伪技术领域,尤其涉及一种基于双目摄像头的车牌防伪的方法及装置。
背景技术
随着近年计算机视觉技术和电子设备的高速发展,车牌自动识别系统节省人力成本,使得人们的出行和生活更加方便。然而,现在出现了通过手机或者其它电子设备,盗用他人车牌图像骗过车牌识别系统的情况。在车牌识别领域面临的不再只是对车牌的检测、识别或者追求更高的识别精度,伪车牌是当前车牌识别领域急需要解决的一类新问题。现有的车牌识别方法中,采用的基于双目摄像头的识别算法,但是这种方法在摄像头标定上要求比较严格,并且计算量比较大,获取的识别结果很容易出现误差。
发明内容
本申请实施例提供了一种基于双目摄像头的车牌防伪的方法及装置,可以解决现有的基于双目摄像头的车牌防伪的识别结果很容易出现误差的问题。
第一方面,本申请实施例提供了一种基于双目摄像头的车牌防伪的方法,包括:
获取训练样本集;所述训练样本集包括样本车牌的特征信息和防伪结果标签;
基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型;
获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息;所述第一图像信息为第一原始图像中的车牌图像信息;所述第二图像信息为第二原始图像中的车牌图像信息;所述第一原始图像信息由第一双目摄像头获取;所述第二原始图像信息由第二双目摄像头获取;
基于预设像素宽度计算策略对所述车牌第一关键点坐标信息和所述第车牌二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息;其中,所述预设像素宽度计算策略为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;x1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;
基于预设视差计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的视差信息;其中,所述预设视差计算策略为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;
将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;
将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。
进一步地,所述将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息,包括:
将特征信息输入车牌防伪支持向量机模型G(·)进行处理,输出为y=G(v)。防伪结果可以通过以下方式进行表示:
Figure GDA0002296017550000031
其中,当输出结果小于等于0时,得到防伪结果为真true,即目标车牌为真实车牌;当输出结果大于0时,得到防伪结果为假false,即目标车牌为虚假车牌。
同时,设备将特征信息输入车牌防伪支持向量机模型进行处理,还可以得到目标车牌的防伪结果的结果置信度信息,当将特征信息输入预设车牌防伪支持向量机模型G(·)时,输出为y=G(v)。结果置信度信息可以表示为:
Figure GDA0002296017550000032
其中,当y的绝对值大于等于1时,结果置信度信息为100,可以理解为100分,当y的绝对值小于1时,结果置信度信息为100乘以y的绝对值。
进一步地,所述获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息,包括:
获取待识别的目标车牌对应的所述第一原始图像信息和所述第二原始图像信息;
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第二图像信息的车牌第二关键点坐标信息。
进一步地,在所述获取待识别的目标车牌对应的第一原始图像信息和第二原始图像信息之后,还包括:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第一图像信息对应的车牌尺寸信息、所述第一双目摄像头和所述第二双目摄像头之间的偏移距离信息;基于所述车牌第一关键点坐标信息确定所述第一图像信息的第一角点特征信息;
基于所述车牌第一关键点坐标信息、所述车牌尺寸信息和所述偏移距离信息,确定所述第二图像信息的初始位置信息;
从所述初始位置信息中提取所述第二图像信息的第二角点特征信息;
对所述第一角点特征信息和所述第二角点特征信息进行特征匹配,得到匹配结果,基于所述匹配结果确定所述第二图像信息的车牌第二关键点坐标信息。
进一步地,对所述第一角点特征信息和所述第二角点特征信息进行特征匹配,采用角点匹配,角点匹配可以分为以下三个步骤:
1、检测子(detector)提取:在两张待匹配的图像中寻找那些最容易识别的像素点(角点),比如纹理丰富的物体边缘点等。
2、描述子(descriptor)提取:对于检测出的角点,用一些数学上的特征对其进行描述,如梯度直方图,局部随机二值特征等。其提取算法有邻域模板匹配、特征描述子等。
3、匹配:通过各个角点的描述子来判断它们在两张图像中的对应关系。
进一步地,在所述获取待识别的目标车牌对应的第一原始图像信息和第二原始图像信息之后,还包括:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息;
基于预设匹配策略对所述第一关键点坐标信息进行计算,得到所述第二图像信息的车牌第二关键点坐标信息;所述预设匹配策略标识所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息之间的关系。
第二方面,本申请实施例提供了一种基于双目摄像头的车牌防伪的装置,包括:
第一获取单元,用于获取训练样本集;所述训练样本集包括样本车牌的特征信息和防伪结果标签;
训练单元,用于基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型;
第二获取单元,用于获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息;所述第一图像信息为第一原始图像中的车牌图像信息;所述第二图像信息为第二原始图像中的车牌图像信息;所述第一原始图像信息由第一双目摄像头获取;所述第二原始图像信息由第二双目摄像头获取;
第一计算单元,用于基于预设像素宽度计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息;其中,所述预设像素宽度计算策略为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;x1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;
第二计算单元,用于基于预设视差计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的视差信息;其中,所述预设视差计算策略为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;
标记单元,用于将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;
处理单元,用于将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。
进一步地,所述第二获取单元,具体用于:
获取待识别的目标车牌对应的所述第一原始图像信息和所述第二原始图像信息;
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第二图像信息的车牌第二关键点坐标信息。
进一步地,所述第二获取单元,具体还用于:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第一图像信息对应的车牌尺寸信息、所述第一双目摄像头和所述第二双目摄像头之间的偏移距离信息;
基于所述车牌第一关键点坐标信息确定所述第一图像信息的第一角点特征信息;
基于所述车牌第一关键点坐标信息、所述车牌尺寸信息和所述偏移距离信息,确定所述第二图像信息的初始位置信息;
从所述初始位置信息中提取所述第二图像信息的第二角点特征信息;
对所述第一角点特征信息和所述第二角点特征信息进行特征匹配,得到匹配结果,基于所述匹配结果确定所述第二图像信息的车牌第二关键点坐标信息。
进一步地,所述第二获取单元,具体还用于:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息;
基于预设匹配策略对所述车牌第一关键点坐标信息进行计算,得到所述第二图像信息的车牌第二关键点坐标信息;所述预设匹配策略标识所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息之间的关系。
第三方面,本申请实施例提供了一种基于双目摄像头的车牌防伪的设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的基于双目摄像头的车牌防伪的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的基于双目摄像头的车牌防伪的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行如上述第一方面所述的基于双目摄像头的车牌防伪的方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
本申请实施例中,获取训练样本集,基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型,获取待识别的目标车牌的第一图像信息的第一关键点坐标信息、第二图像信息的第二关键点坐标信息对所述第一关键点坐标信息和所述第二关键点坐标信息进行计算,得到所述目标车牌对应的像素宽度信息和视差信息,将所述目标车牌对应的像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。上述方案,将基于车牌宽度数据的测量问题转换为基于支持向量机模型的二分类问题,提高算法对误差的容忍度,增强对环境的适应性和鲁棒性;摆脱双目系统中需要标定摄像机内、外参数的限制,不需要高精度的双目标定参数,去掉双目标定的繁琐程序,减少产品的生成复杂度、提高生产效率,节省了人力和时间成本;此外,本发明直接利用基于双目摄像头的车牌防伪的系统检测出的车牌位置,相比双目系统中需要先进行左右视图进行图像配准,计算量大、环境适应性差等缺点,本发明计算简单,环境适应性强。总的来说,本方案解决了车牌防伪的问题,实现简单,误差容忍度大,基于双目摄像头的车牌防伪的精度高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的一种基于双目摄像头的车牌防伪的方法的流程示意图;
图2是本申请第二实施例提供的另一种基于双目摄像头的车牌防伪的方法的流程示意图;
图3是本申请第三实施例提供的另一种基于双目摄像头的车牌防伪的方法的流程示意图;
图4是本申请第四实施例提供的另一种基于双目摄像头的车牌防伪的方法的流程示意图;
图5是本申请第五实施例提供的基于双目摄像头的车牌防伪的装置的示意图;
图6是本申请第六实施例提供的基于双目摄像头的车牌防伪的设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
请参见图1,图1是本申请第一实施例提供的一种基于双目摄像头的车牌防伪的方法的流程示意图。本实施例中基于双目摄像头的车牌防伪的方法的执行主体为具有基于双目摄像头的车牌防伪的功能的设备,具体可以为计算机、服务器等设备。如图1所示的基于双目摄像头的车牌防伪的方法可包括:
S101:获取训练样本集;所述训练样本集包括样本车牌的特征信息和防伪结果标签。
设备可以从用于存储训练样本的数据库中获取训练样本集,也可获取其他设备存储的训练样本集,训练样本集为相关人员预先设置并输入。训练样本集合包括多个训练样本,每个训练样本包括一个样本车牌的特征信息和真伪结果标签。在此对训练样本的数量不做限制,样本训练集中的训练样本的数量,可以根据实际情况进行设置,在一定程度上来说,训练样本集合中的训练样本的数量越多,使用该训练样本集合训练得到的车牌防伪支持向量机模型进行车牌防伪的时,得到的结果越准确。
S102:基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型。
设备可以将训练样本集中的训练样本分成多个批次,从而能够采用不同批次的训练样本进行训练。设备可以将样本车牌的特征信息输入所预设的支持向量机进行处理,获取每个样本车牌的特征信息的对应的分类结果,判断样本车牌是否为真实的车牌并且获取置信度信息。在获取分类结果后,通过与真伪结果标签进行比较,得到比较结果,根据比较结果调整预设的支持向量机,通过上述方法训练得到用于输出车牌的特征信息和真伪结果的预设车牌防伪支持向量机模型。
S103:获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息;所述第一图像信息为第一原始图像中的车牌图像信息;所述第二图像信息为第二原始图像中的车牌图像信息;所述第一原始图像信息由第一双目摄像头获取;所述第二原始图像信息由第二双目摄像头获取。
设备获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息。其中,本实施例中,原始图像可以通过双目图像采集设备进行图像采集,发送给本端设备,也可以是双目图像采集设备直接作为本方法的执行主体。双目图像采集设备中包括第一双目摄像头和第二双目摄像头,第一双目摄像头采集第一原始图片,第二双目摄像头采集第二原始图片,第一原始图片和第二原始图片是两个不同的摄像头获取的,由于两个摄像头之间不完全重合,一定存在距离,所以第一原始图片和第二原始图片存在时差。第一图像信息为第一原始图像中的车牌图像信息,第二图像信息为第二原始图像中的车牌图像信息,设备获取到第一原始图像信息和第二原始图像信息以后,获取第一图像信息的车牌第一关键点坐标信息和第二图像信息的车牌第二关键点坐标信息,其中,关键点坐标信息可以为车牌图像对应的关键点的坐标信息,例如,车牌为长方形,车牌四个顶点可以设置为关键点,获取四个顶点的坐标即为车牌图像对应的关键点的坐标信息。
S104:基于预设像素宽度计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息;其中,所述预设像素宽度计算策略为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;x1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标。
设备基于车牌第一关键点坐标信息和车牌第二关键点坐标信息,得到目标车牌对应的车牌像素宽度信息和视差信息,目标车牌对应的像素宽度信息即为目标车牌图像的水平上的像素信息,视差为从有一定距离的两个点上观察同一个目标所产生的方向差异,在本实施例中,目标车牌对应的视察信息即为双目图像采集设备中两个摄像头相对于一个目标所产生的方向差异信息。设备通过对车牌第一关键点坐标信息和车牌第二关键点坐标信息进行计算,可以得到目标车牌对应的像素宽度信息和视差信息。
设备中预先设置像素宽度计算策略,预设像素宽度计算策略用于计算车牌第一关键点坐标信息和车牌第二关键点坐标信息,从而得到目标车牌对应的像素宽度信息。其中,设备中预设获取到的车牌第一关键点坐标信息为bbox1=[x1min,y1min,x1max,y1max]、获取到的车牌第二关键点坐标信息为bbox2=[x2min,y2min,x2max,y2max],其中x1min为第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;像素宽度计算策略可以为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
该公式的具体原理如下,在本实施例中,双目图像采集设备中的摄像头A和摄像头B的放置采用一上一下的方式。所以上下摄像机中的图片在y轴方向上的视差大于x轴方向上的视差,所以本文中视差Δd只考虑y轴方向,即考虑车牌中心点在y轴方向上的视差,计算公式如下:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
设置空间中的点P在摄像头A中的对应的像素点为P1,点P在摄像头B中的对应的像素点为P2,像素点P1距离摄像头A图像左边界的距离为Al,像素点P2距离摄像头B图像左边界的距离为Bl,则视差Δd又可以表示为:
Δd=|Al-Bl|
预设摄像头A和摄像头B之间的距离为D,两个摄像头的焦距都为f,P点距离两个摄像头的直线距离为Z,W表示像面实际宽度,则视差Df与距离Z的关系如下公式:
Δf/Z=-(Al-Bl)+W
空间中两点P1和P2在摄像头B中分别对应两点P11和P22,两点P1和P2在空间中的实际距离为wr,在摄像头B中对应的像素距离为wp,实际使用场景车牌大小远小于车牌距离像面的距离,所有可以假设实际车牌平面与像面平行,与则两点P1和P2的空间实际距离wr,像素距离wp,与两点距离摄像头B的距离的关系如下:
Figure GDA0002296017550000141
结合上述公式,可以推导出关系式:
Figure GDA0002296017550000142
即:
Figure GDA0002296017550000143
wr为车牌的上两点的实际距离,可以用车牌的实际宽度来表示,即车牌水平两端点的距离,作为固定量。wp为车牌的实际宽度wr对应与图像中的像素距离,wp与视差Δd为线性关系,其中D为两摄像头的距离,
Figure GDA0002296017550000144
可表示为固定值,所以,最后可以得到像素宽度计算策略可以为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息。
设备通过预设像素宽度计算策略对车牌第一关键点坐标信息和车牌第二关键点坐标信息进行计算,从而得到目标车牌对应的车牌像素宽度信息。
S105:基于预设视差计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的视差信息;其中,所述预设视差计算策略为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息。
设备中预先设置视差计算策略,预设视差计算策略用于计算车牌第一关键点坐标信息和车牌第二关键点坐标信息,从而得到目标车牌对应的视差信息。其中,设备中预设获取到的车牌第一关键点坐标信息为bbox1=[x1min,y1min,x1max,y1max]、获取到的车牌第二关键点坐标信息为bbox2=[x2min,y2min,x2max,y2max]。预设像素宽度计算策略可以为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息。
该公式的具体原理如下,在本实施例中,双目图像采集设备中的摄像头A和摄像头B的放置采用一上一下的方式。所以上下摄像机中的图片在y轴方向上的视差大于x轴方向上的视差,所以本文中视差Δd只考虑y轴方向,即考虑车牌中心点在y轴方向上的视差,计算公式如下:
Δd=(y2min+y2max)/2-(y1min+y1max)/2。
设备基于预设视差计算策略对车牌第一关键点坐标信息和车牌第二关键点坐标信息进行计算,得到目标车牌对应的视差信息。
S106:将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息。
设备将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息。实际情况中,很多人都采用手机或者其他电子设备的屏幕显示一个虚假车牌,企图骗过车牌识别系统。本实施例中指的虚假车牌不包括仿真伪造的和真实车牌外观一致的伪造车牌,本实施例中指的虚假车牌是指通过手机或者其他电子设备的屏幕显示的虚假车牌。真实的车牌和虚假车牌存在物理的差异,即实际的尺寸并不相同。本实施例中基于双目摄像头对目标车牌进行数据采集,双目摄像头就像人类的双眼,可以通过两幅图像的视差计算来确定被拍摄物体和双目摄像头之间的距离。
设备获取待识别的目标车牌的特征信息,其中,待识别的目标车牌即为待确认真伪的车牌,特征信息为目标车牌图像对应的特征信息,可以包括目标车牌对应的像素宽度信息和视差信息,特征信息标识了目标车牌的特征,目标特征通过预设车牌防伪支持向量机模型的处理,可以确定目标车牌的防伪结果。
S107:将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。
设备中预先设置车牌防伪支持向量机模型,其中,车牌防伪支持向量机模型为支持向量机(support vector machine,SVM)模型,SVM模型是定义在特征空间上间隔最大的线性分类器,是一种二分类模型。车牌防伪支持向量机模型用于从确定目标车牌的防伪结果的结果置信度信息,防伪结果即识别出目标车牌是真实车牌,还是通过手机或其他电子设备显示的虚假车牌。举例来说,当将特征信息v输入车牌防伪支持向量机模型G(·)时,输出为y=G(v)。防伪结果可以通过以下方式进行表示:
Figure GDA0002296017550000171
其中,当输出结果小于等于0时,得到防伪结果为真true,即目标车牌为真实车牌;当输出结果大于0时,得到防伪结果为假false,即目标车牌为虚假车牌。
同时,设备将特征信息输入车牌防伪支持向量机模型进行处理,还可以得到目标车牌的防伪结果的结果置信度信息,举例来说,当将特征信息v输入预设车牌防伪支持向量机模型G(·)时,输出为y=G(v)。结果置信度信息可以表示为:
Figure GDA0002296017550000172
其中,当y的绝对值大于等于1时,结果置信度信息为100,可以理解为100分,当y的绝对值小于1时,结果置信度信息为100乘以y的绝对值。
本申请实施例中,获取训练样本集,基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型,获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息,对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息和视差信息,将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。上述方案,将基于车牌宽度数据的测量问题转换为基于支持向量机模型的二分类问题,提高算法对误差的容忍度,增强对环境的适应性和鲁棒性;摆脱双目系统中需要标定摄像机内、外参数的限制,不需要高精度的双目标定参数,去掉双目标定的繁琐程序,减少产品的生成复杂度、提高生产效率,节省了人力和时间成本;此外,本发明直接利用基于双目摄像头的车牌防伪的系统检测出的车牌位置,相比双目系统中需要先进行左右视图进行图像配准,计算量大、环境适应性差等缺点,本发明计算简单,环境适应性强。总的来说,本方案解决了车牌防伪的问题,实现简单,误差容忍度大,基于双目摄像头的车牌防伪的精度高。
请参见图2,图2是本申请第二实施例提供的另一种基于双目摄像头的车牌防伪的方法的流程示意图。本实施例中基于双目摄像头的车牌防伪的的方法的执行主体为具有基于双目摄像头的车牌防伪的的功能的设备,具体可以为计算机、服务器等设备。为了准确的获取到特征信息,从而准确的获取识别结果,本实施例与第一实施例之间的区别在于S203~S204,本实施中S201~S202与第一实施例中的S101~S102相同,本实施中S205~S208与第一实施例中的S104~S107相同S203~S204是S103的进一步细化。如图2所示,S203~S204具体如下:
S203:获取待识别的目标车牌对应的所述第一原始图像信息和所述第二原始图像信息。
原始图像可以通过双目图像采集设备进行图像采集,发送给本端设备,也可以是双目图像采集设备直接作为本方法的执行主体。双目图像采集设备中包括第一双目摄像头和第二双目摄像头,第一双目摄像头采集第一原始图片,第二双目摄像头采集第二原始图片,第一原始图片和第二原始图片是两个不同的摄像头获取的,由于两个摄像头之间不完全重合,一定存在距离,所以第一原始图片和第二原始图片存在时差。也就是说,第一原始图像信息由双目图像采集设备中的第一双目摄像头获取,第二原始图像信息由双目图像采集设备中的第二双目摄像头获取。设备获取待识别的目标车牌对应的第一原始图像信息和第二原始图像信息。
S204:当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第二图像信息的车牌第二关键点坐标信息。
当设备从第一原始图像信息中识别到第一图像信息,并且从第二原始图像信息中识别到第二图像信息时,说明两个摄像头采集的原始图像信息中都包括了车牌图像,可以基于第一图像信息和第二图像信息进行后续的处理以及车牌的识别。其中,从第一原始图像信息中识别到第一图像信息的方法、从第二原始图像信息中识别到第二图像信息的方法此处不做限定。
所以,当设备从第一原始图像信息中识别到第一图像信息,并且从第二原始图像信息中识别到第二图像信息时,获取第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息。
请参见图3,图3是本申请第三实施例提供的另一种基于双目摄像头的车牌防伪的方法的流程示意图。本实施例中基于双目摄像头的车牌防伪的的方法的执行主体为具有基于双目摄像头的车牌防伪的的功能的设备,具体可以为计算机、服务器等设备。为了准确的获取到特征信息,从而准确的获取识别结果,本实施例与第二实施例之间的区别在于S304~S308,本实施例中S301~S303与第二实施例中的S201~S203相同,本实施例中S309~S313与第二实施例中的S204~S208相同,S304~S308与S309择一执行,S304~S308或S309在S303之后执行即可。如图5所示,S304~S308具体如下:
S304:当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第一图像信息对应的车牌尺寸信息、所述第一双目摄像头和所述第二双目摄像头之间的偏移距离信息。
当设备从第一原始图像信息中识别到第一图像信息,并且从第二原始图像信息中未识别到第二图像信息时,说明此时只有从一个摄像头采集的原始图像中识别到了车牌图像,此时无法仅基于一个图像信息进行后续的处理以及车牌的识别,所以,要基于一个图像信息以及相关参数确定另一个图像信息。
当设备从第一原始图像信息中识别到第一图像信息,并且从第二原始图像信息中未识别到第二图像信息时,设备获取第一图像信息的车牌第一关键点坐标信息、第一图像信息对应的车牌尺寸信息、第一双目摄像头和第二双目摄像头之间的偏移距离信息。其中,设备可以对第一图像信息进行处理,推算出第一图像信息对应的车牌尺寸信息,具体推算方法可以通过比例缩放的方法进行,此处不做限制;第一双目摄像头和第二双目摄像头之间的偏移距离信息即为两个摄像头获取同一物体的图像所发生的偏移信息。
S305:基于所述车牌第一关键点坐标信息确定所述第一图像信息的第一角点特征信息。
设备基于车牌第一关键点坐标信息对第一图像信息进行角点检测,获取第一图像信息的第一角点特征信息。常意义上来说,角点就是极值点,即在某方面属性特别突出的点,是在某些属性上强度最大或者最小的孤立点、线段的终点,对于图像而言,角点是物体轮廓线的连接点。角点是图像很重要的特征,对图像图形的理解和分析有很重要的作用。角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度,有利于图像的可靠匹配。角点检测算法可归纳为3类:基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。基于灰度图像的角点检测又可分为基于梯度、基于模板和基于模板梯度组合3类方法,其中,基于模板的方法主要考虑像素领域点的灰度变化,即图像亮度的变化,将与邻点亮度对比足够大的点定义为角点。
S306:基于所述车牌第一关键点坐标信息、所述车牌尺寸信息和所述偏移距离信息,确定所述第二图像信息的初始位置信息。
设备基于车牌第一关键点坐标信息、车牌尺寸信息和偏移距离信息,进行坐标的计算,即通过对坐标的换算,可以计算得到第二图像信息的初始位置信息。
S307:从所述初始位置信息中提取所述第二图像信息的第二角点特征信息。
设备从初始位置信息中提取第二图像信息的第二角点特征信息,其中第二角点特征信息的提取方式的相关细节可以参考S305中获取第一图像信息的第一角点特征信息的相关描述,此处不再赘述。
S308:对所述第一角点特征信息和所述第二角点特征信息进行特征匹配,得到匹配结果,基于所述匹配结果确定所述第二图像信息的车牌第二关键点坐标信息。
设备对第一角点特征信息和第二角点特征信息进行特征匹配,得到匹配结果。其中,角点匹配(corner matching)是指寻找两幅图像之间的特征像素点的对应关系,从而确定两幅图像的位置关系。角点匹配可以分为以下三个步骤:
1、检测子(detector)提取:在两张待匹配的图像中寻找那些最容易识别的像素点(角点),比如纹理丰富的物体边缘点等。
2、描述子(descriptor)提取:对于检测出的角点,用一些数学上的特征对其进行描述,如梯度直方图,局部随机二值特征等。其提取算法有邻域模板匹配、特征描述子等。
3、匹配:通过各个角点的描述子来判断它们在两张图像中的对应关系。常用方法有暴力匹配等。
设备基于角点特征的匹配结果,确定所述第二图像信息的车牌第二关键点坐标信息。
请参见图4,图4是本申请第四实施例提供的另一种基于双目摄像头的车牌防伪的的方法的流程示意图。本实施例中基于双目摄像头的车牌防伪的的方法的执行主体为具有基于双目摄像头的车牌防伪的的功能的设备,具体可以为计算机、服务器等设备。当设备从第一原始图像信息中识别到第一图像信息,并且从第二原始图像信息中未识别到第二图像信息时,为了快速获取到第二关键点坐标信息,从而提升效率,本实施例与第二实施例之间的区别在于S404~S405,本实施例中S401~S403与第二实施例中的S201~S203相同,本实施例中S406~S410与第二实施例中的S204~S208相同,S404~S405与S406择一执行,在S403之后执行即可。S404~S405与S304~S308是并列的两个技术方案,择一执行即可。如图4所示,S404~S405具体如下:
S404:当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息。
当设备从第一原始图像信息中识别到第一图像信息,并且从第二原始图像信息中未识别到第二图像信息时,说明此时只有从一个摄像头采集的原始图像中识别到了车牌图像,此时无法仅基于一个图像信息进行后续的处理以及车牌的识别,所以,要基于一个图像信息以及相关参数确定另一个图像信息。
当设备从第一原始图像信息中识别到第一图像信息,并且从第二原始图像信息中未识别到第二图像信息时,设备获取第一图像信息的车牌第一关键点坐标信息。
S405:基于预设匹配策略对所述车牌第一关键点坐标信息进行计算,得到所述第二图像信息的车牌第二关键点坐标信息;所述预设匹配策略标识所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息之间的关系。
设备中预先设置匹配策略,预设匹配策略用于计算第二图像信息的车牌第二关键点坐标信息,预设匹配策略标识车牌第一关键点坐标信息和车牌第二关键点坐标信息之间的关系,例如,车牌第一关键点坐标信息为[xmin,ymin,xmax,ymax],则预设匹配策略中基于车牌第一关键点坐标信息确定的车牌第二关键点坐标信息为[xmin,ymin-100,xmax,ymax+100]。设备基于预设匹配策略对车牌第一关键点坐标信息进行计算,得到第二图像信息的车牌第二关键点坐标信息。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
请参见图5,图5是本申请第五实施例提供的基于双目摄像头的车牌防伪的装置的示意图。包括的各单元用于执行图1~图4对应的实施例中的各步骤,具体请参阅图1~图4各自对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图5,基于双目摄像头的车牌防伪的装置5包括:
第一获取单元510,用于获取训练样本集;所述训练样本集包括样本车牌的特征信息和防伪结果标签;
训练单元520,用于基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型;
第二获取单元530,用于获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息;所述第一图像信息为第一原始图像中的车牌图像信息;所述第二图像信息为第二原始图像中的车牌图像信息;所述第一原始图像信息由第一双目摄像头获取;所述第二原始图像信息由第二双目摄像头获取;
第一计算单元540,用于基于预设像素宽度计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息;其中,所述预设像素宽度计算策略为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;x1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;
第二计算单元550,用于基于预设视差计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的视差信息;其中,所述预设视差计算策略为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;
标记单元560,用于将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;
处理单元570,用于将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。
进一步地,第二获取单元530,具体用于:
获取待识别的目标车牌对应的所述第一原始图像信息和所述第二原始图像信息;
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第二图像信息的车牌第二关键点坐标信息。
进一步地,第二获取单元530,具体还用于:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第一图像信息对应的车牌尺寸信息、所述第一双目摄像头和所述第二双目摄像头之间的偏移距离信息;
基于所述车牌第一关键点坐标信息确定所述第一图像信息的第一角点特征信息;
基于所述车牌第一关键点坐标信息、所述车牌尺寸信息和所述偏移距离信息,确定所述第二图像信息的初始位置信息;
从所述初始位置信息中提取所述第二图像信息的第二角点特征信息;
对所述第一角点特征信息和所述第二角点特征信息进行特征匹配,得到匹配结果,基于所述匹配结果确定所述第二图像信息的车牌第二关键点坐标信息。
进一步地,第二获取单元530,具体还用于:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息;
基于预设匹配策略对所述车牌第一关键点坐标信息进行计算,得到所述第二图像信息的车牌第二关键点坐标信息;所述预设匹配策略标识所述第车牌一关键点坐标信息和所述车牌第二关键点坐标信息之间的关系。
图6是本申请第六实施例提供的基于双目摄像头的车牌防伪的设备的示意图。如图6所示,该实施例的基于双目摄像头的车牌防伪的设备6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如基于双目摄像头的车牌防伪的程序。所述处理器60执行所述计算机程序62时实现上述各个基于双目摄像头的车牌防伪的设备方法实施例中的步骤,例如图1所示的步骤101至102。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图5所示模块510至570的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述基于双目摄像头的车牌防伪的设备6中的执行过程。例如,所述计算机程序62可以被分割成第一获取单元、第一处理单元,各单元具体功能如下:
第一获取单元,用于获取训练样本集;所述训练样本集包括样本车牌的特征信息和防伪结果标签;
训练单元,用于基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型;
第二获取单元,用于获取待识别的目标车牌的第一图像信息的车牌第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息;所述第一图像信息为第一原始图像中的车牌图像信息;所述第二图像信息为第二原始图像中的车牌图像信息;所述第一原始图像信息由第一双目摄像头获取;所述第二原始图像信息由第二双目摄像头获取;
第一计算单元,用于基于预设像素宽度计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息;其中,所述预设像素宽度计算策略为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;x1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;
第二计算单元,用于基于预设视差计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的视差信息;其中,所述预设视差计算策略为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;
标记单元,用于将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;
处理单元,用于将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。
所述基于双目摄像头的车牌防伪的设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是基于双目摄像头的车牌防伪的设备6的示例,并不构成对基于双目摄像头的车牌防伪的设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述基于双目摄像头的车牌防伪的设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述基于双目摄像头的车牌防伪的设备6的内部存储单元,例如基于双目摄像头的车牌防伪的设备6的硬盘或内存。所述存储器61也可以是所述基于双目摄像头的车牌防伪的设备6的外部存储设备,例如所述基于双目摄像头的车牌防伪的设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述基于双目摄像头的车牌防伪的设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述基于双目摄像头的车牌防伪的设备6所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/车牌定位的设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/车牌定位的设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于双目摄像头的车牌防伪的方法,其特征在于,所述车牌防伪为分辨虚假车牌,所述虚假车牌为通过电子设备的屏幕显示的车牌,上述方法包括:
获取训练样本集;所述训练样本集包括样本车牌的特征信息和防伪结果标签;
基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型;
获取待识别的目标车牌对应的第一原始图像信息和第二原始图像信息;
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第二图像信息的车牌第二关键点坐标信息;
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第一图像信息对应的车牌尺寸信息、第一双目摄像头和第二双目摄像头之间的偏移距离信息;
基于所述车牌第一关键点坐标信息确定所述第一图像信息的第一角点特征信息;
基于所述车牌第一关键点坐标信息、所述车牌尺寸信息和所述偏移距离信息,确定所述第二图像信息的初始位置信息;
从所述初始位置信息中提取所述第二图像信息的第二角点特征信息;
对所述第一角点特征信息和所述第二角点特征信息进行特征匹配,得到匹配结果,基于所述匹配结果确定所述第二图像信息的车牌第二关键点坐标信息;所述第一图像信息为第一原始图像中的车牌图像信息;所述第二图像信息为第二原始图像中的车牌图像信息;所述第一原始图像信息由第一双目摄像头获取;所述第二原始图像信息由第二双目摄像头获取;
基于预设像素宽度计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息;其中,所述预设像素宽度计算策略为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;x1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;
基于预设视差计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的视差信息;其中,所述预设视差计算策略为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;
将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;
将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息。
2.如权利要求1所述的基于双目摄像头的车牌防伪的方法,其特征在于,在所述获取待识别的目标车牌对应的第一原始图像信息和第二原始图像信息之后,还包括:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息;
基于预设匹配策略对所述第一关键点坐标信息进行计算,得到所述第二图像信息的车牌第二关键点坐标信息;所述预设匹配策略标识所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息之间的关系。
3.一种基于双目摄像头的车牌防伪的装置,其特征在于,所述车牌防伪为分辨虚假车牌,所述虚假车牌为通过电子设备的屏幕显示的车牌,上述装置包括:
第一获取单元,用于获取训练样本集;所述训练样本集包括样本车牌的特征信息和防伪结果标签;
训练单元,用于基于所述样本车牌的特征信息和防伪结果标签对预设的支持向量机进行训练,得到预设车牌防伪支持向量机模型;
第二获取单元,用于获取待识别的目标车牌的车牌第一图像信息的第一关键点坐标信息、第二图像信息的车牌第二关键点坐标信息;所述第一图像信息为第一原始图像中的车牌图像信息;所述第二图像信息为第二原始图像中的车牌图像信息;所述第一原始图像信息由第一双目摄像头获取;所述第二原始图像信息由第二双目摄像头获取;
第一计算单元,用于基于预设像素宽度计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的车牌像素宽度信息;其中,所述预设像素宽度计算策略为:
wp=(x1max-x1min)/2+(x2max-x2min)/2
wp表示为所述车牌像素宽度信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;x1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y1min为所述第一图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y1max为所述第一图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;x2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的x轴坐标,y2min为所述第二图像信息中车牌对应的矩形四个顶点的左上角顶点的y轴坐标,x2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的x轴坐标,y2max为所述第二图像信息中车牌对应的矩形四个顶点的右下角顶点的y轴坐标;
第二计算单元,用于基于预设视差计算策略对所述车牌第一关键点坐标信息和所述车牌第二关键点坐标信息进行计算,得到所述目标车牌对应的视差信息;其中,所述预设视差计算策略为:
Δd=(y2min+y2max)/2-(y1min+y1max)/2
Δd表示所述视差信息,bbox1=[x1min,y1min,x1max,y1max]表示所述车牌第一关键点坐标信息,bbox2=[x2min,y2min,x2max,y2max]表示所述车牌第二关键点坐标信息;
标记单元,用于将所述目标车牌对应的车牌像素宽度信息和视差信息标记为待识别的目标车牌的特征信息;
处理单元,用于将所述特征信息输入预设车牌防伪支持向量机模型进行处理,得到所述目标车牌的防伪结果及其结果置信度信息;
所述第二获取单元,还用于:
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中未识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第一图像信息对应的车牌尺寸信息、所述第一双目摄像头和所述第二双目摄像头之间的偏移距离信息;基于所述车牌第一关键点坐标信息确定所述第一图像信息的第一角点特征信息;
基于所述车牌第一关键点坐标信息、所述车牌尺寸信息和所述偏移距离信息,确定所述第二图像信息的初始位置信息;
从所述初始位置信息中提取所述第二图像信息的第二角点特征信息;
对所述第一角点特征信息和所述第二角点特征信息进行特征匹配,得到匹配结果,基于所述匹配结果确定所述第二图像信息的车牌第二关键点坐标信息。
4.如权利要求3所述的基于双目摄像头的车牌防伪的装置,其特征在于,所述第二获取单元,具体用于:
获取待识别的目标车牌对应的所述第一原始图像信息和所述第二原始图像信息;
当从所述第一原始图像信息中识别到第一图像信息,并且从所述第二原始图像信息中识别到第二图像信息时,获取所述第一图像信息的车牌第一关键点坐标信息、所述第二图像信息的车牌第二关键点坐标信息。
5.一种基于双目摄像头的车牌防伪的设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1或2所述的方法。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1或2所述的方法。
CN201911149971.1A 2019-11-21 2019-11-21 一种基于双目摄像头的车牌防伪的方法及装置 Active CN110674817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911149971.1A CN110674817B (zh) 2019-11-21 2019-11-21 一种基于双目摄像头的车牌防伪的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911149971.1A CN110674817B (zh) 2019-11-21 2019-11-21 一种基于双目摄像头的车牌防伪的方法及装置

Publications (2)

Publication Number Publication Date
CN110674817A CN110674817A (zh) 2020-01-10
CN110674817B true CN110674817B (zh) 2020-11-20

Family

ID=69088022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911149971.1A Active CN110674817B (zh) 2019-11-21 2019-11-21 一种基于双目摄像头的车牌防伪的方法及装置

Country Status (1)

Country Link
CN (1) CN110674817B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665197B (zh) * 2023-05-31 2024-08-16 广东工业大学 一种基于双目视觉的停车场防逃费车牌识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407080A (zh) * 2018-11-27 2019-03-01 东风商用车有限公司 一种基于双目摄像头的车辆测距系统及其测距方法
CN110096995A (zh) * 2019-04-28 2019-08-06 中控智慧科技股份有限公司 一种多光谱多目摄像头防伪识别方法及装置
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1216335C (zh) * 2002-11-23 2005-08-24 董文明 机动车辆身份防伪装置及方法
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN102135236B (zh) * 2011-01-05 2013-05-01 北京航空航天大学 双目视觉管道内壁自动无损检测方法
CN104915673B (zh) * 2014-03-11 2018-09-11 株式会社理光 一种基于视觉词袋模型的目标分类方法和系统
CN105069451B (zh) * 2015-07-08 2018-05-25 北京智能综电信息技术有限责任公司 一种基于双目摄像头的车牌识别与定位方法
CN105551264A (zh) * 2015-12-25 2016-05-04 中国科学院上海高等研究院 一种基于车牌特征匹配的车速检测方法
CN106624709B (zh) * 2016-12-29 2019-01-11 南京天祥智能设备科技有限公司 基于双目视觉的装配系统及装配方法
CN109583442B (zh) * 2018-11-07 2020-12-11 北京智芯原动科技有限公司 基于线段检测的虚假车牌检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407080A (zh) * 2018-11-27 2019-03-01 东风商用车有限公司 一种基于双目摄像头的车辆测距系统及其测距方法
CN110096995A (zh) * 2019-04-28 2019-08-06 中控智慧科技股份有限公司 一种多光谱多目摄像头防伪识别方法及装置
CN110309782A (zh) * 2019-07-02 2019-10-08 四川大学 一种基于红外与可见光双目系统的活体人脸检测方法

Also Published As

Publication number Publication date
CN110674817A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
US10198623B2 (en) Three-dimensional facial recognition method and system
WO2019200837A1 (zh) 一种包裹体积的测量方法、系统、储存介质及移动终端
CN105701766B (zh) 图像匹配方法和装置
Drost et al. 3d object detection and localization using multimodal point pair features
US7965904B2 (en) Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program
WO2019080229A1 (zh) 基于机器视觉的棋子定位方法、系统、存储介质及机器人
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
CN103810475B (zh) 一种目标物识别方法及装置
KR101818984B1 (ko) 깊이정보를 이용한 안면인식시스템
CN111191582B (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN110120013A (zh) 一种点云拼接方法及装置
CN110363179A (zh) 地图获取方法、装置、电子设备以及存储介质
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN112102404B (zh) 物体检测追踪方法、装置及头戴显示设备
CN108052869B (zh) 车道线识别方法、装置及计算机可读存储介质
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法
CN110674817B (zh) 一种基于双目摄像头的车牌防伪的方法及装置
CN109753958A (zh) 图像字符识别方法
CN112102378A (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN117253022A (zh) 一种对象识别方法、装置及查验设备
CN107330436B (zh) 一种基于尺度判据的全景图像sift优化方法
CN113393506B (zh) 图像配准方法及相关装置、设备
Li et al. Learning weighted sparse representation of encoded facial normal information for expression-robust 3D face recognition
CN109961503A (zh) 一种图像处理方法及装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant