CN107862340A - 一种车型识别方法及装置 - Google Patents

一种车型识别方法及装置 Download PDF

Info

Publication number
CN107862340A
CN107862340A CN201711137824.3A CN201711137824A CN107862340A CN 107862340 A CN107862340 A CN 107862340A CN 201711137824 A CN201711137824 A CN 201711137824A CN 107862340 A CN107862340 A CN 107862340A
Authority
CN
China
Prior art keywords
collection
target
pending image
network model
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711137824.3A
Other languages
English (en)
Inventor
施欣欣
陈微
禹世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HARZONE TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN HARZONE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HARZONE TECHNOLOGY Co Ltd filed Critical SHENZHEN HARZONE TECHNOLOGY Co Ltd
Priority to CN201711137824.3A priority Critical patent/CN107862340A/zh
Publication of CN107862340A publication Critical patent/CN107862340A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种车型识别方法及装置,所述方法包括:获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;根据所述目标特征集确定所述目标车辆对应的目标车型。采用本发明实施例,可以得到待处理图像中的局部的细节特征,以及全局特征,并将全局特征和局部特征融合,以确保重要信息充分发挥作用,可以提升车型识别效率。

Description

一种车型识别方法及装置
技术领域
本发明涉及图像处理技术领域,具体涉及一种车型识别方法及装置。
背景技术
随着城市汽车数量的不断攀升,由此带来的交通和环境问题也日渐加剧。为了上述问题,智能交通系统已经成为城市发展的重点研究对象。而在智能交通系统中,对于车型的细粒度识别,已经被证明是一项关键技术,其在处理以下事件:提高收费效率,裁定交通责任和追踪肇事逃逸等等交通问题,上有着得天独厚的优势,因此,受到各研究单位的关注。
目前来看,车型识别是计算机视觉领域的一个研究热点,在交通安全、卡口管理、车流统计等方面有着广泛应用,对于智能交通系统的建设具有重要的意义。然而,现有的车型识别方法主要采用手工设计特征,这类特征属于低级特征,在处理细粒度分类问题上存在较大的局限性。而深度学习在提取高层语义特征方面有其先天优势,能够针对特定任务从大数据中学习到有效的特征表示。因此,如何提升车型识别效率的问题亟待解决。
发明内容
本发明实施例提供了一种车型识别方法及装置,可以提升车型识别效率。
本发明实施例第一方面提供了一种车型识别方法,包括:
获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;
通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;
通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;
将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
根据所述目标特征集确定所述目标车辆对应的目标车型。
本发明实施例第二方面提供了车型识别装置,包括:
获取单元,用于获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;
第一训练单元,用于通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;
第二训练单元,用于通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;
特征融合单元,用于将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
确定单元,用于根据所述目标特征集确定所述目标车辆对应的目标车型。
第三方面,本发明实施例提供了一种移动终端,包括:处理器和存储器;以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置成由所述处理器执行,所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面,本发明实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质用于存储计算机程序,其中,所述计算机程序使得计算机执行如本发明实施例第一方面中所描述的部分或全部步骤的指令。
第五方面,本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本发明实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例,具有如下有益效果:
可以看出,通过本发明实施例,获取待处理图像以及预设训练模型,预设训练模型包括分类子网络模型和定位子网络模型,待处理图像中包含目标车辆,通过分类子网络模型对待处理图像进行训练,得到全局特征集,通过定位子网络模型对待处理图像进行训练,得到局部特征集,将全局特征集和局部特征集进行特征融合,得到目标特征集,根据目标特征集确定目标车辆对应的目标车型,采用本发明实施例,可以得到待处理图像中的局部的细节特征,以及全局特征,并将全局特征和局部特征融合,以确保重要信息充分发挥作用,可以提升车型识别效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车型识别方法的第一实施例流程示意图;
图1a是本发明实施例提供的一种车型识别方法的演示示意图;
图2是本发明实施例提供的一种车型识别方法的第二实施例流程示意图;
图3a是本发明实施例提供的一种车型识别装置的实施例结构示意图;
图3b是本发明实施例提供的图3a所描述的车型识别装置的第一训练单元的结构示意图;
图3c是本发明实施例提供的图3a所描述的车型识别装置的第二训练单元的结构示意图;
图3d是本发明实施例提供的图3a所描述的车型识别装置的特征融合单元的结构示意图;
图3e是本发明实施例提供的图3a所描述的车型识别装置的确定单元的结构示意图;
图4是本发明实施例提供的一种车型识别装置的实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例所描述车型识别装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、视频矩阵、监控平台、车载设备、卫星、掌上电脑、笔记本电脑、移动互联网设备(MID,Mobile Internet Devices)或穿戴式设备等,上述仅是举例,而非穷举,包含但不限于上述装置,当然,上述车型识别装置还可以为服务器。
在相关技术中,大多基于深度学习的车型识别都只考虑了车辆的全局特征,而忽视了局部特征的重要性。作为细粒度分类问题的子问题,由于不同类别的车辆在形态、结构上具有一致性,尤其是同品牌的车型之间的差异性甚至更小,误识别的概率就越高。对于细粒度分类问题,其形态、轮廓特征显得不那么重要,而细节纹理特征则起到了主导作用。因此,本发明实施例中提供了一种车型识别方法,包括如下步骤:
获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;
通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;
通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;
将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
根据所述目标特征集确定所述目标车辆对应的目标车型。
可以看出,通过本发明实施例,获取待处理图像以及预设训练模型,预设训练模型包括分类子网络模型和定位子网络模型,待处理图像中包含目标车辆,通过分类子网络模型对待处理图像进行训练,得到全局特征集,通过定位子网络模型对待处理图像进行训练,得到局部特征集,将全局特征集和局部特征集进行特征融合,得到目标特征集,根据目标特征集确定目标车辆对应的目标车型,采用本发明实施例,可以得到待处理图像中的局部的细节特征,以及全局特征,并将全局特征和局部特征融合,以确保重要信息充分发挥作用,可以提升车型识别效率。
其中,上述预设训练模型可以采用如下方式得到:
首先,选取包含车辆的大量图像作为待训练图像,从每一图像中检测并截取出车型区域图像;
然后,将车型图像对齐,缩放到特定尺寸,并对各车辆区域图像标注其车型类别标签,生成车型数据库。
其次,本发明实施例中的预设训练模型包括分类子网络模型和定位子网络模型,分类子网络模型,主要通过深度卷积神经网络训练得到车型的全局特征;定位子网络模型,可以将分类子网络模型的卷积层特征作为输入,得到具有判别力的区域,即局部区域,并提取局部特征。当最终分类时,将全局特征和局部特征拼接在一起,用全连接层将信息融合后进行分类。最后,
对待分类图像检测并截取出车型区域,利用已训练好的模型进行车型识别。
另外,本发明实施例中的车型可包括但不仅限于:巴士、卡车、摩托车、面包车等等,还可以具体的车型号,例如,五菱荣光,又例如,宝马3系。
请参阅图1,为本发明实施例提供的一种车型识别方法的第一实施例流程示意图。本实施例中所描述的车型识别方法,包括以下步骤:
101、获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆。
其中,待处理图像可为包含目标车辆的图像,当然,该目标车辆可以包含车牌,该车牌可以为以下至少一种:蓝牌、单层黄牌、双车牌(例如,香港入内地车辆)、双层黄牌、黑牌、白牌、绿牌等等。上述预设训练模型包括分类子网络模型和定位子网络模型。上述分类子网络模型、定位子网络模型均可以为卷积神经网络模型。
可选地,待处理图像可为只包含车辆的图像,即为去背景的图像。
102、通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集。
其中,可以通过分类子网络模型对待处理图像进行训练,得到全局特征集。进一步的,定位子网络模型的输入信息可以作为所述分类子网络模型的卷积层特征。上述输入信息可以为以下至少一种:卷积核大小,卷积核类型,定位子网络模型的层数,定位子网络模型的输入图像,例如,输入图像为待处理图像的特征点。
可选地,上述步骤102中通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集,可以包括如下步骤:
21、对所述待处理图像的颜色数据进行图像增强处理;
22、通过所述分类子网络模型对所述图像增强处理后的所述待处理图像进行规划化处理,并计算所述待处理图像的各颜色通道的均值和标准差,根据所述均值和标准差得到协方差矩阵;
23、通过所述协方差矩阵确定所述待处理图像的特征向量和特征值,将所述特征向量和特征值作为所述全局特征集。
其中,颜色数据可以为以下至少一种:饱和度、亮度、对比度、色彩分布等等,上述图像增强处理可以为以下至少一种:灰度拉伸,直方图均衡化、小波去噪等等。可以对待处理图像的颜色数据进行图像增强处理,通过分类子网络模型对图像增强处理后的待处理图像进行规划化处理,并计算待处理图像的各颜色通道的均值和标准差,根据均值和标准差得到协方差矩阵,通过协方差矩阵确定待处理图像的特征向量和特征值,将特征向量和特征值作为全局特征集。
例如,通过对待处理图像的颜色数据的增强来提高卷积神经网络CNN模型的识别能力和泛化能力。本发明实施例将使用以下方法对预处理阶段所得到的车型图像进行数据增强。首先,对待处理图像的颜色数据进行图像增强处理,主要包括对色彩的饱和度、亮度以及对比度等方面进行图像增强处理,其次,对CNN网络的输入数据进行规范化,计算车型图像的RBG颜色通道的均值和标准差,并在整个训练集上计算了协方差矩阵,最后,进行特征分解得到特征向量和特征值,并做PCAJittering处理,最后,在训练的时候采用随机的图像差值方式对车型图像进行裁剪和缩放。
103、通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集。
其中,可以将处理图像进行图像分割,或者,裁剪,得到车辆区域,采用定位子网络模型对这部分区域进行训练,得到局部特征集。
可选地,上述步骤103中,通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集,可以包括如下步骤:
31、确定所述待处理图像的目标区域,所述目标区域包括中心坐标值和边长;
32、对所述目标区域进行裁剪、放大处理,并通过所述定位子网络模型对所述裁剪、放大处理后的所述目标区域进行训练,得到所述局部特征集。
其中,上述定位子网络模型的输入可以为分类子网络模型的卷积层特征,而输出是有判别力区域(目标区域)的中心坐标值和边长。定位子网络模型以层间的排序损失函数作为监督,优化下一个尺度的图像子区域在正确类别上的预测概率大于本尺度的预测概率,这样可以促使网络自动找到最有辨别力的区域。有了重要区域的坐标,再对原图进行裁剪和放大操作便可得到下一尺度的输入图像。
例如,给定一个输入图像I,我们首先通过将图像输入到预先训练的卷积层中提取基于区域的深度特征Wc*I,其中*表示一系列的卷积、池化和激活操作。
判别力区域的中心坐标点和边长:
[sx,sy,sl]=g(Wc*I)
其中sx,sy表示正方形区域对于x轴和y轴的中心坐标点,sl表示边长的一半。
一旦该区域的位置被确定,我们通过对该区域裁剪和放大到更细的区域,以更高的分辨率来提取更细粒度的特征。
假设原始图像的左上角是像素坐标系统的原点,它的x轴和y轴分别为从左到右和从上到下定义。则该区域左上角和右下角坐标可定义为,其中tl表示左上角,br表示右下角:
sx(tl)=sx-sl,sy(tl)=sy-sl
sx(br)=sx+sl,sy(br)=sy+sl
裁剪操作可以通过原始图像和判别力区域掩码之间的乘法来实现:
Iatt=I⊙M(sx,sy,sl)
其中,Iatt为裁剪区域,为M(·)判别力区域掩码,具体为:
M(·)=[h(x-sx(tl))-h(x-sx(br))]·[h(y-sy(tl))-h(y-sy(br))]
h(·)表示带有索引k的逻辑函数:
h(x)=1/{1+exp-kx}
理论上,当k足够大时,逻辑函数可以被看作是阶梯函数和二维矩形函数M(·),可以很好的近似裁剪操作以选择最重要的区域。并通过采用双线性插值计算,对判别力区域进行放大操作:
其中m=[i/λ]+α,n=[j/λ]+β,λ是上采样参数,它等于放大后的值除以sl。[·]和{·}分别表示积分和小数部分。
104、将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集。
其中,预设训练模型由2个子网络模块构成,其中分类子网络模型用来提取车辆的全局特征,定位子网络模型得到车辆的判别力区域,并进行剪裁和放大操作,以提取局部特征,在最终分类阶段,将全局特征和局部特征进行融合,充分利用细节的重要信息,以提高识别的准确率。
可选地,上述步骤104中,将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集,可以包括如下步骤:
41、将所述局部特征集进行缩小处理;
42、将所述缩小处理后的所述局部特征集插入所述全局特征集,得到目标全局特征集;
43、对所述目标全局特征集进行平滑处理,得到所述目标特征集。
其中,通过对局部特征进行缩小处理,进而,将局部特征与全部特征融合在一起,得到全局特征集,全局特征集的话,其有一定的突兀性,因而,可以对其进行平滑处理,得到目标特征集。
105、根据所述目标特征集确定所述目标车辆对应的目标车型。
其中,经历了上述步骤,目标特征集中集成了车辆的主要特征信息,根据这部分信息可以确定目标车辆对应的目标车型。
可选地,上述步骤105中,根据所述目标特征集确定所述目标车辆对应的目标车型,可以包括如下步骤:
51、将所述目标特征集进行特征筛选,得到关键特征集,所述关键特征集包含多个关键特征;
52、确定所述多个关键特征中每一关键特征对应的车型,得到多个车型;
53、从所述多个车型中选取出现次数最多的车型作为所述目标车型。
其中,由于目标特征集中包含较多特征,因此,可以筛选出一些不稳定的特征,从而,得到关键特征集,其包含多个关键特征,分别确定每一关键特征对应的车型,得到多个车型,可以确定出现次数最多的车型作为目标车型。
如图1a所示,1stconvolution可以理解为分类子网络模型,而2stconvolution可以理解为定位子网络模型,待处理图像可以理解为车辆,可以通过分类子网络模型对车辆进行训练,得到全局特征,通过定位子网络模型对车辆进行训练,得到局部特征,将全局特征与局部特征进行融合,最后,根据融合后的特征判定车辆对应的车型。
可以看出,通过本发明实施例,获取待处理图像以及预设训练模型,预设训练模型包括分类子网络模型和定位子网络模型,待处理图像中包含目标车辆,通过分类子网络模型对待处理图像进行训练,得到全局特征集,通过定位子网络模型对待处理图像进行训练,得到局部特征集,将全局特征集和局部特征集进行特征融合,得到目标特征集,根据目标特征集确定目标车辆对应的目标车型,采用本发明实施例,可以得到待处理图像中的局部的细节特征,以及全局特征,并将全局特征和局部特征融合,以确保重要信息充分发挥作用,可以提升车型识别效率。
与上述一致地,请参阅图2,为本发明实施例提供的一种车型识别方法的第二实施例流程示意图。本实施例中所描述的车型识别方法,包括以下步骤:
201、获取第一图像。
其中,第一图像可以为任一图像,当然,在执行上述步骤201的过程中,可以对第一图像进行车牌识别,若第一图像中不包含车牌,则不对其进行识别,若其包含车牌,则执行步骤202。
202、对所述第一图像进行图像分割,得到待处理图像,所述待处理图像为包含车辆区域图像。
其中,第一图像中不仅包含车辆,还可以包含背景,因此,可以对第一图像进行图像分割,得到车辆区域图像。
203、获取预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆。
204、通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集。
205、通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集。
206、将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
207、根据所述目标特征集确定所述目标车辆对应的目标车型。
其中,上述步骤203-步骤207的具体描述可参照图1所描述的车型识别方法的对应步骤101-步骤105,在此不再赘述。
可以看出,通过本发明实施例,获取第一图像,对第一图像进行图像分割,得到待处理图像,待处理图像为包含车辆区域图像,获取预设训练模型,预设训练模型包括分类子网络模型和定位子网络模型,待处理图像中包含目标车辆,通过分类子网络模型对待处理图像进行训练,得到全局特征集,通过定位子网络模型对待处理图像进行训练,得到局部特征集,将全局特征集和局部特征集进行特征融合,得到目标特征集,根据目标特征集确定目标车辆对应的目标车型,采用本发明实施例,可以得到待处理图像中的局部的细节特征,以及全局特征,并将全局特征和局部特征融合,以确保重要信息充分发挥作用,可以提升车型识别效率。
与上述一致地,以下为实施上述车型识别方法的装置,具体如下:
请参阅图3a,为本发明实施例提供的一种车型识别装置的实施例结构示意图。本实施例中所描述的车型识别装置,包括:获取单元301、第一训练单元302、第二训练单元303、特征融合单元304和确定单元305,具体如下:
获取单元301,用于获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;
第一训练单元302,用于通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;
第二训练单元303,用于通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;
特征融合单元304,用于将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
确定单元305,用于根据所述目标特征集确定所述目标车辆对应的目标车型。
可选地,如图3b,图3b为图3a中所描述的车型识别装置中的第一训练单元302的具体细化结构,所述第一训练单元302可包括:增强模块3021、第一处理模块3022和第一确定模块3023,具体如下:
增强模块3021,用于对所述待处理图像的颜色数据进行图像增强处理;
第一处理模块3022,用于通过所述分类子网络模型对所述图像增强处理后的所述待处理图像进行规划化处理,并计算所述待处理图像的各颜色通道的均值和标准差,根据所述均值和标准差得到协方差矩阵;
第一确定模块3023,用于通过所述协方差矩阵确定所述待处理图像的特征向量和特征值,将所述特征向量和特征值作为所述全局特征集。
可选地,如图3c,图3c为图3a中所描述的车型识别装置中的第二训练单元303的具体细化结构,所述第二训练单元303可包括:第二确定模块3031和第二处理模块3032,具体如下:
第二确定模块3031,用于确定所述待处理图像的目标区域,所述目标区域包括中心坐标值和边长;
第二处理模块3032,用于对所述目标区域进行裁剪、放大处理,并通过所述定位子网络模型对所述裁剪、放大处理后的所述目标区域进行训练,得到所述局部特征集。
可选地,如图3d,图3d为图3a中所描述的车型识别装置中的特征融合单元304的具体细化结构,所述特征融合单元304可包括:第三处理模块3041、插入模块3042和第四处理模块3043,具体如下:
第三处理模块3041,用于将所述局部特征集进行缩小处理;
插入模块3042,用于将所述缩小处理后的所述局部特征集插入所述全局特征集,得到目标全局特征集;
第四处理模块3043,用于对所述目标全局特征集进行平滑处理,得到所述目标特征集。
可选地,如图3e,图3e为图3a中所描述的车型识别装置中的确定单元305的具体细化结构,所述确定单元305可包括:筛选模块3051、第三确定模块3052和选取模块3053,具体如下:
筛选模块3051,用于将所述目标特征集进行特征筛选,得到关键特征集,所述关键特征集包含多个关键特征;
第三确定模块3052,用于确定所述多个关键特征中每一关键特征对应的车型,得到多个车型;
选取模块3053,用于从所述多个车型中选取出现次数最多的车型作为所述目标车型。
可以看出,通过本发明实施例所描述的车型识别装置,获取待处理图像以及预设训练模型,预设训练模型包括分类子网络模型和定位子网络模型,待处理图像中包含目标车辆,通过分类子网络模型对待处理图像进行训练,得到全局特征集,通过定位子网络模型对待处理图像进行训练,得到局部特征集,将全局特征集和局部特征集进行特征融合,得到目标特征集,根据目标特征集确定目标车辆对应的目标车型,采用本发明实施例,可以得到待处理图像中的局部的细节特征,以及全局特征,并将全局特征和局部特征融合,以确保重要信息充分发挥作用,可以提升车型识别效率。
与上述一致地,请参阅图4,为本发明实施例提供的一种车型识别装置的实施例结构示意图。本实施例中所描述的车型识别装置,包括:至少一个输入设备1000;至少一个输出设备2000;至少一个处理器3000,例如CPU;和存储器4000,上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中,上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器,也可为非易失存储器(non-volatilememory),例如磁盘存储器。上述存储器4000用于存储一组程序代码,上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码,执行如下操作:
上述处理器3000,用于:
获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;
通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;
通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;
将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
根据所述目标特征集确定所述目标车辆对应的目标车型。
可选地,上述处理器3000通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集,包括:
对所述待处理图像的颜色数据进行图像增强处理;
通过所述分类子网络模型对所述图像增强处理后的所述待处理图像进行规划化处理,并计算所述待处理图像的各颜色通道的均值和标准差,根据所述均值和标准差得到协方差矩阵;
通过所述协方差矩阵确定所述待处理图像的特征向量和特征值,将所述特征向量和特征值作为所述全局特征集。
可选地,上述处理器3000通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集,包括:
确定所述待处理图像的目标区域,所述目标区域包括中心坐标值和边长;
对所述目标区域进行裁剪、放大处理,并通过所述定位子网络模型对所述裁剪、放大处理后的所述目标区域进行训练,得到所述局部特征集。
可选地,上述处理器3000将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集,包括:
将所述局部特征集进行缩小处理;
将所述缩小处理后的所述局部特征集插入所述全局特征集,得到目标全局特征集;
对所述目标全局特征集进行平滑处理,得到所述目标特征集。
可选地,上述处理器3000根据所述目标特征集确定所述目标车辆对应的目标车型,包括:
将所述目标特征集进行特征筛选,得到关键特征集,所述关键特征集包含多个关键特征;
确定所述多个关键特征中每一关键特征对应的车型,得到多个车型;
从所述多个车型中选取出现次数最多的车型作为所述目标车型。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任何一种车型识别方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种车型识别方法的部分或全部步骤。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中,与其它硬件一起提供或作为硬件的一部分,也可以采用其他分布形式,如通过Internet或其它有线或无线电信系统。
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程车牌定位设备的处理器以产生一个机器,使得通过计算机或其他可编程车牌定位设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程车牌定位设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程车牌定位设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本发明进行了描述,显而易见的,在不脱离本发明的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明,且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种车型识别方法,其特征在于,包括:
获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;
通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;
通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;
将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
根据所述目标特征集确定所述目标车辆对应的目标车型。
2.根据权利要求1所述的方法,其特征在于,所述通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集,包括:
对所述待处理图像的颜色数据进行图像增强处理;
通过所述分类子网络模型对所述图像增强处理后的所述待处理图像进行规划化处理,并计算所述待处理图像的各颜色通道的均值和标准差,根据所述均值和标准差得到协方差矩阵;
通过所述协方差矩阵确定所述待处理图像的特征向量和特征值,将所述特征向量和特征值作为所述全局特征集。
3.根据权利要求1或2所述的方法,其特征在于,所述通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集,包括:
确定所述待处理图像的目标区域,所述目标区域包括中心坐标值和边长;
对所述目标区域进行裁剪、放大处理,并通过所述定位子网络模型对所述裁剪、放大处理后的所述目标区域进行训练,得到所述局部特征集。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集,包括:
将所述局部特征集进行缩小处理;
将所述缩小处理后的所述局部特征集插入所述全局特征集,得到目标全局特征集;
对所述目标全局特征集进行平滑处理,得到所述目标特征集。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述根据所述目标特征集确定所述目标车辆对应的目标车型,包括:
将所述目标特征集进行特征筛选,得到关键特征集,所述关键特征集包含多个关键特征;
确定所述多个关键特征中每一关键特征对应的车型,得到多个车型;
从所述多个车型中选取出现次数最多的车型作为所述目标车型。
6.一种车型识别装置,其特征在于,包括:
获取单元,用于获取待处理图像以及预设训练模型,所述预设训练模型包括分类子网络模型和定位子网络模型,所述待处理图像中包含目标车辆;
第一训练单元,用于通过所述分类子网络模型对所述待处理图像进行训练,得到全局特征集;
第二训练单元,用于通过所述定位子网络模型对所述待处理图像进行训练,得到局部特征集;
特征融合单元,用于将所述全局特征集和所述局部特征集进行特征融合,得到目标特征集;
确定单元,用于根据所述目标特征集确定所述目标车辆对应的目标车型。
7.根据权利要求6所述的装置,其特征在于,所述第一训练单元包括:
增强模块,用于对所述待处理图像的颜色数据进行图像增强处理;
第一处理模块,用于通过所述分类子网络模型对所述图像增强处理后的所述待处理图像进行规划化处理,并计算所述待处理图像的各颜色通道的均值和标准差,根据所述均值和标准差得到协方差矩阵;
第一确定模块,用于通过所述协方差矩阵确定所述待处理图像的特征向量和特征值,将所述特征向量和特征值作为所述全局特征集。
8.根据权利要求6或7所述的装置,其特征在于,所述第二训练单元包括:
第二确定模块,用于确定所述待处理图像的目标区域,所述目标区域包括中心坐标值和边长;
第二处理模块,用于对所述目标区域进行裁剪、放大处理,并通过所述定位子网络模型对所述裁剪、放大处理后的所述目标区域进行训练,得到所述局部特征集。
9.根据权利要求6至8任一项所述的装置,其特征在于,所述特征融合单元包括:
第三处理模块,用于将所述局部特征集进行缩小处理;
插入模块,用于将所述缩小处理后的所述局部特征集插入所述全局特征集,得到目标全局特征集;
第四处理模块,用于对所述目标全局特征集进行平滑处理,得到所述目标特征集。
10.根据权利要求6至9任一项所述的装置,其特征在于,所述确定单元包括:
筛选模块,用于将所述目标特征集进行特征筛选,得到关键特征集,所述关键特征集包含多个关键特征;
第三确定模块,用于确定所述多个关键特征中每一关键特征对应的车型,得到多个车型;
选取模块,用于从所述多个车型中选取出现次数最多的车型作为所述目标车型。
CN201711137824.3A 2017-11-16 2017-11-16 一种车型识别方法及装置 Pending CN107862340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711137824.3A CN107862340A (zh) 2017-11-16 2017-11-16 一种车型识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711137824.3A CN107862340A (zh) 2017-11-16 2017-11-16 一种车型识别方法及装置

Publications (1)

Publication Number Publication Date
CN107862340A true CN107862340A (zh) 2018-03-30

Family

ID=61703008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711137824.3A Pending CN107862340A (zh) 2017-11-16 2017-11-16 一种车型识别方法及装置

Country Status (1)

Country Link
CN (1) CN107862340A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595558A (zh) * 2018-04-12 2018-09-28 福建工程学院 一种数据均衡策略和多特征融合的图像标注方法
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN109359666A (zh) * 2018-09-07 2019-02-19 佳都新太科技股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN109410218A (zh) * 2018-10-08 2019-03-01 百度在线网络技术(北京)有限公司 用于生成车辆损伤信息的方法和装置
CN109657533A (zh) * 2018-10-27 2019-04-19 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN109697353A (zh) * 2018-11-26 2019-04-30 武汉极意网络科技有限公司 一种点击验证码的验证方法和装置
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技(深圳)有限公司 一种医学图像识别方法、装置和存储介质
CN110738229A (zh) * 2018-07-20 2020-01-31 杭州海康威视数字技术股份有限公司 一种细粒度图像分类方法、装置及电子设备
CN110765861A (zh) * 2019-09-17 2020-02-07 中控智慧科技股份有限公司 无牌车车型识别方法、装置及终端设备
CN111027534A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种紧凑双车牌检测方法及装置
CN111178301A (zh) * 2019-12-30 2020-05-19 北京迈格威科技有限公司 对象再识别的方法、装置和电子系统
CN111553420A (zh) * 2020-04-28 2020-08-18 北京邮电大学 一种基于神经网络的x线影像识别方法及装置
CN111783791A (zh) * 2020-01-22 2020-10-16 北京沃东天骏信息技术有限公司 图像分类方法、装置和计算机可读存储介质
CN111832616A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 利用多类深度表示图的遥感图像飞机型号识别方法及系统
WO2020224406A1 (zh) * 2019-05-08 2020-11-12 腾讯科技(深圳)有限公司 图像分类方法、计算机可读存储介质和计算机设备
CN112990240A (zh) * 2019-12-13 2021-06-18 搜狗(杭州)智能科技有限公司 一种确定车型的方法及相关装置
CN113177527A (zh) * 2021-05-27 2021-07-27 安阳工学院 一种车型识别方法及装置
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备
WO2022052375A1 (zh) * 2020-09-10 2022-03-17 深圳市商汤科技有限公司 车辆识别方法及装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996346A (zh) * 2005-12-29 2007-07-11 电子科技大学 基于轮廓的车型识别方法
US20160259815A1 (en) * 2015-03-05 2016-09-08 Nant Holdings Ip, Llc Large scale image recognition using global signatures and local feature information
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN107330463A (zh) * 2017-06-29 2017-11-07 南京信息工程大学 基于cnn多特征联合和多核稀疏表示的车型识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996346A (zh) * 2005-12-29 2007-07-11 电子科技大学 基于轮廓的车型识别方法
US20160259815A1 (en) * 2015-03-05 2016-09-08 Nant Holdings Ip, Llc Large scale image recognition using global signatures and local feature information
CN105938560A (zh) * 2016-03-23 2016-09-14 吉林大学 一种基于卷积神经网络的车型精细分类系统
CN106384100A (zh) * 2016-09-28 2017-02-08 武汉大学 一种基于部件的精细车型识别方法
CN107330463A (zh) * 2017-06-29 2017-11-07 南京信息工程大学 基于cnn多特征联合和多核稀疏表示的车型识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张秀彬等: "《发明解析伦》", 31 December 2014 *
胡正平等: "多层次深度网络融合人脸识别算法", 《模式识别与人工智能》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595558A (zh) * 2018-04-12 2018-09-28 福建工程学院 一种数据均衡策略和多特征融合的图像标注方法
CN108595558B (zh) * 2018-04-12 2022-03-15 福建工程学院 一种数据均衡策略和多特征融合的图像标注方法
CN110738229B (zh) * 2018-07-20 2022-09-30 杭州海康威视数字技术股份有限公司 一种细粒度图像分类方法、装置及电子设备
CN110738229A (zh) * 2018-07-20 2020-01-31 杭州海康威视数字技术股份有限公司 一种细粒度图像分类方法、装置及电子设备
CN109117879A (zh) * 2018-08-03 2019-01-01 南京旷云科技有限公司 图像分类方法、装置及系统
CN109117879B (zh) * 2018-08-03 2021-06-22 南京旷云科技有限公司 图像分类方法、装置及系统
CN109359666A (zh) * 2018-09-07 2019-02-19 佳都新太科技股份有限公司 一种基于多特征融合神经网络的车型识别方法及处理终端
CN109410218A (zh) * 2018-10-08 2019-03-01 百度在线网络技术(北京)有限公司 用于生成车辆损伤信息的方法和装置
US11244435B2 (en) 2018-10-08 2022-02-08 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating vehicle damage information
CN111027534B (zh) * 2018-10-09 2023-05-26 杭州海康威视数字技术股份有限公司 一种紧凑双车牌检测方法及装置
CN111027534A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种紧凑双车牌检测方法及装置
CN109657533A (zh) * 2018-10-27 2019-04-19 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN109697353A (zh) * 2018-11-26 2019-04-30 武汉极意网络科技有限公司 一种点击验证码的验证方法和装置
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技(深圳)有限公司 一种医学图像识别方法、装置和存储介质
CN109886933B (zh) * 2019-01-25 2021-11-02 腾讯科技(深圳)有限公司 一种医学图像识别方法、装置和存储介质
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
WO2020224406A1 (zh) * 2019-05-08 2020-11-12 腾讯科技(深圳)有限公司 图像分类方法、计算机可读存储介质和计算机设备
US11908580B2 (en) 2019-05-08 2024-02-20 Tencent Technology (Shenzhen) Company Limited Image classification method, computer-readable storage medium, and computer device
CN110765861A (zh) * 2019-09-17 2020-02-07 中控智慧科技股份有限公司 无牌车车型识别方法、装置及终端设备
CN112990240A (zh) * 2019-12-13 2021-06-18 搜狗(杭州)智能科技有限公司 一种确定车型的方法及相关装置
CN112990240B (zh) * 2019-12-13 2024-05-03 北京搜狗科技发展有限公司 一种确定车型的方法及相关装置
CN111178301A (zh) * 2019-12-30 2020-05-19 北京迈格威科技有限公司 对象再识别的方法、装置和电子系统
CN111178301B (zh) * 2019-12-30 2023-10-17 北京迈格威科技有限公司 对象再识别的方法、装置和电子系统
CN111783791A (zh) * 2020-01-22 2020-10-16 北京沃东天骏信息技术有限公司 图像分类方法、装置和计算机可读存储介质
CN111553420A (zh) * 2020-04-28 2020-08-18 北京邮电大学 一种基于神经网络的x线影像识别方法及装置
CN111553420B (zh) * 2020-04-28 2023-08-15 北京邮电大学 一种基于神经网络的x线影像识别方法及装置
CN111832616A (zh) * 2020-06-04 2020-10-27 中国科学院空天信息创新研究院 利用多类深度表示图的遥感图像飞机型号识别方法及系统
WO2022052375A1 (zh) * 2020-09-10 2022-03-17 深圳市商汤科技有限公司 车辆识别方法及装置、电子设备及存储介质
CN113177527B (zh) * 2021-05-27 2022-09-23 安阳工学院 一种车型识别方法及装置
CN113177527A (zh) * 2021-05-27 2021-07-27 安阳工学院 一种车型识别方法及装置
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备

Similar Documents

Publication Publication Date Title
CN107862340A (zh) 一种车型识别方法及装置
CN108009543A (zh) 一种车牌识别方法及装置
CN107194398B (zh) 车损部位的识别方法及系统
CN106650740B (zh) 一种车牌识别方法及终端
CN109740424A (zh) 交通违规识别方法及相关产品
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN109740420A (zh) 车辆违法识别方法及相关产品
CN111461170A (zh) 车辆图像检测方法、装置、计算机设备及存储介质
CN107529659B (zh) 安全带佩戴检测方法、装置及电子设备
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN113688805B (zh) 一种基于无人机的无牌渣土车识别方法及系统
CN112215179B (zh) 车内人脸识别方法、设备、装置及存储介质
CN107784303A (zh) 车牌识别方法及装置
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
CN112132216B (zh) 车型识别方法、装置、电子设备及存储介质
CN111582272A (zh) 双行车牌识别方法、装置、设备及计算机可读存储介质
CN102184412B (zh) 基于最小错误率贝叶斯分类器的车牌数字及字母识别方法
CN114708547A (zh) 车辆重识别方法、装置、计算机设备、存储介质
CN111753592A (zh) 交通标志识别方法、装置、计算机设备和存储介质
Papakis et al. Convolutional neural network-based in-vehicle occupant detection and classification method using second strategic highway research program cabin images
CN113971821A (zh) 驾驶员信息确定方法、装置、终端设备及存储介质
CN114155363A (zh) 换流站车辆识别方法、装置、计算机设备和存储介质
Li et al. A novel approach for vehicle detection using an AND–OR-graph-based multiscale model
CN111985448A (zh) 车辆图像识别方法、装置、计算机设备及可读存储介质
CN108090425A (zh) 一种车道线检测方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330