CN111340026A - 车辆年款识别模型的训练方法以及车辆年款的识别方法 - Google Patents
车辆年款识别模型的训练方法以及车辆年款的识别方法 Download PDFInfo
- Publication number
- CN111340026A CN111340026A CN202010137345.7A CN202010137345A CN111340026A CN 111340026 A CN111340026 A CN 111340026A CN 202010137345 A CN202010137345 A CN 202010137345A CN 111340026 A CN111340026 A CN 111340026A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- features
- region
- sample image
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及车辆识别技术领域,具体涉及一种车辆年款识别模型的训练方法以及车辆年款的识别方法。其中,训练方法包括:获取带标注信息的车辆样本图像;将车辆样本图像输入特征提取模块中,得到至少2组特征;基于至少2组特征,得到对应于每组特征的感兴趣区域及其得分值;将感兴趣区域以及车辆样本图像融合后输入分类模块中,得到整图分类特征、感兴趣区域的特征以及整图与感兴趣区域融合后的特征;由上述三种特征以及每个感兴趣区域的得分值,计算损失函数值;基于所述标注信息以及所述损失函数值,对特征提取模块以及分类模块的参数进行更新,优化车辆年款识别模型。该训练方法提高了识别模型的准确度,为后续在识别方法中的应用提供了基础。
Description
技术领域
本发明涉及车辆识别技术领域,具体涉及一种车辆年款识别模型的训练方法以及车辆年款的识别方法。
背景技术
车辆已成为现代生活必不可少的交通工具。作为一种重要载体与替代行为工具,车辆的信息的监控与识别也成为智能交通与平安城市的重要课题。对车辆数据进行智能分析,一方面可以便捷交通管理,如停车场卡口的车牌识别;另一方面可以有效协助交通管制,如违规车辆、套牌车辆的捕获与信息记录,涉交通事故、犯罪车辆的追踪等。
卷积神经网络(Convolutional Neural Networks,CNN)因其不受目标平移、缩放、倾斜及其他一定程度的形变的影响,已广泛应用于图像模式识别中,包括车辆属性识别,许多专家学者也就此技术发表了不少著作。
其中,为了克服由于卷积神经网络(Convolutional Neural Networks,简称CNN)深度的增加而产生的学习效率低,准确率无法有效提升的问题,深度残差网络(Deepresidual network,简称ResNet)在2015年被提出且迅速应用于车辆年款的识别领域。通常来说,在进行识别时,ResNet会分别使用两次,第一次使用ResNet输入的是样本图像,得到整图特征和区域特征,第二次使用ResNet输入的是区域特征,得到感兴趣区域特征,最后将感兴趣区域特征进行分类,以得到样本图像的分类。发明人在对深度残差网络的研究过程中发现,分别使用两次ResNet,得到感兴趣区域特征,会增加训练时间与计算量,而且只通过感兴趣区域特征来得到样本图像的分类,忽略了其他层次的特征,从而造成识别不准确的问题。
发明内容
有鉴于此,本发明实施例提供了一种车辆年款识别模型的训练方法以及车辆年款的识别方法,以解决识别不够准确的问题。
根据第一方面,本发明实施例提供了一种车辆年款识别模型的训练方法,包括:
获取带标注信息的车辆样本图像;其中,所述标注信息包括所述车辆样本图像中的车辆品牌以及年款;
将所述车辆样本图像输入特征提取模块中,以得到所述车辆样本图像的至少2组特征;
基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值;
将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征;其中,所述车辆年款识别模型包括所述特征提取模块以及所述分类模块;
根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值;
基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。
本发明实施例提供的车辆年款识别模型的训练方法,通过特征提取模块提取所述车辆样本图像的至少2组特征并得到所述至少2组特征对应的感兴趣区域及其得分值;通过将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,得到所述样本图像的整图分类特征、、所述感兴趣区域的特征及整图与所述感兴趣区域融合后的特征;并基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。该方法通过将提取至少2组特征,以及将感兴趣区域以及所述车辆样本图像融合后输入分类模块,并根据损失函数对所述识别模型进行优化,不仅提升了特征提取的层次感,还得出对应的损失函数以对识别模型进行参数更新,从而提高了识别的准确性。
结合第一方面,在第一方面第一实施方式中,所述基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值,包括:
分别利用每组特征,生成对应于每组特征的多个候选区域;
基于所述多个候选区域,生成对应于每组特征的感兴趣区域及其得分值。
本发明实施例提供的车辆年款识别模型的训练方法,通过利用每组特征,生成对应于每组特征的多个候选区域,并基于所述多个候选区域,生成对应于每组特征的感兴趣区域及其得分值,能够准确的筛选出对应于每组特征的感兴趣区域,为后续的训练提供了基础。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述基于所述多个候选区域,生成对应于每组特征的感兴趣区域及其得分值,包括:
计算每个所述候选区域的得分值;
确定所述得分值最高的候选区域为所述感兴趣区域。
本发明实施例提供的车辆年款识别模型的训练方法,通过计算每个所述候选区域的得分值,来确定所述感兴趣区域为得分值最高的候选区域,进一步提升了所述感兴趣区域的准确度,为后续的训练提供了基础。
结合第一方面,在第一方面第三实施方式中,所述将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征,包括:
将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中;其中,所述分类模块的输出为所述车辆样本图像的年款分类;
提取所述分类模块的最后一层池化层的输出,以得到所述车辆样本图像的整体特征;
对所述车辆样本图像的整体特征进行分割,以得到所述样本图像的整图分类特征以及所述感兴趣区域的特征。
本发明实施例提供的车辆年款识别模型的训练方法,将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块,得出所述车辆样本图像的年款分类,其中,所述感兴趣区域为每组特征的得分值最高的候选区域,车辆样本图像与每组特征得分值最高的候选区域融合后输入分类模块,可以提高分类模块的准确性,也可以缩短分类时间。
结合第一方面,在第一方面第四实施方式中,所述根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值,包括:
将所述样本图像的整图特征与所述感兴趣区域的特征进行融合,以得到融合特征;
基于所述融合特征,计算融合损失函数值;
利用所述感兴趣区域的特征,计算部件损失函数值;
利用所述样本图像的整图分类特征,计算整图损失函数值;
利用每个所述感兴趣区域的特征及其对应的得分值,计算每个所述感兴趣区域对应的等级损失函数值;
基于各个所述等级损失函数值、所述部件损失函数值、所述融合损失函数值以及所述整图损失函数值,计算所述损失函数值。
结合第一方面第四实施方式,在第一方面第五实施方式中,所述损失函数值采用如下公式计算:
本发明实施例提供的车辆年款识别模型的训练方法,通过利用所述融合特征、所有所述感兴趣区域的特征以及所述样本图像的分类来计算损失函数以及等级损失函数,并按一定的权重进行求和,可以准确地反应所述车辆年款识别模型的分类与实际分类的差距,通过所述差距可以进一步对所述车辆年款识别模型进行参数优化,进一步提升了该模型的分类准确度。
根据第二方面,本发明实施例提供了一种车辆年款的识别方法,包括:
获取目标车辆图像;
将所述目标车辆图像输入车辆年款识别模型中,以得到所述目标车辆图像的年款;其中,所述车辆年款识别模型是根据权利要求1-6中任一项所述的车辆年款模型的训练方法训练得到的。
本发明实施例提供的车辆年款的识别方法,通过将目标车辆图像输入所述车辆年款识别模型进行分类,得出所述目标车辆图像的年款,其中,所述车辆年款识别模型是利用样本图像的至少2组特征以及所述样本图像共同进行训练,并以损失函数值进行参数优化得到的,能够保证所述目标车辆图像年款识别的准确性。
根据第三方面,本发明实施例提供了一种车辆年款识别模型的训练装置,包括:
第一获取模块,用于获取带标注信息的车辆样本图像;其中,所述标注信息包括所述车辆样本图像中的车辆品牌以及年款;
第一特征提取模块,用于将所述车辆样本图像输入特征提取模块中,以得到所述车辆样本图像的至少2组特征;
打分模块,用于基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值;
第二特征提取模块,用于将
将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征;其中,所述车辆年款识别模型包括所述特征提取模块以及所述分类模块;
计算模块,用于根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值;
参数优化模块,用于基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。
本发明实施例提供的车辆年款识别模型的训练装置,通过特征提取模块提取所述车辆样本图像的至少2组特征并得到所述至少2组特征对应的感兴趣区域及其得分值;通过将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征;并基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。该方法通过将提取至少2组特征,以及将感兴趣区域以及所述车辆样本图像融合后输入分类模块,并根据损失函数对所述识别模型进行优化,不仅提升了特征提取的层次感,还得出对应的损失函数以对识别模型进行参数更新,从而提高了识别的准确性。
根据第四方面,本发明实施例提供了一种车辆年款的识别装置,包括:
第二获取模块,用于获取目标车辆图像;
识别模块,用于将所述目标车辆图像输入车辆年款识别模型中,以得到所述目标车辆图像的年款;其中,所述车辆年款识别模型是根据第一方面或第一方面任一项实施方式所述的车辆年款模型的训练方法训练得到的。
本发明实施例提供的车辆年款的识别装置,通过将目标车辆图像输入所述车辆年款识别模型进行分类,得出所述目标车辆图像的年款,其中,所述车辆年款识别模型是利用样本图像的至少2组特征以及所述样本图像共同进行训练,并以损失函数值进行参数优化得到的,能够保证所述目标车辆图像年款识别的准确性。
根据第五方面,本发明实施例提供了一种电子设备,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或第一方面任一实施方式所述的车辆年款识别模型的训练方法,或,第二方面或第二方面任一实施方式所述的车辆年款的识别方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的车辆年款识别模型的训练方法流程图;
图2是根据本发明实施例的车辆年款识别模型的训练方法的完整流程图;
图3是根据本发明实施例的车辆年款的识别方法流程图;
图4是根据本发明实施例的车辆年款识别模型的训练装置的结构框图;
图5是根据本发明实施例的车辆年款的识别装置的结构框图;
图6是本发明实施例提供的电子设备的硬件结构示意图;
图7是根据本发明实施例的车辆年款识别模型的组成示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明实施例,提供了一种车辆年款识别模型的训练方法以及车辆年款的识别方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种车辆年款识别模型的训练方法,可用于上述的电子设备,图1是根据本发明实施例的车辆年款识别模型的训练方法流程图,如图1所示,该流程包括如下步骤:
S11,获取带标注信息的车辆样本图像。
其中,所述标注信息包括所述车辆样本图像中的车辆品牌以及年款。
具体地,从车辆卡口监控视频、公路摄像头中采集约120万张、10216个年款类别的车辆图像并对所述车辆图像进行信息标注,其中,所述车辆图像包括汽车、卡车、公交车三大类型,所述标注信息包括图像中车辆的前后向、大品牌、子品牌、厂商及年款;将所述样本图像缩放至256*256大小,然后剪裁至224*224并进行均值方差处理作为所述带标注信息的车辆样本图像。
S12,将所述车辆样本图像输入特征提取模块中,以得到所述车辆样本图像的至少2组特征。
在一个具体的实施例中,提取3组所述车辆样本图像的特征;如图7所示,选择轻量级神经网络SqueezeNet作为所述特征提取模块,并分别从SqueezeNet网络的Fire2模块(SqueezeNet网络的第二个模块)、Fire5模块(SqueezeNet网络的第五个模块)以及Fire9模块(SqueezeNet网络的第九个模块)中提取出三组不同尺度的特征;其中,由于车辆样本图像的数量庞大,为了节省时间,将所述SqueezeNet网络的最后一个卷积层的输出尺寸由512*13*13改为1024*7*7。
可选地,所述三组不同尺度的特征还可由所述轻量级神经网络SqueezeNet的其他Fire模块中提取,优选从Fire2模块、Fire5模块以及Fire9模块中提取;可选地,还可选择Back Propagation(简称BP)神经网络或Learning Vector Quantization(简称LVQ)神经网络或Hopfield神经网络作为所述特征提取模块,对所述车辆样本图像进行特征提取;可选地,所述车辆样本图像特征的提取组数还可以根据实际需求进行选择,比如4组、5组等,在具体实施例中,优选3组。
S13,基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值。
在一个具体实施例中,如图7所示,将所述三组不同尺度的特征分别输入区域生成网络(Region Proposal Network,简称RPN),分别得到一系列尺寸为24*24、32*32、86*86的矩形框,将该矩形框按照1:3、2:3、1:1的比例缩放,也即每组特征能得到9个矩形框,所述矩形框包含了每组特征对应的信息量以及信息量的分值;对每组特征对应的9个矩形框采用非极大值抑制算法(NMS)将每组信息量分值最高的矩形框及其得分值保留下来,以作为所述对应于每组特征的感兴趣区域及其得分值。
可选地,还可通过排序筛选的方法对所述矩形框对应的信息量的分值进行排序,从而得到信息量分值最高的矩形框;可选地,还可选择Region-CNN(简称R-CNN)网络生成所述每组特征的感兴趣区域。
S14,将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征。
其中,所述车辆年款识别模型包括所述特征提取模块以及所述分类模块。
在一个具体实施例中,如图7所示,选择深度残差网络Resnet50作为所述分类模块;将所述感兴趣区域,也即所述三组特征对应的得分最高的矩形框双线性插值到224*224大小,并与所述样本图像共同输入所述深度残差网络Resnet50中;从所述深度残差网络Resnet50的全连接(FC)层之前获取所述样本图像特征以及所述感兴趣区域的整体特征,并从所述整体特征中切割出所述样本图像的整图分类特征、每个所述感兴趣区域的特征及整图与所述感兴趣区域融合后的特征。可选地,还可选择ResNeXt网络或Resnet101或其他同类型的残差网络作为所述分类模块。
S15,根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值。
在一个具体实施例中,如图7所示,将从全连接(FC)层之前得到的整体特征分割出整图分类特征以及所述感兴趣区域的整体特征融合后输入全连接(FC)层并计算损失Loss2,得到所述整图分类特征以及所述感兴趣区域的整体特征融合后的融合损失函数值;从所述全连接(FC)层之后得出所述样本图像的整图特征,并通过接入softmax层,得到对应于所述样本图像对应的整图损失函数值Loss3;将所述从全连接(FC)层之前得到的整体特征分割出来的所述感兴趣区域的部件特征输入全连接(FC)层和softmax层后,得到所述感兴趣区域对应的部件损失函数值Loss1;将将所述从全连接(FC)层之前得到的整体特征分割出来的所述感兴趣区域的整体特征输入全连接(FC)层且进行log softmax处理,分别得到所述感兴趣区域(三组)的损失函数值并与其对应的信息量共同计算等级损失,得到所述感兴趣区域(三组)对应的等级损失函数值
可选地,所述log softmax可由其他损失计算方法替代,例如NLLLoss或CrossEntropy softmax。
S16,基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。
在一个具体实施例中,如图7所示,将所述融合损失函数值、所述样本图像对应的整图损失函数值、所述感兴趣区域整体特征对应的部件损失函数值以及所述感兴趣区域(三组)对应的等级损失函数,按一定的权重求和,对所述SqueezeNet网络以及所述Resnet50网络进行参数更新,直到所述SqueezeNet网络以及所述Resnet50网络的更新次数达到阈值后停止,或,所述SqueezeNet网络以及所述Resnet50网络的损失函数值在某一预设范围后停止,以得到所述车辆年款识别模型。其中,所述车辆年款识别模型由SqueezeNet网络和Resnet50网络组成。
本发明实施例提供的车辆年款识别模型的训练方法,通过特征提取模块提取所述车辆样本图像的至少2组特征并得到所述至少2组特征对应的感兴趣区域及其得分值;通过将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,得到所述样本图像的整图分类特征、所述感兴趣区域的特征及整图与所述感兴趣区域融合后的特征;并基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。该方法通过将提取至少2组特征,以及将感兴趣区域以及所述车辆样本图像融合后输入分类模块,并根据损失函数对所述识别模型进行优化,不仅提升了特征提取的层次感,还得出对应的损失函数以对识别模型进行参数更新,从而提高了识别的准确性。
图2是根据本发明实施例的车辆年款识别模型的训练方法的完整流程图,如图2所示,该方法包括如下步骤:
S21,获取带标注信息的车辆样本图像。
其中,所述标注信息包括所述车辆样本图像中的车辆品牌以及年款。
详细请参见图1所述的S11,在此不再赘述。
S22,将所述车辆样本图像输入特征提取模块中,以得到所述车辆样本图像的至少2组特征。
详细请参见图1所示的S12,在此不再赘述。
S23,基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值。
详细请参见图1所示的S13,在此不再赘述。
可选地,所述步骤S23可包含如下步骤:
S231,分别利用每组特征,生成对应于每组特征的多个候选区域。
具体地,将所述每组特征输入所述区域生成网络(Region Proposal Network,简称RPN),得到对应于每组特征的多个矩形框且每个矩形框对应一个得分值,所述矩形框对应的区域即为所述候选区域。
S232,基于所述多个候选区域,生成对应于每组特征的感兴趣区域及其得分值。
具体地,将所述多个矩形框及其得分值进行非极大值抑制(NMS)处理或排序筛选处理,得到每组分值最高的矩形框,所述得分值最高的矩形框即为所述感兴趣区域。
可选地,所述步骤S232可包括:
(1)计算每个所述候选区域的得分值。
(2)确定所述得分值最高的候选区域为所述感兴趣区域。
S24,将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征。
其中,所述车辆年款识别模型包括所述特征提取模块以及所述分类模块。
详细请参见图1所示的S14,在此不再赘述。
可选地,所述步骤S24可包含如下步骤:
S241,将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中。
其中,所述分类模块的输出为所述车辆样本图像的年款分类;
具体地,将所述感兴趣区域以及所述车辆样本图像共同输入Resnet50中。
S242,提取所述分类模块的最后一层池化层的输出,以得到所述车辆样本图像的整体特征。
具体地,从所述深度残差网络Resnet50的全连接(FC)层之前也即最后一层池化层的输出获取所述样本图像特征以及所述感兴趣区域的整体特征。
S243,对所述车辆样本图像的整体特征进行分割,以得到所述样本图像的整图分类特征以及所述感兴趣区域的特征。
具体地,从所述整体特征中切割出所述样本图像的整图分类特征以及对应于每个所述感兴趣区域的特征。
S25,根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值。
详细请参见图1所示的S15,在此不再赘述。
可选地,所述步骤S25可包含如下步骤:
S251,将所述样本图像的整图分类特征与所述感兴趣区域的特征进行融合,以得到融合特征。
具体地,将从全连接(FC)层之前得到的整体特征分割出整图分类特征以及所述感兴趣区域的整体特征,并将所述整图分类特征与所述整体特征进行融合后得到所述融合特征。
S252,基于所述融合特征,计算融合损失函数值。
具体地,将所述融合特征输入全连接(FC)层并计算损失函数,得到所述融合损失函数值。
S253,利用所有所述感兴趣区域的特征,计算部件损失函数值。
具体地,将从全连接(FC)层之前得到的整体特征分割出来的所述感兴趣区域的特征输入全连接(FC)层和softmax层后,得到所述感兴趣区域对应的部件损失函数值。
S254,利用所述样本图像的整图分类特征,计算整图损失函数值。
具体地,为了降低计算的复杂性,将从全连接(FC)层之后得到的所述车辆样本图像与所述感兴趣区域的共同分类特征中分割出对应所述样本图像的整图特征,将所述整图特征作为所述整图分类特征,接入softmax层后得到所述整图分类特征对应的整图损失函数。
S255,利用每个所述感兴趣区域的特征及其对应的得分值,计算每个所述感兴趣区域对应的等级损失函数值。
具体地,将将所述从全连接(FC)层之前得到的整体特征分割出来的所述感兴趣区域的特征输入全连接(FC)层且进行log softmax处理,分别得到所述感兴趣区域(三组)的损失函数值并与其对应的信息量共同计算等级损失,得到所述感兴趣区域(三组)对应的等级损失函数。
S256,基于各个所述等级损失函数值、所述部件损失函数值、所述融合损失函数值以及所述整图损失函数值,计算所述损失函数值。
具体地,将所述等级损失函数值、所述部件损失函数值、所述融合损失函数值以及所述整图损失函数值,按一定的权重求和,得到所述损失函数值。
作为本发明实施例的中可选实施方式,所述损失函数采用如下计算公式计算:
在一个具体实施例中,所述感兴趣区域为三组,因此,所述损失函数的计算公式为:
图3是根据本发明实施例提供的车辆年款的识别方法的流程图,如图3所示,该方法包括如下步骤:
S31,获取目标车辆图像。
具体地,所述目标车辆图像可以从车辆卡口或公路摄像头中获得,所述车辆图像可以是汽车、卡车、公交车中的任意类型。
S32,将所述目标车辆图像输入车辆年款识别模型中,以得到所述目标车辆图像的年款。
具体地,所述车辆年款识别模型包括特征提取模块以及分类模块,优选地,选择轻量级神经网络SqueezeNet作为所述特征提取模块,选择深度残差网络Resnet50作为所述分类模块;将所述目标车辆图像输入所述车辆年款识别模型后,由轻量级神经网络SqueezeNet进行特征提取,再通过深度残差网络Resnet50进行分类,得到所述目标车辆图像的年款。
本发明实施例提供的车辆年款的识别方法,通过将目标车辆图像输入所述车辆年款识别模型进行分类,得出所述目标车辆图像的年款,其中,所述车辆年款识别模型是利用样本图像的至少2组特征以及所述样本图像共同进行训练,并以损失函数值进行参数优化得到的,能够保证所述目标车辆图像年款识别的准确性。
图4是根据本发明实施例的车辆年款识别模型的训练装置,如图4所示,包括:
第一获取模块41,用于获取带标注信息的车辆样本图像;其中,所述标注信息包括所述车辆样本图像中的车辆品牌以及年款;
第一特征提取模块42,用于将所述车辆样本图像输入特征提取模块中,以得到所述车辆样本图像的至少2组特征;
打分模块43,用于基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值;
第二特征提取模块44,用于将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征;其中,所述车辆年款识别模型包括所述特征提取模块以及所述分类模块;
计算模块45,用于根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值;
参数优化模块46,用于基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。
本发明实施例提供的车辆年款识别模型的训练装置,通过特征提取模块提取所述车辆样本图像的至少2组特征并得到所述至少2组特征对应的感兴趣区域及其得分值;通过将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,得到所述样本图像的整图分类特征、每个所述感兴趣区域的特征以及整图与所述感兴趣区域融合特征;并基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以得到所述车辆年款识别模型。该方法通过将提取至少2组特征,以及将感兴趣区域以及所述车辆样本图像融合后输入分类模块,并根据损失函数对所述识别模型进行优化,不仅提升了特征提取的层次感,还得出对应的损失函数以对识别模型进行参数更新,从而提高了识别的准确性。
图5是根据本发明实施例的车辆年款的识别装置,如图5所示,包括:
第二获取模块51,用于获取目标车辆图像;
识别模块52,用于将所述目标车辆图像输入车辆年款识别模型中,以得到所述目标车辆图像的年款;其中,所述车辆年款识别模型是根据图1或图2所示的车辆年款模型的训练方法训练得到的。
本发明实施例提供的车辆年款的识别装置,通过将目标车辆图像输入所述车辆年款识别模型进行分类,得出所述目标车辆图像的年款,其中,所述车辆年款识别模型是利用样本图像的至少2组特征以及所述样本图像共同进行训练,并以损失函数值进行参数优化得到的,能够保证所述目标车辆图像年款识别的准确性。
本发明实施例还提供一种电子设备,具有图4所示的车辆年款识别模型的训练装置以及图5所示的车辆年款的识别装置。
请参阅图6,图6是根据本发明实施例提供的电子设备的结构示意图,如图6所示,该电子设备可以包括:至少一个处理器61,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口63,存储器64,至少一个通信总线62。其中,通信总线62用于实现这些组件之间的连接通信。其中,通信接口63可以包括显示屏(Display)、键盘(Keyboard),可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图4以及图5所描述的装置,存储器64中存储应用程序,且处理器61调用存储器64中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线62可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器64可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:harddisk drive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器64还可以包括上述种类的存储器的组合。
其中,处理器61可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器64还用于存储程序指令。处理器71可以调用程序指令,实现如本申请图1-图2实施例中所示的车辆年款识别模型的训练方法和/或图3所示的车辆年款的识别方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的车辆年款识别模型的训练方法和/或车辆年款的识别方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种车辆年款识别模型的训练方法,其特征在于,包括:
获取带标注信息的车辆样本图像;其中,所述标注信息包括所述车辆样本图像中的车辆品牌以及年款;
将所述车辆样本图像输入特征提取模块中,以得到所述车辆样本图像的至少2组特征;
基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值;
将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域的融合后的特征;其中,所述车辆年款识别模型包括所述特征提取模块以及所述分类模块;
根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域的融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值;
基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。
2.根据权利要求1所述的方法,其特征在于,所述基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值,包括:
分别利用每组特征,生成对应于每组特征的多个候选区域;
基于所述多个候选区域,生成对应于每组特征的感兴趣区域及其得分值。
3.根据权利要求2所述的方法,其特征在于,所述基于所述多个候选区域,生成对应于每组特征的感兴趣区域及其得分值,包括:
计算每个所述候选区域的得分值;
确定所述得分值最高的候选区域为所述感兴趣区域。
4.根据权利要求1所述的方法,其特征在于,所述将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征,包括:
将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中;其中,所述分类模块的输出为所述车辆样本图像的年款分类;
提取所述分类模块的最后一层池化层的输出,以得到所述车辆样本图像的整体特征;
对所述车辆样本图像的整体特征进行分割,以得到所述样本图像的整图分类特征以及所述感兴趣区域的特征。
5.根据权利要求1所述的方法,其特征在于,所述根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域的融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值,包括:
将所述样本图像的整图特征与所述感兴趣区域的特征进行融合,以得到融合特征;
基于所述融合特征,计算融合损失函数值;
利用所述感兴趣区域的特征,计算部件损失函数值;
利用所述样本图像的整图分类特征,计算整图损失函数值;
利用每个所述感兴趣区域的特征及其对应的得分值,计算每个所述感兴趣区域对应的等级损失函数值;
基于各个所述等级损失函数值、所述部件损失函数值、所述融合损失函数值以及所述整图损失函数值,计算所述损失函数值。
7.一种车辆年款的识别方法,其特征在于,包括:
获取目标车辆图像;
将所述目标车辆图像输入车辆年款识别模型中,以得到所述目标车辆图像的年款;其中,所述车辆年款识别模型是根据权利要求1-6中任一项所述的车辆年款模型的训练方法训练得到的。
8.一种车辆年款识别模型的训练装置,其特征在于,包括:
第一获取模块,用于获取带标注信息的车辆样本图像;其中,所述标注信息包括所述车辆样本图像中的车辆品牌以及年款;
第一特征提取模块,用于将所述车辆样本图像输入特征提取模块中,以得到所述车辆样本图像的至少2组特征;
打分模块,用于基于所述至少2组特征,得到对应于每组特征的感兴趣区域及其得分值;
第二特征提取模块,用于将所述感兴趣区域以及所述车辆样本图像融合后输入分类模块中,以得到所述样本图像的整图分类特征、所述感兴趣区域的特征以及整图与所述感兴趣区域融合后的特征;其中,所述车辆年款识别模型包括所述特征提取模块以及所述分类模块;
计算模块,用于根据所述样本图像的整图分类特征、所述感兴趣区域的特征、整图与所述感兴趣区域融合后的特征以及每个所述感兴趣区域的得分值,计算损失函数值;
参数优化模块,用于基于所述车辆样本图像的标注信息以及所述损失函数值,对所述特征提取模块以及所述分类模块的参数进行更新,以优化所述车辆年款识别模型。
9.一种车辆年款的识别装置,其特征在于,包括:
第二获取模块,用于获取目标车辆图像;
识别模块,用于将所述目标车辆图像输入车辆年款识别模型中,以得到所述目标车辆图像的年款;其中,所述车辆年款识别模型是根据权利要求1-6中任一项所述的车辆年款模型的训练方法训练得到的。
10.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-6中任一项所述的车辆年款识别模型的训练方法或权利要求7所述的车辆年款的识别方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010137345.7A CN111340026B (zh) | 2020-03-05 | 2020-03-05 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
PCT/CN2020/121514 WO2021174863A1 (zh) | 2020-03-05 | 2020-10-16 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010137345.7A CN111340026B (zh) | 2020-03-05 | 2020-03-05 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340026A true CN111340026A (zh) | 2020-06-26 |
CN111340026B CN111340026B (zh) | 2022-07-01 |
Family
ID=71184648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010137345.7A Active CN111340026B (zh) | 2020-03-05 | 2020-03-05 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111340026B (zh) |
WO (1) | WO2021174863A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767954A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 车辆细粒度识别模型生成方法、系统、设备及存储介质 |
CN111783654A (zh) * | 2020-06-30 | 2020-10-16 | 苏州科达科技股份有限公司 | 车辆重识别方法、装置及电子设备 |
CN112101246A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种车辆识别方法、装置、设备及介质 |
CN113298139A (zh) * | 2021-05-21 | 2021-08-24 | 广州文远知行科技有限公司 | 一种图像数据优化方法、装置、设备和介质 |
WO2021174863A1 (zh) * | 2020-03-05 | 2021-09-10 | 苏州科达科技股份有限公司 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022745A (zh) * | 2021-11-05 | 2022-02-08 | 光大科技有限公司 | 一种神经网络模型训练方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105590102A (zh) * | 2015-12-30 | 2016-05-18 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的前车车脸识别方法 |
CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
CN109359666A (zh) * | 2018-09-07 | 2019-02-19 | 佳都新太科技股份有限公司 | 一种基于多特征融合神经网络的车型识别方法及处理终端 |
CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、系统及计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8542950B2 (en) * | 2009-06-02 | 2013-09-24 | Yahoo! Inc. | Finding iconic images |
CN106548145A (zh) * | 2016-10-31 | 2017-03-29 | 北京小米移动软件有限公司 | 图像识别方法及装置 |
CN108090429B (zh) * | 2017-12-08 | 2020-07-24 | 浙江捷尚视觉科技股份有限公司 | 一种分级前脸卡口车型识别方法 |
CN111340026B (zh) * | 2020-03-05 | 2022-07-01 | 苏州科达科技股份有限公司 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
-
2020
- 2020-03-05 CN CN202010137345.7A patent/CN111340026B/zh active Active
- 2020-10-16 WO PCT/CN2020/121514 patent/WO2021174863A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105590102A (zh) * | 2015-12-30 | 2016-05-18 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的前车车脸识别方法 |
CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
CN109359666A (zh) * | 2018-09-07 | 2019-02-19 | 佳都新太科技股份有限公司 | 一种基于多特征融合神经网络的车型识别方法及处理终端 |
CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、系统及计算机可读存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021174863A1 (zh) * | 2020-03-05 | 2021-09-10 | 苏州科达科技股份有限公司 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
CN111767954A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 车辆细粒度识别模型生成方法、系统、设备及存储介质 |
CN111783654A (zh) * | 2020-06-30 | 2020-10-16 | 苏州科达科技股份有限公司 | 车辆重识别方法、装置及电子设备 |
CN112101246A (zh) * | 2020-09-18 | 2020-12-18 | 济南博观智能科技有限公司 | 一种车辆识别方法、装置、设备及介质 |
CN113298139A (zh) * | 2021-05-21 | 2021-08-24 | 广州文远知行科技有限公司 | 一种图像数据优化方法、装置、设备和介质 |
CN113298139B (zh) * | 2021-05-21 | 2024-02-27 | 广州文远知行科技有限公司 | 一种图像数据优化方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021174863A1 (zh) | 2021-09-10 |
CN111340026B (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340026B (zh) | 车辆年款识别模型的训练方法以及车辆年款的识别方法 | |
CN113033604B (zh) | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 | |
Li et al. | Automatic recognition and analysis system of asphalt pavement cracks using interleaved low-rank group convolution hybrid deep network and SegNet fusing dense condition random field | |
CN111461209B (zh) | 一种模型训练装置和方法 | |
CN113076842A (zh) | 一种用于提升极端天气与环境下交通标志识别精度的方法 | |
CN113554643B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
CN115239644B (zh) | 混凝土缺陷识别方法、装置、计算机设备和存储介质 | |
CN115546768B (zh) | 基于多尺度机制和注意力机制的路面标线识别方法及系统 | |
CN111523439B (zh) | 一种基于深度学习的目标检测的方法、系统、设备及介质 | |
CN111295666A (zh) | 一种车道线检测方法、装置、控制设备及存储介质 | |
CN113240623A (zh) | 一种路面病害检测方法及装置 | |
CN112990065A (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN115063786A (zh) | 一种高位远景模糊车牌检测方法 | |
CN113313706A (zh) | 基于检测参考点偏移分析的电力设备缺陷图像检测方法 | |
CN114677501A (zh) | 一种基于二维高斯边界框重叠度度量的车牌检测方法 | |
Mijić et al. | Traffic sign detection using YOLOv3 | |
CN118196740A (zh) | 基于复杂场景的自动驾驶目标检测方法、装置及存储介质 | |
CN116665153A (zh) | 一种基于改进型Deeplabv3+网络模型的道路场景分割方法 | |
CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
CN111126271B (zh) | 卡口抓拍图像车辆检测方法、计算机存储介质及电子设备 | |
CN115512330A (zh) | 基于图像分割与激光雷达点云补全的物体检测方法 | |
CN113947154B (zh) | 一种目标检测方法、系统、电子设备及存储介质 | |
Jiangzhou et al. | Research on real-time object detection algorithm in traffic monitoring scene | |
CN115205801A (zh) | 交通事故预测方法、装置、电子设备及存储介质 | |
CN114882205A (zh) | 基于注意力机制的目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |