CN111783654B - 车辆重识别方法、装置及电子设备 - Google Patents
车辆重识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111783654B CN111783654B CN202010618406.1A CN202010618406A CN111783654B CN 111783654 B CN111783654 B CN 111783654B CN 202010618406 A CN202010618406 A CN 202010618406A CN 111783654 B CN111783654 B CN 111783654B
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- vehicle image
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器视觉技术领域,具体涉及车辆重识别方法、装置及电子设备,其中方法包括获取目标车辆图像;将目标车辆图像输入属性检测模型中,得到目标车辆图像的至少一个第一感兴趣区域的位置信息;基于至少一个第一感兴趣区域的位置信息,利用特征提取模型对目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征;根据第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像。在目标车辆的重识别过程中,先将车辆的个性化信息作为车辆的感兴趣对象,然后提取感兴趣区域特征作为车辆的结构化特征并经过提升训练,可以提高车辆重识别的准确率。
Description
技术领域
本发明涉及机器视觉技术领域,具体涉及车辆重识别方法、装置及电子设备。
背景技术
目前车辆检索和识别(Re-ID)越来越受到计算机视觉领域的关注。车辆识别是智能交通系统中的重要问题,即通过一个摄像机拍摄得到的一辆车检索到利用其他摄像机拍摄到的同一辆车。
与人脸识别不同,车辆识别更具挑战性。这是由于属于同一车型的车辆具有相似的视觉外观,甚至很多刚出厂的车辆外观完全一致,导致车辆之间很难区分。尽管车牌为车辆提供了唯一的ID,但有时候仍然不容易识别车牌。例如,由于杂乱的环境导致的图像的分辨率不够、相机的性能不佳、车牌被遮挡或移除甚至伪造。
上述技术在进行车辆重识别的过程中存在识别错误的问题。尤其检索库里面存在出厂外观相同的车辆时,进行车辆重识别很困难,导致车辆重识别的准确率较低。
发明内容
有鉴于此,本发明实施例提供了一种车辆重识别方法、装置及电子设备,以解决车辆重识别的准确率偏低的问题。
根据第一方面,本发明实施例提供了一种车辆重识别方法,包括:
获取目标车辆图像;
将所述目标车辆图像输入属性检测模型中,得到所述目标车辆图像的至少一个第一感兴趣区域的位置信息;
基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征;
根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像;其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的。
本发明实施例提供的车辆重识别方法,在对目标车辆图像进行特征提取之前,先利用属性检测模型对目标车辆图像进行感兴趣区域的位置信息,利用目标车辆的个性化信息作为目标车辆的结构特征,使得在后续的特征提取过程中基于感兴趣区域进行特征提取,可以提高车辆识别的准确率。
结合第一方面,在第一方面第一实施方式中,所述基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征,包括:
利用所述特征提取模型的特征提取层,对所述目标车辆图像进行全局特征的提取,得到各个所述特征提取层的输出信息;
利用所述至少一个第一感兴趣区域的位置信息,提取至少一个所述特征提取层的输出信息;
对至少一个所述特征提取层的输出信息进行融合,得到所述第一感兴趣区域的特征。
本发明实施例提供的车辆重识别方法,通过从至少一个特征提取层的输出信息中提取出相应的输出信息,即通过不同特征提取层的输出信息的组合来捕获输入图像的高级特征,对学到的高级特征具有良好的泛化能力,对复杂的环境具有很强的鲁棒性,保证了后续车辆重识别的准确率。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述对提取出的输出信息进行融合,得到所述第一感兴趣区域的特征,包括:
利用所述第一感兴趣区域的位置信息,对提取出的输出信息进行整合,得到与所述第一感兴趣区域一一对应的特征向量;
对所有所述第一感兴趣区域的特征向量进行拼接,得到所述第一感兴趣区域的特征。
结合第一方面第二实施方式,在第一方面第三实施方式中,所述利用所述第一感兴趣区域的位置信息,对提取出的输出信息进行整合,得到与所述第一感兴趣区域一一对应的特征向量,包括:
利用所述位置信息,从输出信息中提取出对应的信息;
对提取出的信息进行平均汇集,得到与所述第一感兴趣区域一一对应的特征向量。
结合第一方面,在第一方面第四实施方式中,所述根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像,包括:
将所述第一感兴趣区域的特征与所述第二感兴趣区域的特征进行融合处理,得到目标特征向量;
将所述目标特征向量输入提升器中,得到所述第一感兴趣区域的特征与所述第二感兴趣区域的特征之间的距离;
基于所述距离确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像。
本发明实施例提供的车辆重识别方法,利用提升器来捕捉复杂的特征依赖关系以及特征兴趣,即采用提升器的方法来学习特征之间的内部关系以及特征的重要性来提高分类精度,提高了车辆重识别的准确率。
结合第一方面,在第一方面第五实施方式中,所述根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像,还包括:
获取所述目标车辆图像的第一全局特征与所述待匹配车辆图像的第二全局特征;
分别将所述第一全局特征与所述第一感兴趣区域的特征进行拼接,得到第一特征向量,以及将所述第二全局特征与所述第二感兴趣区域的特征进行拼接,得到第二特征向量;
将所述第一特征向量与所述第二特征向量进行融合处理,得到目标特征向量;
将所述目标特征向量输入提升器中,得到所述第一特征向量与所述第二特征向量之间的距离;
基于所述距离确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像。
本发明实施例提供的车辆重识别方法,将全局特征与感兴趣区域的特征进行融合,形成目标特征向量用于车辆重识别,使得目标特征向量具有丰富的特征,保证了重识别的准确率。
结合第一方面,在第一方面第六实施方式中,所述基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征,包括:
基于所述至少一个第一感兴趣区域的位置信息,利用所述特征提取模型从目标车辆图像中提取相应位置的图像,得到第一感兴趣区域的图像;
利用所述特征提取模型对第一感兴趣区域的图像进行特征提取,得到第一感兴趣区域的特征。
根据第二方面,本发明实施例还提供了一种车辆重识别装置,包括:
获取模块,用于获取目标车辆图像;
属性检测模块,用于将所述目标车辆图像输入属性检测模型中,得到所述目标车辆图像的至少一个第一感兴趣区域的位置信息;
特征提取模块,用于基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征;
识别模块,用于根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像;其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的。
本发明实施例提供的车辆重识别装置,在对目标车辆图像进行特征提取之前,先利用属性检测模型对目标车辆图像进行感兴趣区域的位置信息,利用目标车辆的个性化信息作为目标车辆的结构特征,使得在后续的特征提取过程中基于感兴趣区域进行特征提取,可以提高车辆识别的准确率。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的车辆重识别方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的车辆重识别方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的感兴趣区域的示意图;
图2是根据本发明实施例的车辆重识别方法的流程图;
图3是根据本发明实施例的车辆重识别方法的流程图;
图4是根据本发明实施例的车辆重识别方法的流程图;
图5是根据本发明实施例的车辆重识别方法的架构图;
图6是根据本发明实施例的车辆重识别装置的结构框图;
图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例基于深度卷积神经网络(DCNN),提出了一种利用感兴趣区域进行车辆重识别方法。与试图找出两辆车之间的一般差异的度量学习方法不同,本发明实施提供的车辆重识别方法可以告诉特征提取模型哪些区域对识别更感兴趣。虽然车辆具有非常相似的视觉外观,但是每个车辆仍然表现出由用户行为而产生的个性化信息。这种“个性”表现在两种相同的车辆之间具有一些细微差异,例如装饰,挡风玻璃贴纸等。
在此基础上,本发明实施例提供的车辆重识别方法,首先利用这些个性化信息作为识别车辆的结构特征,即感兴趣区域。例如,如图1所示,图1中为各个车辆的照片。所述的感兴趣区域包括车型(Car)、挡风玻璃(Wind-shieldGlass)、纸巾盒(Paper Box)等,这些属性组合在一起构成车辆的独特结构特征,可以应用于车辆识别。即,本发明实施例中所述的车辆重识别方法,首先利用属性检测模型得到目标车辆图像中的感兴趣区域的位置信息,再利用特征提取模型基于感兴趣区域的位置信息对感兴趣区域进行特征提取,并利用这些感兴趣区域的特征作为目标车辆的特征用于车辆识别。具体将在下文中对所述的车辆重识别方法进行详细描述。
根据本发明实施例,提供了一种车辆重识别方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种车辆重识别方法,可用于电子设备,如电脑、手机、平板电脑等,图2是根据本发明实施例的车辆重识别方法的流程图,如图2所示,该流程包括如下步骤:
S11,获取目标车辆图像。
目标车辆图像可以是事先存储在电子设备中,也可以是电子设备从外界获取到的。例如,电子设备从外界的监控设备中获取到的,或电子设备从外界的监控视频中提取出的监控视频图像帧等等。
在此对目标车辆图像具体获取形式并不做任何限制,只需保证电子设备能够获取到目标车辆图像即可。
S12,将目标车辆图像输入属性检测模型中,得到目标车辆图像的至少一个第一感兴趣区域的位置信息。
所述的属性检测模型也可以理解为分类模型,在此对属性检测模型的具体结构细节并不做任何限制,只需保证其输入为目标车辆图像,输出可以为目标车辆图像中各个第一感兴趣区域的位置信息。例如,如图1所示,示出了属性检测模型的输出结果,即在目标车辆图像上叠加感兴趣区域的标注信息。所述的标注信息包括感兴趣区域的类别以及位置信息。
可选地,属性检测模型的训练方法如下:首先收集了一个车辆数据集,包含若干张车辆样本图像,主要来自自然场景中的监控摄像头。基于这个数据集,通过包围盒(Box)来分层次地标记16类属性,形成车辆样本图像的标注信息。如图1所示,包括车型(Car)、挡风玻璃(Wind-shield Glass)、纸巾盒(PaperBox)等,这些属性组合在一起构成车辆的独特结构特征,可以应用于车辆识别。基于这个数据集,采用性能最好的端到端的检测方法SSD作为属性检测的基准模型。再利用带标注信息的车辆样本图像对基准模型进行训练,以更新基准模型的参数,从而得到所述的属性检测模型。
作为本实施例的一种可选实施方式,所述第一感兴趣区域包括:挡风玻璃、车标、年检标、车灯、吊饰、纸巾盒、装饰物、入口许可证、安全带、后视镜、遮光板、顶窗、行李架、车轮中的至少一种。在此对第一感兴趣区域的具体类别并不做任何限制,具体可以实际情况进行相应的设置。
S13,基于至少一个第一感兴趣区域的位置信息,利用特征提取模型对目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征。
电子设备在利用属性检测模型对目标车辆图像进行感兴趣区域的位置信息的确定之后,再将从属性检测模型的输出结果输入特征提取模型中,以利用特征提取模型对目标车辆图像进行感兴趣区域的特征提取。
具体地,特征提取模型可以利用至少一个第一感兴趣区域的位置信息从目标车辆图像中提取相应位置的图像,即得到第一感兴趣区域的图像;再对第一感兴趣区域的图像进行特征提取,得到第一感兴趣区域的特征。也可以是特征提取模型提取出目标车辆图像的全局特征,再利用至少一个感兴趣区域的位置信息从全局特征中提取出相应的第一感兴趣区域的特征。
其中,所述的特征提取可以采用卷积层实现,具体卷积层的数量以及卷积层与其他层之间的连接关系可以根据实际情况进行相应的设置,在此对特征提取模型的具体结构细节并不做任何限制。
电子设备利用特征提取模型对目标车辆图像的第一感兴趣区域进行特征提取之后,得到第一感兴趣区域的特征。其中,若目标车辆图像存在多个第一感兴趣区域,那么最后的第一感兴趣区域的特征为所有第一感兴趣区域的特征的融合。具体将在下文中对该步骤进行详细描述。
S14,根据第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定目标车辆图像与待匹配车辆图像是否为同一车辆的图像。
其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的。
所述的待匹配车辆图像可以是车辆图像库中的图像,也可以是电子设备从外界的其他监控设备中获取到的等等,在此对待匹配车辆图像的来源并不做任何限制。
待匹配车辆图像的第二感兴趣区域的特征可以采用与目标车辆图像的第一感兴趣区域的特征的提取方法相同,即,采用上述S12-S13对待匹配车辆图像进行第二感兴趣区域的特征提取。其中,第二感兴趣区域包括:挡风玻璃、车标、年检标、车灯、吊饰、纸巾盒、装饰物、入口许可证、安全带、后视镜、遮光板、顶窗、行李架、车轮中的至少一种。在此对第二感兴趣区域的具体类别并不做任何限制,具体可以实际情况进行相应的设置。但是需要保证第二感兴趣区域的具体类别与第一感兴趣区域的具体类别相同。例如,第一感兴趣区域的类别为:挡风玻璃、车标、年检标以及车灯;那么,相应地,第二感兴趣区域的类别同样为:挡风玻璃、车标、年检标以及车灯。
待匹配车辆的第二感兴趣区域的特征可以是事先获取到,并存储在电子设备中的;也可以是在需要时利用上述S12-S13提取出的等等,在此对待匹配车辆的第二感兴趣区域的特征的获取时机并不做任何限制。
电子设备在获取到目标车辆图像的第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征之后,可以先结合目标车辆图像的全局特征以及待匹配车辆图像的全局特征,再进行距离的计算等等。在此对具体的计算方式并不做任何限制,具体将在下文中进行详细描述。
本实施例提供的车辆重识别方法,在对目标车辆图像进行特征提取之前,先利用属性检测模型对目标车辆图像进行感兴趣区域的位置信息,利用目标车辆的个性化信息作为目标车辆的结构特征,使得在后续的特征提取过程中基于感兴趣区域进行特征提取,可以提高车辆识别的准确率。
在本实施例中提供了一种车辆重识别方法,可用于电子设备,如电脑、手机、平板电脑等,图3是根据本发明实施例的车辆重识别方法的流程图,如图3所示,该流程包括如下步骤:
S21,获取目标车辆图像。
详细请参见图2所示实施例的S11,在此不再赘述。
S22,将目标车辆图像输入属性检测模型中,得到目标车辆图像的至少一个第一感兴趣区域的位置信息。
详细请参见图2所示实施例的S12,在此不再赘述。
S23,基于至少一个第一感兴趣区域的位置信息,利用特征提取模型对目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征。
具体地,上述S23包括如下步骤:
S231,利用特征提取模型的特征提取层,对目标车辆图像进行全局特征的提取,得到各个特征提取层的输出信息。
特征提取模型中的特征提取层包括至少一个,那么电子设备就可以利用这些特征提取层对输入的目标车辆图像进行全局特征的提取。其中,每个特征提取层均对应有一个输出信息,该输出信息表示经该特征提取层提取出的全局特征。
S232,利用至少一个第一感兴趣区域的位置信息,提取至少一个特征提取层的输出信息。
电子设备在得到各个特征提取层的输出信息之后,可以利用第一感兴趣区域的位置信息从提取至少一个特征提取层的输出信息。例如,特征提取模型包括4个特征提取层,那么电子设备可以利用第一感兴趣区域的位置信息从最后一个特征提取层的输出信息中提取出相应的输出信息,以及从最后一个特征提取层往前的2个特征提取层的输出信息中提取出相应的输出信息,即,电子设备总共提取出3个特征提取层的输出信息中对应于第一感兴趣区域的位置信息的输出信息。
当然,也可以从所有的特征提取层的输出信息中提取对应于第一感兴趣区域的位置信息的输出信息。在此对具体输出信息对应于哪些特征提取层并不做任何限制。
S233,对至少一个特征提取层的输出信息进行融合,得到第一感兴趣区域的特征。
电子设备在提取得到各个第一感兴趣区域的特征之后,将各个第一感兴趣区域的特征进行融合,例如拼接,即可得到第一感兴趣区域的特征。
具体地,上述S233包括如下步骤:
(1)利用第一感兴趣区域的位置信息,对至少一个特征提取层的输出信息进行整合,得到与第一感兴趣区域一一对应的特征向量。
特征提取模型是经过一个残差网络进行训练得到的。具体而言,特征提取层可以表示为具有h×w×d个元素的3阶张量T,其包括一组二维的特征映射。这些特征图内嵌有丰富的局部视觉信息和空间信息,并且也可以获得中高级信息,例如对象部分。从另一个角度来看,这些层也可以被看作是在h×w个位置提取的d维深度描述符的阵列。
具体地,上述步骤(1)可以包括如下步骤:
(1.1)利用位置信息,从输出信息中提取出对应的信息。
对于特征提取模块而言,每个第一感兴趣区域在第i个特征提取层中的位置表示为:(y'i,x'i,hi,wi)。其中,(y'i,x'i)为第一感兴趣区域在第i个特征提取层中左上角的坐标,(hi,wi)为第一感兴趣区域在第i个特征提取层中高度以及宽度。
因此,每个特征映射中相应的二维特征由它的位置从h×w中提取。
(1.2)对提取出的信息进行平均汇集,得到与第一感兴趣区域一一对应的特征向量。
并且(hi,wi)的特征映射可以通过平均汇集为一维,得到与第一感兴趣区域一一对应的特征向量。
(2)对所有第一感兴趣区域的特征向量进行拼接,得到第一感兴趣区域的特征。
因此,每个第一感兴趣区域的特征为1×d,则n个第一感兴趣区域的特征被连接为n×d,由此即可得到第一感兴趣区域的特征。
具体地,如图5所示,特征提取模块包括d个特征提取层,目标车辆图像具有n个第一感兴趣区域。对于每个第一感兴趣区域,电子设备从d个特征提取层的输出信息中均可提取出相应的特征,再对从每个特征提取层的提取出的特征进行平均汇集,得到一维向量。因此,每个第一感兴趣区域,均可得到1×d维的特征;相应地,n个第一感兴趣区域,可以得到n×d的特征。
S24,根据第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定目标车辆图像与待匹配车辆图像是否为同一车辆的图像。
其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的。
详细请参见图2所示实施例的S14,在此不再赘述。
本实施例提供的车辆重识别方法,通过从至少一个特征提取层的输出信息中提取出相应的输出信息,即通过不同特征提取层的输出信息的组合来捕获输入图像的高级特征,对学到的高级特征具有良好的泛化能力,对复杂的环境具有很强的鲁棒性,保证了后续车辆重识别的准确率。
在本实施例中提供了一种车辆重识别方法,可用于电子设备,如电脑、手机、平板电脑等,图4是根据本发明实施例的车辆重识别方法的流程图,如图4所示,该流程包括如下步骤:
S31,获取目标车辆图像。
详细请参见图3所示实施例的S21,在此不再赘述。
S32,将目标车辆图像输入属性检测模型中,得到目标车辆图像的至少一个第一感兴趣区域的位置信息。
详细请参见图3所示实施例的S22,在此不再赘述。
S33,基于至少一个第一感兴趣区域的位置信息,利用特征提取模型对目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征。
详细请参见图3所示实施例的S23,在此不再赘述。
S34,根据第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像。
其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的。
在本实施例中,将目标车辆图像以及待匹配车辆图像的全局特征分别结合到第一感兴趣区域的特征以及第二感兴趣区域的特征中,得到对应于目标车辆图像的第一特征向量,以及对应于待匹配车辆图像的第二特征向量。具体地,上述S34包括如下步骤:
S341,获取目标车辆图像的第一全局特征与待匹配车辆图像的第二全局特征。
其中,第一全局特征以及第二全局特征可以从特征提取模型的最后一个特征提取层的输出信息中提取到。
S342,分别将第一全局特征与第一感兴趣区域的特征进行拼接,得到第一特征向量,以及将第二全局特征与所述第二感兴趣区域的特征进行拼接,得到第二特征向量。
电子设备将所有的ROI特征和车辆整体特征可表示成一辆车的一维向量,即分别得到第一特征向量以及第二特征向量。
S343,将第一特征向量与第二特征向量进行融合处理,得到目标特征向量。
电子设备可以对第一特征向量与第二特征向量进行差值运算,得到目标特征向量;也可以将第一特征向量与第二特征向量进行哈达玛积,得到目标特征向量,等等。在此对计算目标特征向量的方式并不做任何限制,只需保证输入提升器中的向量为由第一特征向量与第二特征向量融合处理后得到的一个目标特征向量即可。
S344,将目标特征向量输入提升器中,得到第一特征向量与第二特征向量之间的距离。
由于感兴趣区域特征与全局特征的结合可以作为标记每辆车的唯一结构特征。然而,如果各个特征单独用于识别,每个特征都是弱分类器,并且简单的组合无法很好地区分车辆。因此需要一个有效的模型来捕捉复杂的特征依赖关系以及特征兴趣,在本实施例中采用提升器来将弱分类器训练成为一个强分类器。
其中是回归树(也称为CART)的空间。这里q表示每个树的结构,它将一个样本映射到相应的叶索引。T是树中的叶子数量。每个fk对应于独立的树结构q和叶子权重w。与决策树不同,每个回归树包含每个叶子上的连续分数,使用wi表示第i个叶子上的分数。对于给定的样本,将使用树中的决策规则(由q给出)将其分类到树叶中,并通过计算相应树叶中的得分(由w给出)总和来计算最终预测。为了学习模型中使用的一组函数,将以下正则化目标最小化。
这里l是可测量的可微凸损失函数,它用于预测y~1和目标y之间的差异。第二项Ω用于惩罚模型的复杂性(即回归树函数)。正则化项有助于平滑最终学习权重以避免过拟合。直观地,正则化目标趋向于选择一个采用简单且具有预测功能的模型。当正则化参数设置为零时,目标回落到传统的梯度渐进树。
通过对提升器进行训练,其可以用来学习特征之间的内部关系以及特征的重要性来提高分类精度。具体地,提升器的输入为目标特征向量,输出为第一特征向量与第二特征向量之间的距离。
S345,基于距离确定目标车辆图像与待匹配车辆图像是否为同一车辆的图像。
电子设备在得到第一特征向量与第二特征向量之间的距离之后,可以将计算出的距离与阈值进行比较,当计算出的距离小于阈值时,表示目标车辆图像与待匹配车辆图像属于同一车辆的图像;当计算出的距离大于或等于阈值时,表示目标车辆图像与待匹配车辆图像不属于同一车辆的图像,还需要再次进行目标车辆的检索与识别。
本实施例提供的车辆重识别方法,利用提升器来捕捉复杂的特征依赖关系以及特征兴趣,即采用提升器的方法来学习特征之间的内部关系以及特征的重要性来提高分类精度,提高了车辆重识别的准确率。
作为本实施例的一种可选实施方式,还可以仅利用感兴趣区域的特征进行车辆的检索与识别。上述S34包括如下步骤:
(1)将第一感兴趣区域的特征与第二感兴趣区域的特征进行融合处理,得到目标特征向量。
该步骤与上述图4所示实施例的S343类似,详细请参见图4所示实施例的S343,在此不再赘述。
(2)将目标特征向量输入提升器中,得到第一感兴趣区域的特征与第二感兴趣区域的特征之间的距离。
该步骤与上述图4所示实施例的S344类似,详细请参见图4所示实施例的S344,在此不再赘述。
(3)基于距离确定目标车辆图像与待匹配车辆图像是否为同一车辆的图像。
该步骤与上述图4所示实施例的S345类似,详细请参见图4所示实施例的S345,在此不再赘述。
基于本发明实施例所提供的车辆重识别方法,在目前最大的车辆检索和识别数据集VehicleID进行评估。主要有三个测试集(即800,1600,2400,数据表示搜索库的大小)。跟调研的方法相比,在800的测试集上,TOP1精度从72.3%上升到76.1%。TOP5精度从85.7%上升到91.2%;在1600的测试集上,TOP1精度从70.8%上升到73.1%。TOP5精度从81.8%上升到87.5%;在2400的测试集上,TOP1精度从68%上升到71.2%。TOP5精度从78.9%上升到84.7%。本发明实施例提供的车辆重识别方法不仅对车辆重识别整体精度有较大提升,对一些外观相似的车辆,检索效果明显优于现有技术中的方法。
作为本实施例的一个具体应用实例,如图5所示,图5示出了车辆重识别的方法架构。具体地:对于任意给定的两辆车,每辆车首先由训练好的属性检测模型检测ROIs,具体地包括轿车、挡风玻璃、车标、年检标、车灯、吊饰、纸巾盒、装饰物、入口许可证、安全带、后视镜、新手标、遮光板、顶窗、行李架、车轮。同时训练一个特征提取模型,并采用训练好的特征提取模型提取整辆车的特征,之后根据原始图与特征图对应的位置映射关系,可计算每个ROI在特征图中的位置并获取相应的特征,最终所有的ROI特征和车辆整体特征可表示成一辆车的一维向量。为了判断两辆车的图片是否属于同一辆,我们需要从一维向量中学习一个有效的特征偏好模型来捕捉复杂的数据依赖关系。对比两辆车之间的一维向量的距离,判断是否是同一辆车。距离越小,判断为同一辆车可能性越大。
在本实施例中还提供了一种车辆重识别装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种车辆重识别装置,如图6所示,包括:
获取模块41,用于获取目标车辆图像;
属性检测模块42,用于将所述目标车辆图像输入属性检测模型中,得到所述目标车辆图像的至少一个第一感兴趣区域的位置信息;
特征提取模块43,用于基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征;
识别模块44,用于根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像;其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的。
本实施例中的车辆重识别装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种电子设备,具有上述图6所示的车辆重识别装置。
请参阅图7,图7是本发明可选实施例提供的一种电子设备的结构示意图,如图7所示,该电子设备可以包括:至少一个处理器51,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口53,存储器54,至少一个通信总线52。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口53可以包括显示屏(Display)、键盘(Keyboard),可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图6所描述的装置,存储器54中存储应用程序,且处理器51调用存储器54中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线52可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器54可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器54还可以包括上述种类的存储器的组合。
其中,处理器51可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器54还用于存储程序指令。处理器51可以调用程序指令,实现如本申请图2至4实施例中所示的车辆重识别方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的车辆重识别方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种车辆重识别方法,其特征在于,包括:
获取目标车辆图像;
将所述目标车辆图像输入属性检测模型中,得到所述目标车辆图像的至少一个第一感兴趣区域的位置信息;
基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征;
根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像;其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的;感兴趣区域用于表征具有用户的个性化信息的车辆区域,用户的个性化信息是由用户行为产生的。
2.根据权利要求1所述的方法,其特征在于,所述基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征,包括:
利用所述特征提取模型的特征提取层,对所述目标车辆图像进行全局特征的提取,得到各个所述特征提取层的输出信息;
利用所述至少一个第一感兴趣区域的位置信息,提取至少一个所述特征提取层的输出信息;
对至少一个所述特征提取层的输出信息进行融合,得到所述第一感兴趣区域的特征。
3.根据权利要求2所述的方法,其特征在于,对提取出的输出信息进行融合,得到所述第一感兴趣区域的特征,包括:
利用所述第一感兴趣区域的位置信息,对提取出的输出信息进行整合,得到与所述第一感兴趣区域一一对应的特征向量;
对所有所述第一感兴趣区域的特征向量进行拼接,得到所述第一感兴趣区域的特征。
4.根据权利要求3所述的方法,其特征在于,所述利用所述第一感兴趣区域的位置信息,对提取出的输出信息进行整合,得到与所述第一感兴趣区域一一对应的特征向量,包括:
利用所述位置信息,从输出信息中提取出对应的信息;
对提取出的信息进行平均汇集,得到与所述第一感兴趣区域一一对应的特征向量。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像,包括:
将所述第一感兴趣区域的特征与所述第二感兴趣区域的特征进行融合处理,得到目标特征向量;
将所述目标特征向量输入提升器中,得到所述第一感兴趣区域的特征与所述第二感兴趣区域的特征之间的距离;
基于所述距离确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像,还包括:
获取所述目标车辆图像的第一全局特征与所述待匹配车辆图像的第二全局特征;
分别将所述第一全局特征与所述第一感兴趣区域的特征进行拼接,得到第一特征向量,以及将所述第二全局特征与所述第二感兴趣区域的特征进行拼接,得到第二特征向量;
将所述第一特征向量与所述第二特征向量进行融合处理,得到目标特征向量;
将所述目标特征向量输入提升器中,得到所述第一特征向量与所述第二特征向量之间的距离;
基于所述距离确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像。
7.根据权利要求1所述的方法,其特征在于,所述基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征,包括:
基于所述至少一个第一感兴趣区域的位置信息,利用所述特征提取模型从目标车辆图像中提取相应位置的图像,得到第一感兴趣区域的图像;
利用所述特征提取模型对第一感兴趣区域的图像进行特征提取,得到第一感兴趣区域的特征。
8.一种车辆重识别装置,其特征在于,包括:
获取模块,用于获取目标车辆图像;
属性检测模块,用于将所述目标车辆图像输入属性检测模型中,得到所述目标车辆图像的至少一个第一感兴趣区域的位置信息;
特征提取模块,用于基于所述至少一个第一感兴趣区域的位置信息,利用特征提取模型对所述目标车辆图像进行感兴趣区域的特征提取,得到第一感兴趣区域的特征;
识别模块,用于根据所述第一感兴趣区域的特征以及待匹配车辆图像的第二感兴趣区域的特征,确定所述目标车辆图像与所述待匹配车辆图像是否为同一车辆的图像;其中,所述第二感兴趣区域的特征是利用所述属性检测模型确定所述待匹配车辆图像的至少一个第二感兴趣区域的位置信息,并基于所述至少一个第二感兴趣区域的位置信息利用所述特征提取模型进行感兴趣区域的特征提取得到的;感兴趣区域用于表征具有用户的个性化信息的车辆区域,用户的个性化信息是由用户行为产生的。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7中任一项所述的车辆重识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的车辆重识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010618406.1A CN111783654B (zh) | 2020-06-30 | 2020-06-30 | 车辆重识别方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010618406.1A CN111783654B (zh) | 2020-06-30 | 2020-06-30 | 车辆重识别方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111783654A CN111783654A (zh) | 2020-10-16 |
CN111783654B true CN111783654B (zh) | 2022-09-09 |
Family
ID=72760552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010618406.1A Active CN111783654B (zh) | 2020-06-30 | 2020-06-30 | 车辆重识别方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111783654B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693863A (zh) * | 2020-12-29 | 2022-07-01 | 北京万集科技股份有限公司 | 一种基于激光雷达相机的车辆重识别方法及装置 |
CN112906691B (zh) * | 2021-01-29 | 2023-11-24 | 深圳安智杰科技有限公司 | 测距方法及装置、存储介质及电子设备 |
CN113205546A (zh) * | 2021-04-30 | 2021-08-03 | 四川云从天府人工智能科技有限公司 | 获得目标车辆运动轨迹的方法、系统、介质及设备 |
CN113393265B (zh) * | 2021-05-25 | 2023-04-25 | 浙江大华技术股份有限公司 | 过路对象的特征库建库方法、电子装置和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729818B (zh) * | 2017-09-21 | 2020-09-22 | 北京航空航天大学 | 一种基于深度学习的多特征融合车辆重识别方法 |
CN109508731A (zh) * | 2018-10-09 | 2019-03-22 | 中山大学 | 一种基于融合特征的车辆重识别方法、系统及装置 |
CN111340026B (zh) * | 2020-03-05 | 2022-07-01 | 苏州科达科技股份有限公司 | 车辆年款识别模型的训练方法以及车辆年款的识别方法 |
-
2020
- 2020-06-30 CN CN202010618406.1A patent/CN111783654B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111783654A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111783654B (zh) | 车辆重识别方法、装置及电子设备 | |
US11144786B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
US9842266B2 (en) | Method for detecting driver cell phone usage from side-view images | |
CN109063768B (zh) | 车辆重识别方法、装置及系统 | |
US9721173B2 (en) | Machine learning approach for detecting mobile phone usage by a driver | |
CN111126224A (zh) | 车辆检测方法及分类识别模型训练方法 | |
KR20190069457A (ko) | 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 | |
CN111797653A (zh) | 基于高维图像的图像标注方法和装置 | |
US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
CN111104867A (zh) | 基于部件分割的识别模型训练、车辆重识别方法及装置 | |
CN106570439B (zh) | 一种车辆检测方法及装置 | |
CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
CN114049572A (zh) | 识别小目标的检测方法 | |
CN113971821A (zh) | 驾驶员信息确定方法、装置、终端设备及存储介质 | |
CN114170516A (zh) | 一种基于路侧感知的车辆重识别方法、装置及电子设备 | |
Raj et al. | Vacant parking lot detection system using random forest classification | |
CN115205615A (zh) | 一种车辆清洁度检测方法、装置和计算机可读存储介质 | |
Kročka et al. | Extending parking occupancy detection model for night lighting and snowy weather conditions | |
Santos et al. | Car recognition based on back lights and rear view features | |
Tumas et al. | Acceleration of HOG based pedestrian detection in FIR camera video stream | |
CN111680564B (zh) | 一种全天候行人重识别方法、系统、设备及存储介质 | |
CN112686122A (zh) | 人体及影子的检测方法、装置、电子设备、存储介质 | |
CN108873097B (zh) | 无人停车库中载车板停车时的安全检测方法及装置 | |
CN116310675A (zh) | 一种低照度下红外-可见光图像的特征互补图像处理方法 | |
CN114627500A (zh) | 一种基于卷积神经网络的跨模态行人重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |