CN111291821A - 车辆重识别方法、装置、计算机设备和存储介质 - Google Patents
车辆重识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111291821A CN111291821A CN202010105071.3A CN202010105071A CN111291821A CN 111291821 A CN111291821 A CN 111291821A CN 202010105071 A CN202010105071 A CN 202010105071A CN 111291821 A CN111291821 A CN 111291821A
- Authority
- CN
- China
- Prior art keywords
- feature
- target
- feature extraction
- feature map
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种车辆重识别方法、装置、计算机设备和存储介质。所述方法包括:将目标图像输入至预先训练的特征提取模型中;其中,所述目标图像包括目标对象,所述特征提取模型包括多个特征提取层,每个所述特征提取层用于对所述目标图像进行特征提取并输出特征图;通过所述特征提取模型对各所述特征提取层输出的特征图进行融合处理,得到目标特征图;基于所述目标特征图对所述目标对象进行重识别。采用本方法能够节省人力和时间,并提高重识别的准确率。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及一种车辆重识别方法、装置、计算机设备和存储介质。
背景技术
随着科技的飞速发展,重识别技术应用到人们生活工作中的多个领域。在智能违法审核领域中,每次进行审核时,先从电警相机的抓拍图像中检测出所有车辆,再进行车辆重识别,最后根据重识别结果进行违法审核。
相关技术中,车辆重识别的过程包括:采用神经网络对车辆图像进行特征提取,根据提取到的特征进行车辆重识别。通常情况下,为了提高重识别的准确率,会在提取到的特征的基础上增加一些人工标注的车辆属性。比如,增加车身颜色、车牌号码等车辆属性。
但是,车辆属性采用人工标注比较耗时耗力,而且在神经网络中引入车辆属性也可能带来额外误差。
发明内容
基于此,有必要针对上述技术问题,提供一种能够节省人力时间的车辆重识别方法、装置、计算机设备和存储介质。
一种车辆重识别方法,该方法包括:
将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;
通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;
基于目标特征图对目标对象进行重识别。
在其中一个实施例中,上述特征提取模型还包括池化层和全连接层,上述通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图,包括:
将各特征提取层输出的特征图分别输入到池化层中,得到多个池化特征图;
将各池化特征图分别输入到全连接层中,得到多个待融合特征图;
对多个待融合特征图进行求和计算,得到目标特征图。
在其中一个实施例中,上述将目标图像输入至预先训练的特征提取模型中之前,该方法还包括:
将训练样本输入至神经网络模型中;其中,训练样本中包括训练对象,神经网络模型包括多个特征提取层,每个特征提取层用于对训练样本进行特征提取并输出训练特征图;
通过神经网络模型对各特征提取层输出的训练特征图进行融合处理,得到融合特征图;
对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型;其中,训练样本的标注用于指示训练对象的类别。
在其中一个实施例中,上述对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型,包括:
对融合特征图进行分类,根据分类结果和训练样本的标注进行三元组损失函数的计算,得到第一损失值;
对融合特征图进行正则化处理,并对正则化处理后的融合特征图进行分类,根据分类结果和训练样本的标注进行分类损失函数的计算,得到第二损失值;
对第一损失值和第二损失值进行求和计算,得到目标损失值;
基于目标损失值对神经网络模型进行训练,在目标损失值收敛时结束神经网络模型的训练,得到特征提取模型。
在其中一个实施例中,上述基于目标特征图对目标对象进行重识别,包括:
将目标特征图和预先获取的参考特征图进行比较,得到比较结果;参考特征图对应参考对象;
根据比较结果,确定目标对象与参考对象是否为同一对象。
在其中一个实施例中,上述将目标特征图与预先获取的参考特征图进行比较,得到比较结果,包括:
对目标特征图进行正则化处理;
计算正则化处理后的目标特征图与参考特征图之间的相似度;相似度包括余弦相似度;
对应地,上述根据比较结果,确定目标对象与参考对象是否为同一对象,包括:
若相似度大于预设阈值,则确定目标对象与参考对象为同一对象。
在其中一个实施例中,在上述将目标特征图与预先获取的参考特征图进行比较之前,该方法还包括:
获取参考图像,参考图像中包括参考对象;
将参考图像输入到特征提取模型中,得到参考特征图。
一种车辆重识别装置,该装置包括:
特征提取模块,用于将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;
特征融合模块,用于通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;
重识别模块,用于基于目标特征图对目标对象进行重识别。
在其中一个实施例中,上述特征提取模型还包括池化层和全连接层,上述特征融合模块,具体用于将各特征提取层输出的特征图分别输入到池化层中,得到多个池化特征图;将各池化特征图分别输入到全连接层中,得到多个待融合特征图;对多个待融合特征图进行求和计算,得到目标特征图。
在其中一个实施例中,该装置还包括:
训练特征图获得模块,用于将训练样本输入至神经网络模型中;其中,训练样本中包括训练对象,神经网络模型包括多个特征提取层,每个特征提取层用于对训练样本进行特征提取并输出训练特征图;
融合特征图获得模块,用于通过神经网络模型对各特征提取层输出的训练特征图进行融合处理,得到融合特征图;
训练模块,用于对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型;其中,训练样本的标注用于指示训练对象的类别。
在其中一个实施例中,上述训练模块,具体用于对融合特征图进行分类,根据分类结果和训练样本的标注进行三元组损失函数的计算,得到第一损失值;对融合特征图进行正则化处理,并对正则化处理后的融合特征图进行分类,根据分类结果和训练样本的标注进行分类损失函数的计算,得到第二损失值;对第一损失值和第二损失值进行求和计算,得到目标损失值;基于目标损失值对神经网络模型进行训练,在目标损失值收敛时结束神经网络模型的训练,得到特征提取模型。
在其中一个实施例中,上述重识别模块,具体用于将目标特征图和预先获取的参考特征图进行比较,得到比较结果;参考特征图对应参考对象;根据比较结果,确定目标对象与参考对象是否为同一对象。
在其中一个实施例中,上述重识别模块,具体用于对目标特征图进行正则化处理;计算正则化处理后的目标特征图与参考特征图之间的相似度;相似度包括余弦相似度;
对应地,上述重识别模块,具体用于若相似度大于预设阈值,则确定目标对象与参考对象为同一对象。
在其中一个实施例中,该装置还包括:
参考图像获取模块,用于获取参考图像,参考图像中包括参考对象;
将参考图像输入到特征提取模型中,得到参考特征图。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;
通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;
基于目标特征图对目标对象进行重识别。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;
通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;
基于目标特征图对目标对象进行重识别。
上述车辆重识别方法、装置、计算机设备和存储介质,将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;基于目标特征图对目标对象进行重识别。现有技术中一般将部分特征提取层提取到的特征图进行融合,而本申请实施例中,通过对多个特征提取层均进行特征提取,并将每个特征提取层输出的特征图都融合到一起,并且,无需再通过人工标注来增加车辆的属性,如车辆的颜色、车型等,从而可以节省人力和时间;由于充分利用了提取出的特征,还可以提高重识别的准确率。
附图说明
图1为一个实施例中车辆重识别方法的应用环境图;
图2为一个实施例中车辆重识别方法的流程示意图;
图3为一个实施例中特征提取模型的结构示意图;
图4为一个实施例中通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图步骤的流程示意图;
图5为一个实施例中训练特征提取模型步骤的流程示意图;
图6为另一个实施例中车辆重识别方法的流程示意图;
图7为一个实施例中车辆重识别装置的结构框图之一;
图8为一个实施例中车辆重识别装置的结构框图之二;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
重识别指的是在不同图像中识别出相同对象的技术。例如,行人重识别是在不同图像中识别出同一个人物,车辆重识别指是在不同图像中识别出同一车辆。
重识别是一种应用较为广泛的技术,以车辆重识别为例,在车辆违章审核的过程中,可以采用车辆重识别技术确定违章车辆;或者在查找逃逸车辆、丢失车辆的过程中,可以采用车辆重识别技术查找出逃逸车辆或丢失车辆。
相关技术中,为了保证车辆重识别的准确率,通常会通过人工标注的方式来增加车辆属性,比如标注车身颜色、车辆标识等车辆属性。而人工标注不仅耗时耗力,而且大量的人工标注也不容易获得,并且还有可能出现标注错误的情况。
本申请实施例中,通过特征提取模型对目标图像提取特征,并对提取出的特征图进行融合处理,得到目标特征图;这样,基于目标特征图对目标对象进行重识别就可以提升重识别的准确率,并且,由于无需再通过人工标注来增加车辆属性,因此节省人力和时间。上述特征提取模型是本申请为了提高车辆重识别的精度而又避免额外的数据上的开销,设计出的一种神经网络结构。该神经网络结构在训练时,对浅层特征图和深层特征图进行融合处理得到最后的训练特征,对融合后的训练特征计算三元组损失,同时对融合后的训练特征进行批正则化处理,对正则化后的训练特征计算分类损失。本申请无需额外的数据和模型,只需要对神经网络的结构进行重设计,就能够达到最佳效果。
本申请实施例提供的车辆重识别方法,可以应用于如图1所示的应用环境中。该应用环境可以包括服务器101,在服务器101中设置特征提取模型,采用服务器101对目标图像进行特征提取和融合,并对目标图像进行重识别。该应用环境也可以包括服务器101和终端,服务器101和终端通过网络进行通信,采用终端获取目标图像,采用服务器101对目标图像进行特征提取和融合,并对目标图像进行重识别。该应用环境还可以包括服务器101和监控摄像头,采用监控摄像头获取监控图像,采用服务器101从监控图像中选取出目标图像,对目标图像进行特征提取和融合,并对目标图像进行重识别。上述服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现,上述终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一个实施例中,如图2所示,提供了一种车辆重识别方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤201,将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图。
本申请实施例中,首先获取目标图像。具体地,服务器可以从本地存储的监控图像中获取目标图像;也可以从终端存储的监控图像中获取目标图像;还可以从监控摄像头发送的监控图像中获取目标图像。本申请实施例对获取方式不作限定,可以根据实际情况进行设置。其中,目标图像为包括目标对象的图像,目标对象为待进行重识别的对象。例如,目标对象为车辆,目标图像为含有车辆的监控图像。
在获取到目标图像之后,将目标图像输入到预先训练的特征提取模型中。该特征提取模型包括多个特征提取层,多个特征提取层序列性地排列,其中,第N层特征提取层对第N-1层特征提取层输出的特征图进行特征提取,并将得到的特征图输入到第N+1层特征提取层。
如图3所示,该特征提取模型包括四个特征提取层,将目标图像输入到特征提取模型后,第一个特征提取层对目标图像进行第一次特征提取并输出第一特征图,第二个特征提取层根据第一特征图进行第二次特征提取并输出第二特征图,第三个特征提取层根据第二特征图进行第三次特征提取并输出第三特征图,第四个特征提取层根据第三特征图进行第四次特征提取并输出第四特征图。其中特征提取层的结构可以采用resNet50,本申请实施例对特征提取层的结构和层数均不作详细限定,可以根据实际情况进行设置。
步骤202,通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图。
本申请实施例中,各特征提取层均输出特征图之后,特征提取模型进一步对多个特征图进行融合处理,将多个特征图融合为一个目标特征图。其中,融合处理可以是对多个特征图进行求和处理,也可以是加权求和处理,还可以是其他处理,本申请实施例对此不作详细限定,可以根据实际情况进行设置。
在现有技术中,即使会进行特征融合,也只是将部分特征提取层提取到的特征图进行融合。而本申请实施例中,每个特征提取层均进行特征提取,并且,将每个特征提取层输出的特征图都融合到一起。可以理解地,多个特征提取层输出的多个特征图中,前面的特征提取层输出的是浅层的特征图,后面的特征提取层输出的是深层的特征图,将浅层的特征图和深层的特征图融合成目标特征图,不仅可以在后续进行重识别时提供丰富的特征,从而提高重识别的准确率;而且这种方式可以代替人工标注,因此可以节省人力和时间。
步骤203,基于目标特征图对目标对象进行重识别。
本申请实施例中,重识别的过程可以包括如下步骤:将目标特征图和预先获取的参考特征图进行比较,得到比较结果;根据比较结果,确定目标对象与参考对象是否为同一对象。
具体地,预先获取参考特征图,参考特征图对应参考对象。然后计算目标特征图和参考特征图之间的相似度,如果相似度大于预设阈值,则确定目标对象与参考对象为同一对象。
例如,参考特征图a对应参考车辆A,目标特征图b对应目标车辆B,如果计算参考特征图a和目标特征图b之间的相似度为90%,大于预设阈值85%,则确定目标车辆B与参考车辆A为同一车辆。本申请实施例对预设阈值不作详细限定,可以根据实际情况进行设置。
上述车辆重识别方法中,将目标图像输入至预先训练的特征提取模型中,特征提取模型包括多个特征提取层,每个特征提取层对目标图像进行特征提取并输出特征图;然后,通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;最后,根据目标特征图对目标图像中包括的目标对象进行重识别。现有技术中可能会将部分特征提取层提取到的特征图进行融合,而本申请实施例中,多个特征提取层均进行特征提取,并将每个特征提取层输出的特征图都融合到一起,因此,无需再通过人工标注来增加车辆的属性,如车辆的颜色、车型等,可以节省人力和时间;并且,由于充分利用了提取出的特征,还可以提高重识别的准确率。
在本申请的一个可选的实施例中,如图4所示,通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图可以包括如下步骤:
步骤301,将各特征提取层输出的特征图分别输入到池化层中,得到多个池化特征图。
本申请实施例中,如图3所示,特征提取模型还包括池化层和全连接层,将每个特征提取层输出的特征图先分别输入到池化层中,对特征图进行池化处理,得到各特征图对应的池化特征图。其中,池化处理可以采用全局平均池化方式,本申请实施例对此不作详细限定,可以根据实际情况进行设置。
例如,将目标图像输入到特征提取模型中,第一个特征提取层输出第一特征图,第二个特征提取层输出第二特征图,第三个特征提取层输出第三特征图,第四个特征提取层输出第四特征图。然后,将第一特征图输入到池化层中,得到第一池化特征图;将第二特征图输入到池化层中,得到第二池化特征图;将第三特征图输入到池化层中,得到第三池化特征图;将第四特征图输入到池化层中,得到第四池化特征图。
步骤302,将各池化特征图分别输入到全连接层中,得到多个待融合特征图。
本申请实施例中,如图3所示,得到多个池化特征图之后,将各池化特征图分别输入到全连接层中,得到各特征图对应的待融合特征图。
例如,在得到第一池化特征图、第二池化特征图、第三池化特征图和第四池化特征图之后,将第一池化特征图输入到全连接层中,得到第一待融合特征图;将第二池化特征图输入到全连接层中,得到第二待融合特征图;将第三池化特征图输入到全连接层中,得到第三待融合特征图;将第四池化特征图输入到全连接层中,得到第四待融合特征图。
步骤303,对多个待融合特征图进行求和计算,得到目标特征图。
本申请实施例中,得到多个待融合特征图之后,对多个待融合特征图进行求和计算,得到目标特征图。具体地,将多个待融合特征图相应位置的特征值进行求和计算。
例如,对第一待融合特征图、第二待融合特征图、第三待融合特征图和第四代融合特征图进行求和计算,得到目标特征图。
上述通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图步骤中,通过池化层和全连接层对特征提取层输出的特征图进行处理,然后对得到的待融合特征图进行融合处理,得到目标特征图。通过本申请实施例,池化层对特征提取层输出的特征图进行池化处理,可以对特征提取层输出的特征图进行降维处理,从而提高融合处理的效率,节省处理时间。
在一个实施例中,如图5所示,训练特征提取模型可以包括如下步骤:
步骤401,将训练样本输入至神经网络模型中;其中,训练样本中包括训练对象,神经网络模型包括多个特征提取层,每个特征提取层用于对训练样本进行特征提取并输出训练特征图。
本申请实施例中,首先获取多个原始图像;然后,对原始图像进行预处理,得到多个训练样本;其中,每个训练样本中均包括训练对象,多个训练样本中的训练对象具有不同的姿态。例如,训练对象为车辆,车辆的姿态可以包括前行、左转、右转等。本申请实施例对训练对象的姿态不作详细限定,可以根据实际情况进行选取。
预处理包括对原始图像进行尺寸调整处理,对原始图像进行高斯标准化处理中的至少一种。接着,获取各训练样本的标注,由多个训练样本和各训练样本的标注组成训练样本集。其中,训练样本的标注指示训练对象的类别。
例如,训练样本为车辆图像,训练样本中包括的训练对象为车辆,训练样本的标注为车辆的唯一标识、车辆的品牌类型等。本申请实施例对训练样本的标注不作详细限定,可以根据实际情况进行设置。
在得到训练样本集之后,基于训练样本集进行神经网络模型的训练,具体包括:将训练样本输入到神经网络模型中,神经网络模型中的每个特征提取层对训练样本进行特征提取并输出训练特征图。
例如,将训练样本1输入到神经网络模型中,得到神经网络模型的四个特征提取层输出的训练特征图c1、c2、c3和c4;将训练样本2输入到神经网络模型中,得到神经网络模型的四个特征提取层输出的训练特征图c5、c6、c7和c8。以此类推,得到多个训练样本对应的训练特征图。本申请实施例对训练样本的数量不作详细限定,可以根据实际情况进行设置。
步骤402,通过神经网络模型对各特征提取层输出的训练特征图进行融合处理,得到融合特征图。
本申请实施例中,神经网络模型还可以包括池化层和全连接层,将各特征提取层输出的训练特征图依次输入到池化层和全连接层,得到待融合训练特征图。之后,再将训练样本对应待融合训练特征图进行求和计算,得到融合特征图。
例如,将训练样本1对应的训练特征图c1、c2、c3和c4依次输入到池化层和全连接层,得到待融合训练特征图d1、d2、d3和d4;对待融合训练特征图d1、d2、d3和d4进行求和处理,得到融合特征图1。以此类推,得到训练样本2对应的融合特征图2,训练样本3对应的融合特征图3。
步骤403,对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型;其中,训练样本的标注用于指示训练对象的类别。
本申请实施例中,在进行神经网络模型训练时,先对融合特征图进行分类,比如将融合特征图输入分类器中,得到分类结果,该分类结果为融合特征图对应的训练对象的类别。由于训练样本的标注指示训练对象的类别,因此可以采用预先设置的损失函数对分类结果和训练样本的标注进行计算,从而根据计算结果调整特征提取模型。
在其中一个实施例中,对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型,具体可以包括:对融合特征图进行分类,根据分类结果和训练样本的标注进行三元组损失函数的计算,得到第一损失值;对融合特征图进行正则化处理,并对正则化处理后的融合特征进行分类,根据分类结果和训练样本的标注进行分类损失函数的计算,得到第二损失值;对第一损失值和第二损失值进行求和计算,得到目标损失值;基于目标损失值对神经网络模型进行训练,在目标损失值收敛时结束神经网络模型的训练,得到特征提取模型。
其中,三元组损失函数可以是采用难例挖掘的triplet loss;分类损失函数可以是softmax,在基于目标损失值对神经网络模型进行训练的过程中,可以采用梯度下降算法。本申请实施例对此不作详细限定,可以根据实际情况进行选取。
可以理解地,通过对融合特征图进行正则化处理,可以使分类损失函数计算出的第二损失值与三元组损失函数计算出的第一损失值的收敛方向相同,从而使特征提取模型提取出的目标特征图更加准确,进而提高重识别的准确率。
上述训练特征提取模型的步骤中,将训练样本输入至神经网络模型中;通过神经网络模型对各特征提取层输出的训练特征图进行融合处理,得到融合特征图;对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型。其中,采用三元组损失函数和分类损失函数进行训练,在两种损失函数均收敛时完成特征提取模型的训练,因此可以提高特征提取模型的准确率,从而提高重识别的准确率。
在另外一个实施例中,如图6所示,车辆重识别方法在上述实施例的基础上,还可以包括以下步骤:
步骤501,将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图。
步骤502,将各特征提取层输出的特征图分别输入到池化层中,得到多个池化特征图;将各池化特征图分别输入到全连接层中,得到多个待融合特征图;对多个待融合特征图进行求和计算,得到目标特征图。
步骤503,获取参考图像,参考图像中包括参考对象;将参考图像输入到特征提取模型中,得到参考特征图。
本申请实施例中,采用同样的特征提取模型获得参考特征图。例如,参考对象为A,获取参考车辆A的图像,将参考车辆A的图像输入到上述特征提取模型中,得到参考特征图a。
可以理解地,采用相同方式获得参考特征图和目标特征图,可以提高重识别的准确率。
步骤504,对目标特征图进行正则化处理;计算正则化处理后的目标特征图与参考特征图之间的相似度;相似度包括余弦相似度。
本申请实施例中,在获得目标特征图之后,可以对目标特征图进行正则化处理,得到正则化处理后的目标特征图。然后,计算正则化处理后的目标特征图与参考特征图之间的余弦相似度。还可以计算其他相似度,本申请实施例对此不作详细限定,可以根据实际情况进行设置。
步骤505,若相似度大于预设阈值,则确定目标对象与参考对象为同一对象。
本申请实施例中,如果计算得到的相似度大于预设阈值,则确定目标对象与参考对象为同一对象,即在已知参考对象的情况下,重识别出目标对象。例如,在已知车辆A的情况下,识别出车辆B与车辆A为同一车辆。
上述车辆重识别方法中,将目标图像输入至预先训练的特征提取模型中,然后通过池化层和全连接层对特征提取层输出的特征图进行融合处理,进而得到目标特征图。之后,将目标特征图与参考特征图进行比较,根据比较结果确定目标对象与参考对象是否为同一对象。通过本申请实施例,将多个特征提取层输出的特征图进行融合,因此无需再通过人工标注来增加目标对象的属性,从而节省人力和时间;并且,由于充分利用了提取出的特征,因此可以提高重识别的准确率。
应该理解的是,虽然图2-图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种车辆重识别装置,包括特征提取模块601、特征融合模块602和重识别模块603:
特征提取模块601,用于将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;
特征融合模块602,用于通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;
重识别模块603,用于基于目标特征图对目标对象进行重识别。
在其中一个实施例中,上述特征提取模型还包括池化层和全连接层,上述特征融合模块,具体用于将各特征提取层输出的特征图分别输入到池化层中,得到多个池化特征图;将各池化特征图分别输入到全连接层中,得到多个待融合特征图;对多个待融合特征图进行求和计算,得到目标特征图。
在其中一个实施例中,该装置还包括训练特征图获得模块604、融合特征图获得模块605和训练模块606,参照图8所示:
训练特征图获得模块604,用于将训练样本输入至神经网络模型中;其中,训练样本中包括训练对象,神经网络模型包括多个特征提取层,每个特征提取层用于对训练样本进行特征提取并输出训练特征图;
融合特征图获得模块605,用于通过神经网络模型对各特征提取层输出的训练特征图进行融合处理,得到融合特征图;
训练模块606,用于对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型;其中,训练样本的标注用于指示训练对象的类别。
在其中一个实施例中,上述训练模块606,具体用于对融合特征图进行分类,根据分类结果和训练样本的标注进行三元组损失函数的计算,得到第一损失值;对融合特征图进行正则化处理,并对正则化处理后的融合特征图进行分类,根据分类结果和训练样本的标注进行分类损失函数的计算,得到第二损失值;对第一损失值和第二损失值进行求和计算,得到目标损失值;基于目标损失值对神经网络模型进行训练,在目标损失值收敛时结束神经网络模型的训练,得到特征提取模型。
在其中一个实施例中,上述重识别模块603,具体用于将目标特征图和预先获取的参考特征图进行比较,得到比较结果;参考特征图对应参考对象;根据比较结果,确定目标对象与参考对象是否为同一对象。
在其中一个实施例中,上述重识别模块603,具体用于对目标特征图进行正则化处理;计算正则化处理后的目标特征图与参考特征图之间的相似度;相似度包括余弦相似度;
对应地,上述重识别模块603,具体用于若相似度大于预设阈值,则确定目标对象与参考对象为同一对象。
在其中一个实施例中,该装置还包括:
参考图像获取模块,用于获取参考图像,参考图像中包括参考对象;
将参考图像输入到特征提取模型中,得到参考特征图。
关于车辆重识别装置的具体限定可以参见上文中对于车辆重识别方法的限定,在此不再赘述。上述车辆重识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储车辆重识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆重识别方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;
通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;
基于目标特征图对目标对象进行重识别。
在一个实施例中,上述特征提取模型还包括池化层和全连接层,处理器执行计算机程序时还实现以下步骤:
将各特征提取层输出的特征图分别输入到池化层中,得到多个池化特征图;
将各池化特征图分别输入到全连接层中,得到多个待融合特征图;
对多个待融合特征图进行求和计算,得到目标特征图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将训练样本输入至神经网络模型中;其中,训练样本中包括训练对象,神经网络模型包括多个特征提取层,每个特征提取层用于对训练样本进行特征提取并输出训练特征图;
通过神经网络模型对各特征提取层输出的训练特征图进行融合处理,得到融合特征图;
对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型;其中,训练样本的标注用于指示训练对象的类别。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对融合特征图进行分类,根据分类结果和训练样本的标注进行三元组损失函数的计算,得到第一损失值;
对融合特征图进行正则化处理,并对正则化处理后的融合特征图进行分类,根据分类结果和训练样本的标注进行分类损失函数的计算,得到第二损失值;
对第一损失值和第二损失值进行求和计算,得到目标损失值;
基于目标损失值对神经网络模型进行训练,在目标损失值收敛时结束神经网络模型的训练,得到特征提取模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将目标特征图和预先获取的参考特征图进行比较,得到比较结果;参考特征图对应参考对象;
根据比较结果,确定目标对象与参考对象是否为同一对象。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对目标特征图进行正则化处理;
计算正则化处理后的目标特征图与参考特征图之间的相似度;相似度包括余弦相似度;
若相似度大于预设阈值,则确定目标对象与参考对象为同一对象。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取参考图像,参考图像中包括参考对象;
将参考图像输入到特征提取模型中,得到参考特征图。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
将目标图像输入至预先训练的特征提取模型中;其中,目标图像包括目标对象,特征提取模型包括多个特征提取层,每个特征提取层用于对目标图像进行特征提取并输出特征图;
通过特征提取模型对各特征提取层输出的特征图进行融合处理,得到目标特征图;
基于目标特征图对目标对象进行重识别。
在一个实施例中,上述特征提取模型还包括池化层和全连接层,计算机程序被处理器执行时还实现以下步骤:
将各特征提取层输出的特征图分别输入到池化层中,得到多个池化特征图;
将各池化特征图分别输入到全连接层中,得到多个待融合特征图;
对多个待融合特征图进行求和计算,得到目标特征图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将训练样本输入至神经网络模型中;其中,训练样本中包括训练对象,神经网络模型包括多个特征提取层,每个特征提取层用于对训练样本进行特征提取并输出训练特征图;
通过神经网络模型对各特征提取层输出的训练特征图进行融合处理,得到融合特征图;
对融合特征图进行分类,并根据分类结果和训练样本的标注对神经网络模型进行训练,得到特征提取模型;其中,训练样本的标注用于指示训练对象的类别。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对融合特征图进行分类,根据分类结果和训练样本的标注进行三元组损失函数的计算,得到第一损失值;
对融合特征图进行正则化处理,并对正则化处理后的融合特征图进行分类,根据分类结果和训练样本的标注进行分类损失函数的计算,得到第二损失值;
对第一损失值和第二损失值进行求和计算,得到目标损失值;
基于目标损失值对神经网络模型进行训练,在目标损失值收敛时结束神经网络模型的训练,得到特征提取模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将目标特征图和预先获取的参考特征图进行比较,得到比较结果;参考特征图对应参考对象;
根据比较结果,确定目标对象与参考对象是否为同一对象。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对目标特征图进行正则化处理;
计算正则化处理后的目标特征图与参考特征图之间的相似度;相似度包括余弦相似度;
若相似度大于预设阈值,则确定目标对象与参考对象为同一对象。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取参考图像,参考图像中包括参考对象;
将参考图像输入到特征提取模型中,得到参考特征图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种车辆重识别方法,其特征在于,所述方法包括:
将目标图像输入至预先训练的特征提取模型中;其中,所述目标图像包括目标对象,所述特征提取模型包括多个特征提取层,每个所述特征提取层用于对所述目标图像进行特征提取并输出特征图;
通过所述特征提取模型对各所述特征提取层输出的特征图进行融合处理,得到目标特征图;
基于所述目标特征图对所述目标对象进行重识别。
2.根据权利要求1所述的方法,其特征在于,所述特征提取模型还包括池化层和全连接层,所述通过所述特征提取模型对各所述特征提取层输出的特征图进行融合处理,得到目标特征图,包括:
将各所述特征提取层输出的特征图分别输入到所述池化层中,得到多个池化特征图;
将各所述池化特征图分别输入到所述全连接层中,得到多个待融合特征图;
对多个所述待融合特征图进行求和计算,得到所述目标特征图。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述将目标图像输入至预先训练的特征提取模型中之前,所述方法还包括:
将训练样本输入至神经网络模型中;其中,所述训练样本中包括训练对象,所述神经网络模型包括多个特征提取层,每个所述特征提取层用于对所述训练样本进行特征提取并输出训练特征图;
通过所述神经网络模型对各所述特征提取层输出的训练特征图进行融合处理,得到融合特征图;
对所述融合特征图进行分类,并根据分类结果和所述训练样本的标注对所述神经网络模型进行训练,得到所述特征提取模型;其中,所述训练样本的标注用于指示所述训练对象的类别。
4.根据权利要求3所述的方法,其特征在于,所述对所述融合特征图进行分类,并根据分类结果和所述训练样本的标注对所述神经网络模型进行训练,得到所述特征提取模型,包括:
对所述融合特征图进行分类,根据分类结果和所述训练样本的标注进行三元组损失函数的计算,得到第一损失值;
对所述融合特征图进行正则化处理,并对正则化处理后的融合特征图进行分类,根据分类结果和所述训练样本的标注进行分类损失函数的计算,得到第二损失值;
对所述第一损失值和所述第二损失值进行求和计算,得到目标损失值;
基于所述目标损失值对所述神经网络模型进行训练,在所述目标损失值收敛时结束所述神经网络模型的训练,得到所述特征提取模型。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标特征图对所述目标对象进行重识别,包括:
将所述目标特征图和预先获取的参考特征图进行比较,得到比较结果;所述参考特征图对应参考对象;
根据所述比较结果,确定所述目标对象与所述参考对象是否为同一对象。
6.根据权利要求5所述的方法,其特征在于,所述将所述目标特征图与预先获取的参考特征图进行比较,得到比较结果,包括:
对所述目标特征图进行正则化处理;
计算正则化处理后的目标特征图与所述参考特征图之间的相似度;所述相似度包括余弦相似度;
对应地,所述根据所述比较结果,确定所述目标对象与所述参考对象是否为同一对象,包括:
若所述相似度大于预设阈值,则确定所述目标对象与所述参考对象为同一对象。
7.根据权利要求5所述的方法,其特征在于,在所述将所述目标特征图与预先获取的参考特征图进行比较之前,所述方法还包括:
获取参考图像,所述参考图像中包括所述参考对象;
将所述参考图像输入到所述特征提取模型中,得到所述参考特征图。
8.一种车辆重识别装置,其特征在于,所述装置包括:
特征提取模块,用于将目标图像输入至预先训练的特征提取模型中;其中,所述目标图像包括目标对象,所述特征提取模型包括多个特征提取层,每个所述特征提取层用于对所述目标图像进行特征提取并输出特征图;
特征融合模块,用于通过所述特征提取模型对各所述特征提取层输出的特征图进行融合处理,得到目标特征图;
重识别模块,用于基于所述目标特征图对所述目标对象进行重识别。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010105071.3A CN111291821A (zh) | 2020-02-20 | 2020-02-20 | 车辆重识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010105071.3A CN111291821A (zh) | 2020-02-20 | 2020-02-20 | 车辆重识别方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111291821A true CN111291821A (zh) | 2020-06-16 |
Family
ID=71017617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010105071.3A Pending CN111291821A (zh) | 2020-02-20 | 2020-02-20 | 车辆重识别方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291821A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418262A (zh) * | 2020-09-23 | 2021-02-26 | 上海市刑事科学技术研究院 | 车辆再识别的方法、客户端及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344787A (zh) * | 2018-10-15 | 2019-02-15 | 浙江工业大学 | 一种基于人脸识别与行人重识别的特定目标跟踪方法 |
CN109508663A (zh) * | 2018-10-31 | 2019-03-22 | 上海交通大学 | 一种基于多层次监督网络的行人重识别方法 |
CN109784186A (zh) * | 2018-12-18 | 2019-05-21 | 深圳云天励飞技术有限公司 | 一种行人重识别方法、装置、电子设备及计算机可读存储介质 |
CN110717411A (zh) * | 2019-09-23 | 2020-01-21 | 湖北工业大学 | 一种基于深层特征融合的行人重识别方法 |
-
2020
- 2020-02-20 CN CN202010105071.3A patent/CN111291821A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344787A (zh) * | 2018-10-15 | 2019-02-15 | 浙江工业大学 | 一种基于人脸识别与行人重识别的特定目标跟踪方法 |
CN109508663A (zh) * | 2018-10-31 | 2019-03-22 | 上海交通大学 | 一种基于多层次监督网络的行人重识别方法 |
CN109784186A (zh) * | 2018-12-18 | 2019-05-21 | 深圳云天励飞技术有限公司 | 一种行人重识别方法、装置、电子设备及计算机可读存储介质 |
CN110717411A (zh) * | 2019-09-23 | 2020-01-21 | 湖北工业大学 | 一种基于深层特征融合的行人重识别方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418262A (zh) * | 2020-09-23 | 2021-02-26 | 上海市刑事科学技术研究院 | 车辆再识别的方法、客户端及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860670B (zh) | 域自适应模型训练、图像检测方法、装置、设备及介质 | |
CN108846355B (zh) | 图像处理方法、人脸识别方法、装置和计算机设备 | |
CN108197326B (zh) | 一种车辆检索方法及装置、电子设备、存储介质 | |
CN111178245A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN114494260B (zh) | 对象缺陷检测方法、装置、计算机设备和存储介质 | |
US20120093396A1 (en) | Digital image analysis utilizing multiple human labels | |
CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111191533B (zh) | 行人重识别的处理方法、装置、计算机设备和存储介质 | |
CN113361495A (zh) | 人脸图像相似度的计算方法、装置、设备及存储介质 | |
CN109034086B (zh) | 车辆重识别方法、装置及系统 | |
CN109285105A (zh) | 水印检测方法、装置、计算机设备和存储介质 | |
CN110046577B (zh) | 行人属性预测方法、装置、计算机设备和存储介质 | |
CN112070058A (zh) | 人脸面部复合情感表情识别方法及系统 | |
CN111275060A (zh) | 识别模型更新处理方法、装置、电子设备及存储介质 | |
CN110705489B (zh) | 目标识别网络的训练方法、装置、计算机设备和存储介质 | |
CN110826484A (zh) | 车辆重识别的方法、装置、计算机设备及模型训练方法 | |
CN111667001A (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
CN112001378B (zh) | 基于特征空间的车道线处理方法、装置、车载终端和介质 | |
CN111274926A (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
CN111539317A (zh) | 车辆违规行驶检测方法、装置、计算机设备和存储介质 | |
CN110660078A (zh) | 对象追踪方法、装置、计算机设备和存储介质 | |
CN112241646A (zh) | 车道线识别方法、装置、计算机设备和存储介质 | |
CN112668462A (zh) | 车损检测模型训练、车损检测方法、装置、设备及介质 | |
CN112241705A (zh) | 基于分类回归的目标检测模型训练方法和目标检测方法 | |
CN110135428B (zh) | 图像分割处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |