CN111523469A - 一种行人重识别方法、系统、设备及计算机可读存储介质 - Google Patents
一种行人重识别方法、系统、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111523469A CN111523469A CN202010327772.1A CN202010327772A CN111523469A CN 111523469 A CN111523469 A CN 111523469A CN 202010327772 A CN202010327772 A CN 202010327772A CN 111523469 A CN111523469 A CN 111523469A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- sample set
- trained
- training
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000012549 training Methods 0.000 claims abstract description 100
- 238000002790 cross-validation Methods 0.000 claims abstract description 70
- 238000005070 sampling Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 41
- 238000012795 verification Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 abstract description 12
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 101000671676 Homo sapiens U3 small nucleolar RNA-associated protein 4 homolog Proteins 0.000 description 5
- 102100040072 U3 small nucleolar RNA-associated protein 4 homolog Human genes 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本申请公开了一种行人重识别方法、系统、设备及计算机可读存储介质,获取待训练样本集;基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的行人重识别模型;基于训练好的行人重识别模型进行行人重识别;其中,待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同。本申请中,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,使得数据重采样后的待训练样本集的数量增多,并且使得交叉验证方法中各个分组中的行人类别均不相同,增强了训练效果,进而可以提高行人重识别的识别效果。
Description
技术领域
本申请涉及行人重识别技术领域,更具体地说,涉及一种行人重识别方法、系统、设备及计算机可读存储介质。
背景技术
行人重识别(Person Re-identification,Re-ID)是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。该项技术通常被应用于安防领域。在监控视频中,由于相机分辨率较低,拍摄角度比较特别,通常无法得到质量高的图片。因而当像人脸识别等技术失效时,ReID就成为一个很重要的替代技术。
行人重识别是对一个摄像头感兴趣的行人,检索到该行人在其他摄像头的所有图片。数据集通常是由目标检测或者人工标注得到的图片,通常分为训练集、验证集、Query、Gallery。在训练集上训练模型,在Query集及Gallery集计算图像特征,然后用来计算特征相似度,对于Query集中每张图片找出前N个与其相似图片。训练、测试要求人物身份不重复,然而,在行人重识别中,当数据集的规模过小、数据集质量不高、且存在严重的类别不平衡问题时,如何保证行人重识别的识别效果便成为一个问题。
综上所述,如何保证行人重识别的识别效果是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种行人重识别方法,其能在一定程度上解决如何保证行人重识别的识别效果的技术问题。本申请还提供了一种行人重识别系统、设备及计算机可读存储介质。
为了实现上述目的,本申请提供如下技术方案:
一种行人重识别方法,包括:
获取待训练样本集;
基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的所述行人重识别模型;
基于训练好的所述行人重识别模型进行行人重识别;
其中,所述待训练样本集按照所述交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
优选的,所述基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,包括:
剔除所述待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;
确定出所述剔除后的样本集中图片数小于第二预设值的第一目标行人;
将所述第一目标行人的图片复制,得到第一复制图片;
将所述第一复制图片及所述剔除后的样本集作为第一目标样本集;
基于所述第一目标样本集,通过交叉验证方法对预先搭建的所述行人重识别模型进行训练。
优选的,所述基于所述第一目标样本集,通过所述交叉验证方法对预先搭建的所述行人重识别模型进行训练的过程中,包括:
确定出所述第一目标样本集中图片数大于所述第二预设值且小于所述第一预设值的第二目标行人,将所述第二目标行人的图片复制,得到第二复制图片,将所述第二复制图片及所述第一目标样本集作为第二目标样本集,以基于所述第二目标样本集进行训练。
优选的,所述第一预设值的值包括100;所述第二预设值的值包括4;所述交叉验证方法包括4交叉验证方法。
优选的,所述基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练的过程中,包括:
确定所述行人重识别模型的超参数类型、超参数搜寻空间、超参数调整优先级;
基于所述超参数类型、所述超参数搜寻空间、所述超参数调整优先级对所述行人重识别模型进行训练。
优选的,所述超参数类型包括:每个行人的图片数、图片数目的边界、初始学习率、训练周期、三元组损失阈值、Rerank参数集合;
所述每个行人的图片数的超参数搜寻空间包括{2,4,8};所述图片数目的边界的超参数搜寻空间包括{10,30,50,70,100};所述初始学习率的超参数搜寻空间包括{0.00035,0.001,0.003,0.01};所述训练周期的超参数搜寻空间包括{80,120,160,240};所述三元组损失阈值的超参数搜寻空间包括{0.3,1.2,4.8,10.0,20.0};所述Rerank参数集合中K1的超参数搜索空间包括{1,5,10,15,20},所述Rerank参数集合中k2的超参数搜索空间包括{1,2,3,4,5,6},所述Rerank参数集合中λ的超参数搜索空间包括{0.3,0.6,0.9};
所述超参数调整优先级由高到低的顺序为:所述训练周期、所述初始学习率、所述每个行人的图片数、所述三元组损失阈值、所述图片数目的边界、所述K1、所述k2、所述λ。
优选的,所述基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练的过程中,包括:
将所述待训练样本集,按照行人类别分为N份分组样本集,N的值与所述交叉验证方法的交叉次数相等;
选取其中的N-1份所述分组样本集作为训练集,将剩下的一份所述分组样本集作为验证集;
通过所述训练集对所述行人重识别模型进行训练,通过所述验证集对所述行人重识别模型进行验证,并将通过所述验证集计算得到的mAP及Rank1值的平均值作为所述行人重识别模型的准确度值,以基于所述准确度值对所述行人重识别模型进行选优。
一种行人重识别系统,包括:
第一获取模块,用于获取待训练样本集;
第一训练模块,用于基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的所述行人重识别模型;
第一识别模块,用于基于训练好的所述行人重识别模型进行行人重识别;
其中,所述待训练样本集按照所述交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
一种行人重识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上任一所述行人重识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述行人重识别方法的步骤。
本申请提供的一种行人重识别方法,获取待训练样本集;基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的行人重识别模型;基于训练好的行人重识别模型进行行人重识别;其中,待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同。本申请中,在获取待训练样本集后,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,使得数据重采样后的待训练样本集的数量增多,并且待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同,可以降低重复样本对训练过程的影响,增强了训练效果,进而可以提高行人重识别的识别效果。本申请提供的一种行人重识别系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种行人重识别方法的流程图;
图2为本申请实施例提供的一种行人重识别系统的结构示意图;
图3为本申请实施例提供的一种行人重识别设备的结构示意图;
图4为本申请实施例提供的一种行人重识别设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1为本申请实施例提供的一种行人重识别方法的流程图。
本申请实施例提供的一种行人重识别方法,可以包括以下步骤:
步骤S101:获取待训练样本集。
实际应用中,可以先获取待训练样本集,待训练样本集指的是用于对行人重识别模型进行训练的样本集,其中可以包括多个行人的多类图片。
步骤S102:基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的行人重识别模型。
实际应用中,在获取待训练样本集之后,便可以基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练。
应当指出,通过数据重采样可以对待训练样本集中的样本进行重新处理,使得待训练样本集可以满足训练要求;通过交叉验证方法对行人重识别模型进行训练,并且设置待训练样本集按照交叉验证方法进行分组后,任意两个分组中的行人类别均不相同,降低了重复样本对训练过程的影响;此外,本申请中的行人重识别模型的类型可以根据实际需要确定,比如行人重识别模型可以为神经网络模型等;
步骤S103:基于训练好的行人重识别模型进行行人重识别;其中,待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
实际应用中,在得到训练好的行人重识别模型之后,便可以基于训练好的行人重识别模型进行行人重识别。
本申请提供的一种行人重识别方法,获取待训练样本集;基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的行人重识别模型;基于训练好的行人重识别模型进行行人重识别;其中,待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同。本申请中,在获取待训练样本集后,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,使得数据重采样后的待训练样本集的数量增多,并且待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同,可以降低重复样本对训练过程的影响,增强了训练效果,进而可以提高行人重识别的识别效果。
本申请实施例提供的一种行人重识别方法中,基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练的过程,可以具体为:剔除待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;确定出剔除后的样本集中图片数小于第二预设值的第一目标行人;将第一目标行人的图片复制,得到第一复制图片;将第一复制图片及剔除后的样本集作为第一目标样本集;基于第一目标样本集,通过交叉验证方法对预先搭建的行人重识别模型进行训练。也即在训练前通过数据重采样对待训练样本集进行处理时,可以先剔除待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;再确定出剔除后的样本集中图片数小于第二预设值的第一目标行人;将第一目标行人的图片复制,得到第一复制图片;将第一复制图片及剔除后的样本集作为第一目标样本集;基于第一目标样本集,通过交叉验证方法对预先搭建的行人重识别模型进行训练。
实际应用中,基于第一目标样本集,通过交叉验证方法对预先搭建的行人重识别模型进行训练的过程中,可以包括:确定出第一目标样本集中图片数大于第二预设值且小于第一预设值的第二目标行人,将第二目标行人的图片复制,得到第二复制图片,将第二复制图片及第一目标样本集作为第二目标样本集,以基于第二目标样本集进行训练。也即在通过数据重采样对待训练样本集进行处理时,可以先剔除待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;确定出剔除后的样本集中图片数小于第二预设值的第一目标行人;将第一目标行人的图片复制,得到第一复制图片;将第一复制图片及剔除后的样本集作为第一目标样本集;再在对行人重识别模型进行训练的过程中,确定出第一目标样本集中图片数大于第二预设值且小于第一预设值的第二目标行人,将第二目标行人的图片复制,得到第二复制图片,将第二复制图片及第一目标样本集作为第二目标样本集,以基于第二目标样本集进行训练。
实际应用中,第一预设值的值可以包括100;第二预设值的值可以包括4;交叉验证方法可以包括4交叉验证方法,此时,待训练样本集中任一行人的图片类别数也为4。
本申请实施例提供的一种行人重识别方法中,基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练的过程中,需要对行人重识别模型的训练过程进行评价,以便根据评价结果进一步对行人重识别模型进行训练,此时,可以将目标样本集,按照行人类别分为N份分组样本集,N的值与交叉验证方法的交叉次数相等,比如4交叉验证方法时,N的值便为4,5交叉验证方法时,N的值便为5等;选取其中的N-1份分组样本集作为训练集,将剩下的一份分组样本集作为验证集;通过训练集对行人重识别模型进行训练,通过验证集对行人重识别模型进行验证,并将通过验证集计算得到的mAP及Rank1值的平均值作为行人重识别模型的准确度值,以基于准确度值对行人重识别模型进行选优。应当指出,mAP及Rank1均为现有技术中的行人重识别评价指标;且在具体应用场景中,在确定行人重识别模型中每类参数的最优值时,可以保证其他参数不变,重复执行N次本实施例提供的步骤,并将N次准确度值的均值作为最终该参数的准确度,给定离散参数搜索空间,选取最终准确度最高的参数作为该参数的最优值等。
本申请实施例提供的一种行人重识别方法中,基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练的过程中,可以事先确定行人重识别模型的超参数信息,以便在训练过程中快速对行人重识别模型进行参数调整,在此过程中,可以确定行人重识别模型的超参数类型、超参数搜寻空间、超参数调整优先级;基于超参数类型、超参数搜寻空间、超参数调整优先级对行人重识别模型进行训练。
实际应用中,超参数类型可以包括:每个行人的图片数、图片数目的边界、初始学习率、训练周期、三元组损失阈值、Rerank参数集合;
每个行人的图片数的超参数搜寻空间包括{2,4,8};图片数目的边界的超参数搜寻空间包括{10,30,50,70,100};初始学习率的超参数搜寻空间包括{0.00035,0.001,0.003,0.01};训练周期的超参数搜寻空间包括{80,120,160,240};三元组损失阈值的超参数搜寻空间包括{0.3,1.2,4.8,10.0,20.0};Rerank参数集合中K1的超参数搜索空间包括{1,5,10,15,20},Rerank参数集合中k2的超参数搜索空间包括{1,2,3,4,5,6},Rerank参数集合中λ的超参数搜索空间包括{0.3,0.6,0.9};
超参数调整优先级由高到低的顺序可以为:训练周期、初始学习率、每个行人的图片数、三元组损失阈值、图片数目的边界、K1、k2、λ。
应当指出,可以根据实际需要来确定本申请中行人重识别模型的结构,比如本申请中行人重识别模型可以为基于Resnet(残差神经网络)50的骨干网络搭建的神经网络,行人重识别模型的Batch Size(一次训练所选取的样本数)可以为64,且可以包括stem网络、四层stage网络、全连接层等,此时,图片经过行人重识别模型的stem网络、stage1到stage4网络结构后,特征图变为原来尺寸的1/32,然后对这个特征图进行GAP(Global AveragePooling),再接最终的全连接层进行最终的分类;且行人重识别模型的损失函数可以采用交叉熵损失与三元组损失结合的函数等。
为了对本申请提供的行人重识别方法的效果进行描述,现在8块V100GPU的实验环境下对本申请提供的行人重识别方法进行测试,数据库采用的是Market1501数据集及NAIC2019行人重识别比赛初赛数据集。Market1501数据集包含751人,共12936张图像,平均每人有17.2张训练数据。NAIC 2019行人重识别比赛数据集训练集有20429张图片,模型采用基于Resnet50的骨干网络,数据增强采用了水平翻转、随机擦除。输入图片分辨率为256*128。
最终对Market1501搜索到的最佳参数如表格1;最终对NAIC数据集搜索到的最佳参数为如表格2;对于NAIC数据集采用表格1和表格2的参数在验证集上得到的准确率如表格3;其中,N表示每个行人的图片数,M表示图片数目的边界,lr表示初始学习率,epoch表示训练周期,α表示三元损失阈值。可以看到两个数据集搜寻到的参数存在很大的差距,尤其在重采样参数以及三元组损失正负样本距离阈值α;这说明两个数据集的数据分布存在很大的不同,NAIC的数据正负样本差距较大,并且类别极为不平衡。同时通过表格3数据可以看出不同的参数对于模型性能的影响是很大的。而通过本申请的方法,可以很好地得到的数据集的最佳参数组合,模型训练效果好,识别效果好。
表1对Market1501搜索到的最佳参数
N | 4 |
M | 10 |
epoch | 120 |
lr | 0.00035 |
α | 0.3 |
k1 | 20 |
k2 | 6 |
λ | 0.3 |
表2对NAIC数据集搜索到的最佳参数
N | 4 |
M | 100 |
epoch | 80 |
lr | 0.001 |
α | 10 |
k1 | 3 |
k2 | 2 |
λ | 0.6 |
表3不同参数在NAIC数据集下性能
参数 | 准确率 |
表格1 | 75.23 |
表格2 | 81.38 |
请参阅图2,图2为本申请实施例提供的一种行人重识别系统的结构示意图。
本申请实施例提供的一种行人重识别系统,可以包括:
第一获取模块101,用于获取待训练样本集;
第一训练模块102,用于基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的行人重识别模型;
第一识别模块103,用于基于训练好的行人重识别模型进行行人重识别;
其中,待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
本申请实施例提供的一种行人重识别系统,第一训练模块可以包括:
第一剔除单元,用于剔除待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;
第一确定单元,用于确定出剔除后的样本集中图片数小于第二预设值的第一目标行人;
第一复制单元,用于将目标行人的图片复制,得到第一复制图片;
第一设置单元,用于将第一复制图片及剔除后的样本集作为第一目标样本集;
第一训练单元,用于基于第一目标样本集,通过交叉验证方法对预先搭建的行人重识别模型进行训练。
本申请实施例提供的一种行人重识别系统,第一训练单元可以包括:
第二训练单元,用于确定出剔除样本集中图片数大于第二预设值且小于第一预设值的第二目标行人,将第二目标行人的图片复制,得到第二复制图片,将第二复制图片及第一目标样本集作为第二目标样本集,以基于第二目标样本集进行训练。
本申请实施例提供的一种行人重识别系统,第一预设值的值可以包括100;第二预设值的值包括4;交叉验证方法包括4交叉验证方法。
本申请实施例提供的一种行人重识别系统,第一训练模块可以包括:
第一拆分单元,用于将目标样本集,按照行人类别及图片类别分为N份分组样本集,N的值与交叉验证方法的交叉次数相等;
第二设置单元,用于选取其中的N-1份分组样本集作为训练集,将剩下的一份分组样本集作为验证集;
第三训练单元,用于通过训练集对行人重识别模型进行训练,通过验证集对行人重识别模型进行验证,并将通过验证集计算得到的mAP及Rank1值的平均值作为行人重识别模型的准确度值,以基于准确度值对行人重识别模型进行选优。
本申请实施例提供的一种行人重识别系统,第一训练模块可以包括:
第二确定单元,用于确定行人重识别模型的超参数类型、超参数搜寻空间、超参数调整优先级;
第四训练单元,用于基于超参数类型、超参数搜寻空间、超参数调整优先级对行人重识别模型进行训练。
本申请实施例提供的一种行人重识别系统,超参数类型可以包括:每个行人的图片数、图片数目的边界、初始学习率、训练周期、三元组损失阈值、Rerank参数集合;
每个行人的图片数的超参数搜寻空间包括{2,4,8};图片数目的边界的超参数搜寻空间包括{10,30,50,70,100};初始学习率的超参数搜寻空间包括{0.00035,0.001,0.003,0.01};训练周期的超参数搜寻空间包括{80,120,160,240};三元组损失阈值的超参数搜寻空间包括{0.3,1.2,4.8,10.0,20.0};Rerank参数集合中K1的超参数搜索空间包括{1,5,10,15,20},Rerank参数集合中k2的超参数搜索空间包括{1,2,3,4,5,6},Rerank参数集合中λ的超参数搜索空间包括{0.3,0.6,0.9};
超参数调整优先级由高到低的顺序为:训练周期、初始学习率、每个行人的图片数、三元组损失阈值、图片数目的边界、K1、k2、λ。
本申请还提供了一种行人重识别设备及计算机可读存储介质,其均具有本申请实施例提供的一种行人重识别方法具有的对应效果。请参阅图3,图3为本申请实施例提供的一种行人重识别设备的结构示意图。
本申请实施例提供的一种行人重识别设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:
获取待训练样本集;
基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的行人重识别模型;
基于训练好的行人重识别模型进行行人重识别;
其中,待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
本申请实施例提供的一种行人重识别设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:剔除待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;确定出剔除后的样本集中图片数小于第二预设值的第一目标行人;将第一目标行人的图片复制,得到第一复制图片;将第一复制图片及剔除后的样本集作为第一目标样本集;基于第一目标样本集,通过交叉验证方法对预先搭建的行人重识别模型进行训练。
本申请实施例提供的一种行人重识别设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:确定出第一目标样本集中图片数大于第二预设值且小于第一预设值的第二目标行人,将第二目标行人的图片复制,得到第二复制图片,将第二复制图片及第一目标样本集作为第二目标样本集,以基于第二目标样本集进行训练。
本申请实施例提供的一种行人重识别设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:第一预设值的值包括100;第二预设值的值包括4;交叉验证方法包括4交叉验证方法。
本申请实施例提供的一种行人重识别设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:将目标样本集,按照行人类别及图片类别分为N份分组样本集,N的值与交叉验证方法的交叉次数相等;选取其中的N-1份分组样本集作为训练集,将剩下的一份分组样本集作为验证集;通过训练集对行人重识别模型进行训练,通过验证集对行人重识别模型进行验证,并将通过验证集计算得到的mAP及Rank1值的平均值作为行人重识别模型的准确度值,以基于准确度值对行人重识别模型进行选优。
本申请实施例提供的一种行人重识别设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:确定行人重识别模型的超参数类型、超参数搜寻空间、超参数调整优先级;基于超参数类型、超参数搜寻空间、超参数调整优先级对行人重识别模型进行训练。
本申请实施例提供的一种行人重识别设备,包括存储器201和处理器202,存储器201中存储有计算机程序,处理器202执行计算机程序时实现如下步骤:超参数类型包括:每个行人的图片数、图片数目的边界、初始学习率、训练周期、三元组损失阈值、Rerank参数集合;每个行人的图片数的超参数搜寻空间包括{2,4,8};图片数目的边界的超参数搜寻空间包括{10,30,50,70,100};初始学习率的超参数搜寻空间包括{0.00035,0.001,0.003,0.01};训练周期的超参数搜寻空间包括{80,120,160,240};三元组损失阈值的超参数搜寻空间包括{0.3,1.2,4.8,10.0,20.0};Rerank参数集合中K1的超参数搜索空间包括{1,5,10,15,20},Rerank参数集合中k2的超参数搜索空间包括{1,2,3,4,5,6},Rerank参数集合中λ的超参数搜索空间包括{0.3,0.6,0.9};超参数调整优先级由高到低的顺序为:训练周期、初始学习率、每个行人的图片数、三元组损失阈值、图片数目的边界、K1、k2、λ。
请参阅图4,本申请实施例提供的另一种行人重识别设备中还可以包括:与处理器202连接的输入端口203,用于传输外界输入的命令至处理器202;与处理器202连接的显示单元204,用于显示处理器202的处理结果至外界;与处理器202连接的通信模块205,用于实现行人重识别设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等;通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接:无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:
获取待训练样本集;
基于待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的行人重识别模型;
基于训练好的行人重识别模型进行行人重识别;
其中,待训练样本集按照交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:剔除待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;确定出剔除后的样本集中图片数小于第二预设值的第一目标行人;将第一目标行人的图片复制,得到第一复制图片;将第一复制图片及剔除后的样本集作为第一目标样本集;基于第一目标样本集,通过交叉验证方法对预先搭建的行人重识别模型进行训练。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:确定出第一目标样本集中图片数大于第二预设值且小于第一预设值的第二目标行人,将第二目标行人的图片复制,得到第二复制图片,将第二复制图片及第一目标样本集作为第二目标样本集,以基于第二目标样本集进行训练。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:第一预设值的值包括100;第二预设值的值包括4;交叉验证方法包括4交叉验证方法。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:将目标样本集,按照行人类别及图片类别分为N份分组样本集,N的值与交叉验证方法的交叉次数相等;选取其中的N-1份分组样本集作为训练集,将剩下的一份分组样本集作为验证集;通过训练集对行人重识别模型进行训练,通过验证集对行人重识别模型进行验证,并将通过验证集计算得到的mAP及Rank1值的平均值作为行人重识别模型的准确度值,以基于准确度值对行人重识别模型进行选优。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:确定行人重识别模型的超参数类型、超参数搜寻空间、超参数调整优先级;基于超参数类型、超参数搜寻空间、超参数调整优先级对行人重识别模型进行训练。
本申请实施例提供的一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序被处理器执行时实现如下步骤:超参数类型包括:每个行人的图片数、图片数目的边界、初始学习率、训练周期、三元组损失阈值、Rerank参数集合;每个行人的图片数的超参数搜寻空间包括{2,4,8};图片数目的边界的超参数搜寻空间包括{10,30,50,70,100};初始学习率的超参数搜寻空间包括{0.00035,0.001,0.003,0.01};训练周期的超参数搜寻空间包括{80,120,160,240};三元组损失阈值的超参数搜寻空间包括{0.3,1.2,4.8,10.0,20.0};Rerank参数集合中K1的超参数搜索空间包括{1,5,10,15,20},Rerank参数集合中k2的超参数搜索空间包括{1,2,3,4,5,6},Rerank参数集合中λ的超参数搜索空间包括{0.3,0.6,0.9};超参数调整优先级由高到低的顺序为:训练周期、初始学习率、每个行人的图片数、三元组损失阈值、图片数目的边界、K1、k2、λ。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的行人重识别系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的行人重识别方法中对应部分的详细说明,在此不再赘述。另外,本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明,以免过多赘述。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种行人重识别方法,其特征在于,包括:
获取待训练样本集;
基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的所述行人重识别模型;
基于训练好的所述行人重识别模型进行行人重识别;
其中,所述待训练样本集按照所述交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
2.根据权利要求1所述的方法,其特征在于,所述基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,包括:
剔除所述待训练样本集中图片数大于第一预设值的行人的图片,得到剔除后的样本集;
确定出所述剔除后的样本集中图片数小于第二预设值的第一目标行人;
将所述第一目标行人的图片复制,得到第一复制图片;
将所述第一复制图片及所述剔除后的样本集作为第一目标样本集;
基于所述第一目标样本集,通过所述交叉验证方法对预先搭建的所述行人重识别模型进行训练。
3.根据权利2所述的方法,其特征在于,所述基于所述第一目标样本集,通过所述交叉验证方法对预先搭建的所述行人重识别模型进行训练的过程中,包括:
确定出所述第一目标样本集中图片数大于所述第二预设值且小于所述第一预设值的第二目标行人,将所述第二目标行人的图片复制,得到第二复制图片,将所述第二复制图片及所述第一目标样本集作为第二目标样本集,以基于所述第二目标样本集进行训练。
4.根据权利要求2或3任一项所述的方法,其特征在于,所述第一预设值的值包括100;所述第二预设值的值包括4;所述交叉验证方法包括4交叉验证方法。
5.根据权利要求4所述的方法,其特征在于,所述基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练的过程中,包括:
确定所述行人重识别模型的超参数类型、超参数搜寻空间、超参数调整优先级;
基于所述超参数类型、所述超参数搜寻空间、所述超参数调整优先级对所述行人重识别模型进行训练。
6.根据权利要求5所述的方法,其特征在于,所述超参数类型包括:每个行人的图片数、图片数目的边界、初始学习率、训练周期、三元组损失阈值、Rerank参数集合;
所述每个行人的图片数的超参数搜寻空间包括{2,4,8};所述图片数目的边界的超参数搜寻空间包括{10,30,50,70,100};所述初始学习率的超参数搜寻空间包括{0.00035,0.001,0.003,0.01};所述训练周期的超参数搜寻空间包括{80,120,160,240};所述三元组损失阈值的超参数搜寻空间包括{0.3,1.2,4.8,10.0,20.0};所述Rerank参数集合中k1的超参数搜索空间包括{1,5,10,15,20},所述Rerank参数集合中k2的超参数搜索空间包括{1,2,3,4,5,6},所述Rerank参数集合中λ的超参数搜索空间包括{0.3,0.6,0.9};
所述超参数调整优先级由高到低的顺序为:所述训练周期、所述初始学习率、所述每个行人的图片数、所述三元组损失阈值、所述图片数目的边界、所述K1、所述k2、所述λ。
7.根据权利要求6所述的方法,其特征在于,所述基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练的过程中,包括:
将所述待训练样本集,按照行人类别分为N份分组样本集,N的值与所述交叉验证方法的交叉次数相等;
选取其中的N-1份所述分组样本集作为训练集,将剩下的一份所述分组样本集作为验证集;
通过所述训练集对所述行人重识别模型进行训练,通过所述验证集对所述行人重识别模型进行验证,并将通过所述验证集计算得到的mAP及Rank1值的平均值作为所述行人重识别模型的准确度值,以基于所述准确度值对所述行人重识别模型进行选优。
8.一种行人重识别系统,其特征在于,包括:
第一获取模块,用于获取待训练样本集;
第一训练模块,用于基于所述待训练样本集,通过数据重采样及交叉验证方法对预先搭建的行人重识别模型进行训练,得到训练好的所述行人重识别模型;
第一识别模块,用于基于训练好的所述行人重识别模型进行行人重识别;
其中,所述待训练样本集按照所述交叉验证方法进行分组后,任意两个分组间的行人类别均不同。
9.一种行人重识别设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述行人重识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述行人重识别方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010327772.1A CN111523469B (zh) | 2020-04-23 | 2020-04-23 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
US17/914,799 US20240005633A1 (en) | 2020-04-23 | 2020-09-24 | Person re-identification method, system, and device, and computer readable storage medium |
PCT/CN2020/117333 WO2021212737A1 (zh) | 2020-04-23 | 2020-09-24 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010327772.1A CN111523469B (zh) | 2020-04-23 | 2020-04-23 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111523469A true CN111523469A (zh) | 2020-08-11 |
CN111523469B CN111523469B (zh) | 2022-02-18 |
Family
ID=71903799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010327772.1A Active CN111523469B (zh) | 2020-04-23 | 2020-04-23 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240005633A1 (zh) |
CN (1) | CN111523469B (zh) |
WO (1) | WO2021212737A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112527790A (zh) * | 2020-12-24 | 2021-03-19 | 四川享宇金信金融科技有限公司 | 一种基于loo-cv验证的交叉核验方法 |
WO2021212737A1 (zh) * | 2020-04-23 | 2021-10-28 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
CN114120373A (zh) * | 2022-01-24 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114936205A (zh) * | 2022-06-02 | 2022-08-23 | 江苏品生医疗科技集团有限公司 | 一种特征筛选方法、装置、存储介质及电子设备 |
CN115512391B (zh) * | 2022-09-29 | 2023-07-21 | 珠海视熙科技有限公司 | 数据自适应重采样的目标检测模型训练方法、装置及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017059576A1 (en) * | 2015-10-09 | 2017-04-13 | Beijing Sensetime Technology Development Co., Ltd | Apparatus and method for pedestrian detection |
US20170236013A1 (en) * | 2016-02-15 | 2017-08-17 | Nvidia Corporation | System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models |
CN108030494A (zh) * | 2017-11-08 | 2018-05-15 | 华南理工大学 | 基于交叉验证的心电信号错误标记训练样本识别方法 |
CN108491884A (zh) * | 2018-03-27 | 2018-09-04 | 中山大学 | 基于轻量级网络的行人再识别系统及实现方法 |
CN109145766A (zh) * | 2018-07-27 | 2019-01-04 | 北京旷视科技有限公司 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
CN109272048A (zh) * | 2018-09-30 | 2019-01-25 | 北京工业大学 | 一种基于深度卷积神经网络的模式识别方法 |
CN110245608A (zh) * | 2019-06-14 | 2019-09-17 | 西北工业大学 | 一种基于半张量积神经网络的水下目标识别方法 |
CN110688888A (zh) * | 2019-08-02 | 2020-01-14 | 浙江省北大信息技术高等研究院 | 一种基于深度学习的行人属性识别方法和系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11151365B2 (en) * | 2018-06-12 | 2021-10-19 | Capillary Technologies International Pte Ltd | People detection system with feature space enhancement |
CN111523469B (zh) * | 2020-04-23 | 2022-02-18 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
-
2020
- 2020-04-23 CN CN202010327772.1A patent/CN111523469B/zh active Active
- 2020-09-24 US US17/914,799 patent/US20240005633A1/en active Pending
- 2020-09-24 WO PCT/CN2020/117333 patent/WO2021212737A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017059576A1 (en) * | 2015-10-09 | 2017-04-13 | Beijing Sensetime Technology Development Co., Ltd | Apparatus and method for pedestrian detection |
US20170236013A1 (en) * | 2016-02-15 | 2017-08-17 | Nvidia Corporation | System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models |
CN108030494A (zh) * | 2017-11-08 | 2018-05-15 | 华南理工大学 | 基于交叉验证的心电信号错误标记训练样本识别方法 |
CN108491884A (zh) * | 2018-03-27 | 2018-09-04 | 中山大学 | 基于轻量级网络的行人再识别系统及实现方法 |
CN109145766A (zh) * | 2018-07-27 | 2019-01-04 | 北京旷视科技有限公司 | 模型训练方法、装置、识别方法、电子设备及存储介质 |
CN109272048A (zh) * | 2018-09-30 | 2019-01-25 | 北京工业大学 | 一种基于深度卷积神经网络的模式识别方法 |
CN110245608A (zh) * | 2019-06-14 | 2019-09-17 | 西北工业大学 | 一种基于半张量积神经网络的水下目标识别方法 |
CN110688888A (zh) * | 2019-08-02 | 2020-01-14 | 浙江省北大信息技术高等研究院 | 一种基于深度学习的行人属性识别方法和系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021212737A1 (zh) * | 2020-04-23 | 2021-10-28 | 苏州浪潮智能科技有限公司 | 一种行人重识别方法、系统、设备及计算机可读存储介质 |
CN112527790A (zh) * | 2020-12-24 | 2021-03-19 | 四川享宇金信金融科技有限公司 | 一种基于loo-cv验证的交叉核验方法 |
CN112527790B (zh) * | 2020-12-24 | 2023-06-02 | 四川享宇金信金融科技有限公司 | 一种基于loo-cv验证的交叉核验方法 |
CN114120373A (zh) * | 2022-01-24 | 2022-03-01 | 苏州浪潮智能科技有限公司 | 一种模型训练方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021212737A1 (zh) | 2021-10-28 |
US20240005633A1 (en) | 2024-01-04 |
CN111523469B (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523469B (zh) | 一种行人重识别方法、系统、设备及计算机可读存储介质 | |
US20210035304A1 (en) | Training method for image semantic segmentation model and server | |
CN110738125B (zh) | 利用Mask R-CNN选择检测框的方法、装置及存储介质 | |
CN110674881B (zh) | 商标图像检索模型训练方法、系统、存储介质及计算机设备 | |
CN109993040A (zh) | 文本识别方法及装置 | |
CN111126122B (zh) | 人脸识别算法评估方法及装置 | |
CN111061915B (zh) | 视频人物关系识别方法 | |
CN110348392B (zh) | 车辆匹配方法及设备 | |
CN110826415A (zh) | 一种场景图像中车辆的重识别方法及设备 | |
CN112308148A (zh) | 缺陷类别识别、孪生神经网络训练方法、装置及存储介质 | |
CN107066980B (zh) | 一种图像变形检测方法及装置 | |
CN111081103B (zh) | 一种听写答案获取方法、家教设备及存储介质 | |
CN111435445A (zh) | 字符识别模型的训练方法及装置、字符识别方法及装置 | |
CN114357206A (zh) | 基于语义分析的教育类视频彩色字幕生成方法及系统 | |
CN113301382B (zh) | 视频处理方法、设备、介质及程序产品 | |
CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
CN111062388B (zh) | 基于深度学习的广告文字的识别方法、系统、介质及设备 | |
CN106557523B (zh) | 代表性图像选择方法和设备以及对象图像检索方法和设备 | |
CN111008295A (zh) | 书页检索方法、装置、电子设备和存储介质 | |
CN116071557A (zh) | 一种长尾目标检测方法、计算机可读存储介质及驾驶设备 | |
CN116645719A (zh) | 一种瞳孔和虹膜定位方法、装置、电子设备及存储介质 | |
CN114299944B (zh) | 视频处理方法、系统、装置及存储介质 | |
CN116246161A (zh) | 领域知识引导下的遥感图像目标精细类型识别方法及装置 | |
CN115546762A (zh) | 图像聚类方法、装置、存储介质及服务器 | |
CN112884866B (zh) | 一种黑白视频的上色方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |