CN111666902A - 行人特征提取模型的训练方法、行人识别方法及相关装置 - Google Patents

行人特征提取模型的训练方法、行人识别方法及相关装置 Download PDF

Info

Publication number
CN111666902A
CN111666902A CN202010521293.3A CN202010521293A CN111666902A CN 111666902 A CN111666902 A CN 111666902A CN 202010521293 A CN202010521293 A CN 202010521293A CN 111666902 A CN111666902 A CN 111666902A
Authority
CN
China
Prior art keywords
pedestrian
extraction model
class
image
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010521293.3A
Other languages
English (en)
Other versions
CN111666902B (zh
Inventor
樊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202010521293.3A priority Critical patent/CN111666902B/zh
Publication of CN111666902A publication Critical patent/CN111666902A/zh
Application granted granted Critical
Publication of CN111666902B publication Critical patent/CN111666902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种行人特征提取模型的训练方法、行人识别方法及相关装置，其中，训练方法包括：通过待训练行人特征提取模型的分类层获取M个类中心特征向量；任意两个类中心特征向量的类间距为第一类间距；类间距表征M个不同的行人之间的差异度；根据预设更新策略更新M个类中心特征向量；任意两个更新后的类中心特征向量之间的间距为第二间距，第二类间距大于第一类间距；获取样本图像集合；基于更新后的M个类中心特征向量和样本图像集合对待训练行人特征提取模型进训练，得到行人特征提取模型，该行人特征提取模型用于获取行人图像的特征向量。与现有技术相比，本发明扩大了类中心特征向量之间的类间距，能够提高行人识别的准确度。

Description

行人特征提取模型的训练方法、行人识别方法及相关装置
技术领域
本发明涉及行人识别领域，具体而言，涉及一种行人特征提取模型的训练方法、行人识别方法及相关装置。
背景技术
行人再识别(Personre-identification，简称reid)是视频监控和公共安全中的一个热门课题，指的是在非重叠视域的不同摄像机中识别匹配同一行人问题。
随着深度学习技术的发展，在进行行人再识别的过程中，通常需要将每一张行人图像通过行人特征提取模型中获得对应的特征向量，然后根据每一张图所对应的特征向量获得每一张图像与其他图像之间的相似度来完成行人再识别。
目前，由于各个类之间的关联性，在训练行人特征提取模型的过程中，由于同一类的各个特征向量在训练的过程中在各自的类中心拟合，当模型中各个类中心之间的距离较小时，通过行人特征提取模型提取的特征向量的区分度较低，容易出现行人识别的准确率低的缺陷。
发明内容
有鉴于此，本发明实施例提供一种行人特征提取模型的训练方法、行人识别方法及相关装置，用于解决通过行人特征提取模型提取的特征向量的区分度较低，容易出现行人识别的准确率低的问题。
为了实现上述目的，本发明实施例采取的技术方案为：
第一方面，本发明实施例提供了一种行人特征提取模型的训练方法，所述方法包括：
通过待训练行人特征提取模型的分类层获取M个类中心特征向量；其中，所述M为大于1的整数；任意两个类中心特征向量之间的间距为第一间距；通过待训练行人特征提取模型的分类层获取M个类中心特征向量；其中，所述M为大于1的整数；所述M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个所述类中心特征向量的类间距为第一类间距；所述类间距表征所述M个不同的行人之间的差异度；
根据预设更新策略更新所述M个类中心特征向量；其中，任意两个更新后的类中心特征向量之间的间距为第二类间距，所述第二类间距大于所述第一类间距；
获取样本图像集合；其中，所述样本图像集合中包括N个样本图像；所述N为大于所述M的整数；
基于更新后的M个类中心特征向量和所述样本图像集合对所述待训练行人特征提取模型进训练，得到行人特征提取模型，其中，所述行人特征提取模型用于获取行人图像的特征向量。
可选地，所述根据预设更新策略更新所述M个类中心特征向量的步骤，包括：计算所述M个类中心特征向量对应的平均类中心特征向量和任意一个类中心特征向量与所述平均类中心特征向量之间的夹角；根据预设的角度调整参数、任意一个类中心特征向量与所述平均类中心特征向量之间的夹角确定更新更新所述M个类中心特征向量。
可选地，所述更新后的M个类中心特征向量满足如下关系式：
Figure BDA0002532167120000021
其中，
Figure BDA0002532167120000022
和
Figure BDA0002532167120000023
分别表征第j个类中心特征向量和更新后的第j个类中心特征向量，j＝1,2,...,M；
Figure BDA0002532167120000024
表征所述平均类中心特征向量；θj表征第j个类中心特征向量与所述平均类中心特征向量之间的夹角；λ表征所述角度调整参数；|·|表征向量的模。
可选地，所述N个样本图像包含M个训练图像与R个测试图像；所述M与所述R的总和为所述N；所述固定所述M个类中心特征向量，基于所述训练样本集合对所述待训练行人特征提取模型进训练，得到行人特征提取模型的步骤，包括：基于更新后的所述M个类中心特征向量和所述M个训练图像对所述待训练行人特征提取模型进行预设迭代次数的训练，获得训练后的所述待训练行人特征提取模型。当利用训练后的所述待训练行人特征提取模型对所述R个测试样本进行测试时的测试指标保持不变时，则所述训练后的待训练行人特征提取模型为行人特征模型。
第二方面，本发明实施例提供了一种行人识别方法，所述方法包括：
获取待搜索图像和比对图像库；其中，所述待搜索图像中包括目标行人；所述比对图像库中包含多张比对图像；
通过所述行人特征提取模型确定所述待搜索图像对应的第一图像特征和所述多张比对图像对应的第二图像特征；其中，所述行人特征提取模型为采用上述第一方面所述的行人特征提取模型的训练方法训练而成；所述第一图像特征和所述第二图像特征用于确定与所述目标行人匹配的至少一张所述比对图像。
可选地，所述方法还包括：计算所述待搜索图像对应的第一图像特征和所述多张比对图像对应的第二图像特征之间的相似度；根据所述相似度确定至少一张比对图像；所述至少一张比对图像中包含所述目标行人。
第三方面，本发明实施例提供了一种行人特征提取模型训练装置，包括：
获取模块，用于通过待训练行人特征提取模型的分类层获取M个类中心特征向量；其中，所述M为大于1的整数；所述M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个所述类中心特征向量的类间距为第一类间距；所述类间距表征所述M个不同的行人之间的差异度；
更新模块，用于根据预设更新策略更新所述M个类中心特征向量；其中，任意两个更新后的类中心特征向量之间的间距为第二类间距，所述第二类间距大于所述第一类间距；
所述获取模块，还用于获取样本图像集合；其中，所述样本图像集合中包括N个样本图像；所述N为大于所述M的整数；
训练模块，用于基于更新后的M个类中心特征向量和所述样本图像集合对所述待训练行人特征提取模型进训练，得到行人特征提取模型，其中，所述行人特征提取模型用于获取行人图像的特征向量。
第四方面，本发明实施例提供了一种行人识别装置，包括：获取模块，用于获取待搜索图像和比对图像库；其中，所述待搜索图像中包括目标行人；所述比对图像库中包含多张比对图像；确定模块，用于通过行人特征提取模型确定所述待搜索图像对应的第一图像特征和所述多张比对图像对应的第二图像特征；其中，所述行人特征提取模型为采用上述第一方面所述的行人特征提取模型的训练方法训练而成；所述第一图像特征和所述第二图像特征用于确定与所述目标行人匹配的至少一张所述比对图像。
第五方面，本发明实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现如第一方面所述的行人特征提取模型的训练方法或如第二方面所述的行人识别方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的行人特征提取模型的训练方法或如第二方面所述的行人识别方法。
本发明实施例提供了一种行人特征提取模型的训练方法、行人识别方法及相关装置，其中，行人特征提取模型的训练方法包括：通过待训练行人特征提取模型的分类层获取M个类中心特征向量；其中，所述M为大于1的整数；M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个类中心特征向量的类间距为第一类间距；类间距表征所述M个不同的行人之间的差异度；根据预设更新策略更新M个类中心特征向量；其中，任意两个更新后的类中心特征向量之间的间距为第二类间距，第二类间距大于第一类间距；获取样本图像集合；其中，样本图像集合中包括N个样本图像；N为大于所述M的整数；基于更新后的M个类中心特征向量和样本图像集合对待训练行人特征提取模型进训练，得到行人特征提取模型，其中，行人特征提取模型用于获取行人图像的特征向量。与现有技术相比，本发明根据预设的更新策略将待训练的行人特征提取模型的类中心特征向量进行更新，使得更新后的类中心特征向量之间的类间距扩大，使得不同类别的行人图像能够分离地更明显，同一类的图像特征在训练的过程中可以和各自的类中心特征更接近，因此，通过行人特征提取模型提取的不同行人图像的特征向量之间返区分度较大，能够提高行人识别的准确度。
本发明实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种类中心特征向量空间关系分布图；
图2为本发明实施例提供的一种行人特征提取模型的训练方法的示意性流程图；
图3为本发明实施例提供的另一种行人特征提取模型的训练方法的示意性流程图；
图4为本发明实施例提供的一种类中心特征向量的更新过程示意图；
图5为本发明实施例提供的另一种行人特征提取模型的训练方法的示意性流程图；
图6为本发明实施例提供的一种行人识别方法的示意性流程图；
图7为本发明实施例提供的另一种行人识别方法的示意性流程图；
图8为本发明实施例提供的一种行人特征提取模型训练装置的功能模块图；
图9为本发明实施例提供的一种行人识别装置的功能模块图；
图10为本发明实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
目前，行人再识别技术已经广泛应用于视频监控和公共安全领域，能够在庞大的视频库及图像库中识别搜索出包含同一行人的至少一张图像。在实际的图像搜索过程中，行人再识别技术通过行人特征提取模型提取待搜索的图像和图像库中的图像对应的特征向量，然后通过计算特征向量之间的相似度来确定具有相同行人特征的目标图像。
然而，考虑到实际情况中不同类行人图像之间存在一定关联性，例如，图像A中包含穿白色上衣的男性A，图像B中包含穿白色上衣的男性B，图像C中包含穿黑色上衣的男性B，可以看出，图像A属于男性A一类，图像B和图像C表示男性B一类，在行人特征提取模型的训练过程中，图像A的特征向量会逐渐向男性A的类中心特征向量拟合，而图像B和图像C的特征向量会逐渐向男性B的类中心特征向量拟合，但是，由于图像A和图像B中的男性均身穿白色上衣，使得男性A和男性B之间存在关联性，因此，在训练过程中男性A和男性B的特征向量之间的类间距相互靠近，使得模型提取的图像A和图像B的特征向量之间的相似度较接近，出现行人识别的准确率低问题。
为了方便理解上述问题，下面给出一种类中心特征向量的分布示意图，参见图1，图1为一种类中心特征向量空间关系分布图，其中，图1表征的是12个类中心特征向量的空间关系示意图，图1中的(1a)为理想情况下的类中心特征向量分布示意图，图1中的(1b)图为实际情况下的类中心特征向量空间关系分布示意图。
所谓空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，本发明实施例给出的是一种空间位置信息为绝对空间位置信息的示意图。绝对空间位置信息表征的是类中心特征向量之间的距离大小以及方位。
在行人特征提取模型的训练过程中，同一类图像的特征向量在训练的过程中会朝着各自的类中心拟合，逐渐缩小与类中心之间的距离，增加与类中心之间的相似度，增加与其他类图像的特征向量及类中心特征向量之间的距离，减小与其他类图像之间的相似度，在理想情况下，训练得到的类中心分布图如图1中的(1a)所示，其中类中心均匀分布在特征空间内，但是，当不同类图像的类中心之间存在关联性时，模型训练之后得到的类中心分布图如图1中的(1b)所示。
为了解决上述问题，对行人特征提取模型进行改进，本发明实施例提供了一种行人特征提取模型的训练方法，其核心在于根据预设的更新策略更新待训练行人特征提取模型的类中心特征向量，解耦各个类中心之间的关联性，增大类间间距，从而实现降低通过行人特征提取模型提取的不同类图像的特征向量之间相似度，提高行人识别的准确度。
实施例一
为了方便理解本发明实施例提供的一种行人特征提取模型的训练方法的实现过程，请参见图2，图2为本发明实施例提供的种行人特征提取模型的训练方法的示意性流程图，其中包括：
步骤201、通过待训练行人特征提取模型的分类层获取M个类中心特征向量。
在本发明实施例中，M为大于1的整数，M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个类中心特征向量的类间距为第一类间距；类间距表征M个不同的行人之间的区分度；类间距越大，不同行人之间的区分度越大，不同行人之间的差异越明显，越有利于区分出不同类行人，提高行人识别的准确度。
在本发明实施例中，待训练行人特征提取模型可以是卷积神经网络(ConvolutionalNeuralNetwork，CNN)，将M类行人的对应的多张样本图像输入待训练行人特征提取模型之后，由CNN提取获取多张图像所对应的M个类中心特征向量，可以理解的是，本申请中的CNN可以作为特征提取模块，具体可以采用残差网络(ResidualNeuralNetwork，ResNet)，或者密集卷积网络(DenseNet)等网络结构。
步骤202、根据预设更新策略更新M个类中心特征向量。
在本发明实施例中，任意两个更新后的类中心特征向量之间的间距为第二类间距，第二类间距大于第一类间距，表征M个行人之间的区分度增大，不同行人之间的差异越明显，越有利于区分不同类行人，提高行人识别的准确度。
步骤203、获取样本图像集合。
在本发明实施例中，其中，样本图像集合包括N个样本图像；N为大于M的整数。
步骤204、基于更新后的M个类中心特征向量和样本图像集合对待训练行人特征提取模型进训练，得到行人特征提取模型。
在本发明实施例中，获得的行人特征提取模型可以应用于智能安防、视频监控和刑侦等诸多领域，比如，在智能安防领域中，采用行人重识别方法可以用来对行人进行跨摄像头跟踪和指定行人检索时，可以采用上述行人特征提取模型提取视频图像库中行人的特征，并根据提取的特征计算不同图像之间的相似度，进而根据相似度比较确定目标行人对应的图像，能够进行及时的行为预警和提高刑侦效率，保障社会效益。
本发明实施例提供了一种行人特征提取模型的训练方法、包括：通过待训练行人特征提取模型的分类层获取M个类中心特征向量；其中，M为大于1的整数；M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个类中心特征向量的类间距为第一类间距；类间距表征M个不同的行人之间的差异度；根据预设更新策略更新M个类中心特征向量；其中，中，任意两个更新后的类中心特征向量之间的间距为第二类间距，第二类间距大于第一类间距；获取样本图像集合；其中，样本图像集合中包括N个样本图像；N为大于所述M的整数；基于更新后的M个类中心特征向量和样本图像集合对待训练行人特征提取模型进训练，得到行人特征提取模型，其中，行人特征提取模型用于获取行人图像的特征向量。与现有技术相比，本发明根据预设的更新策略将待训练的行人特征提取模型的类中心特征向量进行更新，扩大了类中心特征向量之间的类间距，同一类的图像特征可以和各自的类中心特征更接近，增大了不同行人的图像通过行人特征提取模型提取的特征向量之间的区分度，能够提高行人识别的准确度。
可选地，为了详细理解上述根据预设更新策略更新M个类中心特征向量的实现过程，请参见图3，图3为本发明实施例提供的另一种行人特征提取模型的训练方法的示意性流程图，其中步骤202包括以下几个步骤：
子步骤202-1、计算M个类中心特征向量对应的平均类中心特征向量和任意一个类中心特征向量与平均类中心特征向量之间的夹角。
子步骤202-2、根据预设的角度调整参数、任意一个类中心特征向量与平均类中心特征向量之间的夹角确定更新M个类中心特征向量。
在本发明实施例中，更新后的M个类中心特征向量满足如下关系式：
Figure BDA0002532167120000101
其中，
Figure BDA0002532167120000102
和
Figure BDA0002532167120000103
分别表征第j个类中心特征向量和更新后的第j个类中心特征向量，j＝1,2,...,M；
Figure BDA0002532167120000104
表征平均类中心特征向量；θj表征第j个类中心特征向量与平均类中心特征向量之间的夹角；λ表征所述角度调整参数；|·|表征向量的模。
为了方便理解上述实现过程，下面给出一种类中心特征向量的更新过程示意图，参见图4，其中图4中的a图表示的是类中心特征向量与平均类中心特征向量之间的关系图；b图为任意一个类中心特征向量的更新过程示意图。
从图4中的(a)可以看出，每个类中心特征向量之间存在对应的夹角，每个类中心特征向量与平均特征向量之间也存在对应的夹角，因此，可以基于平均类中心特征向量，根据角度调节参数调整每个类中心特征向量对应的夹角，当每个类中心特征向量与平均类中心特征向量之间的夹角发生改变时，任意两个类中心特征向量之间的夹角也发生改变，为了能够增大M个类中心特征向量之间的类间距，提高不同行人之间的区分度，本申请实施例中预设的角度调整参数用于扩大每个类中心特征向量与平均特征向量之间也存在对应的夹角，进而实现扩大类间距的目的。为了方便理解上述调整角度实现扩大类间距的过程，请继续参见图4中的(b)。
图4中的(b)表示的是第j个类中心特征向量的更新过程示意图，即扩大第j个类中心特征向量与平均类中心特征向量夹角的示意图，其中，确定根更新后的类中心特征向量的过程可以分为以下几步：
第一步、为了保证模型训练的稳定性：对任意一类的类中心特征向量按照关系(2)进行归一化处理并按照关系式(3)计算归一化的M个类中心特征向量计算平均类中心特征向量。
Figure BDA0002532167120000111
Figure BDA0002532167120000112
其中，
Figure BDA0002532167120000113
表征第j个类中心特征向量，j的取值为1,2,……M；M的取值是具体情况而定；|·|表征向量的模。
第二步、按照关系式(4)计算第j个类中心特征向量与平均类中心特征向量之间的夹角θj：
Figure BDA0002532167120000114
继续参见图4的(b)，可以看出更新后的第j个类中心特征向量
Figure BDA0002532167120000115
满足关系式(5)：
Figure BDA0002532167120000116
其中，
Figure BDA0002532167120000117
表征第j类中心特征向量
Figure BDA0002532167120000118
与平均类中心向量
Figure BDA0002532167120000119
之间的差向量；
Figure BDA00025321671200001110
表征更新后的第j类中心特征向量
Figure BDA00025321671200001111
与第j类中心特征向量
Figure BDA00025321671200001112
之间的差向量；根据第二步获得的得到所有类中心向量平均类中心特征向量之间的夹角以及预设的角度调整参数即可以获得
Figure BDA00025321671200001113
满足关系式(6)：
Figure BDA00025321671200001114
其中，系数H满足关系式：
Figure BDA00025321671200001115
其中，θj表征第j个类中心特征向量与平均类中心特征向量之间的夹角，βj表征扩大后的θj，满足关系式βj＝λθj；λ表征所述角度调整参数，取值大于1，具体取值根据实际情况而定，此处不作限定。
通过以上述过程可以获得满足关系式(1)的所有类别的更新后的类中心特征向量。
可选地，获得更新后的类中心特征向量之后，可以固定调整后的类中心特征向量不受梯度反向传播的影响并结合样本图像集合对待训练的行人特征提取模型进行训练，其中，在本发明实施例中，样本图像集合可以包括M个训练样本图像和R个测试样本图像；M+R＝N；M个训练样本图像与M个类中心特征向量对应的M个不同行人一一对应，下面给出一种模型训练的实现方式，其中，图5为本发明实施例提供的另一种行人特征提取模型的训练方法的示意性流程图；其中步骤204还包括以下子步骤：
子步骤204-1、基于更新后的M个类中心特征向量和M个训练样本图像对待训练行人特征提取模型进行预设迭代次数的训练，获得训练后的待训练行人特征提取模型。
子步骤204-2、当利用训练后的待训练行人特征提取模型对R个测试样本图像进行测试时的测试指标保持不变时，得到行人特征提取模型。
在本发明实施例中，预设迭代次数的训练可以根据实际的情况选定，例如100次，当对待训练行人特征提取模型训练100次之后，利用训练后的模型和测试集样本图像测试模型的性能指标，若此次训练后的模型的性能指标相较于前一次训练后的模型的性能指标没有提升，即此次训练后的模型的性能指标相较于前一次训练后的模型的性能指标相同，此时对应的模型可以作为行人特征提取模型，若性能指标有提升，增大预设的角度调整参数并基于预设的更新策略再次更新类中心权重向量，直至基于更新后的类中心权重向量训练得到的模型的性能指标不再提升，此时获得行人特征提取模型。
可以理解的是，本发明实施例中的行人特征提取模型可以在服务器中进行训练，也可以在终端设备上进行模型训练，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、个人电脑(personalcomputer，PC)等，此处不作限定，用户可以根据实际的需求选择服务器或者是终端设备来完成模型训练。
实施例二
基于上述训练后的行人特征提取模型，本发明实施例还提供了一种行人识别方法，请参见图6，图6为本发明实施例提供的一种行人识别方法的示意性流程图，其中包括：
步骤601、获取待搜索图像和比对图像库。
在本发明实施例中，其中，所述待搜索图像中包括目标行人；比对图像库中包含多张比对图像。
步骤602、通过行人特征提取模型确定待搜索图像对应的第一图像特征和所述多张比对图像对应的第二图像特征。
在本发明实施例中，第一图像特征和第二图像特征用于确定与目标行人匹配的至少一张所述比对图像；行人特征提取模型为采用上述实施例所描述的行人特征提取模型的训练方法训练而成。
可以理解的是，本发明实施例提供的行人识别方法可以应用于智能安防、视频监控和刑侦等诸多领域，比如，在智能安防领域中，采用行人重识别方法可以用来对行人进行跨摄像头跟踪和指定行人检索时，可以采用上述行人特征提取模型提取视频图像库中行人的特征，并根据提取的特征计算不同图像之间的相似度，进而根据相似度比较确定目标行人对应的图像，能够进行及时的行为预警和提高刑侦效率，保障社会效益。
本发明实施例提供的一种行人识别方法，包括：获取待搜索图像和比对图像库；其中，待搜索图像中包括目标行人；比对图像库中包含多张比对图像；通过行人特征提取模型确定待搜索图像对应的第一图像特征和多张比对图像对应的第二图像特征；其中，行人特征提取模型为采用上述行人特征提取模型的训练方法训练而成；第一图像特征和所述第二图像特征用于确定与所述目标行人匹配的至少一张所述比对图像。与现有技术相比,本发明实施例提供的行人识别方法采用实施例中描述的行人特征提取模型进行特征提取，由于扩大了行人特征提取模型中类中心特征向量之间的类间距，使得提取的不同类行人的特征向量之间的区分度增大，能够提高行人识别的准确度。
可选地，获得待搜索图像和比对图像库中的图像特征向量之后，可以通过比较待搜索图像的特征向量与比对图像库中的图像的特征向量之间的相似来确定与具有目标行人的比对图像，下面在图6的基础上，给出一种可能的实现方式，参见图7，图7为本发明实施例提供的另一种行人识别方法的示意性流程图，该方法还包括：
步骤603、计算待搜索图像对应的第一图像特征和多张比对图像对应的第二图像特征之间的相似度。
步骤604、根据相似度确定至少一张比对图像；至少一张比对图像中包含目标行人。
在本发明实施例中，待搜索图像与比对图像库之间的相似度可以是余弦相似度，计算待搜索图像的特征向量与比对图像库中的图像的特征向量之间的余弦相似度后，可以根据余弦相似度进行排序，获得包含同一目标行人的比对图像。
可以理解的是，本发明实施例中的行人识别方法可以在服务器中执行，也可以在终端设备上执行，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、个人电脑(personalcomputer，PC)等，此处不做限定。
实施例三
为了实现上述实施例一中的各个步骤，以达到对应的技术效果，下面给出一种行人特征提取装置的实现方式，本发明实施例还提供了一种行人特征提取模型训练装置，参见图8，图8为本发明实施例提供的一种行人特征提取模型训练装置的功能模块图，其中，行人特征提取模型训练装置80包括：获取模块801、更新模块802和训练模块803。
获取模块801，用于通过待训练行人特征提取模型的分类层获取M个类中心特征向量。
在本发明实施例中，M为大于1的整数，M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个类中心特征向量的类间距为第一类间距；类间距表征M个不同行人之间的区分度；类间距越大，不同行人之间的区分度越大，不同行人之间的差异越明显，越有利于区分不同类行人，提高行人识别的准确度。
更新模块802，用于根据预设更新策略更新M个类中心特征向量。
在本发明实施例中，任意两个更新后的类中心特征向量之间的类间距为第二类间距，第二类间距大于第一类间距，表征M个不同行人之间的区分度增大，不同行人之间的差异越明显，越有利于区分不同类行人，提高行人识别的准确度。
获取模块801，还用于获取样本图像集合；其中，样本图像集合包括N个样本图像；N为大于M的整数。
训练模块803，用于基于更新后的M个类中心特征向量和样本图像集合对待训练行人特征提取模型进训练，得到行人特征提取模型，其中，行人特征提取模型用于提取行人图像特征。
可以理解的是，获取模块801、更新模块802和训练模块803可以用来执行步骤201-步骤204以实现相应的技术效果。
可选地，为了实现更新类中心特征向量的功能，更新模块802具体用于：计算M个类中心特征向量对应的平均类中心特征向量和任意一个类中心特征向量与平均类中心特征向量之间的夹角；根据预设的角度调整参数、任意一个类中心特征向量与平均类中心特征向量之间的夹角更新M个类中心特征向量。
可以理解的是，更新模块802可以用来执行步骤202-1和步骤202-2以实现相应的技术效果。
可选地，更新后的M个类中心特征向量满足如下关系式：
Figure BDA0002532167120000151
其中，
Figure BDA0002532167120000152
和
Figure BDA0002532167120000153
分别表征第j个类中心特征向量和更新后的第j个类中心特征向量，j＝1,2,...,M；
Figure BDA0002532167120000154
表征平均类中心特征向量；θj表征第j个类中心特征向量与平均类中心特征向量之间的夹角；λ表征角度调整参数；|·|表征向量的模。
可选地，为了实现训练待训练行人特征提取模型的功能，N个样本图像中可以包含M个训练样本图像与R个测试样本图像；M与R的总和为N；训练模块803具体用于基于更新后的M个类中心特征向量和M个训练样本图像对所述待训练行人特征提取模型进行预设迭代次数的训练，获得训练后的待训练行人特征提取模型；当利用训练后的待训练行人特征提取模型对R个测试样本图像进行测试时的测试指标保持不变时，得到行人特征提取模型。
可以理解的是，训练模块803可以用来执行步骤204-1和步骤204-2以实现相应的技术效果。
实施例四
为了实现上述实施例二中的各个步骤，以达到对应的技术效果，下面给出一种行人特征提取装置的实现方式，本发明实施例还提供了一种行人识别装置，参见图9，图9为本发明实施例提供的一种行人识别装置的功能模块图，其中，行人特征提取模型训练装置90包括：获取模块901、确定模块902。
获取模块901，用于获取待搜索图像和比对图像库；其中，待搜索图像中包括目标行人；比对图像库中包含多张比对图像。
确定模块902，用于通过行人特征提取模型确定待搜索图像对应的第一图像特征和多张比对图像对应的第二图像特征。其中，第一图像特征和第二图像特征用于确定与目标行人匹配的至少一张比对图像；行人特征提取模型为实施例一中描述的行人特征提取模型的训练方法训练而成。
可以理解的是，获取模块901和确定模块902可以用来执行步骤601-602以实现相应的技术效果。
可选地，为了实现根据图像特征识别行人的功能，确定模块902可以具体用于：计算待搜索图像对应的第一图像特征和多张比对图像对应的第二图像特征之间的相似度；根据相似度确定至少一张比对图像；至少一张比对图像中包含所述目标行人。
可以理解的是，确定模块902可以用来执行步骤603-604以实现相应的技术效果。
可以理解的是，行人识别装置可以部署在服务器上，也可以部署在终端设备上。
实施例五
本发明实施例还提供一种电子设备，如图10，图10为本发明实施例提电子设备结构框图。该电子设备10包括通信接口101、处理器102和存储器103。该处理器102、存储器103和通信接口101相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器103可用于存储软件程序及模块，如本发明实施例所提供的行人特征提取模型的训练方法和行人识别方法对应的程序指令/模块，处理器102通过执行存储在存储器103内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口101可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备10可以具有多个通信接口101。
其中，存储器103可以是但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例六
本发明实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的行人特征提取模型的训练方法或行人识别方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种行人特征提取模型的训练方法，其特征在于，所述方法包括：
通过待训练行人特征提取模型的分类层获取M个类中心特征向量；其中，所述M为大于1的整数；所述M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个所述类中心特征向量的类间距为第一类间距；所述类间距表征所述M个不同的行人之间的差异度；
根据预设更新策略更新所述M个类中心特征向量；其中，任意两个更新后的类中心特征向量之间的间距为第二类间距，所述第二类间距大于所述第一类间距；
获取样本图像集合；其中，所述样本图像集合中包括N个样本图像；所述N为大于所述M的整数；
基于更新后的M个类中心特征向量和所述样本图像集合对所述待训练行人特征提取模型进训练，得到行人特征提取模型，其中，所述行人特征提取模型用于获取行人图像的特征向量。
2.根据权利要求1所述的行人特征提取模型的训练方法，其特征在于，所述根据预设更新策略更新所述M个类中心特征向量的步骤，包括：
计算所述M个类中心特征向量对应的平均类中心特征向量和任意一个类中心特征向量与所述平均类中心特征向量之间的夹角；
根据预设的角度调整参数、任意一个类中心特征向量与所述平均类中心特征向量之间的夹角更新所述M个类中心特征向量。
3.根据权利要求2所述的行人特征提取模型的训练方法，其特征在于，所述更新后的M个类中心特征向量满足如下关系式：
Figure FDA0002532167110000011
其中，
Figure FDA0002532167110000012
和
Figure FDA0002532167110000013
分别表征第j个类中心特征向量和更新后的第j个类中心特征向量，j＝1,2,...,M；
Figure FDA0002532167110000021
表征所述平均类中心特征向量；θj表征第j个类中心特征向量与所述平均类中心特征向量之间的夹角；λ表征所述角度调整参数；|·|表征向量的模。
4.根据权利要求1所述的行人特征提取模型的训练方法，其特征在于，所述N个样本图像包含M个训练样本图像与R个测试样本图像；所述M与所述R的总和为所述N；所述基于更新后的M个类中心特征向量和所述样本图像集合对所述待训练行人特征提取模型进训练，得到行人特征提取模型的步骤，包括：
基于更新后的所述M个类中心特征向量和所述M个训练样本图像对所述待训练行人特征提取模型进行预设迭代次数的训练，获得训练后的所述待训练行人特征提取模型；
当利用训练后的所述待训练行人特征提取模型对所述R个测试样本进行测试时的测试指标保持不变时，则所述训练后的待训练行人特征提取模型为行人特征模型。
5.一种行人识别方法，其特征在于，所述方法包括：
获取待搜索图像和比对图像库；其中，所述待搜索图像中包括目标行人；所述比对图像库中包含多张比对图像；
通过所述行人特征提取模型确定所述待搜索图像对应的第一图像特征和所述多张比对图像对应的第二图像特征；其中，所述行人特征提取模型为采用上述权利要求1-4任意一项所述的行人特征提取模型的训练方法训练而成；所述第一图像特征和所述第二图像特征用于确定与所述目标行人匹配的至少一张所述比对图像。
6.根据权利要求5所述的行人识别方法，其特征在于，所述方法还包括：
计算所述待搜索图像对应的第一图像特征和所述多张比对图像对应的第二图像特征之间的相似度；
根据所述相似度确定至少一张比对图像；所述至少一张比对图像中包含所述目标行人。
7.一种行人特征提取模型训练装置，其特征在于，包括：
获取模块，用于通过待训练行人特征提取模型的分类层获取M个类中心特征向量；其中，所述M为大于1的整数；所述M个类中心特征向量与M个不同的行人具有一一对应关系；任意两个所述类中心特征向量的类间距为第一类间距；所述类间距表征所述M个不同的行人之间的差异度；
更新模块，用于根据预设更新策略更新所述M个类中心特征向量；其中，任意两个更新后的类中心特征向量之间的间距为第二类间距，所述第二类间距大于所述第一类间距；
所述获取模块，还用于获取样本图像集合；其中，所述样本图像集合中包括N个样本图像；所述N为大于所述M的整数；
训练模块，用于基于更新后的M个类中心特征向量和所述样本图像集合对所述待训练行人特征提取模型进训练，得到行人特征提取模型，其中，所述行人特征提取模型用于获取行人图像的特征向量。
8.一种行人识别装置，其特征在于，包括：
获取模块，用于获取待搜索图像和比对图像库；其中，所述待搜索图像中包括目标行人；所述比对图像库中包含多张比对图像；
确定模块，用于通过行人特征提取模型确定所述待搜索图像对应的第一图像特征和所述多张比对图像对应的第二图像特征；其中，所述行人特征提取模型为采用上述权利要求1-4任意一项所述的行人特征提取模型的训练方法训练而成；所述第一图像特征和所述第二图像特征用于确定与所述目标行人匹配的至少一张所述比对图像。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现如权利要求1-4任一项所述的行人特征提取模型的训练方法或实现如权利要求5-6任意一项所述的行人识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的行人特征提取模型的训练方法或权利要求5-6任意一项所述的行人识别方法。
CN202010521293.3A 2020-06-10 2020-06-10 行人特征提取模型的训练方法、行人识别方法及相关装置 Active CN111666902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521293.3A CN111666902B (zh) 2020-06-10 2020-06-10 行人特征提取模型的训练方法、行人识别方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521293.3A CN111666902B (zh) 2020-06-10 2020-06-10 行人特征提取模型的训练方法、行人识别方法及相关装置

Publications (2)

Publication Number Publication Date
CN111666902A true CN111666902A (zh) 2020-09-15
CN111666902B CN111666902B (zh) 2022-11-01

Family

ID=72386188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521293.3A Active CN111666902B (zh) 2020-06-10 2020-06-10 行人特征提取模型的训练方法、行人识别方法及相关装置

Country Status (1)

Country Link
CN (1) CN111666902B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465840A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 语义分割模型训练方法、语义分割方法及相关装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739551A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标识别方法及系统
CN102930296A (zh) * 2012-11-01 2013-02-13 长沙纳特微视网络科技有限公司 一种图像识别方法及装置
CN104680127A (zh) * 2014-12-18 2015-06-03 闻泰通讯股份有限公司 手势识别方法及系统
WO2016195110A1 (ja) * 2015-06-05 2016-12-08 株式会社日立製作所 画像処理方法、及び装置
CN107016391A (zh) * 2017-04-14 2017-08-04 中国科学院合肥物质科学研究院 一种复杂场景工件识别方法
CN109740413A (zh) * 2018-11-14 2019-05-10 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及计算机存储介质
CN110399890A (zh) * 2019-07-29 2019-11-01 厦门美图之家科技有限公司 图像识别方法、装置、电子设备及可读存储介质
CN110765292A (zh) * 2019-10-24 2020-02-07 重庆紫光华山智安科技有限公司 图像检索方法、训练方法及相关装置
CN110825900A (zh) * 2019-11-07 2020-02-21 重庆紫光华山智安科技有限公司 特征重构层的训练方法、图像特征的重构方法及相关装置
CN110880018A (zh) * 2019-10-29 2020-03-13 北京邮电大学 一种基于新型损失函数的卷积神经网络目标分类方法
CN111242199A (zh) * 2020-01-07 2020-06-05 中国科学院苏州纳米技术与纳米仿生研究所 图像分类模型的训练方法及分类方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739551A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标识别方法及系统
CN102930296A (zh) * 2012-11-01 2013-02-13 长沙纳特微视网络科技有限公司 一种图像识别方法及装置
CN104680127A (zh) * 2014-12-18 2015-06-03 闻泰通讯股份有限公司 手势识别方法及系统
WO2016195110A1 (ja) * 2015-06-05 2016-12-08 株式会社日立製作所 画像処理方法、及び装置
CN107016391A (zh) * 2017-04-14 2017-08-04 中国科学院合肥物质科学研究院 一种复杂场景工件识别方法
CN109740413A (zh) * 2018-11-14 2019-05-10 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及计算机存储介质
CN110399890A (zh) * 2019-07-29 2019-11-01 厦门美图之家科技有限公司 图像识别方法、装置、电子设备及可读存储介质
CN110765292A (zh) * 2019-10-24 2020-02-07 重庆紫光华山智安科技有限公司 图像检索方法、训练方法及相关装置
CN110880018A (zh) * 2019-10-29 2020-03-13 北京邮电大学 一种基于新型损失函数的卷积神经网络目标分类方法
CN110825900A (zh) * 2019-11-07 2020-02-21 重庆紫光华山智安科技有限公司 特征重构层的训练方法、图像特征的重构方法及相关装置
CN111242199A (zh) * 2020-01-07 2020-06-05 中国科学院苏州纳米技术与纳米仿生研究所 图像分类模型的训练方法及分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HSU-YUNG CHENG ET AL.: "Pedestrian detection using hybrid features", 《2014 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS - TAIWAN》 *
张益玮: "基于卷积神经网络的人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
江治: "基于复杂背景下的车牌识别系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465840A (zh) * 2020-12-10 2021-03-09 重庆紫光华山智安科技有限公司 语义分割模型训练方法、语义分割方法及相关装置

Also Published As

Publication number Publication date
CN111666902B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN107679250B (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
US20230087526A1 (en) Neural network training method, image classification system, and related device
US9245205B1 (en) Supervised mid-level features for word image representation
Gopalakrishnan et al. Random walks on graphs to model saliency in images
US7865492B2 (en) Semantic visual search engine
JP2018205937A (ja) 画像検索装置及びプログラム
CN108681746A (zh) 一种图像识别方法、装置、电子设备和计算机可读介质
CN111914921A (zh) 一种基于多特征融合的相似性图像检索方法及系统
JP5094830B2 (ja) 画像検索装置、画像検索方法及びプログラム
CN112818162B (zh) 图像检索方法、装置、存储介质和电子设备
CN110309810B (zh) 一种基于批次中心相似度的行人重识别方法
CN113343920A (zh) 人脸识别照片的分类方法、装置、电子设备和存储介质
JP2011070244A (ja) 画像検索装置、画像検索方法及びプログラム
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
Yan et al. Dual-template adaptive correlation filter for real-time object tracking
CN111666902B (zh) 行人特征提取模型的训练方法、行人识别方法及相关装置
CN114548213A (zh) 模型训练方法、图像识别方法、终端设备及计算机介质
Oh et al. Deep feature learning for person re-identification in a large-scale crowdsourced environment
Che et al. Image retrieval by information fusion based on scalable vocabulary tree and robust Hausdorff distance
CN111582107B (zh) 目标重识别模型的训练方法、识别方法、电子设备及装置
CN113657180A (zh) 一种车辆识别方法、服务器和计算机可读存储介质
Wen et al. Using weighted part model for pedestrian detection in crowded scenes based on image segmentation
Cheng et al. A distributed system architecture for high-resolution remote sensing image retrieval by combining deep and traditional features
Zhang et al. Probabilistic hypergraph optimization for salient object detection
CN118114123B (zh) 识别模型的处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant