CN112308031A - 通用人脸识别和人脸特征信息库生成方法、装置及设备 - Google Patents
通用人脸识别和人脸特征信息库生成方法、装置及设备 Download PDFInfo
- Publication number
- CN112308031A CN112308031A CN202011334985.3A CN202011334985A CN112308031A CN 112308031 A CN112308031 A CN 112308031A CN 202011334985 A CN202011334985 A CN 202011334985A CN 112308031 A CN112308031 A CN 112308031A
- Authority
- CN
- China
- Prior art keywords
- face
- feature information
- feature extraction
- face recognition
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 187
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 154
- 230000001815 facial effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本发明公开了一种通用人脸识别和人脸特征信息库生成方法、装置及设备,用于从多种特征提取算法中识别出所需要识别图像的人脸特征信息,实现人脸识别的通用性。该方法包括:将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
Description
技术领域
本发明涉及人工智能技术领域,特别涉及一种通用人脸识别和人脸特征信息库生成方法、装置及设备。
背景技术
随着人工智能AI技术的蓬勃发展,人脸识别算法越来越成熟,已经广泛应用于各行业中,人脸识别算法的核心是提取人脸图像的特征,并将提取的存储的人脸图像的特征与识别出的人脸图像的特征进行对比,从而实现人员身份的确认可应用于各种不同的业务。
但目前大部分的厂家提供的人脸识别算法是不相同的,因此大部分的厂家提供的人脸特征信息图像库也是不相同的,为了能够对人脸图像进行识别必须要使用配套的人脸识别算法和人脸特征信息图像库才能应用。因此,由于目前大多数厂家提供的人脸识别方案不具备通用性,如果需要使用多种厂家的特征提取算法识别出所需要的人脸,必须配套使用与所述厂家对应的特征提取算法进行人脸识别,这样不仅操作繁琐并且需要耗费较高的成本。
发明内容
本发明提供一种通用人脸识别和人脸特征信息库生成方法、装置及设备,用于从多种特征提取算法中识别出所需要识别图像的人脸特征信息,实现人脸识别的通用性。
第一方面,本发明实施例提供的一种通用人脸识别方法,该方法包括:
将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
该方法能够将通过一种特征提取算法得到的人脸特征信息与人脸特征信息库中的人脸特征信息进行比对,而人脸特征信息库中的人脸特征信息是通过不同特征提取算法对至少一个样本人脸图像进行特征提取得到的,从而满足能够对使用多种特征提取算法的人脸图像进行人脸识别。
作为一种可选的实施方式,通过下列方式确定第一人脸特征信息:
根据采集所述待识别的人脸图像的人脸识别设备使用的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息;或
接收采集所述待识别的人脸图像的人脸识别设备根据第一特征提取算法确定的第一人脸特征信息。
第二方面,本发明实施例提供的一种人脸特征信息库生成方法,包括:
确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
作为一种可选的实施方式,所述确定至少一个样本人脸图像对应的多个人脸特征信息,包括:
确定多个人脸识别设备使用的特征提取算法,并通过确定的多个特征提取算法分别对所述样本人脸图像进行特征提取,得到所述样本人脸图像对应的多个人脸特征信息;或
接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
作为一种可选的实施方式,所述接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息之前,还包括:
获取多个人脸识别设备的性能参数信息;
根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,并将至少一个样本人脸图像发送选择出的人脸识别设备。
作为一种可选的实施方式,所述根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,包括:
将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备。
第三方面,本发明实施例还提供一种通用人脸识别装置,该装置包括:
匹配单元,用于将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
确定单元,用于若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
作为一种可选的实施方式,通过下列方式确定第一人脸特征信息:
根据采集所述待识别的人脸图像的人脸识别设备使用的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息;或
接收采集所述待识别的人脸图像的人脸识别设备根据第一特征提取算法确定的第一人脸特征信息。
第四方面,本发明实施例还提供一种人脸特征信息库生成装置,该装置包括:
确定单元,用于确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
生成单元,用于根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
作为一种可选的实施方式,所述确定单元具体用于:
确定多个人脸识别设备使用的特征提取算法,并通过确定的多个特征提取算法分别对所述样本人脸图像进行特征提取,得到所述样本人脸图像对应的多个人脸特征信息;或
接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
作为一种可选的实施方式,所述确定单元具体还用于:
获取多个人脸识别设备的性能参数信息;
根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,并将至少一个样本人脸图像发送选择出的人脸识别设备。
作为一种可选的实施方式,所述确定单元具体还用于:
将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备。
第五方面,本发明实施例还提供一种通用人脸识别设备,该设备包括处理器和存储器,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行如下步骤:
将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
作为一种可选的实施方式,通过下列方式确定第一人脸特征信息:
根据采集所述待识别的人脸图像的人脸识别设备使用的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息;或
接收采集所述待识别的人脸图像的人脸识别设备根据第一特征提取算法确定的第一人脸特征信息。
第六方面,本发明实施例还提供一种人脸特征信息库生成设备,该设备包括处理器和存储器,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行如下步骤:
确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
作为一种可选的实施方式,所述处理器具体被配置为执行:
确定多个人脸识别设备使用的特征提取算法,并通过确定的多个特征提取算法分别对所述样本人脸图像进行特征提取,得到所述样本人脸图像对应的多个人脸特征信息;或
接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
作为一种可选的实施方式,所述接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息之前,所述处理器具体还被配置为执行:
获取多个人脸识别设备的性能参数信息;
根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,并将至少一个样本人脸图像发送选择出的人脸识别设备。
作为一种可选的实施方式,所述处理器具体还被配置为执行:
将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备。
第七方面,本发明实施例还提供计算机存储介质,其上存储有计算机程序,该程序被处理器执行时用于实现上述第一方面或第二方面所述方法的步骤。
本申请的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种通用人脸识别方法的实施流程图;
图2为本发明实施例提供的一种人脸特征信息库生成方法流程图;
图3为本发明实施例提供的一种人脸特征信息库生成方法的具体流程图;
图4为本发明实施例提供的一种人脸特征信息库生成的具体实施流程图;
图5为本发明实施例提供的一种通用人脸识别装置示意图;
图6为本发明实施例提供的一种人脸特征信息库生成装置示意图;
图7为本发明实施例提供的一种通用人脸识别设备示意图;
图8为本发明实施例提供的一种人脸特征信息库生成设备示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。其中,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
实施例1
目前人脸算法的核心是将人脸图片特征化,并提供特征与特征的对比能力实现人员身份的确认从而实现各种不同的业务应用,但是每个厂家的人脸图像特征化数据是不相同的,必须要强配套算法才能应用,如果需要查找某固定人脸则需要通过将该人脸利用多个厂家的特征提取算法进行特征化得到特征数据从而进行对比识别出该人脸,例如需要从多个厂家的人脸识别设备中筛选出某罪犯的人脸,在这种场景下需要将该罪犯的人脸图像带到不同厂家提供的人脸识别设备中进行人脸识别,识别效率低下。
另外,现有人脸识别方案中AI端边设备(如前端智能相机或者边缘设备)会存储大量导入的人员照片信息,从而可以对存储的人员照片进行特征提取和应用,但是由于AI边缘设备的操作系统相对简单容易被黑客破解,导致存储的人员照片容易被非法获取,人员信息容易泄露。
基于上述缺陷本发明实施例提供一种通用人脸识别方法,该方法能够将通过一种特征提取算法得到的人脸特征信息存储到人脸特征信息库中,并将人脸特征信息库中的人脸特征信息下发到AI端边设备(如前端智能相机或者边缘设备)上,并与拍摄到的人脸照片的特征信息进行比对。其中人脸特征信息库中的人脸特征信息是通过不同特征提取算法对至少一个样本人脸图像进行特征提取得到的,从而满足能够对使用多种特征提取算法的人脸图像进行人脸识别。本发明实施例提供的一种通用人脸识别方法可以应用于罪犯查找识别,便于从多种监控设备中识别出罪犯人脸,为公安系统抓捕工作提供更高效、更安全的人脸识别的技术支持。
如图1所示,本发明实施例提供的一种通用人脸识别方法的实施流程如下所示:
步骤100、将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配;
其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
步骤101、若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
需要说明的时,本发明实施例提供的通用人脸识别方法可以将需要识别的人脸特征信息与人脸特征信息库中的人脸特征信息进行匹配,由于本发明实施例中的人脸特征信息库中的人脸特征信息时通过不同特征提取算法对至少一个样本人脸图像进行特征提取得到的,也就是说,人脸特征信息库中一个样本人脸图像对应不同的人脸特征信息,不同的人脸特征信息是通过不同的特征提取算法确定的,不管需要识别的人脸特征信息是通过哪种人脸识别设备进行特征提取得到的,本发明实施例提供的方法都可以对该人脸特征信息进行识别从而实现了通用性。
作为一种可选的实施方式,本实施例通过下列任一种方式确定第一人脸特征信息:
方式1、通过第一特征提取算法进行特征提取确定。
实施中,根据采集所述待识别的人脸图像的人脸识别设备使用的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息;
作为一种可选的实施方式,本发明实施例中第一特征提取算法的确定包括如下任一种确定方式:
1)通过自身采集所述待识别的人脸图像并使用第一特征提取算法,从待识别的人脸图像中确定第一人脸特征信息;
2)通过接收所述待识别的人脸图像的人脸识别设备发送的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息。
方式2、通过接收人脸识别设备发送的人脸特征信息确定。
实施中,接收采集所述待识别的人脸图像的人脸识别设备根据第一特征提取算法确定的第一人脸特征信息。
本发明实施例中的人脸识别设备包括但不限于:
前端设备,如安装在马路或者室内的人脸智能相机、监控设备、卡口设备等,可通过该前端设备的特征提取算法对拍摄到的人脸图像进行人脸识别;
边缘设备,如智能盒子,能接入1~N(一般少于256个)个前端相机,可对特征提取算法、比对算法等进行智能计算,可理解为微服务器;
云端设备,如配有海量存储、海量计算能力的系统,可接入超过几万路设备的智能计算能力,可对特征提取算法、比对算法等进行智能计算,可理解为大型服务器。
其中,若人脸识别设备包括前端设备,则本发明实施例提供的通用人脸识别方法可应用于超小型场景,即包含几个相机的通用人脸识别场景;若人脸识别设备包括边缘设备,则本发明实施例提供的通用人脸识别方法可应用于小型场景,即包含几十个相机的通用人脸识别场景;若人脸识别设备包括云端设备,则本发明实施例提供的通用人脸识别方法可应用于大型场景,即包含几百甚至几万的相机的通用人脸识别场景;若人脸识别设备包括端边及云端设备混合,则本发明实施例提供的通用人脸识别方法可应用于超大型场景,即包含几千甚至几十万的相机的通用人脸识别场景。本发明实施例可以在不同场景下进行人脸特征识别,灵活性较大,能够满足不同场景下的用户需求。
需要说明的是,本发明实施例提供的是人脸特征信息之间的比对,而不是人脸图像之间的比对,因此前端智能相机中不需要存储人脸图像,只需要存储人脸特征信息,而即使非法用户获取了人脸特征信息,也无法根据人脸特征信息得到对应的人脸图像,解决了人脸图像容易被非法获取,人脸图像容易遭到泄露的技术问题。
基于上述通用人脸识别方法,本发明实施例还提供一种人脸特征信息库生成方法,如图2所示,该方法的具体实施流程如下:
步骤200、确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的;
其中所述多个特征提取算法中任意两个特征提取算法是不同的;
步骤201、根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
需要说明的是,本发明实施例可以针对每个样本人脸图像对应的多个人脸特征信息,生成与所述多个人脸特征信息对应的标识ID;可选的,人脸特征信息的标识ID与一个特征提取算法对应,即通过一个特征提取算法得到的多个人脸特征信息的标识ID是一样的,这样可以便于用户从使用某一种特征提取算法的人脸特征信息中筛选出需要识别的人脸图像,能够一定程度上缩小识别的范围,提高识别的效率。
作为一种可选的实施方式,本发明实施例通过如下任一种方式确定至少一个样本人脸图像对应的多个人脸特征信息:
方式1、确定多个人脸识别设备使用的特征提取算法,并通过确定的多个特征提取算法分别对所述样本人脸图像进行特征提取,得到所述样本人脸图像对应的多个人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
方式2、接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
容易理解的是,本发明实施例提供两种方式确定人脸特征信息,一种是自身通过多个特征提取算法对样本人脸图像进行特征提取确定,另一种是接收人脸识别设备直接发送的人脸特征信息。
作为一种可选的实施方式,本发明实施例在接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息之前,还包括对人脸识别设备进行筛选,具体实施方式如下:
1)获取多个人脸识别设备的性能参数信息;
2)根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,并将至少一个样本人脸图像发送选择出的人脸识别设备。
需要说明的是,本发明实施例可以根据人脸识别设备的性能参数信息,对人脸识别设备进行筛选,筛选出满足预设性能参数值的人脸识别设备。
作为一种可选的实施方式,所述性能参数信息包括中央处理器CPU可用性能参数和可用内存值;其中,CPU可用性能参数包括如下任一或任多:
内核数量、线程数量、主频高低。
通过如下任一种方式,根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备:
方式1、根据所述CPU可用性能参数,从所述多个人脸识别设备中筛选出所述CPU可用参数大于第一阈值的人脸识别设备;
方式2、根据所述可用内存值,从所述多个人脸识别设备中筛选出所述可用内存值大于第二阈值的人脸识别设备;
方式2、根据所述CPU可用性能参数和可用内存值,从所述人脸识别设备中筛选出所述CPU可用性能参数大于第一阈值且可用内存值大于第二阈值的人脸识别设备。
作为一种可选的实施方式,所述根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,包括:
将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备。
需要说明的是,本发明实施例根据获取的所述性能参数信息来筛选人脸识别设备时,可以先对人脸识别设备进行划分,确定出包含具有相同的厂商信息的人脸识别设备集合,再从每个人脸识别设备集合中筛选出可用的人脸识别设备进行特征提取。本发明实施例中的厂商信息包括但不限于:厂商名称、特征提取算法类型以及特征提取算法版本。需要说明的是,相同的厂商信息的人脸识别设备具有相同的特征提取算法。
作为一种可选的实施方式,本发明实施例提供的人脸特征信息库可接入各厂家的端边设备及云端系统,可以获取各端边设备及云端系统的特征提取算法及其计算能力,是一个具备管理多个特征提取算法的信息库。本发明实施例提供的人脸特征信息库还可以接入第三方设备以供第三方设备从人脸特征信息库中的相对于一个人脸图像的多个人脸特征信息中确定出所需识别的人脸特征信息对应的人脸图像。
如图3所示,基于上述的人脸特征信息库生成方法,以接收不同的人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息为例,对本发明实施例提供的人脸特征信息库生成方法的具体流程进行详细说明。
步骤300、获取多个人脸识别设备的性能参数信息;
步骤301、将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
步骤302、针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备;
步骤303、向所述选择的人脸识别设备发送多个样本人脸图像;
步骤304、接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法是不同的;
步骤305、根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库;
步骤306、收到第三方设备携带第一特征提取算法标识的访问请求,以使第三方设备将确定的第一人脸特征信息与所述第一特征提取算法标识对应的第一特征提取算法得到的第二人脸特征信息进行匹配,若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
如图4所示,本发明实施例还提供一种人脸特征信息库生成的具体实施流程,具体实施步骤如下所示:
步骤400、按设定时间间隔获取多个人脸识别设备的性能参数信息;
步骤401、将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
步骤402、针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备;
步骤403、将多个样本人脸图像下发到选择的人脸识别设备并发送图片解析请求消息;
步骤404、根据返回的图片解析确认消息确定是否提取到所述样本人脸图像的人脸特征信息,若是执行步骤405,否则执行步骤406;
步骤405、接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息并保存到数据库中,提供接口供第三方设备获取人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备的特征提取算法是不同的。
可选的,本发明实施例中的接口可以是https接口。
步骤406、记录与返回的图片解析确认消息对应的人脸识别设备和样本人脸图像,同时重试次数加1;
步骤407、判断所述重试次数是否小于阈值,若是返回执行步骤403,否则执行步骤408;
步骤408、提示图片解析失败并结束。
实施例2
基于相同的发明构思,本发明实施例还提供了一种通用人脸识别装置,由于该装置即是本发明实施例中的方法中的装置,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
如图5所示,该装置包括:
匹配单元500,用于将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
确定单元501,用于若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
作为一种可选的实施方式,通过下列方式确定第一人脸特征信息:
根据采集所述待识别的人脸图像的人脸识别设备使用的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息;或
接收采集所述待识别的人脸图像的人脸识别设备根据第一特征提取算法确定的第一人脸特征信息。
实施例3
基于相同的发明构思,本发明实施例还提供了一种人脸特征信息库生成装置,由于该装置即是本发明实施例中的方法中的装置,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
如图6所示,该装置包括:
确定单元600,用于确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的;
生成单元601,用于根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
作为一种可选的实施方式,所述确定单元600具体用于:
确定多个人脸识别设备使用的特征提取算法,并通过确定的多个特征提取算法分别对所述样本人脸图像进行特征提取,得到所述样本人脸图像对应的多个人脸特征信息,所述多个特征提取算法中任意两个特征提取算法是不同的;或
接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
作为一种可选的实施方式,所述确定单元600具体还用于:
获取多个人脸识别设备的性能参数信息;
根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,并将至少一个样本人脸图像发送选择出的人脸识别设备。
作为一种可选的实施方式,所述确定单元600具体还用于:
将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备。
需要说明的是,本发明实施例中的通用人脸识别装置与人脸特征信息库生成装置可以是集成在一起的一个装置,也可以是独立的两个装置,对此本发明实施例不作过多限定。
实施例4
基于相同的发明构思,本发明实施例还提供了一种通用人脸识别设备,由于该设备即是本发明实施例中的方法中的设备,并且该设备解决问题的原理与该方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图7所示,该设备包括处理器700和存储器701,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行如下步骤:
将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
作为一种可选的实施方式,通过下列方式确定第一人脸特征信息:
根据采集所述待识别的人脸图像的人脸识别设备使用的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息;或
接收采集所述待识别的人脸图像的人脸识别设备根据第一特征提取算法确定的第一人脸特征信息。
实施例5
基于相同的发明构思,本发明实施例还提供了一种人脸特征信息库生成设备,由于该设备即是本发明实施例中的方法中的设备,并且该设备解决问题的原理与该方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图8所示,该设备包括处理器800和存储器801,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行如下步骤:
确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
作为一种可选的实施方式,所述处理器具体被配置为执行:
确定多个人脸识别设备使用的特征提取算法,并通过确定的多个特征提取算法分别对所述样本人脸图像进行特征提取,得到所述样本人脸图像对应的多个人脸特征信息,所述多个特征提取算法中任意两个特征提取算法是不同的;或
接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
作为一种可选的实施方式,所述接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息之前,所述处理器具体还被配置为执行:
获取多个人脸识别设备的性能参数信息;
根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,并将至少一个样本人脸图像发送选择出的人脸识别设备。
作为一种可选的实施方式,所述处理器具体还被配置为执行:
将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备。
需要说明的是,本发明实施例中的通用人脸识别设备与人脸特征信息库生成设备可以是集成在一起的一个设备,也可以是独立的两个设备,对此本发明实施例不作过多限定。
基于相同的发明构思,本发明实施例还提供一种通用人脸识别的计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如下步骤:
将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的;
若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
基于相同的发明构思,本发明实施例还提供一种人脸特征信息库生成的计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如下步骤:
确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的;
根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种通用人脸识别方法,其特征在于,该方法包括:
将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
2.根据权利要求1所述的方法,其特征在于,通过下列方式确定第一人脸特征信息:
根据采集所述待识别的人脸图像的人脸识别设备使用的第一特征提取算法,从待识别的人脸图像中确定的第一人脸特征信息;或
接收采集所述待识别的人脸图像的人脸识别设备根据第一特征提取算法确定的第一人脸特征信息。
3.一种生成权利要求1或2中人脸特征信息库的方法,其特征在于,该方法包括:
确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
4.根据权利3所述的方法,其特征在于,所述确定至少一个样本人脸图像对应的多个人脸特征信息,包括:
确定多个人脸识别设备使用的特征提取算法,并通过确定的多个特征提取算法分别对所述样本人脸图像进行特征提取,得到所述样本人脸图像对应的多个人脸特征信息;或
接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息;
其中,所述多个人脸识别设备中任意两个人脸识别设备使用的特征提取算法不同。
5.根据权利要求4所述的方法,其特征在于,所述接收多个人脸识别设备对所述样本人脸图像进行特征提取得到的人脸特征信息之前,还包括:
获取多个人脸识别设备的性能参数信息;
根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,并将至少一个样本人脸图像发送选择出的人脸识别设备。
6.根据权利要求5所述的方法,其特征在于,所述根据获取的所述性能参数信息,从多个人脸识别设备中选择人脸识别设备,包括:
将所述多个人脸识别设备划分成多个人脸识别设备集合,其中每个人脸识别设备集合包括的人脸识别设备对应相同的厂商信息;
针对任意一个人脸识别设备集合,根据获取的所述性能参数信息,从所述人脸识别设备集合中选择人脸识别设备。
7.一种通用人脸识别装置,其特征在于,该装置包括:
匹配单元,用于将通过第一特征提取算法从待识别的人脸图像中确定的第一人脸特征信息,与人脸特征信息库中采用第一特征提取算法得到的至少一个第二人脸特征信息进行匹配,其中所述人脸特征信息库中的人脸特征信息是通过多个特征提取算法对至少一个样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
确定单元,用于若匹配成功,则确定与第一人脸特征信息匹配的第二人脸特征信息对应的所述样本人脸图像。
8.一种人脸特征信息库生成装置,其特征在于,该装置包括:
确定单元,用于确定至少一个样本人脸图像对应的多个人脸特征信息,其中所述样本人脸图像对应的多个人脸特征信息是通过多个特征提取算法分别对所述样本人脸图像进行特征提取得到的,所述多个特征提取算法中任意两个特征提取算法是不同的;
生成单元,用于根据得到的每个样本人脸图像对应的多个人脸特征信息生成人脸特征信息库。
9.一种通用人脸识别设备,其特征在于,该设备包括处理器和存储器,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行权利要求1或2所述方法的步骤。
10.一种人脸特征信息库生成设备,其特征在于,该设备包括处理器和存储器,所述存储器用于存储所述处理器可执行的程序,所述处理器用于读取所述存储器中的程序并执行权利要求3~6任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011334985.3A CN112308031A (zh) | 2020-11-25 | 2020-11-25 | 通用人脸识别和人脸特征信息库生成方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011334985.3A CN112308031A (zh) | 2020-11-25 | 2020-11-25 | 通用人脸识别和人脸特征信息库生成方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112308031A true CN112308031A (zh) | 2021-02-02 |
Family
ID=74335718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011334985.3A Pending CN112308031A (zh) | 2020-11-25 | 2020-11-25 | 通用人脸识别和人脸特征信息库生成方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308031A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117409470A (zh) * | 2023-12-15 | 2024-01-16 | 千巡科技(深圳)有限公司 | 一种人脸识别特征数据动态匹配方法、系统、装置和介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101201894A (zh) * | 2007-11-06 | 2008-06-18 | 重庆大学 | 基于网格计算技术的大规模人脸数据库人脸识别方法 |
CN107977439A (zh) * | 2017-12-07 | 2018-05-01 | 宁波亿拍客网络科技有限公司 | 一种人脸图像库构建方法 |
CN109117801A (zh) * | 2018-08-20 | 2019-01-01 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN109426781A (zh) * | 2017-08-29 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 人脸识别数据库的构建方法、人脸识别方法、装置及设备 |
CN110334225A (zh) * | 2019-05-14 | 2019-10-15 | 上海韬安信息技术有限公司 | 一种兼容多算法的分布式人脸基础信息中间库服务的设计方法 |
CN110458154A (zh) * | 2019-09-12 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置和计算机可读存储介质 |
CN110825808A (zh) * | 2019-09-23 | 2020-02-21 | 重庆特斯联智慧科技股份有限公司 | 一种基于边缘计算的分布化人脸数据库系统及其生成方法 |
CN111061706A (zh) * | 2019-11-07 | 2020-04-24 | 浙江大华技术股份有限公司 | 人脸识别算法模型清洗方法、装置及存储介质 |
CN111859000A (zh) * | 2020-06-24 | 2020-10-30 | 天津大学 | 一种深度学习模型下的人脸特征数据库构建和更新方法 |
-
2020
- 2020-11-25 CN CN202011334985.3A patent/CN112308031A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101201894A (zh) * | 2007-11-06 | 2008-06-18 | 重庆大学 | 基于网格计算技术的大规模人脸数据库人脸识别方法 |
CN109426781A (zh) * | 2017-08-29 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 人脸识别数据库的构建方法、人脸识别方法、装置及设备 |
CN107977439A (zh) * | 2017-12-07 | 2018-05-01 | 宁波亿拍客网络科技有限公司 | 一种人脸图像库构建方法 |
CN109117801A (zh) * | 2018-08-20 | 2019-01-01 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN110334225A (zh) * | 2019-05-14 | 2019-10-15 | 上海韬安信息技术有限公司 | 一种兼容多算法的分布式人脸基础信息中间库服务的设计方法 |
CN110458154A (zh) * | 2019-09-12 | 2019-11-15 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置和计算机可读存储介质 |
CN110825808A (zh) * | 2019-09-23 | 2020-02-21 | 重庆特斯联智慧科技股份有限公司 | 一种基于边缘计算的分布化人脸数据库系统及其生成方法 |
CN111061706A (zh) * | 2019-11-07 | 2020-04-24 | 浙江大华技术股份有限公司 | 人脸识别算法模型清洗方法、装置及存储介质 |
CN111859000A (zh) * | 2020-06-24 | 2020-10-30 | 天津大学 | 一种深度学习模型下的人脸特征数据库构建和更新方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117409470A (zh) * | 2023-12-15 | 2024-01-16 | 千巡科技(深圳)有限公司 | 一种人脸识别特征数据动态匹配方法、系统、装置和介质 |
CN117409470B (zh) * | 2023-12-15 | 2024-03-15 | 千巡科技(深圳)有限公司 | 一种人脸识别特征数据动态匹配方法、系统、装置和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8805123B2 (en) | System and method for video recognition based on visual image matching | |
US20160098636A1 (en) | Data processing apparatus, data processing method, and recording medium that stores computer program | |
CN104866414A (zh) | 应用程序的测试方法、装置及系统 | |
CN109657107B (zh) | 一种基于第三方应用的终端匹配方法和装置 | |
CN110675433A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
EP3582127B1 (en) | Feature information-based user authentication method and device | |
US9947105B2 (en) | Information processing apparatus, recording medium, and information processing method | |
CN108256532A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113344132A (zh) | 身份识别方法、系统、装置、计算机设备及存储介质 | |
CN112308031A (zh) | 通用人脸识别和人脸特征信息库生成方法、装置及设备 | |
CN109165175B (zh) | 设备标识生成方法和装置 | |
CN109448193A (zh) | 身份信息识别方法及装置 | |
KR20080046490A (ko) | 몽타주 얼굴 영상을 이용한 얼굴 인식 방법 및 그 장치 | |
CN108334602B (zh) | 数据标注方法和装置、电子设备、计算机存储介质 | |
CN112804556B (zh) | 一种面向pc端的直播数据处理方法、装置和系统 | |
CN115391596A (zh) | 视频档案生成方法、装置及存储介质 | |
US11200583B2 (en) | Using surface textures as unique identifiers for tracking material with a distributed ledger | |
CN111753756A (zh) | 基于对象识别的布控报警方法、装置及存储介质 | |
CN113128262A (zh) | 一种目标的识别方法及装置、存储介质及电子装置 | |
CN109711205A (zh) | 一种usb存储设备使用记录清除方法及装置 | |
CN114743254B (zh) | 脸部认证方法、装置、终端设备及存储介质 | |
CN112149701B (zh) | 一种图像识别方法、虚拟样本数据生成方法和存储介质 | |
CN103886031A (zh) | 浏览图像的方法和设备 | |
CN109918976B (zh) | 一种人像比对算法融合方法及其装置 | |
CN115937921A (zh) | 基于人脸识别技术的图像处理方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |