CN111882034A - 神经网络处理及人脸识别方法、装置、设备和存储介质 - Google Patents

神经网络处理及人脸识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111882034A
CN111882034A CN202010698177.9A CN202010698177A CN111882034A CN 111882034 A CN111882034 A CN 111882034A CN 202010698177 A CN202010698177 A CN 202010698177A CN 111882034 A CN111882034 A CN 111882034A
Authority
CN
China
Prior art keywords
neural network
face
face recognition
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010698177.9A
Other languages
English (en)
Inventor
林成龙
陈大鹏
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010698177.9A priority Critical patent/CN111882034A/zh
Publication of CN111882034A publication Critical patent/CN111882034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本实施例公开了一种神经网络处理及人脸识别方法、装置、设备和存储介质,该方法包括:获取第一神经网络和人脸图像,所述第一神经网络表示进行人脸识别的神经网络;获取所述人脸图像中的标注信息;根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络;其中,所述优化数据至少包括带有所述标注信息的所述人脸图像。如此,在本公开实施例中,可以在第一神经网络的基础上,基于带有所述标注信息的人脸图像自动进行增量训练,从而得到可以识别人脸图像的神经网络,可以满足对真实环境的人脸图像的人脸识别要求。

Description

神经网络处理及人脸识别方法、装置、设备和存储介质
技术领域
本公开涉及计算机视觉处理技术,涉及但不限于一种神经网络处理及人脸识别方法、装置、电子设备和计算机存储介质。
背景技术
在相关技术中,随着人工智能的发展,越来越多行业开始利用人工智能技术来提升企业和组织运营的效率,降低运营的成本。在人工智能技术中,人脸识别是相对最为成熟和应用最为广泛的技术之一。在公安、政府、航空、教育、金融等诸多领域,人脸识别技术已经因其巨大的优势和适用性而被广泛采用。
在相关技术中,可以基于实验室环境得到人脸识别的神经网络,然而,基于实验室环境中得到的人脸识别的神经网络的识别精度较低。
发明内容
本公开实施例期望提供神经网络处理及人脸识别的技术方案。
本公开实施例提供了一种神经网络处理方法,所述方法包括:
获取第一神经网络和人脸图像,所述第一神经网络表示进行人脸识别的神经网络;
获取所述人脸图像中的标注信息;
根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络;其中,所述优化数据至少包括带有所述标注信息的所述人脸图像。
在本公开的一些实施例中,所述获取人脸图像中的标注信息,包括:
对所述人脸图像进行特征提取,得到所述人脸图像的特征;
对所述人脸图像的特征进行聚类处理,得到聚类结果;
根据所述聚类结果,对所述人脸图像进行标注,得到所述标注信息。
在本公开的一些实施例中,所述聚类结果包括至少一个簇;
所述根据所述聚类结果,对所述人脸图像进行标注,包括:
在所述人脸图像中,将每个簇的标签作为所述每个簇对应的人脸图像的标注信息。
在本公开的一些实施例中,所述对所述人脸图像进行特征提取,包括:
对所述人脸图像进行人脸区域的矫正处理,基于矫正处理后的人脸图像进行特征提取。
在本公开的一些实施例中,所述根据优化数据,在所述第一神经网络的基础上进行增量训练,包括:
按照预设的过滤条件对所述优化数据中所述人脸图像中的标注信息进行过滤;至少根据过滤处理后的标注信息,在所述第一神经网络的基础上进行增量训练。
在本公开的一些实施例中,获取所述人脸图像,包括:
在采集到的人脸图像的个数大于或等于第一数量阈值的情况下,获取采集到的人脸图像。
在本公开的一些实施例中,所述获取所述人脸图像中的标注信息,包括:
在获取到的所述人脸图像的个数大于或等于第二数量阈值的情况下,获取所述人脸图像中的标注信息。
在本公开的一些实施例中,所述优化数据还包括固定数据和/或第一神经网络的记忆数据;其中,所述固定数据表示初始神经网络的训练数据,所述初始神经网络表示无需增量训练得到的人脸识别神经网络;所述第一神经网络的记忆数据表示第一神经网络的训练数据中,满足预设条件的训练数据。
在本公开的一些实施例中,所述方法还包括:
生成第二神经网络的记忆数据,所述第二神经网络的记忆数据表示第二神经网络的训练数据中,满足预设条件的训练数据;所述第二神经网络的记忆数据,用于在第二神经网络的基础上进行增量训练的情况下,替换所述优化数据中的第一神经网络的记忆数据。
在本公开的一些实施例中,所述根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络,包括:
构建至少一组神经网络参数;
针对每组神经网络参数,根据优化数据在所述第一神经网络的基础上进行增量训练,得到每组神经网络参数对应的人脸识别神经网络;
根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络。
在本公开的一些实施例中,所述至少一组神经网络参数为两组或两组以上的神经网络参数;
所述根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络,包括:
按照预设评测集对各组神经网络参数对应的人脸识别神经网络进行评测,得到各组神经网络参数对应的人脸识别神经网络的人脸识别精度;
在各组神经网络参数对应的人脸识别神经网络中,选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络。
在本公开的一些实施例中,所述选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络,包括:
在人脸识别精度达到设定识别精度的一个人脸识别神经网络中,选取人脸识别精度最高的人脸识别神经网络作为所述第二神经网络。
在本公开的一些实施例中,所述方法还包括:
将所述第二神经网络部署在预设场景中。
在本公开的一些实施例中,所述方法还包括:
获取第一特征集合,所述第一特征集合表示基于所述第一神经网络对所述人脸图像进行特征提取得到的特征集合;
获取第二特征集合,所述第二特征集合表示基于所述第二神经网络对所述人脸图像进行特征提取得到的特征集合;
根据所述第一特征集合、所述第二特征集合以及所述第一特征集合与思诺书第二特征集合之间的对应关系,训练第三神经网络;其中,所述第三神经网络用于将所述第一神经网络提取的特征转换为所述第二神经网络提取的特征。
本公开实施例还提供了一种人脸识别方法,所述方法包括:
获取待识别图像;
将所述待识别图像输入至第二神经网络,得到所述待识别图像的人脸识别结果,其中,所述第二神经网络是根据上述任意一种神经网络处理方法得到的。
本公开实施例还提供了一种神经网络处理装置,所述装置包括:第一获取模块、第二获取模块和处理模块,其中,
第一获取模块,用于获取第一神经网络和人脸图像,所述第一神经网络表示进行人脸识别的神经网络;
第二获取模块,用于获取所述人脸图像中的标注信息;
处理模块,用于根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络;所述优化数据至少包括带有所述标注信息的所述人脸图像。
在本公开的一些实施例中,所述第二获取模块,用于获取人脸图像中的标注信息,包括:
对所述人脸图像进行特征提取,得到所述人脸图像的特征;
对所述人脸图像的特征进行聚类处理,得到聚类结果;
根据所述聚类结果,对所述人脸图像进行标注,得到所述标注信息。
在本公开的一些实施例中,所述聚类结果包括至少一个簇;
所述第二获取模块,用于根据所述聚类结果,对所述人脸图像进行标注,包括:
在所述人脸图像中,将每个簇的标签作为所述每个簇对应的人脸图像的标注信息。
在本公开的一些实施例中,所述第二获取模块,用于对所述人脸图像进行特征提取,包括:
对所述人脸图像进行人脸区域的矫正处理,基于矫正处理后的人脸图像进行特征提取。
在本公开的一些实施例中,所述处理模块,用于根据优化数据,在所述第一神经网络的基础上进行增量训练,包括:
按照预设的过滤条件对所述优化数据中所述人脸图像中的标注信息进行过滤;至少根据过滤处理后的标注信息,在所述第一神经网络的基础上进行增量训练。
在本公开的一些实施例中,所述第一获取模块,用于获取所述人脸图像,包括:
在采集到的人脸图像的个数大于或等于第一数量阈值的情况下,获取采集到的人脸图像。
在本公开的一些实施例中,所述第二获取模块,用于获取所述人脸图像中的标注信息,包括:
在获取到的所述人脸图像的个数大于或等于第二数量阈值的情况下,获取所述人脸图像中的标注信息。
在本公开的一些实施例中,所述优化数据还包括:固定数据和/或第一神经网络的记忆数据;其中,所述固定数据表示初始神经网络的训练数据,所述初始神经网络表示无需增量训练得到的人脸识别神经网络;所述第一神经网络的记忆数据表示第一神经网络的训练数据中,满足预设条件的训练数据。
在本公开的一些实施例中,所述处理模块,还用于生成第二神经网络的记忆数据,所述第二神经网络的记忆数据表示第二神经网络的训练数据中,满足预设条件的训练数据;所述第二神经网络的记忆数据,用于在第二神经网络的基础上进行增量训练的情况下,替换所述优化数据中的第一神经网络的记忆数据。
在本公开的一些实施例中,所述处理模块,用于根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络,包括:
构建至少一组神经网络参数;
针对每组神经网络参数,根据优化数据在所述第一神经网络的基础上进行增量训练,得到每组神经网络参数对应的人脸识别神经网络;
根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络。
在本公开的一些实施例中,所述至少一组神经网络参数为两组或两组以上的神经网络参数;
所述处理模块,用于根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络,包括:
按照预设评测集对各组神经网络参数对应的人脸识别神经网络进行评测,得到各组神经网络参数对应的人脸识别神经网络的人脸识别精度;在各组神经网络参数对应的人脸识别神经网络中,选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络。
在本公开的一些实施例中,所述处理模块,用于选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络,包括:
在人脸识别精度达到设定识别精度的一个人脸识别神经网络中,选取人脸识别精度最高的人脸识别神经网络作为所述第二神经网络。
在本公开的一些实施例中,所述处理模块,还用于将所述第二神经网络部署在预设场景中。
在本公开的一些实施例中,所述处理模块,还用于:
获取第一特征集合,所述第一特征集合表示基于所述第一神经网络对所述人脸图像进行特征提取得到的特征集合;
获取第二特征集合,所述第二特征集合表示基于所述第二神经网络对所述人脸图像进行特征提取得到的特征集合;
根据所述第一特征集合、所述第二特征集合、以及所述第一特征集合与所述第二特征集合之间的对应关系,训练第三神经网络;其中,所述第三神经网络用于将所述第一神经网络提取的特征转换为所述第二神经网络提取的特征。
本公开实施例还提供了一种人脸识别装置,所述装置包括图像获取模块和图像处理模块,其中,
图像获取模块,用于获取待识别图像;
图像处理模块,用于将所述待识别图像输入至第二神经网络,得到所述待识别图像的人脸识别结果,其中,所述第二神经网络是根据上述任意一种神经网络处理方法得到的。
本公开实施例还提出了一种电子设备,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
所述处理器用于运行所述计算机程序以执行上述任意一种神经网络处理方法或上述任意一种人脸识别方法。
本公开实施例还提出了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任意一种神经网络处理方法或上述任意一种人脸识别方法。
本公开实施例提出的神经网络处理及人脸识别方法、装置、电子设备和计算机存储介质中,获取第一神经网络和人脸图像,所述第一神经网络表示进行人脸识别的神经网络;获取所述人脸图像中的标注信息;根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络;所述优化数据至少包括带有所述标注信息的所述人脸图像。如此,在本公开实施例中,可以在第一神经网络的基础上,基于带有所述标注信息的所述人脸图像自动进行增量训练,从而得到可以识别人脸图像的神经网络,通过增量训练,有利于提升神经网络的人脸识别精度;进一步地,本发明实施例可以基于真实场景的人脸图像对第一神经网络进行增量训练,从而使得到的第二神经网络可以满足对真实环境的人脸图像的人脸识别要求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的神经网络处理方法的流程图;
图2为本公开实施例中基于人脸增量训练框架进行神经网络增量训练的实现流程图;
图3为本公开实施例的人脸识别方法的流程图;
图4为本公开实施例的神经网络处理装置的组成结构示意图;
图5为本公开实施例的人脸识别装置的组成结构示意图;
图6为本公开实施例的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本公开,并不用于限定本公开。另外,以下所提供的实施例是用于实施本公开的部分实施例,而非提供实施本公开的全部实施例,在不冲突的情况下,本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是,在本公开实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其他要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元,例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如,本公开实施例提供的神经网络处理及人脸识别方法包含了一系列的步骤,但是本公开实施例提供的神经网络处理及人脸识别方法不限于所记载的步骤,同样地,本公开实施例提供的神经网络处理及人脸识别装置包括了一系列模块,但是本公开实施例提供的装置不限于包括所明确记载的模块,还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开实施例可以应用于终端和/或服务器组成的计算机系统中,并可以与众多其它通用或专用计算系统环境或配置一起操作。这里,终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统,等等,服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在相关技术中,人脸识别技术在业界的应用,主要分为1:1和1:M两种,M为大于1的整数。简单来说,1:1技术,主要用于判断两张人脸是否为同一个人,即“你是你”;而1:M技术,主要用于判断一张人脸图片是否在某个指定的人脸图片库中,即“你是谁”;1:M技术广泛引用于公安领域的逃犯追捕,金融领域的刷脸支付、航空领域的刷脸登机等场景。
在应用1:M技术时,人脸识别的神经网络的精度指标需要满足一定要求;在各种应用场景中,人脸识别的神经网络的精度指标主要包括误识率和通过率;这里,“误识”是指将一个人的图像与人脸图片库中另一个人的图像中错误地识别为同一个人,“通过”是指将一个人的图像与人脸图片库中本人的图像中正确地识别为同一个人。一般来说,1:M技术需要尽量高的通过率和尽量低的误识率,但是因为通过率和误识率往往正相关,因此在实际应用中,会通过某个固定的阈值的设定,使得通过率和误识率达到某种平衡。
在相关技术中,基于实验室环境得到人脸识别的神经网络对真实环境的人脸图像的识别精度较低;在一些实施例中,在基于实验室环境得到人脸识别的神经网络应用于真实场景的情况下,可以收集一批出现的问题,例如可以收集坏例子(Bad case),然后由人脸识别的神经网络的开发者对该神经网络进行人工分析,从而对该神经网络使用的网络参数进行调整;在一些实施例中,也可以利用真实场景的人脸图像数据重新训练人脸识别的神经网络,然后,可以将重新训练得到的人脸识别的神经网络部署到实际场景中。但是,重新训练人脸识别的神经网络的过程通常需要花费数月的时间,并且也需要有专门的算法研究员介入其中,从而导致增加了人力成本和时间成本。
针对上述技术问题,在本公开的一些实施例中,提出了一种神经网络处理及人脸识别的技术方案,本公开实施例可以应用于公安的逃犯追捕、金融机构的刷脸支付、小区的人脸出入管理、校园的安防监控等场景。
本公开实施例提供了一种神经网络处理方法,可以基于神经网络处理装置的处理器实现;上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
图1为本公开实施例的神经网络处理方法的流程图,如图1所示,该流程可以包括:
步骤101:获取第一神经网络和人脸图像,第一神经网络表示进行人脸识别的神经网络。
本公开实施例中,并不对第一神经网络的种类进行限定,示例性地,第一神经网络可以是单步多框检测器(Single Shot MultiBox Detector,SSD)、RetinaNet、快速区域卷积神经网络(Faster Region-Convolutional Neural Networks,Faster RCNN)或其他基于深度学习的神经网络。
本公开实施例中,第一神经网络可以是初始神经网络,初始神经网络表示无需增量训练得到的人脸识别神经网络;第一神经网络也可以是对初始神经网络经过至少一次增量训练得到的人脸识别神经网络。
在本公开的一些实施例中,可以基于公共数据集训练得出初始神经网络;在具体实施时,可以基于公共数据集,向未经训练的初始神经网络输入带有标注信息的人脸样本图像;然后,通过对初始神经网络的训练,可以得到用于人脸识别的初始神经网络。
在本公开的一些实施例中,上述人脸图像可以是真实场景的人脸图像、公共数据集中的人脸图像或其它人脸图像;真实场景的人脸图像表示通过拍摄真实场景得到人脸图像,在实际应用中,可以通过摄像机、抓拍机等图像采集设备对真实场景的图像进行拍摄,进而从拍摄数据中获取到人脸图像。在一些实施例中,拍摄数据可以是用户摄像头拍摄的各种视频、火车站的监控摄像头拍摄的数据、交通信号灯上方的摄像头拍摄的数据、小区监控摄像头拍摄的数据等。
可以看出,本公开实施例可以通过监测真实场景对应的拍摄数据,自动且方便地获取人脸图像。
在本公开的一些实施例中,可以实时监测真实场景对应的拍摄数据,然后,可以采用人脸检测技术从拍摄数据中裁剪出人脸区域图像。
在本公开的一些实施例中,可以在采集到的人脸图像的个数大于或等于第一数量阈值的情况下,获取采集到的人脸图像;在一种实施方式中,可以采集真实场景的人脸图像,在采集到的真实场景的人脸图像的个数大于或等于第一数量阈值的情况下,通过数据流转引擎导入采集到的真实场景的人脸图像;在一种实施方式中,每当采集到的真实场景的人脸图像的累计个数达到第一数量阈值的情况下,数据流转引擎可以导入个数为第一数量阈值的真实场景的人脸图像,实现人脸图像的获取;然后,可以从零开始对真实场景的人脸图像进行重新计数。
在一些实施例中,第一数量阈值可以根据实际应用需求确定,例如,第一数量阈值可以为10万、50万、100万等。
可以看出,由于无需在采集到每个人脸图像时,就基于每个人脸图像进行后续增量训练,而是在采集到的人脸图像达到一定数量时,基于一定数量的初始人脸图像进行后续增量训练,如此,可以提升增量训练的效率,并降低增量训练所需的计算资源。
在本公开的一些其它实施例中,可以定时获取采集到的人脸图像,或者,可以实时获取采集到的人脸图像。
步骤102:获取人脸图像中的标注信息。
本公开实施例中,人脸图像中的标注信息可以是人的身份标识信息、类别标识信息或其它标识信息;在一种实施方式中,属于同一人的不同人脸图像的标注信息是一致的。
在本公开的一些实施例中,可以在获取到的人脸图像的个数大于或等于第二数量阈值的情况下,获取人脸图像中的标注信息。
在本公开的一些实施例中,可以在获取到的人脸图像的个数大于或等于第二数量阈值的情况下,将获取到的人脸图像进行压缩打包,然后可以基于压缩打包后的数据获取人脸图像中的标注信息;在本公开的一些实施例中,每当获取到的人脸图像的个数达到第二数量阈值的情况下,可以将个数为第二数量阈值的人脸图像进行压缩打包,针对压缩打包后的数据中的人脸图像,获取人脸图像中的标注信息;然后,可以从零开始获取到的其它人脸图像进行重新计数。
这里,第二数量阈值可以大于第一数量阈值,例如,第二数量阈值可以是500万、1000万等。
可以看出,由于无需在获取每个人脸图像时,就基于每个人脸图像进行人脸图像的标注,而是在获取的人脸图像达到一定数量时,基于一定数量的人脸图像进行后续的人脸图像的标注,如此,可以提升数据标注的效率,并降低数据标注所需的计算资源。
在本公开的一些其它实施例中,每隔设定时间段,可以针对获取到的所述人脸图像,获取标注信息;或者,可以在实时获取的人脸图像后,直接基于实时获取的人脸图像,获取人脸图像中的标注信息。
步骤103:根据优化数据,在第一神经网络的基础上进行增量训练,得到第二神经网络;优化数据至少包括带有标注信息的所述人脸图像。
本公开实施例中,增量训练表示在第一神经网络的基础上,利用优化数据对第一神经网络进行参数调整的过程;可以理解地,第二神经网络表示用于进行人脸识别的神经网络。
在一种实施方式中,在对所述第一神经网络的基础上进行增量训练,判断每次调整参数后的第一神经网络是否满足增量训练的训练结束条件,如果不满足训练结束条件,则继续对第一神经网络的参数进行下一次调整,如果满足,则将调整参数后的第一神经网络作为第二神经网络。
在一种实施方式中,增量训练的训练结束条件可以根据实际情况进行设置,例如,上述训练结束条件可以是调整第一神经网络的网络参数的次数等于设定迭代次数,也可以是调整参数后的第一神经网络的损失函数达到收敛条件。这里,设定迭代次数表示调整第一神经网络的网络参数的次数的最大值,设定迭代次数为大于1的整数;收敛条件可以是调整参数后的第一神经网络的损失函数的值小于设定损失,设定损失可以根据实际应用需求预先设置。需要说明的是,上述仅仅是对训练结束条件进行了示例性说明,本公开实施例的训练结束条件并不局限于此。
可以看出,在本公开实施例中,可以在第一神经网络的基础上,基于带有所述标注信息的所述人脸图像自动进行增量训练,从而得到可以识别人脸图像的神经网络,通过增量训练,有利于提升神经网络的人脸识别精度;进一步地,本发明实施例可以基于真实场景的人脸图像对第一神经网络进行增量训练,从而使得到的第二神经网络可以满足对真实环境的人脸图像的人脸识别要求。
进一步地,本公开实施例中,第一神经网络可以是基于实验室环境得出的神经网络,在需要将基于实验室环境得到人脸识别的神经网络应用于真实场景的情况下,本公开实施例无需人工分析,并且无需重新基于真实场景的人脸图像重新训练神经网络,而是可以在第一神经网络的基础基于真实场景的人脸图像进行增量训练,降低了人力成本和时间成本。
作为一种实施方式,获取人脸图像中的标注信息,可以包括:对人脸图像进行特征提取,得到人脸图像的特征;对人脸图像的特征进行聚类处理,得到聚类结果;根据聚类结果,对人脸图像进行标注,得到人脸图像中的标注信息。
在本公开的一些实施例中,人脸图像的特征可以是特征图或特征向量,这里,可以利用第一神经网络对人脸图像进行特征提取,得到所述人脸图像的特征,或者,也可以采用其它方式对人脸图像进行特征提取,得到所述人脸图像的特征。
在本公开的一些实施例中,对人脸图像的特征进行聚类处理的实现方式可以是,采集图卷积网络-具有噪声的基于密度的聚类(Graph Convolutional Network-Density-Based Spatial Clustering of Applications with Noise,GCN-DBSCAN)算法对人脸图像的特征进行聚类处理,这里,图卷积网络是一个多层的图卷积神经网络,可以用于确定谱图卷积的一阶局部近似,其中每个卷积层仅处理一阶邻域信息,通过叠加若干卷积层可以实现多阶邻域的信息传递。基于GCN-DBSCAN算法对人脸图像的特征进行聚类处理,可以得到聚类结果,聚类结果包括至少一个簇,可以认为每个簇中的特征向量对应的人脸图像为同一个人的人脸图像。
可以看出,本公开实施例通过对人脸图像进行特征提取和聚类处理,从而有利于根据聚类结果准确且快速地得到人脸图像中的标注信息,与手动标注方式相比,降低了标注的人力成本和时间成本。
作为一种实施方式,根据所述聚类结果,对人脸图像进行标注,可以包括:在人脸图像中,将每个簇的标签作为所述每个簇对应的人脸图像的标注信息,例如,对于聚类结果中的第j个簇,第j个簇的标签是通过聚类处理直接得到,在这种情况下,可以将第j个簇的标签作为第j个簇对应的人脸图像的标注信息,第j个簇对应的人脸图像表示属于第j个簇的特征对应的人脸图像,j为大于或等于1的整数。
可以看出,本公开实施例中,聚类结果还包括每个簇对应的标签,如此可以自动将每个簇的标签作为对应的人脸图像的标注信息,可以实现对每个簇对应的人脸图像的统一标注;由于上述针对人脸图像的特征提取和聚类处理过程均可以自动实现,因而,本公开实施例可以实现人脸图像的自动标注,与手动标注方式相比,降低了标注的人力成本和时间成本。
作为一种实施方式,对人脸图像进行特征提取,可以包括:对人脸图像进行人脸区域的矫正处理,基于矫正处理后的人脸图像进行特征提取。
在本公开的一些实施例中,可以利用人脸关键点模型,确定人脸区域中多个人脸关键点(例如:150个、220个等)的坐标,这些人脸关键点可以包括人脸的五官处的像素点;这里,人脸关键点模型可以用于表示识别人脸关键点的模型。在确定人脸关键点的坐标后,可以根据这些人脸关键点的坐标,可以将人脸的角度进行矫正,确保人脸图像转变为人的正脸图像。
可以看出,由于需要进行特征提取的人脸图像是经过矫正处理后得到的人脸图像,如此,在矫正处理后的人脸图像的基础上,可以准确高效地进行人脸图像的标注和第一神经网络的增量训练。
作为一种实施方式,根据优化数据,在第一神经网络的基础上进行增量训练,可以包括:对优化数据中人脸图像中的标注信息,按照预设的过滤条件对所述优化数据中所述人脸图像中的标注信息进行过滤;至少根据过滤处理后的标注信息,在所述第一神经网络的基础上进行增量训练。
本公开的一些实施例中,预设的过滤条件可以根据实际应用需求进行设置,例如,可以根据聚类阈值、聚类簇的大小等确定过滤条件;针对不同的具体场景,可以预先自定义有针对性的过滤条件,这样可以根据自定义的过滤条件,自动对带有标注信息的人脸图像进行过滤,以滤除带有所述标注信息的所述人脸图像中的标注信息中的各类无效数据,从而得到可以用于增量训练的带有标注信息的人脸图像。
由于聚类处理过程是基于人脸图像的特征实现的,在不能够完全准确地对人脸图像进行特征提取的情况下,例如,在采用待优化的第一神经网络对人脸图像进行特征提取的情况下,可能会存在一些不准确的聚类结果,本公开实施例通过对带有标注信息的人脸图像进行过滤,可以在减少增量训练的训练数据的同时,降低无效数据对增量训练造成的干扰,增加训练得到的第二神经网络的人脸识别精度。进一步地,本公开实施例可以自动对带有标注信息的人脸图像进行过滤,从而提升增量训练的效率。
作为一种实施方式,上述优化数据还可以包括以下至少之一:固定数据、需要进行增量训练的神经网络的记忆数据。
本公开实施例中,固定数据表示初始神经网络的训练数据,初始神经网络表示无需增量训练得到的人脸识别神经网络;也就是说,可以基于固定数据训练得出初始神经网络,在得出初始神经网络后,在后续每次进行增量训练时,固定数据均可以作为优化数据中不变的一部分数据。这里,初始神经网络的训练数据用于表示训练初始神经网络时所使用的带有标注信息的人脸图像样本。
在需要进行增量训练的神经网络为第一神经网络的情况下,需要进行增量训练的神经网络的记忆数据为第一神经网络的记忆数据;第一神经网络的记忆数据表示第一神经网络的训练数据中,满足预设条件的训练数据;第一神经网络的训练数据表示通过增量训练得到第一神经网络的过程中,使用的带有标注信息的人脸图像。需要说明的是,第一神经网络的训练数据是基于增量训练所得出数据,在第一神经网络是初始神经网络的情况下,第一神经网络的记忆数据不存在,即,在第一神经网络时初始神经网络的情况下,上述优化数据不包括第一神经网络的记忆数据。
在本公开的一些实施例中,在通过增量训练得到第二神经网络后,还可以对第二神经网络进行增量训练;在需要进行增量训练的神经网络为第二神经网络的情况下,需要进行增量训练的神经网络的记忆数据为第二神经网络的记忆数据。
可以看出,本公开实施例中,可以利用上述优化数据在第一神经网络的基础上进行增量训练,而在优化数据中固定数据和第一神经网络的记忆数据代表了对增量训练前获取的有效样本数据,因而,在固定数据和/或第一神经网络的记忆数据的基础上进行增量训练,有利于防止增量训练过程中遗忘第一神经网络的人脸识别能力,有利于使通过增量训练得到第二神经网络具有较高的人脸识别精度,并且可以使通过增量训练得到第二神经网络能够具有较为通用的人脸识别能力,可以应用于各种类型人脸的识别。
作为一种实施方式,还可以生成第二神经网络的记忆数据,第二神经网络的记忆数据表示第二神经网络的训练数据中,满足预设条件的训练数据。第二神经网络的训练数据表示对第一神经网络进行增量训练的过程中,使用的带有标注信息的人脸图像。
在实际应用中,在训练得出第二神经网络后,可以按照预设方式确定第二神经网络的记忆数据,并将第二神经网络的记忆数据进行整理和打包,最终输出经过整理和打包处理的第二神经网络的记忆数据。
在本公开的一些实施例中,在通过增量训练得到第二神经网络后,可以对第一神经网络进行更新,将第一神经网络更新为本次增量训练得到的第二神经网络,然后,针对更新后的第一神经网络,重新执行步骤101至步骤103。
可以看出,本公开实施例中,通过生成第二神经网络的记忆数据,有利于在第二神经网络的记忆数据基础上,针对第二神经网络进行后续的增量训练,即,有利于进一步优化人脸识别的神经网络。
作为一种实施方式,根据优化数据,在第一神经网络的基础上进行增量训练,得到第二神经网络,可以包括:
构建至少一组神经网络参数;针对每组神经网络参数,根据优化数据在所述第一神经网络的基础上进行增量训练,得到每组神经网络参数对应的人脸识别神经网络;根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络。
在本公开的一些实施例中,每组神经网络参数包括以下至少之一:神经网络的损失函数、神经网络的超参;神经网络的损失函数可以是人脸识别神经网络中常用的损失函数。
在本公开的一些实施例中,在得到上述优化数据后,可以对上述优化数据中的各部分数据进行合并和去重处理,例如,上述优化数据包括以下三部分数据:带有所述标注信息的所述人脸图像、固定数据和第一神经网络的记忆数据,在这种情况下,可以对上述优化数据中的三部分数据进行合并和去重处理。
在本公开的一些实施例中,通过对上述优化数据中的各部分数据进行合并和去重处理,可以得到处理后的优化数据;此时,可以将处理后的优化数据按照增量训练过程可以使用的数据格式进行解析,得到解析后的数据集。
在本公开的一些实施例中,可以分析第一神经网络的网络结构和网络参数,从而构建多组神经网络参数;针对每组神经网络参数,可以基于解析后的数据集对第一神经网络进行增量训练,从而,可以得到每组神经网络参数对应的人脸识别神经网络。
可以看出,本公开实施例中可以针对构建的每组神经网络参数,进行第一神经网络的增量训练,而每组神经网络参数可以根据实际需求设置,因而,本公开实施例可以根据实际需求灵活地进行第一神经网络的增量训练。
在本公开的一些实施例中,上述至少一组神经网络参数为两组或两组以上的神经网络参数。
相应地,所述根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络,包括:
按照预设评测集对各组神经网络参数对应的人脸识别神经网络进行评测,得到各组神经网络参数对应的人脸识别神经网络的人脸识别精度;在各组神经网络参数对应的人脸识别神经网络中,选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络。
这里,评测集包括待评测的人脸图像以及待评测的人脸图像对应的真实标注信息;人脸识别精度指标可以包括人脸识别神经网络中在动态布控下的指标,例如,人脸识别神经网络中在动态布控下的指标可以是误识率、通过率等,人脸识别精度指标也可以第二神经网络中在静态检索情况下的指标,例如,人脸识别神经网络中在静态检索情况下的指标可以是TopN的命中率,TopN的命中率表示身份正确的人脸排在前N位的概率,N为大于或等于1的整数。
在本公开的一些实施例中,设定识别精度可以根据实际评测需求确定,在一种实施方式中,设定识别精度可以是误识率低于设定误识率阈值,或者,可以是通过率高于设定通过率阈值;在另一种实施方式中,设定识别精度可以是第一神经网络的人脸识别精度。
在本公开的一些实施例中,可以由用户预先构建评测集,也可以从神经网络训练装置中获取内置的评测集。
在实际应用中,可以将评测集中待评测的人脸图像输入至人脸识别神经网络,得出人脸识别结果,然后,根据人脸识别结果和待评测的人脸图像对应的真实标注信息的差异,确定人脸识别神经网络的人脸识别精度指标。
在本公开的一些实施例中,可以对比第一神经网络和每组神经网络参数对应的人脸识别神经网络在同一个评测集中的人脸识别精度指标,从而确认每组神经网络参数对应的人脸识别神经网络的人脸识别精度是否高于第一神经网络。
在本公开的一些实施例中,在按照预设评测集对每组神经网络参数对应的人脸识别神经网络进行评测后,可以将评测结果(即第二神经网络的人脸识别精度指标)展示到显示界面上,另外,也可以将第一神经网络的评测结果展示到显示界面。
可以看出,在本公开实施例中,设定识别精度可以根据实际需求进行设置,因而,通过对各组神经网络参数对应的人脸识别神经网络的评测,便于确定出满足实际需求的人脸识别网络作为第二神经网络;进一步地,由于评测集是预先设置的,因而,本公开实施例中在得到各组神经网络参数对应的人脸识别神经网络后,可以基于评测集自动对各组神经网络参数对应的人脸识别神经网络进行评测,提高了评测效率;进一步地,还可以确定第二神经网络存在的人脸识别问题,从而便于后续继续对第二神经网络进行优化。
作为一种实施方式,在人脸识别精度达到设定识别精度的一个人脸识别神经网络中,选取人脸识别精度最高的人脸识别神经网络作为所述第二神经网络;如此,第二神经网络为本次增量训练得到的人脸识别精度的神经网络,在使用第二神经网络进行人脸识别的情况下,可以达到较高的人脸识别精度。
作为一种实施方式,在得到第二神经网络后,可以将第二神经网络部署在预设场景中。
在本公开的一些实施例中,预设场景可以是用户的生产环境。
对于将第二神经网络部署在所述预设场景中的实现方式,示例性地,可以将第二神经网络通过模型转换工具和部署工具进行部署,这里,模型转换工具可以将第二神经网络转换为通用的模型框架(如TensorFlow、Caffe、PyTorch等框架),部署工具可以将模型转换后得到的模型框架部署在预设场景中。
可以看出,本公开实施例中,可以在得到第二神经网络后,可以自动将第二神经网络部署,从而实现了第二神经网络的快速部署和使用。
可以理解地,在部署第二神经网络时,还需要将人脸特征库中的人脸特征转换为利用第二神经网络提取得到的特征,人脸特征库中的人脸特征是利用第一神经网络提取得到的特征;在一些实施例中,需要重新利用第二神经网络对人脸图像进行特征提取,得到利用第二神经网络提取得到的人脸特征,然后替换人脸特征库中的原有人脸特征。
然而,在一些特定的场景中,人脸特征库中的特征数量很多,例如,在百万、千万甚至亿级别,如果重新利用第二神经网络对人脸图像进行特征提取,则需要耗费较长的时间,例如,可能消耗数月甚至半年以上的时间。针对该技术问题,在本公开的一些实施例中,可以执行以下步骤:
获取第一特征集合和第二特征集合,所述第一特征集合表示基于第一神经网络对所述人脸图像进行特征提取得到的特征集合;所述第二特征集合表示基于第二神经网络对所述人脸图像进行特征提取得到的特征集合;
然后,根据第一特征集合、第二特征集合、以及第一特征集合与第二特征集合之间的对应关系,训练第三神经网络,所述第三神经网络用于将所述第一神经网络提取的特征转换为所述第二神经网络提取的特征。
可见,第一特征集合和第二特征集合中存在同一人脸图像对应的特征关联关系,通过该关联关系、第一特征集合和第二特征集合,可以训练出第三神经网络。基于第三神经网络,可以通过特征转换得到利用第二神经网络提取得到的特征,无需利用第二神经网络重新进行特征提取的操作,从而,降低了时间成本,提升了第二神经网络部署的效率,具有快捷方便的特点;另外,基于第三神经网络,不需要用户存储海量的人脸图像,只需要存储人脸特征即可,有利于节约存储资源和成本。
本公开实施例的神经网络处理方法可以基于人脸增量训练框架实现,人脸增量训练框架可以包括:数据流转引擎,无监督智能自动标注引擎,无效数据智能过滤框架,人脸增量训练模型,人脸识别模型自动评测框架和人脸识别模型自动发布框架。
图2为本公开实施例中基于人脸增量训练框架进行神经网络增量训练的实现流程图,如图2所示,生产环境表示用户的实际工作场景,人脸识别模型优化环境表示对第一神经网络进行增量训练的环境。
参照图2,可以利用数据流转引擎,将生产环境中真实场景的人脸图像导入人脸识别模型优化环境。
在本公开的一些实施例中,数据流转引擎,是一个将人脸图像从生产环境导入至人脸识别模型优化环境的工具,数据流转引擎定义了生产环境与人脸识别模型优化环境的数据接口标准,并且具备高吞吐量分布式消息系统,支持每秒数十万的消息处理。
在本公开的一些实施例中,数据流转引擎可以实时接收生产环境中产生的真实场景下的人脸图像,并且提供人脸检测服务,即可以利用人脸检测模型,将图像的人脸检测到并延人脸坐标将人脸区域进行裁剪,裁剪出人脸区域图像;然后,可以根据前述实施例记载的内容,对人脸区域图像进行矫正处理。
在本公开的一些实施例中,数据流转引擎提供异步流转服务,例如,当数据流转引擎中获取的人脸图像的个数大于或等于第一数量阈值时,可以将真实场景的人脸图像经过人脸区域裁剪和人脸矫正处理后进行压缩打包,得到本次优化的原始数据,将本次优化的原始数据分批导入至人脸识别模型优化环境。
在本公开的一些实施例中,数据流转引擎提供定时流转服务,例如,数据流转引擎可以定时将真实场景的人脸图像经过人脸区域裁剪和人脸矫正处理后进行压缩打包,得到本次优化的原始数据,将本次优化的原始数据导入至人脸识别模型优化环境。
在本公开的一些实施例中,数据流程引擎可以提供实时流转服务,例如,数据流转引擎可以将实时获取的真实场景的人脸图像经过人脸区域裁剪和人脸矫正处理,得到本次优化的原始数据,将本次优化的原始数据导入至人脸识别模型优化环境。
参照图2,可以利用无监督智能自动标注引擎对本次优化的原始数据进行处理。
在本公开的一些实施例中,无监督智能自动标注引擎是一个利用GCN-DBSCAN算法,对本次优化的原始数据进行处理的工具,无监督智能自动标注引擎可以支持千万级人脸图片的高精度聚类。
在本公开的一些实施例中,可以在本次优化的原始数据的人脸图像数大于或等于第二数量阈值的情况下,启动无监督智能自动标注引擎。无监督智能自动标注引擎可以利用第一神经网络对本次优化的原始数据的人脸图像进行特征提取,经过特征提取后,一张人脸图像将被转换为一个高维特征向量。随后,无监督智能自动标注引擎将采用GCN-DBSCAN算法对本次优化的原始数据的人脸图像进行聚类处理,得到聚类结果;然后,可以根据聚类结果,对本次优化的原始数据的人脸图像进行标注,得到本次优化的标注数据;这里,本次优化的标注数据为上述带有标注信息的真实场景的人脸图像。
参照图2,可以利用无效数据智能过滤框架对本次优化的标注数据进行过滤。
在本公开实施例中,无效数据智能过滤框架是一个支持自定义和可扩展过滤条件的通用框架,它能够对本次优化的标注数据进行过滤,进而筛选出对优化第一神经网络有帮助的数据,剔除掉各类无效数据。
在本公开的一些实施例中,无效数据智能过滤框架可以利用前述实施例及记载的数据过滤方式对本次优化的标注数据进行过滤,得到本次优化的训练数据;这里,本次优化的训练数据为上述用于增量训练的带有标注信息的真实场景的人脸图像。
可以看出,通过使用无效数据智能过滤框架,可以在减少增量训练的训练数据的同时,降低无效数据对增量训练造成的干扰,增加训练得到的第二神经网络的人脸识别精度。
参照图2,可以利用人脸增量训练模型,对第一神经网络进行优化。
本公开实施例中,人脸增量训练模型,是一个高效的人脸识别模型增量训练框架,它能保留代表性样本作为记忆数据,防止增量训练过程中对旧知识(第一神经网络进行人脸识别的能力)的遗忘。
在本公开的一些实施例中,为了进行增量训练,人脸增量训练模型需要获取两部分数据,第一部分数据为需要优化的第一神经网络,示例性地,需要优化的第一神经网络可以直接从生产环境中获取;第二部分数据为包括本次优化的训练数据、预置的固定数据和上次优化的记忆数据,这里,上次优化的记忆数据为第一神经网络的记忆数据,可见,第二部分数据为上述优化数据;在本公开实施例中,固定数据可以内置在人脸增量训练框架中,在每次进行增量训练时都可以使用且保持不变。
人脸增量训练模型可以参照前述实施例记载的增量训练方式进行增量训练,在得到第二神经网络后,还可以生成并输出第二神经网络的记忆数据。
参照图2,可以利用人脸识别模型自动评测框架,对每组神经网络参数对应的人脸识别神经网络进行评测,从而得到第二神经网络;在本公开实施例中,人脸识别模型自动评测框架,是针对用于人脸识别的神经网络进行评测的通用框架,能够根据用户指定的评测集,自动得到评测结果,并且将评测结果可视化展现到界面上。
在本公开的一些实施例中,人脸识别模型自动评测框架支持用户构建评测集,也支持直接利用人脸增量训练框架内置的评测集。人脸识别模型自动评测框架可以按照前述实施例记载的评测方式对每组神经网络参数对应的人脸识别神经网络进行自动评测,这里不再赘述。
参照图2,人脸识别模型自动发布框架可以完成第二神经网络的部署。
在本公开实施例中,人脸识别模型自动发布框架,是针对人脸识别的神经网络进行发布的通用框架,它可以实现人脸识别的神经网络在生产环境的部署和上线,能够快速完成增量训练后的神经网络的模型转换和打包,并且支持一键部署上线,从而实现第二神经网络的快速部署、快速上线和快速使用。
人脸识别模型自动发布框架还可以从生产环境中获取真实场景下的人脸特征库,从而可以基于第二神经网络对真实场景下的人脸特征库进行特征提取,得到第二特征集合,然后,人脸识别模型自动发布框架可以按照前述实施例记载的方式训练第三神经网络,图2中的特征升级工具为上述第三神经网络。
在相关技术中,某些真实场景的人脸图像数据是不允许对第三方提供的,例如在公安的逃犯追捕场景中,某些真实场景的人脸图像数据可能是某个逃犯的照片,这些数据高度敏感;如此,利用真实场景的人脸图像数据重新训练人脸识别的神经网络,是难以实现的。
而在本公开的一些实施例中,上述人脸增量训练框架可以在用户的环境中进行私有化部署,从而可以确保用户的敏感数据不用离开用户自己的环境,无需用户向第三方提供数据,降低用户数据泄露和隐私泄露的风险;同时,本公开实施例也可以持续对人脸识别的神经网络进行持续优化。
本公开实施例可以应用于公安领域,例如,在使用人脸识别技术进行逃犯追捕时,可以利用本公开的神经网络处理方法,对人脸识别的神经网络进行优化,提升逃犯追捕的效率。本公开实施例也可以应用于地铁刷脸支付的场景,例如,可以利用本公开的神经网络处理方法,对人脸识别的神经网络进行优化,使得地铁乘客能够快速通过闸机完成付费,降低误识别带来的损失。
基于上述提出的神经网络处理方法,本公开实施例还提出了一种人脸识别方法,可以基于人脸识别装置的处理器实现;上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
图3为本公开实施例的人脸识别方法的流程图,如图3所示,该流程可以包括:
步骤301:获取待识别图像。
这里,待识别图像为需要进行人脸识别的图像。
示例性地,可以从本地存储区域或网络获取待识别图像,待识别图像的格式可以联合图像专家组(Joint Photographic Experts Group,JPEG)、位图图像(Bitmap,BMP)、便携式网络图形(Portable Network Graphics,PNG)或其他格式;需要说明的是,这里仅仅是对识别图像的格式和来源进行了举例说明,本发明实施例并不对待识别图像的格式和来源进行限定。
步骤302:将待识别图像输入至第二神经网络,得到所述待识别图像的人脸识别结果,其中,第二神经网络是根据上述任意一种神经网络处理方法得到的。
可以看出,在本公开实施例中,第二神经网络是通过增量训练得到的神经网络,因而,相较于第一神经网络,第二神经网络的人脸识别精度更高;进一步地,本发明实施例可以基于真实场景的人脸图像对第一神经网络进行增量训练,从而基于第二神经网络可以满足对真实场景的待识别图像的人脸识别要求。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定
在前述实施例提出的神经网络处理方法的基础上,本公开实施例提出了一种神经网络处理装置。
图4为本公开实施例的神经网络处理装置的组成结构示意图,如图4所示,所述装置包括:第一获取模块401、第二获取模块402和处理模块403,其中,
第一获取模块401,用于获取第一神经网络和人脸图像,所述第一神经网络表示进行人脸识别的神经网络;
第二获取模块402,用于获取所述人脸图像中的标注信息;
处理模块403,用于根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络;所述优化数据至少包括带有所述标注信息的所述人脸图像。
在本公开的一些实施例中,所述第二获取模块402,用于获取人脸图像中的标注信息,包括:
对所述人脸图像进行特征提取,得到所述人脸图像的特征;
对所述人脸图像的特征进行聚类处理,得到聚类结果;
根据所述聚类结果,对所述人脸图像进行标注,得到所述标注信息。
在本公开的一些实施例中,所述聚类结果包括至少一个簇;
所述第二获取模块402,用于根据所述聚类结果,对所述人脸图像进行标注,包括:
在所述人脸图像中,将每个簇的标签作为所述每个簇对应的人脸图像的标注信息。
在本公开的一些实施例中,所述第二获取模块,用于对所述人脸图像进行特征提取,包括:
对所述人脸图像进行人脸区域的矫正处理,基于矫正处理后的人脸图像进行特征提取。
在本公开的一些实施例中,所述处理模块403,用于根据优化数据,在所述第一神经网络的基础上进行增量训练,包括:
按照预设的过滤条件对所述优化数据中所述人脸图像中的标注信息进行过滤;至少根据过滤处理后的标注信息,在所述第一神经网络的基础上进行增量训练。
在本公开的一些实施例中,所述第一获取模块401,用于获取所述人脸图像,包括:
在采集到的人脸图像的个数大于或等于第一数量阈值的情况下,获取采集到的人脸图像。
在本公开的一些实施例中,所述第二获取模块402,用于获取所述人脸图像中的标注信息,包括:
在获取到的所述人脸图像的个数大于或等于第二数量阈值的情况下,获取所述人脸图像中的标注信息。
在本公开的一些实施例中,所述优化数据还包括:固定数据和/或第一神经网络的记忆数据;其中,所述固定数据表示初始神经网络的训练数据,所述初始神经网络表示无需增量训练得到的人脸识别神经网络;所述第一神经网络的记忆数据表示第一神经网络的训练数据中,满足预设条件的训练数据。
在本公开的一些实施例中,所述处理模块403,还用于生成第二神经网络的记忆数据,所述第二神经网络的记忆数据表示第二神经网络的训练数据中,满足预设条件的训练数据;所述第二神经网络的记忆数据,用于在第二神经网络的基础上进行增量训练的情况下,替换所述优化数据中的第一神经网络的记忆数据。
在本公开的一些实施例中,所述处理模块403,用于根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络,包括:
构建至少一组神经网络参数;
针对每组神经网络参数,根据优化数据在所述第一神经网络的基础上进行增量训练,得到每组神经网络参数对应的人脸识别神经网络;
根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络。
在本公开的一些实施例中,所述至少一组神经网络参数为两组或两组以上的神经网络参数;
所述处理模块,用于根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络,包括:
按照预设评测集对各组神经网络参数对应的人脸识别神经网络进行评测,得到各组神经网络参数对应的人脸识别神经网络的人脸识别精度;在各组神经网络参数对应的人脸识别神经网络中,选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络。
在本公开的一些实施例中,所述处理模块403,用于选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络,包括:
在人脸识别精度达到设定识别精度的一个人脸识别神经网络中,选取人脸识别精度最高的人脸识别神经网络作为所述第二神经网络。
在本公开的一些实施例中,所述处理模块403,还用于将所述第二神经网络部署在预设场景中。
在本公开的一些实施例中,所述处理模块403,还用于:
获取第一特征集合,所述第一特征集合表示基于所述第一神经网络对所述人脸图像进行特征提取得到的特征集合;
获取第二特征集合,所述第二特征集合表示基于所述第二神经网络对所述人脸图像进行特征提取得到的特征集合;
根据所述第一特征集合、所述第二特征集合、以及所述第一特征集合与所述第二特征集合之间的对应关系,训练第三神经网络;其中,所述第三神经网络用于将所述第一神经网络提取的特征转换为所述第二神经网络提取的特征。
实际应用中,第一获取模块401、第二获取模块402和处理模块403均可以利用电子设备中的处理器实现,上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
在前述实施例提出的人脸识别方法的基础上,本公开实施例提出了一种人脸识别装置。
图5为本公开实施例的人脸识别装置的组成结构示意图,如图5所示,所述装置包括:图像获取模块501和图像处理模块502,其中,
图像获取模块501,用于获取待识别图像;
图像处理模块502,用于将所述待识别图像输入至第二神经网络,得到所述待识别图像的人脸识别结果,其中,所述第二神经网络是根据上述任意一种神经网络处理方法得到的。
实际应用中,图像获取模块501和图像处理模块502均可以利用电子设备中的处理器实现,上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲,本实施例中的一种神经网络处理方法或一种人脸识别方法对应的计算机程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种神经网络处理方法或一种人脸识别方法对应的计算机程序指令被一电子设备读取或被执行时,实现前述实施例的任意一种神经网络处理方法或任意一种人脸识别方法。其中,存储介质可以是易失性或非易失性存储介质。
基于前述实施例相同的技术构思,本公开实施例提供的一种电子设备;图6为本公开实施例的电子设备的结构示意图,参照图6,电子设备60可以包括:存储器61和处理器62;其中,
所述存储器61,用于存储计算机程序和数据;
所述处理器62,用于执行所述存储器中存储的计算机程序,以实现前述实施例的任意一种神经网络处理方法或任意一种人脸识别方法。
在实际应用中,上述存储器61可以是易失性存储器(volatile memory),例如RAM;或者非易失性存储器(non-volatile memory),例如ROM,快闪存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器62提供指令和数据。
上述处理器62可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本公开实施例不作具体限定。
本公开实施例还提出了一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种神经网络处理方法或任意一种人脸识别方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述
本申请所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (19)

1.一种神经网络处理方法,其特征在于,所述方法包括:
获取第一神经网络和人脸图像,所述第一神经网络表示进行人脸识别的神经网络;
获取所述人脸图像中的标注信息;
根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络;其中,所述优化数据至少包括带有所述标注信息的所述人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述获取人脸图像中的标注信息,包括:
对所述人脸图像进行特征提取,得到所述人脸图像的特征;
对所述人脸图像的特征进行聚类处理,得到聚类结果;
根据所述聚类结果,对所述人脸图像进行标注,得到所述标注信息。
3.根据权利要求2所述的方法,其特征在于,所述聚类结果包括至少一个簇;
所述根据所述聚类结果,对所述人脸图像进行标注,包括:
在所述人脸图像中,将每个簇的标签作为所述每个簇对应的人脸图像的标注信息。
4.根据权利要求2所述的方法,其特征在于,所述对所述人脸图像进行特征提取,包括:
对所述人脸图像进行人脸区域的矫正处理,基于矫正处理后的人脸图像进行特征提取。
5.根据权利要求1所述的方法,其特征在于,所述根据优化数据,在所述第一神经网络的基础上进行增量训练,包括:
按照预设的过滤条件对所述优化数据中所述人脸图像中的标注信息进行过滤;
至少根据过滤处理后的标注信息,在所述第一神经网络的基础上进行增量训练。
6.根据权利要求1所述的方法,其特征在于,获取所述人脸图像,包括:
在采集到的人脸图像的个数大于或等于第一数量阈值的情况下,获取采集到的人脸图像。
7.根据权利要求1所述的方法,其特征在于,所述获取所述人脸图像中的标注信息,包括:
在获取到的所述人脸图像的个数大于或等于第二数量阈值的情况下,获取所述人脸图像中的标注信息。
8.根据权利要求1所述的方法,其特征在于,所述优化数据还包括固定数据和/或第一神经网络的记忆数据;其中,所述固定数据表示初始神经网络的训练数据,所述初始神经网络表示无需增量训练得到的人脸识别神经网络;所述第一神经网络的记忆数据表示第一神经网络的训练数据中,满足预设条件的训练数据。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
生成第二神经网络的记忆数据,所述第二神经网络的记忆数据表示第二神经网络的训练数据中,满足预设条件的训练数据;所述第二神经网络的记忆数据,用于在第二神经网络的基础上进行增量训练的情况下,替换所述优化数据中的第一神经网络的记忆数据。
10.根据权利要求1所述的方法,其特征在于,所述根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络,包括:
构建至少一组神经网络参数;
针对每组神经网络参数,根据优化数据在所述第一神经网络的基础上进行增量训练,得到每组神经网络参数对应的人脸识别神经网络;
根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络。
11.根据权利要求10所述的方法,其特征在于,所述至少一组神经网络参数为两组或两组以上的神经网络参数;
所述根据每组神经网络参数对应的人脸识别神经网络,得到所述第二神经网络,包括:
按照预设评测集对各组神经网络参数对应的人脸识别神经网络进行评测,得到各组神经网络参数对应的人脸识别神经网络的人脸识别精度;
在各组神经网络参数对应的人脸识别神经网络中,选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络。
12.根据权利要求11所述的方法,其特征在于,所述选取人脸识别精度达到设定识别精度的一个人脸识别神经网络作为所述第二神经网络,包括:
在人脸识别精度达到设定识别精度的一个人脸识别神经网络中,选取人脸识别精度最高的人脸识别神经网络作为所述第二神经网络。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第二神经网络部署在预设场景中。
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一特征集合,所述第一特征集合表示基于所述第一神经网络对所述人脸图像进行特征提取得到的特征集合;
获取第二特征集合,所述第二特征集合表示基于所述第二神经网络对所述人脸图像进行特征提取得到的特征集合;
根据所述第一特征集合、所述第二特征集合以及所述第一特征集合与所述第二特征集合之间的对应关系,训练第三神经网络;其中,所述第三神经网络用于将所述第一神经网络提取的特征转换为所述第二神经网络提取的特征。
15.一种人脸识别方法,其特征在于,所述方法包括:
获取待识别图像;
将所述待识别图像输入至第二神经网络,得到所述待识别图像的人脸识别结果,其中,所述第二神经网络是根据权利要求1至14任一项所述的神经网络处理方法得到的。
16.一种神经网络处理装置,其特征在于,所述装置包括:第一获取模块、第二获取模块和处理模块,其中,
第一获取模块,用于获取第一神经网络和人脸图像,所述第一神经网络表示进行人脸识别的神经网络;
第二获取模块,用于获取所述人脸图像中的标注信息;
处理模块,用于根据优化数据,在所述第一神经网络的基础上进行增量训练,得到第二神经网络;所述优化数据至少包括带有所述标注信息的所述人脸图像。
17.一种人脸识别装置,其特征在于,所述装置包括图像获取模块和图像处理模块,其中,
图像获取模块,用于获取待识别图像;
图像处理模块,用于将所述待识别图像输入至第二神经网络,得到所述待识别图像的人脸识别结果,其中,所述第二神经网络是根据权利要求1至14任一项所述的神经网络处理方法得到的。
18.一种电子设备,其特征在于,包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,
所述处理器用于运行所述计算机程序以执行权利要求1至14任一项所述的神经网络处理方法或权利要求15所述的人脸识别方法。
19.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至14任一项所述的神经网络处理方法或权利要求15所述的人脸识别方法。
CN202010698177.9A 2020-07-20 2020-07-20 神经网络处理及人脸识别方法、装置、设备和存储介质 Pending CN111882034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010698177.9A CN111882034A (zh) 2020-07-20 2020-07-20 神经网络处理及人脸识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010698177.9A CN111882034A (zh) 2020-07-20 2020-07-20 神经网络处理及人脸识别方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111882034A true CN111882034A (zh) 2020-11-03

Family

ID=73156180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010698177.9A Pending CN111882034A (zh) 2020-07-20 2020-07-20 神经网络处理及人脸识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111882034A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329617A (zh) * 2020-11-04 2021-02-05 中国科学院自动化研究所 基于单张源域样本的新场景人脸识别模型构建方法、系统
CN112766501A (zh) * 2021-02-26 2021-05-07 上海商汤智能科技有限公司 增量训练方法和相关产品
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229321A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 人脸识别模型及其训练方法和装置、设备、程序和介质
CN108875833A (zh) * 2018-06-22 2018-11-23 北京智能管家科技有限公司 神经网络的训练方法、人脸识别方法及装置
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质
WO2020098074A1 (zh) * 2018-11-12 2020-05-22 平安科技(深圳)有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229321A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 人脸识别模型及其训练方法和装置、设备、程序和介质
CN108875833A (zh) * 2018-06-22 2018-11-23 北京智能管家科技有限公司 神经网络的训练方法、人脸识别方法及装置
WO2020098074A1 (zh) * 2018-11-12 2020-05-22 平安科技(深圳)有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329617A (zh) * 2020-11-04 2021-02-05 中国科学院自动化研究所 基于单张源域样本的新场景人脸识别模型构建方法、系统
CN112329617B (zh) * 2020-11-04 2022-10-21 中国科学院自动化研究所 基于单张源域样本的新场景人脸识别模型构建方法、系统
CN112766501A (zh) * 2021-02-26 2021-05-07 上海商汤智能科技有限公司 增量训练方法和相关产品
CN112766501B (zh) * 2021-02-26 2024-08-13 上海商汤智能科技有限公司 增量训练方法和相关产品
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111882034A (zh) 神经网络处理及人脸识别方法、装置、设备和存储介质
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
CN105808610A (zh) 一种互联网图片过滤方法及装置
CA2781105A1 (en) Automatically mining person models of celebrities for visual search applications
CN112434178B (zh) 图像分类方法、装置、电子设备和存储介质
CN112257801B (zh) 图像的增量聚类方法、装置、电子设备及存储介质
Chandran et al. Missing child identification system using deep learning and multiclass SVM
Lubenko et al. Going from small to large data in steganalysis
CN111090763A (zh) 一种图片自动标签方法及装置
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN111932363A (zh) 授权书的识别审核方法、装置、设备及系统
CN111177469A (zh) 人脸检索方法及人脸检索装置
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN115731422A (zh) 多标签分类模型的训练方法、分类方法及装置
CN110751191A (zh) 一种图像的分类方法及系统
CN112084812A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113936175A (zh) 一种识别视频中的事件的方法及系统
CN115497124A (zh) 身份识别方法和装置及存储介质
CN114842478A (zh) 文本区域的识别方法、装置、设备及存储介质
CN114638304A (zh) 图像识别模型的训练方法、图像识别方法及装置
CN112949456B (zh) 视频特征提取模型训练、视频特征提取方法和装置
CN116205726B (zh) 一种贷款风险预测方法、装置、电子设备及存储介质
CN114842295A (zh) 绝缘子故障检测模型的获得方法、装置及电子设备
CN115587297A (zh) 构建图像识别模型和图像识别的方法、装置、设备及介质
CN117371533B (zh) 一种生成数据标签规则的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201103

RJ01 Rejection of invention patent application after publication