CN111738230A - 一种人脸识别方法、人脸识别装置及电子设备 - Google Patents

一种人脸识别方法、人脸识别装置及电子设备 Download PDF

Info

Publication number
CN111738230A
CN111738230A CN202010776692.4A CN202010776692A CN111738230A CN 111738230 A CN111738230 A CN 111738230A CN 202010776692 A CN202010776692 A CN 202010776692A CN 111738230 A CN111738230 A CN 111738230A
Authority
CN
China
Prior art keywords
face
clear
image
face image
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010776692.4A
Other languages
English (en)
Other versions
CN111738230B (zh
Inventor
王玥
程骏
刘业鹏
曾钰胜
庞建新
熊友军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202010776692.4A priority Critical patent/CN111738230B/zh
Publication of CN111738230A publication Critical patent/CN111738230A/zh
Priority to US17/105,667 priority patent/US11373443B2/en
Application granted granted Critical
Publication of CN111738230B publication Critical patent/CN111738230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸识别方法、装置、电子设备及计算机可读存储介质。其中，该方法包括：将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸，其中，生成对抗网络基于预设的清晰‑模糊人脸图像集合及已训练的特征提取网络训练而得，清晰‑模糊人脸图像集合包括清晰‑模糊人脸图像对；将待识别的清晰人脸输入至特征提取网络，获得待识别的清晰人脸的人脸特征；将待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与该清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；将与目标用户人脸特征相关联的用户确定为识别结果。通过本方案，可提升对模糊人脸的识别准确度。

Description

一种人脸识别方法、人脸识别装置及电子设备
技术领域
本申请属于图像处理技术领域，尤其涉及一种人脸识别方法、人脸识别装置、电子设备及计算机可读存储介质。
背景技术
人脸识别技术目前在安防监控及身份认证等领域有广泛的应用。然而，当前对模糊人脸的识别仍不够成熟。现有的基于生成对抗网络（Generative AdversarialNetworks，GAN）的人脸去模糊方法仅从清晰度和直观感受上提高了模糊人脸的质量，但却忽略了模糊人脸独有的特征信息，这导致对模糊人脸进行识别的识别准确度仍然较低。
发明内容
本申请提供了一种人脸识别方法、人脸识别装置、电子设备及计算机可读存储介质，可提升对模糊人脸进行识别的识别准确度。
第一方面，本申请提供了一种人脸识别方法，包括：
将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸，其中，上述生成对抗网络的训练样本来源于预设的清晰-模糊人脸图像集合，上述清晰-模糊人脸图像集合包括清晰-模糊人脸图像对，所述生成器由关键点检测编码器及解码器构成，所述关键点检测编码器用于检测输入所述生成器的人脸图像的关键点，所述生成对抗网络在训练过程中，所述生成器的输出分别与所述生成对抗网络的判别器的输入及已训练的特征提取网络的输入相连接，且所述生成器的损失与所述关键点检测编码器、所述特征提取网络及所述判别器相关；
将上述待识别的清晰人脸输入至上述特征提取网络，获得上述待识别的清晰人脸的人脸特征；
将上述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与上述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；
将与上述目标用户人脸特征相关联的用户确定为识别结果。
第二方面，本申请提供了一种人脸识别装置，包括：
模糊去除单元，用于将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸，其中，上述生成对抗网络的训练样本来源于预设的清晰-模糊人脸图像集合，上述清晰-模糊人脸图像集合包括清晰-模糊人脸图像对，所述生成器由关键点检测编码器及解码器构成，所述关键点检测编码器用于检测输入所述生成器的人脸图像的关键点，所述生成对抗网络在训练过程中，所述生成器的输出分别与所述生成对抗网络的判别器的输入及已训练的特征提取网络的输入相连接，且所述生成器的损失与所述关键点检测编码器、所述特征提取网络及所述判别器相关；
特征提取单元，用于将上述待识别的清晰人脸输入至上述特征提取网络，获得上述待识别的清晰人脸的人脸特征；
特征匹配单元，用于将上述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与上述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；
结果确定单元，用于将与上述目标用户人脸特征相关联的用户确定为识别结果。
第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
本申请与现有技术相比存在的有益效果是：生成对抗网络基于预设的清晰-模糊人脸图像集合及已训练的特征提取网络训练而得，也即，生成对抗网络在训练过程中就对人脸图像的人脸特征进行关注，使得去模糊的过程及识别的过程可以有机的结合起来。在将训练好的生成对抗网络的生成器投入应用时，可使得生成器基于待识别的模糊人脸所生成的待识别的清晰人脸能够保留人脸所独有的特征信息，并基于此一定程度上提升对该待识别的清晰人脸进行人脸识别的准确度。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的人脸识别方法的实现流程示意图；
图2是本申请实施例提供的生成对抗网络的训练流程示意图；
图3是本申请实施例提供的生成器的工作过程示意图；
图4是本申请实施例提供的生成对抗网络在训练时的工作过程示意图；
图5是本申请实施例提供的清晰-模糊人脸图像集合的构建流程示意图；
图6是本申请实施例提供的构建清晰-模糊人脸图像集合时，人脸图像数量翻倍的示意图；
图7是本申请实施例提供的人脸识别装置的结构框图；
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
下面对本申请实施例提供的一种人脸识别方法进行描述，参见图1，本申请实施例中的人脸识别方法包括：
步骤101，将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸；
在本申请实施例中，电子设备可预先基于预设的清晰-模糊人脸图像集合及已训练的特征提取网络对生成对抗网络进行训练。通常情况下，生成对抗网络由一生成器及一判别器所构成，其中，所述生成器由关键点检测编码器及解码器构成，所述关键点检测编码器用于检测输入所述生成器的人脸图像的关键点。在生成对抗网络的训练过程中，该生成对抗网络会与已训练的特征提取网络相连接，具体表现为：生成器的输出分别与判别器的输入及已训练的特征提取网络的输入相连接；也即，生成器的输出不仅可被输入至判别器进行判别操作，而且还可被输入至特征提取网络进行特征提取操作；判别器的损失仅与自身的判别结果相关，而生成器的损失不仅与判别器的判别结果相关，还与关键点检测编码器的关键点检测结果及特征提取网络的特征提取结果相关。根据判别器的损失及生成器的损失，可使得生成器及判别器不断进行优化；在生成对抗网络训练完成后，仅生成器被投入应用，判别器可被丢弃。也即，本申请实施例中，实际投入应用的只有生成对抗网络的生成器，该生成器可以对输入的待识别的模糊人脸进行去模糊处理，得到保留有人脸特征的待识别的清晰人脸。
在一些实施例中，电子设备可在通过摄像头捕捉到待识别人脸时，先基于预设的质量检测模型对待识别人脸的质量作出检测，以判断该待识别人脸是否模糊；只有在该待识别人脸模糊时，才将该待识别人脸确定为待识别的模糊人脸，并执行步骤101及后续步骤。仅作为示例，该质量检测模型可采用Brenner梯度函数、Tenengrad梯度函数或Laplacian梯度函数等模糊检测算法来判断该待识别人脸是否模糊，此处不作限定。
具体地，该清晰-模糊人脸图像集合为生成对抗网络的训练样本。其中，清晰-模糊人脸图像集合包括若干清晰-模糊人脸图像对，每一清晰-模糊人脸图像对均包含一张清晰人脸图像及一张模糊人脸图像，且该清晰人脸图像及该模糊人脸图像之间的差别仅在模糊程度上。
具体地，特征提取网络用于提取人脸特征，由卷积神经网络（ConvolutionalNeural Networks，CNN)而构成。不同于传统的方向梯度直方图(Histogram ofOrientedGradient，HOG)及尺度不变特征变换（Scale-invariant feature transform，SIFT）等特征提取方法，CNN能够提取得到全局的且不易被人工发现的特征。
示例性地，上述特征提取网络的训练方法为：以清晰人脸图像作为训练样本，其中，该清晰人脸图像所包含的人脸的尺寸为预设尺寸，例如128*128像素；且该清晰人脸图像所包含的人脸的上下范围为下巴至额头顶部，左右范围至少包含双耳。将该特征提取网络视为一分类网络进行训练，其中，每个人为一个独立类别。例如，有3个人1的清晰人脸图像，这三个清晰人脸图像均属于人1这一类别下；又有5个人2的清晰人脸图像，这三个清晰人脸图像均属于人2这一类别下。在训练完成后，去除掉位于最后一层的softmax分类层，保留位于倒数第二层的全连接层；则该全连接层的输出即为特征提取网络所提取到的人脸特征，该人脸特征的表现形式为特征向量。
需要注意的是，特征提取网络所使用的训练样本并非上述清晰-模糊人脸图像集合中组成清晰-模糊人脸图像对的清晰人脸图像，而是由其它渠道所获得的清晰人脸图像；也即，特征提取网络的训练样本与生成对抗网络的训练样本不同。
步骤102，将上述待识别的清晰人脸输入至上述特征提取网络，获得上述待识别的清晰人脸的人脸特征；
在本申请实施例中，生成器所输出的待识别的清晰人脸将被输入至特征提取网络中。也即，在得到已训练的特征提取网络后，该特征提取网络不仅可用于对生成对抗网络进行训练（也即用于生成对抗网络的训练过程），而且可用于提取得到待识别的清晰人脸的人脸特征（也即用于生成对抗网络的应用过程）。
步骤103，将上述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与上述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；
在本申请实施例中，电子设备可预先在本地或云端存储一人脸特征库，该人脸特征库中存储有各个已注册的用户的用户人脸特征。
一般情况下，一个已注册用户在该人脸特征库中仅对应一个用户人脸特征。电子设备可以将该待识别的清晰人脸的人脸特征与人脸特征库中的各个用户人脸特征进行匹配，该匹配的结果可通过相似度进行表示。由此，可得到与待识别的清晰人脸的人脸特征最为匹配，也即相似度最高的用户人脸特征，并可以将该用户人脸特征确定为目标用户人脸特征。
示例性地，上述人脸特征库的构建过程如下：电子设备可先获取各个已注册的用户的用户人脸图像，然后分别将各个用户人脸图像输入至已训练的特征提取网络（也即步骤102中的特征提取网络），得到各个用户的用户人脸特征，并以此构建得到人脸特征库。
示例性地，可通过余弦相似度来表示匹配的结果，则电子设备可以分别计算该待识别的清晰人脸的人脸特征与各个用户人脸特征的余弦相似度，并认为余弦相似度越高时，所表示的匹配度越高。最终计算得到的最高余弦相似度所对应的用户人脸特征即为与待识别的清晰人脸最为匹配的用户人脸特征，该用户人脸特征可被确定为目标用户人脸特征。
可选地，为避免误识别，电子设备还可以预先设定一余弦相似度阈值，例如，该余弦相似度阈值可以被设定为0.75。只有在计算得到的最高余弦相似度大于该余弦相似度阈值时，才认为该最高余弦相似度符合要求，其所对应的用户人脸特征确实能够与待识别的清晰人脸匹配；而在该最高余弦相似度小于或等于该余弦相似度阈值时，认为该最高余弦相似度不符合要求，其对应的用户人脸特征实际上并不与待识别的清晰人脸匹配。例如，假定计算得到的最高余弦相似度为0.2，显然远远低于已设定的余弦相似度阈值0.75，这意味着该待识别的清晰人脸实际上并不是已注册的任一用户的人脸。因而，在计算得到的最高余弦相似度小于或等于上述余弦相似度阈值时，可输出拒识消息，该拒识消息用于指示待识别的模糊人脸为非法用户（也即非已注册的用户）的人脸，可根据具体的应用场景确定后续所要执行的操作。例如，应用场景为员工打卡场景时，可在输出拒识消息后提示指定用户（例如人事部门的用户）是否需要进入用户注册流程；应用场景为安防监控场景时，可在输出拒识消息后触发警报器发出警报铃，用以提示当前可能有非法用户试图闯入，存在一定安全风险。
步骤104，将与上述目标用户人脸特征相关联的用户确定为识别结果。
在本申请实施例中，由于每一用户人脸特征均唯一的关联了一个已注册的用户，因而，可以将与上述目标用户人脸特征相关联的用户确定为识别结果；也即，可识别确认待识别的模糊人脸为该用户的人脸。
需要注意的是，本申请实施例中，在生成对抗网络的训练阶段及应用阶段，所使用的特征提取网络为同一已训练完成的特征提取网络；也即步骤101与步骤102所提及的特征提取网络为同一已训练完成的特征提取网络。
参见图2，图2示出了在执行如图1所示的人脸识别方法之前，基于上述清晰-模糊人脸图像集合中的每对清晰-模糊人脸图像对，对生成对抗网络进行训练的过程，包括：
步骤201，将清晰-模糊人脸图像对中的模糊人脸图像输入至待训练的生成对抗网络的生成器，得到上述模糊人脸图像的关键点及清晰人脸生成图像；
在本申请实施例中，生成器中的关键点检测编码器具体为一人脸关键点检测网络，可用于检测输入的人脸图像的68个关键点。
对于该人脸关键点检测网络，可提前使用清晰人脸图像以及各个清晰人脸图像的关键点真值来单独进行预训练。其中，训练该人脸关键点检测网络时所采用的清晰人脸图像所包含的人脸的尺寸为预设尺寸，例如128*128像素；且该清晰人脸图像所包含的人脸的上下范围为下巴至额头顶部，左右范围至少包含双耳。需要注意的是，人脸关键点检测网络所使用的训练样本并非上述清晰-模糊人脸图像集合中的清晰人脸图像，而是由其它渠道所获得的清晰人脸图像；也即，人脸关键点检测网络的训练样本与生成对抗网络的训练样本不同。在对人脸关键点检测网络预训练完成后，保留该人脸关键点检测网络的参数，得到初始的关键点检测编码器，并开始进行生成对抗网络的训练。也即，可将预训练完成后的人脸关键点检测网络作为生成对抗网络开始训练时的关键点检测编码器。
为便于说明，可记输入至该关键点检测编码器的人脸图像为x，则该关键点检测编码器基于x所得到的输出可记为Gl(x)，该输出为一个batchsize×1×128×128的矩阵。在该矩阵中，检测到的关键点所对应的位置值为1，其余位置值为0。
在得到关键点检测编码器基于模糊人脸图像而获得的输出后，将该输出与对应的模糊人脸图像进行合并；也即，将模糊人脸图像及该模糊人脸图像的关键点进行合并，合并的结果将被输入至解码器中。解码器可对合并的结果进行解码操作，该解码器的输出即为与输入至生成器的模糊人脸图像相对应的清晰人脸图像。由于该清晰人脸图像是由生成器所生成的，因而，为了区别于清晰-模糊人脸图像对中该模糊人脸图像所对应的清晰人脸图像，本申请实施例将生成器基于该模糊人脸图像所生成的清晰人脸图像称为清晰人脸生成图像G(x)。参见图3，图3示出了生成器基于一模糊人脸图像x得到对应的清晰人脸生成图像G(x)的工作过程。
示例性地，在训练时，batchsize的取值为1；也即，每次输入至生成器的人脸图像的数量为1。示例性地，模糊人脸图像x可以为一个1×3×128×128的矩阵，其中，3用于表示模糊人脸图像的RGB三通道，128×128用于表示模糊人脸图像x的尺寸；对应的，关键点检测编码器所输出的模糊人脸图像的关键点Gl(x）为一个1×1×128×128的矩阵；二者合并的结果为一个1×4×128×128的矩阵，该矩阵将被输入至解码器中进行解码，得到解码器的输出结果G(x)。
步骤202，将上述清晰人脸生成图像及上述模糊人脸图像所对应的清晰人脸图像分别输入至待训练的生成对抗网络的判别器，得到上述判别器的判别结果；
在本申请实施例中，判别器实际执行的是分类任务：分辨所输入的清晰人脸图像是真实的清晰人脸图像（也即存储于清晰-模糊人脸图像集合中的清晰人脸图像）还是由生成器所生成的清晰人脸图像（也即清晰人脸生成图像）。基于此，生成对抗网络的判别器在训练时的输入数据为：生成器基于一模糊人脸图像所输出的清晰人脸生成图像，以及该模糊人脸图像在清晰-模糊人脸图像集合中所对应的清晰人脸图像。
步骤203，根据上述判别结果，计算上述判别器的损失；
在本申请实施例中，判别器在输出判别结果后，可根据该判别结果计算判别器的损失，其中，生成器基于一模糊人脸图像所输出的清晰人脸生成图像的真值为0，该模糊人脸图像在清晰-模糊人脸图像集合中所对应的清晰人脸图像的真值为1。上述判别器的损失实际为其所执行的分类任务的交叉熵，可将该判别器的损失记为LD。
步骤204，将上述清晰人脸生成图像输入至上述特征提取网络，得到上述清晰人脸生成图像的特征提取结果；
在本申请实施例中，清晰人脸生成图像除了被输入至判别器之外，还会被输入至已训练的特征提取网络中，该特征提取网络即为步骤102所示出的特征提取网络。通过该特征提取网络，可得到上述清晰人脸生成图像的特征提取结果。需要注意的是，本申请实施例不对步骤204与步骤202的执行顺序作出限定。
步骤205，将上述清晰人脸图像分别输入至上述生成器及上述特征提取网络，得到上述清晰人脸图像的关键点及上述清晰人脸图像的特征提取结果；
在本申请实施例中，上述模糊人脸图像所对应的清晰人脸图像（也即真实的清晰人脸图像）除了被输入至判别器之外，还会被输入至生成器及特征提取网络中。相应地，可得到生成器的关键点检测编码器输出的该清晰人脸图像的关键点，以及特征提取网络输出的该清晰人脸图像的特征提取结果。需要注意的是，本申请实施例不对步骤205与步骤201的执行顺序作出限定。
步骤206，根据上述模糊人脸图像的关键点、上述清晰人脸图像的关键点、上述清晰人脸生成图像的特征提取结果、上述清晰人脸图像的特征提取结果及上述判别结果，计算上述生成器的损失；
在本申请实施例中，模糊人脸图像的关键点及对应的清晰人脸图像的关键点可用于计算关键点检测编码器的损失LLandmark，其计算过程具体为：计算模糊人脸图像的每个关键点与清晰人脸图像的对应关键点之间的平均距离，将该平均距离作为损失LLandmark。也即LLandmark=(D1-1’+D2-2’+……+D68-68’)÷68，其中，Di-i’指的是模糊人脸图像的第i个关键点与对应的清晰人脸图像的第i个关键点之间的距离，i=1，2，3，……，68。
考虑到清晰人脸生成图像为基于一模糊人脸图像所生成的图像，而清晰人脸图像为与该模糊人脸图像所对应的真实的图像，因而，该清晰人脸生成图像的特征提取结果及该清晰人脸图像的特征提取结果可用于计算这两个图像的特征之间的损失LFeature，其计算过程具体为：基于特征提取网络的平方损失函数（L2 loss）计算得到清晰人脸生成图像的特征提取结果与上述清晰人脸图像的特征提取结果之间的特征损失值，将该特征损失值作为损失LFeature。
判别结果可用于计算判别器的交叉熵，得到判别器的损失LD。
最终，生成器的损失LG可以表达为：
LG=LD +αLFeature+βLLandmark
其中，α和β均为超参数。
步骤207，根据上述判别器的损失对上述判别器进行优化，并根据上述生成器的损失对上述生成器进行优化，直至上述生成器的损失达到收敛时，得到已训练的生成对抗网络。
在本申请实施例中，可根据判别器的损失对该判别器进行优化；同时，根据生成器的损失对生成器进行优化，具体为优化生成器的关键点检测编码器。训练完成的标志为LG达到收敛；也即，当计算得到的LG小于预设的损失阈值时，认为该生成对抗网络的训练已完成，可结束训练，并将此时的生成器投入到应用中，可以开始执行步骤101及后续步骤。
需要注意的是，在对生成对抗网进行训练之前，可设置一最大训练轮次。本申请实施例中，初始的训练轮次epoch为0；当基于上述清晰-模糊人脸图像集合中的所有清晰-模糊人脸图像完成一轮训练时，将训练轮次epoch加1；当训练轮次epoch达到最大训练轮次时；或者，当训练轮次epoch未达到最大训练轮次，但LG已经小于预设的损失阈值时，结束训练。
参见图4，图4给出了生成对抗网络在训练时的工作过程的示意。下面结合一对清晰-模糊人脸图像对，对该工作过程作出介绍：
记该清晰-模糊人脸图像对中的清晰人脸图像为c，模糊人脸图像为b。图4中虚线所示均为与清晰人脸图像c相关联的操作。
首先，电子设备可分别将该清晰人脸图像c及模糊人脸图像b输入至生成器的关键点检测编码器中，得到关键点检测编码器基于清晰人脸图像c所输出的Gl(c)，以及基于模糊人脸图像b所输出的Gl(b)；并可计算得到Gl(c)与Gl(b)相对应的关键点之间的平均距离LLandmark。
然后，电子设备将模糊人脸图像b与Gl(b)进行合并后输入至解码器，得到解码器所输出的清晰人脸生成图像G(b)；将该清晰人脸生成图像G(b)及清晰人脸图像c分别输入至判别器中，可根据判别器的判别结果计算得到判别器的分类任务的交叉熵LD。电子设备可根据该LD，对判别器进行优化。
并且，电子设备还将该清晰人脸生成图像G(b)及清晰人脸图像c分别输入至已训练的特征提取网络，得到该特征提取网络所输出的清晰人脸生成图像G(b)的人脸特征Ef(G(b))，以及清晰人脸图像c的人脸特征Ef(c)，并以此计算得到LFeature，其中，LFeature为Ef(G(b))及Ef(c)的L2 loss。
最后，根据公式LG=LD +αLFeature+βLLandmark，计算得到生成器的损失LG。电子设备可根据该LG，对生成器进行优化。
需要注意的是，对清晰-模糊人脸图像集合中的每对清晰-模糊人脸图像对，均以上述过程对生成对抗网络进行训练，以此实现对生成器及判别器的不断优化，直至训练完成。
参见图5，图5示出了在对生成对抗网络进行训练之前，清晰-模糊人脸图像集合的构建过程，包括：
步骤501，获取包含清晰人脸的样本图像；
在本申请实施例中，考虑到模糊图像较难采集，且本申请实施例中需要获得与模糊图像相对应的清晰图像；也即，一清晰-模糊图像对中的两张图像的差别仅是模糊程度，这难以直接通过采集来实现。因而，此处采用基于清晰图像生成的方式获得模糊图像。电子设备可首先获取大量由不同设备所采集的包含清晰人脸的样本图像，且这些样本图像的尺寸可以不同。
步骤502，基于上述清晰人脸对上述样本图像进行裁剪，得到第一人脸图像，其中，上述第一人脸图像的尺寸大于预设尺寸；
在本申请实施例中，对样本图像进行裁剪，具体为裁剪出样本图像所包含的清晰人脸，该清晰人脸具体指的是上下范围为下巴至额头顶部，左右范围至少包含双耳的人脸所在区域，该区域通常为一正方形。在裁剪完成后，电子设备可对裁剪后所保留的人脸图像的尺寸进行检测，将尺寸小于或等于预设尺寸的人脸图像剔除，剔除完成后所保留的人脸图像可记作第一人脸图像。仅作为示例，上述预设尺寸可以是128*128像素。
步骤503，基于预设的插值算法缩小上述第一人脸图像，得到第二人脸图像，其中，上述第二人脸图像的尺寸等于预设尺寸；
在本申请实施例中，电子设备可使用OpenCV的resize函数，基于预设的插值算法对各个第一人脸图像进行缩小处理。需要注意的是，为了丰富数据，此处可以采用多种插值算法分别对各个第一人脸图像进行缩小处理。例如，可采用最近邻插值、双线性插值、使用像素区域关系进行重采样、4x4像素邻域的双三次插值及8x8像素邻域的Lanczos插值这五种算法分别对每个第一人脸图像进行缩小处理；也即，一张第一人脸图像可分别被处理五次，得到对应的五个第二人脸图像，实现人脸图像数量的翻倍。需要注意的是，本步骤所得到的各个第二人脸图像的尺寸均等于预设尺寸。
步骤504，基于上述插值算法缩小上述第二人脸图像，得到第三人脸图像，其中，上述第三人脸图像的尺寸小于预设尺寸；
在本申请实施例中，电子设备可继续使用OpenCV的resize函数，基于预设的插值算法对各个第二人脸图像进行缩小处理。需要注意的是，为了丰富数据，此处可以采用多种插值算法分别对各个第二人脸图像进行缩小处理；并且，可多次对同一第二人脸图像应用一个插值算法，以使得一个第二人脸图像可基于一种插值算法得到不同尺寸（也即不同缩小倍数）的多张第三人脸图像。例如，可采用最近邻插值、双线性插值、使用像素区域关系进行重采样、4x4像素邻域的双三次插值及8x8像素邻域的Lanczos插值这五种算法分别对每个第二人脸图像进行缩小处理，且每一插值算法均可对应缩小3、4、6及8倍，得到43*43像素、32*32像素、21*21像素及16*16像素的第三人脸图像。也即，一张第二人脸图像可分别被五种插值算法进行缩小处理，且每一插值算法在处理时，可输出对应的4个不同尺寸的第三人脸图像。这样一来，通过本步骤，一张第二人脸图像可对应得到二十张第三人脸图像，实现图像数量的翻倍。需要注意的是，本步骤所得到的各个第三人脸图像的尺寸均小于预设尺寸。
步骤505，基于上述插值算法放大上述第三人脸图像，得到第四人脸图像，其中，上述第四人脸图像的尺寸等于预设尺寸；
在本申请实施例中，电子设备可继续使用OpenCV的resize函数，基于预设的插值算法对各个第三人脸图像进行放大处理。需要注意的是，为了丰富数据，此处可以采用多种插值算法分别对每个第三人脸图像进行放大处理。例如，可采用最近邻插值、双线性插值、使用像素区域关系进行重采样、4x4像素邻域的双三次插值及8x8像素邻域的Lanczos插值这五种算法分别对每个第三人脸图像进行放大处理；也即，一张第三人脸图像可分别被处理五次，得到对应的五个第四人脸图像，实现图像数量的翻倍。需要注意的是，本步骤所得到的各个第四人脸图像的尺寸均等于预设尺寸。
步骤506，根据上述第二人脸图像及上述第四人脸图像组成清晰-模糊人脸图像对，以构建上述清晰-模糊人脸图像集合。
在本申请实施例中，第二人脸图像为预设尺寸的清晰的人脸图像，而第四人脸图像为预设尺寸的模糊的人脸图像。一个第二人脸图像在经过步骤504后，可对应得到二十个第三人脸图像；每个第三人脸图像在经过步骤505后，又可对应得到五个第四人脸图像；那么一个第二人脸图像可最终得到对应的一百（也即20*5）个第四人脸图像。也即，每个第二人脸图像均可分别与对应的一百个第四人脸图像组成一百对清晰-模糊人脸图像对，以此实现对清晰-模糊人脸图像集合的构建。
参见图6，图6给出了基于上述步骤501-506的人脸图像数量翻倍的示意图。限于篇幅，未全部示出。可见，通过上述步骤501-506，可快速获得能够训练生成对抗网络的大量训练样本，以此构建得到清晰-模糊人脸图像集合。其中，第一人脸图像变换为第二人脸图像，数量翻倍的倍数为5；第二人脸图像变换为第三人脸图像，数量翻倍的倍数为20；第三人脸图像变换为第四人脸图像，数量翻倍的倍数仍为5。也即，对于一张包含清晰人脸的样本图像，最终可获得500个第四人脸图像，也即500对清晰-模糊人脸图像对。
需要注意的是，上述过程中所采用的预设的插值算法不局限于最近邻插值、双线性插值、使用像素区域关系进行重采样、4x4像素邻域的双三次插值及8x8像素邻域的Lanczos插值这五种，电子设备可根据需求选定其它插值算法进行人脸图像的尺寸缩放处理；当然，电子设备也可以采用数量更少或数量更多的插值算法进行人脸图像的尺寸缩放处理，此处不作限定。
由上可见，通过本申请实施例，生成对抗网络在训练过程中就对模糊人脸图像的人脸特征进行关注，使得去模糊的过程及识别的过程可以有机的结合起来。在将训练好的生成对抗网络的生成器投入应用时，可使得生成器基于待识别的模糊人脸所生成的待识别的清晰人脸能够保留人脸所独有的特征信息，可一定程度上提升对该待识别的清晰人脸进行人脸识别的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文所提供的人脸识别方法，本申请实施例还提供了一种人脸识别装置，上述人脸识别装置可集成于电子设备中，参见图7，本申请实施例中的人脸识别装置700包括：
模糊去除单元701，用于将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸，其中，上述生成对抗网络的训练样本来源于预设的清晰-模糊人脸图像集合，上述清晰-模糊人脸图像集合包括清晰-模糊人脸图像对，所述生成器由关键点检测编码器及解码器构成，所述关键点检测编码器用于检测输入所述生成器的人脸图像的关键点，所述生成对抗网络在训练过程中，所述生成器的输出分别与所述生成对抗网络的判别器的输入及已训练的特征提取网络的输入相连接，且所述生成器的损失与所述关键点检测编码器、所述特征提取网络及所述判别器相关；
特征提取单元702，用于将上述待识别的清晰人脸输入至上述特征提取网络，获得上述待识别的清晰人脸的人脸特征；
特征匹配单元703，用于将上述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与上述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；
结果确定单元704，用于将与上述目标用户人脸特征相关联的用户确定为识别结果。
可选地，上述人脸识别装置700还包括：
第一获取单元，用于针对上述清晰-模糊人脸图像集合中的每对清晰-模糊人脸图像对，将上述清晰-模糊人脸图像对中的模糊人脸图像输入至待训练的生成对抗网络的生成器，得到上述模糊人脸图像的关键点及清晰人脸生成图像；
第二获取单元，用于将上述清晰人脸生成图像及上述模糊人脸图像所对应的清晰人脸图像分别输入至待训练的生成对抗网络的判别器，得到上述判别器的判别结果；
第三获取单元，用于将上述清晰人脸生成图像输入至上述特征提取网络，得到上述清晰人脸生成图像的特征提取结果；
第四获取单元，用于将上述清晰人脸图像分别输入至上述生成器及上述特征提取网络，得到上述清晰人脸图像的关键点及上述清晰人脸图像的特征提取结果；
判别器损失计算单元，用于根据上述判别结果，计算上述判别器的损失；
生成器损失计算单元，用于根据上述模糊人脸图像的关键点、上述清晰人脸图像的关键点、上述清晰人脸生成图像的特征提取结果、上述清晰人脸图像的特征提取结果及上述判别结果，计算上述生成器的损失；
优化单元，用于根据上述判别器的损失对上述判别器进行优化，并根据上述生成器的损失对上述生成器进行优化，直至上述生成器的损失达到收敛时，得到已训练的生成对抗网络。
可选地，上述生成器损失计算单元，包括：
第一计算子单元，用于计算上述模糊人脸图像的每个关键点与上述清晰人脸图像的对应关键点之间的平均距离；
第二计算子单元，用于根据上述特征提取网络的损失函数，计算上述清晰人脸生成图像的特征提取结果与上述清晰人脸图像的特征提取结果之间的特征损失值；
第三计算子单元，用于根据上述判别结果，计算上述判别器的交叉熵；
第四计算子单元，用于根据上述平均距离、上述特征损失值及上述交叉熵，计算上述生成器的损失。
可选地，上述人脸识别装置700还包括：
样本图像获取单元，用于获取包含清晰人脸的样本图像；
样本图像裁剪单元，用于基于上述清晰人脸对上述样本图像进行裁剪，得到第一人脸图像，其中，上述第一人脸图像的尺寸大于预设尺寸；
第一图像缩小单元，用于基于预设的插值算法缩小上述第一人脸图像，得到第二人脸图像，其中，上述第二人脸图像的尺寸等于预设尺寸；
第二图像缩小单元，用于基于上述插值算法缩小上述第二人脸图像，得到第三人脸图像，其中，上述第三人脸图像的尺寸小于预设尺寸；
图像放大单元，用于基于上述插值算法放大上述第三人脸图像，得到第四人脸图像，其中，上述第四人脸图像的尺寸等于预设尺寸；
图像对组建单元，用于根据上述第二人脸图像及上述第四人脸图像组成清晰-模糊人脸图像对，以构建上述清晰-模糊人脸图像集合。
可选地，上述人脸识别装置700还包括：
用户人脸图像获取单元，用于获取各个用户的用户人脸图像；
用户人脸特征提取单元，用于分别将各个用户人脸图像输入至上述特征提取网络，得到各个用户的用户人脸特征，以构建上述人脸特征库。
可选地，上述特征匹配单元703，包括：
余弦相似度计算子单元，用于分别计算上述待识别的清晰人脸的人脸特征与各个用户人脸特征的余弦相似度；
目标用户人脸特征确定子单元，用于将计算得到的最高余弦相似度所对应的用户人脸特征确定为上述目标用户人脸特征。
可选地，上述目标用户人脸特征确定子单元，具体用于将上述最高余弦相似度与预设的余弦相似度阈值进行比对，若上述最高余弦相似度大于上述余弦相似度阈值，则将上述最高余弦相似度所对应的用户人脸特征确定为上述目标用户人脸特征。
由上可见，通过本申请实施例，生成对抗网络在训练过程中就对模糊人脸图像的人脸特征进行关注，使得去模糊的过程及识别的过程可以有机的结合起来。在将训练好的生成对抗网络的生成器投入应用时，可使得生成器基于待识别的模糊人脸所生成的待识别的清晰人脸能够保留人脸所独有的特征信息，可一定程度上提升对该待识别的清晰人脸进行人脸识别的准确度。
对应于上文所提供的人脸识别方法，本申请实施例还提供了一种电子设备，参见图8，本申请实施例中的电子设备8包括：存储器801，一个或多个处理器802（图8中仅示出一个）及存储在存储器801上并可在处理器上运行的计算机程序。其中：存储器801用于存储软件程序以及模块，处理器802通过运行存储在存储器801的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器802通过运行存储在存储器801的上述计算机程序时实现以下步骤：
将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸，其中，上述生成对抗网络的训练样本来源于预设的清晰-模糊人脸图像集合，上述清晰-模糊人脸图像集合包括清晰-模糊人脸图像对，所述生成器由关键点检测编码器及解码器构成，所述关键点检测编码器用于检测输入所述生成器的人脸图像的关键点，所述生成对抗网络在训练过程中，所述生成器的输出分别与所述生成对抗网络的判别器的输入及已训练的特征提取网络的输入相连接，且所述生成器的损失与所述关键点检测编码器、所述特征提取网络及所述判别器相关；
将上述待识别的清晰人脸输入至上述特征提取网络，获得上述待识别的清晰人脸的人脸特征；
将上述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与上述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；
将与上述目标用户人脸特征相关联的用户确定为识别结果。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，在上述将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸之前，处理器802通过运行存储在存储器801的上述计算机程序时还实现以下步骤：
针对上述清晰-模糊人脸图像集合中的每对清晰-模糊人脸图像对，将上述清晰-模糊人脸图像对中的模糊人脸图像输入至待训练的生成对抗网络的生成器，得到上述模糊人脸图像的关键点及清晰人脸生成图像；
将上述清晰人脸生成图像及上述模糊人脸图像所对应的清晰人脸图像分别输入至待训练的生成对抗网络的判别器，得到上述判别器的判别结果；
将上述清晰人脸生成图像输入至上述特征提取网络，得到上述清晰人脸生成图像的特征提取结果；
将上述清晰人脸图像分别输入至上述生成器及上述特征提取网络，得到上述清晰人脸图像的关键点及上述清晰人脸图像的特征提取结果；
根据上述判别结果，计算上述判别器的损失；
根据上述模糊人脸图像的关键点、上述清晰人脸图像的关键点、上述清晰人脸生成图像的特征提取结果、上述清晰人脸图像的特征提取结果及上述判别结果，计算上述生成器的损失；
根据上述判别器的损失对上述判别器进行优化，并根据上述生成器的损失对上述生成器进行优化，直至上述生成器的损失达到收敛时，得到已训练的生成对抗网络。
在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述根据上述模糊人脸图像的关键点、上述清晰人脸图像的关键点、上述清晰人脸生成图像的特征提取结果、上述清晰人脸图像的特征提取结果及上述判别结果，计算上述生成器的损失，包括：
计算上述模糊人脸图像的每个关键点与上述清晰人脸图像的对应关键点之间的平均距离；
根据上述特征提取网络的损失函数，计算上述清晰人脸生成图像的特征提取结果与上述清晰人脸图像的特征提取结果之间的特征损失值；
根据上述判别结果，计算上述判别器的交叉熵；
根据上述平均距离、上述特征损失值及上述交叉熵，计算上述生成器的损失。
在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中，在上述将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸之前，处理器802通过运行存储在存储器801的上述计算机程序时还实现以下步骤：
获取包含清晰人脸的样本图像；
基于上述清晰人脸对上述样本图像进行裁剪，得到第一人脸图像，其中，上述第一人脸图像的尺寸大于预设尺寸；
基于预设的插值算法缩小上述第一人脸图像，得到第二人脸图像，其中，上述第二人脸图像的尺寸等于预设尺寸；
基于上述插值算法缩小上述第二人脸图像，得到第三人脸图像，其中，上述第三人脸图像的尺寸小于预设尺寸；
基于上述插值算法放大上述第三人脸图像，得到第四人脸图像，其中，上述第四人脸图像的尺寸等于预设尺寸；
根据上述第二人脸图像及上述第四人脸图像组成清晰-模糊人脸图像对，以构建上述清晰-模糊人脸图像集合。
在上述第一种可能的实施方式作为基础而提供的第五种可能的实施方式中，在上述将上述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配之前，处理器802通过运行存储在存储器801的上述计算机程序时还实现以下步骤：
获取各个用户的用户人脸图像；
分别将各个用户人脸图像输入至上述特征提取网络，得到各个用户的用户人脸特征，以构建上述人脸特征库。
在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础，或者上述第五种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述将上述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与上述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征，包括：
分别计算上述待识别的清晰人脸的人脸特征与各个用户人脸特征的余弦相似度；
将计算得到的最高余弦相似度所对应的用户人脸特征确定为上述目标用户人脸特征。
在上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中，上述将计算得到的最高余弦相似度所对应的用户人脸特征确定为上述目标用户人脸特征，包括：
将上述最高余弦相似度与预设的余弦相似度阈值进行比对；
若上述最高余弦相似度大于上述余弦相似度阈值，则将上述最高余弦相似度所对应的用户人脸特征确定为上述目标用户人脸特征。
应当理解，在本申请实施例中，所称处理器802可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DigitalSignal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器801可以包括只读存储器和随机存取存储器，并向处理器802 提供指令和数据。存储器801的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器801还可以存储设备类型的信息。
由上可见，通过本申请实施例，生成对抗网络在训练过程中就对模糊人脸图像的人脸特征进行关注，使得去模糊的过程及识别的过程可以有机的结合起来。在将训练好的生成对抗网络的生成器投入应用时，可使得生成器基于待识别的模糊人脸所生成的待识别的清晰人脸能够保留人脸所独有的特征信息，可一定程度上提升对该待识别的清晰人脸进行人脸识别的准确度。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸，其中，所述生成对抗网络的训练样本来源于预设的清晰-模糊人脸图像集合，所述清晰-模糊人脸图像集合包括清晰-模糊人脸图像对，所述生成器由关键点检测编码器及解码器构成，所述关键点检测编码器用于检测输入所述生成器的人脸图像的关键点，所述生成对抗网络在训练过程中，所述生成器的输出分别与所述生成对抗网络的判别器的输入及已训练的特征提取网络的输入相连接，且所述生成器的损失与所述关键点检测编码器、所述特征提取网络及所述判别器相关；
将所述待识别的清晰人脸输入至所述特征提取网络，获得所述待识别的清晰人脸的人脸特征；
将所述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与所述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；
将与所述目标用户人脸特征相关联的用户确定为识别结果。
2.如权利要求1所述的人脸识别方法，其特征在于，在所述将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸之前，所述人脸识别方法还包括：
针对所述清晰-模糊人脸图像集合中的每对清晰-模糊人脸图像对，将所述清晰-模糊人脸图像对中的模糊人脸图像输入至待训练的生成对抗网络的生成器，得到所述模糊人脸图像的关键点及清晰人脸生成图像；
将所述清晰人脸生成图像及所述模糊人脸图像所对应的清晰人脸图像分别输入至待训练的生成对抗网络的判别器，得到所述判别器的判别结果；
根据所述判别结果，计算所述判别器的损失；
将所述清晰人脸生成图像输入至所述特征提取网络，得到所述清晰人脸生成图像的特征提取结果；
将所述清晰人脸图像分别输入至所述生成器及所述特征提取网络，得到所述清晰人脸图像的关键点及所述清晰人脸图像的特征提取结果；
根据所述模糊人脸图像的关键点、所述清晰人脸图像的关键点、所述清晰人脸生成图像的特征提取结果、所述清晰人脸图像的特征提取结果及所述判别结果，计算所述生成器的损失；
根据所述判别器的损失对所述判别器进行优化，并根据所述生成器的损失对所述生成器进行优化，直至所述生成器的损失达到收敛时，得到已训练的生成对抗网络。
3.如权利要求2所述的人脸识别方法，其特征在于，所述根据所述模糊人脸图像的关键点、所述清晰人脸图像的关键点、所述清晰人脸生成图像的特征提取结果、所述清晰人脸图像的特征提取结果及所述判别结果，计算所述生成器的损失，包括：
计算所述模糊人脸图像的每个关键点与所述清晰人脸图像的对应关键点之间的平均距离；
根据所述特征提取网络的损失函数，计算所述清晰人脸生成图像的特征提取结果与所述清晰人脸图像的特征提取结果之间的特征损失值；
根据所述判别结果，计算所述判别器的交叉熵；
根据所述平均距离、所述特征损失值及所述交叉熵，计算所述生成器的损失。
4.如权利要求1所述的人脸识别方法，其特征在于，在所述将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸之前，所述人脸识别方法还包括：
获取包含清晰人脸的样本图像；
基于所述清晰人脸对所述样本图像进行裁剪，得到第一人脸图像，其中，所述第一人脸图像的尺寸大于预设尺寸；
基于预设的插值算法缩小所述第一人脸图像，得到第二人脸图像，其中，所述第二人脸图像的尺寸等于预设尺寸；
基于所述插值算法缩小所述第二人脸图像，得到第三人脸图像，其中，所述第三人脸图像的尺寸小于预设尺寸；
基于所述插值算法放大所述第三人脸图像，得到第四人脸图像，其中，所述第四人脸图像的尺寸等于预设尺寸；
根据所述第二人脸图像及所述第四人脸图像组成清晰-模糊人脸图像对，以构建所述清晰-模糊人脸图像集合。
5.如权利要求1所述的人脸识别方法，其特征在于，在所述将所述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配之前，所述人脸识别方法还包括：
获取各个用户的用户人脸图像；
分别将各个用户人脸图像输入至所述特征提取网络，得到各个用户的用户人脸特征，以构建所述人脸特征库。
6.如权利要求1至5任一项所述的人脸识别方法，其特征在于，所述将所述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与所述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征，包括：
分别计算所述待识别的清晰人脸的人脸特征与各个用户人脸特征的余弦相似度；
将计算得到的最高余弦相似度所对应的用户人脸特征确定为所述目标用户人脸特征。
7.如权利要求6所述的人脸识别方法，其特征在于，所述将计算得到的最高余弦相似度所对应的用户人脸特征确定为所述目标用户人脸特征，包括：
将所述最高余弦相似度与预设的余弦相似度阈值进行比对；
若所述最高余弦相似度大于所述余弦相似度阈值，则将所述最高余弦相似度所对应的用户人脸特征确定为所述目标用户人脸特征。
8.一种人脸识别装置，其特征在于，包括：
模糊去除单元，用于将待识别的模糊人脸输入至已训练的生成对抗网络的生成器中，得到待识别的清晰人脸，其中，所述生成对抗网络的训练样本来源于预设的清晰-模糊人脸图像集合，所述清晰-模糊人脸图像集合包括清晰-模糊人脸图像对，所述生成器由关键点检测编码器及解码器构成，所述关键点检测编码器用于检测输入所述生成器的人脸图像的关键点，所述生成对抗网络在训练过程中，所述生成器的输出分别与所述生成对抗网络的判别器的输入及已训练的特征提取网络的输入相连接，且所述生成器的损失与所述关键点检测编码器、所述特征提取网络及所述判别器相关；
特征提取单元，用于将所述待识别的清晰人脸输入至所述特征提取网络，获得所述待识别的清晰人脸的人脸特征；
特征匹配单元，用于将所述待识别的清晰人脸的人脸特征与预设的人脸特征库中的各个用户人脸特征进行匹配，以将与所述待识别的清晰人脸的人脸特征最为匹配的用户人脸特征确定为目标用户人脸特征；
结果确定单元，用于将与所述目标用户人脸特征相关联的用户确定为识别结果。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202010776692.4A 2020-08-05 2020-08-05 一种人脸识别方法、人脸识别装置及电子设备 Active CN111738230B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010776692.4A CN111738230B (zh) 2020-08-05 2020-08-05 一种人脸识别方法、人脸识别装置及电子设备
US17/105,667 US11373443B2 (en) 2020-08-05 2020-11-27 Method and appratus for face recognition and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010776692.4A CN111738230B (zh) 2020-08-05 2020-08-05 一种人脸识别方法、人脸识别装置及电子设备

Publications (2)

Publication Number Publication Date
CN111738230A true CN111738230A (zh) 2020-10-02
CN111738230B CN111738230B (zh) 2020-12-15

Family

ID=72657978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010776692.4A Active CN111738230B (zh) 2020-08-05 2020-08-05 一种人脸识别方法、人脸识别装置及电子设备

Country Status (2)

Country Link
US (1) US11373443B2 (zh)
CN (1) CN111738230B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435179A (zh) * 2020-11-11 2021-03-02 北京工业大学 模糊花粉颗粒图片处理方法、装置和电子设备
US11064119B2 (en) 2017-10-03 2021-07-13 Google Llc Video stabilization
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113420665A (zh) * 2021-06-23 2021-09-21 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN113470027A (zh) * 2021-09-03 2021-10-01 广东电网有限责任公司惠州供电局 基于生成对抗的绝缘护套识别方法、装置、系统及介质
CN113673357A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 停车场寻车方法、设备及存储介质
US11227146B2 (en) 2018-05-04 2022-01-18 Google Llc Stabilizing video by accounting for a location of a feature in a stabilized view of a frame
CN114648672A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 构建样本图像集的方法、装置、电子设备及可读存储介质
CN114648724A (zh) * 2022-05-18 2022-06-21 成都航空职业技术学院 一种基于生成对抗网络的轻量化高效目标分割与计数方法
US11687635B2 (en) 2019-09-25 2023-06-27 Google PLLC Automatic exposure and gain control for face authentication

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112085701A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
TWI802906B (zh) * 2021-01-28 2023-05-21 旺宏電子股份有限公司 資料識別裝置及辨識方法
CN115311655B (zh) * 2022-09-23 2023-04-18 北京智源人工智能研究院 一种基于多特征融合的食物识别系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110738161A (zh) * 2019-10-12 2020-01-31 电子科技大学 一种基于改进生成式对抗网络的人脸图像矫正方法
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111476749A (zh) * 2020-04-03 2020-07-31 陕西师范大学 基于人脸关键点引导式生成对抗网络的人脸修复方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056000A1 (en) * 2017-09-18 2019-03-21 Board Of Trustees Of Michigan State University GENERATIVE ANTAGONIST NETWORK WITH DISSOCATED REPRESENTATION LEARNING FOR INDEPENDENT POSTURE FACIAL RECOGNITION
EP3945498A1 (en) * 2020-07-30 2022-02-02 Tata Consultancy Services Limited Audio-speech driven animated talking face generation using a cascaded generative adversarial network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN110084121A (zh) * 2019-03-27 2019-08-02 南京邮电大学 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110738161A (zh) * 2019-10-12 2020-01-31 电子科技大学 一种基于改进生成式对抗网络的人脸图像矫正方法
CN111368685A (zh) * 2020-02-27 2020-07-03 北京字节跳动网络技术有限公司 关键点的识别方法、装置、可读介质和电子设备
CN111460939A (zh) * 2020-03-20 2020-07-28 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、系统和一种巡检机器人
CN111476749A (zh) * 2020-04-03 2020-07-31 陕西师范大学 基于人脸关键点引导式生成对抗网络的人脸修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADRIAN BULAT ET AL: "Super-FAN:Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs", 《ARXIV:1712.02765V2 [CS.CV]》 *
刘嘉佩 等: "双层级联神经网络的人脸超分辨率重建", 《计算机工程与应用. HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2127.TP.20190918.1107.011.HTML》 *
王欢 等: "联合多任务学习的人脸超分辨率重建", 《中国图象图形学报》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11683586B2 (en) 2017-10-03 2023-06-20 Google Llc Video stabilization
US11064119B2 (en) 2017-10-03 2021-07-13 Google Llc Video stabilization
US11227146B2 (en) 2018-05-04 2022-01-18 Google Llc Stabilizing video by accounting for a location of a feature in a stabilized view of a frame
US11687635B2 (en) 2019-09-25 2023-06-27 Google PLLC Automatic exposure and gain control for face authentication
CN112435179A (zh) * 2020-11-11 2021-03-02 北京工业大学 模糊花粉颗粒图片处理方法、装置和电子设备
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113409207B (zh) * 2021-06-15 2023-12-08 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113420665A (zh) * 2021-06-23 2021-09-21 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN113420665B (zh) * 2021-06-23 2024-05-07 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN113673357A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 停车场寻车方法、设备及存储介质
CN113470027B (zh) * 2021-09-03 2022-03-25 广东电网有限责任公司惠州供电局 基于生成对抗的绝缘护套识别方法、装置、系统及介质
CN113470027A (zh) * 2021-09-03 2021-10-01 广东电网有限责任公司惠州供电局 基于生成对抗的绝缘护套识别方法、装置、系统及介质
CN114648672A (zh) * 2022-02-25 2022-06-21 北京百度网讯科技有限公司 构建样本图像集的方法、装置、电子设备及可读存储介质
CN114648724A (zh) * 2022-05-18 2022-06-21 成都航空职业技术学院 一种基于生成对抗网络的轻量化高效目标分割与计数方法
CN114648724B (zh) * 2022-05-18 2022-08-12 成都航空职业技术学院 一种基于生成对抗网络的轻量化高效目标分割与计数方法

Also Published As

Publication number Publication date
US11373443B2 (en) 2022-06-28
CN111738230B (zh) 2020-12-15
US20220044006A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
CN111738230B (zh) 一种人脸识别方法、人脸识别装置及电子设备
JP5801601B2 (ja) 画像認識装置、画像認識装置の制御方法、およびプログラム
CN110866466A (zh) 一种人脸识别方法、装置、存储介质和服务器
WO2019042195A1 (zh) 一种人体目标身份识别方法及装置
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
CN112464690A (zh) 活体识别方法、装置、电子设备及可读存储介质
CN111666835A (zh) 一种人脸活体检测方法和装置
Bruno et al. Palmprint principal lines extraction
Ilankumaran et al. Multi-biometric authentication system using finger vein and iris in cloud computing
Kumar et al. Non-overlapped blockwise interpolated local binary pattern as periocular feature
Dwaich et al. Signature texture features extraction using GLCM approach in android studio
Donida Labati et al. A scheme for fingerphoto recognition in smartphones
CN111444817A (zh) 一种人物图像识别方法、装置、电子设备和存储介质
CN113515977A (zh) 人脸识别方法及系统
CN111783677B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN112016437A (zh) 一种基于人脸视频关键帧的活体检测方法
CN112861588A (zh) 一种活体检测的方法、装置
Kanchana et al. Quadtree decomposition for palm print feature representation in palmprint recognition system
Yu et al. Spatiotemporal features selection for spontaneous micro-expression recognition
Harun et al. New algorithm of extraction of palmprint region of interest (ROI)
CN111079551A (zh) 基于奇异值分解的手指静脉识别方法、装置和存储介质
CN112084881B (zh) 一种跨域行人再识别方法、装置及存储介质
Choubey et al. Bilateral Partitioning based character recognition for Vehicle License plate
KR20130036511A (ko) 객체 영역의 유효성 판단 방법 및 장치, 객체 추출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant