CN108846355B - 图像处理方法、人脸识别方法、装置和计算机设备 - Google Patents

图像处理方法、人脸识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN108846355B
CN108846355B CN201810594760.8A CN201810594760A CN108846355B CN 108846355 B CN108846355 B CN 108846355B CN 201810594760 A CN201810594760 A CN 201810594760A CN 108846355 B CN108846355 B CN 108846355B
Authority
CN
China
Prior art keywords
glasses
generated
sample set
network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810594760.8A
Other languages
English (en)
Other versions
CN108846355A (zh
Inventor
邰颖
曹赟
丁守鸿
李绍欣
汪铖杰
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Changsha Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810594760.8A priority Critical patent/CN108846355B/zh
Publication of CN108846355A publication Critical patent/CN108846355A/zh
Priority to PCT/CN2019/085031 priority patent/WO2019237846A1/zh
Application granted granted Critical
Publication of CN108846355B publication Critical patent/CN108846355B/zh
Priority to US16/991,878 priority patent/US11403876B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、人脸识别方法、装置、计算机设备和可读存储介质，图像处理方法包括：获取佩戴有眼镜的目标图像；将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积‑收缩激励网络；通过卷积‑收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积‑收缩激励网络中收缩激励层的输入；通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重；通过卷积‑收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图；通过眼镜去除模型，生成与目标图像对应的去眼镜图像。通过该方法能够有效去除图像中的眼镜。

Description

图像处理方法、人脸识别方法、装置和计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、人脸识别方法、装置、计算机设备和可读存储介质。
背景技术
随着图像处理技术的应用范围越来越广，利用图像处理技术去除图像中的无用信息，得到所需的图像也成为当前图像处理的研究热点。比如，在公共交通的安全验证系统、信用卡验证系统等身份验证系统中，当被验证人员佩戴有眼镜时，通常需要摘取眼镜之后再进行识别，或者对采集的人脸图像去除眼镜之后再进行验证。
然而，传统的眼镜去除模型的网络学习能力较低，难以保证去除眼镜后的人脸图像有效表征原始图像的相关特征，进而使得对去除眼镜后的人脸图像还原度低。
发明内容
基于此，有必要针对基于传统的眼镜去除模型的还原度低的技术问题，提供一种图像处理方法、人脸识别方法、装置、计算机设备和可读存储介质。
一种图像处理方法，所述方法包括：
获取佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像。
一种人脸识别方法，所述方法包括：
获取待识别人脸图像中佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，得到与所述目标图像对应的去眼镜人脸图像；
将所述去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
一种图像处理装置，所述装置包括：
图像获取模块，用于获取佩戴有眼镜的目标图像；
输入模块，用于将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
卷积模块，用于通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
权重学习模块，用于通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
加权模块，用于通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
生成模块，用于通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取待识别人脸图像中佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，得到与所述目标图像对应的去眼镜人脸图像；
将所述去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取待识别人脸图像中佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，得到与所述目标图像对应的去眼镜人脸图像；
将所述去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
上述图像处理方法、人脸识别方法、装置、计算机设备和可读存储介质，通过获取佩戴有眼镜的目标图像，将目标图像输入至预先训练得到的眼镜去除模型，根据眼镜去除模型的输出得到对应的去眼镜图像。其中，眼镜去除模型包括多个依次连接的卷积-收缩激励网络，通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入，通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。该眼镜去除模型保持较高的学习能力，充分学习不同特征通道的重要性得到对应权重，通过加权处理增强有效特征同时抑制无效或效果小的特征，有效去除目标图像中的眼镜，同时确保去眼镜图像恢复出目标图像的关键特征，提高去眼镜图像的还原度和真实性。
附图说明
图1为一个实施例中图像处理方法和/或人脸识别方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中卷积-收缩激励网络的结构示意图；
图4为一个实施例中卷积-收缩激励网络中收缩激励处理和加权处理的示意图；
图5为一个实施例中对特征图进行收缩处理的示意图；
图6为一个实施例中图像处理方法的流程示意图；
图7为一个实施例中眼镜去除模型训练方法的流程示意图；
图8为一个实施例中生成网络损失系数生成步骤的流程示意图；
图9为一个实施例中眼镜去除模型训练方法中网络模型的结构示意图；
图10为一个实施例中更新生成网络模型并迭代的步骤的流程示意图；
图11为一个实施例中人脸识别方法的流程示意图；
图12为一个实施例中通过眼镜识别检测得到目标图像的步骤的流程示意图；
图13为一个实施例中人脸识别方法的流程示意图；
图14为一个实施例中图像处理装置的结构框图；
图15为一个实施例中人脸识别装置的结构框图；
图16为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法和/或人脸识别方法的应用环境图。参照图1，该图像处理方法应用于图像处理系统。该图像处理系统包括终端或服务器110。终端具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种；服务器具体可以是一个服务器或者服务器集群。终端或服务器110配置有基于生成对抗网络训练的眼镜去除模型，眼镜去除模型包括多个依次连接的卷积-收缩激励网络，通过眼镜去除模型能够对佩戴有眼镜的目标图像进行眼镜去除处理。进一步地，终端或服务器110还能够进行人脸识别，基于眼镜去除模型得到去眼镜人脸图像，将去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的终端或服务器110来举例说明。参照图2，该图像处理方法具体包括如下步骤：
S201，获取佩戴有眼镜的目标图像。
其中，目标图像是指携带有眼镜佩戴信息，需要进行眼镜去除处理的图像。目标图像具体可以是佩戴有眼镜的人脸图像，也可以是从佩戴有眼镜的人脸图像中分割出的眼部图像。比如，当采用图像处理软件进行眼镜去除处理时，所获取的佩戴有眼镜的目标图像为输入至图像处理软件的人脸图像或分割出的眼部图像。
S202，将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络。
在本实施例中，眼镜去除模型预先基于生成对抗网络训练得到，眼镜去除模型可以是针对全局的人脸图像去除眼镜的模型，也可以是针对局部的眼部图像去除眼镜的模型。可以理解，当眼镜去除模型为针对全局的人脸图像去除眼镜的模型时，目标图像为全局的人脸图像；当眼镜去除模型为针对局部的眼部图像去除眼镜的模型时，目标图像为局部的眼部图像。
其中，生成对抗网络包括生成网络模型和判别网络模型，生成网络模型用于根据输入数据生成一张尽可能真实的假图片，判别网络模型用于判别出输入的一张图片属于真实图片还是假图片。生成对抗网络训练是指由生成网络模型生成一张图片去欺骗判别网络模型，然后判别网络模型去判断这张图片以及对应的真实图片是真是假，在这两个模型训练的过程中，使得两个模型的能力越来越强，最终达到稳态的过程。卷积-收缩激励网络是指由卷积神经网络的卷积层、收缩激励层以及加权层构成的一种结构。收缩激励层具体包括用于对各特征通道的特征图进行处理得到各特征通道的全局信息的收缩模块，以及通过对全局信息进行学习生成各特征通道的权重的激励模块。
如图3所示，提供一种在残差网络中引入收缩激励层的得到的卷积-收缩激励网络，残差层302分别与收缩层304和加权层308连接，收缩层304还与激励层306连接，激励层306还与加权层308连接。
继续参照图2，卷积-收缩激励网络用于执行以下步骤：
S203，通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
具体地，通过卷积-收缩激励网络的卷积层，对输入的目标图像进行卷积处理，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
在每个卷积层中，数据均以三维形式存在，把它看成由多个特征通道的二维图片叠在一起组成，其中每一张二维图片即称为一张特征图。如图4所示，目标图像通过卷积变换后，得到一个大小为W×H×C的三维矩阵U，也可称之为C个大小为W×H的特征图，C表示特征通道数量。
S204，通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重。
其中，全局信息是指各特征通道的特征图的数值分布情况。具体地，通过收缩层304对特征图进行压缩，得到各特征通道的全局信息。如图5所示，为其中一个6×6大小的特征图对应的二维矩阵，通过压缩处理，得到一个表示全局信息的1×1大小的特征图。具体计算方式如公式(1)所示：
Figure BDA0001691829670000081
其中，zc表示第C个特征通道的全局信息；Fsq表示全局信息求取函数；uc表示矩阵U中第C个特征通道对应的二维矩阵(特征图)；i、j分别表示W×H二维矩阵中的行标号、列标号；uc(i,j)表示第C个特征通道对应的二维矩阵中第i行第j列的数值。
在本实施例中，全局信息的求取实际上就是对每张特征图的特征数值求算术平均，将每个二维矩阵转变为一个实数，使得一个通道特征图中的整个图中位置的信息相融合，避免对通道进行权值评估时由于卷积核尺寸问题造成的局部感受野提取信息范围太小参考信息量不足使得评估不准确。
进一步将收缩层304输出的数据输入至激励层306，通过激励层306对全局信息进行学习生成各特征通道的权重。其中，权重用于表示各特征通道的重要性。其中，权重的计算方法如公式(2)所示：
s＝Fex(z,W1,W2)＝σ(W2δ(W1z)) (2)
其中，s表示C个特征通道的权重，维度为1×1×C；z表示由C个zc组成的全局信息矩阵，维度为1×1×C；Fex表示权重求取函数；σ表示sigmoid函数；δ表示线性激活函数；W1表示降维层参数，降维比例为r，
Figure BDA0001691829670000082
W2表示升维层参数，
Figure BDA0001691829670000083
收缩层304对特征图进行压缩得到z，参照公式(2)，这里先用W1乘以z，进行一个全连接层操作，其中，W1的维度是(C/r)×C，r是一个缩放参数，这个参数的目的是为了减少特征通道的个数从而降低计算量。又因为z的维度是1×1×C，所以W1z的维度就是1×1×C/r。然后再经过一个线性激活层，输出的维度不变。线性激活层的输出再和W2相乘，进行一个全连接层操作，W2的维度是C×(C/r)，因此输出的维度就是1×1×C。最后再经过sigmoid函数，得到s。由于前面收缩层304的压缩处理都是针对单个特征通道的特征图进行处理，因此，通过激励层306中的两个全连接层融合各特征通道的特征图信息，基于各特征通道之间的依赖关系学习，得到各特征通道的权重，以精确刻画出各特征通道对应的特征图的重要性，使得有效的特征图权重更大，无效或者效果小的特征图权重更小。
S205，通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。
具体地，通过卷积-收缩激励网络的加权层，将各特征通道的特征图分别乘以对应的权重，生成加权特征图。如以下公式(3)所示：
Figure BDA0001691829670000091
其中，
Figure BDA0001691829670000092
表示第C个特征通道的加权特征图；Fscale表示加权函数；sc表示第C个特征通道的权重。
基于上述收缩激励操作，生成加权特征图并输入至下一层网络进行处理。由于加权特征图为根据各特征通道的权重得到，因此能够增强有效特征同时抑制无效或效果小的特征，加强网络的学习能力，以使得眼镜去除模型使用较少的卷积核(卷积层仅使用64或者128个卷积核)既能够完成眼镜去除处理，减小的模型规格，并降低了模型的复杂度。
S206，通过眼镜去除模型，生成与目标图像对应的去眼镜图像。
眼镜去除模型为已经训练好的模型，具有眼镜去除效果，通过述眼镜去除模型中的多个卷积-收缩激励网络以及其他网络层处理后，生成与目标图像对应的去眼镜图像。
上述图像处理方法，通过获取佩戴有眼镜的目标图像，将目标图像输入至预先训练得到的眼镜去除模型，根据眼镜去除模型的输出得到对应的去眼镜图像。其中，眼镜去除模型包括多个依次连接的卷积-收缩激励网络，通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入，通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。该眼镜去除模型保持较高的学习能力，充分学习不同特征通道的重要性得到对应权重，通过加权处理增强有效特征同时抑制无效或效果小的特征，有效去除目标图像中的眼镜，同时确保去眼镜图像恢复出目标图像的关键特征，提高去眼镜图像的还原度和真实性。
在一实施例中，提供一种图像处理方法，该实施例中，眼镜去除模型为针对局部的眼部图像去除眼镜的模型。如图6所示，该方法包括：
S601，获取佩戴有眼镜的人脸图像。
在本实施例中，佩戴有眼镜的人脸图像是指包括整张人脸信息的图片。
S602，根据眼部在人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像。
具体地，通过对人脸图像进行目标检测，确定眼部所处人脸图像中的位置，基于所确定的位置分割出眼部图像，将分割出的眼部图像作为佩戴有眼镜的目标图像。
S603，将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络。
S604，通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
S605，通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重。
S606，通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。
S607，通过眼镜去除模型，生成与目标图像对应的去眼镜图像。
S608，融合人脸图像和去眼镜图像，得到去除眼镜后的人脸图像。
在本实施例中，去眼镜图像为去除眼镜后的眼部图像。具体地，通过对人脸图像进行目标检测，确定眼部所处人脸图像中的位置，将去眼镜图像替换所确定位置的眼部图像，得到去除眼镜后的人脸图像。基于眼部图像的眼镜去除模型，能够增强模型对眼部区域的处理，提升眼镜去除效果。
在一实施例中，将目标图像输入至基于生成对抗网络训练的眼镜去除模型的步骤之前，还包括：对目标图像进行归一化处理。通过眼镜去除模型，生成与目标图像对应的去眼镜图像的步骤之后，还包括：对去眼镜图像进行还原处理，将去眼镜图像的还原至目标图像大小。可以理解，在本实施中，将目标图像输入至基于生成对抗网络训练的眼镜去除模型的步骤是指将归一化处理后的目标图像输入至基于生成对抗网络训练的眼镜去除模型。
归一化处理是指将原始图像归一化成同一大小、同一像素值范围的处理。还原处理是指与归一化处理相对的逆处理，也即把图像大小还原成原始图像大小，把像素值范围还原至原始图像的像素值范围。比如，在归一化处理中，将原始图像大小归一化至256*256，然后将图像像素值归一化至[-1，1]；在还原处理中，建设原始图像的像素值范围为[0,255]，则将图像还原至原始图像大小，并将像素值归一化至[0,255]。
在一实施例中，如图7所示，提供一种图像处理方法中训练眼镜去除模型的方式，具体包括以下步骤：
S702，获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集。
其中，第一训练样本集由多个经归一化处理的佩戴有眼镜的训练图像(第一训练样本)组成的，对应地，第二训练样本集由多个经归一化处理的未佩戴眼镜的训练图像(第二训练样本)组成，第一训练样本集中的训练样本和第二训练样本集中的训练样本一一对应，其区别仅在于是否佩戴有眼镜。具体地，所佩戴的眼镜为框架眼镜。比如，在归一化处理中，将原始图像大小归一化至256*256，然后将图像像素值归一化至[-1，1]。
进一步地，第二训练样本可以是通过各图像获取途径获取得到的未佩戴眼镜的训练图像，或者由已得到的未佩戴眼镜的训练图像进行复制得到，第一训练样本可以是通过对第二训练样本进行加眼镜处理得到；第一训练样本和第二训练样本还可以是通过人脸图像采集设备采集的大量图像样本，比如通过照相机、摄像头等采集设备采集得到对应图像样本。可以理解，当训练的眼镜去除模型为针对全局的人脸图像去除眼镜的模型时，训练样本为全局的人脸图像；当训练的眼镜去除模型为针对局部的眼部图像去除眼镜的模型时，训练样本为局部的眼部图像。基于眼部图像的模型训练，能够增强模型对眼部区域的处理，提升眼镜去除效果。
S704，将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集。
其中，生成样本集是指由与各第一训练样本对应的生成样本组成的集合。进一步地，生成样本是指由生成网络模型对第一训练样本进行去眼镜处理后，生成的人脸图像。
具体地，将第一训练样本集中的第一训练样本依次输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，通过卷积-收缩激励网络的卷积层，依次得到第一训练样本的各特征通道的特征图，该特征图作为该卷积-收缩激励网络中收缩激励层的输入。通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重，进一步通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成与第一训练样本对应的加权特征图。基于生成网络模型对第一训练样本对应的加权特征图进一步处理，最终生成与第一训练样本对应的生成样本，所有生成样本即组成了生成样本集。
S706，分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到生成网络损失系数。
其中，损失系数是指用于评价网络模型预测效果的一个参数，通常损失系数越小，代表网络模型预测效果越好。对应地，生成网络损失系数是指用于评价生成网络模型去除眼镜效果的一个参数，基于生成网络损失系数来调整生成网络模型中的各项参数，以达到更好的眼镜去除效果。在本实施例中，基于不同的生成样本均会产生一个对应的生成网络损失系数。
如上，生成对抗网络训练是指由生成网络模型生成一张图片去欺骗判别网络模型，然后判别网络模型去判断这张图片以及对应的真实图片是真是假。可以理解，在本实施例中，生成对抗网络训练的目的在于使得生成网络模型生成的生成样本，能够达到以假乱真的效果。换而言之，也就是使判别网络模型难以辨别生成样本是生成的图像还是真实的图像。
具体地，分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出调整判别网络模型的参数，得到更新后的判别网络模型；再将生成样本集输入至更新后的判别网络模型，根据更新后的判别网络模型的输出得到生成网络损失系数，以根据生成网络损失系数调整生成网络模型的参数。其中，生成网络模型的参数是指生成网络模型中各神经元之间的连接权重。
S708，根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型，并返回至步骤S704，直至满足迭代结束条件，将更新后的生成网络模型作为眼镜去除模型。
在本实施例中，根据生成网络损失系数以及预设的生成网络模型参数调整方法，调整生成网络模型的参数，得到更新后的生成网络模型。判断是否满足预设的迭代结束条件，若满足，则结束迭代训练，将更新后的生成网络模型作为眼镜去除模型；否则返回至步骤S704，直到满足预设的迭代结束条件时，将更新后的生成网络模型作为眼镜去除模型。
其中，生成网络模型参数调整方法包括但不限于梯度下降法、反向传播算法等误差修正算法。比如，基于一阶梯度来优化随机目标函数的Adam(Adaptive MomentEstimation，自适应矩估计)算法。迭代结束条件可以是迭代次数达到迭代次数阈值，也可以是生成网络模型达到预设的眼镜去除效果，在此不作限定。
通过上述眼镜去除模型的训练方式，采用包括多个依次连接的卷积-收缩激励网络的生成网络模型以及一个判别网络模型构成生成对抗网络，并进行生成对抗训练，以得到可有效去除眼镜的生成网络模型作为眼镜去除模型。同时，基于卷积-收缩激励网络，对输入训练样本对应的各特征通道的全局信息进行学习，生成各特征通道的权重，根据权重分别对各特征通道的特征图进行加权处理，生成对应的加权特征图。通过加权处理增强有效特征同时抑制无效或效果小的特征，有效去除第一训练样本集中各第一训练样本中的眼镜，同时使得生成样本恢复出对应第一训练样本的关键特征，提高生成样本的还原度和真实性。
在一实施例中，如图8所示，分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到生成网络损失系数的步骤，具体包括以下步骤：
S802，分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到判别网络损失系数。
其中，判别网络损失系数是指用于评价判别网络模型分类效果的一个参数，基于判别网络损失系数来调整判别网络模型中的各项参数，以达到更准确的分类效果。在本实施例中，基于不同的生成样本均会产生一个对应的判别网络损失系数。
具体地，将生成样本集中的各生成样本和第二训练样本集中的各第二训练样本依次输入至生成对抗网络中的判别网络模型，分别得到与各生成样本和各第二训练样本对应的输出，根据生成样本及其对应的第二训练样本的输出得到判别网络损失系数，判别网络损失系数的个数与生成样本的个数相同。
S804，根据判别网络损失系数更新判别网络模型的参数，得到更新后的判别网络模型。
其中，判别网络模型的参数是指判别网络模型中各神经元之间的连接权重。在本实施例中，根据判别网络损失系数以及预设的判别网络模型参数调整方法，调整判别网络模型的参数，得到更新后的判别网络模型。其中，判别网络模型参数调整方法包括但不限于梯度下降法、反向传播算法等误差修正算法。比如，基于一阶梯度来优化随机目标函数的Adam算法。
S806，将生成样本集输入至更新后的判别网络模型，根据更新后的判别网络模型的输出得到生成网络损失系数。
在得到更新后的判别网络模型后，当前的判别网络模型相较于更新之前的判别网络模型，具有更好的分类效果。因此，在判别网络模型具有较好的分类效果之后，固定判别网络模型的参数，再对生成网络模型进行训练。
具体地，将生成样本集中各生成样本依次输入至更新后的判别网络模型，每一生成样本对应一个更新后的判别网络模型的输出，根据更新后的判别网络模型的输出得到生成网络损失系数。
在本实施例中，首先固定生成网络模型的参数，对判别网络模型进行训练更新，使得通过训练后的判别网络模型保持分类能力。在训练完判别网络模型之后，再对生成网络模型进行训练更新，此时判别网络模型的参数固定不变，而仅将生成网络模型产生的损失或误差传递给生成网络模型，即根据更新后的判别网络模型的输出得到生成网络损失系数，基于生成网络损失系数更新生成网络模型的参数。通过判别网络模型和生成网络模型之间的对抗博弈，以使得两个网络模型最终达到稳态。
在一实施例中，分别将生成样本集和第二训练样本集输入至判别网络模型，根据判别网络模型的输出得到判别网络损失系数的步骤，包括：分别将生成样本集和第二训练样本集输入至判别网络模型，得到生成样本集对应的第一概率和第二训练样本集的第二概率；根据第一概率和第二概率，并结合判别网络损失函数，得到判别网络损失系数。
其中，第一概率和第二概率分别是指生成样本和第二训练样本属于训练样本而非生成样本的概率。假设将生成样本的类别标识设置为0，第二训练样本的类别标识设置为1，则判别网络模型的输出为一个0-1之间的概率值，也就是说第一概率和第二概率的范围为0-1。判别网络模型训练的目的是使得生成样本对应的第一概率尽可能趋向于0，使得第二训练样本的对应的第二概率尽可能趋向于1，从而获得准确的分类能力。
判别网络损失函数是指根据判别网络模型的输出，计算判别网络模型的损失系数的函数。比如，交叉熵损失函数、公式(4)所示的最大化判别网络区分度的函数
Figure BDA0001691829670000151
Figure BDA0001691829670000152
其中，D表示判别网络模型，G表示生成网络模型，x表示任一个第二训练样本，pdata(x)表示第二训练样本的类别标识，D(x)表示任一个第二训练样本对应的概率，在本实施例中是指第二概率，y表示任一个第一训练样本，py(y)表示生成样本的类别标识，G(y)表示任一个第一训练样本对应的生成样本，D(G(y))表示任一个生成样本对应的概率，在本实施例中是指第一概率。
具体地，依次将生成样本集中各生成样本及其类别标识、第二训练样本集中各第二训练样本及其类别标识输入至判别网络模型，得到生成样本集对应的第一概率和第二训练样本集的第二概率；根据第一概率和第二概率，并结合判别网络损失函数，得到判别网络损失系数。
在一实施例中，将生成样本集输入至更新后的判别网络模型，根据更新后的判别网络模型的输出得到生成网络损失系数的步骤，包括：将生成样本集输入至更新后的判别网络模型，得到生成样本集对应的第三概率；根据第三概率，并结合生成网络损失函数，得到生成网络损失系数。
其中，第三概率是指生成样本属于训练样本而非生成样本的概率。生成网络损失函数是指根据生成网络模型的输出，计算生成网络模型的损失系数的函数。比如，交叉熵损失函数、公式(5)所示的最小化生成样本与训练样本数据分布的函数
Figure BDA0001691829670000161
Figure BDA0001691829670000162
其中，D(G(y))表示任一个生成样本对应的概率，在本实施例中指第三概率。
具体地，依次将生成样本集中各生成样本及其类别标识输入至判别网络模型，得到生成样本集对应的第三概率；根据第三概率，并结合生成网络损失函数，得到生成网络损失系数。
与判别网络模型训练时相反，在本实施例中，将生成样本的类别标识设置为1，以起到迷惑判别器的目的，从而才能使得生成样本逐渐逼近为真实的第二训练样本。
在一实施例中，如图9所示，训练眼镜去除模型的方式还包括特征网络模型。进一步地，根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型之前，还包括：分别将生成样本集和第二训练样本集输入至特征网络模型，得到生成样本集和第二训练样本集之间的特征误差。根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型，包括：根据生成网络损失系数和特征误差更新生成网络模型的参数，得到更新后的生成网络模型。
其中，特征误差是指生成样本及其对应的第二训练样本在特征空间存在的差异。可以理解，生成样本集和第二训练样本集之间的特征误差，也就是指生成样本集中各生成样本及其对应的第二训练样本在特征空间存在的差异。
具体地，依次将生成样本集中各生成样本及其对应的第二训练样本输入至特征网络模型，由特征网络模型提取生成样本和对应的第二训练样本的特征，并进行比较分析，得到各生成样本及其对应的第二训练样本之间的特征误差。根据生成网络损失系数和特征误差，以及预设的生成网络模型参数调整方法，调整生成网络模型的参数，得到更新后的生成网络模型。比如，根据生成网络损失系数和特征误差，采用Adam算法对生成网络模型参数进行调整。
通过对生成样本及其对应的第二训练样本进行特征误差的分析，促使最后得到的眼镜去除模型恢复的去眼镜图像进一步地保持鉴别信息，也即更准确地恢复出目标图像的关键特征，提高去眼镜图像的还原度，并且在人脸识别应用中，保证人脸识别的准确性。
在另一实施例中，根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型之前，还包括：对生成样本集和第二训练样本集的像素进行分析，得到生成样本集和第二训练样本集之间的像素误差。根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型，包括：根据生成网络损失系数和像素误差更新生成网络模型的参数，得到更新后的生成网络模型。
其中，像素误差是指生成样本及其对应的第二训练样本各像素点存在的差异。可以理解，生成样本集和第二训练样本集之间的像素误差，也就是指生成样本集中各生成样本及其对应的第二训练样本在像素上存在的差异。
具体地，依次对生成样本集中各生成样本及其对应的第二训练样本的像素点进行误差分析，得到各生成样本及其对应的第二训练样本之间的像素误差。根据生成网络损失系数和像素误差，以及预设的生成网络模型参数调整方法，调整生成网络模型的参数，得到更新后的生成网络模型。比如，根据生成网络损失系数和像素误差，采用Adam算法对生成网络模型参数进行调整。
在一实施例中，根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型之前，还包括：对生成样本集和第二训练样本集的像素进行分析，得到生成样本集和第二训练样本集之间的像素误差；分别将生成样本集和第二训练样本集输入至特征网络模型，得到生成样本集和第二训练样本集之间的特征误差；根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型，包括：根据生成网络损失系数、像素误差和特征误差更新生成网络模型的参数，得到更新后的生成网络模型。
通过对对生成样本及其对应的第二训练样本进行特征误差、像素误差的分析，促使最后得到的眼镜去除模型恢复的去眼镜图像的还原程度高。
在一实施例中，如图10所示，步骤S708进一步包括以下步骤：
S1002，根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型。
S1004，获取当前迭代次数。
S1006，当迭代次数小于预设的迭代次数阈值时，返回至将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜的生成样本集。
S1008，当迭代次数达到预设的迭代次数阈值时，将更新后的生成网络模型作为眼镜去除模型。
在本实施例中，每完成一次生成对抗网络训练就对迭代次数执行加一操作，并获取当前迭代次数，判断当前迭代次数是否达到迭代次数阈值，若未达到，则继续执行训练的相关步骤；否则，将更新后的生成网络模型作为眼镜去除模型，并退出训练步骤。
在一实施例中，步骤S708之后还包括眼镜去除模型测试的步骤，该步骤具体包括：获取由佩戴有眼镜的测试图像组成的测试样本集；将测试样本集输入至训练得到的眼镜去除模型，根据眼镜去除模型的输出得到测试结果。其中，测试样本集由多个经归一化处理的佩戴有眼镜的测试图像(测试样本)组成的，测试图像与第一训练图像为不同的图像。通过进一步对训练得到的眼镜去除模型的性能进行测试，以确定当前得到的眼镜去除模型是否满足预设的眼镜去除效果。
在一实施例中，提供一种应用眼镜去除模型进行人脸识别的人脸识别方法，如图11所示，该方法包括以下步骤：
S1101，获取待识别人脸图像中佩戴有眼镜的目标图像。
其中，待识别人脸图像是指当前需要进行识别的全局人脸图像。比如，在安检过程中的身份验证中，由图像采集设备采集的全局人脸图像。待识别人脸图像可以是佩戴有眼镜的人脸图像，也可以是未佩戴有眼镜的人脸图像。目标图像是指通过对待识别人脸图像进行分析处理，得到的携带有眼镜佩戴信息，需要进行眼镜去除处理的图像。目标图像具体可以是佩戴有眼镜的人脸图像，也可以是从佩戴有眼镜的人脸图像中分割出的眼部图像。例如，当眼镜去除模型为针对全局的人脸图像去除眼镜的模型时，目标图像为全局的人脸图像；当眼镜去除模型为针对局部的眼部图像去除眼镜的模型时，目标图像为局部的眼部图像。
具体地，获取待识别人脸图像中经眼镜识别检测后得到的佩戴有眼镜的目标图像或者已选定的佩戴有眼镜的目标图像，以将目标图像输入至眼镜去除模型进行眼镜去除处理。
S1102，将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络。
S1103，通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
具体地，通过卷积-收缩激励网络的卷积层，对输入的目标图像进行卷积处理，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
S1104，通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重。
具体地，通过收缩激励层中的收缩层对特征图进行压缩，得到各特征通道的全局信息，通过收缩激励层中的激励层对全局信息进行学习生成各特征通道的权重。
S1105，通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。
具体地，通过卷积-收缩激励网络的加权层，将各特征通道的特征图分别乘以对应的权重，生成加权特征图。
S1106，通过眼镜去除模型，得到与目标图像对应的去眼镜人脸图像。
其中，去眼镜人脸图像是指与目标图像对应、且去除了眼镜之后的全局的人脸图像。具体地，当目标图像为全局的人脸图像时，去眼镜人脸图像是指目标图像去除眼镜后的图像；当目标图像为局部的眼部图像时，去眼镜人脸图像是指由去除眼镜后的目标图像和目标图像对应的待识别人脸图像融合的得到的人脸图像。
S1107，将去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
预设人脸图像库中存储有已注册或者已验证的人脸图像。人脸识别结果包括识别成功、识别失败和所匹配的人脸图像的相关信息中的一种或几种数据，具体可根据识别需求设定，在此不作限定。比如，在公共交通的安全验证系统和人脸门禁系统中，仅需要识别验证待识别的人是否合法，则人脸识别结果为识别成功或者识别失败。在公安验证系统中进行信息查询时，则人脸识别结果还包括所匹配的人脸图像的相关信息。
本实施例通过传统的人脸识别模型，将去眼镜人脸图像与预设人脸图像库进行匹配，得到匹配结果，根据匹配结果生成人脸识别结果。比如，当匹配到预设人脸图像库中的人脸图像时，生成识别成功的人脸识别结果；或者，当匹配到预设人脸图像库中的人脸图像时，获取所匹配的人脸图像的相关信息，根据相关信息生成人脸识别结果。当未匹配到预设人脸图像库中的人脸图像时，生成识别失败的人脸识别结果。其中，传统的人脸识别模型包括但不限于Bruce-Young模型、交互激活竞争模型等。
通过眼镜去除模型，去除待识别人脸图像中的眼镜，无需手动摘取眼镜之后再进行人脸图像采集以及人脸识别，提高了人脸识别效率，避免因眼镜干扰造成无法识别的问题。并且，通过由多个卷积-收缩激励网络构成的眼镜去除模型，能够增强目标图像的有效特征，抑制无效或效果小的特征，有效去除目标图像中的眼镜，同时确保去眼镜图像恢复出目标图像的关键特征，提高去眼镜图像的还原度和真实性，进一步保证了人脸识别结果的准确性。
在一实施例中，如图12所示，获取待识别人脸图像中佩戴有眼镜的目标图像的步骤，包括：
S1202，获取待识别人脸图像。
S1204，对待识别人脸图像进行眼镜识别检测。
S1206，根据眼镜识别检测的结果，得到佩戴有眼镜的目标图像。
在人脸识别时，首先对待识别人脸图像进行眼镜识别检测，判断该待识别人脸图像是否佩戴有眼镜，当佩戴有眼镜时，则得到佩戴有眼镜的目标图像，以输入至眼镜去除模型进行眼镜去除处理后，再输入至人脸识别模型进行识别；若该待识别人脸图像未佩戴有眼镜，则直接输入至人脸识别模型进行识别。其中，眼镜识别检测可以通过传统的目标检测模型仅检测，比如，基于深度学习的目标检测模型、基于区域的卷积神经网络等。
在一实施例中，根据眼镜识别检测的结果，得到佩戴有眼镜的目标图像，包括：当检测到待识别人脸图像佩戴有眼镜时，根据眼部在待识别人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像。通过眼镜去除模型，得到与目标图像对应的去眼镜人脸图像，包括：通过眼镜去除模型，生成与目标图像对应的去眼镜图像；融合待识别人脸图像和去眼镜图像，得到去眼镜人脸图像。
具体地，当检测到待识别人脸图像佩戴有眼镜时，通过对人脸图像进行目标检测，确定眼部所处人脸图像中的位置，基于所确定的位置分割出眼部图像，将分割出的眼部图像作为佩戴有眼镜的目标图像，以对目标图像进行眼镜去除处理。通过眼镜去除模型，生成与目标图像对应的去眼镜图像，根据所确定眼部所处人脸图像中的位置，将去眼镜图像替换所确定位置的眼部图像，得到去除眼镜后的人脸图像。
在一实施例中，将目标图像输入至基于生成对抗网络训练的眼镜去除模型的步骤之前，还包括：对目标图像进行归一化处理。通过眼镜去除模型，得到与目标图像对应的去眼镜人脸图像的步骤，包括：通过眼镜去除模型，生成与目标图像对应的去眼镜图像；对去眼镜图像进行还原处理，将去眼镜图像的还原至目标图像大小，得到与目标图像对应的去眼镜人脸图像。可以理解，在本实施中，将目标图像输入至基于生成对抗网络训练的眼镜去除模型的步骤是指将归一化处理后的目标图像输入至基于生成对抗网络训练的眼镜去除模型。
下面以目标图像为全局的人脸图像为例，提供一完整实施例中的人脸识别方法，该方法中包括训练眼镜去除模型的步骤。如图13所示，该方法包括：
S1301，获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集。
在本实施例中，第一训练样本集中的第一训练样本和第二训练样本集中的第二训练样本均为全局的人脸图像。第二训练样本可以是通过各图像获取途径获取得到的未佩戴眼镜的训练图像，或者由已得到的未佩戴眼镜的训练图像进行复制得到，第一训练样本可以是通过对第二训练样本进行加眼镜处理得到；第一训练样本和第二训练样本还可以是通过人脸图像采集设备采集的大量图像样本，比如通过照相机、摄像头等采集设备采集得到对应图像样本。
S1302，将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集。
具体地，将第一训练样本集中的第一训练样本依次输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，通过卷积-收缩激励网络的卷积层，依次得到第一训练样本的各特征通道的特征图，该特征图作为该卷积-收缩激励网络中收缩激励层的输入。通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重，进一步通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成与第一训练样本对应的加权特征图。基于生成网络模型对第一训练样本对应的加权特征图进一步处理，最终生成与第一训练样本对应的生成样本，所有生成样本即组成了生成样本集。
S1303，分别将生成样本集和第二训练样本集输入至判别网络模型，得到生成样本集对应的第一概率和第二训练样本集的第二概率。
具体地，依次将生成样本集中各生成样本及其类别标识、第二训练样本集中各第二训练样本及其类别标识输入至判别网络模型，得到生成样本集对应的第一概率和第二训练样本集的第二概率。
S1304，根据第一概率和第二概率，并结合判别网络损失函数，得到判别网络损失系数。
S1305，根据判别网络损失系数更新判别网络模型的参数，得到更新后的判别网络模型。
在本实施例中，采用公式(4)所示的最大化判别网络区分度的函数
Figure BDA0001691829670000231
计算判别网络损失系数，并采用Adam算法更新判别网络模型的参数，使得更新后的判别网络模型输出的第一概率尽可能趋向于0，第二概率尽可能趋向于1，获得准确的分类能力。
S1306，将生成样本集输入至更新后的判别网络模型，得到生成样本集对应的第三概率。
S1307，根据第三概率，并结合生成网络损失函数，得到生成网络损失系数。
具体地，依次将生成样本集中各生成样本及其类别标识输入至判别网络模型，得到生成样本集对应的第三概率。采用公式(5)所示的最小化生成样本与训练样本数据分布的函数
Figure BDA0001691829670000232
计算生成网络损失系数。
S1308，分别将生成样本集和第二训练样本集输入至特征网络模型，得到生成样本集和第二训练样本集之间的特征误差。
依次将生成样本集中各生成样本及其对应的第二训练样本输入至特征网络模型，由特征网络模型提取生成样本和对应的第二训练样本的特征，并进行比较分析，得到各生成样本及其对应的第二训练样本之间的特征误差。
S1309，对生成样本集和第二训练样本集的像素进行分析，得到生成样本集和第二训练样本集之间的像素误差。
依次对生成样本集中各生成样本及其对应的第二训练样本的像素点进行误差分析，得到各生成样本及其对应的第二训练样本之间的像素误差。
S1310，根据生成网络损失系数、特征误差和像素误差更新生成网络模型的参数，得到更新后的生成网络模型。
具体地，根据生成网络损失系数、特征误差和像素误差，采用Adam算法对生成网络模型参数进行调整更新，得到更新后的生成网络模型。
S1311，获取当前迭代次数。
S1312，当迭代次数达到预设的迭代次数阈值时，将更新后的生成网络模型作为眼镜去除模型；否则，返回至S1302。
在本实施例中，每完成一次生成对抗网络训练就对迭代次数执行加一操作，并获取当前迭代次数，判断当前迭代次数是否达到迭代次数阈值，若未达到，则继续执行训练的相关步骤；否则，将更新后的生成网络模型作为眼镜去除模型，并退出训练步骤。
S1313，获取待识别人脸图像。
S1314，对待识别人脸图像进行眼镜识别检测。
S1315，当检测到待识别人脸图像佩戴有眼镜时，得到佩戴有眼镜的目标图像；否则，直接执行步骤S1322。
本实施例中，首先对待识别人脸图像进行眼镜识别检测，判断该待识别人脸图像是否佩戴有眼镜，当佩戴有眼镜时，则得到佩戴有眼镜的目标图像，以输入至眼镜去除模型进行眼镜去除处理后，再输入至人脸识别模型进行识别；若该待识别人脸图像未佩戴有眼镜，则直接输入至人脸识别模型进行识别。
S1316，将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络。
S1317，通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
S1318，通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重。
S1319，通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。
具体地，通过卷积-收缩激励网络的卷积层，对输入的目标图像进行卷积处理，得到目标图像的各特征通道的特征图；通过收缩激励层中的收缩层对特征图进行压缩，得到各特征通道的全局信息；通过收缩激励层中的激励层对全局信息进行学习生成各特征通道的权重；由加权层将各特征通道的特征图分别乘以对应的权重，生成加权特征图，加权特征图继续输入至下一层网络进行处理。
S1320，通过眼镜去除模型，得到与目标图像对应的去眼镜人脸图像。
通过述眼镜去除模型中的多个卷积-收缩激励网络以及其他网络层处理后，生成与目标图像对应的去眼镜人脸图像。
S1321，将去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
S1322，将待识别人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
本实施例通过传统的人脸识别模型，将去眼镜人脸图像或待识别人脸图像与预设人脸图像库进行匹配，得到匹配结果，根据匹配结果生成人脸识别结果。比如，当匹配到预设人脸图像库中的人脸图像时，生成识别成功的人脸识别结果；或者，当匹配到预设人脸图像库中的人脸图像时，获取所匹配的人脸图像的相关信息，根据相关信息生成人脸识别结果。当未匹配到预设人脸图像库中的人脸图像时，生成识别失败的人脸识别结果。
通过眼镜去除模型，去除待识别人脸图像中的眼镜，无需手动摘取眼镜之后再进行人脸图像采集以及人脸识别，提高了人脸识别效率，避免因眼镜干扰造成无法识别的问题。并且，通过由多个卷积-收缩激励网络构成的眼镜去除模型，能够增强目标图像的有效特征，抑制无效或效果小的特征，有效去除目标图像中的眼镜，同时确保去眼镜图像恢复出目标图像的关键特征，提高去眼镜图像的还原度和真实性，进一步保证了人脸识别结果的准确性。
图13为一个实施例中人脸识别方法的流程示意图。应该理解的是，虽然图13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图13中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一实施例中，如图14所示，提供一种图像处理装置，该装置包括：图像获取模块1401、输入模块1402、卷积模块1403、权重学习模块1404、加权模块1405和生成模块1406。
图像获取模块1401，用于获取佩戴有眼镜的目标图像。
其中，目标图像是指携带有眼镜佩戴信息，需要进行眼镜去除处理的图像。目标图像具体可以是佩戴有眼镜的人脸图像，也可以是从佩戴有眼镜的人脸图像中分割出的眼部图像。比如，当采用图像处理软件进行眼镜去除处理时，所获取的佩戴有眼镜的目标图像为输入至图像处理软件的人脸图像或分割出的眼部图像。
输入模块1402，用于将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络。
卷积模块1403，用于通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
具体地，卷积模块1403用于通过卷积-收缩激励网络的卷积层，对输入的目标图像进行卷积处理，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
权重学习模块1404，用于通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重。具体地，通过收缩激励层中的收缩层对特征图进行压缩，得到各特征通道的全局信息；通过收缩激励层中的激励层对全局信息进行学习生成各特征通道的权重。
加权模块1405，用于通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。加权模块1405利用加权层将各特征通道的特征图分别乘以对应的权重，生成加权特征图，加权特征图继续输入至下一层网络进行处理。
生成模块1406，用于通过眼镜去除模型，生成与目标图像对应的去眼镜图像。
眼镜去除模型为已经训练好的模型，具有眼镜去除效果，通过述眼镜去除模型中的多个卷积-收缩激励网络以及其他网络层处理后，生成与目标图像对应的去眼镜图像。
上述图像处理装置，通过获取佩戴有眼镜的目标图像，将目标图像输入至预先训练得到的眼镜去除模型，根据眼镜去除模型的输出得到对应的去眼镜图像。眼镜去除模型包括多个依次连接的卷积-收缩激励网络，充分学习不同特征通道的重要性得到对应权重，通过加权处理增强有效特征同时抑制无效或效果小的特征，有效去除目标图像中的眼镜，同时确保去眼镜图像恢复出目标图像的关键特征，提高去眼镜图像的还原度和真实性。
在一实施例中，图像处理装置还包括图像融合模块。在本实施例中，图像获取模块1401还用于获取佩戴有眼镜的人脸图像，根据眼部在人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像。图像融合模块，用于融合人脸图像和去眼镜图像，得到去除眼镜后的人脸图像。
具体地，图像获取模块1401通过对人脸图像进行目标检测，确定眼部所处人脸图像中的位置，基于所确定的位置分割出眼部图像，将分割出的眼部图像作为佩戴有眼镜的目标图像。通过眼镜去除模型生成与目标图像对应的去眼镜图像后，再由图像融合模块对人脸图像和去眼镜图像进行融合，将去眼镜图像替换所确定位置的眼部图像，得到去除眼镜后的完整的人脸图像。
在一实施例中，图像处理装置还包括模型训练模块，模型训练模型进一步包括：样本获取模块、生成样本模块、生成网络损失系数生成模块和更新迭代模块，其中：
样本获取模块，用于获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集。
在本实施例中，第一训练样本集中的第一训练样本和第二训练样本集中的第二训练样本均为全局的人脸图像。第二训练样本可以是通过各图像获取途径获取得到的未佩戴眼镜的训练图像，或者由已得到的未佩戴眼镜的训练图像进行复制得到，第一训练样本可以是通过对第二训练样本进行加眼镜处理得到；第一训练样本和第二训练样本还可以是通过人脸图像采集设备采集的大量图像样本，比如通过照相机、摄像头等采集设备采集得到对应图像样本。
生成样本模块，用于将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集。
具体地，将第一训练样本集中的第一训练样本依次输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，通过卷积-收缩激励网络的卷积层，依次得到第一训练样本的各特征通道的特征图，该特征图作为该卷积-收缩激励网络中收缩激励层的输入。通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重，进一步通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成与第一训练样本对应的加权特征图。基于生成网络模型对第一训练样本对应的加权特征图进一步处理，最终生成与第一训练样本对应的生成样本，所有生成样本即组成了生成样本集。
生成网络损失系数生成模块，用于分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到生成网络损失系数。
具体地，分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出调整判别网络模型的参数，得到更新后的判别网络模型；再将生成样本集输入至更新后的判别网络模型，根据更新后的判别网络模型的输出得到生成网络损失系数，以根据生成网络损失系数调整生成网络模型的参数。
更新迭代模块，用于根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型，满足迭代结束条件时，将更新后的生成网络模型作为眼镜去除模型。
在本实施例中，根据生成网络损失系数以及预设的生成网络模型参数调整方法，调整生成网络模型的参数，得到更新后的生成网络模型。判断是否满足预设的迭代结束条件，若满足，则结束迭代训练，将更新后的生成网络模型作为眼镜去除模型；若不满足，则触发生成样本模块继续执行相关操作。
在一实施例中，更新迭代模块具体还用于根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型；获取当前迭代次数；当迭代次数小于预设的迭代次数阈值时，触发生成样本模块继续执行相关操作；当迭代次数达到预设的迭代次数阈值时，将更新后的生成网络模型作为眼镜去除模型。
进一步地，生成网络损失系数生成模块具体包括：判别网络损失系数生成模块、判别网络更新模块和生成网络损失系数确定模块。其中：
判别网络损失系数生成模块，用于分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到判别网络损失系数。
具体地，判别网络损失系数生成模块用于分别将生成样本集和第二训练样本集输入至判别网络模型，得到生成样本集对应的第一概率和第二训练样本集的第二概率；根据第一概率和第二概率，并结合判别网络损失函数，得到判别网络损失系数。
判别网络更新模块，用于根据判别网络损失系数更新判别网络模型的参数，得到更新后的判别网络模型。
具体地，判别网络更新模块根据判别网络损失系数以及预设的判别网络模型参数调整方法，调整判别网络模型的参数，得到更新后的判别网络模型。其中，判别网络模型参数调整方法包括但不限于梯度下降法、反向传播算法等误差修正算法。比如，基于一阶梯度来优化随机目标函数的Adam算法。
生成网络损失系数确定模块，用于将生成样本集输入至更新后的判别网络模型，根据更新后的判别网络模型的输出得到生成网络损失系数。
在一实施例中，生成网络损失系数确定模块用于将生成样本集输入至更新后的判别网络模型，得到生成样本集对应的第三概率；根据第三概率，并结合生成网络损失函数，得到生成网络损失系数。
在一实施例中，图像处理装置还包括特征误差生成模块，用于分别将生成样本集和第二训练样本集输入至特征网络模型，得到生成样本集和第二训练样本集之间的特征误差。本实施例中，更新迭代模块还用于根据生成网络损失系数和特征误差更新生成网络模型的参数，得到更新后的生成网络模型。
通过对生成样本及其对应的第二训练样本进行特征误差的分析，促使最后得到的眼镜去除模型恢复的去眼镜图像进一步地保持鉴别信息，也即更准确地恢复出目标图像的关键特征，提高去眼镜图像的还原度，并且在人脸识别应用中，保证人脸识别的准确性。
在一实施例中，图像处理装置还包括像素误差生成模块，用于对生成样本集和第二训练样本集的像素进行分析，得到生成样本集和第二训练样本集之间的像素误差。本实施例中，更新迭代模块还用于根据生成网络损失系数和像素误差更新生成网络模型的参数，得到更新后的生成网络模型。
上述图像处理装置，利用眼镜去除模型充分学习不同特征通道的重要性得到对应权重，通过加权处理增强有效特征同时抑制无效或效果小的特征，有效去除目标图像中的眼镜，同时确保去眼镜图像恢复出目标图像的关键特征，提高去眼镜图像的还原度和真实性。
在一实施例中，如图15所示，提供一种人脸识别装置，该装置包括：目标图像获取模块1501、目标图像输入模块1502、特征卷积模块1503、特征权重学习模块1504、特征加权模块1505、人脸图像生成模块1506和匹配模块1507。其中：
目标图像获取模块1501，用于获取待识别人脸图像中佩戴有眼镜的目标图像。
其中，待识别人脸图像是指当前需要进行识别的全局人脸图像。具体地，目标图像获取模块1501获取待识别人脸图像中经眼镜识别检测后得到的佩戴有眼镜的目标图像或者已选定的佩戴有眼镜的目标图像，以将目标图像输入至眼镜去除模型进行眼镜去除处理。
目标图像输入模块1502，用于将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络。
特征卷积模块1503，用于通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
具体地，特征卷积模块1503用于通过卷积-收缩激励网络的卷积层，对输入的目标图像进行卷积处理，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入。
特征权重学习模块1504，用于通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重。具体地，通过收缩激励层中的收缩层对特征图进行压缩，得到各特征通道的全局信息；通过收缩激励层中的激励层对全局信息进行学习生成各特征通道的权重。
特征加权模块1505，用于通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图。特征加权模块1505利用加权层将各特征通道的特征图分别乘以对应的权重，生成加权特征图，加权特征图继续输入至下一层网络进行处理。
人脸图像生成模块1506，用于通过眼镜去除模型，得到与目标图像对应的去眼镜人脸图像。其中，去眼镜人脸图像是指与目标图像对应、且去除了眼镜之后的全局的人脸图像。具体地，当目标图像为全局的人脸图像时，去眼镜人脸图像是指目标图像去除眼镜后的图像；当目标图像为局部的眼部图像时，去眼镜人脸图像是指由去除眼镜后的目标图像和目标图像对应的待识别人脸图像融合的得到的人脸图像。
匹配模块1507，用于将去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。本实施例匹配模块1507通过传统的人脸识别模型，将去眼镜人脸图像与预设人脸图像库进行匹配，得到匹配结果，根据匹配结果生成人脸识别结果。
上述人脸识别装置，通过眼镜去除模型，去除待识别人脸图像中的眼镜，无需手动摘取眼镜之后再进行人脸图像采集以及人脸识别，提高了人脸识别效率，避免因眼镜干扰造成无法识别的问题。并且，通过由多个卷积-收缩激励网络构成的眼镜去除模型，能够增强目标图像的有效特征，抑制无效或效果小的特征，有效去除目标图像中的眼镜，同时确保去眼镜图像恢复出目标图像的关键特征，提高去眼镜图像的还原度和真实性，进一步保证了人脸识别结果的准确性。
在一实施例中，目标图像获取模块1501具体包括人脸图像获取模块、眼镜检测模块和目标图像确定模块。其中，人脸图像获取模块，用于获取待识别人脸图像；眼镜检测模块，用于对待识别人脸图像进行眼镜识别检测；目标图像确定模块，用于根据眼镜识别检测的结果，得到佩戴有眼镜的目标图像。
在一实施例中，目标图像确定模块具体包括眼部分割模块，眼部分割模块用于当检测到待识别人脸图像佩戴有眼镜时，根据眼部在待识别人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像。相应地，本实施例中，人脸图像生成模块1506进一步还用于通过眼镜去除模型，生成与目标图像对应的去眼镜图像；融合待识别人脸图像和去眼镜图像，得到去眼镜人脸图像。
上述人脸识别装置通过眼镜去除模型，去除待识别人脸图像中的眼镜，无需手动摘取眼镜之后再进行人脸图像采集以及人脸识别，提高了人脸识别效率，避免因眼镜干扰造成无法识别的问题。
图16示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端或服务器110。如图16所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法和/或人脸识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法和/或人脸识别方法。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置和人脸识别装置可以实现为一种计算机程序的形式，计算机程序可在如图16所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置和/或人脸识别装置的各个程序模块，比如，图14所示的图像获取模块1401、输入模块1402、卷积模块1403、权重学习模块1404、加权模块1405和生成模块1406。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取佩戴有眼镜的目标图像；
将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重；
通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图；
通过眼镜去除模型，生成与目标图像对应的去眼镜图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集；
将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集；
分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到生成网络损失系数；
根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型，并返回至将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型得到去除眼镜的生成样本集，直至满足迭代结束条件，将更新后的生成网络模型作为眼镜去除模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到判别网络损失系数；
根据判别网络损失系数更新判别网络模型的参数，得到更新后的判别网络模型；
将生成样本集输入至更新后的判别网络模型，根据更新后的判别网络模型的输出得到生成网络损失系数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
分别将生成样本集和第二训练样本集输入至判别网络模型，得到生成样本集对应的第一概率和第二训练样本集的第二概率；
根据第一概率和第二概率，并结合判别网络损失函数，得到判别网络损失系数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将生成样本集输入至更新后的判别网络模型，得到生成样本集对应的第三概率；
根据第三概率，并结合生成网络损失函数，得到生成网络损失系数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
分别将生成样本集和第二训练样本集输入至特征网络模型，得到生成样本集和第二训练样本集之间的特征误差；
根据生成网络损失系数和特征误差更新生成网络模型的参数，得到更新后的生成网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对生成样本集和第二训练样本集的像素进行分析，得到生成样本集和第二训练样本集之间的像素误差；
根据生成网络损失系数和像素误差更新生成网络模型的参数，得到更新后的生成网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型；
获取当前迭代次数；
当迭代次数小于预设的迭代次数阈值时，返回至将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜的生成样本集；
当迭代次数达到预设的迭代次数阈值时，将更新后的生成网络模型作为眼镜去除模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取佩戴有眼镜的人脸图像；
根据眼部在人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
融合人脸图像和去眼镜图像，得到去除眼镜后的人脸图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取待识别人脸图像中佩戴有眼镜的目标图像；
将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重；
通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图；
通过眼镜去除模型，得到与目标图像对应的去眼镜人脸图像；
将去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取待识别人脸图像；
对待识别人脸图像进行眼镜识别检测；
根据眼镜识别检测的结果，得到佩戴有眼镜的目标图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当检测到待识别人脸图像佩戴有眼镜时，根据眼部在待识别人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
通过眼镜去除模型，生成与目标图像对应的去眼镜图像；
融合待识别人脸图像和去眼镜图像，得到去眼镜人脸图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取佩戴有眼镜的目标图像；
将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重；
通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图；
通过眼镜去除模型，生成与目标图像对应的去眼镜图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集；
将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集；
分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到生成网络损失系数；
根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型，并返回至将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型得到去除眼镜的生成样本集，直至满足迭代结束条件，将更新后的生成网络模型作为眼镜去除模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
分别将生成样本集和第二训练样本集输入至生成对抗网络中的判别网络模型，根据判别网络模型的输出得到判别网络损失系数；
根据判别网络损失系数更新判别网络模型的参数，得到更新后的判别网络模型；
将生成样本集输入至更新后的判别网络模型，根据更新后的判别网络模型的输出得到生成网络损失系数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
分别将生成样本集和第二训练样本集输入至判别网络模型，得到生成样本集对应的第一概率和第二训练样本集的第二概率；
根据第一概率和第二概率，并结合判别网络损失函数，得到判别网络损失系数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将生成样本集输入至更新后的判别网络模型，得到生成样本集对应的第三概率；
根据第三概率，并结合生成网络损失函数，得到生成网络损失系数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
分别将生成样本集和第二训练样本集输入至特征网络模型，得到生成样本集和第二训练样本集之间的特征误差；
根据生成网络损失系数和特征误差更新生成网络模型的参数，得到更新后的生成网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对生成样本集和第二训练样本集的像素进行分析，得到生成样本集和第二训练样本集之间的像素误差；
根据生成网络损失系数和像素误差更新生成网络模型的参数，得到更新后的生成网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据生成网络损失系数更新生成网络模型的参数，得到更新后的生成网络模型；
获取当前迭代次数；
当迭代次数小于预设的迭代次数阈值时，返回至将第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜的生成样本集；
当迭代次数达到预设的迭代次数阈值时，将更新后的生成网络模型作为眼镜去除模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取佩戴有眼镜的人脸图像；
根据眼部在人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
融合人脸图像和去眼镜图像，得到去除眼镜后的人脸图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待识别人脸图像中佩戴有眼镜的目标图像；
将目标图像输入至基于生成对抗网络训练的眼镜去除模型；眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过卷积-收缩激励网络的卷积层，得到目标图像的各特征通道的特征图，特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过收缩激励层得到各特征通道的全局信息，对全局信息进行学习生成各特征通道的权重；
通过卷积-收缩激励网络的加权层，根据权重分别对各特征通道的特征图进行加权处理，生成加权特征图；
通过眼镜去除模型，得到与目标图像对应的去眼镜人脸图像；
将去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待识别人脸图像；
对待识别人脸图像进行眼镜识别检测；
根据眼镜识别检测的结果，得到佩戴有眼镜的目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当检测到待识别人脸图像佩戴有眼镜时，根据眼部在待识别人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
通过眼镜去除模型，生成与目标图像对应的去眼镜图像；
融合待识别人脸图像和去眼镜图像，得到去眼镜人脸图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种图像处理方法，其特征在于，所述方法包括：
获取佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像；
训练所述眼镜去除模型的方式，包括：
获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集；
将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集；
分别将所述生成样本集和所述第二训练样本集输入至所述生成对抗网络中的判别网络模型，根据所述判别网络模型的输出得到生成网络损失系数；
根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型；
所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型之前，还包括：
分别将所述生成样本集和所述第二训练样本集输入至特征网络模型，得到所述生成样本集和所述第二训练样本集之间的特征误差；
所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型，包括：
根据所述生成网络损失系数和所述特征误差更新所述生成网络模型的参数，得到更新后的生成网络模型。
2.根据权利要求1所述的方法，其特征在于，训练所述眼镜去除模型的方式，还包括：所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型之后还包括：
将所述更新后的生成网络模型返回至所述将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型得到去除眼镜的生成样本集，直至满足迭代结束条件，将所述更新后的生成网络模型作为眼镜去除模型。
3.根据权利要求2所述的方法，其特征在于，所述分别将所述生成样本集和所述第二训练样本集输入至所述生成对抗网络中的判别网络模型，根据所述判别网络模型的输出得到生成网络损失系数，包括：
分别将所述生成样本集和所述第二训练样本集输入至所述生成对抗网络中的判别网络模型，根据所述判别网络模型的输出得到判别网络损失系数；
根据所述判别网络损失系数更新所述判别网络模型的参数，得到更新后的判别网络模型；
将所述生成样本集输入至所述更新后的判别网络模型，根据所述更新后的判别网络模型的输出得到生成网络损失系数。
4.根据权利要求3所述的方法，其特征在于，所述分别将所述生成样本集和所述第二训练样本集输入至判别网络模型，根据所述判别网络模型的输出得到判别网络损失系数，包括：
分别将所述生成样本集和所述第二训练样本集输入至判别网络模型，得到所述生成样本集对应的第一概率和所述第二训练样本集的第二概率；
根据所述第一概率和所述第二概率，并结合判别网络损失函数，得到判别网络损失系数。
5.根据权利要求3所述的方法，其特征在于，所述将所述生成样本集输入至所述更新后的判别网络模型，根据所述更新后的判别网络模型的输出得到生成网络损失系数，包括：
将所述生成样本集输入至所述更新后的判别网络模型，得到所述生成样本集对应的第三概率；
根据所述第三概率，并结合生成网络损失函数，得到生成网络损失系数。
6.根据权利要求2所述的方法，其特征在于，所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型之前，还包括：
对所述生成样本集和所述第二训练样本集的像素进行分析，得到所述生成样本集和所述第二训练样本集之间的像素误差；
所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型，包括：
根据所述生成网络损失系数和所述像素误差更新所述生成网络模型的参数，得到更新后的生成网络模型。
7.根据权利要求2至6中任一项所述的方法，其特征在于，所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型，并返回至所述将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型得到去除眼镜的生成样本集，直至满足迭代结束条件，将所述更新后的生成网络模型作为眼镜去除模型，包括：
根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型；
获取当前迭代次数；
当所述迭代次数小于预设的迭代次数阈值时，返回至所述将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜的生成样本集；
当所述迭代次数达到预设的迭代次数阈值时，将所述更新后的生成网络模型作为眼镜去除模型。
8.根据权利要求1所述的方法，其特征在于，所述获取佩戴有眼镜的目标图像，包括：
获取佩戴有眼镜的人脸图像；
根据眼部在所述人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
所述方法还包括：融合所述人脸图像和所述去眼镜图像，得到去除眼镜后的人脸图像。
9.一种人脸识别方法，其特征在于，所述方法包括：
获取待识别人脸图像中佩戴有眼镜的目标图像；
将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
通过所述眼镜去除模型，得到与所述目标图像对应的去眼镜人脸图像；
将所述去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果；
训练所述眼镜去除模型的方式，包括：
获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集；
将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集；
分别将所述生成样本集和所述第二训练样本集输入至所述生成对抗网络中的判别网络模型，根据所述判别网络模型的输出得到生成网络损失系数；
根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型；
所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型之前，还包括：
分别将所述生成样本集和所述第二训练样本集输入至特征网络模型，得到所述生成样本集和所述第二训练样本集之间的特征误差；
所述根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型，包括：
根据所述生成网络损失系数和所述特征误差更新所述生成网络模型的参数，得到更新后的生成网络模型。
10.根据权利要求9所述的方法，其特征在于，所述获取待识别人脸图像中佩戴有眼镜的目标图像，包括：
获取待识别人脸图像；
对所述待识别人脸图像进行眼镜识别检测；
根据所述眼镜识别检测的结果，得到佩戴有眼镜的目标图像。
11.根据权利要求10所述的方法，其特征在于，所述根据所述眼镜识别检测的结果，得到佩戴有眼镜的目标图像，包括：
当检测到所述待识别人脸图像佩戴有眼镜时，根据眼部在所述待识别人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
所述通过所述眼镜去除模型，得到与所述目标图像对应的去眼镜人脸图像，包括：
通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像；
融合所述待识别人脸图像和所述去眼镜图像，得到去眼镜人脸图像。
12.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取佩戴有眼镜的目标图像；
输入模块，用于将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
卷积模块，用于通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
权重学习模块，用于通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
加权模块，用于通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
生成模块，用于通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像；
所述图像处理装置还包括模型训练模块，所述模型训练模块包括样本获取模块、生成样本模块、生成网络损失系数生成模块和更新迭代模块；
所述样本模块，用于获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集；
所述生成样本模块，用于将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集；
所述生成网络损失系数生成模块，用于分别将所述生成样本集和所述第二训练样本集输入至所述生成对抗网络中的判别网络模型，根据所述判别网络模型的输出得到生成网络损失系数；
所述更新迭代模块，用于根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型；
还包括：
特征误差生成模块，用于分别将所述生成样本集和所述第二训练样本集输入至特征网络模型，得到所述生成样本集和所述第二训练样本集之间的特征误差；
所述更新迭代模块，还用于根据所述生成网络损失系数和所述特征误差更新所述生成网络模型的参数，得到更新后的生成网络模型。
13.根据权利要求12所述的装置，其特征在于，
所述更新迭代模块，还用于将所述更新后的生成网络模型，并返回至所述将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型得到去除眼镜的生成样本集，直至满足迭代结束条件，将所述更新后的生成网络模型作为眼镜去除模型。
14.根据权利要求13所述的装置，其特征在于，所述生成网络损失系数生成模块，还包括：
判断网络损失系数生成模块，用于分别将所述生成样本集和所述第二训练样本集输入至所述生成对抗网络中的判别网络模型，根据所述判别网络模型的输出得到判别网络损失系数；
判断网络更新模块，用于根据所述判别网络损失系数更新所述判别网络模型的参数，得到更新后的判别网络模型；
生成网络损失系数确定模块，用于将所述生成样本集输入至所述更新后的判别网络模型，根据所述更新后的判别网络模型的输出得到生成网络损失系数。
15.根据权利要求14所述的装置，其特征在于，还包括：
所述判断网络损失系数生成模块，用于分别将所述生成样本集和所述第二训练样本集输入至判别网络模型，得到所述生成样本集对应的第一概率和所述第二训练样本集的第二概率；根据所述第一概率和所述第二概率，并结合判别网络损失函数，得到判别网络损失系数。
16.根据权利要求14所述的装置，其特征在于，包括：
所述生成网络损失系数确定模块，用于将所述生成样本集输入至所述更新后的判别网络模型，得到所述生成样本集对应的第三概率；根据所述第三概率，并结合生成网络损失函数，得到生成网络损失系数。
17.根据权利要求13所述的装置，其特征在于，还包括：
像素误差生成模块，用于对所述生成样本集和所述第二训练样本集的像素进行分析，得到所述生成样本集和所述第二训练样本集之间的像素误差；
所述更新迭代模块，还用于根据所述生成网络损失系数和所述像素误差更新所述生成网络模型的参数，得到更新后的生成网络模型。
18.根据权利要求12至17中任一项所述的装置，其特征在于，
所述更新迭代模块，还用于根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型；获取当前迭代次数；当所述迭代次数小于预设的迭代次数阈值时，返回至所述将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜的生成样本集；当所述迭代次数达到预设的迭代次数阈值时，将所述更新后的生成网络模型作为眼镜去除模型。
19.根据权利要求12所述的装置，其特征在于，还包括：
所述图像获取模块，还用于获取佩戴有眼镜的人脸图像；根据眼部在所述人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
图像融合模块，用于融合所述人脸图像和所述去眼镜图像，得到去除眼镜后的人脸图像。
20.一种人脸识别装置，其特征在于，所述装置包括：
目标图像获取模块，用于获取待识别人脸图像中佩戴有眼镜的目标图像；
目标图像输入模块，用于将所述目标图像输入至基于生成对抗网络训练的眼镜去除模型；所述眼镜去除模型包括多个依次连接的卷积-收缩激励网络；
特征卷积模块，用于通过所述卷积-收缩激励网络的卷积层，得到所述目标图像的各特征通道的特征图，所述特征图作为该卷积-收缩激励网络中收缩激励层的输入；
特征权重学习模块，用于通过所述收缩激励层得到各特征通道的全局信息，对所述全局信息进行学习生成所述各特征通道的权重；
特征加权模块，用于通过所述卷积-收缩激励网络的加权层，根据所述权重分别对所述各特征通道的特征图进行加权处理，生成加权特征图；
人脸图像生成模块，用于通过所述眼镜去除模型，得到与所述目标图像对应的去眼镜人脸图像；
匹配模块，用于将所述去眼镜人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果；
所述图像处理装置还包括模型训练模块，所述模型训练模块包括样本获取模块、生成样本模块、生成网络损失系数生成模块和更新迭代模块；
所述样本模块，用于获取由佩戴有眼镜的训练图像组成的第一训练样本集和由未佩戴眼镜的训练图像组成的第二训练样本集；
所述生成样本模块，用于将所述第一训练样本集输入至生成对抗网络中包括多个依次连接的卷积-收缩激励网络的生成网络模型，得到去除眼镜后的生成样本集；
所述生成网络损失系数生成模块，用于分别将所述生成样本集和所述第二训练样本集输入至所述生成对抗网络中的判别网络模型，根据所述判别网络模型的输出得到生成网络损失系数；
所述更新迭代模块，用于根据所述生成网络损失系数更新所述生成网络模型的参数，得到更新后的生成网络模型；
还包括：
特征误差生成模块，用于分别将所述生成样本集和所述第二训练样本集输入至特征网络模型，得到所述生成样本集和所述第二训练样本集之间的特征误差；
所述更新迭代模块，还用于根据所述生成网络损失系数和所述特征误差更新所述生成网络模型的参数，得到更新后的生成网络模型。
21.根据权利要求20所述的装置，其特征在于，所述目标图像获取模块，还包括：
人脸图像获取模块，用于获取待识别人脸图像；
眼镜检测模块，用于对所述待识别人脸图像进行眼镜识别检测；
目标图像确定模块，用于根据所述眼镜识别检测的结果，得到佩戴有眼镜的目标图像。
22.根据权利要求21所述的装置，其特征在于，所述目标图像确定模块还包括：
眼部分割模块，用于当检测到所述待识别人脸图像佩戴有眼镜时，根据眼部在所述待识别人脸图像中的位置，分割出眼部图像，得到佩戴有眼镜的目标图像；
所述人脸图像生成模块，还用于通过所述眼镜去除模型，生成与所述目标图像对应的去眼镜图像；融合所述待识别人脸图像和所述去眼镜图像，得到去眼镜人脸图像。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN201810594760.8A 2018-06-11 2018-06-11 图像处理方法、人脸识别方法、装置和计算机设备 Active CN108846355B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810594760.8A CN108846355B (zh) 2018-06-11 2018-06-11 图像处理方法、人脸识别方法、装置和计算机设备
PCT/CN2019/085031 WO2019237846A1 (zh) 2018-06-11 2019-04-29 图像处理方法、人脸识别方法、装置和计算机设备
US16/991,878 US11403876B2 (en) 2018-06-11 2020-08-12 Image processing method and apparatus, facial recognition method and apparatus, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810594760.8A CN108846355B (zh) 2018-06-11 2018-06-11 图像处理方法、人脸识别方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN108846355A CN108846355A (zh) 2018-11-20
CN108846355B true CN108846355B (zh) 2020-04-28

Family

ID=64211497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810594760.8A Active CN108846355B (zh) 2018-06-11 2018-06-11 图像处理方法、人脸识别方法、装置和计算机设备

Country Status (3)

Country Link
US (1) US11403876B2 (zh)
CN (1) CN108846355B (zh)
WO (1) WO2019237846A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407912B (zh) * 2016-08-31 2019-04-02 腾讯科技（深圳）有限公司 一种人脸验证的方法及装置
CN108846355B (zh) * 2018-06-11 2020-04-28 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN111274855B (zh) * 2018-12-05 2024-03-26 北京猎户星空科技有限公司 图像处理方法、装置、机器学习模型训练方法及装置
CN111414922B (zh) * 2019-01-07 2022-11-15 阿里巴巴集团控股有限公司 特征提取方法、图像处理方法、模型训练方法及装置
CN110021052B (zh) * 2019-04-11 2023-05-30 北京百度网讯科技有限公司 用于生成眼底图像生成模型的方法和装置
CN110135301B (zh) * 2019-04-30 2022-02-22 百度在线网络技术（北京）有限公司 交通牌识别方法、装置、设备和计算机可读介质
US11494616B2 (en) * 2019-05-09 2022-11-08 Shenzhen Malong Technologies Co., Ltd. Decoupling category-wise independence and relevance with self-attention for multi-label image classification
CN111986278B (zh) 2019-05-22 2024-02-06 富士通株式会社 图像编码装置、概率模型生成装置和图像压缩系统
CN110008940B (zh) * 2019-06-04 2020-02-11 深兰人工智能芯片研究院（江苏）有限公司 一种图像中移除目标物体的方法、装置及电子设备
CN110321805B (zh) * 2019-06-12 2021-08-10 华中科技大学 一种基于时序关系推理的动态表情识别方法
CN110569826B (zh) * 2019-09-18 2022-05-24 深圳市捷顺科技实业股份有限公司 一种人脸识别方法、装置、设备及介质
CN110675312B (zh) * 2019-09-24 2023-08-29 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及存储介质
CN110752028A (zh) * 2019-10-21 2020-02-04 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备以及存储介质
KR20210059060A (ko) * 2019-11-13 2021-05-25 삼성디스플레이 주식회사 검출 장치
CN112836554A (zh) * 2019-11-25 2021-05-25 广东博智林机器人有限公司 图像校验模型的构建方法、图像校验方法和装置
CN110991325A (zh) * 2019-11-29 2020-04-10 腾讯科技（深圳）有限公司 一种模型训练的方法、图像识别的方法以及相关装置
CN111210409B (zh) * 2019-12-30 2022-08-23 浙江大学 一种基于条件生成对抗网络的结构损伤识别方法
CN111241614B (zh) * 2019-12-30 2022-08-23 浙江大学 基于条件生成对抗网络模型的工程结构荷载反演方法
CN111241985B (zh) * 2020-01-08 2022-09-09 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
CN111325317B (zh) * 2020-01-21 2023-12-12 北京空间机电研究所 一种基于生成对抗网络的波前像差确定方法及装置
CN111340137A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 图像识别方法、装置及存储介质
CN113688840A (zh) * 2020-05-19 2021-11-23 武汉Tcl集团工业研究院有限公司 图像处理模型的生成方法、处理方法、存储介质及终端
CN111556278B (zh) * 2020-05-21 2022-02-01 腾讯科技（深圳）有限公司 一种视频处理的方法、视频展示的方法、装置及存储介质
CN111861952B (zh) * 2020-06-05 2023-11-24 北京嘀嘀无限科技发展有限公司 一种图像生成模型、卡号识别模型的训练方法及装置
CN111709497B (zh) * 2020-08-20 2020-11-20 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
US11263436B1 (en) 2020-08-27 2022-03-01 The Code Dating LLC Systems and methods for matching facial images to reference images
CN112102193B (zh) * 2020-09-15 2024-01-23 北京金山云网络技术有限公司 图像增强网络的训练方法、图像处理方法及相关设备
CN112215180B (zh) * 2020-10-20 2024-05-07 腾讯科技（深圳）有限公司 一种活体检测方法及装置
US11482041B2 (en) * 2020-10-21 2022-10-25 Adobe Inc. Identity obfuscation in images utilizing synthesized faces
CN112215840A (zh) * 2020-10-30 2021-01-12 上海商汤临港智能科技有限公司 图像检测、行驶控制方法、装置、电子设备及存储介质
CN112364827B (zh) * 2020-11-30 2023-11-10 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112711984B (zh) * 2020-12-09 2022-04-12 北京航空航天大学 注视点定位方法、装置和电子设备
CN112561785B (zh) * 2020-12-21 2021-11-16 东华大学 基于风格迁移的丝绸文物图像数据扩充方法
CN112836623B (zh) * 2021-01-29 2024-04-16 北京农业智能装备技术研究中心 设施番茄农事决策辅助方法及装置
CN112991171B (zh) * 2021-03-08 2023-07-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN113052068B (zh) * 2021-03-24 2024-04-30 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113191193B (zh) * 2021-03-30 2023-08-04 河海大学 一种基于图和格子的卷积方法
CN113191404B (zh) * 2021-04-16 2023-12-12 深圳数联天下智能科技有限公司 发型迁移模型训练方法、发型迁移方法及相关装置
CN113205131A (zh) * 2021-04-28 2021-08-03 阿波罗智联(北京)科技有限公司 图像数据的处理方法、装置、路侧设备和云控平台
CN113033518B (zh) * 2021-05-25 2021-08-31 北京中科闻歌科技股份有限公司 图像检测方法、装置、电子设备及存储介质
CN113382243B (zh) * 2021-06-11 2022-11-01 上海壁仞智能科技有限公司 图像压缩方法、装置、电子设备和存储介质
CN113255831A (zh) * 2021-06-23 2021-08-13 长沙海信智能系统研究院有限公司 样本处理方法、装置、设备及计算机存储介质
CN113421191A (zh) * 2021-06-28 2021-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN113486807B (zh) * 2021-07-08 2024-02-27 网易（杭州）网络有限公司 脸部的检测模型训练方法、识别方法、装置、介质和设备
CN113688873B (zh) * 2021-07-28 2023-08-22 华东师范大学 一种具有直观交互能力的矢量路网生成方法
CN113820693B (zh) * 2021-09-20 2023-06-23 西北工业大学 基于生成对抗网络的均匀线列阵阵元失效校准方法
CN113688799B (zh) * 2021-09-30 2022-10-04 合肥工业大学 一种基于改进深度卷积生成对抗网络的人脸表情识别方法
CN113888443A (zh) * 2021-10-21 2022-01-04 福州大学 一种基于自适应层实例归一化gan的演唱会拍摄方法
CN114301850B (zh) * 2021-12-03 2024-03-15 成都中科微信息技术研究院有限公司 一种基于生成对抗网络与模型压缩的军用通信加密流量识别方法
CN114495222A (zh) * 2022-01-20 2022-05-13 杭州登虹科技有限公司 图像处理模型的构建方法与系统、图像处理方法及系统
CN114627005B (zh) * 2022-02-16 2024-04-12 武汉大学 一种雨密度分类引导的双阶段单幅图像去雨方法
CN115082288B (zh) * 2022-05-16 2023-04-07 西安电子科技大学 基于偏微分方程启发的sar图像到光学图像的转换方法
CN114758136B (zh) * 2022-06-13 2022-10-18 深圳比特微电子科技有限公司 目标去除模型建立方法、装置及可读存储介质
CN115272136B (zh) * 2022-09-27 2023-05-05 广州卓腾科技有限公司 基于大数据的证件照眼镜反光消除方法、装置、介质及设备
CN116863279B (zh) * 2023-09-01 2023-11-21 南京理工大学 用于移动端模型轻量化的基于可解释指导的模型蒸馏方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
CN107220600B (zh) * 2017-05-17 2019-09-10 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107085716B (zh) * 2017-05-24 2021-06-04 复旦大学 基于多任务生成对抗网络的跨视角步态识别方法
CN107392973B (zh) * 2017-06-06 2020-01-10 中国科学院自动化研究所 像素级手写体汉字自动生成方法、存储设备、处理装置
CN107679483A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 号牌识别方法及装置
CN107945118B (zh) * 2017-10-30 2021-09-28 南京邮电大学 一种基于生成式对抗网络的人脸图像修复方法
CN109934062A (zh) * 2017-12-18 2019-06-25 比亚迪股份有限公司 眼镜摘除模型的训练方法、人脸识别方法、装置和设备
US20210219839A1 (en) * 2018-05-31 2021-07-22 Vuno, Inc. Method for classifying fundus image of subject and device using same
CN108846355B (zh) * 2018-06-11 2020-04-28 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备

Also Published As

Publication number Publication date
CN108846355A (zh) 2018-11-20
WO2019237846A1 (zh) 2019-12-19
US11403876B2 (en) 2022-08-02
US20200372243A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
CN108846355B (zh) 图像处理方法、人脸识别方法、装置和计算机设备
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN110399799B (zh) 图像识别和神经网络模型的训练方法、装置和系统
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN110490076B (zh) 活体检测方法、装置、计算机设备和存储介质
EP2676224B1 (en) Image quality assessment
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN111611873A (zh) 人脸替换检测方法及装置、电子设备、计算机存储介质
CN111191568A (zh) 翻拍图像识别方法、装置、设备及介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN112232971A (zh) 反欺诈检测方法、装置、计算机设备和存储介质
CN115205547A (zh) 一种目标图像的检测方法、装置、电子设备及存储介质
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN111444957B (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
CN112308035A (zh) 图像检测方法、装置、计算机设备和存储介质
CN116975828A (zh) 一种人脸融合攻击检测方法、装置、设备及存储介质
CN111274965A (zh) 人脸识别方法、装置、计算机设备和存储介质
Banerjee et al. Spoofing PRNU patterns of iris sensors while preserving iris recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201012

Address after: Room 2012, building 12, 13, 15, fangmaoyuan (phase II), 1177 Huanhu Road, Tianding street, Yuelu District, Changsha City, Hunan Province

Patentee after: Tencent cloud computing (Changsha) Co., Ltd

Address before: 518000 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right