CN108241855A - 图像生成方法和装置 - Google Patents

图像生成方法和装置 Download PDF

Info

Publication number
CN108241855A
CN108241855A CN201810007794.2A CN201810007794A CN108241855A CN 108241855 A CN108241855 A CN 108241855A CN 201810007794 A CN201810007794 A CN 201810007794A CN 108241855 A CN108241855 A CN 108241855A
Authority
CN
China
Prior art keywords
image
face image
sample
registered face
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810007794.2A
Other languages
English (en)
Other versions
CN108241855B (zh
Inventor
翁仁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810007794.2A priority Critical patent/CN108241855B/zh
Publication of CN108241855A publication Critical patent/CN108241855A/zh
Application granted granted Critical
Publication of CN108241855B publication Critical patent/CN108241855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了图像生成方法和装置。该方法的一具体实施方式包括：获取待处理人脸图像；将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；图像重构模型是利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像。该实施方式实现了人脸图像质量的优化。

Description

图像生成方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及图像处理技术领域，尤其涉及图像生成方法和装置。
背景技术
随着计算机技术的发展，图像处理技术应用到了越来越多的领域。其中基于人脸图像的人脸识别在门禁、监控、接入控制、人机交互等场景的身份验证中具有广泛的应用。在获取、传输、存储人脸图像信息过程中，受到各种因素影响，会形成质量较差的人脸图像。这些因素包括环境光源、噪声、成像系统模糊降质、几何失真等等。如果这些质量较差的图像直接用于后续的处理，例如特征提取、人脸识别、目标跟踪等，得到的结果精度难以保证。因此，需要对这些质量较差的人脸图像进行复原或重构处理。
现有的人脸图像复原技术大都基于对图像降质因素的分析和模拟复原，通过构建包含图像降质因素的数学模型来还原图像。例如对模糊人脸图像的复原采用基于逆滤波、小波变换等方法构建包含模糊核的数学模型来估计模糊参数。然而，影响图像质量的因素通常是多方面的，在现有的人脸图像复原技术的基础上，需要构建包含多种降质因素的数学模型。
发明内容
本申请实施例提出了图像生成方法和装置。
第一方面，本申请实施例提供了一种图像生成方法，包括：获取待处理人脸图像；将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；其中，图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，损失函数的值为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值。
在一些实施例中，上述方法还包括：采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数，训练得出图像重构模型，包括：获取样本人脸图像集合和预设的注册人脸图像集合，并构建损失函数；执行比对步骤，比对步骤包括：将样本人脸图像集合中的各样本人脸图像输入图像重构模型对应的神经网络进行重构，生成各样本人脸图像的重构图像，基于各样本人脸图像的重构图像和对应的第一注册人脸图像、以及预设的注册人脸图像集合中样本人脸图像对应的各第二注册人脸图像，判断损失函数的值是否满足预设的收敛条件；若比对步骤的判断结果为否，基于损失函数，采用梯度下降法更新图像重构模型对应的神经网络的参数，执行比对步骤；若比对步骤的判断结果为是，输出图像重构模型的参数。
在一些实施例中，上述样本人脸图像集合和预设的注册人脸图像集合中的图像已标记了所包含的人脸图像信息对应的用户对象的身份标识；以及上述基于各样本人脸图像的重构图像和对应的第一注册人脸图像、以及预设的注册人脸图像集合中样本人脸图像对应的各第二注册人脸图像，判断损失函数的值是否满足预设的收敛条件，包括：对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异；对每个样本人脸图像，根据已标记的所包含的人脸图像信息对应的用户对象的身份标识，确定注册人脸图像集合中样本人脸图像对应的第一注册人脸图像和注册人脸图像集合中样本人脸图像对应的第二注册人脸图像；累加各样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异，得到第一差异值；累加各样本人脸图像的重构图像与对应的各第二注册人脸图像之间的差异，得到第二差异值；计算第二差异值与第一差异值之间的差值，得出损失函数的值。
在一些实施例中，上述对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异，包括：对每个样本人脸图像，将样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像输入人脸识别模型进行特征提取；基于提取出的特征计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异。
在一些实施例中，上述图像重构模型包括特征提取网络和重构网络；特征提取网络包括多层卷积层，用于通过卷积运算从输入图像重构模型的图像提取出多个特征图；重构网络包括多层反卷积层，用于对特征提取网络输出的特征图进行反卷积运算，以生成重构图像。
第二方面，本申请实施例提供了一种图像生成装置，包括：获取单元，用于获取待处理人脸图像；生成单元，用于将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；其中，图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，损失函数的值为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值。
在一些实施例中，上述装置还包括：训练单元，用于采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数，训练得出图像重构模型；训练单元用于按照如下方式训练得出图像重构模型：获取样本人脸图像集合和预设的注册人脸图像集合，并构建损失函数；执行比对步骤，比对步骤包括：将样本人脸图像集合中的各样本人脸图像输入图像重构模型对应的神经网络进行重构，生成各样本人脸图像的重构图像，基于各样本人脸图像的重构图像和对应的第一注册人脸图像、以及预设的注册人脸图像集合中样本人脸图像对应的各第二注册人脸图像，判断损失函数的值是否满足预设的收敛条件；若比对步骤的判断结果为否，基于损失函数，采用梯度下降法更新图像重构模型对应的神经网络的参数，执行比对步骤；若比对步骤的判断结果为是，输出图像重构模型的参数。
在一些实施例中，上述样本人脸图像集合和预设的注册人脸图像集合中的图像已标记了所包含的人脸图像信息对应的用户对象的身份标识；以及上述训练单元进一步用于按照如下方式判断损失函数的值是否满足预设的收敛条件：对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异；对每个样本人脸图像，根据已标记的所包含的人脸图像信息对应的用户对象的身份标识，确定注册人脸图像集合中样本人脸图像对应的第一注册人脸图像和注册人脸图像集合中样本人脸图像对应的第二注册人脸图像；累加各样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异，得到第一差异值；累加各样本人脸图像的重构图像与对应的各第二注册人脸图像之间的差异，得到第二差异值；计算第二差异值与第一差异值之间的差值，得出损失函数的值。
在一些实施例中，上述训练单元用于按照如下方式对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异：对每个样本人脸图像，将样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像输入人脸识别模型进行特征提取；基于提取出的特征计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异。
在一些实施例中，上述图像重构模型包括特征提取网络和重构网络；特征提取网络包括多层卷积层，用于通过卷积运算从输入图像重构模型的图像提取出多个特征图；重构网络包括多层反卷积层，用于对特征提取网络输出的特征图进行反卷积运算，以生成重构图像。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的图像生成方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的图像生成方法。
本申请上述实施例的图像生成方法和装置，通过获取待处理人脸图像；然后将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；其中，图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，损失函数的值为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值，实现了人脸图像质量的优化。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的图像生成方法的一个实施例的流程图；
图3是根据本申请的图像生成方法中图像重构模型的训练方法的一个实施例的流程图；
图4是图3所示图像重构模型的训练方法的一个实施例的原理示意图；
图5是根据本申请实施例的图像生成装置的一个结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的图像生成方法或图像生成装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如摄影摄像类应用、图像处理类应用、搜索类应用等。
终端设备101、102、103可以是具有图像采集功能的电子设备，例如可以是监控摄像头、包含摄像头的门禁设备，也可以是具有显示屏、摄像头并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的图像进行处理的图像处理服务器。图像处理服务器可以对接收到的待处理图像等进行分析等处理，并将处理结果(例如重构图像)反馈给终端设备。
需要说明的是，本申请实施例所提供的图像生成方法可以由服务器105执行，相应地，图像生成装置可以设置于服务器105中。
需要指出的是，服务器105的本地也可以直接存储待处理图像，服务器105可以直接提取本地的待检测图像进行检测，此时，示例性系统架构100可以不存在终端设备101、102、103和网络104。
还需要指出的是，终端设备101、102、103中也可以安装有图像处理类应用，终端设备101、102、103也可以基于图像处理类应用对待处理图像进行人脸检测，此时，图像生成方法也可以由终端设备101、102、103执行，相应地，图像生成装置也可以设置于终端设备101、102、103中。此时，示例性系统架构100可以不存在服务器105和网络104。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。例如服务器可以为集群式的服务器，包括部署了不同进程的多台服务器。
继续参考图2，其示出了根据本申请的图像生成方法的一个实施例的流程200。该图像生成方法，包括以下步骤：
步骤201，获取待处理人脸图像。
在本实施例中，上述图像生成方法运行于其上的电子设备(例如图1所示的终端设备或服务器)可以获取待处理人脸图像。待处理人脸图像可以是在较差的环境中采集到的非正面光源人脸图像，例如在暗光下采集的人脸图像；或者可以是由于所采集的人脸对象的非配合状态采集到的模糊人脸图像，例如在人脸对象运动过程中采集到的人脸图像；或者可以是在非可见光源下采集到的人脸图像，例如红外人脸图像；还可以是其他的包含噪声或信息量较少的人脸图像。
当待处理人脸图像存储于上述电子设备中时，上述电子设备可以从存储器中查找出待处理人脸图像。当待处理人脸图像存储于其他设备中时，上述电子设备可以通过有线或无线的连接方式与存储待处理人脸图像的设备建立通信连接，可以响应于接收到终端设备发送的图像处理请求而接收终端设备发送的待处理人脸图像；也可以主动向存储待处理人脸图像或采集待处理人脸图像的终端设备发出获取请求，接收终端设备响应于该获取请求而传输的待处理人脸图像。
在一些示例性的场景中，监控中心在调取人脸图像之后，监控人员可以启动图像优化应用，将人脸图像发送至后台服务器进行优化处理，图像优化应用的后台服务器可以获取该人脸图像。用户在使用手机等移动终端拍摄人脸图像之后，可以启动图像处理软件，对图像进行处理，该移动终端可以对获取用户拍摄的人脸图像作为待处理人脸图像，该移动终端设备也可以向图像处理软件的服务器发送拍摄到的待处理人脸图像，图像处理软件的服务器可以接收该待处理人脸图像。
步骤202，将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像。
在本实施例中，图像重构模型用于对低质量的人脸图像进行重构，得到图像质量较好的重构图像。可以将获取到的待处理人脸图像输入图像重构模型，即可生成待处理人脸图像的重构图像。
上述图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的。在这里，预设的注册人脸图像集合包括多个用户对象的注册人脸图像。注册人脸图像可以是用户对象在系统中注册时的人脸图像，注册人脸图像可以作为“证件照”，通常为均匀光源下、聚焦良好的高分辨率正面可见光图像。样本人脸图像集合包括作为训练样本的多幅样本人脸图像，可以包括不同用户对象的多幅人脸图像。样本人脸图像集合至少可以包括成像质量较差的人脸图像。其中，人脸图像质量可以通过计算图像的熵等方法来评价。
上述预设的注册人脸图像集合可以包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像。换言之，预设的注册人脸图像集合中包括与样本人脸图像集合中的每个样本人脸图像对应同一用户对象的注册人脸图像，可选地，预设的样本人脸图像集合中还可以包括与样本人脸图像集合中的任意一个样本人脸图像均对应不同用户对象的注册人脸图像。
损失函数可以是基于样本人脸图像的重构图像与第一注册人脸图像的差异和样本人脸图像的重构图像与第二注册人脸图像的差异构建的，损失函数的值可以为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值。样本人脸图像的重构图像与第二注册人脸图像的差异越大，与第一注册人脸图像的差异越小，用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值越小，损失函数的值越小。
在训练上述图像重构模型过程中，可以不断调整模型参数，使得损失函数的值最小，即通过调整模型参数使样本图像的重构图像与对应的第一注册人脸图像之间的差异尽量小，同时样本图像的重构图像与对应的第二注册人脸图像之间的差异尽量大。这样，训练得到的图像重构模型能够更有效地重构出包含与同一用户的注册人脸图像更接近、且更区别于其他用户的人脸特征的图像。
上述图像重构模型可以采用多种数学模型构建，例如逻辑回归、隐马尔可夫模型、基于神经网络的模型等。
上述图像重构模型可以将输入的待处理人脸图像重构为与预设的注册人脸图像集合中的注册人脸图像尺寸相同的人脸图像，不仅可以应用于将小尺寸的图像放大，提升分辨率，还可以应用于图像有效信息的重建，可以重构出图像中的人脸特征细节，还可以应用于将非可见光图像重构为可见光图像，拓展图像的应用范围。
本申请上述实施例提供的图像生成方法，通过获取待处理人脸图像，然后将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；其中，图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，损失函数的值为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值，实现了人脸图像的优化。
并且，在上述生成人脸图像的方法的实施例中，无需分析待处理人脸图像的劣化原因，在构建图像重构模型时也无需考虑降质因素，降低了图像重构模型的构建难度，提升了图像重构模型的灵活性。
在本实施例的一些可选的实现方式中，图像重构模型可以包括特征提取网络和重构网络。特征提取网络可以是卷积神经网络，包括多层卷积层，用于通过卷积运算从输入图像重构模型的图像提取出多个特征图。重构网络可以为反卷积神经网络，包括多层反卷积层，用于对特征提取网络输出的特征图进行反卷积运算，以生成重构图像。
通过利用包含特征提取网络和重构网络的图像重构模型对待处理人脸图像进行特征图提取、以及基于特征图重构，可以重构出与待处理人脸图像包含的相同用户对象的注册人脸图像的质量相似的重构图像。
在本实施例的一些可选的实现方式中，上述方法还可以包括：采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数，训练得出图像重构模型。请参考图3，其示出了根据本申请的图像生成方法中图像重构模型的训练方法的一个实施例的流程300，该图像重构模型的训练方法包括以下步骤：
步骤301，获取样本人脸图像集合和预设的注册人脸图像集合，并构建损失函数。
在本实施例中，上述图像生成方法运行于其上的电子设备可以获取构建的样本人脸图像集合，以及预设的注册人脸图像集合。可以首先获取在身份认证系统中注册的用户的注册人脸图像，构建预设的注册人脸图像集合。然后可以采集预设的注册人脸图像对应的用户在不同的拍摄角度、光照条件、不同配合度(例如眼睛睁开程度、头部姿态等)、不同分辨率下的人脸图像作为样本人脸图像，来构建样本人脸图像集合。
然后可以基于图像重构模型对样本人脸图像进行重构生成的重构图像与注册人脸图像集合中对应的第一注册人脸图像的差异和与注册人脸图像集合中对应的第一注册人脸图像的差异构建损失函数。具体地，损失函数L可以按照式(1)构建：
其中，Ii’表示第i个用户的样本人脸图像的重构图像，Ii0表示第i个用户的注册人脸图像，Ij0表示第j个用户的注册人脸图像，在这里，Ii0表示第i个用户的第一注册人脸图像，Ij0表示第i个用户的第二注册人脸图像；diff(Ii’-Ii0)表示用于计算第i个用户的样本人脸图像的重构图像与对应的第i个用户的注册人脸图像(即对应的第一注册人脸图像)之间的差异的函数，diff(Ii’-Ij0)表示用于计算第i个用户的样本人脸图像的重构图像与第j个用户的注册人脸图像(即对应的第二注册人脸图像)之间的差异的函数。
步骤302，执行比对步骤。
具体地，比对步骤302包括步骤3021和步骤3022。
首先，执行步骤3021，将样本人脸图像集合中的各样本人脸图像输入图像重构模型对应的神经网络进行重构，生成各样本人脸图像的重构图像。
可以基于神经网络构建图像重构模型。在第一次执行比对步骤时，可以设定图像重构模型对应的神经网络的初始参数，来初始化图像重构模型。在执行后续的比对步骤时，可以确定图像重构模型对应的神经网络的参数为上一次执行比对步骤之后更新的参数。图像重构模型对应的神经网络的参数可以包括神经网络中的各层所执行的运算所需要的参数，例如若图像重构模型是基于卷积神经网络构建的，则图像重构模型的参数包括卷积神经网络中各卷积层的卷积核。
可以将样本人脸图像输入图像重构模型，利用神经网络对样本人脸图像进行重构，以提升人脸图像的质量。举例来说，在重构过程中，图像重构模型可以扩大样本人脸图像的尺寸，估算扩充后增加的像素的灰度值；图像重构模型也可以对样本人脸图像中各像素位置的灰度值进行变换，加深纹理、轮廓等特征。
然后，执行步骤3022，基于各样本人脸图像的重构图像和对应的第一注册人脸图像、以及预设的注册人脸图像集合中样本人脸图像对应的各第二注册人脸图像，判断损失函数的值是否满足预设的收敛条件。
在得到每个样本图像的重构图像之后，可以利用以上公式(1)计算损失函数的值。其中，diff(Ii’-Ii0)具体可以为图像Ii’与图像Ii0的差异，可以为图像Ii’与图像Ii0的对应像素位置的灰度差的累加值，也可以为图像Ii’与图像Ii0的相似度的倒数；相应地，diff(Ii’-Ij0)具体可以为图像Ii’与图像Ii0的差异，可以为图像Ii’与图像Ij0的对应像素位置的灰度差的累加值，也可以为图像Ii’与图像Ij0的相似度的倒数。
需要说明的是，图像Ii’与图像Ii0的差异、图像Ii’与图像Ij0的差异的计算方式不限于以上描述的方法，现有的两幅图像间差异的计算方法均可以用于计算本实施例中的图像Ii’与图像Ii0的差异、图像Ii’与图像Ij0的差异。
在计算得出损失函数的值之后，可以判断损失函数的值是否满足预设的收敛条件。预设的收敛条件可以是小于预设的第一阈值，也可以是在最近N次(N为大于1的整数)比对步骤中损失函数的值的变化小于预设的第二阈值。
在一些可选的实现方式中，上述样本人脸图像集合和预设的注册人脸图像集合中的图像已标记了所包含的人脸图像信息对应的用户对象的身份标识，则步骤3022可以按照如下方式执行：
首先，对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异；然后对每个样本人脸图像，根据已标记的所包含的人脸图像信息对应的用户对象的身份标识，确定注册人脸图像集合中样本人脸图像对应的第一注册人脸图像和注册人脸图像集合中样本人脸图像对应的第二注册人脸图像；而后累加各样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异，得到第一差异值；之后累加各样本人脸图像的重构图像与对应的各第二注册人脸图像之间的差异，得到第二差异值；最后计算第二差异值与第一差异值之间的距离，得出损失函数的值。
具体来说，对于样本人脸图像集合中的每个样本人脸图像，在将该样本人脸图像输入图像重构模型得到重构图像之后，可以计算该样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异，计算差异的方式可以采用与上述图像Ii’与图像Ii0的差异计算相同的方法，例如可以计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的相似度的倒数。
然后可以根据已标记的用户对象的身份标识，从注册人脸图像集合中确定出与样本人脸图像所包含的人脸图像信息对应的用户对象的身份标识一致的注册人脸图像为第一注册人脸图像，从注册人脸图像集合中确定出与样本人脸图像所包含的人脸图像信息对应的用户对象的身份标识不一致的注册人脸图像为第二注册人脸图像。
之后可以计算样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异，累加样本人脸图像集合中各样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异得到第一差异值。计算样本人脸图像的重构图像与对应的个第二注册人脸图像之间的差异，累加样本人脸图像集合中各样本人脸图像的重构图像与对应的各第二注册人脸图像之间的差异得到第二差异值，然后利用第一差异值与第二差异值相减，得到损失函数的值。
进一步可选地，上述对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异的步骤可以包括：对每个样本人脸图像，将样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像输入人脸识别模型进行特征提取，然后基于提取出的特征计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异。人脸识别模型可以是基于卷积神经网络的已训练的模型，可以对输入的人脸图像进行特征提取，得到多幅特征图。提取出的多幅特征图可以组合为特征图集合，该特征图集合可以被转化为向量或矩阵来表示。在利用人脸识别模型提取出样本人脸图像的重构图像和注册人脸图像的特征图集合之后，可以计算两个特征图集合之间的距离，例如计算欧氏距离，作为样本人脸图像的重构图像和注册人脸图像之间的差异。
若比对步骤302的判断结果为否，即损失函数的值不满足预设的收敛条件时，执行步骤303，基于损失函数，采用梯度下降法更新图像重构模型对应的神经网络的参数，返回执行比对步骤302。
上述损失函数是与图像重构模型对应的神经网络的参数相关的函数。在本实施例中，可以采用梯度下降法更新图像重构模型对应的神经网络的参数，使得更新参数后得出的样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异和样本人脸图像的重构图像与对应的第二注册人脸图像之间的差异的差值缩小。通过多次迭代执行比对步骤302和参数更新步骤303，使损失函数的值逐渐缩小，也即使得样本人脸图像的重构图像与包含了同一用户对象的人脸图像信息的第一注册人脸图像之间的差异缩小，同时样本人脸图像的重构图像与包含了不同用户对象的人脸图像信息的第二注册人脸图像之间的差异增大。
具体地，在执行参数更新步骤303时，可以计算损失函数关于图像重构模型对应的神经网络的参数的梯度，然后按照预设的步长因子确定各参数的更新量，将更新量与当前的参数叠加得到更新后的参数。
若比对步骤302的判断结果为是，即损失函数的值满足预设的收敛条件时，执行步骤304，输出图像重构模型的参数。
如果损失函数的值满足预设的收敛条件，则停止更新参数，将图像重构模型对应的神经网络的参数输出，从而得到已训练的图像重构模型。
请参考图4，其示出了图3所示图像重构模型的训练方法的一个实施例的原理示意图。
如图4所示，样本图像集合S中的一个样本图像I在经过图像重构模型的特征提取网络处理后，得到多幅特征图F，然后重构网络可以对多幅特征图F进行处理，得到重构图像I’。然后可以从预设的注册人脸图像集合R中确定出与重构图像I’包含同一用户对象i的人脸图像信息的第一注册人脸图像I0，以及与重构图像I’包含不同用户对象j的人脸图像信息的第二注册人脸图像J0。之后对重构图像I’、对应的第一注册人脸图像I0、对应的第二注册人脸图像J0进行特征提取，得到相应的特征fi’，fi0，fj0，之后计算fi’与fi0之间的距离，累加各样本图像i与对应的第一注册图像i0的特征之间的距离，计算fi’与fj0之间的距离，累加各样本图像i与对应的各第二注册图像j0之间的距离，并计算两个距离的差值，得到损失函数，这里的损失函数如式(2)：
然后可以当前计算损失函数的值是否满足预设的收敛条件，如果否，则更新图像重构模型的参数，返回执行样本图像的重构步骤的流程。如果是，则停止更新参数，得到训练好的图像重构模型。
以上流程300基于构建的损失函数，采用梯度下降法不断调整优化图像重构模型的参数，有利于提升迭代速度，从而提升训练速度。同时，可以看出，图像重构模型的训练中未对图像质量进行评价，将注册人脸图像作为目标，使重构的人脸图像与对应同一用户对象的注册人脸图像之间的差异不断缩小，同时与其他用户对象的注册人脸图像之间的差异不断增大，有利于提升后续基于重构图像的人脸识别的精度。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种图像生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的图像生成装置500包括：获取单元501和生成单元502。获取单元501可以用于获取待处理人脸图像；生成单元502可以用于将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；其中，图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，损失函数的值为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值。
在本实施例中，获取单元501可以通过有线或无线的方式与存储待处理人脸图像的电子设备建立连接，并获取存储待处理人脸图像的电子设备主动或响应于图像获取请求而传输的待处理人脸图像。其中，待处理人脸图像可以是质量较差的人脸图像。
生成单元502可以将获取单元501获取的待处理人脸图像输入已采用机器学习方法训练的图像重构模型来进行图像重构，得到待处理人脸图像的重构图像。图像重构模型可以是利用基于样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值构建的损失函数训练得出的，因此图像重构模型可以将输入的图像的质量优化到与注册人脸图像的图像质量接近。
在一些实施例中，上述装置500还可以包括：训练单元，用于采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数，训练得出图像重构模型。训练单元可以用于按照如下方式训练得出图像重构模型：获取样本人脸图像集合和预设的注册人脸图像集合，并构建损失函数；执行比对步骤，比对步骤包括：将样本人脸图像集合中的各样本人脸图像输入图像重构模型对应的神经网络进行重构，生成各样本人脸图像的重构图像，基于各样本人脸图像的重构图像和对应的第一注册人脸图像、以及预设的注册人脸图像集合中样本人脸图像对应的各第二注册人脸图像，判断损失函数的值是否满足预设的收敛条件；若比对步骤的判断结果为否，基于损失函数，采用梯度下降法更新图像重构模型对应的神经网络的参数，执行比对步骤；若比对步骤的判断结果为是，输出图像重构模型的参数。
在一些实施例中，上述样本人脸图像集合和预设的注册人脸图像集合中的图像已标记了所包含的人脸图像信息对应的用户对象的身份标识；以及训练单元可以进一步用于按照如下方式判断损失函数的值是否满足预设的收敛条件：对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异；对每个样本人脸图像，根据已标记的所包含的人脸图像信息对应的用户对象的身份标识，确定注册人脸图像集合中样本人脸图像对应的第一注册人脸图像和注册人脸图像集合中样本人脸图像对应的第二注册人脸图像；累加各样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异，得到第一差异值；累加各样本人脸图像的重构图像与对应的各第二注册人脸图像之间的差异，得到第二差异值；计算第二差异值与第一差异值之间的差值，得出损失函数的值。
在进一步的实施例中，上述训练单元可以用于按照如下方式对每个样本人脸图像，计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异：对每个样本人脸图像，将样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像输入人脸识别模型进行特征提取；基于提取出的特征计算样本人脸图像的重构图像与预设的注册人脸图像集合中的各注册人脸图像之间的差异。
在一些实施例中，上述图像重构模型可以包括特征提取网络和重构网络；特征提取网络可以包括多层卷积层，用于通过卷积运算从输入图像重构模型的图像提取出多个特征图；重构网络可以包括多层反卷积层，用于对特征提取网络输出的特征图进行反卷积运算，以生成重构图像。
应当理解，装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。
本申请上述实施例的图像生成装置500，通过获取单元获取待处理人脸图像；然后生成单元将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；其中，图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，损失函数的值为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值，实现了人脸图像质量的优化。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待处理人脸图像的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取待处理人脸图像；将待处理人脸图像输入图像重构模型中进行重构，生成待处理人脸图像的重构图像；其中，图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，损失函数的值为用于表征样本人脸图像的重构图像与第一注册人脸图像的差异的值和用于表征样本人脸图像的重构图像与第二注册人脸图像的差异的值之间的差值。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种图像生成方法，包括：
获取待处理人脸图像；
将待处理人脸图像输入图像重构模型中进行重构，生成所述待处理人脸图像的重构图像；
其中，所述图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，所述预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，所述损失函数的值为用于表征所述样本人脸图像的重构图像与所述第一注册人脸图像的差异的值和用于表征所述样本人脸图像的重构图像与所述第二注册人脸图像的差异的值之间的差值。
2.根据权利要求1所述的方法，其中，所述方法还包括：采用机器学习方法，利用所述样本人脸图像集合和预设的注册人脸图像集合，基于所述损失函数，训练得出所述图像重构模型，包括：
获取所述样本人脸图像集合和预设的注册人脸图像集合，并构建所述损失函数；
执行比对步骤，所述比对步骤包括：将所述样本人脸图像集合中的各样本人脸图像输入所述图像重构模型对应的神经网络进行重构，生成各所述样本人脸图像的重构图像，基于各所述样本人脸图像的重构图像和对应的第一注册人脸图像、以及所述预设的注册人脸图像集合中所述样本人脸图像对应的各第二注册人脸图像，判断所述损失函数的值是否满足预设的收敛条件；
若所述比对步骤的判断结果为否，基于所述损失函数，采用梯度下降法更新所述图像重构模型对应的神经网络的参数，执行所述比对步骤；
若所述比对步骤的判断结果为是，输出所述图像重构模型的参数。
3.根据权利要求2所述的方法，其中，所述样本人脸图像集合和所述预设的注册人脸图像集合中的图像已标记了所包含的人脸图像信息对应的用户对象的身份标识；以及
所述基于各所述样本人脸图像的重构图像和对应的第一注册人脸图像、以及所述预设的注册人脸图像集合中所述样本人脸图像对应的各第二注册人脸图像，判断所述损失函数的值是否满足预设的收敛条件，包括：
对每个样本人脸图像，计算所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像之间的差异；
对每个样本人脸图像，根据已标记的所包含的人脸图像信息对应的用户对象的身份标识，确定所述注册人脸图像集合中所述样本人脸图像对应的第一注册人脸图像和所述注册人脸图像集合中所述样本人脸图像对应的第二注册人脸图像；
累加各样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异，得到第一差异值；
累加各样本人脸图像的重构图像与对应的各第二注册人脸图像之间的差异，得到第二差异值；
计算所述第二差异值与所述第一差异值之间的差值，得出所述损失函数的值。
4.根据权利要求3所述的方法，其中，所述对每个样本人脸图像，计算所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像之间的差异，包括：
对每个样本人脸图像，将所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像输入人脸识别模型进行特征提取；
基于提取出的特征计算所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像之间的差异。
5.根据权利要求1-4任一项所述的方法，其中，所述图像重构模型包括特征提取网络和重构网络；
所述特征提取网络包括多层卷积层，用于通过卷积运算从输入所述图像重构模型的图像提取出多个特征图；
所述重构网络包括多层反卷积层，用于对所述特征提取网络输出的特征图进行反卷积运算，以生成重构图像。
6.一种图像生成装置，包括：
获取单元，用于获取待处理人脸图像；
生成单元，用于将待处理人脸图像输入图像重构模型中进行重构，生成所述待处理人脸图像的重构图像；
其中，所述图像重构模型是采用机器学习方法，利用样本人脸图像集合和预设的注册人脸图像集合，基于损失函数训练得出的，所述预设的注册人脸图像集合包括与样本人脸图像集合中的各样本人脸图像包含同一用户对象的人脸图像信息的第一注册人脸图像，以及与样本人脸图像集合中的各样本人脸图像包含不同用户对象的人脸图像信息的第二注册人脸图像，所述损失函数的值为用于表征所述样本人脸图像的重构图像与所述第一注册人脸图像的差异的值和用于表征所述样本人脸图像的重构图像与所述第二注册人脸图像的差异的值之间的差值。
7.根据权利要求6所述的装置，其中，所述装置还包括：
训练单元，用于采用机器学习方法，利用所述样本人脸图像集合和预设的注册人脸图像集合，基于所述损失函数，训练得出所述图像重构模型；
所述训练单元用于按照如下方式训练得出所述图像重构模型：
获取所述样本人脸图像集合和预设的注册人脸图像集合，并构建所述损失函数；
执行比对步骤，所述比对步骤包括：将所述样本人脸图像集合中的各样本人脸图像输入所述图像重构模型对应的神经网络进行重构，生成各所述样本人脸图像的重构图像，基于各所述样本人脸图像的重构图像和对应的第一注册人脸图像、以及所述预设的注册人脸图像集合中所述样本人脸图像对应的各第二注册人脸图像，判断所述损失函数的值是否满足预设的收敛条件；
若所述比对步骤的判断结果为否，基于所述损失函数，采用梯度下降法更新所述图像重构模型对应的神经网络的参数，执行所述比对步骤；
若所述比对步骤的判断结果为是，输出所述图像重构模型的参数。
8.根据权利要求7所述的装置，其中，所述样本人脸图像集合和所述预设的注册人脸图像集合中的图像已标记了所包含的人脸图像信息对应的用户对象的身份标识；以及
所述训练单元进一步用于按照如下方式判断所述损失函数的值是否满足预设的收敛条件：
对每个样本人脸图像，计算所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像之间的差异；
对每个样本人脸图像，根据已标记的所包含的人脸图像信息对应的用户对象的身份标识，确定所述注册人脸图像集合中所述样本人脸图像对应的第一注册人脸图像和所述注册人脸图像集合中所述样本人脸图像对应的第二注册人脸图像；
累加各样本人脸图像的重构图像与对应的第一注册人脸图像之间的差异，得到第一差异值；
累加各样本人脸图像的重构图像与对应的各第二注册人脸图像之间的差异，得到第二差异值；
计算所述第二差异值与所述第一差异值之间的差值，得出所述损失函数的值。
9.根据权利要求8所述的装置，其中，所述训练单元用于按照如下方式对每个样本人脸图像，计算所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像之间的差异：
对每个样本人脸图像，将所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像输入人脸识别模型进行特征提取；
基于提取出的特征计算所述样本人脸图像的重构图像与所述预设的注册人脸图像集合中的各注册人脸图像之间的差异。
10.根据权利要求6-9任一项所述的装置，其中，所述图像重构模型包括特征提取网络和重构网络；
所述特征提取网络包括多层卷积层，用于通过卷积运算从输入所述图像重构模型的图像提取出多个特征图；
所述重构网络包括多层反卷积层，用于对所述特征提取网络输出的特征图进行反卷积运算，以生成重构图像。
11.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201810007794.2A 2018-01-04 2018-01-04 图像生成方法和装置 Active CN108241855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810007794.2A CN108241855B (zh) 2018-01-04 2018-01-04 图像生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810007794.2A CN108241855B (zh) 2018-01-04 2018-01-04 图像生成方法和装置

Publications (2)

Publication Number Publication Date
CN108241855A true CN108241855A (zh) 2018-07-03
CN108241855B CN108241855B (zh) 2022-03-04

Family

ID=62699364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810007794.2A Active CN108241855B (zh) 2018-01-04 2018-01-04 图像生成方法和装置

Country Status (1)

Country Link
CN (1) CN108241855B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334693A (zh) * 2019-07-17 2019-10-15 中国电子科技集团公司第五十四研究所 一种面向深度学习的遥感图像目标样本生成方法
CN112818809A (zh) * 2021-01-25 2021-05-18 清华大学 一种检测图像信息的方法、装置和存储介质
CN113436061A (zh) * 2021-07-01 2021-09-24 中科人工智能创新技术研究院(青岛)有限公司 人脸图像重构方法及系统
CN113657350A (zh) * 2021-05-12 2021-11-16 支付宝(杭州)信息技术有限公司 人脸图像处理方法及装置
CN115311127A (zh) * 2022-02-25 2022-11-08 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060291739A1 (en) * 2005-06-24 2006-12-28 Fuji Photo Film Co., Ltd. Apparatus, method and program for image processing
CN101593269A (zh) * 2008-05-29 2009-12-02 汉王科技股份有限公司 人脸识别装置及方法
CN104751108A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 人脸图像识别装置和人脸图像识别方法
US20170213321A1 (en) * 2016-01-22 2017-07-27 Siemens Healthcare Gmbh Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060291739A1 (en) * 2005-06-24 2006-12-28 Fuji Photo Film Co., Ltd. Apparatus, method and program for image processing
CN101593269A (zh) * 2008-05-29 2009-12-02 汉王科技股份有限公司 人脸识别装置及方法
CN104751108A (zh) * 2013-12-31 2015-07-01 汉王科技股份有限公司 人脸图像识别装置和人脸图像识别方法
US20170213321A1 (en) * 2016-01-22 2017-07-27 Siemens Healthcare Gmbh Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334693A (zh) * 2019-07-17 2019-10-15 中国电子科技集团公司第五十四研究所 一种面向深度学习的遥感图像目标样本生成方法
CN112818809A (zh) * 2021-01-25 2021-05-18 清华大学 一种检测图像信息的方法、装置和存储介质
CN112818809B (zh) * 2021-01-25 2022-10-11 清华大学 一种检测图像信息的方法、装置和存储介质
CN113657350A (zh) * 2021-05-12 2021-11-16 支付宝(杭州)信息技术有限公司 人脸图像处理方法及装置
CN113436061A (zh) * 2021-07-01 2021-09-24 中科人工智能创新技术研究院(青岛)有限公司 人脸图像重构方法及系统
CN113436061B (zh) * 2021-07-01 2022-08-09 中科人工智能创新技术研究院(青岛)有限公司 人脸图像重构方法及系统
CN115311127A (zh) * 2022-02-25 2022-11-08 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN108241855B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN108062780B (zh) 图像压缩方法和装置
CN108269254A (zh) 图像质量评估方法和装置
CN108241855A (zh) 图像生成方法和装置
CN108038469B (zh) 用于检测人体的方法和装置
WO2020006961A1 (zh) 用于提取图像的方法和装置
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN110210393A (zh) 人脸图像的检测方法和装置
CN108985259A (zh) 人体动作识别方法和装置
CN108171207A (zh) 基于视频序列的人脸识别方法和装置
CN107578017A (zh) 用于生成图像的方法和装置
CN109214343A (zh) 用于生成人脸关键点检测模型的方法和装置
CN108960090A (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN108229419A (zh) 用于聚类图像的方法和装置
CN107590807A (zh) 用于检测图像质量的方法和装置
CN107958247A (zh) 用于人脸图像识别的方法和装置
CN108494778A (zh) 身份认证方法和装置
CN109410253B (zh) 用于生成信息的方法、装置、电子设备和计算机可读介质
CN107910060A (zh) 用于生成信息的方法和装置
CN109887077A (zh) 用于生成三维模型的方法和装置
Qin et al. Multi-scale attention network for image inpainting
CN108446658A (zh) 用于识别人脸图像的方法和装置
CN109241934A (zh) 用于生成信息的方法和装置
CN110110666A (zh) 目标检测方法和装置
CN108510466A (zh) 用于验证人脸的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant