CN110659582A - 图像转换模型训练方法、异质人脸识别方法、装置及设备 - Google Patents

图像转换模型训练方法、异质人脸识别方法、装置及设备 Download PDF

Info

Publication number
CN110659582A
CN110659582A CN201910812547.4A CN201910812547A CN110659582A CN 110659582 A CN110659582 A CN 110659582A CN 201910812547 A CN201910812547 A CN 201910812547A CN 110659582 A CN110659582 A CN 110659582A
Authority
CN
China
Prior art keywords
face
image
sketch
synthetic image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910812547.4A
Other languages
English (en)
Inventor
王孝宇
柳军领
王楠楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201910812547.4A priority Critical patent/CN110659582A/zh
Priority to PCT/CN2019/121348 priority patent/WO2021036059A1/zh
Publication of CN110659582A publication Critical patent/CN110659582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像转换模型训练方法、异质人脸识别方法、装置及设备，该异质人脸识别方法包括：获取待识别人脸素描图，并对待识别人脸素描图进行裁剪得到人脸区域素描图；将人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；对第二人脸合成图像进行特征提取，得到第二人脸合成图像的特征向量；将第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。这样先从待识别人脸素描图中剪裁出人脸区域，以减少背景区域对人脸识别的干扰，同时，采用预设图像转换模型进行图像转换，将异质人脸识别转换为同质人脸识别，从而有利于提高异质人脸识别的准确率。

Description

图像转换模型训练方法、异质人脸识别方法、装置及设备
技术领域
本申请涉及人工智能和图像处理技术领域，尤其涉及一种图像转换模型训练方法、异质人脸识别方法、装置及设备。
背景技术
随着人工智能的发展，人脸识别一直是各界研究的热门领域，且在深度卷积神经网络的基础上取得了重大进展，被广泛应用于社会各行各业。例如，在公安部门的案件调查中，可通过人脸识别缩小潜在嫌疑人范围，降低调查难度。然而，在某些情况下，并不能获得清晰完整的人脸图像，甚至没有人脸图像记录，此时通常需要素描专家基于低分辨率的图像或者目击者描述进行嫌疑人面部素描图绘画以进行人脸识别，但是，由于图像采集设备采集的人脸图像和素描图之间的差异较大(如形状、纹理和颜色等)，使用传统的人脸识别算法很难根据素描图在公安人脸数据库中进行精确地检索。
相关技术中，针对素描图的人脸识别方法是使用卷积神经网络挖掘素描图与真实图像之间的潜在关系，基于两者的非线性映射进行建模，从而进行素描图到真实图像的转换，进而对转换后的图像进行识别；或者是使用生成对抗网络，通过对抗损失生成具有更加真实纹理的图像进行识别，但是准确率都不是很高。
发明内容
为解决上述问题，本申请提供了一种图像转换模型训练方法、异质人脸识别方法、装置及设备，有利于提高异质人脸识别的准确率。
本申请实施例第一方面提供了一种图像转换模型训练方法，包括：
将训练样本输入生成对抗网络的生成器进行处理，生成第一人脸合成图像；
将所述第一人脸合成图像和所述训练样本对应的真实人脸图像输入生成对抗网络的判别器中进行判别，输出判别结果；
将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量，并将所述第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果；
根据所述判别结果和所述比对结果得到所述图像转换模型。
结合第一方面，在一种可能的实施方式中，所述根据所述判别结果和所述比对结果得到所述图像转换模型，包括：
若所述判别结果和所述比对结果中的任一者不符合预设期望值，则更新所述生成器和所述判别器的网络参数权重，得到更新的生成器和更新的判别器；
将所述训练样本输入该更新的生成器进行处理，得到更新的第一人脸合成图像，以及将该更新的第一人脸合成图像和所述训练样本对应的真实人脸图像输入该更新的判别器中进行判别，输出更新的判别结果，以及将该更新的第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到该更新的第一人脸合成图像的特征向量，并将该更新的第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出更新的比对结果；
若该更新的判别结果和该更新的比对结果均符合预设期望值，则固定该更新的生成器和该更新的判别器的网络参数权重，以得到所述图像转换模型。
本申请实施例第二方面提供了一种异质人脸识别方法，包括：
获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；
将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；
对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；
将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。
结合第二方面，在一些可能的实施方式中，所述对所述待识别人脸素描图进行裁剪得到人脸区域素描图，包括：
通过预训练的多任务级联卷积神经网络对所述待识别人脸素描图中的人脸关键点进行检测，以定位出所述人脸关键点；
基于定位出的人脸关键点对所述待识别人脸素描图进行裁剪得到人脸区域素描图。
结合第二方面，在一种可能的实施方式中，所述图像转换模型包括生成器；所述将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像，包括：
将所述人脸区域素描图输入所述生成器，以利用多层残差网络对所述人脸区域素描图进行特征提取；
将提取出的特征进行反卷积得到与所述人脸区域素描图尺寸相同的特征图；
对所述特征图的维度进行压缩以生成所述第二人脸合成图像。
本申请实施例第三方面提供了一种图像转换模型训练装置，包括：
第一图像生成模块，用于将训练样本输入生成对抗网络的生成器进行处理，生成第一人脸合成图像；
第一图像判别模块，用于将所述第一人脸合成图像和所述训练样本对应的真实人脸图像输入生成对抗网络的判别器中进行判别，输出判别结果；
第一图像比对模块，用于将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量，并将所述第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果；
模型生成模块，用于根据所述判别结果和所述比对结果得到所述图像转换模型。
本申请实施例第四方面，提供了一种异质人脸识别装置，包括：人脸裁剪模块，用于获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；
第二人脸生成模块，用于将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；
第一特征提取模块，用于对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；
人脸匹配模块，用于将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。
本申请实施例第五方面提供了一种电子设备，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面或第二方面任一项所述方法中的步骤。
本申请实施例第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第二方面任一项所述方法中的步骤。
本申请的上述方案至少包括以下有益效果：本申请实施例通过获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。这样先从待识别人脸素描图中剪裁出人脸区域，以减少背景区域对人脸识别的干扰，同时，在图像转换模型的训练过程中，使用了对抗损失和高层特征进行双重约束，除了使生成的第二人脸合成图像更清晰外，还能使其高层特征更接近于真实人脸图像的高层特征，将异质人脸识别转换为同质人脸识别，从而有利于提高异质人脸识别的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用架构图；
图2为本申请实施例提供的一种图像转换模型训练方法的流程示意图；
图3为本申请实施例提供的一种异质人脸识别方法的流程示意图；
图4为本申请实施例提供的一种多任务级联卷积神经网络的结构示意图；
图5为本申请实施例提供的一种图像转换模型的结构示意图；
图6为本申请实施例提供的一种图像转换模型训练装置的结构示意图；
图7为本申请实施例提供的另一种图像转换模型训练装置的结构示意图；
图8为本申请实施例提供的另一种图像转换模型训练装置的结构示意图；
图9为本申请实施例提供的一种异质人脸识别装置的结构示意图；
图10为本申请实施例提供的另一种异质人脸识别装置的结构示意图；
图11为本申请实施例提供的另一种异质人脸识别装置的结构示意图；
图12为本申请实施例提供的另一种异质人脸识别装置的结构示意图；
图13为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
首先结合相关附图来举例介绍下本申请实施例的方案可能应用到的网络系统架构。
请参见图1，图1为本申请实施例提供的一种应用架构图，如图1所示，包括用户终端、服务器和数据库，其中，用户终端和服务器通过有线或无线的网络进行交互，数据库可以是服务器中的数据库，也可以是独立于服务器的数据库，可以是本地数据库，也可以是云端数据库，具体不作限定。用户终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、移动互联网设备(MID，Mobile Internet Device)或可穿戴设备等，用户终端上安装有应用程序或提供有数据上传接口，用户可通过用户终端上的应用程序或数据上传接口向服务器上传待识别人脸素描图，以及接收服务器返回的人脸识别结果；服务器可以是本地服务器、云端服务器或服务器集群，是本申请提供的异质人脸识别方法的执行主体，主要用于对待识别人脸素描图进行处理、识别，并向用户终端返回识别结果。
基于图1所示的应用架构，以下结合其他附图对本申请实施例提供的图像转换模型训练方法和异质人脸识别方法进行详细阐述。
请参见图2，图2为本申请实施例提供的一种图像转换模型训练方法的流程示意图，如图2所示，包括步骤：
S21，将训练样本输入生成对抗网络的生成器进行处理，生成第一人脸合成图像。
其中，本申请具体实施例中，训练样本指用于训练的人脸区域素描图样本，可取之于样本数据库，第一人脸合成图像指使用训练样本生成的人脸合成图像，具体的，该步骤首先是利用多层残差网络对训练样本进行特征提取，然后将提取出的特征进行反卷积得到与训练样本尺寸相同的特征图，最后对该特征图的维度进行压缩以生成第一人脸合成图像。
S22，将所述第一人脸合成图像和所述训练样本对应的真实人脸图像输入生成对抗网络的判别器中进行判别，输出判别结果。
其中，本申请具体实施例中，生成对抗网络主要包括两个部分：生成器和判别器，生成器是一个生成图片的网络，用于对输入进行处理后生成图片，而判别器是一个判别网络，用于对输入图片是否为真实图片进行判别。训练样本对应的真实人脸图像即指用于训练的人脸区域素描图样本对应的真实人脸图像，其来自于数据库，例如，一张A的人脸区域素描图样本，数据库中同样存储有A的真实人脸图像，该训练样本对应的真实人脸图像可供判别器判别生成的初始人脸图像是否符合训练样本对应的真实人脸图像的分布。将生成器输出的第一人脸合成图像与训练样本对应的真实人脸图像输入判别器，输出判别结果，该判别结果是一个概率值，表示生成的第一人脸合成图像是否符合训练样本对应的真实人脸图像分布的概率。在一些示例中，生成对抗网络的优化目标函数如下：
Figure BDA0002183874830000071
其中，minGmaxDV(D,G)表示生成器和判别器的极小极大博弈，优化判别器时，生成器保持不动，判别器的优化模型值越大越好，优化生成器时，判别器保持不动，生成器的优化模型值越小越好，D(x)表示判别器对真实人脸图像x的实际输出结果，D(G(z))表示判别器对生成器生成的第一人脸合成图像G(z)的实际输出结果，p2(x)表示真实人脸图像的分布，p1(z)表示生成器生成的第一人脸合成图像的分布，E表示期望。
S23，将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量，并将所述第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果。
其中，本申请具体实施例中，特征向量指512维的高层特征向量，由于每个人的该高层征向量都存在差异，因此该高层特征向量具有一定的区分性。将第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果，该比对结果用于表示第一人脸合成图像与训练样本对应的真实人脸图像的接近度。
S24，根据所述判别结果和所述比对结果得到所述图像转换模型。
具体的，在一种可能的实施方式中，步骤S24包括：
若所述判别结果和所述比对结果中的任一者不符合预设期望值，则更新所述生成器和所述判别器的网络参数权重，得到更新的生成器和更新的判别器；
将所述训练样本输入该更新的生成器进行处理，得到更新的第一人脸合成图像，以及将该更新的第一人脸合成图像和所述训练样本对应的真实人脸图像输入该更新的判别器中进行判别，输出更新的判别结果，以及将该更新的第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到该更新的第一人脸合成图像的特征向量，并将该更新的第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出更新的比对结果；
若该更新的判别结果和该更新的比对结果均符合预设期望值，则固定该更新的生成器和该更新的判别器的网络参数权重，以得到所述图像转换模型。
其中，本申请具体实施例中，只有当判别结果和比对结果均符合预设期望值时，才不对生成器和判别器的网络参数权重进行更新，否则将更新生成器和判别器的网络参数权重，监督更新的生成器利用训练样本生成更新的第一人脸合成图像，以及重复执行将更新的第一人脸合成图像和训练样本对应的真实人脸图像输入更新的判别器中进行判别、将更新的第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，并将更新的第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对的步骤，直到得到的判别结果和比对结果均符合预设期望值，将更新的生成器和更新的判别器的网络参数权重固定下来，便得到训练好的图像转换模型。另外，判别器的每次判别可以通过预先定义的损失函数实现：
Figure BDA0002183874830000081
其中，LOSS表示整个生成对抗网络的损失值，xi和zi分别表示真实人脸图像和生成器的输入变量，n表示xi和zi的数量，D(xi)表示判别器对真实人脸图像xi的实际输出结果，G(zi)表示生成器对输入变量zi的实际输出结果。当判别器的输出结果表示生成器的输出图像不符合真实人脸图像的预设期望值时(例如：0.5)，得到的LOSS值较大，在梯度回传至生成器时，会更新生成器的网络参数权重，使得生成器生成更新的第一人脸合成图像。
该实施方式中，在生成器生成的第一人脸合成图像质量不高时，更新生成器和判别器的网络参数权重，将较优的网络参数权重固定下来，有利于提高人脸区域素描图转换为真实人脸图像的效果。
在一种可能的实施方式中，在将所述第二人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第二人脸合成图像的特征向量之前，所述方法还包括：
利用预训练的卷积神经网络模型对数据库中存储的多个真实人脸图像进行特征提取，得到多个真实人脸图像中每个真实人脸图像的特征向量；其中，所述数据库中存储的多个真实人脸图像中包括所述训练样本对应的真实人脸图像；
将该每个真实人脸图像的特征向量存储至数据库中。
该实施方式中，先将数据库中的多个真实人脸图像的特征向量提取出来并进行存储，在将第一人脸合成图像的特征向量与数据库中的多个真实人脸图像的特征向量进行比对时，可以直接调用，有利于提高比对速度，在一定程度上能够提高人脸识别的效率。
可以看出，由于本申请实施例提供的图像转换模型训练方法在模型训练时，不单是采用生成对抗网络的对抗损失对生成的第一人脸合成图像进行约束，还采用高层特征向量对第一人脸合成图像进行约束，根据双重约束训练图像转换模型，能够使其生成的人脸合成图像质量更高。
请参见图3，图3为本申请实施例提供的一种异质人脸识别方法的流程示意图，如图3所示，包括步骤：
S31，获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图。
其中，本申请具体实施例中，待识别人脸素描图为素描专家根据低分辨率的图像或者目击者的描述绘制而成的人脸素描图，上述获取待识别人脸素描图，可以是接收用户终端通过应用程序或数据上传接口上传的待识别人脸素描图。素描专家可以在图纸上绘画该待识别人脸素描图，之后拍摄该待识别人脸素描图的照片或进行扫描以得到该待识别人脸素描图的电子档，通过用户终端上的应用程序或数据上传接口向服务器上传该待识别人脸素描图的电子档；素描专家还可以直接在具有绘画功能的用户终端上直接绘画该待识别人脸素描图，之后通过应用程序或数据上传接口向服务器上传完成的该待识别人脸素描图。
上述待识别人脸素描图的裁剪可以是基于dlib+opencv(一种机器学习开源工具+开源视觉库)实现；也可以是利用两层不同结构的卷积神经网络定位出待识别人脸素描图中的人脸关键点后进行裁剪，人脸关键点包括双眼、鼻尖和双侧嘴角，共五个，其第一层的图像输入尺寸为112*112*3，输出为五个关键点的坐标信息，第二层的图像输入尺寸为32*32*3，输出为五个关键点中单个关键点的坐标信息；还可以是利用多任务级联卷积神经网络实现对待识别人脸素描图的裁剪，具体不作限定。
在一种可能的实施方式中，所述对所述待识别人脸素描图进行裁剪得到人脸区域素描图，包括：
通过预训练的多任务级联卷积神经网络对所述待识别人脸素描图中的人脸关键点进行检测，以定位出所述人脸关键点；
基于定位出的人脸关键点对所述待识别人脸素描图进行裁剪得到人脸区域素描图。
此处的人脸关键点仍为双眼、鼻尖和双侧嘴角，预训练的多任务级联卷积神经网络(Multi-task convolutional neural network，MTCNN)具体如图4所示，由三个网络结构组成：P-Net(Proposal Network)、R-Net(Refine Network)、O-Net(Output Network)，集人脸区域检测和人脸关键点检测于一体，每个网络结构都将进行人脸分类、边界框回归和关键点定位操作，训练时，人脸分类采用交叉熵损失、边界框回归采用BB回归(bounding boxregression)损失、人脸关键点定位采用标记定位(landmark localization)损失。
在P-Net处理之前，先将该待识别人脸素描图进行不同尺度的变换，构建图像金字塔，得到不同尺寸的图像。将尺寸大小为12*12*3的图像输入P-Net，经过卷积3*3-池化2*2-卷积3*3-卷积3*3的处理，通过一个人脸分类器判断该区域是否是人脸，同时使用边框回归和一个关键点定位器来进行人脸区域的初步输出。R-Net的输入为P-Net的输出，其尺寸为24*24*3，经过卷积3*3-池化3*3-卷积3*3-池化3*3-卷积2*2-全连接层128的处理，对输入进行优化，再次使用边框回归和关键点定位器进行人脸区域的边框回归和关键点定位，得到可供O-Net使用的输出。O-Net的输入尺寸为48*48*3，经过卷积3*3-池化3*3-卷积3*3-池化3*3-卷积3*3-池化2*2-卷积2*2-全连接层256的处理，通过更多的监督来识别人脸区域，而且会对人的脸部特征点进行回归，最终输出五个人脸关键点。在这五个人脸关键点的基础上，对该待识别人脸素描图进行裁剪，去除图中的背景区域，最终只保留预设大小(例如：112*128像素)的人脸区域，得到人脸区域素描图。
该实施方式中，通过预先训练好的多任务级联卷积神经网络对待识别人脸素描图中的五个人脸关键点进行定位，定位精度更高，将待识别人脸素描图的背景区域去除，有利于减小后期图像转换和人脸识别的干扰。
进一步的，所述多任务级联卷积神经网络的训练过程包括：将用于训练的图像集进行尺度变换和标注标签信息，得到第一训练子图像、第二训练子图像和第三训练子图像，其中，用于训练的图像集包括人脸正样本、人脸负样本、有部分人脸的样本、有关键点的人脸正样本、背景区域样本，第一训练子图像的尺寸为12*12，第二训练子图像的尺寸为24*24，第三训练子图像的尺寸为48*48；将第一训练子图像输入P-Net进行处理，通过随机梯度下降法更新P-Net的参数，经过多次迭代得到训练好的P-Net模型；利用训练好的P-Net模型初始化R-Net，预测第一人脸候选窗，将第一人脸候选窗和第二训练子图像输入R-Net进行训练，得到训练好的R-Net模型；利用训练好的R-Net模型初始化O-Net，以及利用训练好的P-Net和R-Net级联模型预测第二人脸候选窗，将第二人脸候选窗和第三训练子图像输入O-Net进行训练，得到训练好的O-Net模型；根据训练好的P-Net模型、R-Net模型和O-Net模型得到预训练的多任务级联卷积神经网络。
S32，将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像。
其中，本申请具体实施例中，预先训练好的图像转换模型结构具体可如图5所示，包括一个生成对抗网络(Generative Adversarial Network，GAN)和一个特征保留模块，其中，生成对抗网络包括生成器和判别器，生成器用于在训练好图像转换模型后利用人脸区域素描图生成第二人脸合成图像，以及在训练时利用训练样本生成相应的第一人脸合成图像，判别器用于在训练时对生成器生成的所有第一人脸合成图像是否接近于真实人脸图像进行判别。
特征保留模块的主体是预训练的卷积神经网络模型，特征保留模块用于在训练时对生成的第一人脸合成图像进行特征提取和与真实人脸图像的特征进行比对，根据判别器的判别和特征保留模块的比对监督生成器生成质量较高的第二人脸合成图像。
S33，对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量。
S34，将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。
其中，本申请具体实施例中，在根据上述判别结果和上述比对结果得到第二人脸合成图像后，将该第二人脸合成图像输入预训练的卷积神经模型中进行特征提取，该预训练的卷积神经网络模型通过大量有类别标记的人脸图像样本训练而成。与图像转换模型训练时特征向量提取的目的不同，图像转换模型训练时特征向量提取是为了保留更接近于训练样本对应的真实人脸图像的特征信息，得到效果更好的第二人脸合成图像，而此处是为了与数据库中的多个真实人脸图像进行匹配，得到最终的人脸识别结果，匹配时具体可采用相似度度量或距离度量，例如：余弦相似度、欧式距离或者切比雪夫距离等。
可以看出，与现有技术相比，本申请实施例通过获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。这样先从待识别人脸素描图中剪裁出人脸区域，以减少背景区域对人脸识别的干扰，同时，在图像转换模型的训练过程中，使用了对抗损失和高层特征进行双重约束，除了使生成的第二人脸合成图像更清晰外，还能使其高层特征更接近于真实人脸图像的高层特征，将异质人脸识别转换为同质人脸识别，从而有利于提高异质人脸识别的准确率。
在一种可能的实施方式中，所述图像转换模型包括生成器；所述将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像，包括：
将所述人脸区域素描图输入所述生成器，以利用多层残差网络对所述人脸区域素描图进行特征提取；
将提取出的特征进行反卷积得到与所述人脸区域素描图尺寸相同的特征图；
对所述特征图的维度进行压缩以生成所述第二人脸合成图像。
可以理解的，由于卷积神经网络能够提取图像的低/中/高层特征，而网络的越深，提取到的不同层的特征越丰富，但网络并不是越深越好，盲目地增加网络深度，反而会使整个网络退化，准确率下降。
该实施方式中，为了避免网络退化问题，采用多层残差网络来对剪裁出的人脸区域素描图进行特征提取，多层残差网络通过构建残差块的方式以使提取出的特征丰富而准确，之后再进行反卷积以及维度压缩操作，得到上述的第一人脸合成图像，并且生成器的网络参数权重在训练好图像转换模型时已经更新并固定，使得生成的第一人脸合成图像质量较佳。
在一种可能的实施方式中，所述将所述第一人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果，包括：
计算所述第一人脸合成图像的特征向量与数据库中存储的多个真实人脸图像中每个真实人脸图像的特征向量之间的欧氏距离；
若数据库中存在所述欧氏距离小于预设值的目标真实人脸图像，则将所述目标真实人脸图像确定为人脸识别结果；
若数据库中不存在所述欧氏距离小于预设值的目标真实人脸图像，则输出人脸识别失败的提示信息作为人脸识别结果。
该实施方式中，预设值可尽量设置较小的值，以确定出欧氏距离最小的目标真实人脸图像，例如：仅有与真实人脸图像A的特征向量的欧氏距离小于预设值，那么真实人脸图像A便是人脸识别结果。人脸识别失败的提示信息可以是通过用户终端的扬声器输出的语音提示，例如“人脸识别失败，请重试！”，也可通过用户终端的显示窗口输出，例如一种警示标志、文字提示语等。采用欧氏距离度量转换得到的第一人脸合成图像与数据库中的多个真实人脸图像的相似度，距离越小相似度越高，匹配结果更直观。
图6为本申请实施例提供的一种图像转换模型训练装置的结构示意图，如图6所示，该装置包括：
第一图像生成模块61，用于将训练样本输入生成对抗网络的生成器进行处理，生成第一人脸合成图像；
第一图像判别模块62，用于将所述第一人脸合成图像和所述训练样本对应的真实人脸图像输入生成对抗网络的判别器中进行判别，输出判别结果；
第一图像比对模块63，用于将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量，并将所述第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果；
模型生成模块64，用于根据所述判别结果和所述比对结果得到所述图像转换模型。
可选的，如图7所示，所述模型生成模块64，包括：
权重更新单元6401，用于若所述判别结果和所述比对结果中的任一者不符合预设期望值，则更新所述生成器和所述判别器的网络参数权重，得到更新的生成器和更新的判别器；
结果更新单元6402，用于将所述训练样本输入该更新的生成器进行处理，得到更新的第一人脸合成图像，以及将该更新的第一人脸合成图像和所述训练样本对应的真实人脸图像输入该更新的判别器中进行判别，输出更新的判别结果，以及将该更新的第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到该更新的第一人脸合成图像的特征向量，并将该更新的第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出更新的比对结果；
模型生成单元6403，用于若该更新的判别结果和该更新的比对结果均符合预设期望值，则固定该更新的生成器和该更新的判别器的网络参数权重，以得到所述图像转换模型。
可选的，如图8所示，所述装置还包括：
第二特征提取模块65，用于利用预训练的卷积神经网络模型对数据库中存储的多个真实人脸图像进行特征提取，得到多个真实人脸图像中每个真实人脸图像的特征向量；其中，所述数据库中存储的多个真实人脸图像中包括所述训练样本对应的真实人脸图像；
特征存储模块66，用于将该每个真实人脸图像的特征向量存储至数据库中。
请参见图9，图9为本申请实施例提供的一种异质人脸识别装置的结构示意图，如图9所示，该装置包括：
人脸裁剪模块91，用于获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；
第二人脸生成模块92，用于将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；
第一特征提取模块93，用于对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；
人脸匹配模块94，用于将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。
可选的，如图10所示，所述人脸剪裁模块91包括：
关键点定位单元9101，用于通过预训练的多任务级联卷积神经网络对所述待识别人脸素描图中的人脸关键点进行检测，以定位出所述人脸关键点；
人脸裁剪单元9102，用于基于定位出的人脸关键点对所述待识别人脸素描图进行裁剪得到人脸区域素描图。
可选的，如图11所示，所述第二人脸生成模块92包括：
特征提取单元9201，用于将所述人脸区域素描图输入所述生成器，以利用多层残差网络对所述人脸区域素描图进行特征提取；
特征图生成单元9202，用于将提取出的特征进行反卷积得到与所述人脸区域素描图尺寸相同的特征图；
图像压缩单元9203，用于对所述特征图的维度进行压缩以生成所述第二人脸合成图像。
可选的，如图12所示，所述人脸匹配模块94包括：
计算单元9401，用于计算所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像中每个真实人脸图像的特征向量之间的欧氏距离；
第一结果获取单元9402，用于若数据库中存在所述欧氏距离小于预设值的目标真实人脸图像，则将所述目标真实人脸图像确定为人脸识别结果；
第二结果获取单元9403，用于若数据库中不存在所述欧氏距离小于预设值的目标真实人脸图像，则输出人脸识别失败的提示信息作为人脸识别结果。
可以理解的，本申请实施例提供的装置能够应用在任何异质人脸识别场景中，且能达到相同或相似的有益效果。该装置以软件功能模块实现的集成单元可以存储在一个计算机可读存储介质中，且包括若干指令用以使得相关设备或处理器执行上述异质人脸识别方法中的部分或全部步骤。
请参见图13，图13为本申请实施例提供的一种电子设备的结构示意图，如图13所示，包括：存储器1301，用于存储计算机程序；处理器1302，用于调用存储器1301存储的计算机程序实现上述异质人脸识别方法的实施例中的步骤；至少一个输出接口1303，用于进行输出；至少一个输入接口1304，用于进行输入；各个组件连接在至少一个总线上以实现通信。
其中，处理器1302具体用于调用计算机程序执行以下步骤：
将训练样本输入生成对抗网络的生成器进行处理，生成第一人脸合成图像；
将所述第一人脸合成图像和所述训练样本对应的真实人脸图像输入生成对抗网络的判别器中进行判别，输出判别结果；
将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量，并将所述第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果；
根据所述判别结果和所述比对结果得到所述图像转换模型。
可选的，处理器1302执行所述根据所述判别结果和所述比对结果得到所述图像转换模型，包括：
若所述判别结果和所述比对结果中的任一者不符合预设期望值，则更新所述生成器和所述判别器的网络参数权重，得到更新的生成器和更新的判别器；
将所述训练样本输入该更新的生成器进行处理，得到更新的第一人脸合成图像，以及将该更新的第一人脸合成图像和所述训练样本对应的真实人脸图像输入该更新的判别器中进行判别，输出更新的判别结果，以及将该更新的第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到该更新的第一人脸合成图像的特征向量，并将该更新的第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出更新的比对结果；
若该更新的判别结果和该更新的比对结果均符合预设期望值，则固定该更新的生成器和该更新的判别器的网络参数权重，以得到所述图像转换模型。
可选的，处理器1302还用于：
利用预训练的卷积神经网络模型对数据库中存储的多个真实人脸图像进行特征提取，得到多个真实人脸图像中每个真实人脸图像的特征向量；其中，所述数据库中存储的多个真实人脸图像中包括所述训练样本对应的真实人脸图像；
将该每个真实人脸图像的特征向量存储至数据库中。
需要说明的是，由于电子设备的处理器1302执行计算机程序时实现上述的图像转换模型训练方法中的步骤，因此上述图像转换模型训练方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
在本申请又一实施例中，处理器1302具体还用于调用计算机程序执行如下步骤：
获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；
将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；
对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；
将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。
可选的，处理器1302执行所述对所述待识别人脸素描图进行裁剪得到人脸区域素描图，包括：
通过预训练的多任务级联卷积神经网络对所述待识别人脸素描图中的人脸关键点进行检测，以定位出所述人脸关键点；
基于定位出的人脸关键点对所述待识别人脸素描图进行裁剪得到人脸区域素描图。
可选的，所述图像转换模型包括生成器；处理器1302执行所述将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像，包括：
将所述人脸区域素描图输入所述生成器，以利用多层残差网络对所述人脸区域素描图进行特征提取；
将提取出的特征进行反卷积得到与所述人脸区域素描图尺寸相同的特征图；
对所述特征图的维度进行压缩以生成所述第二人脸合成图像。
可选的，处理器1302执行所述将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果，包括：
计算所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像中每个真实人脸图像的特征向量之间的欧氏距离；
若数据库中存在所述欧氏距离小于预设值的目标真实人脸图像，则将所述目标真实人脸图像确定为人脸识别结果；
若数据库中不存在所述欧氏距离小于预设值的目标真实人脸图像，则输出人脸识别失败的提示信息作为人脸识别结果。
示例性的，上述电子设备可以是计算机、笔记本电脑、平板电脑、掌上电脑、服务器、嵌入式设备等。电子设备可包括但不仅限于处理器1302、存储器1301、输出接口1303、输入接口1304。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器1302执行计算机程序时实现上述的异质人脸识别方法中的步骤，因此上述异质人脸识别方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的图像转换模型训练方法或异质人脸识别方法中的步骤。
示例性的，计算机可读存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，由于计算机可读存储介质的计算机程序被处理器执行时实现上述的图像转换模型训练方法或异质人脸识别方法中的步骤，因此上述图像转换模型训练方法或异质人脸识别方法的所有实施例或实施方式均适用于该计算机可读存储介质，且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像转换模型训练方法，其特征在于，所述方法包括：
将训练样本输入生成对抗网络的生成器进行处理，生成第一人脸合成图像；
将所述第一人脸合成图像和所述训练样本对应的真实人脸图像输入生成对抗网络的判别器中进行判别，输出判别结果；
将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量，并将所述第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果；
根据所述判别结果和所述比对结果得到所述图像转换模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述判别结果和所述比对结果得到所述图像转换模型，包括：
若所述判别结果和所述比对结果中的任一者不符合预设期望值，则更新所述生成器和所述判别器的网络参数权重，得到更新的生成器和更新的判别器；
将所述训练样本输入该更新的生成器进行处理，得到更新的第一人脸合成图像，以及将该更新的第一人脸合成图像和所述训练样本对应的真实人脸图像输入该更新的判别器中进行判别，输出更新的判别结果，以及将该更新的第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到该更新的第一人脸合成图像的特征向量，并将该更新的第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出更新的比对结果；
若该更新的判别结果和该更新的比对结果均符合预设期望值，则固定该更新的生成器和该更新的判别器的网络参数权重，以得到所述图像转换模型。
3.根据权利要求2所述的方法，其特征在于，在将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量之前，所述方法还包括：
利用预训练的卷积神经网络模型对数据库中存储的多个真实人脸图像进行特征提取，得到多个真实人脸图像中每个真实人脸图像的特征向量；其中，所述数据库中存储的多个真实人脸图像中包括所述训练样本对应的真实人脸图像；
将该每个真实人脸图像的特征向量存储至数据库中。
4.一种利用权利要求1至3任一项所述的方法训练出的图像转换模型进行的异质人脸识别方法，其特征在于，所述方法包括：
获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；
将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；
对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；
将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。
5.根据权利要求4所述的方法，其特征在于，所述对所述待识别人脸素描图进行裁剪得到人脸区域素描图，包括：
通过预训练的多任务级联卷积神经网络对所述待识别人脸素描图中的人脸关键点进行检测，以定位出所述人脸关键点；
基于定位出的人脸关键点对所述待识别人脸素描图进行裁剪得到人脸区域素描图。
6.根据权利要求4所述的方法，其特征在于，所述图像转换模型包括生成器；所述将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像，包括：
将所述人脸区域素描图输入所述生成器，以利用多层残差网络对所述人脸区域素描图进行特征提取；
将提取出的特征进行反卷积得到与所述人脸区域素描图尺寸相同的特征图；
对所述特征图的维度进行压缩以生成所述第二人脸合成图像。
7.根据权利要求4至6任一项所述的方法，其特征在于，所述将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果，包括：
计算所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像中每个真实人脸图像的特征向量之间的欧氏距离；
若数据库中存在所述欧氏距离小于预设值的目标真实人脸图像，则将所述目标真实人脸图像确定为人脸识别结果；
若数据库中不存在所述欧氏距离小于预设值的目标真实人脸图像，则输出人脸识别失败的提示信息作为人脸识别结果。
8.一种图像转换模型训练装置，其特征在于，所述装置包括：
第一图像生成模块，用于将训练样本输入生成对抗网络的生成器进行处理，生成第一人脸合成图像；
第一图像判别模块，用于将所述第一人脸合成图像和所述训练样本对应的真实人脸图像输入生成对抗网络的判别器中进行判别，输出判别结果；
第一图像比对模块，用于将所述第一人脸合成图像输入预训练的卷积神经网络模型中进行特征提取，得到所述第一人脸合成图像的特征向量，并将所述第一人脸合成图像的特征向量与训练样本对应的真实人脸图像的特征向量进行比对，输出比对结果；
模型生成模块，用于根据所述判别结果和所述比对结果得到所述图像转换模型。
9.一种异质人脸识别装置，其特征在于，所述装置包括：
人脸裁剪模块，用于获取待识别人脸素描图，并对所述待识别人脸素描图进行裁剪得到人脸区域素描图；
第二人脸生成模块，用于将所述人脸区域素描图输入预先训练好的图像转换模型进行处理，以生成第二人脸合成图像；
第一特征提取模块，用于对所述第二人脸合成图像进行特征提取，得到所述第二人脸合成图像的特征向量；
人脸匹配模块，用于将所述第二人脸合成图像的特征向量与数据库中存储的多个真实人脸图像的特征向量进行匹配，以得到人脸识别结果。
10.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法中的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法中的步骤。
CN201910812547.4A 2019-08-29 2019-08-29 图像转换模型训练方法、异质人脸识别方法、装置及设备 Pending CN110659582A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910812547.4A CN110659582A (zh) 2019-08-29 2019-08-29 图像转换模型训练方法、异质人脸识别方法、装置及设备
PCT/CN2019/121348 WO2021036059A1 (zh) 2019-08-29 2019-11-27 图像转换模型训练方法、异质人脸识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910812547.4A CN110659582A (zh) 2019-08-29 2019-08-29 图像转换模型训练方法、异质人脸识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN110659582A true CN110659582A (zh) 2020-01-07

Family

ID=69036532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910812547.4A Pending CN110659582A (zh) 2019-08-29 2019-08-29 图像转换模型训练方法、异质人脸识别方法、装置及设备

Country Status (2)

Country Link
CN (1) CN110659582A (zh)
WO (1) WO2021036059A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339832A (zh) * 2020-02-03 2020-06-26 中国人民解放军国防科技大学 人脸合成图像的检测方法及装置
CN111754596A (zh) * 2020-06-19 2020-10-09 北京灵汐科技有限公司 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN111797891A (zh) * 2020-05-21 2020-10-20 南京大学 基于生成对抗网络的非成对异质人脸图像生成方法、装置
CN111814571A (zh) * 2020-06-12 2020-10-23 深圳禾思众成科技有限公司 一种基于背景过滤的口罩人脸识别方法及系统
CN111833240A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 人脸图像转换方法、装置、电子设备及存储介质
CN111862030A (zh) * 2020-07-15 2020-10-30 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质
CN112633154A (zh) * 2020-12-22 2021-04-09 云南翼飞视科技有限公司 一种异源人脸特征向量之间的转换方法及系统
CN112633288A (zh) * 2020-12-29 2021-04-09 杭州电子科技大学 一种基于绘画笔触指导的人脸素描生成方法
CN112766105A (zh) * 2021-01-07 2021-05-07 北京码牛科技有限公司 一种应用于图码联采系统的图像转换方法及装置
CN112989096A (zh) * 2021-03-05 2021-06-18 浙江大华技术股份有限公司 脸部特征迁移方法、电子设备及存储介质
CN113011277A (zh) * 2021-02-25 2021-06-22 日立楼宇技术（广州）有限公司 基于人脸识别的数据处理方法、装置、设备及介质
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
WO2021217856A1 (zh) * 2020-04-30 2021-11-04 平安科技（深圳）有限公司 人脸图像生成方法、装置、电子设备及可读存储介质
CN113822245A (zh) * 2021-11-22 2021-12-21 杭州魔点科技有限公司 人脸识别方法、电子设备和介质
CN114240810A (zh) * 2021-11-10 2022-03-25 合肥工业大学 一种基于渐进式生成网络的人脸素描-照片合成方法
CN114255502A (zh) * 2021-12-23 2022-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114266946A (zh) * 2021-12-31 2022-04-01 智慧眼科技股份有限公司 遮挡条件下的特征识别方法、装置、计算机设备及介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011356A (zh) * 2021-03-26 2021-06-22 杭州朗和科技有限公司 人脸特征检测方法、装置、介质及电子设备
CN113096242A (zh) * 2021-04-29 2021-07-09 平安科技（深圳）有限公司 虚拟主播生成方法、装置、电子设备及存储介质
CN113642415B (zh) * 2021-07-19 2024-06-04 南京南瑞信息通信科技有限公司 人脸特征表达方法及人脸识别方法
CN113570564B (zh) * 2021-07-21 2024-02-27 同济大学 一种基于多路卷积网络的多清晰度伪造人脸视频的检测方法
CN113626786A (zh) * 2021-08-11 2021-11-09 深圳市宝泽科技有限公司 局域无线网内设备管理方法、装置、存储介质及设备
CN113642481A (zh) * 2021-08-17 2021-11-12 百度在线网络技术（北京）有限公司 识别方法、训练方法、装置、电子设备以及存储介质
CN113901904A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 图像处理方法、人脸识别模型训练方法、装置及设备
CN114326655A (zh) * 2021-11-30 2022-04-12 深圳先进技术研究院 工业机器人故障数据生成方法、系统、终端以及存储介质
CN115065863B (zh) * 2022-06-14 2024-04-12 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN117830083B (zh) * 2024-03-05 2024-05-03 昆明理工大学 一种人脸素描到人脸照片的生成方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279936B (zh) * 2013-06-21 2016-04-27 重庆大学 基于画像的人脸伪照片自动合成及修正方法
CN103902991A (zh) * 2014-04-24 2014-07-02 西安电子科技大学 基于法医素描的人脸识别方法
CN108596110A (zh) * 2018-04-26 2018-09-28 北京京东金融科技控股有限公司 图像识别方法及装置、电子设备、存储介质
CN109063776B (zh) * 2018-08-07 2021-08-10 北京旷视科技有限公司 图像再识别网络训练方法、装置和图像再识别方法及装置
CN109359541A (zh) * 2018-09-17 2019-02-19 南京邮电大学 一种基于深度迁移学习的素描人脸识别方法
CN110069992B (zh) * 2019-03-18 2021-02-09 西安电子科技大学 一种人脸图像合成方法、装置、电子设备及存储介质
CN113936298A (zh) * 2019-05-08 2022-01-14 北京市商汤科技开发有限公司 一种特征识别方法及装置、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN108446667A (zh) * 2018-04-04 2018-08-24 北京航空航天大学 基于生成对抗网络数据增强的人脸表情识别方法和装置
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHIKANG YU ETAL.: "Improving Face Sketch Recognition via Adversarial Sketch-Photo Transformation", 《2019 14TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION (FG 2019)》 *
XIANGWU ETAL.: "A Lightened CNN for Deep Face Representation", 《HTTP：ARXIV:1511.02683V1》 *
应自炉: "多尺度密集残差网络的单幅图像超分辨率重建", 《中国图象图形学报》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339832B (zh) * 2020-02-03 2023-09-12 中国人民解放军国防科技大学 人脸合成图像的检测方法及装置
CN111339832A (zh) * 2020-02-03 2020-06-26 中国人民解放军国防科技大学 人脸合成图像的检测方法及装置
WO2021217856A1 (zh) * 2020-04-30 2021-11-04 平安科技（深圳）有限公司 人脸图像生成方法、装置、电子设备及可读存储介质
CN111797891A (zh) * 2020-05-21 2020-10-20 南京大学 基于生成对抗网络的非成对异质人脸图像生成方法、装置
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN111833240B (zh) * 2020-06-03 2023-07-25 北京百度网讯科技有限公司 人脸图像转换方法、装置、电子设备及存储介质
CN111833240A (zh) * 2020-06-03 2020-10-27 北京百度网讯科技有限公司 人脸图像转换方法、装置、电子设备及存储介质
CN111814571A (zh) * 2020-06-12 2020-10-23 深圳禾思众成科技有限公司 一种基于背景过滤的口罩人脸识别方法及系统
CN111754596B (zh) * 2020-06-19 2023-09-19 北京灵汐科技有限公司 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN111754596A (zh) * 2020-06-19 2020-10-09 北京灵汐科技有限公司 编辑模型生成、人脸图像编辑方法、装置、设备及介质
US11881050B2 (en) 2020-07-15 2024-01-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for detecting face synthetic image, electronic device, and storage medium
CN111862030B (zh) * 2020-07-15 2024-02-09 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质
CN111862030A (zh) * 2020-07-15 2020-10-30 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质
CN112633154A (zh) * 2020-12-22 2021-04-09 云南翼飞视科技有限公司 一种异源人脸特征向量之间的转换方法及系统
CN112633288A (zh) * 2020-12-29 2021-04-09 杭州电子科技大学 一种基于绘画笔触指导的人脸素描生成方法
CN112633288B (zh) * 2020-12-29 2024-02-13 杭州电子科技大学 一种基于绘画笔触指导的人脸素描生成方法
CN112766105A (zh) * 2021-01-07 2021-05-07 北京码牛科技有限公司 一种应用于图码联采系统的图像转换方法及装置
CN113011277A (zh) * 2021-02-25 2021-06-22 日立楼宇技术（广州）有限公司 基于人脸识别的数据处理方法、装置、设备及介质
CN113011277B (zh) * 2021-02-25 2023-11-21 日立楼宇技术（广州）有限公司 基于人脸识别的数据处理方法、装置、设备及介质
CN112989096A (zh) * 2021-03-05 2021-06-18 浙江大华技术股份有限公司 脸部特征迁移方法、电子设备及存储介质
CN114240810A (zh) * 2021-11-10 2022-03-25 合肥工业大学 一种基于渐进式生成网络的人脸素描-照片合成方法
CN114240810B (zh) * 2021-11-10 2023-08-08 合肥工业大学 一种基于渐进式生成网络的人脸素描-照片合成方法
CN113822245A (zh) * 2021-11-22 2021-12-21 杭州魔点科技有限公司 人脸识别方法、电子设备和介质
CN114255502A (zh) * 2021-12-23 2022-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114255502B (zh) * 2021-12-23 2024-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114266946A (zh) * 2021-12-31 2022-04-01 智慧眼科技股份有限公司 遮挡条件下的特征识别方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
WO2021036059A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN108898186B (zh) 用于提取图像的方法和装置
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN111241989B (zh) 图像识别方法及装置、电子设备
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN113361636B (zh) 一种图像分类方法、系统、介质及电子设备
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
US9922241B2 (en) Gesture recognition method, an apparatus and a computer program for the same
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN108615006B (zh) 用于输出信息的方法和装置
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN113744286A (zh) 虚拟头发生成方法及装置、计算机可读介质和电子设备
CN116958584A (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
CN115565186B (zh) 文字识别模型的训练方法、装置、电子设备和存储介质
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN114862716B (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200107