CN111160264A - 一种基于生成对抗网络的漫画人物身份识别方法 - Google Patents

一种基于生成对抗网络的漫画人物身份识别方法 Download PDF

Info

Publication number
CN111160264A
CN111160264A CN201911399669.1A CN201911399669A CN111160264A CN 111160264 A CN111160264 A CN 111160264A CN 201911399669 A CN201911399669 A CN 201911399669A CN 111160264 A CN111160264 A CN 111160264A
Authority
CN
China
Prior art keywords
cartoon
face
real
picture
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911399669.1A
Other languages
English (en)
Other versions
CN111160264B (zh
Inventor
赖剑煌
程海杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911399669.1A priority Critical patent/CN111160264B/zh
Publication of CN111160264A publication Critical patent/CN111160264A/zh
Application granted granted Critical
Publication of CN111160264B publication Critical patent/CN111160264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于生成对抗网络的漫画人物身份识别方法，包括：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。本发明对漫画人物身份识别具有精度高、速度快的优点。

Description

一种基于生成对抗网络的漫画人物身份识别方法
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种基于生成对抗网络的漫画人物身份识别方法。
背景技术
过去几十年人脸识别一直是计算机视觉领域重点研究的问题。近年来，随着科技的迅速发展，特别是随着深度学习的快速发展，深度人脸识别模型在一些数据集上已经达到甚至超越了人类的识别水平，例如，在人脸识别最常用的LFW数据集上，现有的人脸识别算法可以达到99％以上的准确率。但是，已有的人脸识别算法大都是围绕真实的人脸图像进行研究的，很少有专门的算法来研究漫画人脸识别这一主题，以用于对漫画人物身份进行识别。
人脸识别是基于深度学习的面部分析技术，包括人脸检测与分析、五官定位、人脸比对与验证、人脸检索、活体检测等。漫画人脸识别属于人脸识别范式，称为异构人脸识别(HFR)。其任务是，识别出输入漫画人脸图对应身份的算法，即对于检索库中任意给定的漫画人脸图片，去查询库中寻找与之最相似的真实人脸图片，并通过相似度阈值判断两张图片是否是同一身份，如果是，返回对应的身份，否则返回不在库中。由于漫画具有强烈的讽刺性和幽默感，漫画人脸识别在计算机视觉领域中正受到越来越多的关注，漫画因其具有夸张的特征，这些特征往往会导致这些面部与隐含的人脸属性(例如面部对称性违反，异常的面部轮廓，不自然的肤色等)与大多数基准检测和识别技术存在着偏差。虽然这些技术在生物识别扫描仪和医疗保健设备等日常设备中广泛应用于人类，但卡通产业的惊人增长已经夸大了卡通面孔类似技术的需求，例如，在图像搜索引擎中加入用于搜索类似漫画的网页、与屏幕阅读器集成，以帮助视障人士了解卡通电影、帮助内容控制软件在社交媒体上审查不适当的卡通形象等。可以说，漫画人脸识别是一个具有广阔前景的研究主题，相信随着越来越多日漫数字化书籍的问世和各大娱乐平台的迅速发展，之后会有更多的漫画人脸技术应用到各个领域。
当前，漫画人物身份识别还处于新兴阶段，常用的方法也是简单的套用异构人脸识别的方法或其组合。然而这些方法都是基于两种不同模态间的相互识别，如3D图片和2D图片、红外图片和可见光图片，以及高分辨率图片和低分辨率图片等，同时这些图片的来源都是来自真实图片。如果简单的使用这些异构人脸识别的方法来对漫画人脸进行识别，往往会忽视漫画人脸最本质的特征，如不符合比例的眼睛鼻子嘴巴、夸张的表情、怪异的发型等。同时，漫画因为其多样性、丰富性和夸张性，不能简单的看为是两种模态间的相互识别。目前已有的方法仍无法较好地实现漫画人物身份识别，漫画人物身份识别算法仍有继续改进和发展的空间。
发明内容
为了克服现有漫画人物身份识别方法的不足和基于传统人脸识别算法特征单一的缺点，本发明提出了一种基于生成对抗网络的漫画人物身份识别方法，该方法利用漫画生成、漫画人脸与行人特征融合、漫画图片风格分类以及重排序的策略，可提升查询库中漫画行人在检索库中检索真实行人的准确率。
本发明的目的通过以下的技术方案实现：一种基于生成对抗网络的漫画人物身份识别方法，包括步骤：
步骤S1：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；
步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；
步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；
步骤S4：构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；
步骤S5：计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。
优选的，步骤S2中构建人脸检测对齐模型，步骤是：
步骤S21：在训练模型阶段，将WIDER FACE数据集中的真实人脸和WebCaricature(非日系风格)、DANBOORU2018(日系风格)数据集中漫画人脸作为训练数据分别送入到参数不共享的Tiny Darknet网络中提取人脸特征；而后将真实人脸所对应的网络分为三个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归；将漫画人脸所对应的网络分为四个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归、第四个支路用于对漫画人脸风格进行分类；
步骤S22：在测试模型阶段，利用训练好的真实人脸检测模型对检索库中真实行人图片进行人脸检测，得到人脸检测框和人脸关键点，而后通过人脸关键点对人脸进行对齐；利用训练好的漫画人脸检测模型对查询库中漫画行人图片进行人脸检测，得到人脸检测框、人脸关键点和漫画人脸风格类别，而后通过漫画人脸风格类别判断该漫画行人图片在检索库中是否有与之对应的真实行人图片，如果该漫画人脸图片的风格是日系，则不用去检索库中寻找与之对应的真实行人图片，直接返回检索库中没有与之对应身份的真实人脸图片，即返回-1；如果该漫画人脸图片的风格是非日系，则需要去检索库中寻找与之对应的真实行人图片，返回该真实行人图片的ID。
优选的，步骤S3中构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片，步骤是：
步骤S31：将成对原始真实人脸图片x、漫画人脸图片y，及其对应关键点送入生成网络G中，G分为三个支路，分别为风格编码、内容编码和关键点检测。接着利用编码的风格ES对编码的内容EC进行纹理渲染记为R，为了防止风格渲染后的图片丢失语义信息，在此增加一个身份重构损失Lidr＝E[||R(EC(x)，ES(x))-x||1],x为原始真实人脸图片，E[·]表示取一个训练批次中所有训练样本计算值的期望值。而后利用定位的关键点K与偏移量ΔK对渲染后的图片进行面部变形，记为W，得到生成的漫画图片W(R(EC(x),ES(x)),K,ΔK)；
步骤S32：将生成的漫画图片送入到判别网络D中，通过损失函数对其进行约束训练，最终得到漫画生成模型。
更进一步的，所述步骤S31中，关键点K是利用MTCNN方法对人脸图像进行检测，并将检测的左眼K1、右眼K2、鼻子K3、嘴左K4、嘴右K5五个关键点坐标进行保存；面部变形是通过网络学习一组偏移量ΔK＝ΔK1，ΔK2,…，ΔKn，n为关键点的数目5，然后通过薄板样条插值对网格进行采样，从而生成具有多种风格且适合人特定特征夸大的漫画图片。
更进一步的，所述步骤S32中，通过三个损失函数对判别网络D进行约束，分别为对抗损失Ladv、身份一致性损失Lidc和漫画风格一致性损失Lcsc，其中，对抗损失为：Ladv＝E[-logD(G(x,ES))]+E[-logD(y)]；身份一致性损失为：Lidc＝E[-logD(G(x,ES(x)),l)]+E[-logD(y,l)]，l为x对应的真实标签；漫画风格一致性损失为：Lcsc＝E||MTCNN(G(x,ES))-k||1，k为y对应的关键点。
优选的，步骤S4中构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，步骤是：
步骤S41：利用步骤S2中训练好的人脸检测对齐模型对用于训练和测试人物身份识别模型的数据进行预处理，得到对应的真实人脸和漫画人脸图片；
步骤S42：利用步骤S3中训练好的漫画生成模型将训练和测试数据中的真实人脸和行人转换成对应的漫画图片；
步骤S43：在训练阶段，将真实行人图片、真实人脸图片、漫画行人图片(包括漫画生成的行人图片)和漫画人脸图片(包括漫画生成的人脸图片)分别送入到参数不共享的主干网络中去提取其各自的深度特征，而后分别将真实行人、人脸的深度特征和漫画行人、人脸的深度特征进行拼接，得到真实图片和漫画图片的融合特征；利用Softmax Loss对真实行人图片、真实人脸图片、漫画行人图片和漫画人脸图片所对应的深度特征，以及真实图片和漫画图片的融合特征进行身份约束；利用Triplet Loss对真实图片和漫画图片的融合特征进行相似度的约束；
步骤S44：在测试阶段，利用训练好的漫画人物身份识别模型分别提取查询库中漫画人脸和行人对应的融合特征、检索库中真实人脸和行人所生成的漫画图片对应的融合特征，而后计算查询库中融合特征与检索库中融合特征的相似度分数。
更进一步的，步骤S43中，主干网络采用Resnet50网络。
更进一步，步骤S44中，将查询库中融合特征与检索库中融合特征的余弦距离作为其对应的相似度分数。
优选的，步骤S5中利用漫画行人间的相似度分数对漫画与真实行人间的相似度分数进行重排序，步骤是：
步骤S51：利用步骤S4中训练好的漫画人物身份识别模型提取查询库中漫画图片的融合特征；
步骤S52：计算查询库中漫画图片间融合特征的相似度分数；
步骤S53：对于查询库间相似度在预设阈值以内的，选取它们在检索库中前若干个出现次数最多、排名之和最小的图片所对应的ID作为其对应的真实图片的ID。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明在构建人脸检测对齐模型中，通过直接对人脸进行分类、人脸框进行回归、关键点进行定位，避免了在人脸检测时产生大量的无关框，大大提升了人脸检测的速度，对分辨率为416*416的图片进行人脸检测速度可达80FPS以上。同时，通过漫画图片风格分类，可排除查询库中大量的负样本(在检索库中没有与之对应的真实图片)，大大提高了漫画人脸识别的精度。
2、本发明在构建漫画生成模型中，通过生成对抗网络对图像进行纹理样式和几何形状的解耦，而后通过关键点定位对特定于身份的面部特征进行夸大。同时，考虑到同一人脸所对应的漫画人脸间风格差异较小，而不同人脸所对应的漫画人脸间风格差异较大，再通过人脸关键点定位对生成漫画人脸的关键点进行约束，本方法使生成的漫画图片不仅实现了外观风格化和几何夸张，也很好的保留了原身份信息，在一定程度上缩小了真实图片和漫画图片之间的模态差异，为后续的漫画人脸识别提供了有利条件。
3、本发明在构建漫画人物身份识别模型中，通过将行人和人脸的特征进行融合，再进行身份约束和相似度约束，避免了基于单一特征的传统人脸识别和行人再识别的缺点，充分的利用了图片本身所具有的信息，提高了漫画人脸识别的精度。
4、本发明采用重排序的策略，利用漫画人脸间的相似度分数对漫画与真实人脸间的相似度分数进行重新排序，选取查询库中非常相似的图片在检索库中前若干个出现次数最多、排名之和最小的图片所对应的ID作为其对应的真实图片的ID，进一步提高了漫画人脸识别的精度。
附图说明
图1是本实施例方法的总体流程图。
图2是本实施例方法中人脸检测对齐模块示意图。
图3是本实施例方法中漫画生成模块示意图。
图4是本实施例方法中漫画人物身份识别模块示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
本实施例一种基于生成对抗网络的漫画人物身份识别方法，参见图1，主要包括人脸检测对齐、漫画生成、漫画人物身份识别三个部分，分别构建了人脸检测对齐模型、漫画生成模型和漫画人脸识别模型，人脸检测对齐模型用于对检索库和查询库中的图片进行人脸检测对齐，漫画生成模型用于将真实行人和人脸转换成对应的漫画图片，漫画人物身份识别模型用于根据漫画行人和真实行人融合特征间的相似度进行查询，获取漫画行人在检索库中所对应的真实行人。
下面结合图1-4来说明本发明实施例的一些具体实现流程。具体步骤如下：
步骤S1：获取真实行人和漫画行人图片，建立真实行人检索库和漫画行人查询库。本实施例的目的是获取查询库中漫画行人在检索库中所对应的真实行人。
步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐。
参见图2，在该步骤中，需要获取用于人脸检测对齐模型的数据，建立模型，然后进行训练，训练后进行模型测试。具体包括下述步骤：
步骤S21：在训练模型阶段，将WIDER FACE数据集中的真实人脸和WebCaricature(非日系风格)、DANBOORU2018(日系风格)数据集中漫画人脸作为训练数据分别送入到参数不共享的Tiny Darknent网络中提取人脸特征；而后将真实人脸所对应的网络分为三个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归；将漫画人脸所对应的网络分为四个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归、第四个支路用于对漫画人脸风格进行分类。
步骤S22：在测试模型阶段，利用训练好的真实人脸检测模型对检索库中真实行人图片进行人脸检测，得到人脸检测框和人脸关键点，而后通过人脸关键点对人脸进行对齐；利用训练好的漫画人脸检测模型对查询库中漫画行人图片进行人脸检测，得到人脸检测框、人脸关键点和漫画人脸风格类别，上述的真实人脸检测模型、漫画人脸检测模型均可为现有技术中已有的模型，本实施例主要是应用其输出的特征信息，这里不再详述。
而后通过漫画人脸风格类别判断该漫画行人图片在检索库中是否有与之对应的真实行人图片，如果该漫画人脸图片的风格是日系，则不用去检索库中寻找与之对应的真实行人图片，直接返回检索库中没有与之对应身份的真实人脸图片，即返回-1；如果该漫画人脸图片的风格是非日系，则需要去检索库中寻找与之对应的真实行人图片，返回该真实行人图片的ID。
步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片。
参见图3，构建漫画生成模型包含以下步骤：
步骤S31：将成对原始真实人脸图片x、原始漫画人脸图片y，及其对应关键点送入生成网络G中，G分为三个支路，分别为风格编码、内容编码和关键点检测。接着利用编码的风格ES对编码的内容EC进行纹理渲染记为R，为了防止风格渲染后的图片丢失语义信息，在此增加一个身份重构损失Lidr＝E[||R(EC(x)，ES(x))-x||1],x为原始真实人脸图片，E[·]表示取一个训练批次中所有训练样本计算值的期望值。而后利用定位的关键点K与偏移量ΔK对渲染后的图片进行面部变形，得到面部形变W，得到生成的漫画图片W(R(EC(x),ES(x)),K,ΔK)。其中，关键点K是利用MTCNN方法对人脸图像进行检测，并将检测的左眼K1、右眼K2、鼻子K3、嘴左K4、嘴右K5五个关键点坐标进行保存；面部变形主要是通过网络学习一组偏移量ΔK＝ΔK1，ΔK2,…，ΔKn，n为关键点的数目5，然后通过薄板样条插值对网格进行采样，从而生成具有多种风格且适合人特定特征夸大的漫画图片。
步骤S32：将生成的漫画图片送入到判别网络D中，主要通过三个损失函数对其进行约束，分别为对抗损失Ladv、身份一致性损失Lidc和漫画风格一致性损失Lcsc。其中，对抗损失为：Ladv＝E[-logD(G(x,ES))]+E[-logD(y)]；身份一致性损失为：Lidc＝E[-logD(G(x,ES(x)),l)]+E[-logD(y,l)]，l为x对应的真实标签；漫画风格一致性损失为：Lcsc＝E||MTCNN(G(x,ES))-k||1，k为y对应的关键点。
步骤S4：构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数。
参见图4，本实施例构建漫画人物身份识别模型包含以下步骤：
步骤S41：利用步骤S2中训练好的人脸检测对齐模型对用于训练和测试人脸识别模型的数据进行预处理，得到对应的真实人脸和漫画人脸图片；
步骤S42：利用步骤S3中训练好的漫画生成模型将训练和测试数据中的真实人脸和行人转换成对应的漫画图片；
步骤S43：在训练阶段，将真实行人图片、真实人脸图片、漫画行人图片(包括漫画生成的行人图片)和漫画人脸图片(包括漫画生成的人脸图片)分别送入到参数不共享的Resnet50主干网络中去提取其各自的深度特征，而后分别将真实行人、人脸的深度特征和漫画行人、人脸的深度特征进行拼接，得到真实图片和漫画图片的融合特征；利用SoftmaxLoss对真实行人图片、真实人脸图片、漫画行人图片和漫画人脸图片所对应的深度特征，以及真实图片和漫画图片的融合特征进行身份约束；利用Triplet Loss对真实图片和漫画图片的融合特征进行相似度的约束；
步骤S44：在测试阶段，利用训练好的漫画人物身份识别模型分别提取查询库中漫画人脸和行人对应的融合特征、检索库中真实人脸和行人所生成的漫画图片对应的融合特征，而后计算查询库中融合特征与检索库中融合特征的余弦距离作为其对应的相似度分数。
步骤S5：计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画与真实行人间的相似度分数进行重排序，获取查询库中漫画行人在检索库中所对应的真实行人。
参见图1，该步骤具体包括：
步骤S51：利用步骤S4中训练好的漫画人物身份识别模型提取查询库中漫画图片的融合特征。
步骤S52：计算查询库中漫画图片间融合特征的相似度分数；
步骤S53：对于查询库间相似度在Top 10以内的，选取它们在检索库中Top5出现次数最多、排名之和最小的图片所对应的ID作为其对应的真实图片的ID。
显然，可通过各种手段实施本发明描述的技术。举例来说，这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案，处理模块可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、处理器、控制器、微控制器、电子装置、其他经设计以执行本发明所描述的功能的电子单元或其组合内。
对于固件和/或软件实施方案，可用执行本文描述的功能的模块(例如，过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于生成对抗网络的漫画人物身份识别方法，其特征在于，包括步骤：
步骤S1：获取真实行人和漫画行人图片，建立包含真实行人的检索库和包含漫画行人的查询库；
步骤S2：构建人脸检测对齐模型，对检索库和查询库中的图片进行人脸检测对齐；
步骤S3：构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片；
步骤S4：构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，计算漫画行人和真实行人融合特征间的相似度分数；
步骤S5：计算漫画行人融合特征间的相似度分数，利用漫画行人间的相似度分数对漫画行人与真实行人间的相似度分数进行重排序，设定阈值获取查询库中漫画行人在检索库中所对应的真实行人。
2.根据权利要求1所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S2中构建人脸检测对齐模型，步骤是：
步骤S21：在训练模型阶段，将WIDER FACE数据集中的真实人脸和WebCaricature、DANBOORU2018数据集中漫画人脸作为训练数据分别送入到参数不共享的Tiny Darknet网络中提取人脸特征；而后将真实人脸所对应的网络分为三个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归；将漫画人脸所对应的网络分为四个支路，第一个支路用于对人脸特征进行分类、第二个支路用于对人脸框进行回归、第三个支路用于对真实人脸关键点进行回归、第四个支路用于对漫画人脸风格进行分类；
步骤S22：在测试模型阶段，利用训练好的真实人脸检测模型对检索库中真实行人图片进行人脸检测，得到人脸检测框和人脸关键点，而后通过人脸关键点对人脸进行对齐；利用训练好的漫画人脸检测模型对查询库中漫画行人图片进行人脸检测，得到人脸检测框、人脸关键点和漫画人脸风格类别，而后通过漫画人脸风格类别判断该漫画行人图片在检索库中是否有与之对应的真实行人图片，如果该漫画人脸图片的风格是日系，则不用去检索库中寻找与之对应的真实行人图片，直接返回检索库中没有与之对应身份的真实人脸图片；如果该漫画人脸图片的风格是非日系，则需要去检索库中寻找与之对应的真实行人图片，返回该真实行人图片的ID。
3.根据权利要求1所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S3中构建漫画生成模型，将真实行人和人脸转换成对应的漫画图片，步骤是：
步骤S31：将成对原始真实人脸图片x、漫画人脸图片y，及其对应关键点送入生成网络G中，G分为三个支路，分别为风格编码、内容编码和关键点检测；接着利用编码的风格ES对编码的内容EC进行纹理渲染记为R，为了防止风格渲染后的图片丢失语义信息，在此增加一个身份重构损失Lidr＝E[||R(EC(x)，ES(x))-x||1],x为原始真实人脸图片，E[·]表示取一个训练批次中所有训练样本计算值的期望值；而后利用定位的关键点K与偏移量ΔK对渲染后的图片进行面部变形，记为W，得到生成的漫画图片W(R(EC(x),ES(x)),K,ΔK)；
步骤S32：将生成的漫画图片送入到判别网络D中，通过损失函数对其进行约束训练，最终得到漫画生成模型。
4.根据权利要求3所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，所述步骤S31中，关键点K是利用MTCNN方法对人脸图像进行检测，并将检测的左眼K1、右眼K2、鼻子K3、嘴左K4、嘴右K5五个关键点坐标进行保存；面部变形是通过网络学习一组偏移量ΔK＝ΔK1，ΔK2,…，ΔKn，n为关键点的数目5，然后通过薄板样条插值对网格进行采样，从而生成具有多种风格且适合人特定特征夸大的漫画图片。
5.根据权利要求3所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，所述步骤S32中，通过三个损失函数对判别网络D进行约束，分别为对抗损失Ladv、身份一致性损失Lidc和漫画风格一致性损失Lcsc，其中，对抗损失为：Ladv＝E[-logD(G(x,ES))]+E[-logD(y)]；身份一致性损失为：Lidc＝E[-logD(G(x,ES(x)),l)]+E[-logD(y,l)]，l为x对应的真实标签；漫画风格一致性损失为：Lcsc＝E||MTCNN(G(x,ES))-k||1，k为y对应的关键点。
6.根据权利要求1所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S4中构建漫画人物身份识别模型，提取检索库和查询库中图片的融合特征，步骤是：
步骤S41：利用步骤S2中训练好的人脸检测对齐模型对用于训练和测试人物身份识别模型的数据进行预处理，得到对应的真实人脸和漫画人脸图片；
步骤S42：利用步骤S3中训练好的漫画生成模型将训练和测试数据中的真实人脸和行人转换成对应的漫画图片；
步骤S43：在训练阶段，将真实行人图片、真实人脸图片、漫画行人图片和漫画人脸图片分别送入到参数不共享的主干网络中去提取其各自的深度特征，而后分别将真实行人、人脸的深度特征和漫画行人、人脸的深度特征进行拼接，得到真实图片和漫画图片的融合特征；利用Softmax Loss对真实行人图片、真实人脸图片、漫画行人图片和漫画人脸图片所对应的深度特征，以及真实图片和漫画图片的融合特征进行身份约束；利用Triplet Loss对真实图片和漫画图片的融合特征进行相似度的约束；
步骤S44：在测试阶段，利用训练好的漫画人物身份识别模型分别提取查询库中漫画人脸和行人对应的融合特征、检索库中真实人脸和行人所生成的漫画图片对应的融合特征，而后计算查询库中融合特征与检索库中融合特征的相似度分数。
7.根据权利要求6所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S43中，主干网络采用Resnet50网络。
8.根据权利要求6所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S44中，将查询库中融合特征与检索库中融合特征的余弦距离作为其对应的相似度分数。
9.根据权利要求1或6所述的基于生成对抗网络的漫画人物身份识别方法，其特征在于，步骤S5中利用漫画行人间的相似度分数对漫画与真实行人间的相似度分数进行重排序，步骤是：
步骤S51：利用步骤S4中训练好的漫画人物身份识别模型提取查询库中漫画图片的融合特征；
步骤S52：计算查询库中漫画图片间融合特征的相似度分数；
步骤S53：对于查询库间相似度在预设阈值以内的，选取它们在检索库中前若干个出现次数最多、排名之和最小的图片所对应的ID作为其对应的真实图片的ID。
CN201911399669.1A 2019-12-30 2019-12-30 一种基于生成对抗网络的漫画人物身份识别方法 Active CN111160264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399669.1A CN111160264B (zh) 2019-12-30 2019-12-30 一种基于生成对抗网络的漫画人物身份识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399669.1A CN111160264B (zh) 2019-12-30 2019-12-30 一种基于生成对抗网络的漫画人物身份识别方法

Publications (2)

Publication Number Publication Date
CN111160264A true CN111160264A (zh) 2020-05-15
CN111160264B CN111160264B (zh) 2023-05-12

Family

ID=70559472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399669.1A Active CN111160264B (zh) 2019-12-30 2019-12-30 一种基于生成对抗网络的漫画人物身份识别方法

Country Status (1)

Country Link
CN (1) CN111160264B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统
CN111899154A (zh) * 2020-06-24 2020-11-06 广州梦映动漫网络科技有限公司 漫画视频生成方法及漫画生成方法、装置、设备、介质
CN112016412A (zh) * 2020-08-13 2020-12-01 上海薇艾信息科技有限公司 人物头像元素及区域数字化存储和相似度分析方法和系统
CN112016411A (zh) * 2020-08-13 2020-12-01 上海薇艾信息科技有限公司 创建模拟对象人物头像进行相似性匹配的社交方法和系统
CN112232485A (zh) * 2020-10-15 2021-01-15 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
CN112288019A (zh) * 2020-10-30 2021-01-29 天津天地伟业智能安全防范科技有限公司 一种基于关键点定位的厨师帽检测方法
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN113742502A (zh) * 2020-05-28 2021-12-03 上海赤木信息科技有限公司 一种漫画搜索方法及系统
CN114882565A (zh) * 2022-05-20 2022-08-09 北京爱奇艺科技有限公司 卡通人物识别方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415308A (zh) * 2019-06-21 2019-11-05 浙江大学 一种基于循环空间转换网络的人脸漫画生成方法
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415308A (zh) * 2019-06-21 2019-11-05 浙江大学 一种基于循环空间转换网络的人脸漫画生成方法
CN110414378A (zh) * 2019-07-10 2019-11-05 南京信息工程大学 一种基于异质人脸图像融合特征的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QUAN ZHANG 等: "DHML: Deep Heterogeneous Metric Learning for VIS-NIR Person Re-identification" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742502A (zh) * 2020-05-28 2021-12-03 上海赤木信息科技有限公司 一种漫画搜索方法及系统
CN111797691A (zh) * 2020-06-03 2020-10-20 力引万物(深圳)科技有限公司 提高人脸识别准确率的方法及处理子系统
CN111899154A (zh) * 2020-06-24 2020-11-06 广州梦映动漫网络科技有限公司 漫画视频生成方法及漫画生成方法、装置、设备、介质
CN112016412A (zh) * 2020-08-13 2020-12-01 上海薇艾信息科技有限公司 人物头像元素及区域数字化存储和相似度分析方法和系统
CN112016411A (zh) * 2020-08-13 2020-12-01 上海薇艾信息科技有限公司 创建模拟对象人物头像进行相似性匹配的社交方法和系统
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112232485A (zh) * 2020-10-15 2021-01-15 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
CN112232485B (zh) * 2020-10-15 2023-03-24 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
CN112288019A (zh) * 2020-10-30 2021-01-29 天津天地伟业智能安全防范科技有限公司 一种基于关键点定位的厨师帽检测方法
CN112288019B (zh) * 2020-10-30 2023-07-14 天津天地伟业信息系统集成有限公司 一种基于关键点定位的厨师帽检测方法
CN114882565A (zh) * 2022-05-20 2022-08-09 北京爱奇艺科技有限公司 卡通人物识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111160264B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111160264B (zh) 一种基于生成对抗网络的漫画人物身份识别方法
Ji et al. Eamm: One-shot emotional talking face via audio-based emotion-aware motion model
CN110427867B (zh) 基于残差注意力机制的面部表情识别方法及系统
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US12039454B2 (en) Microexpression-based image recognition method and apparatus, and related device
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
CN109472198B (zh) 一种姿态鲁棒的视频笑脸识别方法
CN111814620B (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN109858392B (zh) 一种用于化妆前后人脸图像自动识别方法
CN110288513B (zh) 用于改变人脸属性的方法、装置、设备和存储介质
Liu et al. A 3 GAN: an attribute-aware attentive generative adversarial network for face aging
CN109948483B (zh) 一种基于动作和面部表情的人物交互关系识别方法
CN111191564A (zh) 基于多角度神经网络的多姿态人脸情绪识别方法及系统
CN111160130B (zh) 一种多平台虚拟身份账号的多维碰撞识别方法
Wang et al. U-Net conditional GANs for photo-realistic and identity-preserving facial expression synthesis
CN114662497A (zh) 一种基于协同神经网络的虚假新闻检测方法
Paul et al. Extraction of facial feature points using cumulative histogram
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN117275074A (zh) 基于宽广注意力和多尺度融合机制的人脸表情识别方法
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
Liu et al. 4D facial analysis: A survey of datasets, algorithms and applications
Bie et al. Facial expression recognition from a single face image based on deep learning and broad learning
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN112883880B (zh) 基于人体结构多尺度分割的行人属性识别方法、存储介质和终端
Zeng et al. Video‐driven state‐aware facial animation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant