CN112465936A - 人像卡通化方法、装置、机器人及存储介质 - Google Patents

人像卡通化方法、装置、机器人及存储介质 Download PDF

Info

Publication number
CN112465936A
CN112465936A CN202011402970.6A CN202011402970A CN112465936A CN 112465936 A CN112465936 A CN 112465936A CN 202011402970 A CN202011402970 A CN 202011402970A CN 112465936 A CN112465936 A CN 112465936A
Authority
CN
China
Prior art keywords
image
character
cartoon
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011402970.6A
Other languages
English (en)
Inventor
曾钰胜
庞建新
程骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN202011402970.6A priority Critical patent/CN112465936A/zh
Publication of CN112465936A publication Critical patent/CN112465936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人像卡通化方法，包括：获取待处理的原始人物图像；对原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；基于标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；将目标人物图像作为人像卡通化模型的输入，获取人像卡通化模型输出的与目标人物图像对应的人物卡通化图像，人像卡通化模型是通过生成对抗网络模型训练得到的。目标人物图像中不存在外部环境信息，只包含人物，所以简化了后续人像卡通化模型的处理，适用于部署在算力有限的机器人端，而且由于没有背景信息，得到的卡通效果好。此外，还提出了一种人像卡通化装置、机器人及存储介质。

Description

人像卡通化方法、装置、机器人及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种人像卡通化方法、装置、机器人及存储介质。
背景技术
随着生成对抗网络的不断发展，目前涌现了越来越多的基于生成对抗网络的AI应用。如黑白画上色，图像风格化，人像卡通化等。其中，人像卡通化成为了研究的热点。目前的人像卡通化模型在外部环境多样的情况下，其卡通化的效果往往较差，而如果想要好的效果，往往会增加模型的复杂度。
由于机器人端算力有限，复杂的人像卡通化模型在机器人端很难使用，因此，亟需一种可以在机器人端使用的人像卡通化方法。
发明内容
基于此，有必要针对上述问题，提出一种卡通化效果好且适用于在机器人端使用的人像卡通化方法、装置、机器人及存储介质。
一种人像卡通化方法，包括：
获取待处理的原始人物图像；
对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；
基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；
将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
一种人像卡通化装置，包括：
获取模块，用于获取待处理的原始人物图像；
对齐模块，用于对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；
分割模块，用于基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；
卡通化模块，用于将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
一种机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待处理的原始人物图像；
对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；
基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；
将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取待处理的原始人物图像；
对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；
基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；
将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
上述人像卡通化方法、装置、机器人及存储介质，首先，对原始人物图像中的人脸进行人脸对齐，得到对齐后的标准人物图像，然后对标准人物图像进行人像分割，滤除背景信息，得到目标人物图像，目标人物图像中不存在外部环境信息，只包含人物，所以简化了后续人像卡通化模型的处理，适用于部署在算力有限的机器人端，而且由于没有背景信息，得到的卡通效果好，即在机器人端就可以实现良好的卡通化效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是一个实施例中人像卡通化方法的流程图；
图2是一个实施例中人像对齐的示意图；
图3是一个实施例中单人人像卡通化前后的示意图；
图4是一个实施例中生成对抗网络模型的训练流程图；
图5是一个实施例中单人人像分割前后的示意图；
图6是一个实施例中人像卡通化装置的结构框图；
图7是一个实施例中训练模块的结构框图；
图8是一个实施例中机器人的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，提出了一种人像卡通化方法，该人像卡通化方法可以应用于终端，本实施例以应用于机器人端举例说明。该人像卡通化方法具体包括以下步骤：
步骤102，获取待处理的原始人物图像。
其中，原始人物图像中包含有卡通化的人物图像。不同原始人物图像中人体占比往往是不一致的，比如，有些原始人物图像中人体占比是标到肚子区域，有些人体占比是标到了腿部，还有一些人体占比是标到了肩膀等。如果直接对这些原始人物图像中的人物图像进行卡通化，那么势必需要人像卡通化模型适应多种情况，相对的模型设计会特别复杂，导致计算量大，而由于机器人端往往算力有限，所以不适用于在机器人端使用。原始人物图像可以是通过摄像头直接拍摄得到的图像，也可以是从相册中获取到的图像。在一个实施例中，终端为机器人端。
步骤104，对原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像。
其中，人脸关键点是指反映人脸面部特征的特征点，包括：眉毛、眼睛、鼻子、嘴巴和脸部轮廓的特征点。为了便于后续分割，采用人脸对齐方式将原始人物图像进行对齐，得到对齐后的标准人物图像。
标准人物图像是指预设的规范化的人物图像，比如，可以设置标准任务图像中头发为起始位置，肩部区域为终点位置。人脸对齐的过程相当于等距变换+均匀尺度缩放，其效果具有角度、平行性和垂直性不变特性。对齐后的标准人物图像中人脸是正向的，人体占比符合预设的占比规则。如图2所示，为一个实施例中，人像对齐的示意图。
具体地，人脸对齐的目标是人脸中的5个关键点(左眼、右眼、鼻子、嘴左、嘴右)映射到目标空间的指定位置，而其他部分发生非失真的变化。5个关键点的作用是将人脸映射为正脸，然后其他部分随之也相应地进行映射到目标空间。目标空间的选择是根据人体占比进行选择的，如果人体占比小，相应的目标空间也比较小。
步骤106，基于标准人物图像进行人像分割，滤除背景信息，得到目标人物图像。
其中，由于标准人物图像具有统一的单一特点，所以基于标注人物图像进行人像分割更加的简单，只需要采用轻量化的人像分割模型即可实现。进行人像分割后滤除背景信息，这样就得到了没有外部环境信息的目标人物图像，这样后续进行卡通化时，就不会出现因受外部环境影响而导致的卡通效果差。如图3所示，为一个实施例中，单人人像分割前后的示意图。
步骤108，将目标人物图像作为人像卡通化模型的输入，获取人像卡通化模型输出的与目标人物图像对应的人物卡通化图像，人像卡通化模型是通过生成对抗网络模型训练得到的。
其中，由于目标人物图像具有统一身体占比，且不具有任何背景信息干扰，这大大简化了对人像卡通化模型的训练，且有助于提高卡通化的效果。如图4所示，为一个实施例中，人物卡通化前后的示意图。
上述人像卡通化方法，首先，对原始人物图像中的人脸进行人脸对齐，得到对齐后的标准人物图像，然后对标准人物图像进行人像分割，滤除背景信息，得到目标人物图像，目标人物图像中不存在外部环境信息，只包含人物，所以简化了后续人像卡通化模型的处理，适用于部署在算力有限的机器人端，而且由于没有背景信息，得到的卡通效果好，即在机器人端就可以实现良好的卡通化效果。
在一个实施例中，所述生成对抗网络模型包括：正向生成器、反向生成器、第一判别器和第二判别器；所述正向生成器的输出与所述第一判别器连接，所述反向生成器的输出与所述第二判别器连接；所述正向生成器用于将输入的人物图像转换为人物卡通图像，所述反向生成器用于将输入的人物卡通图像转换为人物图像，所述第一判别器用于计算输入的图像属于人物卡通图像的概率，所述第二判别网络模型用于计算输入的图像属于人物图像的概率。
其中，人像卡通化模型是根据生成对抗网络模型训练得到的，该人像卡通化模型由于是在无监督的条件下训练得到的，需要其他的模型来辅助训练。生成对抗网络模型包括：两个生成器，为了区分，称为“正向生成器”和“反向生成器”，然后还有两个判别器，分别称为“第一判别器”和“第二判别器”。最后训练得到的正向生成器为上述人像卡通化模型。
具体地，正向生成器与第一判别器连接，反向生成器与第二判别器连接。正向生成器的作用是将输入的人物图像转换为人物卡通图像，反向生成器的作用是将输入的人物卡通图像转换为人物图像。第一判别器的作用是计算输入的图像属于卡通图像的概率，第二判别网络模型作用是计算输入的图像属于人物图像的概率。也就是说，第一判别器的目的是将输入的真实的人物卡通图像判断为真，将正向生成器输出的图像判断为假，如果正向生成器输出图像足以骗过第一判断器，说明正向生成器输出的图像具有了卡通化图像的特征，使得第一判别网络模型无法识别出真伪。即正向生成器与第一判别器采用的是互相对抗学习的方式。同理，反向生成器与第二判别器采用的也是互相对抗学习的方式。
如图5所示，在一个实施例中，所述生成对抗网络模型的训练步骤包括：
步骤502，获取训练图像集，训练图像集包括：训练人物图像集和训练人物卡通化图像集。
其中，生成对抗网络模型是一种无监督的训练方式，由于训练图像没有标注，所以需要两个图像集合，训练人物图像集和训练人物卡通化图像集，训练人物图像集与训练人物卡通化图像集是非对称的。
步骤504，将训练人物图像输入正向生成器，得到第一输出图像、将第一输出图像输入第一判别器得到对应输出的第一概率。
其中，从训练人物图像集中获取训练人物图像，将训练人物图像作为正向生成器的输入，得到输出的第一输出图像。正向生成器的目的是将输入的训练人物图像转换为人物卡通化图像，由于没有标注，所以需要将第一输出图像作为第一判别器的输入得到输出的第一概率，第一概率是指判断得到的第一输出图像属于人物卡通化图像的概率。第一判别器的目的是为了识别出第一输出图像是伪造的人物卡通图像。
步骤506，将训练人物卡通图像输入反向生成器，得到第二输出图像、将第二输出图像输入第二判别器得到对应输出的第二概率。
其中，从训练人物卡通图像集中获取训练人物卡通图像，将训练人物卡通图像作为反向生成器的输入，得到输出的第二输出图像。反向生成器的目的是将输入的训练人物卡通图像转换为人物图像，然后利用第二判别器来识别，第二判别器的目的是输出第二输出图像是伪造的人物图像。
步骤508，将第一输出图像输入反向生成器，得到第三输出图像；将第二输出图像输入正向生成器，得到第四输出图像。
其中，为了使得图像转换过程中尽量保留原本图像的内容，所以希望将人物图像通过正向生成器转换为人物卡通图像后，再通过反向生成器能够得到原来的图像。所以经过循环后的图像差异性越小越好，即训练人物图像与第三输出图像的差异性越小越好，训练人物卡通图像与第四输出图像的差异性越小越好。
步骤510，计算训练人物图像与第三输出图像的第一差异值，计算训练人物卡通图像与第四输出图像的第二差异值。
其中，差异值越小，说明图像之间的相似度越大。所以我们可以通过计算图像相似度的方式来计算得到差异值。即计算训练人物图像与第三输出图像之间的相似度(小于1)，然后用1减去相似度即可得到第一差异值。同样地，计算训练人物卡通图像与第四输出图像之间的相似度，然后用1减去相似度即可得到第二差异值。
步骤512，根据第一概率、第二概率、第一差异值和第二差异值计算得到第一损失函数值。
其中，第一概率可以用于计算正向生成器和第一判别器的对抗损失值，第二概率用于计算反向生成器和第二判别器的对抗损失值，第一差异值和第二差异值用于计算循环损失值。三者组合起来构成了第一损失函数值。第一损失函数值也是传统的损失函数值。
步骤514，将训练人物图像作为人脸特征提取模型的输入，获取人脸特征提取模型提取到的第一人脸特征。
其中，为了让生成的卡通化人脸更贴近真实人脸，即与真实人脸具有更多地相同的人脸特征。本发明实施例中创新地引入了人脸特征提取模型，首先，将训练人物图像作为人脸特征提取模型的输入，提取得到第一人脸特征。人脸特征提取模型用于对训练人物图像中的人脸特征进行识别提取，在一个实施例中，人脸特征提取模型可以采用轻量级的mobilefacenet来实现。
步骤516，将第一输出图像作为人脸特征提取模型的输入，获取人脸特征提取模型提取到的第二人脸特征。
其中，将第一输出图像也作为人脸特征提取模型的输入，得到提取的第二人脸特征，便于后续与第一人脸特征进行比较，以使得第一人脸特征与第二人脸特征更接近。
步骤518，计算第一人脸特征与第二人脸特征之间的相似度，根据相似度计算得到第二损失函数值。
其中，为了使得训练得到的模型输出的第二人脸特征与第一人脸特征更相似，在训练过程中，计算第一人脸特征与第二人脸特征之间的相似度，然后根据相似度计算得到第二损失函数值，便于后续根据第二损失函数值来进行模型的调整。在一个实施例中，第二损失函数值采用如下公式计算得到：
loss2＝1-cosine(fea_realA,fea_fakeA2B)
其中，cosine()表示相似度，fea_realA表示第一人脸特征，fea_fakeA2B表示第二人脸特征。
步骤520，根据第一损函数值和第二损失函数值计算得到总损失值，总损失值与相似度成反相关。
其中，将第一损失函数值和第二损失函数值都作为总损失值的一部分，然后根据总损失值来更新模型中的参数权重，以使得总损失值朝着缩小的方向更新，直到达到收敛条件。具体地，总损失函数值表示为：loss＝loss1+loss2。loss1表示第一损失函数值，loss2表示第二损失函数值。
步骤522，根据总损失值更新正向生成器、反向生成器、第一判别器和第二判别器中的权重参数，依此循环，直到总损失值达到收敛条件，将训练完成得到的正向生成器作为人像卡通化模型。
其中，计算得到总损失值后，更新正向生成器、反向生成器、第一判别器和第二判别器中的权重参数，使总损失值朝着减小的方向变化，然后以此循环，直到最后总损失值达到收敛条件，训练完成，将训练完成得到的正向生成器作为人像卡通化模型。
在一个实施例中，所述正向生成器包括：编码器和解码器，所述编码器和所述解码器是由Hourglass模块组成的。
其中，为了使得生成的人物卡通图像更加的逼真，在训练阶段，将正向生成器中的编码器和解码器分别采用Hourglass模块来实现。Hourglass模块有助于提供模型的特征抽象和重建能力。Hourglass模块是由残差模块(Residual)组成的。Hourglass(漏斗)模块的特点是先进行最大池化，然后进行上采样，通过最大池化可以特征图缩小，然后再进行上采样进行扩大。实验表明，通过Hourglass模块来实现编码器和解码器的作用可以大大提升模型的卡通化的逼真度。
在一个实施例中，所述对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像，包括：根据预设的人体占比确定人脸关键点在预设空间的目标坐标位置；将所述人脸关键点映射到预设空间的所述目标坐标位置，得到预设空间内对齐后的标准人物图像。
其中，传统的人脸对齐仅仅是将脸部进行对齐，预设空间往往比较小，比如，尺寸在112X112，然后在该有限的空间内，设置五个关键点映射后的坐标位置。比如，5个关键点(左眼、右眼、鼻子、嘴左、嘴右)的坐标位置分别为{[38.2946,51.6963]，[73.5318,51.5014]，[56.0252,71.7366]，[41.5493,92.3655]，[70.7299,92.2041]}。如果标准人物图像不仅需要包含人脸区域，还需要扩展到其他部分，比如，延至肩膀处。那么相应的空间需要扩大，比如，尺寸需要设置为256X256，且相应的5个关键点的坐标位置也需要发生改变，以使得脸部上方头发和脸部下方到肩膀的部位可以显示在标准人物图像中。
具体地，首先根据图像中预设的人体占比确定人脸关键点映射到预设空间的目标坐标位置，目标坐标位置即指定位置，比如，如果预设的人体占比是从头发开始到肩部，那么在人脸对齐时，为了给头发部分和头以下的部分预留出映射空间，需要将人脸关键点坐标尽量映射到图像中间部位。以图像左下角为原点坐标进行说明，与传统的人脸对齐相比，可以将左眼、右眼位置的纵坐标降低，将左眼的横坐标和右眼的横坐标往图像中间靠近，即扩大左眼的横坐标，减少右眼的横坐标。这样可以为上面的头发部分预留空间，同时为脸的左右部分预留空间，同样的原理，鼻子的横坐标保持不变，纵坐标减少，为脸部下面预留空间，同时嘴左和嘴右的横坐标往图像中间靠拢，纵坐标增加等。
在一个实施例中，所述基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像，包括：将所述标准人物图像作为人像分割模型的输入，所述人像分割模型用于从所述标准人物图像中分割出人物图像；基于所述人像分割模型输出的所述人物图像滤除背景信息，生成所述目标人物图像。
其中，人像分割模型用于对标准人物图像中的目标人物图像进行分割，得到目标人物图像。人像分割模型采用轻量化的卷积神经网络mobilenetv2来实现。基于人像分割模型输出的人物图像滤波背景信息，可以为分割出的人物图像加上统一的白色背景，生成目标人物图像。
在一个实施例中，所述人像分割模型采用卷积神经网络训练得到，包括多个卷积层，所述卷积层用于对图像进行特征提取；在采用所述卷积层进行特征提取之前，还包括：对所述图像进行边缘扩增，以使进行卷积后得到的图像分辨率与输入的标准人物图像的分辨率一致。
其中，为了使得卷积前后图像分辨率保持不变，在进行卷积之前，先对图像进行边缘扩增，即扩大图像，然后再基于扩大图像进行卷积操作，以使得卷积操作后得到的标准人物图像分辨率与原始输入的人物图像的分辨率保持一致，从而可以保证人像卡通化的精度。
如图6所示，在一个实施例中，提出了一种人像卡通化装置，包括：
获取模块602，用于获取待处理的原始人物图像；
对齐模块604，用于对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；
分割模块606，用于基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；
卡通化模块608，用于将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模块输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
在一个实施例中，所述生成对抗网络模型包括：正向生成器、反向生成器、第一判别器和第二判别器；所述正向生成器的输出与所述第一判别器连接，所述反向生成器的输出与所述第二判别器连接；所述正向生成器用于将输入的人物图像转换为人物卡通图像，所述反向生成器用于将输入的人物卡通图像转换为人物图像，所述第一判别器用于计算输入的图像属于卡通图像的概率，所述第二判别网络模型用于计算输入的图像属于人物图像的概率。
在一个实施例中，上述人像卡通化装置还包括：训练模块。
如图7所示，训练模块601包括：
训练获取模块601A，用于获取训练图像集，所述训练图像集包括：训练人物图像集和训练人物卡通化图像集；
第一输入模块601B，用于将训练人物图像输入正向生成器，得到第一输出图像、将所述第一输出图像输入第一判别器得到对应输出的第一概率；
第二输入模块601C，用于将训练人物卡通图像输入反向生成器，得到第二输出图像、将所述第二输出图像输入第二判别器得到对应输出的第二概率；
第三输入模块601D，用于将所述第一输出图像输入所述反向生成器，得到第三输出图像；将所述第二输出图像输入所述正向生成器，得到第四输出图像；
第一计算模块601E，用于计算所述训练人物图像与所述第三输出图像的第一差异值，计算所述训练人物卡通图像与所述第四输出图像的第二差异值；
第二计算模块601F，用于根据所述第一概率、第二概率、第一差异值和第二差异值计算得到第一损失函数值；
第一提取模块601G，用于将所述训练人物图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第一人脸特征；
第二提取模块601H，用于将所述第一输出图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第二人脸特征；
第三计算模块601I，用于计算所述第一人脸特征与所述第二人脸特征之间的相似度，根据所述相似度计算得到第二损失函数值；
第四计算模块601J，用于根据所述第一损函数值和所述第二损失函数值计算得到总损失值，所述总损失值与所述相似度成反相关；
更新模块601K，用于根据所述总损失值更新所述正向生成器、所述反向生成器、所述第一判别器和所述第二判别器中的权重参数，依此循环，直到所述总损失值达到收敛条件，将训练完成得到的正向生成器作为所述人像卡通化模型。
在一个实施例中，所述正向生成器包括：编码器和解码器，所述编码器和所述解码器是由Hourglass模块组成的。
在一个实施例中，所述对齐模块还用于根据预设的人体占比确定人脸关键点在预设空间的目标坐标位置；将所述人脸关键点映射到预设空间的所述目标坐标位置，得到预设空间内对齐后的标准人物图像。
在一个实施例中，分割模块还用于将所述标准人物图像作为人像分割模型的输入，所述人像分割模型用于从所述标准人物图像中分割出人物图像；基于所述人像分割模型输出的所述人物图像滤除背景信息，生成所述目标人物图像。
在一个实施例中，所述人像分割模型采用卷积神经网络训练得到，包括多个卷积层，所述卷积层用于对图像进行特征提取；上述装置还包括：扩增模块，用于对所述图像进行边缘扩增，以使进行卷积后得到的图像分辨率与输入的标准人物图像的分辨率一致。
图8示出了一个实施例中机器人的内部结构图。如图8所示，该机器人包括通过系统总线连接的处理器、存储器、摄像头和网络接口。其中，存储器包括非易失性存储介质和内存储器。该机器人的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述的人像卡通化方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述的人像卡通化方法。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的机器人的限定，具体的机器人可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取待处理的原始人物图像；对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
在一个实施例中，所述生成对抗网络模型包括：正向生成器、反向生成器、第一判别器和第二判别器；所述正向生成器的输出与所述第一判别器连接，所述反向生成器的输出与所述第二判别器连接；所述正向生成器用于将输入的人物图像转换为人物卡通图像，所述反向生成器用于将输入的人物卡通图像转换为人物图像，所述第一判别器用于计算输入的图像属于卡通图像的概率，所述第二判别网络模型用于计算输入的图像属于人物图像的概率。
在一个实施例中，所述生成对抗网络模型的训练步骤包括：获取训练图像集，所述训练图像集包括：训练人物图像集和训练人物卡通化图像集；将训练人物图像输入正向生成器，得到第一输出图像、将所述第一输出图像输入第一判别器得到对应输出的第一概率；将训练人物卡通图像输入反向生成器，得到第二输出图像、将所述第二输出图像输入第二判别器得到对应输出的第二概率；将所述第一输出图像输入所述反向生成器，得到第三输出图像；将所述第二输出图像输入所述正向生成器，得到第四输出图像；计算所述训练人物图像与所述第三输出图像的第一差异值，计算所述训练人物卡通图像与所述第四输出图像的第二差异值；根据所述第一概率、第二概率、第一差异值和第二差异值计算得到第一损失函数值；将所述训练人物图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第一人脸特征；将所述第一输出图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第二人脸特征；计算所述第一人脸特征与所述第二人脸特征之间的相似度，根据所述相似度计算得到第二损失函数值；根据所述第一损函数值和所述第二损失函数值计算得到总损失值，所述总损失值与所述相似度成反相关；根据所述总损失值更新所述正向生成器、所述反向生成器、所述第一判别器和所述第二判别器中的权重参数，依此循环，直到所述总损失值达到收敛条件，将训练完成得到的正向生成器作为所述人像卡通化模型。
在一个实施例中，所述正向生成器包括：编码器和解码器，所述编码器和所述解码器是由Hourglass模块组成的。
在一个实施例中，所述对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像，包括：根据预设的人体占比确定人脸关键点在预设空间的目标坐标位置；将所述人脸关键点映射到预设空间的所述目标坐标位置，得到预设空间内对齐后的标准人物图像。
在一个实施例中，所述基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像，包括：将所述标准人物图像作为人像分割模型的输入，所述人像分割模型用于从所述标准人物图像中分割出人物图像；基于所述人像分割模型输出的所述人物图像滤除背景信息，生成所述目标人物图像。
在一个实施例中，所述人像分割模型采用卷积神经网络训练得到，包括多个卷积层，所述卷积层用于对图像进行特征提取；在采用所述卷积层进行特征提取之前，还包括：对所述图像进行边缘扩增，以使进行卷积后得到的图像分辨率与输入的标准人物图像的分辨率一致。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取待处理的原始人物图像；对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
在一个实施例中，所述生成对抗网络模型包括：正向生成器、反向生成器、第一判别器和第二判别器；所述正向生成器的输出与所述第一判别器连接，所述反向生成器的输出与所述第二判别器连接；所述正向生成器用于将输入的人物图像转换为人物卡通图像，所述反向生成器用于将输入的人物卡通图像转换为人物图像，所述第一判别器用于计算输入的图像属于卡通图像的概率，所述第二判别网络模型用于计算输入的图像属于人物图像的概率。
在一个实施例中，所述生成对抗网络模型的训练步骤包括：获取训练图像集，所述训练图像集包括：训练人物图像集和训练人物卡通化图像集；将训练人物图像输入正向生成器，得到第一输出图像、将所述第一输出图像输入第一判别器得到对应输出的第一概率；将训练人物卡通图像输入反向生成器，得到第二输出图像、将所述第二输出图像输入第二判别器得到对应输出的第二概率；将所述第一输出图像输入所述反向生成器，得到第三输出图像；将所述第二输出图像输入所述正向生成器，得到第四输出图像；计算所述训练人物图像与所述第三输出图像的第一差异值，计算所述训练人物卡通图像与所述第四输出图像的第二差异值；根据所述第一概率、第二概率、第一差异值和第二差异值计算得到第一损失函数值；将所述训练人物图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第一人脸特征；将所述第一输出图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第二人脸特征；计算所述第一人脸特征与所述第二人脸特征之间的相似度，根据所述相似度计算得到第二损失函数值；根据所述第一损函数值和所述第二损失函数值计算得到总损失值，所述总损失值与所述相似度成反相关；根据所述总损失值更新所述正向生成器、所述反向生成器、所述第一判别器和所述第二判别器中的权重参数，依此循环，直到所述总损失值达到收敛条件，将训练完成得到的正向生成器作为所述人像卡通化模型。
在一个实施例中，所述正向生成器包括：编码器和解码器，所述编码器和所述解码器是由Hourglass模块组成的。
在一个实施例中，所述对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像，包括：根据预设的人体占比确定人脸关键点在预设空间的目标坐标位置；将所述人脸关键点映射到预设空间的所述目标坐标位置，得到预设空间内对齐后的标准人物图像。
在一个实施例中，所述基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像，包括：将所述标准人物图像作为人像分割模型的输入，所述人像分割模型用于从所述标准人物图像中分割出人物图像；基于所述人像分割模型输出的所述人物图像滤除背景信息，生成所述目标人物图像。
在一个实施例中，所述人像分割模型采用卷积神经网络训练得到，包括多个卷积层，所述卷积层用于对图像进行特征提取；在采用所述卷积层进行特征提取之前，还包括：对所述图像进行边缘扩增，以使进行卷积后得到的图像分辨率与输入的标准人物图像的分辨率一致。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人像卡通化方法，其特征在于，包括：
获取待处理的原始人物图像；
对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；
基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；
将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述生成对抗网络模型包括：正向生成器、反向生成器、第一判别器和第二判别器；所述正向生成器的输出与所述第一判别器连接，所述反向生成器的输出与所述第二判别器连接；
所述正向生成器用于将输入的人物图像转换为人物卡通图像，所述反向生成器用于将输入的人物卡通图像转换为人物图像，所述第一判别器用于计算输入的图像属于人物卡通图像的概率，所述第二判别网络模型用于计算输入的图像属于人物图像的概率。
3.根据权利要求2所述的方法，其特征在于，所述生成对抗网络模型的训练步骤包括：
获取训练图像集，所述训练图像集包括：训练人物图像集和训练人物卡通化图像集；
将训练人物图像输入正向生成器，得到第一输出图像、将所述第一输出图像输入第一判别器得到对应输出的第一概率；
将训练人物卡通图像输入反向生成器，得到第二输出图像、将所述第二输出图像输入第二判别器得到对应输出的第二概率；
将所述第一输出图像输入所述反向生成器，得到第三输出图像；将所述第二输出图像输入所述正向生成器，得到第四输出图像；
计算所述训练人物图像与所述第三输出图像的第一差异值，计算所述训练人物卡通图像与所述第四输出图像的第二差异值；
根据所述第一概率、第二概率、第一差异值和第二差异值计算得到第一损失函数值；
将所述训练人物图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第一人脸特征；
将所述第一输出图像作为人脸特征提取模型的输入，获取所述人脸特征提取模型提取到的第二人脸特征；
计算所述第一人脸特征与所述第二人脸特征之间的相似度，根据所述相似度计算得到第二损失函数值；
根据所述第一损函数值和所述第二损失函数值计算得到总损失值，所述总损失值与所述相似度成反相关；
根据所述总损失值更新所述正向生成器、所述反向生成器、所述第一判别器和所述第二判别器中的权重参数，依此循环，直到所述总损失值达到收敛条件，将训练完成得到的正向生成器作为所述人像卡通化模型。
4.根据权利要求2所述的方法，其特征在于，所述正向生成器包括：编码器和解码器，所述编码器和所述解码器是由Hourglass模块组成的。
5.根据权利要求1所述的方法，其特征在于，所述对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像，包括：
根据预设的人体占比确定人脸关键点在预设空间的目标坐标位置；
将所述人脸关键点映射到预设空间的所述目标坐标位置，得到预设空间内对齐后的标准人物图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像，包括：
将所述标准人物图像作为人像分割模型的输入，所述人像分割模型用于从所述标准人物图像中分割出人物图像；
基于所述人像分割模型输出的所述人物图像滤除背景信息，生成所述目标人物图像。
7.根据权利要求6所述的方法，其特征在于，所述人像分割模型采用卷积神经网络训练得到，包括多个卷积层，所述卷积层用于对图像进行特征提取；
在采用所述卷积层进行特征提取之前，还包括：对所述图像进行边缘扩增，以使进行卷积后得到的图像分辨率与输入的标准人物图像的分辨率一致。
8.一种人像卡通化装置，其特征在于，包括：
获取模块，用于获取待处理的原始人物图像；
对齐模块，用于对所述原始人物图像中的人脸进行识别，根据识别得到的人脸关键点进行人脸对齐，得到对齐后的标准人物图像；
分割模块，用于基于所述标准人物图像进行人像分割，滤除背景信息，得到目标人物图像；
卡通化模块，用于将所述目标人物图像作为人像卡通化模型的输入，获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像，所述人像卡通化模型是通过生成对抗网络模型训练得到的。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的人像卡通化方法的步骤。
10.一种机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的人像卡通化方法的步骤。
CN202011402970.6A 2020-12-04 2020-12-04 人像卡通化方法、装置、机器人及存储介质 Pending CN112465936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011402970.6A CN112465936A (zh) 2020-12-04 2020-12-04 人像卡通化方法、装置、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011402970.6A CN112465936A (zh) 2020-12-04 2020-12-04 人像卡通化方法、装置、机器人及存储介质

Publications (1)

Publication Number Publication Date
CN112465936A true CN112465936A (zh) 2021-03-09

Family

ID=74806127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011402970.6A Pending CN112465936A (zh) 2020-12-04 2020-12-04 人像卡通化方法、装置、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN112465936A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222058A (zh) * 2021-05-28 2021-08-06 新疆爱华盈通信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113570689A (zh) * 2021-07-28 2021-10-29 杭州网易云音乐科技有限公司 人像卡通化方法、装置、介质和计算设备
CN113822976A (zh) * 2021-06-08 2021-12-21 腾讯科技（深圳）有限公司 生成器的训练方法及装置、存储介质和电子装置
CN113838159A (zh) * 2021-09-14 2021-12-24 上海任意门科技有限公司 用于生成卡通图像的方法、计算设备和存储介质
CN114049417A (zh) * 2021-11-12 2022-02-15 北京字节跳动网络技术有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
WO2024140246A1 (zh) * 2022-12-28 2024-07-04 中国电信股份有限公司 卡通数字人的形象生成方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609506A (zh) * 2017-09-08 2018-01-19 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609506A (zh) * 2017-09-08 2018-01-19 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN109376582A (zh) * 2018-09-04 2019-02-22 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222058A (zh) * 2021-05-28 2021-08-06 新疆爱华盈通信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113222058B (zh) * 2021-05-28 2024-05-10 芯算一体(深圳)科技有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113822976A (zh) * 2021-06-08 2021-12-21 腾讯科技（深圳）有限公司 生成器的训练方法及装置、存储介质和电子装置
CN113570689A (zh) * 2021-07-28 2021-10-29 杭州网易云音乐科技有限公司 人像卡通化方法、装置、介质和计算设备
CN113570689B (zh) * 2021-07-28 2024-03-01 杭州网易云音乐科技有限公司 人像卡通化方法、装置、介质和计算设备
CN113838159A (zh) * 2021-09-14 2021-12-24 上海任意门科技有限公司 用于生成卡通图像的方法、计算设备和存储介质
CN113838159B (zh) * 2021-09-14 2023-08-04 上海任意门科技有限公司 用于生成卡通图像的方法、计算设备和存储介质
CN114049417A (zh) * 2021-11-12 2022-02-15 北京字节跳动网络技术有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
CN114049417B (zh) * 2021-11-12 2023-11-24 抖音视界有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
WO2024140246A1 (zh) * 2022-12-28 2024-07-04 中国电信股份有限公司 卡通数字人的形象生成方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN112465936A (zh) 人像卡通化方法、装置、机器人及存储介质
CN110334587B (zh) 人脸关键点定位模型的训练方法、装置及关键点定位方法
US12039454B2 (en) Microexpression-based image recognition method and apparatus, and related device
CN106778928B (zh) 图像处理方法及装置
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN108550176A (zh) 图像处理方法、设备及存储介质
CN111310624A (zh) 遮挡识别方法、装置、计算机设备及存储介质
KR102177918B1 (ko) 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111626113A (zh) 一种基于面部动作单元的面部表情识别方法和装置
CN110674759A (zh) 一种基于深度图的单目人脸活体检测方法、装置及设备
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
WO2022116161A1 (zh) 人像卡通化方法、机器人及存储介质
CN112686191A (zh) 基于人脸三维信息的活体防伪方法、系统、终端及介质
Tapia et al. Selfie periocular verification using an efficient super-resolution approach
CN112464839A (zh) 人像分割方法、装置、机器人及存储介质
Feng et al. Facial expression recognition based on local features of transfer learning
CN117557688B (zh) 肖像生成模型训练方法、装置、计算机设备和存储介质
CN111145107B (zh) 一种图像美化方法、装置、介质及设备
CN112489173A (zh) 人像照片漫画生成的方法和系统
CN112818899A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN114862716B (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN116030517A (zh) 模型训练方法、人脸识别方法、装置以及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination