CN113361419A - 一种图像处理方法、装置、设备及介质 - Google Patents

一种图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN113361419A
CN113361419A CN202110646132.1A CN202110646132A CN113361419A CN 113361419 A CN113361419 A CN 113361419A CN 202110646132 A CN202110646132 A CN 202110646132A CN 113361419 A CN113361419 A CN 113361419A
Authority
CN
China
Prior art keywords
information
face
target
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110646132.1A
Other languages
English (en)
Inventor
张小伟
刘更代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Singapore Pte Ltd
Original Assignee
Bigo Technology Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Singapore Pte Ltd filed Critical Bigo Technology Singapore Pte Ltd
Priority to CN202110646132.1A priority Critical patent/CN113361419A/zh
Publication of CN113361419A publication Critical patent/CN113361419A/zh
Priority to PCT/CN2022/094925 priority patent/WO2022257766A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像处理方法、装置、设备及介质。由于在获取到了目标账户的包含有人脸的目标图像以及目标表情信息后，可以自动确定该目标图像中人脸上预设特征部位的第一特征信息以及人脸的第二特征信息，减少人工的控制和工作量。并且由于预先保存有第一特征信息对应的素材图像，使得后续可以准确地确定出与目标账户的形象贴合的素材图像，并将该素材图像渲染到根据目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的目标人脸三维模型中，从而渲染出目标账户的表情图像，实现个性化定制目标账户的表情图像，无需人工根据目标账户的目标图像绘制目标账户的表情图像，进一步减少了人工成本。

Description

一种图像处理方法、装置、设备及介质
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理方法、装置、设备及介质。
背景技术
随着社交网络和社交软件的兴起，表情图像(例如emoji等)变得日益流行。其中，表情图像可以理解为是一组图形化的抽象的人脸表情，通常用以在即时文字通信的基础上突出表达特定的情感。因此，人们在使用即时通信应用(比如微信，WhatsApp，IMO等)时，经常会采用表情图像进行文字通信。
目前，比较常见的表情图像一般都是开发者预先制作好并发布，所有的账户可以下载并使用这些预先制作好的表情图像。因此，这些表情图像的内容和样式一般都是固定的，且基本上是以静态彩色图标的形式出现，所有账户均使用相同的表情图像，不够个性化，无法体现账户的个人属性和特征。
发明内容
本发明实施例提供了一种图像处理方法、装置、设备及介质，用以解决现有无法个性化生成目标账户的表情图像的问题。
本发明实施例提供了一种图像处理方法，所述方法包括：
获取目标表情信息及目标账户的目标图像；
若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息；
根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
本发明实施例提供了一种图像处理装置，所述装置包括：
获取单元，用于获取目标表情信息及目标账户的目标图像；
处理单元，用于若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息；
渲染单元，用于根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
本发明实施例提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述图像处理方法的步骤。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述图像处理方法的步骤。
采用上述的方法，在获取到了目标账户的包含有人脸的目标图像以及目标表情信息后，可以自动确定该目标图像中人脸上预设特征部位的第一特征信息以及人脸的第二特征信息，减少人工的控制和工作量。并且由于预先保存有第一特征信息对应的素材图像，使得后续可以准确地确定出与目标账户的形象贴合的素材图像，并将该素材图像渲染到根据目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的目标人脸三维模型中，从而渲染出目标账户的表情图像，实现个性化定制目标账户的表情图像，无需人工根据目标账户的目标图像绘制目标账户的表情图像，进一步减少了人工成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理过程示意图；
图2为本发明实施例提供的一种确定目标图像中人脸上预设特征部位的特征信息的过程示意图；
图3为本发明实施例提供的一种位于目标图像中人脸的皮肤区域的三维顶点的示意图；
图4为本发明实施例提供的一种几何特征提取模型的训练过程示意图；
图5为本发明实施例提供的具体的图像处理的流程示意图；
图6为本发明实施例提供的一种图像处理的场景示意图；
图7为本发明实施例提供的一种确定目标图像中人脸的第二特征信息的过程示意图；
图8为本发明实施例提供的一种图像处理装置的结构示意图；
图9为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了快速生成目标账户的个性化表情图像，本发明实施例提供了一种图像处理方法、装置、设备及介质。
实施例1：
图1为本发明实施例提供的一种图像处理过程示意图，该过程包括：
S101：获取目标表情信息及目标账户的目标图像。
本发明实施例提供的封面推荐方法应用于电子设备，该电子设备可以是如移动终端等智能设备，也可以是服务器。
当目标账户需要生成表情图像时，可以向智能设备输入该目标账户的目标图像以及目标表情信息(比如微笑，愤怒，惊讶等)。智能设备接收到该目标图像以及目标表情信息后，根据该目标图像以及目标表情信息，生成图像生成请求并发送至进行图像处理的电子设备。进行图像处理的电子设备接收到生成目标账户的表情图像的图像生成请求后，可以获取该图像生成请求中携带的目标账户的目标图像以及目标表情信息。然后基于该目标图像以及目标表情信息，采用本发明实施例提供的图像处理的方法，进行相应的处理，以生成该目标账户的表情图像。其中，目标图像为包含目标账户的人头的图像，目标表情信息用于指示生成的表情图像中所需具有的表情。
在一种示例中，目标图像可以是目标账户在智能设备的显示界面上选择的任一张图像，也可以通过智能设备的摄像头采集到的图像。
在一种示例中，目标表情信息可以是目标账户从智能设备的显示界面上所显示的预设的每个表情中选择的表情所确定的。例如，目标账户从智能设备的显示界面上所显示的预设的每个表情中，选择了一个微笑表情，然后根据预设的表情与表情信息的对应关系，确定该微笑表情对应的目标表情信息。目标表情信息也可以从目标账户在智能设备的显示界面上选择至少一张图像中提取到的，还可以是通过智能设备的摄像头采集到的至少一张图像中提取到的。
需要说明的是，用于提取目标表情信息的至少一张图像可以与目标图像相同也可以不相同。
作为一种可能的实施方式，目标账户向智能设备输入该目标账户的目标图像以及目标表情信息的方式有很多，可以是通过触发操作输入，比如，单击、双击、滑动等触发操作，也可以通过语音输入，比如，输入语音信息“选择X号图片和W表情”。当然，还可以通过操作控制设备(例如，遥控器，鼠标)输入。具体实施过程中，可以根据实际需求进行灵活设置，在此不作具体限定。
S102：若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息。
由于可能存在目标账户误操作等情况，导致进行图像处理的电子设备获取到的目标图像中可能不存在人脸，导致无法根据目标图像中的人脸，个性化生成目标账户的表情图像。因此，在本发明实施例中，当基于上述实施例获取到目标图像后，可以确定该目标图像中是否包含有人脸。当确定目标图像中包含有人脸时，说明可以生成目标账户的表情图像，则可以进行后续的步骤，即确定目标图像中人脸上预设特征部位的第一特征信息以及人脸的第二特征信息。
其中，可以通过特征提取算法，例如，LBP算法等，确定目标图像中是否包含有人脸，也可以通过预先训练的人脸检测模型，确定目标图像中是否包含有人脸。
可选的，为了方便后续生成目标账户的表情图像，减少生成表情图像所需的计算量，在确定目标图像中包含有人脸后，可以根据该目标图像中人脸上的关键点，确定目标图像中人脸对应的像素点。根据包含该人脸对应的所有像素点的子图像，对目标图像进行更新。可以理解的是，在该子图像中确定人脸上预设特征部位的第一特征信息以及人脸的第二特征信息。其中，获取目标图像中人脸上的关键点信息的过程属于现有技术，在此不做具体限定。
在一种示例中，人脸上的特征部位包括以下的至少一项：头发、眉毛、眼睛、嘴巴、脸部装饰物、瞳孔等。基于此，人脸上的预设特征部位的第一特征信息可以包括，人脸上的毛发信息，比如，发型、发色、眉型、眉色、胡子形状、胡子颜色等，人脸上的五官信息，比如，五官的形状信息、五官与人脸的比例信息、瞳孔颜色信息等，人脸的形状信息，比如，脸型等，人脸上的装饰物信息，比如，眼镜形状信息、眼镜颜色信息、发卡形状信息、耳饰品形状信息等，人脸的皮肤信息，比如，肤色，痣的分布信息、皮肤的纹理信息等，人脸的身份信息，比如，年龄、性别等。
应当理解的是，上述是对人脸上的预设特征部位的第一特征信息的几种举例，该第一特征信息还包括其它种类的信息，本申请实施例不作限定。
在一种示例中，所述第一特征信息包括以下的一项或多项：
性别信息、发型信息、头发颜色信息、眼型信息、眉型信息、瞳孔颜色信息、胡须类型信息。
比如，性别信息包括男性和女性。
脸部装饰物信息以眼镜信息为例，该眼镜信息可以包括不戴眼镜、无边框眼镜、半边框眼镜、圆形边框眼镜、方形边框眼镜以及墨镜。
眉型信息可以包括拱形眉、S形眉、新月眉、平直眉、八字眉以及大刀眉；瞳孔颜色信息可以包括棕色、黑色、蓝色、灰色、绿色、琥珀色以及其他颜色，其中，不属于前6种颜色的颜色会被确定为其他颜色。
发型信息可以大体包括女性发型信息以及男性发型信息。具体该女性发型信息可以包括超短发无刘海、超短发有刘海、中短发无刘海、中短发有刘海、披双肩长发无刘海、披双肩长发有刘海、批单肩长发、双麻花辫、单麻花辫、丸子头、哪吒头、超短发其它类型、中短发其它类型、长发其它类型以及辫子其它类型，这些女性发型信息以头发的长短为大类，并细分了有无刘海以及是否扎辫子。对于无法归类到前11种女性发型的发型可以按照该发型中头发的长短，将该发型归类到超短发其它类型、中短发其它类型、长发其它类型以及辫子其它类型中。具体该男性发型信息可以包括光头、寸头/超短发、短发无刘海、短发有刘海、中发无刘海、中发有刘海、长发以及其它。对于无法归为前7种男性发型的发型会被归类为其它类型中。
胡须类型信息可以包括无胡须、胡茬、上嘴唇胡须、山羊胡、环形胡须、全脸颊胡须以及超长胡须。
为了提取上述实施例中目标图像中人脸上预设特征部位的第一特征信息，可以通过特征提取算法确定，也可以通过预先训练的模型获取。具体过程中，可以根据需求进行灵活设置，在此不作具体限定。
在一种示例中，人脸的第二特征信息可以包括以下的至少一种：人脸几何形状信息、纹理颜色信息以及表情信息。
可选的，由于目标表情信息用于指示生成的表情图像中所需具有的表情的，因此，并不需要获取目标图像中人脸的表情信息了，该人脸的第二特征信息包括人脸几何形状信息和纹理颜色信息。
在一种可能的实施方式中，所述方法还包括：
若确定所述目标图像中未包含有人脸，则输出重新上传目标图像的提示信息。
当基于上述实施例中的方法，确定目标图像中未包含有人脸时，说明无法根据该目标图像生成目标账户的表情图像，则为了提高用户体验，可以生成重新上传目标图像的提示信息，并控制目标账户的智能设备输出该提示信息。
其中，智能设备输出的提示信息可以是音频格式的提示信息，比如语音播报提示信息“当前图像无法生成表情图像”，也可以在显示界面上显示文本形式对应的提示信息，比如在显示界面上显示提示信息“当前图像无法生成表情图像”、弹框提示等方式。当然，也可以两种输出提示信息的方式同时结合，比如同时播报音频格式的提示信息以及在显示界面上显示文本格式的提示信息等。具体的，可以根据实际要求灵活设置，在此不做限定。
S103：根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
为了方便生成目标账户三维的表情图像，预先设置好基础人脸三维模型。当基于上述的实施例获取到目标图像中人脸的第二特征信息后，可以根据该第二特征信息以及目标表情信息，对该预先配置的基础人脸三维模型进行调整，以获取目标账户的目标人脸三维模型。其中，根据该第二特征信息以及目标表情信息，对该预先配置的基础人脸三维模型进行调整的过程属于现有技术，在此不做详细介绍。
在一种可能的实施方式中，为了方便快速生成目标账户的表情图像，并使得该表情图像中的人物与目标账户的形象贴近，还预先保存有预设特征部位的每种特征信息所对应的素材图像。比如，以人脸上的特征部位为眼睛，该眼睛的特征信息为眼型为例，预先保存有每种眼型所对应的素材图像。后续在生成目标账户的表情图像时，可以快速根据预先保存的预设特征部位的每种特征信息所对应的素材图像，确定第一特征信息所对应的素材图像。将第一特征信息所对应的素材图像渲染到目标人脸三维模型中对应的区域，从而获取到目标账户的表情图像。可以理解的是，将第一特征信息所对应的素材图像贴到目标人脸三维模型中对应的区域。比如，将丸子头所对应的素材图像贴到目标人脸三维模型中头发的对应区域。
需要说明的是，将第一特征信息所对应的素材图像渲染到目标人脸三维模型中对应的区域的过程，本发明不做详细描述。
其中，目标表情信息可以包括连续多张表情图像中人脸分别对应的表情信息，也可以只包括一张表情图像中人脸的表情信息。
在一种可能的实施例中，若目标表情信息包括多张表情图像中人脸分别对应的表情信息，则将第一特征信息所对应的素材图像渲染到目标人脸三维模型中对应的区域后，可以获取到目标账户的多张表情图像，从而生成目标用户的表情动画。可以理解的是，生成目标账户的动态表情图像。比如，生成目标图像的图像交换格式(Graphics InterchangeFormat，GIF)的表情图像。
在另一种可能的实施例中，若目标表情信息只包括一张表情图像中人脸的表情信息，则将第一特征信息所对应的素材图像渲染到目标人脸三维模型中对应的区域后，可以获取到目标账户的一张表情图像。可以理解的是，生成目标账户的静态表情图像。
在一种示例中，渲染出的目标账户的表情图像可以三维的，也可以是二维的。具体实施过程中，可以根据实际需求，进行灵活设置，在此不做具体限定。
采用上述的方法，在获取到了目标账户的包含有人脸的目标图像以及目标表情信息后，可以自动确定该目标图像中人脸上预设特征部位的第一特征信息以及人脸的第二特征信息，减少人工的控制和工作量。并且由于预先保存有第一特征信息对应的素材图像，使得后续可以准确地确定出与目标账户的形象贴合的素材图像，并将该素材图像渲染到根据目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的目标人脸三维模型中，从而渲染出目标账户的表情图像，实现个性化定制目标账户的表情图像，无需人工根据目标账户的目标图像绘制目标账户的表情图像，进一步减少了人工成本。
实施例2：
为了快速且准确地确定目标图像中人脸的特征信息，在上述实施例的基础上，在本发明实施例中，所述确定所述目标图像中人脸上预设特征部位的第一特征信息，包括：
通过预先训练的特征提取模型，基于所述目标图像，确定所述第一特征信息。
为了快速且准确地确定目标图像中人脸的特征信息，在本发明实施例中，预先训练有特征提取模型，以通过预先训练的特征提取模型，可以提取到目标图像中人脸上预设特征部位的第一特征信息。其中，该特征提取模型的数量为至少一个，任一特征提取模型用于提取至少一种特征信息，每个特征提取模型所提取到的特征信息是不同的。比如，特征提取模型A只用于提取目标图像中人脸上眼睛的眼型信息以及人脸上瞳孔的瞳孔颜色信息，特征提取模型B只用于提取目标图像中人脸上眉毛的眉型信息，特征提取模型C用于提取目标图像中人脸上头发的发型信息以及头发颜色信息等。当基于上述实施例获取到目标图像后，可以通过预先训练的每个特征提取模型，基于目标图像，确定目标图像中人脸上预设特征部位的第一特征信息。
在一种示例中，预先训练的特征提取模型可以是分类网络，比如，以MobileNet作为特征提取层的卷积神经网络(CNN)分类模型，也可以是传统的特征提取加分类器的网络(比如SVM，随机森林)等。
在一种示例中，可以将目标图像同时输入到预先训练的每个特征提取模型。通过预先训练的每个特征提取模型，对输入的目标图像进行处理，确定目标图像中人脸上预设特征部位的第一特征信息。
比如，预先训练有性别信息、头发颜色信息、眼型信息、眉型信息以及瞳孔颜色信息分别对应的特征提取模型。将目标图像同时输入到性别信息、头发颜色信息、眼型信息、眉型信息以及瞳孔颜色信息分别对应的特征提取模型。分别通过性别信息、头发颜色信息、眼型信息、眉型信息以及瞳孔颜色信息分别对应的特征提取模型，基于输入的目标图像，获取到目标图像中人脸的性别信息、头发颜色信息、眼型信息、眉型信息以及瞳孔颜色信息。
可选的，为了准确地确定头发颜色信息，可以通过头发颜色信息对应的特征提取模型，确定目标图像中人脸的头发所在区域。比如，头发所在区域的掩膜(mask)。然后对该区域中每个像素点的颜色进行统计，从而准确地确定头发颜色信息。比如，根据该区域中对应最多像素点的颜色，确定头发颜色信息。
可选的，为了准确地确定通孔颜色信息，可以通过瞳孔颜色信息对应的特征提取模型，确定目标图像中人脸的瞳孔上的关键点。然后对每个关键点分别对应的像素点的颜色进行统计，从而准确地确定瞳孔颜色信息。
在另一种可能的方式中，由于部分种类的特征信息之间存在着关联性，比如，女性的人脸一般不具有胡须类型信息，男性的人脸的发型与女性的人脸的发型不同等。因此，可以根据每种特征信息之间存在的关联性，确定每种特征信息分别对应的特征提取模型。比如，将不会受其他特征信息影响的特征信息所对应的特征提取模型作为执行顺序在前的特征提取模型，根据执行顺序在前的特征提取模型的每种处理结果，确定在该特征提取模型之后执行的特征提取模型。后续获取到目标图像后，可以将该目标图像同时输入到执行顺序在前的每个特征提取模型中进行处理。根据执行顺序在前的特征提取模型的处理结果，确定预先设置的在该种处理结果的情况下，在该特征提取模型之后执行的特征提取模型。并将目标图像输入到该执行顺序在后的特征提取模型中进行处理。
比如，图2为本发明实施例提供的一种确定目标图像中人脸上预设特征部位的特征信息的过程示意图。预先设置了性别信息、头发颜色信息、脸部装饰物信息、眉型信息以及瞳孔颜色信息分别对应的特征提取模型为执行顺序在前的特征提取模型。将目标图像分别输入到性别信息、头发颜色信息、脸部装饰物信息、眉型信息以及瞳孔颜色信息分别对应的特征提取模型。通过性别信息、头发颜色信息、脸部装饰物信息、眉型信息以及瞳孔颜色信息分别对应的特征提取模型，分别获取目标图像中人脸的性别信息、头发颜色信息、脸部装饰物信息、眉型信息以及瞳孔颜色信息。其中，若性别信息为男，则将目标图像分别输入到预先训练的胡须类型信息、以及男性发型信息分别对应的特征提取模型中进行处理，确定目标图像中人脸上胡须的胡须类型和人脸上头发的男性发型信息。若性别信息为女，则将目标图像输入到预先训练的女性发型信息对应的特征提取模型中进行处理，确定目标图像中人脸上头发的女性发型信息。
为了获取到特征提取模型，在本发明实施例中，需要预先收集用于训练特征提取模型的样本集(记为第一样本集)，该第一样本集中包含有样本图像(记为第一样本图像)，该第一样本图像中包含有人脸。对每张第一样本图像进行标注，确定每张第一样本图像中人脸上预设特征部位的特征信息(记为第三特征信息)。该第三特征信息可以用数字、字母、字符串等进行表示，也可以用其它形式进行表示，只需保证唯一标识第一样本图像中人脸上特征部位的特征信息即可。后续基于获取到的第一样本图像及其对应的第三特征信息，对原始特征提取模型进行训练。
需要说明的是，该进行特征提取模型训练的电子设备可以与进行图像处理的电子设备相同，也可以不同。
具体实施过程中，获取任一第一样本图像。通过原始特征提取模型，确定该第一样本图像中人脸上预设特征部位的第四特征信息。根据该第四特征信息以及该第一样本图像的第三特征信息，确定该第一样本图像的损失值。基于该第一样本图像的损失值，对原始特征提取模型进行训练，以调整原始特征提取模型中的参数的参数值。
由于第一样本集中存在若干个第一样本图像，针对每个第一样本图像，均执行上述的步骤，直至达到收敛条件，则确定特征提取模型训练完成。
其中，满足预设的收敛条件可以为当前迭代所确定的每个第一样本图像的损失值的和小于预设的收敛阈值，或对原始特征提取模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
在一种可能的实施方式中，在进行特征提取模型训练时，可以把第一样本图像分训练样本和测试样本，先基于训练样本对原始特征提取模型进行训练，再基于测试样本对上述已训练的特征提取模型的可靠程度进行验证。
实施例3：
为了快速且准确地确定目标图像中人脸的特征信息，在上述各实施例的基础上，在本发明实施例中，若所述第二特征信息包括所述纹理颜色信息，确定所述人脸的第二特征信息，包括：
通过预先训练的三维特征提取模型，基于所述目标图像，获取所述人脸的三维特征信息；
基于所述三维特征信息中包含的人脸几何信息以及纹理信息，对所述基础人脸三维模型进行调整，以确定所述人脸对应的三维顶点及所述三维顶点的第一纹理颜色信息；
根据所述第一纹理颜色信息，确定所述人脸的纹理颜色信息。
在实际应用过程中，目标账户的目标图像中的人脸一般会包含有不同明暗程度的光照。也就是说，目标图像中人脸的纹理颜色主要由两部分构成，一是人脸纹理的颜色，二是环境光照。为了使生成的表情图像中人物的肤色与目标图像中人脸的肤色保持一致，可以获取目标图像中人脸的纹理颜色信息，以方便后续根据该纹理颜色信息，生成该目标账户的三维的表情图像中人物的肤色。
在一种示例中，该基础人脸三维模型可以为Blendshape三维模型，该Blendshape三维模型是基于人脸的三维特征信息构成的，该三维特征信息主要由三个主成分基(PCA)构成。该三个主成分基分别包括：1、对应无表情的人脸的几何形状的主成分基，该主成分基可以由多个(例如，97个)身份标识(ID)Blendshape系数组成；2、对应表情所带来的几何形状形变的主成分基，该主成分基可以由多个(例如，64个)表情Blendshape系数组成；3、对应人脸的纹理主成分基，该主成分基可以由多个(例如，79个)纹理系数。因此，通过目标人脸的三维特征信息，对预先设置的Blendshape三维模型进行调整，即可完整地重构出与目标图像中人脸相似的人脸三维模型。例如，获取到目标图像中人脸的三维特征信息，该三维特征信息包括97维ID Blendshape系数、64维表情Blendshape系数以及79维纹理系数，通过该三维特征信息，对预先设置的Blendshape三维模型进行调整，从而完整地重构出与目标图像中人脸相似的人脸三维模型。
为了快速且准确地获取人脸的三维特征信息，在本发明实施例中，预先训练有三维特征提取模型。将获取到的目标图像输入到预先训练的三维特征提取模型中。通过预先训练的三维特征提取模型，对输入的目标图像进行处理，可以获取目标图像中人脸的三维特征信息。
其中，该预先训练的三维特征提取模型可以是卷积神经网络，比如以MobileNet作为特征提取层的卷积神经网络。
由于需要生成的表情图像中人物的表情是根据目标表情信息确定的，因此，无需根据三维特征信息中，对应表情所带来的几何形状形变的主成分基对预先设置的基础人脸三维模型进行调整。因此，当基于上述实施例获取到人脸的三维特征信息后，可以基于该三维特征信息中包含的人脸几何信息以及纹理信息，对该预先设置好的基础人脸三维模型进行调整，从而可以确定目标图像中人脸对应的三维顶点及三维顶点的第一纹理颜色信息。
需要说明的是，基于该三维特征信息中包含的人脸几何信息以及纹理信息，对预先设置好的基础人脸三维模型进行调整的过程，属于现有技术，在此不做赘述。
在一种可能的实施方式中，在确定目标图像中人脸对应的三维顶点的第一纹理颜色信息后，可以直接将第一纹理颜色信息，确定为人脸的纹理颜色信息，也可以统计每种第一纹理颜色信息所对应的三维顶点的数量，将对应三维顶点较多的第一纹理颜色信息确定为人脸的纹理颜色信息。还可以计算每个三维顶点的第一纹理颜色信息的均值，将该均值确定为人脸的纹理颜色信息等。具体实施过程中，可以根据实际需求进行灵活设置，在此不做具体赘述。
采用上述的方法，可以保证生成的表情图像中人物的肤色与目标图像中人脸的肤色相同，使得表情图像中的人物与目标账户的形象更加贴合，该表情图像更加满足目标账户的个性化，提高了用户体验。
在一种可能的实施方式中，为了进一步提高获取到的纹理颜色信息的准确性，避免受到人脸上非皮肤区域的纹理颜色的影响，在本发明实施例中，所述根据所述第一纹理颜色信息，确定所述人脸的纹理颜色信息，包括：
根据所述目标图像中所述人脸对应的像素点以及所述三维顶点，确定目标三维顶点；其中，所述目标三维顶点为在所述目标图像中所述人脸的皮肤对应的像素点所对应的三维顶点；
根据所述目标三维顶点的第一纹理颜色信息，确定第二纹理颜色信息；
根据所述目标三维顶点的第二纹理颜色信息，确定所述人脸的纹理颜色信息。
由于获取到的目标图像中人脸对应的三维顶点中，可能包括人脸上非皮肤区域所对应的三维顶点，导致获取到的第一纹理颜色信息中，也会包含人脸上非皮肤区域所对应的三维顶点的纹理颜色信息，从而影响确定的人脸的纹理颜色信息的准确度。因此，当基于上述实施例获取到目标图像中人脸对应的三维顶点后，根据目标图像中人脸对应的像素点，确定目标图像中人脸的皮肤所对应的像素点(记为目标像素点)。然后根据目标图像中像素点与三维顶点的对应关系，确定目标像素点所对应的三维顶点(记为目标三维顶点)。该目标三维顶点可以理解为位于目标图像中人脸的皮肤区域的三维顶点。图3为本发明实施例提供的一种位于目标图像中人脸的皮肤区域的三维顶点的示意图。如图3所示，位于图中人脸上皮肤区域的白色的点为位于目标图像中人脸的皮肤区域的三维顶点，即目标三维顶点。
然后根据目标三维顶点的第一纹理颜色信息，确定第二纹理颜色信息。然后根据目标三维顶点的第二纹理颜色信息，确定目标图像中人脸的纹理颜色信息。
在一种可能的实施方式中，可以采用如下方式根据目标三维顶点的第一纹理颜色信息，确定第二纹理颜色信息：
方式一、将任一目标三维顶点的第一纹理颜色信息，确定为第二纹理颜色信息。
方式二、将指定的目标三维顶点的第一纹理颜色信息，确定为第二纹理颜色信息。
方式三、通过预设的数学函数，对每个目标三维顶点的第一纹理颜色信息进行处理，确定处理后的纹理颜色信息为第二纹理颜色信息。
比如，通过预设的数学函数，确定每个目标三维顶点的第一纹理颜色信息的均值，将该均值确定为第二纹理颜色信息。
在一种可能的实施方式中，在确定目标图像中人脸对应的目标三维顶点的第二纹理颜色信息后，可以直接将第二纹理颜色信息，确定为人脸的纹理颜色信息，也可以统计每种第二纹理颜色信息所对应的目标三维顶点的数量，将对应目标三维顶点较多的第二纹理颜色信息确定为人脸的纹理颜色信息。还可以计算每个目标三维顶点的第二纹理颜色信息的均值，将该均值确定为人脸的纹理颜色信息等。具体实施过程中，可以根据实际需求进行灵活设置，在此不做具体赘述。
通过上述的方法，可以有效避免目标图像中人脸上非皮肤区域所对应的三维顶点的第一纹理颜色信息，比如，眼睛、眉毛、胡须等区域，对人脸上皮肤区域的纹理颜色的影响，进一步保证了生成的表情图像中人物的肤色与目标图像中人脸的肤色相同。
实施例4：
为了快速且准确地确定目标图像中人脸的特征信息，在上述各实施例的基础上，在本发明实施例中，若所述第二特征信息包括人脸几何信息，所述确定所述人脸的特征信息，包括：
通过预先训练的几何特征提取模型，基于所述目标图像，获取所述人脸的三维特征信息；
根据所述三维特征信息，确定所述人脸几何信息。
在实际应用过程中，目标账户的目标图像中的人脸一般会包含有不同程度的表情。也就是说，目标图像中人脸的三维几何形状主要由两部分构成，一是该人脸在没有任何表情的情况下的第一三维几何形状，二是在第一三维几何形状的基础上添加了表情所带来的几何形变后，所获取到的第二三维几何形状。为了使生成的表情图像中人物的脸型与目标图像中人脸的脸型保持一致，可以获取目标图像中人脸的人脸几何信息，以方便后续根据该人脸几何信息，生成该目标账户的三维的表情图像中人物的人脸三维模型。
在一种示例中，为了获取到人脸几何信息，预先训练有几何特征提取模型。通过该预先训练的几何特征提取模型，基于目标图像，可以获取到目标图像中人脸的三维特征信息。然后根据该三维特征信息，确定目标图像中人脸的人脸几何信息。
其中，该几何特征提取模型的结构和功能，已在上述实施例中进行描述，重复之处不做赘述。
由于三维特征信息中主要包括：1、对应无表情的人脸的几何形状的主成分基，该主成分基可以由多个(例如，97个)身份标识(ID)Blendshape系数组成；2、对应表情所带来的几何形状形变的主成分基，该主成分基可以由多个(例如，64个)表情Blendshape系数组成；3、对应人脸的纹理主成分基，该主成分基可以由多个(例如，79个)纹理系数。因此，可以将三维特征信息中对应无表情的人脸的几何形状的主成分基确定为目标图像中人脸的人脸几何信息，即将多个ID Blendshape系数确定为目标图像中人脸的人脸几何信息。比如，将97个ID Blendshape系数确定为目标图像中人脸的人脸几何信息。后续根据获取到的人脸几何信息，可以准确地重建出目标账户的无表情人脸的人脸三维模型，保证表情图像中人物的脸型与目标账户的人脸的脸型一致。
在一种可能的实施方式中，所述几何特征提取模型通过如下方式获取：
获取样本集中包含的任一样本图像；其中，所述样本图像中包含有样本人脸；
通过原始几何特征提取模型，获取所述样本图像中所述样本人脸的三维特征信息；
基于所述三维特征信息，对所述基础人脸三维模型进行调整，以确定所述样本人脸所对应的样本三维顶点以及所述样本三维顶点的第三纹理颜色信息；
根据所述样本三维顶点的第三纹理颜色信息、以及所述样本人脸在所述样本图像中对应像素点的像素值，对所述原始几何特征提取模型进行训练。
为了方便训练几何特征提取模型，在本发明实施例中，需要预先收集用于训练几何特征提取模型的样本集(记为第二样本集)，该第二样本集中包含有样本图像(记为第二样本图像)，该第二样本图像中包含有人脸(记为样本人脸)。其中，第一样本图像与第二样本图像可以完全或部分相同，也可以完全不同。后续基于获取到的第二样本图像，对原始几何特征提取模型进行训练。
需要说明的是，该进行几何特征提取模型训练的电子设备可以与进行图像处理的电子设备相同，也可以不同。
由于几何特征提取模型的输出为三维特征信息，而该三维特征信息主要是用于对预先设置的基础人脸三维模型进行调整的。而该调整后的基础人脸三维模型中人脸的三维顶点以及三维顶点的纹理颜色信息，可以一定程度上反映出该几何特征提取模型的精确度。基于此，在对原始几何特征提取模型进行训练的过程中，可以基于原始几何特征提取模型所输出的三维特征信息，对基础人脸三维模型进行调整，以确定第二样本图像中的样本人脸所对应的三维顶点(记为样本三维顶点)以及样本三维顶点的纹理颜色信息(记为第三纹理颜色信息)。后续每个样本图像中的样本人脸在当前迭代所对应的样本三维顶点、以及样本三维顶点的第三纹理颜色信息，对原始几何特征提取模型进行训练。
具体实施过程中，获取任一第二样本图像。通过原始几何特征提取模型，确定该第二样本图像中样本人脸的三维特征信息。基于该样本人脸的三维特征信息，对基础人脸三维模型进行调整，以确定该样本人脸所对应的样本三维顶点以及样本三维顶点的第三纹理颜色信息。然后根据每个样本三维顶点的第三纹理颜色信息、以及该样本人脸上的样本三维顶点在样本图像中对应像素点的像素值，确定该第二样本图像的损失值。基于该第二样本图像的损失值，对原始几何特征提取模型进行训练，以调整原始几何特征提取模型中的参数的参数值。
在一种可能的实施方式中，所述确定所述样本人脸所对应的样本三维顶点以及所述样本三维顶点的第三纹理颜色信息之后，所述根据所述样本三维顶点的第三纹理颜色信息、以及所述样本人脸在所述样本图像中对应像素点的像素值，对所述原始几何特征提取模型进行训练之前，所述方法还包括：
根据所述样本图像中所述样本人脸对应的像素点以及所述样本三维顶点，确定目标样本三维顶点；其中，所述目标样本三维顶点为在所述样本图像中所述样本人脸的皮肤对应的像素点所对应的三维顶点；
根据所述目标样本三维顶点的第三纹理颜色信息，确定第四纹理颜色信息；
根据所述目标样本三维顶点以及所述目标样本三维顶点的第四纹理颜色信息，对所述样本三维顶点以及所述样本三维顶点的第三纹理颜色信息进行更新。
由于获取到的样本图像中样本人脸对应的样本三维顶点中，可能包括样本人脸上非皮肤区域所对应的样本三维顶点，导致获取到的第三纹理颜色信息中，也会包含样本人脸上非皮肤区域所对应的样本三维顶点的纹理颜色信息，从而影响确定的样本人脸的纹理颜色信息的准确度。因此，当基于上述实施例获取到样本图像中样本人脸对应的样本三维顶点后，根据样本图像中样本人脸对应的像素点，确定样本图像中样本人脸的皮肤所对应的像素点(记为样本像素点)。然后根据样本图像中像素点与样本三维顶点的对应关系，确定样本像素点所对应的样本三维顶点(记为目标样本三维顶点)。该目标样本三维顶点可以理解为位于样本图像中样本人脸的皮肤区域的样本三维顶点。然后根据目标样本三维顶点的第三纹理颜色信息，确定第四纹理颜色信息。根据目标样本三维顶点以及第四纹理颜色信息，对上述实施例确定的样本三维顶点以及样本三维顶点的第三纹理颜色信息进行更新。可以理解的是，将样本图像中样本人脸对应的样本三维顶点中，除目标样本三维顶点之外的样本三维顶点删除，只保留目标样本三维顶点，并确定目标样本三维顶点的第四纹理颜色信息为样本图像中样本人脸的纹理颜色信息。
在一种可能的实施方式中，可以采用如下方式根据目标样本三维顶点的第三纹理颜色信息，确定第四纹理颜色信息：
方式一、将任一目标样本三维顶点的第三纹理颜色信息，确定为第四纹理颜色信息。
方式二、将指定的目标样本三维顶点的第三纹理颜色信息，确定为第四纹理颜色信息。
方式三、通过预设的数学函数，对每个目标样本三维顶点的第三纹理颜色信息进行处理，确定处理后的纹理颜色信息为第四纹理颜色信息。
比如，通过预设的数学函数，确定每个目标样本三维顶点的第三纹理颜色信息的均值，将该均值确定为第四纹理颜色信息。
由于第二样本集中存在若干个第二样本图像，针对每个第二样本图像，均执行上述的步骤，直至达到收敛条件，则确定几何特征提取模型训练完成。
其中，满足预设的收敛条件可以为当前迭代所确定的每个第二样本图像的损失值的和小于预设的收敛阈值，或对原始几何特征提取模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
在一种可能的实施方式中，在进行几何特征提取模型训练时，可以把第二样本图像分训练样本和测试样本，先基于训练样本对原始几何特征提取模型进行训练，再基于测试样本对上述已训练的几何特征提取模型的可靠程度进行验证。
下面通过具体的实施例对本发明实施例提供的对几何特征提取模型的训练过程进行介绍，图4为本发明实施例提供的一种几何特征提取模型的训练过程示意图，该过程包括：
S401：获取第二样本集中的任一第二样本图像。
S402：通过原始几何特征提取模型，获取该第二样本图像中样本人脸的三维特征信息。
S403：基于该样本人脸的三维特征信息，对Blendshape三维模型进行调整，以确定该样本人脸对应的样本三维顶点以及样本三维顶点的第三纹理颜色信息。
S404：根据样本图像中样本人脸对应的像素点，确定样本图像中样本人脸的皮肤所对应的样本像素点。
S405：根据样本图像中像素点与样本三维顶点的对应关系，确定样本像素点所对应的样本三维顶点。
S406：将目标样本三维顶点的第三纹理颜色信息的均值确定为第四纹理颜色信息。
S407：根据目标样本三维顶点以及第四纹理颜色信息，对S403确定的样本三维顶点以及样本三维顶点的第三纹理颜色信息进行更新。
S408：根据每个样本三维顶点的第三纹理颜色信息、以及该样本人脸上的样本三维顶点在样本图像中对应像素点的像素值，对原始几何特征提取模型进行训练，以调整原始几何特征提取模型中的参数的参数值。
在进行几何特征提取模型训练的过程中，一般采用离线的方式，预先通过训练设备基于第二样本集中的第二样本图像，对原始几何特征提取模型进行训练，以获得训练完成的几何特征提取模型。后续可以将该训练完成的几何特征提取模型保存在图像处理的电子设备中，以方便生成目标账户的表情图像。
实施例5：
下面通过具体的实施例对本发明实施例提供的图像处理方法进行说明，图5为本发明实施例提供的具体的图像处理的流程示意图，该流程包括：
S501：获取目标表情信息及目标账户的目标图像。
S502：判断目标图像中是否包含有人脸，若确定目标图像包含有人脸，则执行S503，否则，执行S508。
其中，对目标图像进行人脸检测的过程，包括：通过预先训练的人脸检测模型，确定目标图像中是否包含有人脸。若确定目标图像中包含有人脸，则执行S503；若确定目标图像中不包含有人脸，则执行S508。
可选的，通过预先训练的人脸检测模型，还可以确定目标图像中人脸上的关键点。在确定目标图像中包含有人脸后，可以根据该目标图像中人脸上的关键点，确定目标图像中人脸对应的像素点。根据包含该人脸对应的所有像素点的子图像，对目标图像进行更新。
S503：确定目标图像中人脸上预设特征部位的第一特征信息。
其中，第一特征信息以下的一项或多项：
性别信息、发型信息、头发颜色信息、眼型信息、眉型信息、瞳孔颜色信息、胡须类型信息。
图6为本发明实施例提供的一种图像处理的场景示意图。如图6所示，可以通过第一识别模块确定目标图像中人脸上预设特征部位的第一特征信息。当获取到目标账户的目标图像后，通过该第一识别模块，对该目标图像进行处理，确定目标图像中人脸上预设特征部位的第一特征信息。比如，如图6所示的性别信息、发型信息、头发颜色信息、眼型信息、眉型信息、瞳孔颜色信息以及胡须类型信息。
其中，该第一识别模块中可以预先保存有特征提取模型。通过该特征提取模型，可以获取到目标图像中人脸上预设特征部位的第一特征信息。
可选的，提取不同种类的第一特征信息所采用的特征提取模型可以相同也可以不同。
S504：确定目标图像中人脸的第二特征信息。
其中，第二特征信息包括以下的一项或多项：
人脸几何信息、纹理颜色信息、表情信息。
如图6所示，可以通过第二识别模块确定目标图像中人脸的第二特征信息。当获取到目标账户的目标图像后，也可以通过该第二识别模块，对该目标图像进行处理，确定目标图像中人脸的第二特征信息。比如，如图6所示的人脸几何信息和纹理颜色信息。
在一种可能的实施方式中，若第二特征信息包括纹理颜色信息，确定目标图像中人脸的纹理颜色信息的过程如图7所示，包括：通过预先训练的三维特征提取模型(如图7所示的CNN网络)，基于目标图像，获取目标图像中人脸的三维特征信息。然后基于获取到的三维特征信息中包含的人脸几何信息以及纹理信息，对基础人脸三维模型(如图7所示的Blendshape三维模型)进行调整，从而确定目标图像中人脸对应的三维顶点及三维顶点的第一纹理颜色信息。根据目标图像中人脸对应的像素点以及获取到的三维顶点，确定目标图像中人脸的皮肤对应的像素点所对应的目标三维顶点。根据每个目标三维顶点的第一纹理颜色信息的均值，确定第二纹理颜色信息。然后根据目标三维顶点的第二纹理颜色信息，确定目标图像中人脸的纹理颜色信息。
在一种可能的实施方式中，若第二特征信息包括人脸几何信息，确定目标图像中人脸的人脸几何信息的过程，包括：通过预先训练的几何特征提取模型，基于目标图像，获取目标图像中人脸的三维特征信息；根据该三维特征信息，确定该人脸几何信息。
其中S503和S504的执行顺序不做具体限定，即S503和S504可以同时执行，也可以先执行S503再执行S504，还可以先执行S504再执行S503。
S505：确定第一特征信息所对应的素材图像。
如图6所示，预先设置有素材库，该素材库中保存有预设特征部位的每种特征信息所对应的素材图像。当基于S503，获取到目标图像中人脸上预设特征部位的第一特征信息后，可以从该素材库中，确定该第一特征信息所对应的素材图像。具体可以是，素材库中保存有每种特征信息与素材图像的对应关系，后续根据保存的每种特征信息与素材图像的对应关系，即可确定该第一特征信息对应的素材图像。
S506：根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型，确定目标人脸三维模型。
S507：根据目标人脸三维模型以及第一特征信息所对应的素材图像，渲染出目标账户的表情图像。
其中，该渲染出的表情图像可以是动态的表情图像，也可以是静态的表情图像。
若进行图像处理的电子设备为服务器，当基于上述的实施例获取到目标账户的表情图像后，可以将生成的表情图像发送至目标账户的智能设备上，以便目标账户使用该表情图像。例如，目标账户可以在即时通信场景(比如BIGO IMO)下，使用该表情图像。同时，目标账户也可以用于视频直播场景(比如BIGO Live)下，使用该表情图像等。
在一种可能的实施方式中，考虑到目标账户的形象一般不会发生太大的变化，可以将目标账户的身份信息、确定的第一特征信息所对应的素材图像、第二特征信息对应保存。后续目标账户可以不需要再次上传目标图像，只需上传目标表情信息即可。进行图像处理的电子设备可以直接根据目标账户选择的目标表情信息、第二特征信息以及预先设置的基础人脸三维模型确定目标人脸三维模型。并根据该目标人脸三维模型以及保存的第一特征信息所对应的素材图像，渲染出目标账户的表情图像。
S508：输出重新上传目标图像的提示信息。
实施例6：
本发明实施例还提供了一种图像处理装置，图8为本发明实施例提供的一种图像处理装置的结构示意图，该装置包括：
获取单元81，用于获取目标表情信息及目标账户的目标图像；
处理单元82，用于若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息；
渲染单元83，用于根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
在某些可能的实施方式中，所述处理单元82，还用于若确定所述目标图像中未包含有人脸，则输出重新上传目标图像的提示信息。
在某些可能的实施方式中，所述处理单元82，具体用于通过预先训练的特征提取模型，基于所述目标图像，确定所述第一特征信息。
在某些可能的实施方式中，所述处理单元82，具体用于若所述第二特征信息包括所述纹理颜色信息，通过预先训练的三维特征提取模型，基于所述目标图像，获取所述人脸的三维特征信息；基于所述三维特征信息中包含的人脸几何信息以及纹理信息，对所述基础人脸三维模型进行调整，以确定所述人脸对应的三维顶点及所述三维顶点的第一纹理颜色信息；根据所述第一纹理颜色信息，确定所述人脸的纹理颜色信息。
在某些可能的实施方式中，所述处理单元82，具体用于根据所述目标图像中所述人脸对应的像素点以及所述三维顶点，确定目标三维顶点；其中，所述目标三维顶点为在所述目标图像中所述人脸的皮肤对应的像素点所对应的三维顶点；根据所述目标三维顶点的第一纹理颜色信息，确定第二纹理颜色信息；根据所述目标三维顶点的第二纹理颜色信息，确定所述人脸的纹理颜色信息。
在某些可能的实施方式中，所述处理单元82，具体用于若所述第二特征信息包括人脸几何信息，通过预先训练的几何特征提取模型，基于所述目标图像，获取所述人脸的三维特征信息；根据所述三维特征信息，确定所述人脸几何信息。
在某些可能的实施方式中，所述装置还包括：训练单元；
所述训练单元，用于通过如下方式获取几何特征提取模型：
获取样本集中包含的任一样本图像；其中，所述样本图像中包含有样本人脸；
通过原始几何特征提取模型，获取所述样本图像中所述样本人脸的三维特征信息；
基于所述三维特征信息，对所述基础人脸三维模型进行调整，以确定所述样本人脸所对应的样本三维顶点以及所述样本三维顶点的第三纹理颜色信息；
根据所述样本三维顶点的第三纹理颜色信息、以及所述样本人脸在所述样本图像中对应像素点的像素值，对所述原始几何特征提取模型进行训练。
在某些可能的实施方式中，所述训练单元，还用于确定所述样本人脸所对应的样本三维顶点以及所述样本三维顶点的第三纹理颜色信息之后，所述根据所述样本三维顶点的第三纹理颜色信息、以及所述样本人脸在所述样本图像中对应像素点的像素值，对所述原始几何特征提取模型进行训练之前，根据所述样本图像中所述样本人脸对应的像素点以及所述样本三维顶点，确定目标样本三维顶点；其中，所述目标样本三维顶点为在所述样本图像中所述样本人脸的皮肤对应的像素点所对应的三维顶点；根据所述目标样本三维顶点的第三纹理颜色信息，确定第四纹理颜色信息；根据所述目标样本三维顶点以及所述目标样本三维顶点的第四纹理颜色信息，对所述样本三维顶点以及所述样本三维顶点的第三纹理颜色信息进行更新。
采用上述的方法，在获取到了目标账户的包含有人脸的目标图像以及目标表情信息后，可以自动确定该目标图像中人脸上预设特征部位的第一特征信息以及人脸的第二特征信息，减少人工的控制和工作量。并且由于预先保存有第一特征信息对应的素材图像，使得后续可以准确地确定出与目标账户的形象贴合的素材图像，并将该素材图像渲染到根据目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的目标人脸三维模型中，从而渲染出目标账户的表情图像，实现个性化定制目标账户的表情图像，无需人工根据目标账户的目标图像绘制目标账户的表情图像，进一步减少了人工成本。
实施例7：
图9为本发明实施例提供的一种电子设备结构示意图，该电子设备，包括：处理器91、通信接口92、存储器93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信；
所述存储器93中存储有计算机程序，当所述程序被所述处理器91执行时，使得所述处理器91执行如下步骤：
获取目标表情信息及目标账户的目标图像；
若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息；
根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
由于上述电子设备解决问题的原理与图像处理方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口92用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
采用上述的方法，在获取到了目标账户的包含有人脸的目标图像以及目标表情信息后，可以自动确定该目标图像中人脸上预设特征部位的第一特征信息以及人脸的第二特征信息，减少人工的控制和工作量。并且由于预先保存有第一特征信息对应的素材图像，使得后续可以准确地确定出与目标账户的形象贴合的素材图像，并将该素材图像渲染到根据目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的目标人脸三维模型中，从而渲染出目标账户的表情图像，实现个性化定制目标账户的表情图像，无需人工根据目标账户的目标图像绘制目标账户的表情图像，进一步减少了人工成本。
实施例8：
在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
获取目标表情信息及目标账户的目标图像；
若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息；
根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
由于计算机可读存储介质解决问题的原理与上述实施例中的图像处理方法相似，因此具体实施可以参见图像处理方法的实施。
采用上述的方法，在获取到了目标账户的包含有人脸的目标图像以及目标表情信息后，可以自动确定该目标图像中人脸上预设特征部位的第一特征信息以及人脸的第二特征信息，减少人工的控制和工作量。并且由于预先保存有第一特征信息对应的素材图像，使得后续可以准确地确定出与目标账户的形象贴合的素材图像，并将该素材图像渲染到根据目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的目标人脸三维模型中，从而渲染出目标账户的表情图像，实现个性化定制目标账户的表情图像，无需人工根据目标账户的目标图像绘制目标账户的表情图像，进一步减少了人工成本。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标表情信息及目标账户的目标图像；
若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息；
根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若确定所述目标图像中未包含有人脸，则输出重新上传目标图像的提示信息。
3.根据权利要求1所述的方法，其特征在于，所述第一特征信息包括以下的一项或多项：
性别信息、发型信息、脸部装饰物信息、头发颜色信息、眼型信息、眉型信息、瞳孔颜色信息、胡须类型信息。
4.根据权利要求3所述的方法，其特征在于，所述确定所述目标图像中人脸上预设特征部位的第一特征信息，包括：
通过预先训练的特征提取模型，基于所述目标图像，确定所述第一特征信息。
5.根据权利要求1所述的方法，其特征在于，所述第二特征信息包括以下的一项或多项：
人脸几何信息、纹理颜色信息、表情信息。
6.根据权利要求5所述的方法，其特征在于，若所述第二特征信息包括所述纹理颜色信息，确定所述人脸的第二特征信息，包括：
通过预先训练的三维特征提取模型，基于所述目标图像，获取所述人脸的三维特征信息；
基于所述三维特征信息中包含的人脸几何信息以及纹理信息，对所述基础人脸三维模型进行调整，以确定所述人脸对应的三维顶点及所述三维顶点的第一纹理颜色信息；
根据所述第一纹理颜色信息，确定所述人脸的纹理颜色信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一纹理颜色信息，确定所述人脸的纹理颜色信息，包括：
根据所述目标图像中所述人脸对应的像素点以及所述三维顶点，确定目标三维顶点；其中，所述目标三维顶点为在所述目标图像中所述人脸的皮肤对应的像素点所对应的三维顶点；
根据所述目标三维顶点的第一纹理颜色信息，确定第二纹理颜色信息；
根据所述目标三维顶点的第二纹理颜色信息，确定所述人脸的纹理颜色信息。
8.根据权利要求5所述的方法，其特征在于，若所述第二特征信息包括人脸几何信息，所述确定所述人脸的特征信息，包括：
通过预先训练的几何特征提取模型，基于所述目标图像，获取所述人脸的三维特征信息；
根据所述三维特征信息，确定所述人脸几何信息。
9.根据权利要求8所述的方法，其特征在于，所述几何特征提取模型通过如下方式获取：
获取样本集中包含的任一样本图像；其中，所述样本图像中包含有样本人脸；
通过原始几何特征提取模型，获取所述样本图像中所述样本人脸的三维特征信息；
基于所述三维特征信息，对所述基础人脸三维模型进行调整，以确定所述样本人脸所对应的样本三维顶点以及所述样本三维顶点的第三纹理颜色信息；
根据所述样本三维顶点的第三纹理颜色信息、以及所述样本人脸在所述样本图像中对应像素点的像素值，对所述原始几何特征提取模型进行训练。
10.根据权利要求9所述的方法，其特征在于，所述确定所述样本人脸所对应的样本三维顶点以及所述样本三维顶点的第三纹理颜色信息之后，所述根据所述样本三维顶点的第三纹理颜色信息、以及所述样本人脸在所述样本图像中对应像素点的像素值，对所述原始几何特征提取模型进行训练之前，所述方法还包括：
根据所述样本图像中所述样本人脸对应的像素点以及所述样本三维顶点，确定目标样本三维顶点；其中，所述目标样本三维顶点为在所述样本图像中所述样本人脸的皮肤对应的像素点所对应的三维顶点；
根据所述目标样本三维顶点的第三纹理颜色信息，确定第四纹理颜色信息；
根据所述目标样本三维顶点以及所述目标样本三维顶点的第四纹理颜色信息，对所述样本三维顶点以及所述样本三维顶点的第三纹理颜色信息进行更新。
11.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取目标表情信息及目标账户的目标图像；
处理单元，用于若确定所述目标图像中包含有人脸，则确定所述目标图像中人脸上预设特征部位的第一特征信息以及所述人脸的第二特征信息；
渲染单元，用于根据目标人脸三维模型、以及保存的所述第一特征信息所对应的素材图像，渲染出所述目标账户的表情图像；其中，所述目标人脸三维模型是根据所述目标表情信息、所述第二特征信息以及预先设置的基础人脸三维模型确定的。
12.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-10中任一所述图像处理方法的步骤。
13.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一所述图像处理方法的步骤。
CN202110646132.1A 2021-06-10 2021-06-10 一种图像处理方法、装置、设备及介质 Pending CN113361419A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110646132.1A CN113361419A (zh) 2021-06-10 2021-06-10 一种图像处理方法、装置、设备及介质
PCT/CN2022/094925 WO2022257766A1 (zh) 2021-06-10 2022-05-25 图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646132.1A CN113361419A (zh) 2021-06-10 2021-06-10 一种图像处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113361419A true CN113361419A (zh) 2021-09-07

Family

ID=77533545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646132.1A Pending CN113361419A (zh) 2021-06-10 2021-06-10 一种图像处理方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN113361419A (zh)
WO (1) WO2022257766A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658313A (zh) * 2021-09-09 2021-11-16 北京达佳互联信息技术有限公司 人脸模型的渲染方法、装置及电子设备
WO2022257766A1 (zh) * 2021-06-10 2022-12-15 百果园技术(新加坡)有限公司 图像处理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573527A (zh) * 2018-04-18 2018-09-25 腾讯科技（深圳）有限公司 一种表情图片生成方法及其设备、存储介质
EP3404659A1 (en) * 2017-05-16 2018-11-21 Apple Inc. Emojicon puppeting
CN109118569A (zh) * 2018-08-16 2019-01-01 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置
CN110096925A (zh) * 2018-01-30 2019-08-06 普天信息技术有限公司 人脸表情图像的增强方法、获取方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346824A (zh) * 2013-08-09 2015-02-11 汉王科技股份有限公司 基于单张人脸图像自动合成三维表情的方法及装置
US10896535B2 (en) * 2018-08-13 2021-01-19 Pinscreen, Inc. Real-time avatars using dynamic textures
CN113361419A (zh) * 2021-06-10 2021-09-07 百果园技术(新加坡)有限公司 一种图像处理方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3404659A1 (en) * 2017-05-16 2018-11-21 Apple Inc. Emojicon puppeting
CN110096925A (zh) * 2018-01-30 2019-08-06 普天信息技术有限公司 人脸表情图像的增强方法、获取方法和装置
CN108573527A (zh) * 2018-04-18 2018-09-25 腾讯科技（深圳）有限公司 一种表情图片生成方法及其设备、存储介质
CN109118569A (zh) * 2018-08-16 2019-01-01 Oppo广东移动通信有限公司 基于三维模型的渲染方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257766A1 (zh) * 2021-06-10 2022-12-15 百果园技术(新加坡)有限公司 图像处理方法、装置、设备及介质
CN113658313A (zh) * 2021-09-09 2021-11-16 北京达佳互联信息技术有限公司 人脸模型的渲染方法、装置及电子设备
CN113658313B (zh) * 2021-09-09 2024-05-17 北京达佳互联信息技术有限公司 人脸模型的渲染方法、装置及电子设备

Also Published As

Publication number Publication date
WO2022257766A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US10853987B2 (en) Generating cartoon images from photos
US10489683B1 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
CN107341434A (zh) 视频图像的处理方法、装置和终端设备
CN107341435A (zh) 视频图像的处理方法、装置和终端设备
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
WO2022257766A1 (zh) 图像处理方法、装置、设备及介质
CN108280166B (zh) 表情的制作方法、装置、终端及计算机可读存储介质
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
US11507781B2 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
KR101743764B1 (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
CN108182232A (zh) 基于电子书的人物展示方法、电子设备及计算机存储介质
US20220284678A1 (en) Method and apparatus for processing face information and electronic device and storage medium
WO2019142127A1 (en) Method and system of creating multiple expression emoticons
US11461946B2 (en) Digital makeup artist
CN114266695A (zh) 图像处理方法、图像处理系统及电子设备
CN110866139A (zh) 一种化妆处理方法、装置及设备
CN113661520A (zh) 修改毛发外观
CN116547721A (zh) 用于分析用户的头部的头发区域的图像的像素数据以生成一个或多个用户特定推荐的数字成像和学习系统及方法
US11670031B2 (en) System and method for automatically generating an avatar with pronounced features
US11657553B2 (en) Digital makeup artist
CN115690281B (zh) 角色表情的驱动方法及装置、存储介质、电子装置
KR101757184B1 (ko) 감정표현 콘텐츠를 자동으로 생성하고 분류하는 시스템 및 그 방법
CN114445528B (zh) 虚拟形象生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210907

RJ01 Rejection of invention patent application after publication