CN108875539B - 表情匹配方法、装置和系统及存储介质 - Google Patents

表情匹配方法、装置和系统及存储介质 Download PDF

Info

Publication number
CN108875539B
CN108875539B CN201810192778.5A CN201810192778A CN108875539B CN 108875539 B CN108875539 B CN 108875539B CN 201810192778 A CN201810192778 A CN 201810192778A CN 108875539 B CN108875539 B CN 108875539B
Authority
CN
China
Prior art keywords
expression
avatar
virtual image
matched
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810192778.5A
Other languages
English (en)
Other versions
CN108875539A (zh
Inventor
马里千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Kuangyun Technology Co ltd
Beijing Kuangshi Technology Co Ltd
Original Assignee
Nanjing Kuangyun Technology Co ltd
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Kuangyun Technology Co ltd, Beijing Kuangshi Technology Co Ltd filed Critical Nanjing Kuangyun Technology Co ltd
Priority to CN201810192778.5A priority Critical patent/CN108875539B/zh
Publication of CN108875539A publication Critical patent/CN108875539A/zh
Application granted granted Critical
Publication of CN108875539B publication Critical patent/CN108875539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种表情匹配方法、装置和系统以及存储介质。表情匹配方法包括：确定待匹配虚拟形象；获取用户的当前人脸表情参数；以及将当前人脸表情参数输入与待匹配虚拟形象相关的表情匹配模型，以确定待匹配虚拟形象的、与当前人脸表情参数相匹配的虚拟形象表情。根据本发明实施例的表情匹配方法、装置和系统以及存储介质，利用与待匹配虚拟形象相关的表情匹配模型找出与用户的人脸表情参数相匹配的虚拟形象表情，实现人脸表情与虚拟形象表情之间的精确对照。上述表情匹配方法实现简单，匹配准确率高，可以将检测到的任意人脸表情应用在设计师设计出的任意虚拟形象上。

Description

表情匹配方法、装置和系统及存储介质
技术领域
本发明涉及计算机领域，更具体地涉及一种表情匹配方法、装置和系统以及存储介质。
背景技术
虚拟形象表情驱动系统是目前一种非常流行的实时应用，广泛实现在多种手机应用中。虚拟形象表情驱动技术是通过摄像头采集包含人脸的视频流，实时地对人脸表情进行检测，并应用在虚拟形象(例如卡通形象)中。然而，在将人脸表情应用到虚拟形象中时，存在人脸表情和虚拟形象表情不能精确对照的问题。目前，如何将人脸表情对照应用在设计师设计出的虚拟形象上，是一个不太好解决的问题。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种表情匹配方法、装置和系统以及存储介质。
根据本发明一方面，提供了一种表情匹配方法。表情匹配方法包括：确定待匹配虚拟形象；获取用户的当前人脸表情参数；以及将当前人脸表情参数输入与待匹配虚拟形象相关的表情匹配模型，以确定待匹配虚拟形象的、与当前人脸表情参数相匹配的虚拟形象表情。
示例性地，方法还包括：获取与预定虚拟形象相关的一组或多组人脸表情参数，其中，一组或多组人脸表情参数中的每组人脸表情参数与预定虚拟形象的一个或多个虚拟形象表情之一相匹配，并且预定虚拟形象的一个或多个虚拟形象表情中的每个虚拟形象表情与一组或多组人脸表情参数中的至少一组人脸表情参数相匹配；以及将一组或多组人脸表情参数中的每组人脸表情参数作为与预定虚拟形象相关的表情匹配模型的输入，将与输入的人脸表情参数相匹配的虚拟形象表情的指示信息作为与预定虚拟形象相关的表情匹配模型的目标输出，对与预定虚拟形象相关的表情匹配模型进行训练；其中，待匹配虚拟形象为一个或多个预定虚拟形象之一。
示例性地，预定虚拟形象的每个虚拟形象表情的指示信息为该虚拟形象表情的索引信息或用于表示该虚拟形象表情的脸部部位的表情融合比例。
示例性地，获取与预定虚拟形象相关的一组或多组人脸表情参数包括：对于预定虚拟形象的每个虚拟形象表情，针对一个或多个受试者中的每个受试者，获取在该受试者具有与该虚拟形象表情相对应的人脸表情的情况下采集的至少一个人脸图像；对于预定虚拟形象的每个虚拟形象表情，对获取的人脸图像分别进行人脸表情参数检测，以获得与该虚拟形象表情相匹配的至少一组人脸表情参数，其中，一组或多组人脸表情参数包括与预定虚拟形象的所有虚拟形象表情相匹配的人脸表情参数。
示例性地，针对每个受试者，所获取的至少一个人脸图像为从一个角度或多个不同角度采集的人脸图像。
示例性地，在针对每个受试者获取至少一个人脸图像之前，方法还包括：输出用于呈现预定虚拟形象的每个虚拟形象表情的表情图像，用于供一个或多个受试者查看。
示例性地，确定待匹配虚拟形象包括：接收用户输入的选择指令；以及基于选择指令从一个或多个预定虚拟形象中选择待匹配虚拟形象。
示例性地，获取用户的当前人脸表情参数包括：获取用户的当前人脸图像；以及对当前人脸图像进行人脸表情参数检测，以获得当前人脸表情参数。
示例性地，方法还包括：呈现具有与当前人脸表情参数相匹配的虚拟形象表情的待匹配虚拟形象。
示例性地，与待匹配虚拟形象相关的表情匹配模型为线性回归模型。
示例性地，当前人脸表情参数包括预定数目的人脸部位的表情动作参数以及预定数目的人脸部位的表情融合比例。
根据本发明另一方面，提供了一种表情匹配装置，包括：形象确定模块，用于确定待匹配虚拟形象；第一获取模块，用于获取用户的当前人脸表情参数；以及输入模块，用于将当前人脸表情参数输入与待匹配虚拟形象相关的表情匹配模型，以确定待匹配虚拟形象的、与当前人脸表情参数相匹配的虚拟形象表情。
根据本发明另一方面，提供了一种表情匹配系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述表情匹配方法。
根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述表情匹配方法。
根据本发明实施例的表情匹配方法、装置和系统以及存储介质，利用与待匹配虚拟形象相关的表情匹配模型找出与用户的人脸表情参数相匹配的虚拟形象表情，实现人脸表情与虚拟形象表情之间的精确对照。上述表情匹配方法实现简单，匹配准确率高，可以将检测到的任意人脸表情应用在设计师设计出的任意虚拟形象上。该方法不对人脸表情类型和数量，以及设计师设计出的虚拟形象包含的表情类型和数量做任何约束，可以很好地解决表情对应问题，达到良好的用户体验。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的表情匹配方法和装置的示例电子设备的示意性框图；
图2示出根据本发明一个实施例的表情匹配方法的示意性流程图；
图3示出根据本发明一个实施例的表情匹配装置的示意性框图；以及
图4示出根据本发明一个实施例的表情匹配系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
如上文所述，在将人脸表情应用到虚拟形象中时，存在人脸表情和虚拟形象表情不能精确对照的问题。该问题的原因有以下几点：1.虚拟形象表情一般比较夸张，人脸表情不夸张；2.有些人脸表情会存在虚拟形象没有表情与其对应或对应表情不明确的问题，例如人的撅嘴表情对于诸如卡通狗、卡通猫等卡通形象是无法对应的；3.虚拟形象可能会支持一些不存在对应的人脸表情的表情，例如动耳朵、头发立起来等。
为了解决上述问题，本发明实施例提供了一种表情匹配方法、装置和系统以及存储介质。根据本发明实施例，利用与待匹配虚拟形象相关的表情匹配模型找出与用户的人脸表情参数相匹配的虚拟形象表情，实现人脸表情与虚拟形象表情之间的精确对照。上述表情匹配方法实现简单，匹配准确率高，可以将检测到的人脸表情应用在设计师设计出的虚拟形象上。根据本发明实施例的表情匹配方法和装置可以应用于将人脸表情与虚拟形象表情进行匹配的领域。
首先，参照图1来描述用于实现根据本发明实施例的表情匹配方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用微处理器、数字信号处理(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。
所述图像采集装置110可以采集图像(包括静态图像和视频帧)，例如用户的当前人脸图像等，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本发明实施例的表情匹配方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面，将参考图2描述根据本发明实施例的表情匹配方法。图2示出根据本发明一个实施例的表情匹配方法200的示意性流程图。如图2所示，表情匹配方法200包括以下步骤S210、S220和S230。
在步骤S210，确定待匹配虚拟形象。
本文所述的虚拟形象可以是任何采用计算机技术生成的形象，包括但不限于：诸如卡通猫、卡通狗等卡通形象，诸如模拟人脸等基于实际物体生成的模拟形象，或者单纯凭借想象虚构出的形象，等等。虚拟形象可以是二维形象，也可以是三维形象。
待匹配虚拟形象是当前需要与用户的表情进行匹配的虚拟形象。示例性地，待匹配虚拟形象可以是用户从多个预定虚拟形象中自主选择出的虚拟形象。示例性地，待匹配虚拟形象可以是由系统默认设置的虚拟形象，或者是由系统随机或基于预设规则从多个预定虚拟形象中选择的虚拟形象。
示例性地，在确定了待匹配虚拟形象之后，还可以通过显示装置显示该待匹配虚拟形象，该待匹配虚拟形象可以具有默认的表情。
在步骤S220，获取用户的当前人脸表情参数。
可以采用任何现有或将来可能出现的人脸表情参数检测方法检测用户的当前人脸表情参数。示例性地，当前人脸表情参数可以包括预定数目的人脸部位的表情动作参数以及预定数目的人脸部位的表情融合比例。预定数目可以是任何合适的数目，其可以根据需要设定，本发明不对此进行限制。示例性地，本文所述的人脸表情参数(包括用户的当前人脸表情参数、与预定虚拟形象相关的一组或多组人脸表情参数等)可以包括微笑的程度、撅嘴的程度、眨眼的程度等。
所述人脸部位可以包括人脸上的眼睛、眉毛、嘴唇等部位。每个人脸部位的表情动作参数可以是用于表示该人脸部位所做出的表情动作的参数。所述表情动作可以是例如眉毛上扬、眉毛下垂、皱眉、眼皮张开、眼皮紧闭、嘴唇张开、嘴角上扬等等。在一个示例中，每个人脸部位可以采用与该人脸部位相关的特征点表示，该人脸部位所做出的表情动作也可以用与该人脸部位相关的特征点的动作来表示。因此，示例性地，每个人脸部位的表情动作参数可以包括与该人脸部位相关的特征点的位置数据和/或位移数据。
人脸部位的表情融合比例是指各人脸部位的表情动作之间的关联关系，例如眉毛上扬且嘴唇张开。每个人脸部位具有各自的局部表情，通过对各人脸部位的局部表情进行调整融合，可以得到最终的人脸表情。
示例性地，步骤S220可以包括：获取用户的当前人脸图像；以及对当前人脸图像进行人脸表情参数检测，以获得当前人脸表情参数。
可以采用上述图像采集装置110采集用户的当前人脸图像。当前人脸图像可以包括当前针对用户采集的一个或多个用户人脸图像。在一个示例中，每个用户人脸图像可以是单独的静态图像。在另一个示例中，每个用户人脸图像可以是一个视频帧，也就是说，当前人脸图像可以包括多个连续的视频帧。
可以采用任何合适的人脸表情参数检测方法对当前人脸图像进行人脸表情参数检测。例如，可以首先通过人脸检测算法从当前人脸图像中识别出人脸所在位置，随后可以通过人脸特征点定位算法对各人脸部位的特征点进行定位，随后可以通过特征点跟踪算法对人脸部位的特征点进行跟踪，确定特征点的位移，进而获得用户的当前人脸表情参数。
在步骤S230，将当前人脸表情参数输入与待匹配虚拟形象相关的表情匹配模型，以确定待匹配虚拟形象的、与当前人脸表情参数相匹配的虚拟形象表情。
本文所述的表情匹配模型可以是任何合适的能够将某个人的人脸表情参数与某个虚拟形象的虚拟形象表情进行匹配的模型。示例性而非限制性地，表情匹配模型可以是线性回归模型。
例如，假设待匹配虚拟形象是卡通猫，其被设计有10种表情。另外，假设用户当前做出的表情是大笑，则可以从卡通猫的10种表情中找到匹配的大笑表情，该表情即为与用户的当前人脸表情参数相匹配的虚拟形象表情。
将当前人脸表情参数输入与待匹配虚拟形象相关的表情匹配模型之后，该表情匹配模型可以输出与当前人脸表情参数相匹配的虚拟形象表情的指示信息。示例性地，待匹配虚拟形象的每个虚拟形象表情的指示信息可以是该虚拟形象表情的索引信息或用于表示该虚拟形象表情的脸部部位的表情融合比例。
每个虚拟形象表情的索引信息可以是与该虚拟形象表情的表情数据的存储位置相关的信息。例如，每个虚拟形象表情的索引信息是该虚拟形象表情的索引号。表情数据是指用于呈现对应的虚拟形象表情的数据。例如，表情数据可以是包含具有对应的虚拟形象表情的虚拟形象的静态图像或视频。
虚拟形象(包括待匹配虚拟形象和本文描述的预定虚拟形象)的脸部部位的表情融合比例是指虚拟形象的各脸部部位的表情动作之间的关联关系。虚拟形象的脸部部位与用户的人脸部位类似，可以包括眼睛、眉毛、嘴唇等部位。当然，根据需要，虚拟形象可以具有与用户的人脸部位不同类型的脸部部位(例如卡通猫可以具有人没有的胡须)，并且不同的虚拟形象可以具有不同类型的脸部部位，本文不对此进行限制。虚拟形象的脸部部位的表情融合比例与上文所述的人脸部位的表情融合比例的作用和意义类似，本领域技术人员可以参考上文关于人脸部位的表情融合比例的描述理解虚拟形象的脸部部位的表情融合比例，此处不再赘述。
根据本发明实施例的表情匹配方法，利用与待匹配虚拟形象相关的表情匹配模型找出与用户的人脸表情参数相匹配的虚拟形象表情，实现人脸表情与虚拟形象表情之间的精确对照。上述表情匹配方法实现简单，匹配准确率高，可以将检测到的任意人脸表情应用在设计师设计出的任意虚拟形象上。该方法不对人脸表情类型和数量，以及设计师设计出的虚拟形象包含的表情类型和数量做任何约束，可以很好地解决表情对应问题，达到良好的用户体验。
示例性地，根据本发明实施例的表情匹配方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的表情匹配方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。
替代地，根据本发明实施例的表情匹配方法还可以分布地部署在服务器端和客户端处。例如，可以在客户端获取用户的当前人脸表情参数(例如在图像采集端采集用户的当前人脸图像)，客户端将获取的人脸表情参数传送给服务器端(或云端)，由服务器端(或云端)进行表情匹配。
根据本发明实施例，表情匹配方法200还可以包括：获取与预定虚拟形象相关的一组或多组人脸表情参数，其中，一组或多组人脸表情参数中的每组人脸表情参数与预定虚拟形象的一个或多个虚拟形象表情之一相匹配，并且预定虚拟形象的一个或多个虚拟形象表情中的每个虚拟形象表情与一组或多组人脸表情参数中的至少一组人脸表情参数相匹配；以及将每组人脸表情参数作为与预定虚拟形象相关的表情匹配模型的输入，将与输入的人脸表情参数相匹配的虚拟形象表情的指示信息作为该表情匹配模型的目标输出，对该表情匹配模型进行训练；其中，待匹配虚拟形象为一个或多个预定虚拟形象之一。换句话说，经训练之后的表情匹配模型可以根据当前人脸表情参数输出匹配的虚拟形象表情的指示信息。
示例性地，表情匹配方法200可以包括表情匹配模型的训练阶段，在该阶段，可以针对一个或多个预定虚拟形象中的每一个训练各自的表情匹配模型。上述步骤S210至步骤S230可以理解为表情匹配模型的应用阶段。如果预定虚拟形象的数目为一个，则待匹配虚拟形象为该预定虚拟形象。如果预定虚拟形象的数目为多个，则可以首先确定待匹配虚拟形象为哪个预定虚拟形象，将训练好的与该预定虚拟形象相关的表情匹配模型作为与待匹配虚拟形象相关的表情匹配模型。
与上文描述的用户的当前人脸表情参数类似地，与预定虚拟形象相关的每组人脸表情参数可以包括预定数目的人脸部位的表情动作参数以及预定数目的人脸部位的表情融合比例。
所述一组或多组人脸表情参数可以进一步划分为k个小组，该k个小组与预定虚拟形象的k个虚拟形象表情一一对应，并且该k个小组中的每个小组可以包括至少一组人脸表情参数。k是大于或等于1的整数。任意两个小组所包括的人脸表情参数的组数可以相同，也可以不同。
例如，假设与预定虚拟形象A相关的人脸表情参数共有1000组，该预定虚拟形象的虚拟形象表情共有10个，每个虚拟形象表情对应着100组人脸表情参数。可以将这1000组人脸表情参数分别输入与预定虚拟形象A相关的表情匹配模型，将对应的虚拟形象表情的指示信息作为目标输出，即利用每组人脸表情参数和虚拟形象表情的指示信息之间的对应关系，训练该表情匹配模型。具体训练方式可以参考下文描述的示例。
示例性地，预定虚拟形象的每个虚拟形象表情的指示信息可以为该虚拟形象表情的索引信息或用于表示该虚拟形象表情的脸部部位的表情融合比例。可以参照上文关于待匹配虚拟形象的每个虚拟形象表情的指示信息的描述，理解预定虚拟形象的每个虚拟形象表情的指示信息，此处不再赘述。
根据本发明实施例，获取与预定虚拟形象相关的一组或多组人脸表情参数包括：对于预定虚拟形象的每个虚拟形象表情，针对一个或多个受试者中的每个受试者，获取在该受试者具有与该虚拟形象表情相对应的人脸表情的情况下采集的至少一个人脸图像；对于预定虚拟形象的每个虚拟形象表情，对获取的所有人脸图像分别进行人脸表情参数检测，以获得与该虚拟形象表情相匹配的至少一组人脸表情参数，其中，一组或多组人脸表情参数包括与预定虚拟形象的所有虚拟形象表情相匹配的所有人脸表情参数。
例如，对于上述k个小组中的每个小组来说，其包括的至少一组人脸表情参数可以是从m个人脸图像中检测获得的，m为大于或等于1的整数。所述m个人脸图像可以是当一个或多个受试者做出与该小组所对应的虚拟形象表情相匹配的人脸表情时，采集的人脸图像。
示例性地，针对每个受试者，所获取的至少一个人脸图像为从一个角度或多个不同角度采集的人脸图像。
预定虚拟形象的任意两个虚拟形象表情所对应的受试者的数目可以相同或不同。此外，对于预定虚拟形象的每个虚拟形象表情，针对该虚拟形象表情所对应的任意两个受试者所采集的人脸图像的数目可以相同或不同。针对每个受试者，所获取的至少一个人脸图像可以为从一个角度采集的人脸图像。针对每个受试者，所获取的至少一个人脸图像可以为从多个不同角度采集的人脸图像。从多个不同角度采集人脸图像可以获得更全面的人脸表情信息，有利于训练获得更鲁棒的表情匹配模型，从而有利于进一步提高表情匹配模型的匹配准确率。
根据本发明实施例，在针对每个受试者获取至少一个人脸图像之前，表情匹配方法200还可以包括：输出用于呈现预定虚拟形象的每个虚拟形象表情的表情图像，用于供一个或多个受试者查看。
例如，对于设计师设计出的某个卡通形象，可以针对该卡通形象的每个卡通形象表情，生成用于呈现该卡通形象表情的表情图像。随后，将生成的表情图像输出，经由显示装置展示给一个或多个人(即受试者)，以使这些人能够做出与之匹配的人脸表情。表情图像可以为静态图像也可以为动态图。示例性地，可以通过相同的显示装置将表情图像展示给一个或多个受试者。示例性地，可以通过多个不同的显示装置将表情图像分别展示给多个受试者。
下面结合示例描述表情匹配模型的训练阶段的实现方式。
1.对于特定设计师设计出的特定卡通形象，针对该特定卡通形象的每个卡通形象表情，将该卡通形象表情的静态图像展示给5～100人(即受试者)，让他们根据对该卡通形象表情的理解，做出与之匹配的人脸表情并维持不动。
2.针对这5～100人分别采集人脸图像，得到每个人多角度的人脸图像。例如，对于该特定卡通形象的每个卡通形象表情，可以收集到5～100人多角度的人脸图像100～10000张。
3.对针对每个卡通形象表情收集到的100～10000张图，分别执行人脸表情参数检测，并记录得到的人脸表情参数。
4.离线训练过程：对于一个卡通形象表情，使用线性回归模型进行训练，模型的输入为针对该卡通形象表情采集的多张人脸图像所对应的人脸表情参数，训练目标为该卡通形象表情的索引号(或用于表示该卡通形象表情的脸部部位的表情融合比例)。对于一个卡通形象的不同表情，分别采用上述方法对线性回归模型进行训练，即训练集为针对该特定卡通形象的所有卡通形象表情采集到的所有人脸图像。最终得到训练好的线性回归模型，即与特定卡通形象相关的表情匹配模型。
下面介绍表情匹配模型的示例性训练过程。
对于给定的一个具有n个卡通形象表情的卡通形象，与之对应的人脸表情参数的数据集可以表示为
Figure BDA0001592146380000101
xi表示第i个卡通形象表情所对应的人脸表情参数，其中，xij表示第i个卡通形象表情所对应的人脸表情参数中的、与第j个人脸部位相关的参数值，d为第i个卡通形象表情所对应的人脸表情参数中人脸部位的数目。yi表示预测的第i种卡通形象表情的指示信息。该卡通形象对应的线性回归模型可以表示为：
yi＝ω1xi1+ω2xi2+…+ωdxid+b,i＝1,…,n。
线性回归模型在训练过程中学习的参数为ω1,…,ω13,b。
可以通过以下几个步骤训练以上线性回归模型：
1.初始化参数，其中包括权重ωi和偏置b，对其进行初始化(如0均值，1方差)。
2.通过正向传播计算线性回归模型的网络输出和损失函数。
3.根据损失函数进行反向误差传播(backpropagation)，将线性回归模型的网络误差从输出层依次向前传递，并更新线性回归模型中的参数。
4.重复步骤2～3，直至模型训练误差达到规定的水平或训练轮次达到设定值。
根据本发明实施例，步骤S210可以包括：接收用户输入的选择指令；以及基于选择指令从一个或多个预定虚拟形象中选择待匹配虚拟形象。
如上文所述，可以由用户从一个或多个预定虚拟形象中自主选择一个虚拟形象作为待匹配虚拟形象。示例性地，一个或多个预定虚拟形象可以是已针对其训练好与其相关的表情匹配模型的虚拟形象。示例性地，用户可以通过鼠标、键盘、触摸屏、麦克风等输入装置输入选择指令。用户自主选择待匹配虚拟形象的方式的交互性强，用户体验好。
根据本发明实施例，表情匹配方法200还可以包括：呈现具有与当前人脸表情参数相匹配的虚拟形象表情的待匹配虚拟形象。
在一个示例中，可以将待匹配形象单独呈现出来。例如，可以经由显示器显示仅包含待匹配虚拟形象的静态图像、动态图像或视频。待匹配虚拟形象的虚拟形象表情可以随时改变。当确定与用户的当前人脸表情参数相匹配的虚拟形象表情之后，可以将具有该虚拟形象表情的待匹配虚拟形象通过静态图像、动态图像或视频的形式呈现出来。
在一个示例中，在待匹配形象的表情可以由默认的表情变为与人脸表情相匹配的表情。
在又一个示例中，可以将待匹配虚拟形象与背景信息结合之后一起呈现出来。背景信息可以是任何信息，例如游戏场景信息等。待匹配虚拟形象的虚拟形象表情可以随时改变。当确定与用户的当前人脸表情参数相匹配的虚拟形象表情之后，可以将具有该虚拟形象表情的待匹配虚拟形象与背景信息结合在一起之后，通过静态图像、动态图像或视频的形式呈现出来。在呈现过程中，背景信息可以是静止不变的，也可以是随着时间变化的。
根据本发明另一方面，提供一种表情匹配装置。图3示出了根据本发明一个实施例的表情匹配装置300的示意性框图。
如图3所示，根据本发明实施例的表情匹配装置300包括形象确定模块310、形象确定模块320和输入模块330。所述各个模块可分别执行上文中结合图2描述的表情匹配方法的各个步骤/功能。以下仅对该表情匹配装置300的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
形象确定模块310用于确定待匹配虚拟形象。形象确定模块310可以由图1所示的电子设备中的处理器102运行存储装置103中存储的程序指令来实现。
第一获取模块320用于获取用户的当前人脸表情参数。第一获取模块320可以由图1所示的电子设备中的处理器102运行存储装置103中存储的程序指令来实现。
输入模块330用于将所述当前人脸表情参数输入与所述待匹配虚拟形象相关的表情匹配模型，以确定所述待匹配虚拟形象的、与所述当前人脸表情参数相匹配的虚拟形象表情。输入模块330可以由图1所示的电子设备中的处理器102运行存储装置103中存储的程序指令来实现。
示例性地，表情匹配装置300还包括：第二获取模块(未示出)，用于获取与预定虚拟形象相关的一组或多组人脸表情参数，其中，一组或多组人脸表情参数中的每组人脸表情参数与预定虚拟形象的一个或多个虚拟形象表情之一相匹配，并且预定虚拟形象的一个或多个虚拟形象表情中的每个虚拟形象表情与一组或多组人脸表情参数中的至少一组人脸表情参数相匹配；以及训练模块(未示出)，用于将一组或多组人脸表情参数中的每组人脸表情参数作为与预定虚拟形象相关的表情匹配模型的输入，将与输入的人脸表情参数相匹配的虚拟形象表情的指示信息作为与预定虚拟形象相关的表情匹配模型的目标输出，对与预定虚拟形象相关的表情匹配模型进行训练；其中，待匹配虚拟形象为一个或多个预定虚拟形象之一。
示例性地，预定虚拟形象的每个虚拟形象表情的指示信息为该虚拟形象表情的索引信息或用于表示该虚拟形象表情的脸部部位的表情融合比例。
示例性地，第二获取模块包括：第一获取子模块，用于对于预定虚拟形象的每个虚拟形象表情，针对一个或多个受试者中的每个受试者，获取在该受试者具有与该虚拟形象表情相对应的人脸表情的情况下采集的至少一个人脸图像；第一检测子模块，用于对于预定虚拟形象的每个虚拟形象表情，对获取的人脸图像分别进行人脸表情参数检测，以获得与该虚拟形象表情相匹配的至少一组人脸表情参数，其中，一组或多组人脸表情参数包括与预定虚拟形象的所有虚拟形象表情相匹配的人脸表情参数。
示例性地，针对每个受试者，所获取至少一个人脸图像为从一个角度或多个不同角度采集的人脸图像。
示例性地，表情匹配装置300还包括：输出模块(未示出)，用于在针对每个受试者获取至少一个人脸图像之前，输出用于呈现预定虚拟形象的每个虚拟形象表情的表情图像，用于供一个或多个受试者查看。
示例性地，形象确定模块310包括：接收子模块，用于接收用户输入的选择指令；以及选择子模块，用于基于选择指令从一个或多个预定虚拟形象中选择待匹配虚拟形象。
示例性地，第一获取模块320包括：第二获取子模块，用于获取用户的当前人脸图像；以及第二检测子模块，用于对当前人脸图像进行人脸表情参数检测，以获得当前人脸表情参数。
示例性地，表情匹配装置300还包括：呈现模块(未示出)，用于呈现具有与当前人脸表情参数相匹配的虚拟形象表情的待匹配虚拟形象。
示例性地，与待匹配虚拟形象相关的表情匹配模型为线性回归模型。
示例性地，当前人脸表情参数包括预定数目的人脸部位的表情动作参数以及预定数目的人脸部位的表情融合比例。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图4示出了根据本发明一个实施例的表情匹配系统400的示意性框图。表情匹配系统400包括图像采集装置410、存储装置420、以及处理器430。
所述图像采集装置410用于采集图像(包括用户的人脸图像和/或受试者的人脸图像)。图像采集装置410是可选的，表情匹配系统400可以不包括图像采集装置410。在这种情况下，可选地，可以利用其他图像采集装置采集图像，并将采集的图像发送给表情匹配系统400。
所述存储装置420存储用于实现根据本发明实施例的表情匹配方法中的相应步骤的计算机程序指令。
所述处理器430用于运行所述存储装置420中存储的计算机程序指令，以执行根据本发明实施例的表情匹配方法的相应步骤。
在一个实施例中，所述计算机程序指令被所述处理器430运行时用于执行以下步骤：确定待匹配虚拟形象；获取用户的当前人脸表情参数；以及将当前人脸表情参数输入与待匹配虚拟形象相关的表情匹配模型，以确定待匹配虚拟形象的、与当前人脸表情参数相匹配的虚拟形象表情。
示例性地，所述计算机程序指令被所述处理器430运行时还用于执行以下步骤：获取与预定虚拟形象相关的一组或多组人脸表情参数，其中，一组或多组人脸表情参数中的每组人脸表情参数与预定虚拟形象的一个或多个虚拟形象表情之一相匹配，并且预定虚拟形象的一个或多个虚拟形象表情中的每个虚拟形象表情与一组或多组人脸表情参数中的至少一组人脸表情参数相匹配；以及将一组或多组人脸表情参数中的每组人脸表情参数作为与预定虚拟形象相关的表情匹配模型的输入，将与输入的人脸表情参数相匹配的虚拟形象表情的指示信息作为与预定虚拟形象相关的表情匹配模型的目标输出，对与预定虚拟形象相关的表情匹配模型进行训练；其中，待匹配虚拟形象为一个或多个预定虚拟形象之一。
示例性地，预定虚拟形象的每个虚拟形象表情的指示信息为该虚拟形象表情的索引信息或用于表示该虚拟形象表情的脸部部位的表情融合比例。
示例性地，所述计算机程序指令被所述处理器430运行时所用于执行的获取与预定虚拟形象相关的一组或多组人脸表情参数的步骤包括：对于预定虚拟形象的每个虚拟形象表情，针对一个或多个受试者中的每个受试者，获取在该受试者具有与该虚拟形象表情相对应的人脸表情的情况下采集的至少一个人脸图像；对于预定虚拟形象的每个虚拟形象表情，对获取的所有人脸图像分别进行人脸表情参数检测，以获得与该虚拟形象表情相匹配的至少一组人脸表情参数，其中，一组或多组人脸表情参数包括与预定虚拟形象的所有虚拟形象表情相匹配的所有人脸表情参数。
示例性地，针对每个受试者，所获取的至少一个人脸图像为从一个角度或多个不同角度采集的人脸图像。
示例性地，在所述计算机程序指令被所述处理器430运行时所用于执行的针对每个受试者获取至少一个人脸图像的步骤之前，所述计算机程序指令被所述处理器430运行时还用于执行以下步骤：输出用于呈现预定虚拟形象的每个虚拟形象表情的表情图像，用于供一个或多个受试者查看。
示例性地，所述计算机程序指令被所述处理器430运行时所用于执行的确定待匹配虚拟形象的步骤包括：接收用户输入的选择指令；以及基于选择指令从一个或多个预定虚拟形象中选择待匹配虚拟形象。
示例性地，所述计算机程序指令被所述处理器430运行时所用于执行的获取用户的当前人脸表情参数的步骤包括：获取用户的当前人脸图像；以及对当前人脸图像进行人脸表情参数检测，以获得当前人脸表情参数。
示例性地，所述计算机程序指令被所述处理器430运行时还用于执行以下步骤：呈现具有与当前人脸表情参数相匹配的虚拟形象表情的待匹配虚拟形象。
示例性地，与待匹配虚拟形象相关的表情匹配模型为线性回归模型。
示例性地，当前人脸表情参数包括预定数目的人脸部位的表情动作参数以及预定数目的人脸部位的表情融合比例。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的表情匹配方法的相应步骤，并且用于实现根据本发明实施例的表情匹配装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的表情匹配装置的各个功能模块，并和/或者可以执行根据本发明实施例的表情匹配方法。
在一个实施例中，所述程序指令在运行时用于执行以下步骤：确定待匹配虚拟形象；获取用户的当前人脸表情参数；以及将当前人脸表情参数输入与待匹配虚拟形象相关的表情匹配模型，以确定待匹配虚拟形象的、与当前人脸表情参数相匹配的虚拟形象表情。
示例性地，所述程序指令在运行时还用于执行以下步骤：获取与预定虚拟形象相关的一组或多组人脸表情参数，其中，一组或多组人脸表情参数中的每组人脸表情参数与预定虚拟形象的一个或多个虚拟形象表情之一相匹配，并且预定虚拟形象的一个或多个虚拟形象表情中的每个虚拟形象表情与一组或多组人脸表情参数中的至少一组人脸表情参数相匹配；以及将一组或多组人脸表情参数中的每组人脸表情参数作为与预定虚拟形象相关的表情匹配模型的输入，将与输入的人脸表情参数相匹配的虚拟形象表情的指示信息作为与预定虚拟形象相关的表情匹配模型的目标输出，对与预定虚拟形象相关的表情匹配模型进行训练；其中，待匹配虚拟形象为一个或多个预定虚拟形象之一。
示例性地，预定虚拟形象的每个虚拟形象表情的指示信息为该虚拟形象表情的索引信息或用于表示该虚拟形象表情的脸部部位的表情融合比例。
示例性地，所述程序指令在运行时所用于执行的获取与预定虚拟形象相关的一组或多组人脸表情参数的步骤包括：对于预定虚拟形象的每个虚拟形象表情，针对一个或多个受试者中的每个受试者，获取在该受试者具有与该虚拟形象表情相对应的人脸表情的情况下采集的至少一个人脸图像；对于预定虚拟形象的每个虚拟形象表情，对获取的所有人脸图像分别进行人脸表情参数检测，以获得与该虚拟形象表情相匹配的至少一组人脸表情参数，其中，一组或多组人脸表情参数包括与预定虚拟形象的所有虚拟形象表情相匹配的所有人脸表情参数。
示例性地，针对每个受试者，所获取的至少一个人脸图像为从一个角度或多个不同角度采集的人脸图像。
示例性地，在所述程序指令在运行时所用于执行的针对每个受试者获取至少一个人脸图像的步骤之前，所述程序指令在运行时还用于执行以下步骤：输出用于呈现预定虚拟形象的每个虚拟形象表情的表情图像，用于供一个或多个受试者查看。
示例性地，所述程序指令在运行时所用于执行的确定待匹配虚拟形象的步骤包括：接收用户输入的选择指令；以及基于选择指令从一个或多个预定虚拟形象中选择待匹配虚拟形象。
示例性地，所述程序指令在运行时所用于执行的获取用户的当前人脸表情参数的步骤包括：获取用户的当前人脸图像；以及对当前人脸图像进行人脸表情参数检测，以获得当前人脸表情参数。
示例性地，所述程序指令在运行时还用于执行以下步骤：呈现具有与当前人脸表情参数相匹配的虚拟形象表情的待匹配虚拟形象。
示例性地，与待匹配虚拟形象相关的表情匹配模型为线性回归模型。
示例性地，当前人脸表情参数包括预定数目的人脸部位的表情动作参数以及预定数目的人脸部位的表情融合比例。
根据本发明实施例的表情匹配系统中的各模块可以通过根据本发明实施例的实施表情匹配的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的表情匹配装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种表情匹配方法，包括：
确定待匹配虚拟形象；
获取用户的当前人脸表情参数；以及
将所述当前人脸表情参数输入与所述待匹配虚拟形象相关的表情匹配模型，以确定所述待匹配虚拟形象的、与所述当前人脸表情参数相匹配的虚拟形象表情；
其中，所述方法还包括：
获取与预定虚拟形象相关的一组或多组人脸表情参数，其中，所述一组或多组人脸表情参数中的每组人脸表情参数与所述预定虚拟形象的一个或多个虚拟形象表情之一相匹配，并且所述预定虚拟形象的一个或多个虚拟形象表情中的每个虚拟形象表情与所述一组或多组人脸表情参数中的至少一组人脸表情参数相匹配；以及
将所述一组或多组人脸表情参数中的每组人脸表情参数作为与所述预定虚拟形象相关的表情匹配模型的输入，将与输入的人脸表情参数相匹配的虚拟形象表情的指示信息作为所述与所述预定虚拟形象相关的表情匹配模型的目标输出，对所述与所述预定虚拟形象相关的表情匹配模型进行训练，其中，所述待匹配虚拟形象为一个或多个所述预定虚拟形象之一；
其中，所述获取与预定虚拟形象相关的一组或多组人脸表情参数包括：
对于所述预定虚拟形象的每个虚拟形象表情，
针对一个或多个受试者中的每个受试者，获取在该受试者具有与该虚拟形象表情相对应的人脸表情的情况下采集的至少一个人脸图像；
对获取的人脸图像分别进行人脸表情参数检测，以获得与该虚拟形象表情相匹配的至少一组人脸表情参数，其中，所述一组或多组人脸表情参数包括与所述预定虚拟形象的所有虚拟形象表情相匹配的人脸表情参数。
2.如权利要求1所述的方法，其中，所述预定虚拟形象的每个虚拟形象表情的指示信息为该虚拟形象表情的索引信息或用于表示该虚拟形象表情的脸部部位的表情融合比例。
3.如权利要求1所述的方法，其中，针对所述每个受试者，所获取的所述至少一个人脸图像为从一个角度或多个不同角度采集的人脸图像。
4.如权利要求1所述的方法，其中，在针对所述每个受试者获取所述至少一个人脸图像之前，所述方法还包括：
输出用于呈现所述预定虚拟形象的每个虚拟形象表情的表情图像，用于供所述一个或多个受试者查看。
5.如权利要求1至3中任一项所述的方法，其中，所述确定待匹配虚拟形象包括：
接收所述用户输入的选择指令；以及
基于所述选择指令从一个或多个所述预定虚拟形象中选择所述待匹配虚拟形象。
6.如权利要求1至3中任一项所述的方法，其中，所述获取用户的当前人脸表情参数包括：
获取所述用户的当前人脸图像；以及
对所述当前人脸图像进行人脸表情参数检测，以获得所述当前人脸表情参数。
7.如权利要求1至3中任一项所述的方法，其中，所述方法还包括：
呈现具有所述与所述当前人脸表情参数相匹配的虚拟形象表情的待匹配虚拟形象。
8.如权利要求1至3中任一项所述的方法，其中，所述与所述待匹配虚拟形象相关的表情匹配模型为线性回归模型。
9.如权利要求1至3中任一项所述的方法，其中，所述当前人脸表情参数包括预定数目的人脸部位的表情动作参数以及所述预定数目的人脸部位的表情融合比例。
10.一种表情匹配装置，包括：
形象确定模块，用于确定待匹配虚拟形象；
第一获取模块，用于获取用户的当前人脸表情参数；以及
输入模块，用于将所述当前人脸表情参数输入与所述待匹配虚拟形象相关的表情匹配模型，以确定所述待匹配虚拟形象的、与所述当前人脸表情参数相匹配的虚拟形象表情；
其中，所述装置还包括：
第二获取模块，用于获取与预定虚拟形象相关的一组或多组人脸表情参数，其中，所述一组或多组人脸表情参数中的每组人脸表情参数与所述预定虚拟形象的一个或多个虚拟形象表情之一相匹配，并且所述预定虚拟形象的一个或多个虚拟形象表情中的每个虚拟形象表情与所述一组或多组人脸表情参数中的至少一组人脸表情参数相匹配；以及
训练模块，用于将所述一组或多组人脸表情参数中的每组人脸表情参数作为与所述预定虚拟形象相关的表情匹配模型的输入，将与输入的人脸表情参数相匹配的虚拟形象表情的指示信息作为所述与所述预定虚拟形象相关的表情匹配模型的目标输出，对所述与所述预定虚拟形象相关的表情匹配模型进行训练，其中，所述待匹配虚拟形象为一个或多个所述预定虚拟形象之一；
其中，所述第二获取模块包括：
第一获取子模块，用于对于所述预定虚拟形象的每个虚拟形象表情，针对一个或多个受试者中的每个受试者，获取在该受试者具有与该虚拟形象表情相对应的人脸表情的情况下采集的至少一个人脸图像；
第一检测子模块，用于对于所述预定虚拟形象的每个虚拟形象表情，对获取的人脸图像分别进行人脸表情参数检测，以获得与该虚拟形象表情相匹配的至少一组人脸表情参数，其中，所述一组或多组人脸表情参数包括与所述预定虚拟形象的所有虚拟形象表情相匹配的人脸表情参数。
11.一种表情匹配系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至9任一项所述的表情匹配方法。
12.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至9任一项所述的表情匹配方法。
CN201810192778.5A 2018-03-09 2018-03-09 表情匹配方法、装置和系统及存储介质 Active CN108875539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810192778.5A CN108875539B (zh) 2018-03-09 2018-03-09 表情匹配方法、装置和系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810192778.5A CN108875539B (zh) 2018-03-09 2018-03-09 表情匹配方法、装置和系统及存储介质

Publications (2)

Publication Number Publication Date
CN108875539A CN108875539A (zh) 2018-11-23
CN108875539B true CN108875539B (zh) 2023-04-07

Family

ID=64326060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810192778.5A Active CN108875539B (zh) 2018-03-09 2018-03-09 表情匹配方法、装置和系统及存储介质

Country Status (1)

Country Link
CN (1) CN108875539B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801249A (zh) * 2018-12-27 2019-05-24 深圳豪客互联网有限公司 图像融合方法、装置、计算机设备和存储介质
CN109740511B (zh) * 2018-12-29 2022-11-22 广州方硅信息技术有限公司 一种人脸表情匹配方法、装置、设备及存储介质
CN110390704B (zh) * 2019-07-11 2021-02-12 深圳追一科技有限公司 图像处理方法、装置、终端设备及存储介质
CN111128190B (zh) * 2019-12-31 2023-03-21 恒信东方文化股份有限公司 一种表情匹配的方法及系统
CN113099150B (zh) * 2020-01-08 2022-12-02 华为技术有限公司 图像处理的方法、设备及系统
CN113066156A (zh) * 2021-04-16 2021-07-02 广州虎牙科技有限公司 表情重定向方法、装置、设备和介质
CN113808281B (zh) * 2021-08-23 2024-02-27 桂林未来鹏创软件有限公司 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215113A1 (en) * 2012-02-21 2013-08-22 Mixamo, Inc. Systems and methods for animating the faces of 3d characters using images of human faces
US9830728B2 (en) * 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
CN106937154A (zh) * 2017-03-17 2017-07-07 北京蜜枝科技有限公司 处理虚拟形象的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白英彩等.AVATAR.《英汉多媒体技术辞典》.上海交通大学出版社,2016, *

Also Published As

Publication number Publication date
CN108875539A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108875539B (zh) 表情匹配方法、装置和系统及存储介质
CN108875633B (zh) 表情检测与表情驱动方法、装置和系统及存储介质
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
US10198846B2 (en) Digital Image Animation
EP3815042B1 (en) Image display with selective depiction of motion
US11501500B2 (en) Augmented reality (AR) providing apparatus and method for recognizing context using neural network, and non-transitory computer-readable record medium for executing the method
US11816773B2 (en) Music reactive animation of human characters
KR20150108888A (ko) 제스처 인식을 위한 부분 및 상태 검출
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
US11453121B2 (en) Mirror loss neural networks
CN115244495A (zh) 针对虚拟环境运动的实时式样
US20210166461A1 (en) Avatar animation
WO2022072610A1 (en) Method, system and computer-readable storage medium for image animation
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
CN115346262A (zh) 一种表情驱动参数的确定方法、装置、设备及存储介质
Wen et al. A survey of facial capture for virtual reality
US11158122B2 (en) Surface geometry object model training and inference
CN110084306B (zh) 用于生成动态图像的方法和装置
Seychell et al. Cots: A multipurpose rgb-d dataset for saliency and image manipulation applications
WO2022213031A1 (en) Neural networks for changing characteristics of vocals
WO2021108451A1 (en) Body fat prediction and body modeling using mobile device
Flam et al. Openmocap: an open source software for optical motion capture
JP7198892B2 (ja) 動画再生装置、動画再生方法、及び動画配信システム
JP6945693B2 (ja) 動画再生装置、動画再生方法、及び動画配信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230316

Address after: 100190 A block 2, South Road, Haidian District Academy of Sciences, Beijing 313

Applicant after: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Applicant after: NANJING KUANGYUN TECHNOLOGY Co.,Ltd.

Address before: 100190 A block 2, South Road, Haidian District Academy of Sciences, Beijing 313

Applicant before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant