CN110827394B - 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 - Google Patents

Abstract

本公开涉及一种脸部表情建构方法、装置及非暂态电脑可读取记录媒体。该脸部表情建构方法，应用于脸部表情建构装置中，包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接两个二维影像以及视差图为三通道特征图；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合权重；以及根据形状融合权重建构三维脸部表情。本发明的脸部表情建构方法、装置及非暂态电脑可读取记录媒体可提高脸部表情建构的精确度。

Description

脸部表情建构方法、装置及非暂态电脑可读取记录媒体

技术领域

本发明涉及三维影像技术，且特别涉及一种脸部表情建构方法、装置及非暂态电脑可读取记录媒体。

背景技术

捕捉并处理人类的几何特征、表情与动作，是在现代电脑动画的技术核心。数字演员常通过结合三维扫描与特征获取来创造。然而，现存的技术中的缺点是，无法准确的估测用以表现脸部表情细节的权重。

因此，如何设计一个新的脸部表情建构方法、装置及非暂态电脑可读取记录媒体，以解决上述的缺失，乃为此一业界亟待解决的问题。

发明内容

本发明的目的在于提供一种脸部表情建构方法、装置及非暂态电脑可读取记录媒体，以提高脸部表情建构的精确度。

本发明的一实施方式在于提供一种脸部表情建构方法，应用于脸部表情建构装置中，包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接(concatenate)两个二维影像以及视差图为三通道特征图(feature map)；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合(blend shape)权重；以及根据形状融合权重建构三维脸部表情。

于一实施例中，权重计算神经网络为卷积神经网络(convolution neuralnetwork；CNN)，配置以对三通道特征图进行卷积，以产生形状融合权重。

于一实施例中，脸部表情建构方法，还包含根据二维影像由深度计算神经网络进行深度学习运算，以产生视差图，其中深度计算神经网络为卷积神经网络。

于一实施例中，脸部表情建构方法，还包含计算形状融合权重与多个预设权重间的误差值，以评估形状融合权重的准确度。

于一实施例中，误差值为形状融合权重与预设权重间的均方误差(mean-squareerror)。

于一实施例中，二影像获取模块分别为红外光影像获取模块，脸部表情建构方法还包含：使红外光发射模块照射脸部，以由二影像获取模块获取两个二维影像。

本发明的另一实施方式在于提供一种脸部表情建构装置，包括：存储模块以及处理模块。存储模块配置以存储多个电脑可执行指令。处理模块电性耦接于存储模块，并配置以获取并执行电脑可执行指令，以执行脸部表情建构方法。脸部表情建构方法包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接两个二维影像以及视差图为三通道特征图；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合权重；以及根据形状融合权重建构三维脸部表情。

于一实施例中，权重计算神经网络为卷积神经网络，配置以对三通道特征图进行卷积，以产生形状融合权重。

于一实施例中，脸部表情建构方法还包含：根据二维影像由深度计算神经网络进行深度学习运算，以产生视差图，其中深度计算神经网络为卷积神经网络。

本发明的又一实施方式在于提供一种非暂态电脑可读取记录媒体，配置以存储应用程序以通过脸部表情建构装置执行脸部表情建构方法。脸部表情建构方法包括：接收由二影像获取模块获取包含脸部表情的两个二维影像；根据两个二维影像进行深度学习运算，以产生视差图；串接两个二维影像以及视差图为三通道特征图；通过权重计算神经网络对三通道特征图进行计算，以产生多个形状融合权重；以及根据形状融合权重建构三维脸部表情。

本发明的脸部表情建构装置及脸部表情建构方法不仅根据二维影像中脸部的二维位置信息，亦根据脸部的深度信息来产生形状融合权重。脸部表情的建构将具有更高的精确度。

附图说明

图1为本发明一实施例中，一种脸部表情建构装置的方框图；

图2为本发明一实施例中，一种脸部表情建构方法的流程图；以及

图3为本发明一实施例中，根据脸部表情建构装置的运行所实现的系统的方框图。

附图标记说明：

1：脸部表情建构装置 100、110：影像获取模块

120：存储模块 125：电脑可执行指令

130：处理模块 140：红外光发射模块

150：脸部 200：脸部表情建构方法

201-205：步骤 3：系统

300：深度计算神经网络 310：串接单元

320：权重计算神经网络 DP：视差图

IM1、IM2：二维影像 IR：红外光

TFP：三通道特征图 WE：形状融合权重

具体实施方式

请参照本公开内容的实施例，其中以下的范例将搭配附图进行说明。在附图及说明中所使用相同的元件符号，将指称相同或类似的元件。

须注意的是，在说明书以及权利要求中所进行的叙述中，当元件被描述为“连接”或“耦接”至另一元件时，其可为直接连接或耦接至另一元件，或是可能存在有中间的元件。相对的，当元件被描述为“直接连接”或“直接耦接”至另一元件时，将不会有中间的元件存在。更进一步地，“电性连接”或“连接”可更用以指称两个或多个元件间的交互操作以及互动。

须注意的是，在说明书以及权利要求中所进行的叙述中，虽然“第一”、“第二”等用语可用以描述不同的元件，这些元件可不被这些用语所限制。这些用语仅用以区分不同的元件。举例来说，第一元件亦可被改称为第二元件，且类似地，第二元件亦可被改称第一元件，而不会悖离实施例的范围。

须注意的是，在说明书以及权利要求中所进行的叙述中，“包含”、“包括”、“具有”、“含有”及类似的用语是被理解为开放性的，例如表示“包含，但不限于”。

须注意的是，在说明书以及权利要求中所进行的叙述中，“及/或”的语句包含所列举的一个或多个相关事物中的任何以及全部的组合。

须注意的是，在说明书以及权利要求中所进行的叙述中，在以下的实施例的叙述中用以指称方向的词汇，例如“上”、“下”、“左”、“右”、“前”及“后”，是与附图中的方向相关。因此，这样指称方向的词汇是用以叙述，而非限制本公开内容。

须注意的是，在说明书以及权利要求中所进行的叙述中，除非另行定义，所有的用语(包含技术性或是科学性用语)具有任何本公开内容所属技术领域的通常知识者所普遍理解的相同意义。须更进一步了解的是，此些用语，例如定义于常用的字典者，除非特别定义，否则需解读为具有与在相关的技术领域所使用的相同意义，而不能被广泛地解读。

请参照图1。图1为本发明一实施例中，一种脸部表情建构装置1的方框图。脸部表情建构装置1包含二影像获取模块100及110、存储模块120以及处理模块130。

于一实施例中，影像获取模块100及110电性耦接于处理模块130。影像获取模块100及110配置以获取两个二维影像IM1及IM2。更详细地说，影像获取模块100获取二维影像IM1，影像获取模块110获取二维影像IM2。

于一实施例中，存储模块120可为例如，但不限于光盘、随机存取存储器(randomaccess memory；RAM)、只读存储器(read only memory；ROM)、软碟、硬盘或光学磁盘片。存储模块120配置以存储多个电脑可执行指令125。

处理模块130电性耦接于存储模块120。于一实施例中，处理模块130配置以获取并执行电脑可执行指令125，并据以执行脸部表情建构装置1的功能。更详细地说，处理模块130接收由影像获取模块100及110获取的二维影像IM1及IM2，以根据二维影像IM1及IM2进行脸部表情建构。

脸部表情建构装置1的运行将进一步于以下的段落详述。

请同时参照图2及图3。

图2为本发明一实施例中，一种脸部表情建构方法200的流程图。脸部表情建构方法200可应用于例如图1所示出的脸部表情建构装置1中，或由其他硬件元件如数据库、一般处理器、计算机、服务器、或其他具特定逻辑电路的独特硬件装置或具特定功能的设备来实作，如将程序码和处理器/芯片整合成独特硬件。更详细地说，脸部表情建构方法200可使用电脑程序实现，以控制脸部表情建构装置1的各元件。电脑程序可存储于一非暂态电脑可读取记录媒体中，例如只读存储器、快闪存储器、软碟、硬盘、光盘、U盘、磁带、可由网络存取的数据库或本领域技术人员可轻易想到具有相同功能的电脑可读取记录媒体。

图3为本发明一实施例中，根据脸部表情建构装置1的运行所实现的系统3的方框图。更详细地说，当处理模块130执行电脑可执行指令125时，电脑可执行指令125运行为系统3的模块，以执行脸部表情建构方法200。系统3包含深度计算神经网络300、串接单元310以及权重计算神经网络320。

脸部表情建构方法200包含下列步骤(应了解到，在本实施方式中所提及的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行)。

于步骤201，使深度计算神经网络300接收由二影像获取模块100及110获取包含脸部表情的两个二维影像IM1及IM2。

需注意的是，在图1中，影像获取模块100及110是示出为脸部表情建构装置1的一部分。然而，在其他实施例中，影像获取模块100及110并不必须为脸部表情建构装置1的一部分。

更详细地说，在一实施例中，处理模块130可自设置于脸部表情建构装置1中的影像获取模块100及110获取二维影像IM1及IM2。于其他实施例中，处理模块130可接收例如存储于存储模块120中的二维影像IM1及IM2，或是利用有线或是无线网络存取远端服务器来接收二维影像IM1及IM2。其中，二维影像IM1及IM2是由脸部表情建构装置1外的影像获取模块100及110所获取。

于一实施例中，图1所示出的影像获取模块100及110分别为一红外光影像获取模块。脸部表情建构装置1可还包含红外光发射模块140，以发射红外光IR照射图1所示具有脸部表情的脸部150，以由影像获取模块100及110获取二维影像IM1及IM2。其中，于一实施例中，红外光影像获取模块所获取的二维影像IM1及IM2是灰阶影像。

于其他实施例中，影像获取模块100及110可分别由采用色彩感光元件的影像获取模块实现，以获取彩色影像。本发明并不限于此。

于步骤202，深度计算神经网络300根据二维影像IM1及IM2进行深度学习运算，以产生视差图DP。

于一实施例中，深度计算神经网络300为卷积神经网络(convolution neuralnetwork；CNN)，以对二维影像IM1及IM2进行卷积，产生包含脸部表情的深度信息的视差图DP。

于步骤203，串接单元310串接二维影像IM1及IM2以及视差图DP为三通道特征图TFP。

于一实施例中，二维影像IM1及IM2以及视差图DP各具有X×Y的维度。因此，在经过串接单元310串接二维影像IM1及IM2以及视差图DP后，据以产生的三通道特征图TFP的维度将为X×Y×3。

于步骤204，通过权重计算神经网络320对三通道特征图TFP进行计算，以产生多个形状融合权重WE。

于一实施例中，对于不同的脸部表情，脸部的不同区域由于不同的脸部肌肉各自的位移，而扮演不同的角色。因此，形状融合权重WE是与不同的脸部区域相关，并可对应不同的脸部表情而有不同的权重值。

于一实施例中，权重计算神经网络320亦为卷积神经网络，以对于三通道特征图TFP进行卷积。因此，这样的权重计算方式不仅考虑不同脸部区域的二维位置，也一并考虑脸部区域的深度信息，以辨别不同脸部表情的更多细节。

权重计算神经网络320的结构可包含对应三通道特征图TFP的各层的多个输入点、对应形状融合权重WE的数目的多个输出点，以及用以执行卷积的至少一个隐藏层。

需注意的是，形状融合权重WE的数目可依实际需求而有不同的数目。

于步骤205，根据形状融合权重WE建构三维脸部表情。

于一实施例中，三维脸部表情可由此建构并应用于虚拟化身上，例如一个使用者的图像化身。

需注意的是，于一实施例中，处理模块130可计算形状融合权重WE与多个预设权重间的误差值，以评估形状融合权重WE的准确度。其中，预设权重可为例如，但不限于使用者所决定的实际数据(ground truth value)。处理模块130可仅在误差值小于一预设值时判定形状融合权重WE与预设权重接近，并建构三维脸部表情。

于一实施例中，上述的误差值为形状融合权重WE与预设权重间的均方误差(mean-square error)。

综上所述，本发明的脸部表情建构装置1及脸部表情建构方法200不仅根据二维影像IM1及IM2中脸部的二维位置信息，亦根据脸部的深度信息来产生形状融合权重WE。脸部表情的建构将具有更高的精确度。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种脸部表情建构方法，应用于一脸部表情建构装置中，其特征在于，包括：

接收由二影像获取模块获取包含一脸部表情的两个二维影像；

根据该两个二维影像进行一深度学习运算，以产生一视差图；

串接该两个二维影像以及该视差图为一三通道特征图；

通过一权重计算神经网络对该三通道特征图进行计算，以产生多个形状融合权重；以及

根据该等形状融合权重建构一三维脸部表情。

2.如权利要求1所述的脸部表情建构方法，其特征在于，该权重计算神经网络为一卷积神经网络，配置以对该三通道特征图进行卷积，以产生该等形状融合权重。

3.如权利要求1所述的脸部表情建构方法，其特征在于，该脸部表情建构方法还包含：

根据该二维影像由一深度计算神经网络进行该深度学习运算，以产生该视差图，其中该深度计算神经网络为一卷积神经网络。

4.如权利要求1所述的脸部表情建构方法，其特征在于，该脸部表情建构方法还包含：

计算该等形状融合权重与多个预设权重间的一误差值，以评估该等形状融合权重的一准确度。

5.如权利要求4所述的脸部表情建构方法，其特征在于，该误差值为该等形状融合权重与该等预设权重间的一均方误差。

6.如权利要求1所述的脸部表情建构方法，其特征在于，该二影像获取模块分别为一红外光影像获取模块，该脸部表情建构方法还包含：

使一红外光发射模块照射一脸部，以由该二影像获取模块获取该两个二维影像。

7.一种脸部表情建构装置，其特征在于，包括：

一存储模块，配置以存储多个电脑可执行指令；以及

一处理模块，电性耦接于该存储模块，并配置以获取并执行该等电脑可执行指令，以执行一脸部表情建构方法，该脸部表情建构方法包括：

接收由二影像获取模块获取包含一脸部表情的两个二维影像；

根据该两个二维影像进行一深度学习运算，以产生一视差图；

串接该两个二维影像以及该视差图为一三通道特征图；

通过一权重计算神经网络对该三通道特征图进行计算，以产生多个形状融合权重；以及

根据该等形状融合权重建构一三维脸部表情。

8.如权利要求7所述的脸部表情建构装置，其特征在于，该权重计算神经网络为一卷积神经网络，配置以对该三通道特征图进行卷积，以产生该等形状融合权重。

9.如权利要求7所述的脸部表情建构装置，其特征在于，该脸部表情建构方法还包含：

根据该二维影像由一深度计算神经网络进行该深度学习运算，以产生该视差图，其中该深度计算神经网络为一卷积神经网络。

10.一种非暂态电脑可读取记录媒体，其特征在于，配置以存储一应用程序以通过一脸部表情建构装置执行一脸部表情建构方法，该脸部表情建构方法包括：

接收由二影像获取模块获取包含一脸部表情的两个二维影像；

根据该两个二维影像进行一深度学习运算，以产生一视差图；

串接该两个二维影像以及该视差图为一三通道特征图；

通过一权重计算神经网络对该三通道特征图进行计算，以产生多个形状融合权重；以及

根据该等形状融合权重建构一三维脸部表情。