CN110876024A - 确定虚拟形象唇部动作的方法和装置 - Google Patents

确定虚拟形象唇部动作的方法和装置 Download PDF

Info

Publication number
CN110876024A
CN110876024A CN201811015361.8A CN201811015361A CN110876024A CN 110876024 A CN110876024 A CN 110876024A CN 201811015361 A CN201811015361 A CN 201811015361A CN 110876024 A CN110876024 A CN 110876024A
Authority
CN
China
Prior art keywords
lip
sequence
audio
sample
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811015361.8A
Other languages
English (en)
Other versions
CN110876024B (zh
Inventor
袁瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811015361.8A priority Critical patent/CN110876024B/zh
Publication of CN110876024A publication Critical patent/CN110876024A/zh
Application granted granted Critical
Publication of CN110876024B publication Critical patent/CN110876024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了确定虚拟形象唇部动作的方法和装置。该确定虚拟形象唇部动作的方法包括：获取目标音频；将目标音频截断为目标音频片段序列；将目标音频片段序列中的各段目标音频片段分别输入唇部动作系数模型，得到时序对应的唇部动作系数序列；基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。该方法从音频直接生成与虚拟形象唇部动作相对应的唇部动作系数，再基于唇部动作系数生虚拟形象的唇部动作，可以满足与用户交互中的实时性。同时，因为唇部动作系数是系数不是图像，并不局限于特定的虚拟形象，可以满足不同应用场景的需求。

Description

确定虚拟形象唇部动作的方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及计算机网络技术领域，尤其涉及确定虚拟形象唇部动作的方法和装置。
背景技术
当前行业内的虚拟形象大多通过动画师的人工调整或者复杂的面部动作捕捉设备来实现虚拟形象的嘴部动作与音频的对应关系。
然而，通过人工绘制或者动作捕捉设备人为调整虚拟形象的嘴部动作使其与音频相对应，需要较多的人工精细调整，无法做到与用户的实时交互。
发明内容
本申请实施例提供了确定虚拟形象唇部动作的方法和装置。
第一方面，本申请实施例提供了一种确定虚拟形象唇部动作的方法，包括：获取发音人的音频样本以及音频样本所对应的视频样本；将音频样本截断为音频样本片段序列；基于视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数；将音频样本片段与唇部动作系数相对应，得到训练样本；采用训练样本训练卷积神经网络的初始模型，得到训练完成的唇部动作系数模型。
在一些实施例中，将音频样本截断为音频样本片段序列包括：基于视频样本每秒播放的帧数，确定音频样本片段序列中的各段音频样本片段的时长。
在一些实施例中，基于视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数包括：提取视频样本的唇部关键点；计算各个唇部动作基与对应的唇部动作系数的加权和；基于加权和的以下约束确定唇部动作系数：加权和在屏幕上的投影与唇部关键点的误差最小，且加权和中的各唇部动作系数大于等于0小于等于1。
在一些实施例中，提取视频样本的唇部关键点包括以下任意一项：采用神经网络模型提取视频样本的唇部关键点；采用主观形状模型(ASM)提取视频样本的唇部关键点；采用主动外观模型(AAM)提取视频样本的唇部关键点；采用有约束的局部模型(CLM)提取视频样本的唇部关键点；采用监督下降模型(SDM)提取视频样本的唇部关键点。
第二方面，本申请实施例提供了一种确定虚拟形象唇部动作的方法，包括：获取目标音频；将目标音频截断为目标音频片段序列；将目标音频片段序列中的各段目标音频片段分别输入如上述任意一个实施例所述的唇部动作系数模型，得到时序对应的唇部动作系数序列；基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。
在一些实施例中，基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作包括：对唇部动作系数序列中相邻的唇部动作系数进行滤波处理，得到滤波后的唇部动作系数序列；将滤波后的唇部动作系数序列输出至前端，驱动目标虚拟人物做出与滤波后的唇部动作系数序列相对应的唇部动作。
在一些实施例中，将目标音频截断为音频序列包括以下至少一项：基于训练唇部动作系数模型的视频样本每秒播放的帧数，确定目标音频片段序列中的各段目标音频片段的时长；以及若将目标音频截断为目标音频片段序列时末段音频的时长不足，将末段音频的不足部分补零。
第三方面，本申请实施例提供了一种确定唇部动作系数模型的装置，包括：样本获取单元，被配置成获取发音人的音频样本以及音频样本所对应的视频样本；样本截断单元，被配置成将音频样本截断为音频样本片段序列；系数确定单元，被配置成基于视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数；样本确定单元，被配置成将音频样本片段与唇部动作系数相对应，得到训练样本；模型训练单元，被配置成采用训练样本训练卷积神经网络的初始模型，得到训练完成的唇部动作系数模型。
在一些实施例中，样本截断单元进一步被配置成：基于视频样本每秒播放的帧数，确定音频样本片段序列中的各段音频样本片段的时长。
在一些实施例中，系数确定单元进一步被配置成：提取视频样本的唇部关键点；计算各个唇部动作基与对应的唇部动作系数的加权和；基于加权和的以下约束确定唇部动作系数：加权和在屏幕上的投影与唇部关键点的误差最小，且加权和中的各唇部动作系数大于等于0小于等于1。
在一些实施例中，系数确定单元中提取视频样本的唇部关键点包括以下任意一项：采用神经网络模型提取视频样本的唇部关键点；采用主观形状模型(ASM)提取视频样本的唇部关键点；采用主动外观模型(AAM)提取视频样本的唇部关键点；采用有约束的局部模型(CLM)提取视频样本的唇部关键点；采用监督下降模型(SDM)提取视频样本的唇部关键点。
第四方面，本申请实施例提供了一种确定虚拟形象唇部动作的装置，包括：音频获取单元，被配置成获取目标音频；音频截断单元，被配置成将目标音频截断为目标音频片段序列；序列生成单元，被配置成将目标音频片段序列中的各段目标音频片段分别输入如权利要求8-11任意一项的唇部动作系数模型，得到时序对应的唇部动作系数序列；动作驱动单元，被配置成基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。
在一些实施例中，动作驱动单元进一步被配置成：对唇部动作系数序列中相邻的唇部动作系数进行滤波处理，得到滤波后的唇部动作系数序列；将滤波后的唇部动作系数序列输出至前端，驱动目标虚拟人物做出与滤波后的唇部动作系数序列相对应的唇部动作。
在一些实施例中，音频截断单元进一步被配置成以下至少一项：基于训练唇部动作系数模型的视频样本每秒播放的帧数，确定目标音频片段序列中的各段目标音频片段的时长；以及若将目标音频截断为目标音频片段序列时末段音频的时长不足，将末段音频的不足部分补零。
第五方面，本申请实施例提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任一实施例所述的方法。
第六方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述的方法。
本申请实施例提供的确定虚拟形象唇部动作的方法和装置，首先，获取目标音频；之后，将目标音频截断为目标音频片段序列；之后，将目标音频片段序列中的各段目标音频片段分别输入如上述的唇部动作系数模型，得到时序对应的唇部动作系数序列；最后基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。在这一过程中，从音频直接生成与虚拟形象唇部动作相对应的唇部动作系数，再基于唇部动作系数生虚拟形象的唇部动作，可以满足与用户交互中的实时性。同时，因为唇部动作系数是系数不是图像，并不局限于特定的虚拟形象，可以满足不同应用场景的需求。
附图说明
通过阅读参照以下附图所作的对非限制性实施例详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请实施例的确定唇部动作系数模型的方法的一个实施例的流程示意图；
图3是根据本申请实施例的确定虚拟形象唇部动作的方法的一个实施例的流程示意图；
图4是根据本申请实施例的确定虚拟形象唇部动作的方法的一个应用场景示意图；
图5是根据本申请实施例的确定虚拟形象唇部动作的方法的又一个实施例的流程示意图；
图6是本申请的确定唇部动作系数模型的装置的一个实施例的结构示意图；
图7是本申请的确定虚拟形象唇部动作的装置的一个实施例的结构示意图；
图8是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端设备101、102、103通过网络104与服务器105、106交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频采集类应用、视频播放类应用、即时通信工具、邮箱客户端、社交平台软件、搜索引擎类应用、购物类应用等。
终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105、106可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对终端提交的数据进行分析、存储或计算等处理，并将分析、存储或计算结果推送给终端设备。
需要说明的是，在实践中，本申请实施例所提供的确定虚拟形象唇部动作的方法一般由服务器105、106执行，相应地，确定虚拟形象唇部动作的装置一般设置于服务器105、106中。然而，当终端设备的性能可以满足该方法的执行条件或该设备的设置条件时，本申请实施例所提供的确定虚拟形象唇部动作的方法也可以由终端设备101、102、103执行，确定虚拟形象唇部动作的装置也可以设置于终端设备101、102、103中。
应该理解，图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络和服务器。
继续参考图2，示出了根据本申请的确定唇部动作系数模型的方法的一个实施例的流程200。该确定唇部动作系数模型的方法，包括以下步骤：
步骤201，获取发音人的音频样本以及音频样本所对应的视频样本。
在本实施例中，上述确定唇部动作系数模型的方法运行于其上的电子设备(例如图1所示的服务器或终端)可以从视频库、音频库或其它终端获取发言人或配音人的视频和音频。
步骤202，将音频样本截断为音频样本片段序列。
在本实施例中，在将音频样本截断为音频样本片段序列时，可以根据所要呈现的虚拟形象的每秒播放帧数确定音频样本片段的时长。
在本实施例的一些可选实现方式中，可以基于视频样本每秒播放的帧数，确定音频样本片段序列中的各段音频样本片段的时长。这样所要呈现的虚拟形象的每秒播放帧数等于视频样本的每秒播放帧数。
在一个具体的示例中，考虑到视频样本的帧率通常是每秒25帧，因此，可以以40ms的长度对输入的音频进行截断。
步骤203，基于视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数。
在本实施例中，虚拟形象的每一个唇部动作，通常可以分解为多个相互正交的唇部动作基的线性加权结果。那么，可以根据该唇部动作，确定唇部动作基的唇部动作系数。由于唇部动作基之间是相互正交的，可以最大程度上保证解的唯一性。这里的唇部动作基，为多个预先建立的具有唇部基础动作的模型。例如，具有向左撇嘴动作的模型、具有向右撇嘴动作的模型和具有嘟嘴动作的模型等。
对于每一维唇部动作系数，其表示了当前音频所对应的唇部动作在这一维系数所对应的动作基上的幅度。确定唇部动作基及其对应的唇部动作系数的方法，可以为现有技术中或未来发展的技术中用于确定各个唇部动作基的权重系数的方法，本申请对此不作限定。例如，可以采用组合预测中对权重系数的估计方法来确定各个基础表情网格的权重系数。
在本实施例的一个具体实现方式中，基于视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数包括：提取视频样本的唇部关键点；计算各个唇部动作基与对应的唇部动作系数的加权和；基于加权和的以下约束确定唇部动作系数：加权和在屏幕上的投影与唇部关键点的误差最小，且加权和中的各唇部动作系数大于等于0小于等于1。
在本实现方式中，通过关键点提取和最小二乘法，可以计算发言人或配音人在特定发音下的唇部动作基的系数。这里的关键提取方法，可以为现有技术或未来发展的技术中的关键点提取方法，本申请对此不作限定。
例如，提取视频样本的唇部关键点可以包括以下任意一项：采用神经网络模型提取视频样本的唇部关键点；采用主观形状模型(ASM)提取视频样本的唇部关键点；采用主动外观模型(AAM)提取视频样本的唇部关键点；采用有约束的局部模型(CLM)提取视频样本的唇部关键点；以及采用监督下降模型(SDM)提取视频样本的唇部关键点。
步骤204，将音频样本片段与唇部动作系数相对应，得到训练样本。
在本实施例中，通过将音频样本片段作为训练样本的输入数据，将唇部动作系数作为训练样本的输出数据，可以得到用于训练神经网络的训练样本。
步骤205，采用训练样本训练卷积神经网络的初始模型，得到训练完成的唇部动作系数模型。
在本实施例中，将音频样本片段作为模型的输入数据，输入模型的卷积层提取特征，之后再经模型的全连接层输出唇部动作系数，可以训练卷积神经网络的初始模型，从而得到训练完成的唇部动作系数模型。
本申请上述实施例的确定唇部动作系数模型的方法，通过首先获取发音人的音频样本以及音频样本所对应的视频样本；之后将音频样本截断为音频样本片段序列；之后基于视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基模型的唇部动作系数；之后将音频样本片段与唇部动作系数相对应，得到训练样本；最后采用训练样本训练卷积神经网络的初始模型，得到训练完成的唇部动作系数模型，可以确定唇部动作系数模型，从而快速准确的预测输入的音频所对应的唇部动作系数，进而加速虚拟形象的唇部动作的生成，提高了与用户交互中的实时性，并且由于系数不局限于特定的虚拟形象，因此可以适应不同的虚拟形象的输出。
继续参考图3，示出了根据本申请的确定虚拟形象唇部动作的方法的一个实施例的流程300。该确定虚拟形象唇部动作的方法，包括以下步骤：
步骤301，获取目标音频。
在本实施例中，上述确定虚拟形象唇部动作的方法运行于其上的电子设备(例如图1所示的服务器或终端)可以从视频库、音频库或其它终端获取需要生成虚拟形象的发言人或配音人的视频和音频。
步骤302，将目标音频截断为目标音频片段序列。
在本实施例中，在将目标音频截断为目标音频片段序列时，可以根据预先确定的所要呈现的虚拟形象的每秒播放帧数确定目标音频片段的时长。例如，如果所要呈现的虚拟形象的每秒播放帧数确定为每秒25帧，那么目标音频片段的时长可以为40ms。
步骤303，将目标音频片段序列中的各段目标音频片段分别输入唇部动作系数模型，得到时序对应的唇部动作系数序列。
在本实施例中，将一段目标音频片段输入如上述实施例中的唇部动作系数模型后，可以得到模型预测的对应该段目标音频片段的各唇部动作基的唇部动作系数(多维数据)，进而得到目标音频所对应的唇部动作系数序列。
步骤304，基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。
在本实施例中，在得到唇部动作系数序列之后，可以以该唇部动作系数序列为基准，确定目标虚拟人物唇部动作的网格，进而对网格进行渲染得到对应目标音频的唇部动作。
本申请上述实施例的确定虚拟形象唇部动作的方法，首先获取目标音频；之后将目标音频截断为目标音频序列；之后将目标音频序列中的各段目标音频分别输入如述实施例中的唇部动作系数模型，得到时序对应的唇部动作系数序列；最后基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频序列中的各段目标音频分别对应的唇部动作。这一过程中，可以从音频直接生成与虚拟形象唇部动作相对应的系数，满足与用户交互中的实时性。同时，因为是基于系数生成唇部动作而不是基于图像生成唇部动作，并不局限于特定的虚拟形象，可以满足不同应用场景的需求。
以下结合图4，描述本申请的确定虚拟形象唇部动作的方法的示例性应用场景。
如图4所示，图4示出了根据本申请的确定虚拟形象唇部动作的方法的一个应用场景的示意性流程图。
如图4所示，确定虚拟形象唇部动作的方法400运行于电子设备410中，可以包括：
首先，获取目标音频401；
将目标音频401截断为目标音频片段序列402；
将目标音频片段序列402中的各段目标音频片段分别输入如上述实施例所述的唇部动作系数模型403，得到时序对应的唇部动作系数序列404；
基于唇部动作系数序列404，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作405。
应当理解，上述图4中所示出的确定虚拟形象唇部动作的方法的应用场景，仅为对于确定虚拟形象唇部动作的方法的示例性描述，并不代表对该方法的限定。例如，上述图4中示出的各个步骤，可以进一步采用更为细节的实现方法。
请参考图5，其示出了根据本申请的确定虚拟形象唇部动作的方法的又一个实施例的流程图。
如图5所示，本实施例的确定虚拟形象唇部动作的方法的流程500，可以包括以下步骤：
在步骤501中，获取目标音频。
在本实施例中，上述确定虚拟形象唇部动作的方法运行于其上的电子设备(例如图1所示的服务器或终端)可以从视频库或其它终端获取发言人或配音人的视频。
在步骤502中，基于训练唇部动作系数模型的视频样本每秒播放的帧数，确定目标音频片段序列中的各段目标音频片段的时长，将目标音频截断为目标音频片段序列。
在本实施例中，可以根据视频样本每秒播放的帧数，确定目标音频片段的时长。例如，如果视频样本的每秒播放帧数为每秒25帧，那么目标音频片段的时长可以为40ms。
在一些情况下，若将目标音频截断为目标音频片段序列时末段音频的时长不足，可以将末段音频的不足部分补零。
在步骤503中，将目标音频序列中的各段目标音频分别输入唇部动作系数模型，得到时序对应的唇部动作系数序列。
在本实施例中，将一段目标音频片段输入如上述实施例中的唇部动作系数模型后，可以得到模型预测的对应该段目标音频片段的各唇部动作基的唇部动作系数(多维数据)，进而得到目标音频所对应的唇部动作系数序列。
在步骤504中，对唇部动作系数序列中相邻的唇部动作系数进行滤波处理，得到滤波后的唇部动作系数序列。
在本实施例中，通过对相邻的唇部动作系数进行滤波处理，可以得到滤波后的唇部动作系数序列，使得后续虚拟形象嘴部的动作更加的流畅自然。这里的滤波，可采用中值滤波、均值滤波、卡尔曼滤波等等滤波方法。
在步骤505中，将滤波后的唇部动作系数序列输出至前端，驱动目标虚拟人物做出与滤波后的唇部动作系数序列相对应的唇部动作。
在本实施例中，在得到滤波后的唇部动作系数序列之后，可以以该滤波后的唇部动作系数序列为基准，确定目标虚拟人物唇部动作的网格，进而对网格进行渲染得到对应目标音频的唇部动作。这里的前端，可以为PC应用端，手机App端，网页端等。
本申请上述实施例的确定虚拟形象唇部动作的方法，与图3对应的实施例中的确定虚拟形象唇部动作的方法相比，通过视频样本每秒播放的帧数确定各段目标音频片段的时长，可以确保生成的唇部动作与目标音频的语音同步，并且对唇部动作系数序列中相邻的唇部动作系数进行滤波处理，提高输出的唇部动作更加流畅自然。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种确定唇部动作系数模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的确定唇部动作系数模型的装置600可以包括：样本获取单元610，被配置成获取发音人的音频样本以及音频样本所对应的视频样本；样本截断单元620，被配置成将音频样本截断为音频样本片段序列；系数确定单元630，被配置成基于视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数；样本确定单元640，被配置成将音频样本片段与唇部动作系数相对应，得到训练样本；模型训练单元650，被配置成采用训练样本训练卷积神经网络的初始模型，得到训练完成的唇部动作系数模型。
在一些实施例中，样本截断单元620进一步被配置成：基于视频样本每秒播放的帧数，确定音频样本片段序列中的各段音频样本片段的时长。
在一些实施例中，系数确定单元630进一步被配置成：提取视频样本的唇部关键点；计算各个唇部动作基与对应的唇部动作系数的加权和；基于加权和的以下约束确定唇部动作系数：加权和在屏幕上的投影与唇部关键点的误差最小，且加权和中的各唇部动作系数大于等于0小于等于1。
在一些实施例中，系数确定单元630中提取视频样本的唇部关键点包括以下任意一项：采用神经网络模型提取视频样本的唇部关键点；采用主观形状模型(ASM)提取视频样本的唇部关键点；采用主动外观模型(AAM)提取视频样本的唇部关键点；采用有约束的局部模型(CLM)提取视频样本的唇部关键点；采用监督下降模型(SDM)提取视频样本的唇部关键点。
应当理解，装置600中记载的诸单元可以与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种确定虚拟形象唇部动作的装置的一个实施例，该装置实施例与图3-图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的确定虚拟形象唇部动作的装置700可以包括：音频获取单元710，被配置成获取目标音频；音频截断单元720，被配置成将目标音频截断为目标音频片段序列；序列生成单元730，被配置成将目标音频片段序列中的各段目标音频片段分别输入如上述任意一个实施例的唇部动作系数模型，得到时序对应的唇部动作系数序列；动作驱动单元740，被配置成基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。
在一些实施例中，动作驱动单元740进一步被配置成：对唇部动作系数序列中相邻的唇部动作系数进行滤波处理，得到滤波后的唇部动作系数序列；将滤波后的唇部动作系数序列输出至前端，驱动目标虚拟人物做出与滤波后的唇部动作系数序列相对应的唇部动作。
在一些实施例中，音频截断单元750进一步被配置成以下至少一项：基于训练唇部动作系数模型的视频样本每秒播放的帧数，确定目标音频片段序列中的各段目标音频片段的时长；以及若将目标音频截断为目标音频片段序列时末段音频的时长不足，将末段音频的不足部分补零。
应当理解，装置700中记载的诸单元可以与参考图3-图5描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置700及其中包含的单元，在此不再赘述。
下面参考图8，其示出了适于用来实现本申请实施例的服务器的计算机系统800的结构示意图。图8示出的终端设备或服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括视音频获取单元、音频截断单元、序列生成单元和动作驱动单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，音频获取单元还可以被描述为“获取目标音频的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取目标音频；将目标音频截断为目标音频片段序列；将目标音频片段序列中的各段目标音频片段分别输入唇部动作系数模型，得到时序对应的唇部动作系数序列；基于唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种确定唇部动作系数模型的方法，包括：
获取发音人的音频样本以及所述音频样本所对应的视频样本；
将所述音频样本截断为音频样本片段序列；
基于所述视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数；
将所述音频样本片段与所述唇部动作系数相对应，得到训练样本；
采用所述训练样本训练卷积神经网络的初始模型，得到训练完成的唇部动作系数模型。
2.根据权利要求1所述的方法，其中，所述将音频样本截断为音频样本片段序列包括：
基于所述视频样本每秒播放的帧数，确定所述音频样本片段序列中的各段音频样本片段的时长。
3.根据权利要求1所述的方法，其中，基于所述视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数包括：
提取所述视频样本的唇部关键点；
计算各个唇部动作基与对应的唇部动作系数的加权和；
基于所述加权和的以下约束确定所述唇部动作系数：所述加权和在屏幕上的投影与所述唇部关键点的误差最小，且所述加权和中的各唇部动作系数大于等于0小于等于1。
4.根据权利要求3所述的方法，其中，所述提取所述视频样本的唇部关键点包括以下任意一项：
采用神经网络模型提取所述视频样本的唇部关键点；
采用主观形状模型提取所述视频样本的唇部关键点；
采用主动外观模型提取所述视频样本的唇部关键点；
采用有约束的局部模型提取所述视频样本的唇部关键点；
采用监督下降模型提取所述视频样本的唇部关键点。
5.一种确定虚拟形象唇部动作的方法，包括：
获取目标音频；
将所述目标音频截断为目标音频片段序列；
将所述目标音频片段序列中的各段目标音频片段分别输入如权利要求1-4任意一项所述的唇部动作系数模型，得到时序对应的唇部动作系数序列；
基于所述唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。
6.根据权利要求5所述的方法，其中，所述基于所述唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作包括：
对所述唇部动作系数序列中相邻的唇部动作系数进行滤波处理，得到滤波后的唇部动作系数序列；
将所述滤波后的唇部动作系数序列输出至前端，驱动目标虚拟人物做出与滤波后的唇部动作系数序列相对应的唇部动作。
7.根据权利要求5所述的方法，其中，所述将所述目标音频截断为音频序列包括以下至少一项：
基于训练所述唇部动作系数模型的视频样本每秒播放的帧数，确定所述目标音频片段序列中的各段目标音频片段的时长；以及
若将所述目标音频截断为目标音频片段序列时末段音频的时长不足，将末段音频的不足部分补零。
8.一种确定唇部动作系数模型的装置，包括：
样本获取单元，被配置成获取发音人的音频样本以及所述音频样本所对应的视频样本；
样本截断单元，被配置成将所述音频样本截断为音频样本片段序列；
系数确定单元，被配置成基于所述视频样本，确定每一个音频样本片段对应的唇部动作所需的各个唇部动作基的唇部动作系数；
样本确定单元，被配置成将所述音频样本片段与所述唇部动作系数相对应，得到训练样本；
模型训练单元，被配置成采用所述训练样本训练卷积神经网络的初始模型，得到训练完成的唇部动作系数模型。
9.根据权利要求8所述的装置，其中，所述样本截断单元进一步被配置成：
基于所述视频样本每秒播放的帧数，确定所述音频样本片段序列中的各段音频样本片段的时长。
10.根据权利要求8所述的装置，其中，所述系数确定单元进一步被配置成：
提取所述视频样本的唇部关键点；
计算各个唇部动作基与对应的唇部动作系数的加权和；
基于所述加权和的以下约束确定所述唇部动作系数：所述加权和在屏幕上的投影与所述唇部关键点的误差最小，且所述加权和中的各唇部动作系数大于等于0小于等于1。
11.根据权利要求10所述的装置，其中，所述系数确定单元中所述提取所述视频样本的唇部关键点包括以下任意一项：
采用神经网络模型提取所述视频样本的唇部关键点；
采用主观形状模型提取所述视频样本的唇部关键点；
采用主动外观模型提取所述视频样本的唇部关键点；
采用有约束的局部模型提取所述视频样本的唇部关键点；
采用监督下降模型提取所述视频样本的唇部关键点。
12.一种确定虚拟形象唇部动作的装置，包括：
音频获取单元，被配置成获取目标音频；
音频截断单元，被配置成将所述目标音频截断为目标音频片段序列；
序列生成单元，被配置成将所述目标音频片段序列中的各段目标音频片段分别输入如权利要求8-11任意一项所述的唇部动作系数模型，得到时序对应的唇部动作系数序列；
动作驱动单元，被配置成基于所述唇部动作系数序列，驱动目标虚拟人物做出与目标音频片段序列中的各段目标音频片段分别对应的唇部动作。
13.根据权利要求12所述的装置，其中，所述动作驱动单元进一步被配置成：
对所述唇部动作系数序列中相邻的唇部动作系数进行滤波处理，得到滤波后的唇部动作系数序列；
将所述滤波后的唇部动作系数序列输出至前端，驱动目标虚拟人物做出与滤波后的唇部动作系数序列相对应的唇部动作。
14.根据权利要求12所述的装置，其中，所述音频截断单元进一步被配置成以下至少一项：
基于训练所述唇部动作系数模型的视频样本每秒播放的帧数，确定所述目标音频片段序列中的各段目标音频片段的时长；以及
若将所述目标音频截断为目标音频片段序列时末段音频的时长不足，将末段音频的不足部分补零。
15.一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201811015361.8A 2018-08-31 2018-08-31 确定虚拟形象唇部动作的方法和装置 Active CN110876024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811015361.8A CN110876024B (zh) 2018-08-31 2018-08-31 确定虚拟形象唇部动作的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811015361.8A CN110876024B (zh) 2018-08-31 2018-08-31 确定虚拟形象唇部动作的方法和装置

Publications (2)

Publication Number Publication Date
CN110876024A true CN110876024A (zh) 2020-03-10
CN110876024B CN110876024B (zh) 2021-02-12

Family

ID=69715944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811015361.8A Active CN110876024B (zh) 2018-08-31 2018-08-31 确定虚拟形象唇部动作的方法和装置

Country Status (1)

Country Link
CN (1) CN110876024B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102448A (zh) * 2020-09-14 2020-12-18 北京百度网讯科技有限公司 虚拟对象图像显示方法、装置、电子设备和存储介质
CN113096223A (zh) * 2021-04-25 2021-07-09 北京大米科技有限公司 图像生成方法、存储介质和电子设备
CN113223123A (zh) * 2021-05-21 2021-08-06 北京大米科技有限公司 图像处理方法和图像处理装置
WO2021196645A1 (zh) * 2020-03-31 2021-10-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
WO2021196644A1 (zh) * 2020-03-31 2021-10-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN114049678A (zh) * 2022-01-11 2022-02-15 之江实验室 一种基于深度学习的面部动作捕捉方法及系统
CN114401431A (zh) * 2022-01-19 2022-04-26 中国平安人寿保险股份有限公司 一种虚拟人讲解视频生成方法及相关装置
CN114911381A (zh) * 2022-04-15 2022-08-16 青岛海尔科技有限公司 交互的反馈方法和装置、存储介质及电子装置
CN115174978A (zh) * 2022-06-08 2022-10-11 聚好看科技股份有限公司 一种3d数字人的音画同步方法及电子设备
CN115409920A (zh) * 2022-08-30 2022-11-29 重庆爱车天下科技有限公司 一种虚拟对象唇形驱动系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090142029A1 (en) * 2007-12-03 2009-06-04 Institute For Information Industry Motion transition method and system for dynamic images
CN108388876A (zh) * 2018-03-13 2018-08-10 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090142029A1 (en) * 2007-12-03 2009-06-04 Institute For Information Industry Motion transition method and system for dynamic images
CN108388876A (zh) * 2018-03-13 2018-08-10 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱明会: "真实感三维人脸唇形动画系统的语音驱动", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196645A1 (zh) * 2020-03-31 2021-10-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
WO2021196644A1 (zh) * 2020-03-31 2021-10-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN112102448B (zh) * 2020-09-14 2023-08-04 北京百度网讯科技有限公司 虚拟对象图像显示方法、装置、电子设备和存储介质
CN112102448A (zh) * 2020-09-14 2020-12-18 北京百度网讯科技有限公司 虚拟对象图像显示方法、装置、电子设备和存储介质
CN113096223A (zh) * 2021-04-25 2021-07-09 北京大米科技有限公司 图像生成方法、存储介质和电子设备
CN113223123A (zh) * 2021-05-21 2021-08-06 北京大米科技有限公司 图像处理方法和图像处理装置
CN114049678A (zh) * 2022-01-11 2022-02-15 之江实验室 一种基于深度学习的面部动作捕捉方法及系统
CN114401431A (zh) * 2022-01-19 2022-04-26 中国平安人寿保险股份有限公司 一种虚拟人讲解视频生成方法及相关装置
CN114401431B (zh) * 2022-01-19 2024-04-09 中国平安人寿保险股份有限公司 一种虚拟人讲解视频生成方法及相关装置
CN114911381A (zh) * 2022-04-15 2022-08-16 青岛海尔科技有限公司 交互的反馈方法和装置、存储介质及电子装置
CN115174978A (zh) * 2022-06-08 2022-10-11 聚好看科技股份有限公司 一种3d数字人的音画同步方法及电子设备
CN115174978B (zh) * 2022-06-08 2023-11-24 聚好看科技股份有限公司 一种3d数字人的音画同步方法及电子设备
CN115409920A (zh) * 2022-08-30 2022-11-29 重庆爱车天下科技有限公司 一种虚拟对象唇形驱动系统

Also Published As

Publication number Publication date
CN110876024B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN110876024B (zh) 确定虚拟形象唇部动作的方法和装置
CN109286825B (zh) 用于处理视频的方法和装置
CN107578017B (zh) 用于生成图像的方法和装置
CN108830235B (zh) 用于生成信息的方法和装置
CN107633218B (zh) 用于生成图像的方法和装置
CN111476871B (zh) 用于生成视频的方法和装置
CN107609506B (zh) 用于生成图像的方法和装置
US20200410731A1 (en) Method and apparatus for controlling mouth shape changes of three-dimensional virtual portrait
CN109271929B (zh) 检测方法和装置
CN113177450A (zh) 行为识别方法、装置、电子设备和存储介质
CN111970536B (zh) 一种基于音频生成视频的方法和装置
CN113395538B (zh) 音效渲染方法、装置、计算机可读介质和电子设备
CN113033677A (zh) 视频分类方法、装置、电子设备和存储介质
CN110248195B (zh) 用于输出信息的方法和装置
CN110874869B (zh) 生成虚拟动画表情的方法和装置
CN106530377B (zh) 用于操作三维动画角色的方法和装置
CN112182281B (zh) 一种音频推荐方法、装置及存储介质
CN115801980A (zh) 视频生成方法和装置
CN110008926B (zh) 用于识别年龄的方法和装置
US11023664B2 (en) Persisting annotations applied to an electronic hosted whiteboard
CN110415318B (zh) 图像处理方法和装置
CN112634413A (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
CN109949213B (zh) 用于生成图像的方法和装置
CN111260756B (zh) 用于发送信息的方法和装置
CN109816670B (zh) 用于生成图像分割模型的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant