CN117523046A - 口型动画生成方法、装置、电子设备以及存储介质 - Google Patents

口型动画生成方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN117523046A
CN117523046A CN202210907739.5A CN202210907739A CN117523046A CN 117523046 A CN117523046 A CN 117523046A CN 202210907739 A CN202210907739 A CN 202210907739A CN 117523046 A CN117523046 A CN 117523046A
Authority
CN
China
Prior art keywords
emotion
mouth shape
voice
parameters
parameter set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210907739.5A
Other languages
English (en)
Inventor
陈雅静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210907739.5A priority Critical patent/CN117523046A/zh
Publication of CN117523046A publication Critical patent/CN117523046A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种本申请实施例提供了一种口型动画生成方法、装置、电子设备以及存储介质，该方法涉及口型动画生成领域，其通过口型生成模型获取与语音识别模型输出的至少一个语音特征对应的至少一个口型参数集合，以及得到与至少一个情绪标签对应的至少一个情绪参数集合，然后基于至少一个口型参数集合和至少一个情绪参数集合，生成含表情的口型动画，不仅实现了全自动的生成带表情的口型动画，降低了口型动画的制作成本；而且，还可以适用于制作多语种的口型动画以及具有大量对白的动画。

Description

口型动画生成方法、装置、电子设备以及存储介质
技术领域
本申请实施例涉及视频领域中的口型动画生成领域，并且更具体地，涉及口型动画生成方法、装置、电子设备以及存储介质。
背景技术
截止目前，支持含表情的口型合成方案主要是基于模板匹配的口型动画生成方案。具体地，针对文本通过人工的方式标注出情绪标签以及对应的强度，进而基于情绪标签以及对应的强度获取文本的表情绑定参数，从而基于文本的表情绑定参数得到文本对应的情绪模板；此外，利用基于音素的口型合成方案，基于文本的音素得到口型模板；然后，将口型模板和表情模板效果叠加，得到最后的含表情的口型模板。
例如，可以使用可扩展标示语言(Extensive Markup Language，XML)作为规范情绪标签的方式，并在通过手动标注的方式获取标注文件后，利用口型动画制作设备对标注文件进行解析(parsing)，以获得文本对应的表情绑定参数。
但是，上述方案至少存在以下两个问题：
1、针对文本通过人工的方式标注情绪标签以及对应的强度时，需要有经验的动画师参与制作，而且需要提供对应的文本给动画师帮忙评判具体的情绪标签和对应的强度，其整个过程耗时而且对人力要求较高，尤其涉及多语种的场景时，需要有相关语言能力的动画师，导致口型动画的制作成本过大且不适合制作具有大量对白的动画。
2、需要通过人工的方式设置情绪标签对应的面部绑定参数，提升了口型动画的制作成本。
发明内容
本申请实施例提供了一种口型动画生成方法、装置、电子设备以及存储介质，能够降低口型动画的制作成本并提升口型动画的动画效果。
第一方面，本申请实施例提供了一种口型动画生成方法，包括：
获取待识别语音；
利用语音识别模型对该待识别语音的特征进行识别，得到该待识别语音的至少一个语音特征；
利用口型生成模型对该至少一个语音特征进行预测处理，得到与该至少一个语音特征对应的至少一个口型参数集合；其中，该口型参数集合包括与多个表情基对应的多个口型参数，该多个口型参数用于驱动该多个表情基控制目标对象的口型；
利用情绪识别模型对该待识别语音所表达的情绪进行识别，得到该待识别语音的至少一个情绪标签；
基于该至少一个情绪标签，获取与该至少一个情绪标签对应的至少一个情绪参数集合；其中，该情绪参数集合包括与该多个表情基对应的多个情绪参数，该多个情绪参数用于驱动该多个表情基控制目标对象的表情；
基于该至少一个口型参数集合和该至少一个情绪参数集合，生成该目标对象含表情的口型动画。
第二方面，本申请实施例提供了一种电子设备，用于执行上述第一方面或其各实现方式中的方法。具体地，该电子设备包括用于执行上述第一方面或其各实现方式中的方法的功能模块。
在一种实现方式中，该电子设备可包括处理单元，该处理单元用于执行与信息处理相关的功能。例如，该处理单元可以为处理器。
在一种实现方式中，该电子设备可包括发送单元和/或接收单元。该发送单元用于执行与发送相关的功能，该接收单元用于执行与接收相关的功能。例如，该发送单元可以为发射机或发射器，该接收单元可以为接收机或接收器。再如，该电子设备为通信芯片，该发送单元可以为该通信芯片的输入电路或者接口，该发送单元可以为该通信芯片的输出电路或者接口。
第三方面，本申请提供了一种电子设备，包括处理器和存储器。该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行上述第一方面或其各实现方式中的方法。
在一种实现方式中，该处理器为一个或多个，该存储器为一个或多个。
在一种实现方式中，该存储器可以与该处理器集成在一起，或者该存储器与处理器分离设置。
在一种实现方式中，该电子设备还包括发射机(发射器)和接收机(接收器)。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，用于存储计算机程序，该计算机程序使得计算机执行上述第一方面的方法。
第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如执行上述第一方面的方法。
第六方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面至第二方面中的任一方面或其各实现方式中的方法。
基于以上技术方案，通过口型生成模型对语音识别模型输出的至少一个语音特征的口型参数集合进行识别并得到至少一个口型参数集合，以及通过情绪识别模型识别得到的至少一个情绪标签得到至少一个情绪参数集合，然后基于至少一个口型参数集合和至少一个情绪参数集合，生成含表情的口型动画，不仅避免了通过人工的方式标注情绪标签以及对应的强度，也不需要有相关语言能力的标签标注员参与动画的制作，实现了全自动的生成带表情的口型动画，能够降低口型动画的制作成本；而且，由于语音识别模型和情绪识别模型都是基于待识别语音进行的识别，因此，可以本申请实施例提供的口型动画生成方法适用于制作多语种的口型动画以及具有大量对白的动画。
此外，通过引入用于生成口型动画的至少一个口型参数集合和至少一个情绪参数集合，并将每一口型参数集合设计为包括用于控制目标对象的口型的且与多个表情基对应的多个口型参数，将每一情绪参数集合设计为包括用于控制该目标对象的表情的且与该多个表情基对应的多个情绪参数，相当于，至少一个口型参数集合和至少一个情绪参数集合都是基于多个表情基定义的参数集合，降低了基于该至少一个口型参数集合和该至少一个情绪参数集合生成口型动画时的复杂度，进而降低了口型动画的制作成本。
另外，与基于模板匹配的口型动画生成方案相比，基于音素的口型合成方案得到口型模板时，有可能多个音素对应到相同的口型模板上，而通过口型生成模型输出至少一个口型参数集合时，在口型生成模型的输入的语音特征包括除音素之外的其他特征时，能够细化口型的口型类型，进而提升口型动画的动画效果。
附图说明
图1是本申请实施例提供的系统框架的示例。
图2为本申请实施例涉及的人脸基准点示意图。
图3是本申请实施例提供的利用基于语言的口型情绪识别系统输出的至少一个最终参数集合生成口型动画的示意性流程图。
图4是本申请实施例提供的口型动画生成方法的示意性流程图。
图5是本申请实施例提供的口型动画生成方法的另一示意性流程图。
图6是本申请实施例提供的口型动画生成装置的示意性框图。
图7是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的方案可涉及人工智能技术。
其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
应理解，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例可涉及人工智能技术中的计算机视觉(Computer Vision,CV)技术，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、预测和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例也可以涉及人工智能技术中的机器学习(Machine Learning,ML)，ML是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案还涉及网络媒体领域中的音视频处理技术。网络媒体与传统的音视频设备采用的工作方式不同，网络媒体依赖信息技术(IT)设备开发商们提供的技术和设备来传输、存储和处理音视频信号。传统的串型数字(SDI)传输方式缺乏真正意义上的网络交换特性。需要做大量的工作才可能利用SDI创建类似以太网和因特网协议(IP)所提供的部分网络功能。因此，视频行业中的网络媒体技术就应运而生。进一步的，网络媒体的视频处理技术可以包括音视频信号的传输、存储和处理过程及音视频。
此外，本申请实施例提供的方案还可涉及带表情的口型生成技术。
图1是本申请实施例提供的系统框架100的示例。
该系统框架100可以是一个应用程序系统，本申请实施例对该应用程序的具体类型不加以限定。该系统框架100包括：终端131、终端132和服务器集群110。终端131和终端132均可通过无线或有线网络120与服务器集群110相连。
终端131和终端132可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP4播放器、MP4播放器和膝上型便携计算机中的至少一种。终端131和终端132安装和运行有应用程序。该应用程序可以是在线视频程序、短视频程序、图片分享程序、声音社交程序、动漫程序、壁纸程序、新闻推送程序、供求信息推送程序、学术交流程序、技术交流程序、政策交流程序、包含评论机制的程序、包含观点发布机制的程序、知识分享程序中的任意一种。终端131和终端132可以分别是用户141、用户142使用的终端，终端131和终端132中运行的应用程序内登录有用户帐号。
服务器集群110包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。服务器集群110用于为应用程序(例如终端131和终端132上的应用程序)提供后台服务。可选地，服务器集群110承担主要计算工作，终端131和终端132承担次要计算工作；或者，服务器集群110承担次要计算工作，终端131和终端132承担主要计算工作；或者，终端131和终端132和服务器集群110之间采用分布式计算架构进行协同计算。
可选地，以系统框架100是网页浏览系统为例，该服务器集群110包括：接入服务器112、网页服务器111和数据服务器113。接入服务器112可以为一个或多个，接入服务器112可以就近部署在不同的城市中，接入服务器112用于接收终端131和终端132的服务请求，并将服务请求转发给相应的服务器进行处理。网页服务器111是用于向终端131和终端132提供网页的服务器，该网页中集成有埋点代码；数据服务器113是用于接收终端131和终端132上报的数据(例如业务数据等)。
为便于理解本申请提供的技术方案，下面对与本申请实施例的相关术语进行说明。
人脸基准点检测：一组预定义的人脸基准点(比如眼角点、嘴角点)。
图2为本申请实施例涉及的人脸基准点示意图。
如图2所示，可以围绕人脸的轮廓、眼角位置以及嘴角位置标注人脸基准点，以实现人脸或人脸表情的检测。例如，图2定义有67个基准点。当然，在其他可替代实施例中，基准点也可以设置为其他位置或其他数量的基准点，本申请对此不作具体限定。
应当理解，该基准点在2D图像中也可称为关键点，在3D图像中也可称为顶点。
约束：指给定一个函数的情况下寻找一个元素，该一个元素能够使得某一指标最小化或最大化。约束还可以称为数学规划(例如线性规划)。其中，该函数可被称为目标函数或者代价函数。一个最小化或者最大化某一指标的目标函数的可行解被称为最优解。结合本申请来说，本申请涉及的表情识别算法可以用于：在构建的多个约束下求解出最优解，并将求解出的最优解作为用于识别多个当前图像中的人脸表情且与M个表情基分别对应的M个表情基系数。
表情基(Blend shape，BS)：基本形状的其他形状，也称为变形目标。例如基本形状可以是默认形状，例如无表情的人脸。基本形状的其他形状用于混合/变形，是不同的表达(笑、皱眉、闭合眼皮)。其他形状也可称为混合形状或变形目标。
特征：指数据中抽取出来的对结果预测有用的信息，可以是文本或者数据。
特征工程：利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。
特征工程(Feature Engineering)：指将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。简言之，将对因变量y有明显影响作用的特征称自变量x，自变量x为特征，特征工程的目的是发现这些特征。由于好的特征具有更强的灵活性，可以用简单的模型做训练，更可以得到优秀的结果。“工欲善其事，必先利其器”，特征工程可以理解为“利其器”的过程。特征工程的目的是筛选出更好的特征，获取更好的训练数据。特征工程是一个看起来不值得被探讨的一个主题。但是，却对机器学习的成功与否起着至关重要的作用。机器学习算法很多都是由于建立一个学习器能够理解的工程化特征而获得成功的。特征工程可以指对原始数据先通过复杂的特征工程进行特征提取和分析，再将提取和分析的特征，采用传统的自回归积分滑动平均模型(Autoregressive Integrated Moving Average Model，ARIMA)或孤立森林算法进行训练，基于训练的模型进行预测。
当然，本申请实施例对原始数据的具体形式不作限定。作为示例，原始数据可以构建为表格数据，以得到特征矩阵，基于此，可使用主要成分分析(Principal ComponentAnalysis，PCA)来进行特征提取从而创建新的用于表征音频的特征。
特征工程可包括特征提取、特征构建、特征选择等模块。
特征提取：将原始数据转换为一组具有明显物理意义或者统计意义或核的特征。特征提取的对象是原始数据，即原始特征，其用于构建新的特征，即，将原始数据转换为一组具有明显物理意义或者统计意义的特征。
特征构建：是原始数据中人工的构建新的特征。特征构建指的是从原始数据中人工的构建新的特征。具体地，可通过真实的数据样本，以预测目标的角度确定新的特征的潜在形式和数据结构，以能够更好地应用到预测模型中。特征构建需要很强的洞察力和分析能力，要求能够从原始数据中找出一些具有物理意义的特征。假设原始数据是表格数据，可以使用混合属性或者组合属性来创建新的特征，或是分解或切分原有的特征来创建新的特征。
特征选择：从特征集合中挑选一组最具统计意义的特征子集，从而达到降维的效果。针对特征选择，可基于特征重要性进行排名，然后基于特征排名结果进行特征选择。假设存在一个标准的表格数据，表格数据的每一行(即类别项)表示的是一个观测样本数据，表格数据中的每一列(即特征项)就是一个特征，在这些特征中，有的特征携带的信息量丰富，有的特征携带的信息量很少，则携带的信息量很少的特征属于无关数据(irrelevantdata)，可以通过特征项和类别项之间的相关性(特征重要性)来衡量特征重要性，然后基于特征排名结果进行特征选择。
衍生特征：指用原始数据进行特征学习得到新的特征。衍生特征一般有两种原因引起的：数据自身的变化，使数据中出现很多原来没有的特征；进行特征学习时，算法根据特征之间的某种关系，产生了衍生特征，有时衍生特征更能反应数据特征之间的关系。衍生特征也要求机器学习和深度学习算法拥有更强的学习能力，即增量学习、在线学习、迁移学习。在计算机科学领域，衍生特征是指用原始数据进行特征学习得到新的特征。在机器学习中，产生衍生特征的原因有多种：数据具有时间属性，带有强烈时间特征；数据具有动态性、无序性、无限性、突发性。针对特征变换，数据特征分为连续特征和分类特征，分类特征又称为离散特征。不同的数据类型其处理方式有所不同。例如针对连续特征，归一化是处理连续数据特征常用方法，其目的能够通过梯度下降快速找到最优解。特征标准归一化主要可分为线性标准化和非线性标准化。
应当理解，本申请实施例对特征工程涉及的具体流程不作限定。作为示例，特征工程涉及的流程包括但不限于：分箱(Binning)、独热编码(One-Hot Encoding)、特征哈希(Hashing Trick)、嵌套法(Embedding)、取对数(Log Transformation)、特征缩放(Scaling)、标准化(Normalization)或特征交互(Feature Interaction)。当然，也可以包括其他流程，本申请实施例对此不作限定。
此外，本申请实施例涉及的预测模型或分类模型不作具体限定。
作为示例，该预测模型或分类模型包括但不限于：传统学习模型、集成学习模型或深度学习模型。可选的，传统学习模型包括但不限于：树模型(回归树)或逻辑回归(logistic regression，LR)模型；集成学习模型包括但不限于：梯度提升算法的改进模型(XGBoost)或随机森林模型；深度学习模型包括但不限于：长短期记忆网络(Long Short-Term Memory，LSTM)或神经网络。
图3是本申请实施例提供的利用基于语言的口型情绪识别系统输出的至少一个最终参数集合生成口型动画的示意性流程图。
如图3所示，基于语音的口型情绪识别系统基于输入的待识别语音输出至少一个最终参数集合，该至少一个最终参数集合中的每一最终参数集合包括用于控制目标对象的口型和情绪的且与多个表情基对应的多个参数。例如，该每一个最终参数集合可以是52个表情基的参数或系数。然后，口型动画生成程序基于口型情绪识别系统输出的至少一个最终参数集合，输出口型动画。也即是说，用户只需要输入待识别语音，经过基于语音的口型情绪识别系统即可得到对应的用于生成至少一个最终参数集合，而该至少一个最终参数集合可以用于生成的含情绪的口型模型，再经由口型动画生成程序的渲染得到最后的口型动画。
图4示出了根据本申请实施例的口型动画生成方法200的示意性流程图，口型动画生成方法200可以由任何具有数据处理能力的电子设备执行。例如，该电子设备可实施为服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
如图4所示，该口型动画生成方法200可包括以下部分或全部内容：
S210，获取待识别语音；
S220，利用语音识别模型对该待识别语音的特征进行识别，得到该待识别语音的至少一个语音特征；
S230，利用口型生成模型对该至少一个语音特征进行预测处理，得到与该至少一个语音特征对应的至少一个口型参数集合；其中，该口型参数集合包括与多个表情基对应的多个口型参数，该多个口型参数用于驱动该多个表情基控制目标对象的口型；
S240，利用情绪识别模型对该待识别语音所表达的情绪进行识别，得到该待识别语音的至少一个情绪标签；
S250，基于该至少一个情绪标签，获取与该至少一个情绪标签对应的至少一个情绪参数集合；其中，该情绪参数集合包括与该多个表情基对应的多个情绪参数，该多个情绪参数用于驱动该多个表情基控制目标对象的表情；
S260，基于该至少一个口型参数集合和该至少一个情绪参数集合，生成该目标对象含表情的口型动画。
示例性地，该待识别语音可以是以任意格式的音频。例如，该待识别语音可以是音频文件格式(wav)文件。
示例性地，该多个表情基可以是52个表情基。
示例性地，该每一个口型参数集合可以是52个表情基的参数或系数(例如52维度的向量)，该52个表情基可通过该52个表情基的参数或系数进行图像融合，以得到能够控制目标对象的口型的图像。例如，可通过该52个表情基的参数或系数，对该52个表情基中的基准点的坐标位置进行融合，以得到能够控制目标对象的口型的图像。其中，该基准点在2D图像中也可称为关键点，在3D图像中也可称为顶点。换言之，本申请实施例中涉及的口型参数集合可以包括用于对多个表情基进行图像融合的权重集合，由此，可以通过语音特征控制目标对象的口型。
类似的，该每一个情绪参数集合可以是52个表情基的参数或系数(例如52维度的向量)，该52个表情基可以通过52个表情基的参数或系数进行图像融合，以得到能够控制目标对象的表情的图像。例如，可通过该52个表情基的参数或系数，对该52个表情基中的基准点的坐标位置进行融合，以得到能够控制目标对象的表情的图像。其中，该基准点在2D图像中也可称为关键点，在3D图像中也可称为顶点。换言之，本申请实施例中涉及的情绪参数集合可以包括用于对多个表情基进行图像融合的权重集合，由此，可以通过情绪标签控制目标对象的标签。
示例性地，该52个表情基也可称为增强现实52混合变形(ARKit 52blendshape)、52维的arkit参数或其他具有类似含义或定义的术语。当然，在其他可替代实施例中，该多个表情基也可以是其他数量的表情基，例如大于52的数量。
示例性地，在获取该至少一个口型参数集合和该至少一个情绪参数集合后，可以基于该至少一个口型参数集合获取至少一个3D口型模型，并基于该至少一个情绪参数集合获取至少一个3D情绪模型，然后，将该至少一个3D情绪模型中的每一个3D情绪模型叠加到该至少一个3D口型模型中对应的3D口型模型，得到带表情的至少一个3D口型模型；基于此，可以通过对带表情的至少一个3D口型模型进行渲染，得到该目标对象含表情的口型动画。
示例性地，语音识别模型的输入为待识别语音，通过语音识别模型得到音频特征，该音频特征可以包括梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficient，MFCC)和深度语音(deep speech)特征，例如，该音频特征可以为512维的向量。该音频特征输入至口型生成模型后可以得到并输出至少一个口型参数集合，该至少一个口型参数集合中的每一个口型参数集合可以用于还原3D人脸的口型动作。可选的，口型生成模型可以采用类似残差神经网络(Residual Neural Network)的网络结构或其他类似结构，其输入可为梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficient，MFCC)和深度语音(deep speech)特征，其输出是至少一个口型参数集合。
示例性地，情绪识别模型也可以称为表情分类器(Expression classifier)。
示例性地，该至少一个情绪标签包括但不限于以下7类的情绪标签中的一项或多项：愤怒(angry)，快乐(happy)，悲伤(sad)，惊讶(surprised)，中立(neutral)，恐惧(fearful)以及厌恶(disgusted)。
示例性地，该至少一个情绪标签可以相同，也可以部分相同，还可以互不相同。
示例性地，该情绪识别模型可以通过具有情绪识别功能的模型实现，例如，该情绪识别模型可实现为为音频情绪识别(speech-emotion-recognition，SER)，其输入为待识别音频，其输出是待识别音频对应的一个或多个情绪标签。
基于以上技术方案，通过口型生成模型对语音识别模型输出的至少一个语音特征的口型参数集合进行识别并得到至少一个口型参数集合，以及通过情绪识别模型识别得到的至少一个情绪标签得到至少一个情绪参数集合，然后基于至少一个口型参数集合和至少一个情绪参数集合，生成含表情的口型动画，不仅避免了通过人工的方式标注情绪标签以及对应的强度，也不需要有相关语言能力的标签标注员参与动画的制作，实现了全自动的生成带表情的口型动画，能够降低口型动画的制作成本；而且，由于语音识别模型和情绪识别模型都是基于待识别语音进行的识别，因此，可以本申请实施例提供的口型动画生成方法适用于制作多语种的口型动画以及具有大量对白的动画。
此外，通过引入用于生成口型动画的至少一个口型参数集合和至少一个情绪参数集合，并将每一口型参数集合设计为包括用于控制目标对象的口型的且与多个表情基对应的多个口型参数，将每一情绪参数集合设计为包括用于控制该目标对象的表情的且与该多个表情基对应的多个情绪参数，相当于，至少一个口型参数集合和至少一个情绪参数集合都是基于多个表情基定义的参数集合，降低了基于该至少一个口型参数集合和该至少一个情绪参数集合生成口型动画时的复杂度，进而降低了口型动画的制作成本。
另外，与基于模板匹配的口型动画生成方案相比，基于音素的口型合成方案得到口型模板时，有可能多个音素对应到相同的口型模板上，而通过口型生成模型输出至少一个口型参数集合时，在口型生成模型的输入的语音特征包括除音素之外的其他特征时，能够细化口型的口型类型，进而提升口型动画的动画效果。例如，该目标对象为人物时，利用本申请实施例提供的口型动画生成方法制备的口型动画，其输出较为稳定和自然，更加贴近真人说话时的口型。
应当理解，本申请实施例中术语“对应”可表示两者之间具有一一对应关系、多对一的对应关系或一对多的对应关系，本申请实施例对此不作具体限定。
例如，该至少一个语音特征可以与至少一个口型参数集合可以一一对应，也可以多对一，还可以一对多。
再如，该多个表情基与该多个口型参数可以一一对应，此时，可以基于每一个表情基对应的口型参数对该多个表情基进行图像融合。
再如，该多个表情基与该多个口型参数可以多对一，作为一种实现方式，该多个表情基对应一个口型参数时，该一个口型参数可以是该多个表情基的数量的倒数，即在对该多个表情基进行图像融合时，可以对该多个表情基进行加权平均；作为另一种实现方式，也可以基于每一个表情基对应的口型参数对该多个表情基进行图像融合。
再如，该多个表情基与该多个口型参数可以一对多，即一个表情基对应多个口型参数，此时，可以针对每一个表情基对应的多个口型参数选择一个最终的口型参数，并基于每一个表情基对应的最终的口型参数对该多个表情基进行图像融合。
类型的，上文涉及的至少一个情绪标签和至少一个情绪参数集合可以是一一对应关系，也可以是多对一的对应关系。上文涉及的多个表情基和多个情绪参数之间可以是一一对应关系，也可以是一对多的对应关系，还可以是多对一的对应关系，本申请实施例对此不作具体限定。
图5是本申请实施例提供的口型动画生成方法的示意性流程图。
如图5所示，可以利用语音识别模型对该待识别语音的特征进行识别，得到该待识别语音的至少一个语音特征，并将获取的至少一个音频特征输入到口型生成模型，并利用口型生成模型对该至少一个语音特征的口型参数集合进行识别，得到与该至少一个语音特征对应的至少一个口型参数集合，并输出该至少一个口型参数集合至叠加模块。
此外，还需要利用情绪识别模型对该待识别语音所表达的情绪进行识别，得到该待识别语音的至少一个情绪标签，然后在参数池中找到对应至少一个情绪标签的至少一个情绪参数集合，并输出该至少一个情绪参数集合至叠加模块。
然后，将参数池输出的该至少一个情绪参数集合和口型生成模型输出的输出该至少一个口型参数集合进行叠加，获得至少一个最终参数(Final para)集合。基于此，可以将至少一个最终参数集合输入到动画生成程序得到最终的带表情的口型动画。
应当理解，图5仅为本申请的示例，不应理解为对本申请的限制。例如，在其他可替代实施例中，参数池也可替换为具有基于情绪标签确定情绪参数集合的模型或网络。
在一些实施例中，该S220可包括：
对该待识别语音进行分帧处理，得到至少一个语音帧；利用该语音识别模型对该至少一个语音帧中的每一个语音帧的特征进行识别，得到与该至少一个语音帧对应的该至少一个语音特征。
示例性地，该至少一个语音帧可以为基于采用顺序在至少一个采样点上的语音帧。相应的，该至少一个语音特征也可以为针对至少一个采样点的语音特征。
示例性地，可以基于视频帧的采样率或帧率对该待识别语音进行分帧处理，得到至少一个语音帧。值得注意的是，视频帧的采样率(或帧率)与语音帧的采样率(或帧率)并不相同，本申请实施例基于视频帧的采样率或帧率对该待识别语音进行分帧处理，得到至少一个语音帧，可以使得最终得到的至少一个口型参数集合与口型动画的应用场景相吻合，提升口型动画的制作效率。
在一些实施例中，该S240可包括：
将该待识别语音划分为至少一个语音片段；利用该情绪识别模型对该至少一个语音片段中的每一个语音片段所表达的情绪进行识别，得到该至少一个语音片段对应的该至少一个情绪标签。
示例性地，由于待识别语音的长度太长或者太短都会影响情绪标签的准确性，因此，本申请实施例将该待识别语音划分为至少一个语音片段，并预测每一个语音片段所表达的情绪，即每一个语音片段对应的情绪标签；基于此，利用该至少一个情绪标签确定该至少一个情绪参数集合时，能够提升该至少一个情绪参数集合的准确性，相应的，能够提升口型动画的情绪展示效果。
在一些实施例中，利用该待识别语音的静音区域，将该待识别语音划分为该至少一个语音片段。
示例性地，该静音区域可以为该待识别语音中发生停顿的时段，也可以该待识别语音中换气的区域，本申请实施例对此不作具体限定。
在一些实施例中，该S230之前，该方法200还可包括：
训练该口型生成模型。
示例性地，可以先获取训练视频；然后基于该训练视频获取训练音频、基准点的标记位置和标记的口型参数集合；利用语音识别模型对该训练音频的特征进行识别，得到第一语音特征；利用该口型生成模型对该第一语音特征进行预测处理，得到第一口型参数集合；基于该第一口型参数集合确定该基准点的第一位置；基于该标记的口型参数集合和该训练音频的口型参数集合，计算该训练音频的参数损失，并基于该标记位置和该第一位置确定该训练音频的基准点损失；基于该参数损失和该基准点损失的加权平均值，训练该口型生成模型。
示例性地，基于该训练视频获取基准点的标记位置和标记的口型参数集合时，可以以该训练视频为输入，利用表情识别网络得到标记的口型参数集合；然后基于标记的口型参数集合获取该基准点的标记位置。例如，可以利用该标记的口型参数集合对多个表情基的基准点的位置进行融合，进而得到该基准点的标记位置。
示例性地，该基准点在2D图像中也可称为关键点，在3D图像中也可称为顶点。
示例性地，用于训练口型生成模型的训练数据可以包括：利用语音识别模型对该训练音频的特征进行识别得到的第一语音特征、基准点的标记位置和标记的口型参数集合。获得训练数据之后，利用输入的训练数据进行模型训练，获得训练后的口型生成模型。
示例性地，训练口型生成模型时，该参数损失作为该口型生成模型的一个约束，其目的是限制口型生成模型输出的口型参数集合和标记的口型参数集合尽量一致。作为一种示例，该参数损失可通过如下公式计算得到：
其中，为预测的口型参数集合，/>是标记的口型参数集合。
示例性地，训练口型生成模型时，该基准点损失作为该口型生成模型的另一个约束，其目的是限制预测的3D脸部网格(face mesh)顶点(即基准点)的位置和标记的3D脸部网格(face mesh)顶点(即基准点)的位置尽量一致，用于补充参数损失无法限制的部分。作为一种示例，该基准点损失可通过如下公式计算得到：
其中，是预测的3D脸部网格(face mesh)顶点(即基准点)的位置，/>是标记的3D脸部网格(face mesh)顶点(即基准点)的位置。
由此，该参数损失和该基准点损失的加权平均值可通过以下公式计算得到：
L＝wpara×Lpara+wver×Lver；
其中，wpara为Lpara的权重,wver为Lver的权重。
在一些实施例中，该S230之前，该方法200还可包括：
训练该情绪识别模型。
示例性地，本申请实施例提供引入的语音识别模型，通过对输入的音频进行特征提取，然后对语音识别模型输出的音频特征进行预测并输出情绪标签。
示例性地，训练情绪识别模型时，其使用的训练数据可以包括不同人物的音频、不同语言的音频以及能够表达不同情绪的音频。例如，用于训练情绪识别模型的数据可包含42个人的音频(例如3700段音频)以及标记的每一段音频对应的情绪标签。例如，该训练数据可包括3种不同的语音(中德英)的音频以及用于表达7种不同情绪的音频。例如，用于训练情绪识别模型的训练数据可包括多语种中的每一种语种在不同场景的音频数据。本申请对此不作具体限定。
示例性地，训练情绪识别模型时，可以使用交叉熵(cross entropy)函数作为损失函数。例如，交叉熵损失＝-(y log(p)+(1-y)log(1-p))，其中，y表示样本的真实标签(1或-1)，p表示模型预测为正样本的概率。
在一些实施例中，通过调整该训练的口型参数集合和该训练的基准点位置集合的方式，重新计算该参数损失和该基准点损失，直至该加权平均值的计算次数满足设定的次数阈值或该加权平均值小于或等于设定的损失阈值，得到训练后的该口型生成模型。
在一些实施例中，该S250可括：
获取参数池；其中，该参数池包括多个情绪标签和多个情绪参数集合之间的对应关系，该多个情绪标签包括该至少一个情绪标签；基于该参数池，将该至少一个情绪标签在该参数池中对应的情绪参数集合，确定为该至少一个情绪参数集合。
在一些实施例中，获取情绪互不相同的多张图像；基于该多张图像中的每一张图像的情绪生成该每一张图像的情绪标签；以该每一张图像为输入，利用表情识别网络得到该每一张图像的情绪参数集合；基于该每一张图像的情绪标签和该每一张图像的情绪参数集合，生成该参数池。
示例性地，假设该参数池中包括的情绪标签有：愤怒(angry)，快乐(happy)，悲伤(sad)，惊讶(surprised)，中立(neutral)，恐惧(fearful)以及厌恶(disgusted)；此时，可以通过采集或在网络中选择针对每一个情绪标签的一张图像，例如人脸照片，然后，以采集或选择的图像为输入得到其对应的52个表情基的情绪参数集合，并将其作为标准的表情模板参数；由此，可得到情绪标签和情绪参数集合之间的对应关系，即构建出参数池。本申请实施例通过采集或选择带有情绪的图像构建参数池，避免了模型师和动画师针对每一个情绪标签构建情绪参数集合的任务，能够降低构建参数池的构建成本。
当然，在其他可替代实施例中，在获取情绪互不相同的多张图像后，也可以基于该每一张图像中基准点的位置和该多个表情基中的每一个表情基中该基准点的位置，确定该每一张图像的情绪参数集合，本申请对此不作具体限定。
在一些实施例中，该S260可包括：
针对该至少一个口型参数集合中的每一个口型参数集合，基于该至少一个情绪参数集合，确定在时间上与该每一口型参数集合匹配的情绪参数集合；对该每一个口型参数集合和在时间上与该每一口型参数集合匹配的情绪参数集合进行求和运算，得到多个最终参数集合；基于该至少一个最终参数集合生成该口型动画。
在一些实施例中，基于该每一个情绪参数集合所在的时段的开始位置向后选择用于情绪过渡的过渡区域，并基于该每一个情绪参数集合所在的时段的结束位置向前选择该过渡区域；基于与该过渡区域相邻的情绪参数集合，确定该过渡区域内的至少一个过渡参数集合；在该至少一个情绪参数集合和该至少一个过渡参数集合中，确定在时间上与该每一个口型参数集合匹配的情绪参数集合。
示例性地，该过渡区域的时长为预设值，例如500毫秒或其他时长。
示例性地，假设该过渡区域的时长为500毫秒，则针对相邻的两个音频片段设置过渡区域时，该过渡区域包括第一个音频片段的后250毫秒和第二个音频片段的前250毫秒，此时，可以在第一个音频片段对应的情绪参数集合和第二个音频片段对应的情绪参数集合的线性函数上进行采样，以得到过渡区域中的至少一个过渡参数集合。例如，可以按照视频帧的采样率或视频帧的帧率，在第一个音频片段对应的情绪参数集合和第二个音频片段对应的情绪参数集合的线性函数上进行采样，以得到过渡区域中的至少一个过渡参数集合。
本申请实施例中，基于与该过渡区域相邻的情绪参数集合，确定该过渡区域内的至少一个过渡参数集合，并在该至少一个情绪参数集合和该至少一个过渡参数集合中，确定在时间上与该每一个口型参数集合匹配的情绪参数集合；相当于，针对每一个音频片段的开始位置和结束位置的情绪进行了平滑处理，能够提升口型动画的情绪展示效果。
在一些实施例中，周期性的或采用随机的方式，确定用于控制该目标对象眨眼的时刻；基于该用于控制该目标对象眨眼的时刻向前以及向后选择用于控制该目标对象眨眼的眨眼区域；通过调整该至少一个最终参数集合中位于该眨眼区域内的最终参数集合中的用于控制该目标对象进行线性眨眼的参数，得到调整后的最终参数集合；基于该至少一个最终参数集合中未调整的最终参数集合和该调整后的最终参数集合，生成该口型动画。
示例性地，方法是按照每3-5秒眨眼一次的频率，
示例性地，用于控制该目标对象进行线性眨眼的参数包括用于控制该目标对象的左侧眼睛进行线性眨眼的参数和用于控制该目标对象的右侧眼睛进行线性眨眼的参数。
示例性地，该眨眼区域的时长为预设值，例如300毫秒或其他时长。
示例性地，假设该眨眼区域的时长为300毫秒，则通过调整该至少一个最终参数集合中位于该眨眼区域内的最终参数集合包括5个最终参数集合时，可以将该5个最终参数集合中用于控制该目标对象进行线性眨眼的参数依次设为0、0.5、1、0.5、0；其中，用于控制该目标对象进行线性眨眼的参数的取值用于表征眼睛的闭合程度，用于控制该目标对象进行线性眨眼的参数越大，则眼睛的闭合度越大。
示例性地，假设该眨眼区域的时长为300毫秒，则通过调整该至少一个最终参数集合中位于该眨眼区域内的最终参数集合包括3个最终参数集合时，可以将该3个最终参数集合中用于控制该目标对象进行线性眨眼的参数依次设为：第1个最终参数集合的前一个最终参数集合中用于控制该目标对象进行线性眨眼的参数的取值和1的平均值、1、第2个最终参数集合的后一个最终参数集合中用于控制该目标对象进行线性眨眼的参数的取值和1的平均值；其中，用于控制该目标对象进行线性眨眼的参数的取值用于表征眼睛的闭合程度，用于控制该目标对象进行线性眨眼的参数越大，则眼睛的闭合度越大。
当然，在其他可替代实施例中，该至少一个最终参数集合中位于该眨眼区域内的最终参数集合也可以是其他数量个最终参数集合，或用于控制该目标对象进行线性眨眼的参数调整为其他数值，本申请实施例对此不作具体限定。
本申请实施例中，通过调整该至少一个最终参数集合中位于该眨眼区域内的最终参数集合中的用于控制该目标对象进行线性眨眼的参数，得到调整后的最终参数集合，并基于该至少一个最终参数集合中未调整的最终参数集合和该调整后的最终参数集合生成该口型动画时，能够使得该口型动画的表情更加生动。
应当理解，本申请实施例对基于图像获取多个表情基的参数集合的实现方式不作具体限定。例如，可以采用面捕(例如arkit面捕)方式基于图像获取多个表情基的参数集合，也可以采用动态xyz(dynamic xyz)等方案基于图像获取多个表情基的参数集合。另外，本申请对各种模型的实现方式也不作具体限定，例如，情绪识别模型也可以采用的SER模型之外的任何能够进行情绪识别的模型。
以上结合附图详细描述了本申请的优选实施方式，但是，本申请并不限于上述实施方式中的具体细节，在本申请的技术构思范围内，可以对本申请的技术方案进行多种简单变型，这些简单变型均属于本申请的保护范围。例如，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本申请对各种可能的组合方式不再另行说明。又例如，本申请的各种不同的实施方式之间也可以进行任意组合，只要其不违背本申请的思想，其同样应当视为本申请所公开的内容。
还应理解，在本申请的各种方法实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上文对本申请实施例提供的方法进行了说明，下面对本申请实施例提供的装置进行说明。
图6是本申请实施例提供的口型动画生成装置300的示意性框图。
如图6所示，该口型动画生成装置300可包括：
第一获取单元310，用于获取待识别语音；
语音识别模型320，用于对该待识别语音的特征进行识别，得到该待识别语音的至少一个语音特征；
口型生成模型330，用于利用口型生成模型对该至少一个语音特征进行预测处理，得到与该至少一个语音特征对应的至少一个口型参数集合；其中，该口型参数集合包括与多个表情基对应的多个口型参数，该多个口型参数用于驱动该多个表情基控制目标对象的口型；
情绪识别模型340，用于对该待识别语音所表达的情绪进行识别，得到该待识别语音的至少一个情绪标签；
第二获取单元350，用于基于该至少一个情绪标签，获取与该至少一个情绪标签对应的至少一个情绪参数集合；其中，该情绪参数集合包括与该多个表情基对应的多个情绪参数，该多个情绪参数用于驱动该多个表情基控制目标对象的表情；
生成单元360，用于基于该至少一个口型参数集合和该至少一个情绪参数集合，生成该目标对象含表情的口型动画。
在一些实施例中，该语音识别模型320具体用于：
对该待识别语音进行分帧处理，得到至少一个语音帧；
对该至少一个语音帧中的每一个语音帧的特征进行识别，得到与该至少一个语音帧对应的该至少一个语音特征。
在一些实施例中，该情绪识别模型340具体用于：
将该待识别语音划分为至少一个语音片段；
对该至少一个语音片段中的每一个语音片段所表达的情绪进行识别，得到该至少一个语音片段对应的该至少一个情绪标签。
在一些实施例中，该情绪识别模型340具体用于：
利用该待识别语音的静音区域，将该待识别语音划分为该至少一个语音片段。
在一些实施例中，利用该口型生成模型330得到与该至少一个语音特征对应的至少一个口型参数集合之前，该语音识别模型320还用于：
获取训练视频；
基于该训练视频获取训练音频、基准点的标记位置和标记的口型参数集合；
对该训练音频的特征进行识别，得到第一语音特征；
该口型生成模型330还用于：
利用该口型生成模型对第一语音特征进行预测处理，得到第一口型参数集合；
基于该第一口型参数集合确定该基准点的第一位置；
基于该标记的口型参数集合和该训练音频的口型参数集合，计算该训练音频的参数损失，并基于该标记位置和该第一位置确定该训练音频的基准点损失；
基于该参数损失和该基准点损失的加权平均值，训练该口型生成模型330。
在一些实施例中，该口型生成模型330具体用于：
通过调整该训练的口型参数集合和该训练的基准点位置集合的方式，重新计算该参数损失和该基准点损失，直至该加权平均值的计算次数满足设定的次数阈值或该加权平均值小于或等于设定的损失阈值，得到训练后的该口型生成模型330。
在一些实施例中，该第二获取单元350具体用于：
获取参数池；
其中，该参数池包括多个情绪标签和多个情绪参数集合之间的对应关系，该多个情绪标签包括该至少一个情绪标签；
基于该参数池，将该至少一个情绪标签在该参数池中对应的情绪参数集合，确定为该至少一个情绪参数集合。
在一些实施例中，该第二获取单元350具体用于：
获取情绪互不相同的多张图像；
基于该多张图像中的每一张图像的情绪生成该每一张图像的情绪标签；
以该每一张图像为输入，利用表情识别网络得到该每一张图像的情绪参数集合；
基于该每一张图像的情绪标签和该每一张图像的情绪参数集合，生成该参数池。
在一些实施例中，该生成单元360具体用于：
针对该至少一个口型参数集合中的每一个口型参数集合，基于该至少一个情绪参数集合，确定在时间上与该每一口型参数集合匹配的情绪参数集合；
对该每一个口型参数集合和在时间上与该每一口型参数集合匹配的情绪参数集合进行求和运算，得到多个最终参数集合；
基于该至少一个最终参数集合生成该口型动画。
在一些实施例中，该生成单元360具体用于：
基于该每一个情绪参数集合所在的时段的开始位置向后选择用于情绪过渡的过渡区域，并基于该每一个情绪参数集合所在的时段的结束位置向前选择该过渡区域；
基于与该过渡区域相邻的情绪参数集合，确定该过渡区域内的至少一个过渡参数集合；
在该至少一个情绪参数集合和该至少一个过渡参数集合中，确定在时间上与该每一个口型参数集合匹配的情绪参数集合。
在一些实施例中，该生成单元360具体用于：
周期性的或采用随机的方式，确定用于控制该目标对象眨眼的时刻；
基于该用于控制该目标对象眨眼的时刻向前以及向后选择用于控制该目标对象眨眼的眨眼区域；
通过调整该至少一个最终参数集合中位于该眨眼区域内的最终参数集合中的用于控制该目标对象进行线性眨眼的参数，得到调整后的最终参数集合；
基于该至少一个最终参数集合中未调整的最终参数集合和该调整后的最终参数集合，生成该口型动画。
应理解，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，口型动画生成装置300可以对应于执行本申请实施例的方法200中的相应主体，并且口型动画生成装置300中的各个单元分别为了实现方法200中的相应流程，为了简洁，在此不再赘述。
还应当理解，本申请实施例涉及的口型动画生成装置300中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，该口型动画生成装置300也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。根据本申请的另一个实施例，可以通过在包括例如中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的通用计算机的通用计算设备上运行能够执行相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造本申请实施例涉及的口型动画生成装置300，以及来实现本申请实施例的口型动画生成方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于电子设备中，并在其中运行，来实现本申请实施例的相应方法。
换言之，上文涉及的单元可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过软硬件结合的形式实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件组合执行完成。可选地，软件可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图7是本申请实施例提供的电子设备400的示意结构图。
如图7所示，该电子设备400至少包括处理器410以及计算机可读存储介质420。其中，处理器410以及计算机可读存储介质420可通过总线或者其它方式连接。计算机可读存储介质420用于存储计算机程序421，计算机程序421包括计算机指令，处理器410用于执行计算机可读存储介质420存储的计算机指令。处理器410是电子设备400的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
作为示例，处理器410也可称为中央处理器(Central Processing Unit，CPU)。处理器410可以包括但不限于：通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
作为示例，计算机可读存储介质420可以是高速RAM存储器，也可以是非不稳定的存储器(Non-VolatileMemory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器410的计算机可读存储介质。具体而言，计算机可读存储介质420包括但不限于：易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
如图7所示，该电子设备400还可以包括收发器430。
其中，处理器410可以控制该收发器430与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器430可以包括发射机和接收机。收发器430还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备400中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
在一种实现方式中，该电子设备400可以是任一具有数据处理能力的电子设备；该计算机可读存储介质420中存储有第一计算机指令；由处理器410加载并执行计算机可读存储介质420中存放的第一计算机指令，以实现图1所示方法实施例中的相应步骤；具体实现中，计算机可读存储介质420中的第一计算机指令由处理器410加载并执行相应步骤，为避免重复，此处不再赘述。
根据本申请的另一方面，本申请实施例还提供了一种计算机可读存储介质(Memory)，计算机可读存储介质是电子设备400中的记忆设备，用于存放程序和数据。例如，计算机可读存储介质420。可以理解的是，此处的计算机可读存储介质420既可以包括电子设备400中的内置存储介质，当然也可以包括电子设备400所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了电子设备400的操作系统。并且，在该存储空间中还存放了适于被处理器410加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或多个的计算机程序421(包括程序代码)。
根据本申请的另一方面，本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。例如，计算机程序421。此时，数据处理设备400可以是计算机，处理器410从计算机可读存储介质420读取该计算机指令，处理器410执行该计算机指令，使得该计算机执行上述各种可选方式中提供的口型动画生成方法。
换言之，当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地运行本申请实施例的流程或实现本申请实施例的功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质进行传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元以及流程步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
最后需要说明的是，以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种口型动画生成方法，其特征在于，包括：
获取待识别语音；
利用语音识别模型对所述待识别语音的特征进行识别，得到所述待识别语音的至少一个语音特征；
利用口型生成模型对所述至少一个语音特征进行预测处理，得到与所述至少一个语音特征对应的至少一个口型参数集合；其中，所述口型参数集合包括与多个表情基对应的多个口型参数，所述多个口型参数用于驱动所述多个表情基控制目标对象的口型；
利用情绪识别模型对所述待识别语音所表达的情绪进行识别，得到所述待识别语音的至少一个情绪标签；
基于所述至少一个情绪标签，获取与所述至少一个情绪标签对应的至少一个情绪参数集合；其中，所述情绪参数集合包括与所述多个表情基对应的多个情绪参数，所述多个情绪参数用于驱动所述多个表情基控制目标对象的表情；
基于所述至少一个口型参数集合和所述至少一个情绪参数集合，生成所述目标对象含表情的口型动画。
2.根据权利要求1所述的方法，其特征在于，所述利用语音识别模型对所述待识别语音的特征进行识别，得到所述待识别语音的至少一个语音特征，包括：
对所述待识别语音进行分帧处理，得到至少一个语音帧；
利用所述语音识别模型对所述至少一个语音帧中的每一个语音帧的特征进行识别，得到与所述至少一个语音帧对应的所述至少一个语音特征。
3.根据权利要求1所述的方法，其特征在于，所述利用情绪识别模型对所述待识别语音所表达的情绪进行识别，得到所述待识别语音的至少一个情绪标签，包括：
将所述待识别语音划分为至少一个语音片段；
利用所述情绪识别模型对所述至少一个语音片段中的每一个语音片段所表达的情绪进行识别，得到所述至少一个语音片段对应的所述至少一个情绪标签。
4.根据权利要求3所述的方法，其特征在于，所述将所述待识别语音划分为至少一个语音片段，包括：
利用所述待识别语音的静音区域，将所述待识别语音划分为所述至少一个语音片段。
5.根据权利要求1所述的方法，其特征在于，所述利用口型生成模型对所述至少一个语音特征进行预测处理，得到与所述至少一个语音特征对应的至少一个口型参数集合之前，所述方法还包括：
获取训练视频；
基于所述训练视频获取训练音频、基准点的标记位置和标记的口型参数集合；
利用语音识别模型对所述训练音频的特征进行识别，得到第一语音特征；
利用所述口型生成模型对所述第一语音特征进行预测处理，得到第一口型参数集合；
基于所述第一口型参数集合确定所述基准点的第一位置；
基于所述标记的口型参数集合和所述训练音频的口型参数集合，计算所述训练音频的参数损失，并基于所述标记位置和所述第一位置确定所述训练音频的基准点损失；
基于所述参数损失和所述基准点损失的加权平均值，训练所述口型生成模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述参数损失和所述基准点损失的加权平均值，训练所述口型生成模型，包括：
通过调整所述训练的口型参数集合和所述训练的基准点位置集合的方式，重新计算所述参数损失和所述基准点损失，直至所述加权平均值的计算次数满足设定的次数阈值或所述加权平均值小于或等于设定的损失阈值，得到训练后的所述口型生成模型。
7.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个情绪标签，获取与所述至少一个情绪标签对应的至少一个情绪参数集合，包括：
获取参数池；
其中，所述参数池包括多个情绪标签和多个情绪参数集合之间的对应关系，所述多个情绪标签包括所述至少一个情绪标签；
基于所述参数池，将所述至少一个情绪标签在所述参数池中对应的情绪参数集合，确定为所述至少一个情绪参数集合。
8.根据权利要求7所述的方法，其特征在于，所述获取参数池，包括：
获取情绪互不相同的多张图像；
基于所述多张图像中的每一张图像的情绪生成所述每一张图像的情绪标签；
以所述每一张图像为输入，利用表情识别网络得到所述每一张图像的情绪参数集合；
基于所述每一张图像的情绪标签和所述每一张图像的情绪参数集合，生成所述参数池。
9.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个口型参数集合和所述至少一个情绪参数集合，生成所述目标对象含表情的口型动画，包括：
针对所述至少一个口型参数集合中的每一个口型参数集合，基于所述至少一个情绪参数集合，确定在时间上与所述每一口型参数集合匹配的情绪参数集合；
对所述每一个口型参数集合和在时间上与所述每一口型参数集合匹配的情绪参数集合进行求和运算，得到多个最终参数集合；
基于所述至少一个最终参数集合生成所述口型动画。
10.根据权利要求9所述的方法，其特征在于，所述基于所述至少一个情绪参数集合，确定在时间上与所述每一个口型参数集合匹配的情绪参数集合，包括：
基于所述每一个情绪参数集合所在的时段的开始位置向后选择用于情绪过渡的过渡区域，并基于所述每一个情绪参数集合所在的时段的结束位置向前选择所述过渡区域；
基于与所述过渡区域相邻的情绪参数集合，确定所述过渡区域内的至少一个过渡参数集合；
在所述至少一个情绪参数集合和所述至少一个过渡参数集合中，确定在时间上与所述每一个口型参数集合匹配的情绪参数集合。
11.根据权利要求9所述的方法，其特征在于，所述基于所述至少一个最终参数集合生成所述口型动画，包括：
周期性的或采用随机的方式，确定用于控制所述目标对象眨眼的时刻；
基于所述用于控制所述目标对象眨眼的时刻向前以及向后选择用于控制所述目标对象眨眼的眨眼区域；
通过调整所述至少一个最终参数集合中位于所述眨眼区域内的最终参数集合中的用于控制所述目标对象进行线性眨眼的参数，得到调整后的最终参数集合；
基于所述至少一个最终参数集合中未调整的最终参数集合和所述调整后的最终参数集合，生成所述口型动画。
12.一种口型动画生成装置，其特征在于，包括：
第一获取单元，用于获取待识别语音；
语音识别模型，利用语音识别模型对所述待识别语音的特征进行识别，得到所述待识别语音的至少一个语音特征；
口型生成模型，用于利用口型生成模型对所述至少一个语音特征进行预测处理，得到与所述至少一个语音特征对应的至少一个口型参数集合；其中，所述口型参数集合包括与多个表情基对应的多个口型参数，所述多个口型参数用于驱动所述多个表情基控制目标对象的口型；
情绪识别模型，用于对所述待识别语音所表达的情绪进行识别，得到所述待识别语音的至少一个情绪标签；
第二获取单元，用于基于所述至少一个情绪标签，获取与所述至少一个情绪标签对应的至少一个情绪参数集合；其中，所述情绪参数集合包括与所述多个表情基对应的多个情绪参数，所述多个情绪参数用于驱动所述多个表情基控制目标对象的表情；
生成单元，用于基于所述至少一个口型参数集合和所述至少一个情绪参数集合，生成所述目标对象含表情的口型动画。
13.一种电子设备，其特征在于，包括：
处理器，适于执行计算机程序；
计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至11中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现如权利要求1至11中任一项所述的方法。
CN202210907739.5A 2022-07-29 2022-07-29 口型动画生成方法、装置、电子设备以及存储介质 Pending CN117523046A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210907739.5A CN117523046A (zh) 2022-07-29 2022-07-29 口型动画生成方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210907739.5A CN117523046A (zh) 2022-07-29 2022-07-29 口型动画生成方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN117523046A true CN117523046A (zh) 2024-02-06

Family

ID=89740607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210907739.5A Pending CN117523046A (zh) 2022-07-29 2022-07-29 口型动画生成方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN117523046A (zh)

Similar Documents

Publication Publication Date Title
KR101925440B1 (ko) 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법
CN110211563B (zh) 面向情景及情感的中文语音合成方法、装置及存储介质
CN111897933B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN110364146B (zh) 语音识别方法、装置、语音识别设备及存储介质
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN114401438B (zh) 虚拟数字人的视频生成方法及装置、存储介质、终端
US20240070397A1 (en) Human-computer interaction method, apparatus and system, electronic device and computer medium
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
CN114495927A (zh) 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端
CN113268994B (zh) 基于胶囊网络的意图识别方法及装置
KR101738142B1 (ko) 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법
CN116661603A (zh) 复杂人机交互场景下的多模态融合的用户意图识别方法
CN113704419A (zh) 对话处理方法及装置
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN116704085B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN116980538A (zh) 一种视频生成方法、装置、设备、介质及程序产品
CN115222857A (zh) 生成虚拟形象的方法、装置、电子设备和计算机可读介质
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
CN117857892B (zh) 基于人工智能的数据处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN117711001B (zh) 图像处理方法、装置、设备和介质
CN118246537A (zh) 基于大模型的问答方法、装置、设备及存储介质
CN114529635A (zh) 一种图像生成方法、装置、存储介质及设备
CN117992587A (zh) 一种基于大模型的人机交互方法、装置及介质
CN117453880A (zh) 多模态数据的处理方法、装置、电子设备及存储介质
KR102120936B1 (ko) 스마트 단말의 기능을 탑재한 캐릭터 인형 제작 서비스 제공 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination