CN113750523A - 三维虚拟对象的动作生成方法、装置、设备及存储介质 - Google Patents

三维虚拟对象的动作生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113750523A
CN113750523A CN202110416923.5A CN202110416923A CN113750523A CN 113750523 A CN113750523 A CN 113750523A CN 202110416923 A CN202110416923 A CN 202110416923A CN 113750523 A CN113750523 A CN 113750523A
Authority
CN
China
Prior art keywords
audio
motion
feature
action
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110416923.5A
Other languages
English (en)
Inventor
李晶
康頔
暴林超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110416923.5A priority Critical patent/CN113750523A/zh
Publication of CN113750523A publication Critical patent/CN113750523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种三维虚拟对象的动作生成方法、装置、设备及存储介质，属于人工智能技术领域。该方法包括：获取目标语音数据；对目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；获取采样动作特征，采样动作特征是通过对动作特有特征集合进行随机采样得到的动作特有特征；对第一音频共性特征和采样动作特征进行特征解码，得到三维虚拟对象的动作。本申请能够生成丰富多样的动作，比如能够基于同一段语音生成不同的动作，大幅提高了动作的丰富程度。

Description

三维虚拟对象的动作生成方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种三维虚拟对象的动作生成方法、装置、设备及存储介质。
背景技术
在人工智能(Artificial Intelligence，AI)时代，AI的应用范围已经遍及各个领域，比如三维(3-Dimensional，3D)虚拟对象便是其中一种。其中，3D虚拟对象，利用语音交互、虚拟形象生成等AI技术，赋予文娱角色多模态交互的能力，以助力媒体、教育、会展、客服等行业的智能娱乐化双升级。
相关技术中，通常基于拼接的方案为3D虚拟对象生成动作。该种方案首先会构建一个动作库，该动作库以音频特征为键、以动作为值。合成动作时，首先在动作库中查询与输入的音频特征最相似的动作片段，进而采用拼接算法将这些片段的动作拼接起来。
然而，该种方案仅能合成动作库中已有的动作，不能合成动作库中不存在的动作，生成的动作较为局限。
发明内容
本申请实施例提供了一种三维虚拟对象的动作生成方法、装置、设备及存储介质，该种方案能够生成丰富多样的动作，比如能够基于同一段语音生成不同的动作，大幅提高了生成的动作的丰富程度。所述技术方案如下：
一方面，提供了一种三维虚拟对象的动作生成方法，所述方法包括：
获取目标语音数据；
对所述目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；
获取采样动作特征，所述采样动作特征是通过对高斯分布进行随机采样得到的；其中，在训练阶段获取到的动作特有特征服从所述高斯分布，所述动作特有特征是通过对训练数据中的样本动作数据进行动作特征编码得到的；
对所述第一音频共性特征和所述采样动作特征进行特征解码，得到所述三维虚拟对象的动作。
另一方面，提供了一种模型训练方法，所述方法包括：
获取训练数据，所述训练数据包括样本语音数据和与所述样本语音数据对应的所述样本动作数据；
基于初始的音频编码器对所述样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合；
基于初始的动作编码器对所述样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征；
基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数；
基于构建的损失函数进行模型训练，得到所述动作生成网络。
另一方面，提供了一种三维虚拟对象的动作生成装置，所述装置包括：
第一获取模块，被配置为获取目标语音数据；
编码模块，被配置为对所述目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；
第二获取模块，被配置为获取采样动作特征，所述采样动作特征是通过动作特有特征集合进行随机采样得到的动作特有特征；
解码模块，被配置为对所述第一音频共性特征和所述采样动作特征进行特征解码，得到所述三维虚拟对象的动作。
在一些实施例中，所述编码模块，被配置为基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码；
所述解码模块，被配置为基于所述动作生成网络中的动作解码器，对所述第一音频共性特征和所述采样动作特征进行特征解码；
其中，所述音频编码器和所述动作解码器中包括顺次相连的至少两个时序块；对于任意一个时序块，所述时序块中包括一个映射层、至少两个空洞卷积层和至少两个激活函数层，所述映射层由所述时序块的输入端指向所述时序块的最后一个激活函数层。
在一些实施例中，所述编码模块，被配置为：
将所述目标语音数据输入所述音频编码器的第一个时序块；
对于任意一个时序块，接收上一个时序块的输出，基于所述至少两个空洞卷积层和所述至少两个激活函数层，对所述上一个时序块的输出进行特征编码；
获取所述最后一个激活函数层的输出，将所述最后一个激活函数层的输出和所述映射层的输出传递到下一个时序块；
获取所述音频编码器的最后一个时序块的输出，得到所述第一音频共性特征。
在一些实施例中，第二获取模块，被配置为：
基于随机游走的采样方式对所述高斯分布进行随机采样；
通过映射网络对采样结果进行特征映射，得到所述采样动作特征；其中，所述映射网络与所述动作编码器具有相同的网络结构。
在一些实施例中，所述采样结果中第i帧的特征是基于第i-1帧的特征和从所述高斯分布采样的随机数得到的，i为不小于2的正整数。
在一些实施例中，所述三维虚拟对象为三维虚拟人，所述装置还包括：
创建模块，被配置为获取二维人脸图像，所述二维人脸图像中包括目标人脸；基于所述二维人脸图像的深度信息，对所述二维人脸图像进行三维重建，得到三维人物模型；基于所述二维人脸图像的纹理信息，对所述三维人物模型进行图形渲染，得到所述目标人脸对应的三维虚拟人。
在一些实施例中，所述第一获取模块，被配置为将原始音频作为所述目标语音数据；或，对所述原始音频进行音频特征提取，得到目标音频特征；将所述目标音频特征作为所述目标语音数据。
另一方面，提供了一种模型训练装置，所述装置包括：
第三获取模块，被配置为获取训练数据，所述训练数据包括样本语音数据和与所述样本语音数据对应的所述样本动作数据；
第二编码模块，被配置为基于初始的音频编码器对所述样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合；
第三编码模块，被配置为基于初始的动作编码器对所述样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征；
训练模块，被配置为基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数；基于构建的损失函数进行模型训练，得到所述动作生成网络。
在一些实施例中，所述训练模块，被配置为：
基于音频解码器，对所述音频特有特征集合中的音频共性特征和所述音频特有特征集合中的音频特有特征进行特征解码，得到重建语音数据；基于所述样本语音数据和所述重建语音数据，构建第一损失函数；
基于初始的动作解码器，对所述音频共性特征集合中的音频共性特征和所述动作特有特征集合中的动作特有特征进行特征解码，得到第一预测动作数据；基于所述样本动作数据和所述第一预测动作数据，构建第三损失函数。
在一些实施例中，所述训练模块，被配置为：
基于初始的动作解码器，对所述动作共性特征集合中的动作共性特征和所述动作特有特征集合中的动作特有特征进行特征解码，得到重建动作数据；基于所述样本动作数据和所述重建动作数据，构建第二损失函数；
获取采样动作特征；基于初始的动作解码器，对所述音频共性特征集合中的音频共性特征和所述采样动作特征进行特征解码，得到第二预测动作数据；基于所述样本动作数据和所述第二预测动作数据，构建基于动作判别器的第四损失函数。
在一些实施例中，所述动作特有特征集合服从高斯分布，所述训练模块，被配置为：
基于随机游走的采样方式对所述高斯分布进行随机采样；
通过映射网络对采样结果进行特征映射，得到所述采样动作特征；其中，所述映射网络与所述动作编码器具有相同的网络结构。
另一方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现上述的三维虚拟对象的动作生成方法；或，上述的模型训练方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述的三维虚拟对象的动作生成方法；或，上述的模型训练方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述的三维虚拟对象的动作生成方法；或，上述的模型训练方法。
本申请实施例在获取到输入语音数据后，在编码阶段，能够获取与输入语音数据相关的音频共性特征，并且进一步通过随机采样动作特有特征来获取采样动作特征，进而在解码阶段能够根据音频共性特征和采样动作特征，为输入语音数据生成多种不同的动作。换言之，本申请实施例能够生成丰富多样的动作，比如能够基于同一段语音生成不同的动作，大幅提高了生成的动作的丰富程度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种三维虚拟对象的动作生成方法涉及的实施环境的示意图；
图2是本申请实施例提供的另一种三维虚拟对象的动作生成方法涉及的实施环境的示意图；
图3是本申请实施例提供的另一种三维虚拟对象的动作生成方法涉及的实施环境的示意图；
图4是本申请实施例提供的一种三维虚拟对象的动作生成方法的流程图；
图5是本申请实施例提供的一种动作生成网络的结构示意图；
图6是本申请实施例提供的一种时序块的结构示意图；
图7是本申请实施例提供的一种空洞卷积的示意图；
图8是本申请实施例提供的一种模型训练方法流程图；
图9是本申请实施例提供的一种模型训练流程示意图；
图10是本申请实施例提供的一种三维虚拟对象的动作示意图；
图11是本申请实施例提供的一种三维虚拟对象的动作生成装置的结构示意图；
图12是本申请实施例提供的一种模型训练装置的结构示意图；
图13是本申请实施例提供的一种计算机设备的结构示意图；
图14是本申请实施例提供的另一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”、“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。
这些术语只是用于将一个元素与另一个元素区别开。例如，在不脱离各种示例的范围的情况下，第一元素能够被称为第二元素，并且类似地，第二元素也能够被称为第一元素。第一元素和第二元素都可以是元素，并且在某些情况下，可以是单独且不同的元素。
其中，至少一个是指一个或一个以上，例如，至少一个元素可以是一个元素、两个元素、三个元素等任意大于等于一的整数个元素。而至少两个是指两个或者两个以上，例如，至少两个元素可以是两个元素、三个元素等任意大于等于二的整数个元素。
本申请实施例提供的基于三维虚拟对象的人机交互方案涉及AI技术。
其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的三维虚拟对象的动作生成方案可能涉及人工智能的计算机视觉技术、语音技术、自然语言处理和机器学习等技术，具体通过如下实施例进行说明。
下面对本申请实施例可能涉及到的一些关键术语或缩略语进行介绍。
梅尔频谱(Mel spectrogram)：一种音频特征。该特征依据人耳对不同频率声音的敏感程度设计。其中，为了得到合适大小的音频特征，往往会将声谱图通过梅尔标度滤波器组(mel-scale filter banks)，变换为梅尔频谱。
log-mel：指代对梅尔频谱特征的值取以10为底的对数。
下面介绍本申请实施例提供的三维虚拟对象的动作生成方法的实施环境。
参见图1，该实施环境包括：训练设备110和应用设备120。
在训练阶段，训练设备110用于训练动作生成网络。在应用阶段，应用设备120即可利用训练好的动作生成网络实现基于音频为三维虚拟对象生成动作。
可选地，上述训练设备110和应用设备120为计算机设备，比如，该计算机设备可以是终端或服务器。在一些实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在另一个实施例中，上述训练设备110和应用设备120可以是同一个设备，或者，训练设备110和应用设备120也可以是不同的设备。并且，当训练设备110和应用设备120是不同的设备时，训练设备110和应用设备120可以是同一类型的设备，比如训练设备110和应用设备120可以都是终端；或者，训练设备110和应用设备120也可以是不同类型的设备，比如训练设备110可以是服务器，而应用设备120可以是终端等。本申请在此不做限制。
在本申请实施例中，将音频特征和动作特征均划分为跨模态共性特征与模态特有特征两个部分。即，将音频特征分为音频共性特征和音频特有特征；将动作特征分为动作共性特征和动作特有特征。
其中，跨模态共性特征指音频与动作中具有共性的特征，比如，音频共性特征是指音频特征中与动作相对应的特征，而动作共性特征是指动作特征中与音频相对应的特征。例如，音频的节奏与动作的速度便具有共性。另外，音频与动作还都有各自特有的一些特有特征，例如一个人的音色、是否左撇子等特征均不在另一种模态的数据中。
可选地，本申请实施例设计的动作生成网络能够为同一段语音生成不同的动作。而之所以这样设计是因为音频与动作之间的映射关系实际上是一种多对多的映射。例如，一个人在说同一句话时会有不同的手势，即使是语义相同的动作，也有可能有一定的差异(比如左手点赞、右手点赞或双手点赞，手的高低，动作的快慢等)。
下面介绍本申请实施例提供的三维虚拟对象的动作生成方法的应用场景。
在现实世界中，人们在讲话过程时，会伴随着手势，手势反映了说话人的情感状态，在信息传递中起着关键作用。因此，通过计算机设备的显示屏幕呈现的三维虚拟对象在说话的过程中，也需要伴随着手势，以实现逼真的效果，且便于用户感知三维虚拟对象的情感。本申请实施例通过音频驱动三维虚拟对象执行动作，将用户的意识代入一个虚拟的世界，使其获得更加贴近线下会话方式的交谈体验。
可选地，本申请实施例提供的方案适用于需要合成三维虚拟对象的动作的任意场景下。比如，虚拟主播、虚拟解说、虚拟门迎、虚拟导购等。在一些实施例中，本申请实施例能够为同一段音频生成多种不同的动作。可选地，三维虚拟对象是指通过计算机设备的显示屏幕呈现的3D虚拟人，支持自由进行捏脸,并且还可以对3D虚拟人自由进行换装。例如，该方案可以用于辅助多种不同的3D虚拟人，例如让舞蹈虚拟人学会编舞，实现虚拟人“会跳”的功能，完成基于音乐的舞蹈自动编排；又例如，该方案可以为主播虚拟人合成说话时对应的手势使其看起来更加自然等。
示例一、虚拟主播
针对新闻播报、游戏讲解、电视导播等媒体场景需求，3D虚拟人可以化身为虚拟主播，为用户提供相应的服务。利用虚拟主播，能够降低人力生产成本，同时还能打造更具话题感和关注度的差异化品牌。以在直播间呈现虚拟主播为例，则如图2所示，在主播终端和至少一个观众终端的直播间界面上呈现同一3D虚拟人。可选地，该直播间的主播用户可以同该3D虚拟人互动。另外，该3D虚拟人可以说话并受语音驱动做出相应的动作。
示例二、虚拟教师
针对网络教学、在线解题等教育场景需求，3D虚拟人化身为虚拟教师，植入平板或智慧教学屏等中小型硬件设备，为学生提供一对一的专属授课服务。虚拟教师不仅能够降低生产教学内容的人力成本，更能有效提升授课可信度，激发学生的学习兴趣。
示例三、虚拟客服
针对客服场景需求，3D虚拟人化身虚拟客服，植入大屏一体机或网络页面，为用户提供问答服务。虚拟客服在智能语音客服的基础上引入三维虚拟形象，提供及时答复的同时，营造更加亲和自然的客服体验。
示例四、虚拟助手
针对音乐播放、天气查询、闲聊对话等智能助手场景需求，3D虚拟人化身虚拟助手，植入物联网(Internet of Things，IoT)硬件、移动终端应用程序(Application，APP)或车机等设备，为用户提供便捷的生活服务。语音助手经过多模态交互赋能后，可以成为能说会动的“全能型”智能助手。
示例五、虚拟导游
针对景区导览、景区问讯等旅游场景需求，3D虚拟人化身虚拟导游，植入手机App和小程序，能够为游客提供景区导览、讲解等服务。可以帮助文旅品牌进一步渗透影响力，提供差异化的服务，帮助打造具有粘性的生态内容。
可选地，针对虚拟客服、虚拟助手、虚拟导游等场景，通过IoT硬件、移动终端APP或车机等均可呈现3D虚拟人。以虚拟导游为例，则如图3所示，通过移动终端上安装的相关APP即可展示3D虚拟人，该3D虚拟人可以为用户进行导游讲解并受语音驱动做出相应的动作。
示例六、品牌营销
针对品牌营销场景，3D虚拟人能够成为全新的营销利器。虚拟人活灵活现，原本被动接受营销的消费者开始亲身参与交互，充分体验品牌魅力。记忆深刻的对话、真实有趣的互动，能够给用户留下更加深刻的印象，引爆话题热度。
需要说明的是，以上介绍的应用场景仅用于说明本申请实施例而非限定。在实际实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
下面通过如下实施方式对本申请实施例提供的三维虚拟对象的动作生成方案进行介绍。
本申请实施例设计了一种动作生成网络，该动作生成网络使用原始音频或音频特征(比如log-mel特征)作为输入，以三维虚拟对象每个骨骼的旋转角作为输出。
图4是本申请实施例提供的一种三维虚拟对象的动作生成方法的流程图。在应用阶段，参见图4，本申请实施例提供的方法流程包括如下步骤。
401、获取目标语音数据。
在本申请实施例中，三维虚拟对象既可以是3D虚拟人，也可以是3D虚拟动物，还可以是3D卡通形象，本申请在此不做限制。
可选地，本申请实施例支持对三维虚拟对象进行捏脸，实现将自己的人脸图像与三维模型进行融合，进而得到与自己实际形象较为贴合的虚拟形象。
在一些实施例中，响应于三维虚拟对象为三维虚拟人，本申请实施例提供的方法还包括：获取二维人脸图像，该二维人脸图像中包括目标人脸；基于二维人脸图像的深度信息，对二维人脸图像进行三维重建，得到三维人物模型；基于二维人脸图像的纹理信息，对三维人物模型进行图形渲染，得到目标人脸对应的三维虚拟人。
在一些实施例中，获取语音数据包括但不限与如下两种方式：获取原始音频；将原始音频作为该语音数据；或，对原始音频进行音频特征提取，得到目标音频特征；将目标音频特征作为该语音数据。
可选地，原始音频为用户输入音频；目标音频特征可以为log-mel特征、MFCC特征或chroma特征等，本申请在此不做限制。另外，在进行特征提取之前，通常会对原始音频进行预处理，示例性地，预处理包括但不限于分帧、预增强、加窗、降噪等。其中，分帧用于将原始音频划分为多个音频帧。音频帧通常指代固定长度的一小段音频。可选地，通常将帧长设置为10至30ms(毫秒)，即一个音频帧的播放时长为10至30ms，这样一帧内既有足够多的周期，又不会变化太剧烈。
在一些实施例中，本申请实施例对原始音频进行log-mel特征提取，得到log-mel特征。示例性地，首先通过对预处理后的原始音频进行短时傅里叶变换，得到声谱图；再将声谱图通过梅尔标度滤波器组变换为梅尔频谱；最后，对梅尔频谱特征的值取以10为底的对数，得到log-mel特征。
402、对目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征。
需要说明的是，为了区分应用阶段和训练阶段的音频共性特征，本文将此处得到的音频共性特征称为第一音频共性特征，而将训练阶段得到的音频共性特征称为音频共性特征集合。
在一些实施例中，基于动作生成网络中的音频编码器对目标语音数据进行特征编码，得到第一音频共性特征。
可选地，参见图5，该动作生成网络中包括音频编码器501、动作编码器502和动作解码器503。其中，在应用阶段动作编码器502是没有输入的。
在一些实施例中，音频编码器501、动作编码器502和动作解码器503均采用全卷积网络，仅包含卷积层和激活函数，而没有使用全连接、批归一化层等会限制输入数据长度的结构。这种网络结构的一大优势是可以并行处理任意长度的输入数据。
另外，由于三维虚拟对象的动作和语音可能并不是完全同步的，比如动作相比对应的语音既有可能提前，也有可能滞后。因此在生成某一帧的动作时，不仅会利用到当前帧的音频特征及历史帧音频特征，还会利用到将来帧的音频特征，所以音频编码器501、动作编码器502和动作解码器503均由多个类似于残差网络的时序块(temporal block)组成。即，音频编码器501、动作编码器502和动作解码器503中均包括顺次相连的至少两个时序块。比如，音频编码器501、动作编码器502和动作解码器503中均包括5个时序块。
在一些实施例中，图6示出了任意一个时序块的结构。参见图6，该时序块中包括卷积层、激活函数层和映射层。即，对于任意一个时序块，该时序块中包括一个映射层、至少两个空洞卷积层和至少两个激活函数层，其中，映射层由该时序块的输入端指向该时序块的最后一个激活函数层。
可选地，卷积层和映射层均采用一维卷积，本申请在此不做限制。
可选地，基于动作生成网络中的音频编码器对目标语音数据进行特征编码，得到第一音频共享特征，包括如下步骤。
4021、将目标语音数据输入音频编码器的第一个时序块。
4022、对于任意一个时序块，接收上一个时序块的输出，基于至少两个空洞卷积层和至少两个激活函数层，对上一个时序块的输出进行特征编码。
可选地，本申请实施例采用空洞卷积(Dilated Convolution)，比如每个时序块利用空洞卷积使其感受野相比前一个时序块扩大两倍，能够捕捉到更多的信息。另外，激活函数层可采用Relu函数、sigmoid函数或tanh函数等。
其中，空洞卷积又称为膨胀卷积或扩张卷积，能够增大感受野。其中，在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作为感受野。用数学的语言表达即是，感受野是卷积神经网络中的某一层输出结果的一个元素对应输入层的一个映射。参见图7，分别示出了空洞倍率等于1、2和3时的空洞卷积操作。其中，图7的左图对应3x3卷积核大小的1-dilated空洞卷积操作，该卷积操作同普通的卷积操作一样。图7的中图对应3x3卷积核大小的2-dilated空洞卷积操作，实际的卷积核大小还是3x3，但是空洞为1，也就是说，对于一个7x7大小的特征区域，仅有9个黑色正方块处的特征和3x3大小的卷积核发生卷积操作，其余的略过。也可以理解为卷积核的大小为7x7，但是仅有图中的9个黑色正方块处的权重不为0，其余均为0。由中图可以看到，虽然卷积核的大小仅有3x3，但是这个卷积的感受野大小已经增大到了7x7。其中，图7的右图对应3x3卷积核大小的3-dilated空洞卷积操作。
4023、获取最后一个激活函数层的输出，将最后一个激活函数层的输出和映射层的输出传递到下一个时序块。
4024、获取音频编码器的最后一个时序块的输出，得到第一音频共性特征。
403、获取采样动作特征；该采样动作特征是通过对动作特有特征集合进行随机采样得到的动作特有特征。
由于在应用阶段动作编码器是没有输入的，因此动作编码器也不存在输出，所以本申请实施例获取采样动作特征。
其中，在训练阶段提取到的模态特有特征服从高斯分布，因此在应用阶段本申请实施例通过采样的方式来获取模态特有特征，另外，为了进行区分，本文将通过采样的方式获取到的模态特有特征，称为采样动作特征，即采样动作特征本质上是动作特有特征。其中，本步骤的具体实施请参见后续步骤804-4。
404、对第一音频共性特征和采样动作特征进行特征解码，得到三维虚拟对象的动作。
在本申请实施例中，基于动作生成网络中的动作解码器，对第一音频共性特征和采样动作特征进行特征解码。
可选地，该三维虚拟对象的动作既可以为单独的动作帧，比如一个动作帧；也可以为由多个动作帧构成的动作序列，针对该种情况，由于动作为时序数据，因此动作解码器的输出为动作序列。其中，一个动作序列中包括多帧动作。
可选地，三维虚拟对象的动作在本申请实施例中以各个骨骼的旋转角进行表征，本申请实施例在此不做限制。
本申请实施例在获取到输入语音数据后，在编码阶段，能够获取与输入语音数据相关的音频共性特征，并且进一步通过随机采样获取采样动作特征，进而在解码阶段能够根据音频共性特征和采样动作特有特征，为输入语音数据生成多种不同的动作。换言之，本申请实施例能够生成丰富多样的动作，比如能够基于同一段语音生成不同的动作，大幅提高了生成的动作的丰富程度。
在另一些实施例中，参见图8，在训练阶段，模型训练过程包括如下步骤。另外，在训练阶段，用于训练动作生成网络的样本语音数据既可以为原始样本音频，也可以为对原始样本音频进行音频特征提取后得到的样本音频特征，本申请在此不做限制。
801、获取训练数据；其中，训练数据包括样本语音数据和与样本语音数据对应的样本动作数据。
其中，该训练数据中包括的样本语音数据为多份，而每份样本语音数据均对应一份样本动作数据。可选地，样本动作数据以旋转矩阵的形式存储，本申请在此不做限制。
需要说明的第一点是，本申请将训练未完成之前的音频编码器、动作编码器和动作解码器，称之为初始的音频编码器、初始的动作编码器和初始的动作解码器。
需要说明的第二点是，本方案不仅对跨模态共性特征进行建模，还对模态特有特征进行建模。换一种表达方式，在训练阶段，将音频特征与动作特征均拆分为两个部分：跨模态共性特征与模态特有特征，通过这种方式让动作解码器结合不同的音频特征、不同的动作特征生成不同的动作。下面通过如下步骤进行详细介绍。
802、基于初始的音频编码器对样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合。
在一些实施例中，以Audio和Motion表示一对训练数据为例，其中，Audio为样本语音数据，Motion为样本动作数据，如图9所示，样本语音数据Audio在经过音频编码器的音频特征编码后，会得到音频共性特征和音频特有特征；其中，本步骤得到的音频共性特征即为跨模态共性特征，音频特有特征即为模态特有特征。
可选地，音频编码器的数量为2个，一个音频编码器用于提取音频共性特征，另一个音频编码器用于提取音频特有特征。
803、基于初始的动作编码器对样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征。
继续如图9所示，样本动作数据Motion在经过动作编码器的动作特征编码后，会得到动作共性特征和动作特有特征。其中，动作共性特征即为跨模态共性特征，动作特有特征即为模态特有特征。
可选地，动作编码器的数量为2个，一个动作编码器用于提取动作共性特征，另一个动作编码器用于提取动作特有特征。
804、基于训练数据、音频共性特征集合、音频特有特征集合、动作共性特征集合和动作特有特征集合中的至少两项，构建损失函数；基于构建的损失函数进行模型训练，得到动作生成网络。
在本申请实施例中，为了提取跨模态共性特征和模态特有特征，该模型采用了一套复杂的训练方法。方便起见，以GM表示动作解码器，EAS表示提取音频中的跨模态共性特征的音频编码器，EAI表示提取音频中的模态特有特征的音频编码器，EMS表示提取动作中的跨模态共性特征的动作编码器，EMI表示提取动作中的动作特有特征的动作编码器。
在一些实施例中，为了能够让音频编码器和动作编码器学习到足够好的特征来表示音频与动作，本申请实施例引入了重建损失函数，请参见下述步骤804-1和步骤804-2。
804-1、基于音频解码器，对音频共性特征集合中的音频共性特征和音频特有特征集合中的音频特有特征进行特征解码，得到重建语音数据；基于样本语音数据和重建语音数据，构建第一损失函数。
如图9中的情形2所示，第二音频共性特征和音频特有特征经过音频解码器进行特征解码，使的音频解码器能够从音频编码器提取的跨模态共性特征和模态特有特征来重建音频，此处引入第一损失函数。其中，第一损失函数的数学表达式如下所示。
Lrecon_audio＝||GA(EAS(Audio)，EAI(Audio))-Audio||
其中，EAI(Audio)指代音频特有特征，EAS(Audio)指代第二音频共性特征，GA(EAS(Audio)，EAI(Audio))指代音频解码器输出的重建语音数据。
804-2、基于初始的动作解码器，对动作共性特征集合中的动作共性特征和动作特有特征集合中的动作特有特征进行特征解码，得到重建动作数据；基于样本动作数据和重建动作数据，构建第二损失函数。
如图9中的情形3所示，动作共性特征和动作特有特征经过动作解码器进行特征解码，使的动作解码器能够从动作编码器提取的跨模态共性特征和模态特有特征来重建动作，此处引入第二损失函数。其中，第二损失函数的数学表达式如下所示。
Lrecon_motion＝||GM(EMS(Motion)，EMI(Motion))-Motion||
其中，EMI(Motion)指代动作特有特征，EMS(Motion)指代动作共性特征，GA(EMS(Motion)，EMI(Motion))指代动作解码器输出的重建动作数据。
804-3、基于初始的动作解码器，对音频共性特征集合中的音频共性特征和动作特有特征集合中的动作特有特征进行特征解码，得到第一预测动作数据；基于样本动作数据和第一预测动作数据，构建第三损失函数。
如图9中的情形4所示，音频共性特征和动作特有特征经过动作解码器进行特征解码，使的音频编码器能够学习到音频与动作的跨模态共性特征，此处引入第三损失函数。其中，第三损失函数的数学表达式如下所示。
LCR＝||GM(EAS(Audio)，EMI(Motion))-Motion|
其中，EMI(Motion)指代动作特有特征，EAS(Audio)指代第二音频共性特征，，GA(EAS(Audio)，EMI(Motion))指代动作解码器输出的第一预测动作数据。
需要说明的是，在训练阶段，可以分别使用第一损失函数、第二损失函数和第三损失函数，来计算生成的动作与真实动作之间的差异，再使用优化算法不断优化该动作生成网络的网络参数，使其生成的动作能够最小化与真实动作之间的差异。
804-4、获取采样动作特征；基于初始的动作解码器，对音频共性特征集合中的音频共性特征和采样动作特征进行特征解码，得到第二预测动作数据；基于样本语音数据和第二预测动作数据，构建基于动作判别器的第四损失函数。
其中，采样动作特征也为模态特有特征。可选地，本申请实施例设计的动作生成网络为变分自编码器(Variational Auto-Encoder，VAE)结构。
针对变分自编码器，其包括的编码器并不是直接为输入生成编码，而是产生平均编码μ和标准差σ。然后以平均值μ和标准差σ的高斯分布随机采样实际编码。之后，其包括的解码器正常解码采样的编码。换言之，尽管输入可能具有非常复杂的分布，但是变分自编码器倾向于产生来自于高斯分布的编码，在训练期间，损失函数迫使编码空间中的编码逐渐向一个大致的高斯点云集球形区域移动。一个重要的结果是，在训练了一个变分自编码器后，可以很容易地生成一个新的实例，只需从高斯分布中抽取一个随机编码，对它进行解码即可。
相应地，在训练阶段，本申请实施例通过变分自编码器将模态特有特征分别映射到高斯分布。如图9中情形1所示，本申请实施例会获取采样动作特征。
其中，初始的动作编码器提取到的动作特有特征集合服从高斯分布。相应地，可以通过如下方式来获取采样动作特征：基于随机游走的采样方式对该高斯分布进行随机采样；通过映射网络对采样结果进行特征映射，得到采样动作特征；其中，该映射网络与动作编码器具有相同的网络结构。
需要说明的是，采样结果中第i帧的特征是基于第i-1帧的特征和从高斯分布采样的随机数得到的；其中，i为不小于2的正整数。
详细来说，为了能够采样不同的动作，考虑到动作是一个时序数据，本申请实施例采用基于随机游走的采样方式：
zi＝(zi-1+N(0，1))/2
其中，zi表示第i帧的特征，zi-1表示第i-1帧的特征，特征zi由前一帧的特征zi-1加上一个从高斯分布采样的随机数然后取平均得到。N(0，1)指代标准正态分布，其中，正态分布也称高斯分布。
接下来，本申请实施例使用一个与动作编码器具有相同结构的映射网络将该特征映射为采样动作特征Mapping(RandomWalk)。之后，再结合第二音频共性特征生成第二预测动作数据Mrandn＝||GM(EAS(Audio)，Mapping(RandomWalk))||。
可选地，为了确保该种情形下生成的动作足够真实，本申请实施例使用了对抗损失函数。即，基于样本语音数据和第二预测动作数据，构建基于动作判别器的第四损失函数。其中，第四损失函数的数学表达式如下所示。
Figure BDA0003026302710000181
其中，该损失函数引入了一个动作判别器，以通过该动作判别器与动作解码器利用博弈的方式同时提升自身的性能，进而提高输出动作的准确性。另外，E(*)指代分布函数的期望值，p(data)指代样本动作数据的分布，D指代动作判别器，G指代生成器即动作解码器，p(z)指代定义在低维的噪声分布。
本申请实施例提供的方法至少具有如下有益效果：
针对训练阶段，在生成动作时，本申请实施例会将跨模态共性特征和模态特有特征进行不同形式的多种组合，不同的输入导致该动作生成网络为同一段语音生成了多种不同的动作。换言之，本申请实施例会将音频与动作的特征拆分为两个部分：跨模态共性特征与模态特有特征，通过这种方式动作解码器能够结合不同的音频特征、不同的动作特征来生成不同的动作，进而基于多种损失函数来计算预测数据和真实数据之间的差异，并据此优化网络参数。而通过多种损失函数联合训练动作生成网络，能够使得训练好的动作生成网络为同一段语音生成多种不同的动作，且输入动作的精准性较高。
在应用阶段，该种方案能够生成丰富多样的动作，比如能够基于同一段语音生成不同的动作，大幅提高了动作的丰富程度。详细来说，本申请实施例在获取到输入语音数据后，在编码阶段，能够与获取输入语音数据相关的跨模态共性特征和模态特有特征，进而在解码阶段能够根据跨模态共性特征和模态特有特征，为输入语音数据生成多种不同的动作。换言之，本申请实施例能够生成丰富多样的动作，比如能够基于同一段语音生成不同的动作，大幅提高了生成的动作的丰富程度。
另外，为了度量生成的动作的丰富程度，本申请实施例采用如下评价指标：
Figure BDA0003026302710000182
其中，n为一个动作序列的长度。Pi表示该动作序列中第i帧的动作，Pj表示该动作序列中第i帧的动作。该指标通过度量生成的动作序列中每两帧动作之间的差异，来衡量生成动作的丰富程度。
另外，该种方案不仅能够提升输出动作的丰富程度，还能够在输入相同语音的情况下输出不同的动作，效果如图10所示。在另一些实施例中，该种方案适用的模型并不限于卷积神经网络(Convolutional Neural Network,CNN)，同样适用于RNN模型、transformer模型等。另外，第三损失函数的存在是为了辅助模型收敛到更好的参数，去掉第三损失函数同样可以分别建模跨模态共性特征和模态特有特征。
图11是本申请实施例提供的一种三维虚拟对象的动作生成装置的结构示意图。参见图11，本申请实施例提供的装置包括：
第一获取模块1101，被配置为获取目标语音数据；
编码模块1102，被配置为对所述目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；
第二获取模块1103，被配置为获取采样动作特征，所述采样动作特征是通过对动作特有特征集合进行随机采样得到的；
解码模块1104，被配置为对所述第一音频共性特征和所述采样动作特征进行特征解码，得到所述三维虚拟对象的动作。
本申请实施例在获取到输入语音数据后，在编码阶段，能够获取与输入语音数据相关的音频共性特征，并且进一步通过随机采样获取采样动作特征，进而在解码阶段能够根据音频共性特征和采样动作特有特征，为输入语音数据生成多种不同的动作。换言之，本申请实施例能够生成丰富多样的动作，比如能够基于同一段语音生成不同的动作，大幅提高了生成的动作的丰富程度。
在一些实施例中，所述编码模块，被配置为基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码；
所述解码模块，被配置为基于所述动作生成网络中的动作解码器，对所述第一音频共性特征和所述采样动作特征进行特征解码；
其中，所述音频编码器和所述动作解码器中包括顺次相连的至少两个时序块；对于任意一个时序块，所述时序块中包括一个映射层、至少两个空洞卷积层和至少两个激活函数层，所述映射层由所述时序块的输入端指向所述时序块的最后一个激活函数层。
在一些实施例中，所述编码模块，被配置为：
将所述目标语音数据输入所述音频编码器的第一个时序块；
对于任意一个时序块，接收上一个时序块的输出，基于所述至少两个空洞卷积层和所述至少两个激活函数层，对所述上一个时序块的输出进行特征编码；
获取所述最后一个激活函数层的输出，将所述最后一个激活函数层的输出和所述映射层的输出传递到下一个时序块；
获取所述音频编码器的最后一个时序块的输出，得到所述第一音频共性特征。
在一些实施例中，第二获取模块，被配置为：
基于随机游走的采样方式对所述高斯分布进行随机采样；
通过映射网络对采样结果进行特征映射，得到所述采样动作特征；其中，所述映射网络与所述动作编码器具有相同的网络结构。
在一些实施例中，所述采样结果中第i帧的特征是基于第i-1帧的特征和从所述高斯分布采样的随机数得到的，i为不小于2的正整数。
在一些实施例中，所述三维虚拟对象为三维虚拟人，所述装置还包括：
创建模块，被配置为获取二维人脸图像，所述二维人脸图像中包括目标人脸；基于所述二维人脸图像的深度信息，对所述二维人脸图像进行三维重建，得到三维人物模型；基于所述二维人脸图像的纹理信息，对所述三维人物模型进行图形渲染，得到所述目标人脸对应的三维虚拟人。
在一些实施例中，所述第一获取模块，被配置为将原始音频作为所述目标语音数据；或，对所述原始音频进行音频特征提取，得到目标音频特征；将所述目标音频特征作为所述目标语音数据。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图12是本申请实施例提供的一种模型训练装置的结构示意图。参见图12，本申请实施例提供的装置包括：
第三获取模块1201，被配置为获取训练数据，所述训练数据包括样本语音数据和与所述样本语音数据对应的所述样本动作数据；
第二编码模块1202，被配置为基于初始的音频编码器对所述样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合；
第三编码模块1203，被配置为基于初始的动作编码器对所述样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征；
训练模块1204，被配置为基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数；基于构建的损失函数进行模型训练，得到所述动作生成网络。
针对训练阶段，在生成动作时，本申请实施例会将跨模态共性特征和模态特有特征进行不同形式的多种组合，不同的输入导致该动作生成网络为同一段语音生成了多种不同的动作。换言之，本申请实施例会将音频与动作的特征拆分为两个部分：跨模态共性特征与模态特有特征，通过这种方式动作解码器能够结合不同的音频特征、不同的动作特征来生成不同的动作，进而基于多种损失函数来计算预测数据和真实数据之间的差异，并据此优化网络参数。而通过多种损失函数联合训练动作生成网络，能够使得训练好的动作生成网络为同一段语音生成多种不同的动作，且输入动作的精准性较高。
在一些实施例中，所述训练模块，被配置为：
基于音频解码器，对所述音频特有特征集合中的音频共性特征和所述音频特有特征集合中的音频特有特征进行特征解码，得到重建语音数据；基于所述样本语音数据和所述重建语音数据，构建第一损失函数；
基于初始的动作解码器，对所述音频共性特征集合中的音频共性特征和所述动作特有特征集合中的动作特有特征进行特征解码，得到第一预测动作数据；基于所述样本动作数据和所述第一预测动作数据，构建第三损失函数。
在一些实施例中，所述训练模块，被配置为：
基于初始的动作解码器，对所述动作共性特征集合中的动作共性特征和所述动作特有特征集合中的动作特有特征进行特征解码，得到重建动作数据；基于所述样本动作数据和所述重建动作数据，构建第二损失函数；
获取采样动作特征；基于初始的动作解码器，对所述音频共性特征集合中的音频共性特征和所述采样动作特征进行特征解码，得到第二预测动作数据；基于所述样本动作数据和所述第二预测动作数据，构建基于动作判别器的第四损失函数。
在一些实施例中，所述动作特有特征集合服从高斯分布，所述训练模块，被配置为：
基于随机游走的采样方式对所述高斯分布进行随机采样；
通过映射网络对采样结果进行特征映射，得到所述采样动作特征；其中，所述映射网络与所述动作编码器具有相同的网络结构。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的三维虚拟对象的动作生成装置在生成动作时，以及模型训练装置在训练动作生成网络时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的三维虚拟对象的动作生成装置与三维虚拟对象的动作生成方法实施例、以及模型训练装置与模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图13示出了本申请一个示例性实施例提供的计算机设备1300的结构框图。该计算机设备1300可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，计算机设备1300包括有：处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1301所执行以实现本申请中方法实施例提供的三维虚拟对象的动作生成方法或模型训练方法。
在一些实施例中，计算机设备1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、显示屏1305、摄像头组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。
外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置在计算机设备1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在计算机设备1300的不同表面或呈折叠设计；在另一些实施例中，显示屏1305可以是柔性显示屏，设置在计算机设备1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。
定位组件1308用于定位计算机设备1300的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1308可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1309用于为计算机设备1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。
加速度传感器1311可以检测以计算机设备1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1312可以检测计算机设备1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对计算机设备1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1313可以设置在计算机设备1300的侧边框和/或显示屏1305的下层。当压力传感器1313设置在计算机设备1300的侧边框时，可以检测用户对计算机设备1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在显示屏1305的下层时，由处理器1301根据用户对显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1314用于采集用户的指纹，由处理器1301根据指纹传感器1314采集到的指纹识别用户的身份，或者，由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置在计算机设备1300的正面、背面或侧面。当计算机设备1300上设置有物理按键或厂商Logo时，指纹传感器1314可以与物理按键或厂商Logo集成在一起。
光学传感器1315用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1315采集的环境光强度，控制显示屏1305的显示亮度。具体地，当环境光强度较高时，调高显示屏1305的显示亮度；当环境光强度较低时，调低显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1315采集的环境光强度，动态调整摄像头组件1306的拍摄参数。
接近传感器1316，也称距离传感器，通常设置在计算机设备1300的前面板。接近传感器1316用于采集用户与计算机设备1300的正面之间的距离。在一个实施例中，当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变小时，由处理器1301控制显示屏1305从亮屏状态切换为息屏状态；当接近传感器1316检测到用户与计算机设备1300的正面之间的距离逐渐变大时，由处理器1301控制显示屏1305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图13中示出的结构并不构成对计算机设备1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图14是本申请实施例提供的一种计算机设备1400的结构示意图。该计算机1400可以是服务器。该计算机设备1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1401和一个或一个以上的存储器1402，其中，所述存储器1402中存储有至少一条程序代码，所述至少一条程序代码由所述处理器1401加载并执行以实现上述各个方法实施例提供的三维虚拟对象的动作生成方法或模型训练方法。当然，该计算机设备1400还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备1400还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由计算机设备中的处理器执行以完成上述实施例中的三维虚拟对象的动作生成方法或模型训练方法。例如，所述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述三维虚拟对象的动作生成方法或模型训练方法。
在一些实施例中，本申请实施例涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种三维虚拟对象的动作生成方法，其特征在于，所述方法包括：
获取目标语音数据；
对所述目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；
获取采样动作特征，所述采样动作特征是通过对动作特有特征集合进行随机采样得到的动作特有特征；
对所述第一音频共性特征和所述采样动作特征进行特征解码，得到所述三维虚拟对象的动作。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标语音数据进行音频特征编码，包括：基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码；
所述对所述第一音频共性特征和所述采样动作特征进行特征解码，包括：基于所述动作生成网络中的动作解码器，对所述第一音频共性特征和所述采样动作特征进行特征解码；
其中，所述音频编码器和所述动作解码器中包括顺次相连的至少两个时序块；对于任意一个时序块，所述时序块中包括一个映射层、至少两个空洞卷积层和至少两个激活函数层，所述映射层由所述时序块的输入端指向所述时序块的最后一个激活函数层。
3.根据权利要求2所述的方法，其特征在于，所述基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码，包括：
将所述目标语音数据输入所述音频编码器的第一个时序块；
对于任意一个时序块，接收上一个时序块的输出，基于所述至少两个空洞卷积层和所述至少两个激活函数层，对所述上一个时序块的输出进行特征编码；
获取所述最后一个激活函数层的输出，将所述最后一个激活函数层的输出和所述映射层的输出传递到下一个时序块；
获取所述音频编码器的最后一个时序块的输出，得到所述第一音频共性特征。
4.根据权利要求1所述的方法，其特征在于，所述动作特有特征集合服从高斯分布，所述获取采样动作特征，包括：
基于随机游走的采样方式对所述高斯分布进行随机采样；
通过映射网络对采样结果进行特征映射，得到所述采样动作特征；
其中，所述动作特有特征集合是在训练阶段通过对训练数据中的样本动作数据进行动作特征编码得到的。
5.根据权利要求4所述的方法，其特征在于，所述采样结果中第i帧的特征是基于第i-1帧的特征和从所述高斯分布采样的随机数得到的，i为不小于2的正整数。
6.根据权利要求1所述的方法，其特征在于，所述三维虚拟对象为三维虚拟人，所述方法还包括：
获取二维人脸图像，所述二维人脸图像中包括目标人脸；
基于所述二维人脸图像的深度信息，对所述二维人脸图像进行三维重建，得到三维人物模型；
基于所述二维人脸图像的纹理信息，对所述三维人物模型进行图形渲染，得到所述目标人脸对应的三维虚拟人。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取目标语音数据，包括：
将原始音频作为所述目标语音数据；或，
对所述原始音频进行音频特征提取，得到目标音频特征；将所述目标音频特征作为所述目标语音数据。
8.一种模型训练方法，其特征在于，所述方法包括：
获取训练数据，所述训练数据包括样本语音数据和与所述样本语音数据对应的所述样本动作数据；
基于初始的音频编码器对所述样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合；
基于初始的动作编码器对所述样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征；
基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数；
基于构建的损失函数进行模型训练，得到所述动作生成网络。
9.根据权利要求8所述的方法，其特征在于，所述基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数，包括：
基于音频解码器，对所述音频特有特征集合中的音频共性特征和所述音频特有特征集合中的音频特有特征进行特征解码，得到重建语音数据；基于所述样本语音数据和所述重建语音数据，构建第一损失函数；
基于初始的动作解码器，对所述音频共性特征集合中的音频共性特征和所述动作特有特征集合中的动作特有特征进行特征解码，得到第一预测动作数据；基于所述样本动作数据和所述第一预测动作数据，构建第三损失函数。
10.根据权利要求8所述的方法，其特征在于，所述基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数，包括：
基于初始的动作解码器，对所述动作共性特征集合中的动作共性特征和所述动作特有特征集合中的动作特有特征进行特征解码，得到重建动作数据；基于所述样本动作数据和所述重建动作数据，构建第二损失函数；
获取采样动作特征；基于初始的动作解码器，对所述音频共性特征集合中的音频共性特征和所述采样动作特征进行特征解码，得到第二预测动作数据；基于所述样本动作数据和所述第二预测动作数据，构建基于动作判别器的第四损失函数。
11.根据权利要求10所述的方法，其特征在于，所述动作特有特征集合服从高斯分布，所述获取采样动作特征，包括：
基于随机游走的采样方式对所述高斯分布进行随机采样；
通过映射网络对采样结果进行特征映射，得到所述采样动作特征；其中，所述映射网络与所述动作编码器具有相同的网络结构。
12.一种三维虚拟对象的动作生成装置，其特征在于，所述装置包括：
第一获取模块，被配置为获取目标语音数据；
第一编码模块，被配置为对所述目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；
第二获取模块，被配置为获取采样动作特征，所述采样动作特征是通过对动作特征集合进行随机采样得到的；
解码模块，被配置为对所述第一音频共性特征和所述采样动作特征进行特征解码，得到所述三维虚拟对象的动作。
13.一种模型训练装置，其特征在于，所述装置包括：
第三获取模块，被配置为获取训练数据，所述训练数据包括样本语音数据和与所述样本语音数据对应的所述样本动作数据；
第二编码模块，被配置为基于初始的音频编码器对所述样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合；
第三编码模块，被配置为基于初始的动作编码器对所述样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征；
训练模块，被配置为基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数；基于构建的损失函数进行模型训练，得到所述动作生成网络。
14.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至7中任一项所述的三维虚拟对象的动作生成方法；或，如权利要求8至11中任一项所述的模型训练方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至7中任一项所述的三维虚拟对象的动作生成方法；或，如权利要求8至11中任一项所述的模型训练方法。
CN202110416923.5A 2021-04-19 2021-04-19 三维虚拟对象的动作生成方法、装置、设备及存储介质 Pending CN113750523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110416923.5A CN113750523A (zh) 2021-04-19 2021-04-19 三维虚拟对象的动作生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110416923.5A CN113750523A (zh) 2021-04-19 2021-04-19 三维虚拟对象的动作生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113750523A true CN113750523A (zh) 2021-12-07

Family

ID=78787011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110416923.5A Pending CN113750523A (zh) 2021-04-19 2021-04-19 三维虚拟对象的动作生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113750523A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741561A (zh) * 2022-02-28 2022-07-12 商汤国际私人有限公司 动作生成方法、装置、电子设备及存储介质
CN114862992A (zh) * 2022-05-19 2022-08-05 北京百度网讯科技有限公司 虚拟数字人处理方法、模型训练方法及其装置
CN115861494A (zh) * 2023-02-20 2023-03-28 青岛大学 一种跨模态变换器模型式自动舞蹈生成方法
CN116805046A (zh) * 2023-08-18 2023-09-26 武汉纺织大学 一种基于文本标签生成3d人体动作的方法
WO2024046473A1 (zh) * 2022-09-02 2024-03-07 华为技术有限公司 一种数据处理方法及其装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741561A (zh) * 2022-02-28 2022-07-12 商汤国际私人有限公司 动作生成方法、装置、电子设备及存储介质
CN114862992A (zh) * 2022-05-19 2022-08-05 北京百度网讯科技有限公司 虚拟数字人处理方法、模型训练方法及其装置
WO2024046473A1 (zh) * 2022-09-02 2024-03-07 华为技术有限公司 一种数据处理方法及其装置
CN115861494A (zh) * 2023-02-20 2023-03-28 青岛大学 一种跨模态变换器模型式自动舞蹈生成方法
CN115861494B (zh) * 2023-02-20 2023-06-13 青岛大学 一种跨模态变换器模型式自动舞蹈生成方法
CN116805046A (zh) * 2023-08-18 2023-09-26 武汉纺织大学 一种基于文本标签生成3d人体动作的方法
CN116805046B (zh) * 2023-08-18 2023-12-01 武汉纺织大学 一种基于文本标签生成3d人体动作的方法

Similar Documents

Publication Publication Date Title
WO2020233464A1 (zh) 模型训练方法、装置、存储介质及设备
CN113750523A (zh) 三维虚拟对象的动作生成方法、装置、设备及存储介质
CN111179962B (zh) 语音分离模型的训练方法、语音分离方法及装置
CN112598686B (zh) 图像分割方法、装置、计算机设备及存储介质
CN113763532B (zh) 基于三维虚拟对象的人机交互方法、装置、设备及介质
CN111031386B (zh) 基于语音合成的视频配音方法、装置、计算机设备及介质
CN111327772B (zh) 进行自动语音应答处理的方法、装置、设备及存储介质
CN111680123B (zh) 对话模型的训练方法、装置、计算机设备及存储介质
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN113762971A (zh) 数据加密方法、装置、计算机设备及存储介质
CN111581958A (zh) 对话状态确定方法、装置、计算机设备及存储介质
CN114281956A (zh) 文本处理方法、装置、计算机设备及存储介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN112742024A (zh) 虚拟对象的控制方法、装置、设备及存储介质
CN116863042A (zh) 虚拟对象的动作生成方法及动作生成模型的训练方法
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN114328815A (zh) 文本映射模型的处理方法、装置、计算机设备及存储介质
CN111428079A (zh) 文本内容处理方法、装置、计算机设备及存储介质
CN113822084A (zh) 语句翻译方法、装置、计算机设备及存储介质
CN117436418A (zh) 指定类型文本的生成方法、装置、设备及存储介质
CN113409770A (zh) 发音特征处理方法、装置、服务器及介质
CN112528760A (zh) 图像处理方法、装置、计算机设备及介质
CN113570510A (zh) 图像处理方法、装置、设备及存储介质
CN115578494B (zh) 中间帧的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination