CN111459452B - 交互对象的驱动方法、装置、设备以及存储介质 - Google Patents

交互对象的驱动方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111459452B
CN111459452B CN202010246112.0A CN202010246112A CN111459452B CN 111459452 B CN111459452 B CN 111459452B CN 202010246112 A CN202010246112 A CN 202010246112A CN 111459452 B CN111459452 B CN 111459452B
Authority
CN
China
Prior art keywords
sequence
data
driving
interactive object
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010246112.0A
Other languages
English (en)
Other versions
CN111459452A (zh
Inventor
张子隆
吴文岩
吴潜溢
许亲亲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010246112.0A priority Critical patent/CN111459452B/zh
Publication of CN111459452A publication Critical patent/CN111459452A/zh
Priority to JP2021556973A priority patent/JP7227395B2/ja
Priority to KR1020217031139A priority patent/KR20210129713A/ko
Priority to PCT/CN2020/129806 priority patent/WO2021196645A1/zh
Priority to TW109144967A priority patent/TWI760015B/zh
Application granted granted Critical
Publication of CN111459452B publication Critical patent/CN111459452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Abstract

公开了一种交互对象的驱动方法、装置、设备以及存储介质，所述交互对象展示在显示设备中，所述方法包括：获取所述交互对象的驱动数据，并识别所述驱动数据的驱动模式；响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数；根据所述控制参数控制所述交互对象的姿态。

Description

交互对象的驱动方法、装置、设备以及存储介质
技术领域
本公开涉及计算机技术领域，具体涉及一种交互对象的驱动方法、装置、设备以及存储介质。
背景技术
人机交互的方式大多基于按键、触摸、语音进行输入，通过在显示屏上呈现图像、文本或虚拟人物进行回应。目前虚拟人物多是在语音助理的基础上改进得到的，其只是对设备的语音进行输出，用户与虚拟人物的交互还停留表面上。
发明内容
本公开实施例提供一种交互对象的驱动方案。
根据本公开的一方面，提供一种交互对象的驱动方法，所述交互对象展示在显示设备中，所述方法包括：获取所述交互对象的驱动数据，并识别所述驱动数据的驱动模式；响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数；根据所述控制参数控制所述交互对象的姿态。
结合本公开提供的任一实施方式，所述方法还包括：根据所述驱动数据控制所述显示设备输出语音和/或展示文本。
结合本公开提供的任一实施方式，所述识别所述驱动数据对应的驱动模式，包括：根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第一驱动模式，所述目标数据与交互对象的预设控制参数相对应；所述响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数，包括：响应于所述第一驱动模式，将所述目标数据对应的所述预设控制参数，作为所述交互对象的控制参数。
结合本公开提供的任一实施方式，所述目标数据包括关键词或关键字，所述关键词或所述关键字与交互对象的设定动作的预设控制参数相对应；或者，所述目标数据包括音节，所述音节与所述交互对象的设定嘴型动作的预设控制参数对应。
结合本公开提供的任一实施方式，所述识别所述驱动数据对应的驱动模式，包括：根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若未检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第二驱动模式，所述目标数据与交互对象的预设控制参数相对应；所述响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数，包括：响应于所述第二驱动模式，获取所述语音数据序列中的至少一个语音数据单元的特征信息；获取与所述特征信息对应的所述交互对象的控制参数。
结合本公开提供的任一实施方式，所述语音数据序列包括音素序列，所述获取所述语音数据序列中的至少一个语音数据单元的特征信息，包括：对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；根据所述第一编码序列，获取至少一个音素对应的特征编码；根据所述特征编码，获得所述至少一个音素的特征信息。
结合本公开提供的任一实施方式，所述语音数据序列包括语音帧序列，所述获取所述语音数据序列中的至少一个语音数据单元的特征信息，包括：获取所述语音帧序列对应的第一声学特征序列，所述第一声学特征序列包括与所述语音帧序列中的每个语音帧对应的声学特征向量；根据所述第一声学特征序列，获取至少一个语音帧对应的声学特征向量；根据所述声学特征向量，获得所述至少一个语音帧对应的特征信息。
结合本公开提供的任一实施方式，所述交互对象的控制参数包括面部姿态参数，所述面部姿态参数包括面部肌肉控制系数，用于控制至少一个面部肌肉的运动状态；所述根据所述驱动数据获取所述交互对象的控制参数，包括：根据所述驱动数据获取所述交互对象的面部肌肉控制系数；所述根据所述控制参数控制所述交互对象的姿态，包括：根据所获取的面部肌肉控制系数，驱动所述交互对象做出与所述驱动数据匹配的面部动作。
结合本公开提供的任一实施方式，所述方法还包括：获取与所述面部姿态参数关联的身体姿态的驱动数据；根据与所述面部姿态参数值关联的身体姿态的驱动数据，驱动所述交互对象做出肢体动作。
结合本公开提供的任一实施方式，所述交互对象的控制参数包括所述交互对象的至少一个局部区域的控制向量；所述根据所述驱动数据获取所述交互对象的控制参数，包括：根据所述驱动数据获取所述交互对象的至少一个局部区域的控制向量；所述根据所述控制参数控制所述交互对象的姿态，包括：根据所获取的所述至少一个局部区域的控制向量，控制所述交互对象的面部动作和/或肢体动作。
结合本公开提供的任一实施方式，所述获取与所述特征信息对应的所述交互对象的控制参数，包括：将所述特征信息输入至循环神经网络，获得与所述特征信息对应的所述交互对象的控制参数。
根据本公开的一方面，提出一种交互对象的驱动装置，所述交互对象展示在显示设备中，所述装置包括：第一获取单元，用于获取所述交互对象的驱动数据，并识别所述驱动数据的驱动模式；第二获取单元，用于响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数；驱动单元，用于根据所述控制参数控制所述交互对象的姿态。
结合本公开提供的任一实施方式，所述装置还包括输出单元，用于根据所述驱动数据控制所述显示设备输出语音和/或展示文本。
结合本公开提供的任一实施方式，所述第一获取单元在用于识别所述驱动数据对应的驱动模式时，具体用于：根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第一驱动模式，所述目标数据与交互对象的预设控制参数相对应；所述响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数，包括：响应于所述第一驱动模式，将所述目标数据对应的所述预设控制参数，作为所述交互对象的控制参数。
结合本公开提供的任一实施方式，所述目标数据包括关键词或关键字，所述关键词或所述关键字与交互对象的设定动作的预设控制参数相对应；或者，所述目标数据包括音节，所述音节与所述交互对象的设定嘴型动作的预设控制参数对应。
结合本公开提供的任一实施方式，所述第一获取单元在用于识别所述驱动数据的驱动模式时，具体用于：根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若未检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第二驱动模式，所述目标数据与交互对象的预设控制参数相对应；所述响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数，包括：响应于所述第二驱动模式，获取所述语音数据序列中的至少一个语音数据单元的特征信息；获取与所述特征信息对应的所述交互对象的控制参数。
结合本公开提供的任一实施方式，所述语音数据序列包括音素序列，所述第二获取单元在用于获取所述语音数据序列中的至少一个语音数据单元的特征信息时，具体用于：对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；根据所述第一编码序列，获取至少一个音素对应的特征编码；根据所述特征编码，获得所述至少一个音素的特征信息。
结合本公开提供的任一实施方式，所述语音数据序列包括语音帧序列，所述第二获取单元在用于获取所述语音数据序列中的至少一个语音数据单元的特征信息时，具体用于：获取所述语音帧序列对应的第一声学特征序列，所述第一声学特征序列包括与所述语音帧序列中的每个语音帧对应的声学特征向量；根据所述第一声学特征序列，获取至少一个语音帧对应的声学特征向量；根据所述声学特征向量，获得所述至少一个语音帧对应的特征信息。
结合本公开提供的任一实施方式，所述交互对象的控制参数包括面部姿态参数，所述面部姿态参数包括面部肌肉控制系数，用于控制至少一个面部肌肉的运动状态；所述第二获取单元在根据所述驱动数据获取所述交互对象的控制参数时，具体用于：根据所述驱动数据获取所述交互对象的面部肌肉控制系数；所述驱动单元具体用于：根据所获取的面部肌肉控制系数，驱动所述交互对象做出与所述驱动数据匹配的面部动作；所述装置还包括肢体驱动单元，用于获取与所述面部姿态参数关联的身体姿态的驱动数据；根据与所述面部姿态参数值关联的身体姿态的驱动数据，驱动所述交互对象做出肢体动作。
结合本公开提供的任一实施方式，所述交互对象的控制参数包括所述交互对象的至少一个局部区域的控制向量；所述第二获取单元在根据所述驱动数据获取所述交互对象的控制参数时，具体用于：根据所述驱动数据获取所述交互对象的至少一个局部区域的控制向量；所述驱动单元具体用于：根据所获取的所述至少一个局部区域的控制向量，控制所述交互对象的面部动作和/或肢体动作。
根据本公开的一方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的任一实施方式所述的交互对象的驱动方法。
根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开提供的任一实施方式所述的交互对象的驱动方法。
本公开一个或多个实施例的交互对象的驱动方法、装置、设备及计算机可读存储介质，根据所述交互对象的驱动数据的驱动模式，来获取所述交互对象的控制参数，以控制所述交互对象的姿态，对于不同的驱动模型可以通过不同的方式来获取相应的交互对象的控制参数，使得交互对象展示出与所述驱动数据的内容和/或对应的语音匹配的姿态，从而使目标对象产生与交互对象正在交流的感觉，提升了目标对象的交互体验。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本公开至少一个实施例提出的交互对象的驱动方法中显示设备的示意图；
图2是本公开至少一个实施例提出的交互对象的驱动方法的流程图；
图3是本公开至少一个实施例提出的对音素序列进行特征编码的过程示意图；
图4是本公开至少一个实施例提出的根据音素序列获得控制参数的过程示意图；
图5是本公开至少一个实施例提出的根据语音帧序列获得控制参数的过程示意图；
图6是本公开至少一个实施例提出的交互对象的驱动装置的结构示意图；
图7是本公开至少一个实施例提出的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开至少一个实施例提供了一种交互对象的驱动方法，所述驱动方法可以由终端设备或服务器等电子设备执行，所述终端设备可以是固定终端或移动终端，例如手机、平板电脑、游戏机、台式机、广告机、一体机、车载终端等等，所述服务器包括本地服务器或云端服务器等，所述方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在本公开实施例中，交互对象可以是任意一种能够与目标对象进行交互的交互对象，其可以是虚拟人物，还可以是虚拟动物、虚拟物品、卡通形象等等其他能够实现交互功能的虚拟形象，虚拟形象的展现形式即可以是2D形式也可以是3D形式，本公开对此并不限定。所述目标对象可以是用户，也可以是机器人，还可以是其他智能设备。所述交互对象和所述目标对象之间的交互方式可以是主动交互方式，也可以是被动交互方式。一示例中，目标对象可以通过做出手势或者肢体动作来发出需求，通过主动交互的方式来触发交互对象与其交互。另一示例中，交互对象可以通过主动打招呼、提示目标对象做出动作等方式，使得目标对象采用被动方式与交互对象进行交互。
所述交互对象可以通过终端设备进行展示，所述终端设备可以是电视机、带有显示功能的一体机、投影仪、虚拟现实(Virtual Reality，VR)设备、增强现实(AugmentedReality，AR)设备等，本公开并不限定终端设备的具体形式。
图1示出本公开至少一个实施例提出的显示设备。如图1所示，该显示设备具有透明显示屏的显示设备，其可以在透明显示屏上显示立体画面，以呈现出具有立体效果的虚拟场景以及交互对象。例如图1中透明显示屏显示的交互对象有虚拟卡通人物。在一些实施例中，本公开中所述的终端设备也可以为上述具有透明显示屏的显示设备，显示设备中配置有存储器和处理器，存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的交互对象的驱动方法，以驱动透明显示屏中显示的交互对象对目标对象进行回应。
在一些实施例中，响应于终端设备接收到用于驱动交互对象输出语音的驱动数据，交互对象可以对目标对象发出指定语音。可以根据终端设备周边目标对象的动作、表情、身份、偏好等，生成驱动数据，以驱动交互对象通过发出指定语音进行回应，从而为目标对象提供拟人化的服务。在交互对象与目标对象的交互过程中，存在根据该驱动数据驱动交互对象发出指定语音的同时，无法驱动所述交互对象做出与该指定语音同步的面部动作，使得交互对象在发出语音时呆板、不自然，影响了目标对象与交互体验。基于此，本公开至少一个实施例提出一种交互对象的驱动方法，以提升目标对象与交互对象进行交互的体验。
图2示出根据本公开至少一个实施例的交互对象的驱动方法的流程图，所述交互对象展示在显示设备中，如图2所示，所述方法包括步骤201～步骤203。
在步骤201中，获取所述交互对象的驱动数据，并识别所述驱动数据的驱动模式。
在本公开实施例中，所述驱动数据可以包括音频(语音)、文本等等。所述驱动数据可以是服务器端或终端设备根据与交互对象进行交互的目标对象的动作、表情、身份、偏好等生成的驱动数据，也可以是终端设备直接获取的，比如从内部存储器调用的驱动数据等。本公开对于该驱动数据的获取方式不进行限制。
根据所述驱动数据的类型，以及所述驱动数据中所包含的信息，可以确定所述驱动数据的驱动模式。
在一个示例中，可以根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元。其中，所述语音数据单元可以是以字或词为单位构成的，也可以是以音素或音节为单位构成的。对应于文本类型的驱动数据，则可以所述驱动数据对应的字序列、词序列等等；对应于音频类型的驱动数据，则可以获得所述驱动数据对应的音素序列、音节序列、语音帧序列等等，当然，音频数据和文本数据也可以互相转换，比如，将音频数据转换为文本数据之后再进行语音数据单元的划分，或者，将文本数据转换为音频数据之后再进行语音数据单元的划分，本公开对此并不限定。
在检测到所述语音数据单元中包括目标数据的情况下，则可以确定所述驱动数据的驱动模式为第一驱动模式，所述目标数据与交互对象的预设控制参数相对应。
所述目标数据可以是设置的关键词或关键字等等，所述关键词或所述关键字与交互对象的设定动作的预设控制参数相对应。
在本公开实施例中，预先为每一个目标数据匹配了设定动作，而每个设定动作通过相应的控制参数进行控制而实现，因而每个目标数据与设定动作的控制参数匹配。以关键词为“挥手”为例，在所述语音数据单元包含了文本形式的“挥手”，和/或语音形式的“挥手”的情况下，则可以确定所述驱动数据中包含了目标数据。
示例性的，所述目标数据包括音节，所述音节与所述交互对象的设定嘴型动作的预设控制参数对应。
所述目标数据对应的音节属于预先划分好的一种音节类型，且所述一种音节类型与一种设定嘴型相匹配。其中，音节是由至少一个音素组合形成的语音单位，所述音节包括拼音语言的音节，和非拼音语言(例如，汉语)的音节。一种音节类型是指发音动作一致或者基本一致的音节，一种音节类型可与交互对象的一种动作对应，具体的，一种音节类型可与交互对象说话时的一种设定的嘴型对应，即与一种发音动作对应，这样，不同类型的音节分别匹配了设定的嘴型的控制参数，比如，拼音“ma”、“man”、“mang”这类型的音节，由于这类音节的发音动作基本一致，故可以视为同一类型，均可对应交互对象说话时“嘴巴张开”的嘴型的控制参数。
在未检测到所述语音数据单元中包括目标数据的情况下，则可以确定所述驱动数据的驱动模式为第二驱动模式，所述目标数据与交互对象的预设控制参数相对应。
本领域技术人员应当理解，上述第一驱动模式和第二驱动模式仅用于示例，本公开实施例对于具体驱动模式不进行限定。
在步骤202中，响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数。
对于驱动数据的各种驱动模式，可以采用相应的方式获取所述交互对象的控制参数。
在一个示例中，响应于步骤201中确定的第一驱动模式，可以将所述目标数据对应的所述预设控制参数，作为所述交互对象的控制参数。例如，对于第一驱动模式，可以根据所述语音数据序列中包含的目标数据(比如“挥手”)所对应的预设控制参数，作为所述交互对象的控制参数。
在一个示例中，响应于步骤201中确定的第二驱动模式，则可以获取所述语音数据序列中的至少一个语音数据单元的特征信息；获取与所述特征信息对应的所述交互对象的控制参数。也即，在未检测到语音数据序列中包含目标数据的情况下，则可以所述语音数据单元的特征信息来获取对应的控制参数。所述特征信息可以包括对所述语音数据序列进行特征编码所获得的语音数据单元的特征信息、根据所述语音数据序列的声学特征信息所获得的语音数据单元的特征信息等等。
在步骤203中，根据所述控制参数控制所述交互对象的姿态。
在一些实施例中，所述交互对象的控制参数包括面部姿态参数，所述面部姿态参数包括面部肌肉控制系数，用于控制至少一个面部肌肉的运动状态。在这种情况下，可以根据所述驱动数据可以获取所述交互对象的面部肌肉控制系数；并根据所获取的面部肌肉控制系数，驱动所述交互对象做出与所述驱动数据匹配的面部动作。
在一些实施例中，所述交互对象的控制参数包括所述交互对象的至少一个局部区域的控制向量。在这种情况下，根据所述驱动数据获取所述交互对象的至少一个局部区域的控制向量；并根据所获取的所述至少一个局部区域的控制向量，控制所述交互对象的面部动作和/或肢体动作。
根据所述交互对象的驱动数据的驱动模式，来获取所述交互对象的控制参数，以控制所述交互对象的姿态，对于不同的驱动模型可以通过不同的方式来获取相应的交互对象的控制参数，使得交互对象展示出与所述驱动数据的内容和/或对应的语音匹配的姿态，从而使目标对象产生与交互对象正在交流的感觉，提升了目标对象的交互体验。
在一些实施例中，还可以根据所述驱动数据控制所述显示设备输出语音和/或展示文本。并且可以在输出语音和/或文本的同时，根据所述控制参数控制所述交互对象的姿态。
在本公开实施例中，由于控制参数是与所述驱动数据匹配的，因此根据所述驱动数据输出的语音和/或文本，与根据所述控制参数控制交互对象的姿态是同步进行的情况下，交互对象所做出的姿态与输出的语音和/或文本是同步的，给目标对象以所述交互对象正在交流的感觉。
在一些实施例中，所述语音数据序列包括音素序列。响应于所述驱动数据包括音频数据，可以通过将音频数据拆分为多个音频帧，根据音频帧的状态对音频帧进行组合而形成音素；根据所述音频数据所形成的各个音素则形成了音素序列。其中，音素是根据语音的自然属性划分出来的最小语音单元，真实人物一个发音动作能够形成一个音素。响应于所述驱动数据为文本，可以根据所述文本中包含的语素，获得所述语素所包含的音素，从而获得相应的音素序列。
在一些实施例中，可以通过以下方式获取所述语音数据序列中的至少一个语音数据单元的特征信息：对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；根据所述第一编码序列，获取至少一个音素对应的特征编码；根据所述特征编码，获得所述至少一个音素的特征信息。
图3示出对音素序列进行特征编码的过程示意图。如图3所示，音素序列310含音素j、i1、j、ie4(为简洁起见，只示出部分音素)，针对每种音素j、i1、ie4分别获得与上述各音素分别对应的编码序列321、322、323。在各个编码序列中，在有所述音素的时间上对应的编码值为第一数值(例如为1)，在没有所述音素的时间上对应的编码值为第二数值(例如为0)。以编码序列321为例，在音素序列310中有音素j的时间上，编码序列321的值为第一数值在没有音素j的时间上，编码序列321的值为第二数值。所有编码序列构成总编码序列320。
根据音素j、i1、ie4分别对应的编码序列321、322、323的编码值，以及该三个编码序列中对应的音素的持续时间，也即在编码序列321中j的持续时间、在编码序列322中i1的持续时间、在编码序列323中ie4的持续时间，可以获得编码序列321、322、323的特征信息。
例如，可以利用高斯滤波器对分别所述编码序列321、322、323中的音素j、i1、ie4在时间上的连续值进行高斯卷积操作，获得所述编码序列的特征信息。也即，通过高斯滤波器对于音素的0-1的时间上的连续值进行高斯卷积操作，使得各个编码序列中编码值从第二数值到第一数值或者从第一数值到第二数值的变化阶段变得平滑。对各个编码序列321、322、323分别进行高斯卷积操作，从而获得各个编码序列的特征值，其中，特征值为构成特征信息中参数，根据各个编码序列的特征信息的集合，则获得了该音素序列310所对应的特征信息330。本领域技术人员应当理解，也可以对各个编码序列进行其他的操作来获得所述编码序列的特征信息，本公开对此不进行限制。
在本公开实施例中，通过根据音素序列中每个音素的持续时间获得所述编码序列的特征信息，使得编码序列的变化阶段平滑，例如，编码序列的值除了0和1也呈现出中间状态的值，例如0.2、0.3等等，而根据这些中间状态的值所获取的姿态参数值，使得交互人物的姿态变化过度的更加平缓、自然，尤其是交互人物的表情变化更加平缓、自然，提高了目标对象的交互体验。
在一些实施例中，所述面部姿态参数可以包括面部肌肉控制系数。
人脸的运动，从解剖学角度来看，是由面部各部分肌肉协同变形的结果。因此，通过对交互对象的面部肌肉进行划分而获得面部肌肉模型，对划分得到的每一块肌肉(区域)通过对应的面部肌肉控制系数控制其运动，也即对其进行收缩/扩张控制，则能够使交互人物的面部做出各种表情。对于所述面部肌肉模型的每一块肌肉，可以根据肌肉所在的面部位置和肌肉自身的运动特征，来设置不同的肌肉控制系数所对应的运动状态。例如，对于上唇肌肉，其控制系数的数值范围为(0～1)，在该范围内的不同数值，对应于上唇肌肉不同的收缩/扩张状态，通过改变该数值，可以实现嘴部的纵向开合；而对于左嘴角肌肉，其控制系数的数值范围为(0～1)，在该范围内的不同数值，对应于左嘴角肌肉的收缩/扩张状态，通过改变该数值，可以实现嘴部的横向变化。
在根据音素序列输出声音的同时，根据与所述音素序列对应的面部肌肉控制系数来驱动所述交互对象做出面部表情，则可以实现显示设备在输出声音的同时，交互对象同步做出发出该声音时的表情，从而使目标对象产生该交互对象正在说话的感觉，提高了目标对象的交互体验。
在一些实施例中，可以将所述交互对象的面部动作与身体姿态相关联，也即将该面部动作所对应的面部姿态参数值与所述身体姿态相关联，所述身体姿态可以包括肢体动作、手势动作、走路姿态等等。
在交互对象的驱动过程中，获取与所述面部姿态参数值关联的身体姿态的驱动数据；在根据所述音素序列输出声音的同时，根据与所述面部姿态参数值关联的身体姿态的驱动数据，驱动所述交互对象做出肢体动作。也即，在根据所述交互对象的驱动数据驱动所述交互对象做出面部动作的同时，还根据该面部动作对应的面部姿态参数值获取相关联的身体姿态的驱动数据，从而在输出声音的同时，可以驱动交互对象同时做出相应的面部动作和肢体动作，使交互对象的说话状态更加生动自然，提高了目标对象的交互体验。
由于声音的输出需要保持连续性，因此可以通过在音素序列上进行移动时间窗口的方式输出在每次移动过程中时间窗口内的音素，并以设定时长作为每次滑动时间窗口的步长。例如，可以将时间窗口的长度设置为1秒，将设定时长设置为0.1秒。在输出时间窗口内的音素的同时，获取时间窗口设定位置处的音素或音素的特征信息所对应的姿态参数值，利用所述姿态参数值控制所述交互对象的姿态；随着时间窗口的每次移动，在输出时间窗口内的音素同时，都以时间窗口设定位置处对应的姿态参数值控制交互对象的姿态，从而使交互对象的姿态与输出的语音同步，给目标对象以所述交互对象正在说话的感觉。
通过改变设定时长，可以改变获取姿态参数的时间间隔(频率)，从而改变了交互对象做出姿态的频率。可以根据实际的交互场景来设置该设定时长，以使交互对象的姿态变化更加自然。
在一些实施例中，可以通过获取交互对象的至少一个局部区域的控制向量控制所述交互对象的姿态。
所述局部区域是对交互对象的整体(包括面部和/或身体)进行划分而得到的。面部的其中一个局部区域可以对应于交互对象的一系列面部表情或动作，例如眼部区域可以对应于交互对象睁眼、闭眼、眨眼、视角变换等面部动作；又例如嘴部区域对应于交互对象闭嘴、不同程度的张嘴等面部动作。而身体的其中一个局部区域可以对应于交互对象的一系列肢体动作，例如腿部区域可以对应于交互对象走路、跳跃、踢腿等动作。
所述交互对象的局部区域的控制参数，包括所述局部区域的控制向量。每个局部区域的姿态控制向量用于驱动所述交互对象的所述局部区域进行动作。不同的控制向量值对应于不同的动作或者动作幅度。例如，对于嘴部区域的控制向量，其一组控制向量值可以使所述交互对象的嘴部微张，而另一组控制向量值可以使所述交互对象的嘴部大张。通过以不同的控制向量值来驱动所述交互对象，可以使相应的局部区域做出不同动作或者不同幅度的动作。
局部区域可以根据需要控制的交互对象的动作进行选择，例如在需要控制所述交互对象面部以及肢体同时进行动作时，可以获取全部局部区域的控制向量；在需要控制所述交互对象的表情时，则可以获取所述面部所对应的局部区域的控制向量。
在一些实施例中，可以通过在所述第一编码序列上进行滑窗的方式获取至少一个音素对应的特征编码。其中，所述第一编码序列可以是经过高斯卷积操作后的编码序列。
以设定长度的时间窗口和设定步长，对所述编码序列进行滑窗，将所述时间窗口内的特征编码作为所对应的至少一个音素的特征编码，在完成滑窗后，根据得到的多个特征编码，则可以获得第二编序列。如图4所示，通过在第一编码序列420或者平滑后的第一编码序列440上，滑动设定长度的时间窗口，分别获得特征编码1、特征编码2、特征编码3，以此类推，在遍历第一编码序列后，获得特征编码1、2、3、…、M，从而得到了第二编码序列440。其中，M为正整数，其数值根据第一编码序列的长度、时间窗口的长度以及时间窗口滑动的步长确定。
根据特征编码1、2、3、…、M，分别可以获得相应的控制向量1、2、3、…、M，从而获得控制向量的序列450。
控制向量的序列450与第二编码序列440在时间上是对齐的，由于所述第二编码序列中的每个编码特征是根据音素序列中的至少一个音素获得的，因此控制向量的序列450中的每个特征向量同样是根据音素序列中的至少一个音素获得的。在播放文本数据所对应的音素序列的同时，根据所述控制向量的序列驱动所述交互对象做出动作，即能够实现驱动交互对象发出文本内容所对应的声音的同时，做出与声音同步的动作，给目标对象以所述交互对象正在说话的感觉，提升了目标对象的交互体验。
假设在第一个时间窗口的设定时刻开始输出编码特征，可以将在所述设定时刻之前的控制向量设置为默认值，也即在刚开始播放音素序列时，使所述交互对象做出默认的动作，在所述设定时刻之后开始利用根据第一编码序列所得到的控制向量的序列驱动所述交互对象做出动作。以图4为例，在t0时刻开始输出编码特征1，在t0时刻之前对应的是默认控制向量。
所述时间窗口的时长，与所述编码特征所包含的信息量相关。在时间窗口所含的信息量较大的情况下，经所述循环神经网络处理会输出较均匀的结果。若时间窗口过大，可能导致交互对象说话时表情无法与部分字对应；若时间窗口过小，可能导致交互对象说话时表情显得生硬。因此，时间窗口的时长需要根据文本数据所对应的音素持续的最小时间来确定，以使驱动所述交互对象所做出的动作与声音具有更强的关联性。
进行滑窗的步长与获取控制向量的时间间隔(频率)相关，也即与驱动交互对象做出动作的频率相关。可以根据实际的交互场景来设置该设定所述时间窗口的时长以及步长，以使交互对象做出的表情和动作与声音的关联性更强，并且更加生动、自然。
在一些实施例中，在所述音素序列中音素之间的时间间隔大于设定阈值的情况下，根据所述局部区域的设定控制向量，驱动所述交互对象做出动作。也即，在交互人物说话停顿较长的时候，则驱动交互对象做出设定的动作。例如，在输出的声音停顿较大时，可以使交互人物做出微笑的表情，或者做出身体微微的摆动，以避免在停顿较长时交互人物面无表情地直立，使得交互对象说话的过程自然、流畅，提高目标对象的交互感受。
在一些实施例中，所述语音数据序列包括语音帧序列，获取所述语音数据序列中的至少一个语音数据单元的特征信息，包括：获取所述语音帧序列对应的第一声学特征序列，所述第一声学特征序列包括与所述语音帧序列中的每个语音帧对应的声学特征向量；根据所述第一声学特征序列，获取至少一个语音帧对应的声学特征向量；根据所述声学特征向量，获得所述至少一个语音帧对应的特征信息。
在本公开实施例中，可以根据所述语音帧序列的声学特征，确定交互对象的至少一个局部区域的控制参数，也可以根据所述语音帧序列的其他特征来确定控制参数。
首先，获取所述语音帧序列对应的声学特征序列。此处，为了与后续提到的声学特征序列进行区分，将所述语音帧序列对应的声学特征序列称为第一声学特征序列。
在本公开实施例中，声学特征可以是与语音情感相关的特征，例如基频特征、共峰特征、梅尔频率倒谱系数(Mel Frequency Cofficient，MFCC)等等。
所述第一声学特征序列是对整体的语音帧序列进行处理所得到的，以MFCC特征为例，可以通过对所述语音帧序列中的各个语音帧进行加窗、快速傅里叶变换、滤波、对数处理、离散余弦处理后，得到各个语音帧对应的MFCC系数。
所述第一声学特征序列是针对整体的语音帧序列进行处理所得到的，体现了语音数据序列的整体声学特征。
在本公开实施例中，所述第一特征序列包含与所述语音帧序列中的每个语音帧对应的声学特征向量。以MFCC为例，所述第一特征序列包含了每个语音帧的MFCC系数。根据所述语音帧所获得的第一声学特征序列如图5所示。
接下来，根据所述第一声学特征序列，获取至少一个语音帧对应的声学特征。
在所述第一声学特征序列包括了所述语音帧序列中的每个语音帧对应的声学特征向量的情况下，可以将所述至少一个语音帧对应的相同数目的特征向量作为所述语音帧的声学特征。其中，上述相同数目的特征向量可以形成一个特征矩阵，一特征矩阵即为所述至少一个语音帧的声学特征。
以图5为例，所述第一声学特征序列中的N个特征向量形成了所对应的N个语音帧的声学特征。所述第一声学特征矩阵可以包括多个声学特征，各个声学特征所对应的语音帧之间可以是重叠的。
最后，获取所述声学特征对应的所述交互对象的至少一个局部区域的控制向量。
对于所获得的至少一个语音帧对应的声学特征，可以获取至少一个局部区域的控制向量。局部区域可以根据需要控制的交互对象的动作进行选择，例如在需要控制所述交互对象面部以及肢体同时进行动作时，可以获取全部局部区域的控制向量；在需要控制所述交互对象的表情时，则可以获取所述面部所对应的局部区域的控制向量。
在播放语音数据序列的同时，根据通过所述第一声学特征序列所获得的各个声学特征对应的控制向量驱动所述交互对象做出动作，则可以实现终端设备在输出声音的同时，交互对象做出与所输出的声音相配合的动作，包括面部动作、表情以及肢体动作等，从而使目标对象产生该交互对象正在说话的感觉；并且由于所述控制向量是与输出声音的声学特征相关的，根据所述控制向量进行驱动使得交互对象的表情和肢体动作具有了情感因素，使得交互对象的说话过程更加自然、生动，从而提高了目标对象的交互体验。
在一些实施例中，可以通过在所述第一声学特征序列上进行滑窗的方式获取所述至少一个语音帧对应的声学特征。
通过以设定长度的时间窗口和设定步长，对所述第一声学特征序列进行滑窗，将所述时间窗口内的声学特征向量作为对应的相同数目语音帧的声学特征，则可以获得这些语音帧共同对应的声学特征。在完成滑窗后，根据得到的多个声学特征，则可以获得第二声学特征序列。
以图5所示的交互对象的驱动方法为例，所述语音帧序列每秒包括100个语音帧，所述时间窗口的长度为1s，步长为0.04s。由于所述第一声学特征序列中的每个特征向量是与语音帧对应的，相应地，所述第一声学特征序列每秒同样包括100个特征向量。在所述第一声学特征序列上进行滑窗过程中，每次获得所述时间窗口内的100个特征向量，作为对应的100个语音帧的声学特征。通过在所述第一声学特征序列上以0.04s的步长移动所述时间窗口，分别获得第1～100语音帧对应的声学特征1、第4～104语音帧所对应的声学特征2，以此类推，在遍历第一声学特征后，得到声学特征1、2、…、M，从而获得第二声学特征序列，其中，M为正整数，其数值根据语音帧序的帧数(第一声学特征序列中特征向量的数目)、时间窗口的长度以及步长确定。
根据声学特征1、2、…、M，分别可以获得相应的控制向量1、2、…、M，从而获得控制向量的序列。
如图5所示，所述控制向量的序列与所述第二声学特征序列在时间上是对齐的，所述第二声学特征序列中的声学特征1、2、…、M，分别是根据所述第一声学特征序列中的N个声学特征获得的，因此，在播放所述语音帧的同时，可以根据所述控制向量的序列驱动所述交互对象做出动作。
假设在第一个时间窗口的设定时刻开始输出声学特征，可以将在所述设定时刻之前的控制向量设置为默认值，也即在刚开始播放语音帧序列时，使所述交互对象做出默认的动作，在所述设定时刻之后开始利用根据第一声学特征序列所得到的控制向量的序列驱动所述交互对象做出动作。
以图5为例，在t0时刻开始输出声学特征1，并以步长对应的时间0.04s为间隔输出声学特征，在t1时刻开始输出声学特征2，t2时刻开始输出声学特征3，直至在t(M-1)时刻输出声学特征M。对应地，在ti～t(i+1)时间段内对应的是特征向量(i+1)，其中，i为小于(M-1)的整数，而在t0时刻之间，对应的是默认控制向量。
在本公开实施例中，通过在播放所述语音数据序列的同时，根据所述控制向量的序列驱动所述交互对象做出动作，从而使交互对象的动作与所输出的声音同步，给目标对象以所述交互对象正在说话的感觉，提升了目标对象的交互体验。
所述时间窗口的时长，与所述声学特征所包含的信息量相关。时间窗口的时长越大，所包含的信息量越多，驱动所述交互对象所做出的动作与声音的关联性越强。进行滑窗的步长与获取控制向量的时间间隔(频率)相关，也即与驱动交互对象做出动作的频率相关。可以根据实际的交互场景来设置该设定所述时间窗口的时长以及步长，以使交互对象做出的表情和动作与声音的关联性更强，并且更加生动、自然。
在一些实施例中，所述声学特征包括L个维度的梅尔倒谱系数，其中，L为正整数。MFCC表示语音信号的能量在不同频率范围的分布，可以通过将所述语音帧序列中的多个语音帧数据转换至频域，利用包括L个子带的梅尔滤波器，获得L个维度的MFCC。通过根据语音数据序列的MFCC来获取控制向量，以根据所述控制向量驱动所述交互对象进行面部动作和肢体动作，使得交互对象的表情和肢体动作具有了情感因素，使得交互对象的说话过程更加自然、生动，从而提高了目标对象的交互体验。
在一些实施例中，可以将所述语音数据单元的特征信息输入至循环神经网络，获得与所述特征信息对应的所述交互对象的控制参数。由于所述循环神经网络是一种时间递归神经网络，其可以学习所输入的特征信息的历史信息，根据语音单元序列输出控制参数，例如面部姿态控制参数，或者至少一个局部区域的控制向量。
在本公开实施例中，利用预先训练的循环神经网络获取所述语音数据单元的特征信息对应的控制参数，将历史特征信息和当前特征信息进行融合，从而使得历史控制参数对当前控制参数的变化产生影响，使得交互人物的表情变化和肢体动作更加平缓、自然。
在一些实施例中，可以通过以下方式对所述循环卷积神经网络进行训练。
首先，获取特征信息样本。例如，可以通过以下方式获取所述特征信息样本。
从获取的视频段中提取参考对象的语音段；对所述视频段进行采样获取多个包含所述参考对象的第一图像帧；以及，对所述语音段进行采样，获得多个语音帧；
根据与所述第一图像帧对应的所述语音帧所包含的语音数据单元，获取所述语音帧对应的特征信息；
将所述第一图像帧转化为包含所述交互对象的第二图像帧，获取所述第二图像帧对应的所述交互对象的控制参数。
根据所述控制参数，对与所述第一图像帧对应的特征信息进行标注，获得特征信息样本。
在一些实施例中，所述特征信息包括音素的特征编码，所述控制参数包括面部肌肉控制系数。对应于上述获取特征信息样本的方法，利用所获得的面部肌肉控制系数，对与所述第一图像帧对应的音素的特征编码进行标注，则获得了音素的特征编码对应的特征信息样本。
在一些实施例中，所述特征信息包括音素的特征编码，所述控制参数包括所述交互对象的至少一个局部的控制向量。对应于上述获取特征信息样本的方法，利用所获得的至少一个局部的控制向量，对与所述第一图像帧对应的音素的特征编码进行标注，则获得了音素的特征编码对应的特征信息样本。
在一些实施例中，所述特征信息包括语音帧的声学特征，所述控制参数包括所述交互对象的至少一个局部的控制向量。对应于上述获取特征信息样本的方法，利用所获得的至少一个局部的控制向量，对与所述第一图像帧对应的语音帧的声学特征进行标注，则获得了语音帧的声学特征对应的特征信息样本。
本领域技术人员应当理解，所述特征信息样本不限于以上所述，对应于各个类型的语音数据单元的各种特征，可以获得相应的特征信息样本。
在获得所述特征信息样本后，根据所述特征信息样本对初始循环神经网络进行训练，在网络损失的变化满足收敛条件后训练得到所述循环神经网络，其中，所述网络损失包括所述初始循环神经网络预测得到的控制参数与标注的控制参数之间的差异。
在本公开实施例中，通过将一角色的视频段，拆分为对应的多个第一图像帧和多个语音帧，通过将包含真实角色的第一图像帧转化为包含交互对象的第二图像帧来获取至少一个语音帧的特征信息对应的控制参数，使得特征信息与控制参数的对应性好，从而获得高质量的特征信息样本，使得交互对象的姿态更接近于对应角色的真实姿态。
图6示出根据本公开至少一个实施例的交互对象的驱动装置的结构示意图，如图6所示，该装置可以包括：第一获取单元601，用于获取所述交互对象的驱动数据，并识别所述驱动数据的驱动模式；第二获取单元602，用于响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数；驱动单元603，用于根据所述控制参数控制所述交互对象的姿态。
在一些实施例中，所述装置还包括输出单元，用于根据所述驱动数据控制所述显示设备输出语音和/或展示文本。
在一些实施例中，所述第一获取单元在用于识别所述驱动数据对应的驱动模式时，具体用于：根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第一驱动模式，所述目标数据与交互对象的预设控制参数相对应；所述响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数，包括：响应于所述第一驱动模式，将所述目标数据对应的所述预设控制参数，作为所述交互对象的控制参数。
在一些实施例中，所述目标数据包括关键词或关键字，所述关键词或所述关键字与交互对象的设定动作的预设控制参数相对应；或者，所述目标数据包括音节，所述音节与所述交互对象的设定嘴型动作的预设控制参数对应。
在一些实施例中，所述第一获取单元在用于识别所述驱动数据的驱动模式时，具体用于：根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若未检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第二驱动模式，所述目标数据与交互对象的预设控制参数相对应；所述响应于所述驱动模式，根据所述驱动数据获取所述交互对象的控制参数，包括：响应于所述第二驱动模式，获取所述语音数据序列中的至少一个语音数据单元的特征信息；获取与所述特征信息对应的所述交互对象的控制参数。
在一些实施例中，所述语音数据序列包括音素序列，所述第二获取单元在用于获取所述语音数据序列中的至少一个语音数据单元的特征信息时，具体用于：对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；根据所述第一编码序列，获取至少一个音素对应的特征编码；根据所述特征编码，获得所述至少一个音素的特征信息。
在一些实施例中，所述语音数据序列包括语音帧序列，所述第二获取单元在用于获取所述语音数据序列中的至少一个语音数据单元的特征信息时，具体用于：获取所述语音帧序列对应的第一声学特征序列，所述第一声学特征序列包括与所述语音帧序列中的每个语音帧对应的声学特征向量；根据所述第一声学特征序列，获取至少一个语音帧对应的声学特征向量；根据所述声学特征向量，获得所述至少一个语音帧对应的特征信息。
在一些实施例中，所述交互对象的控制参数包括面部姿态参数，所述面部姿态参数包括面部肌肉控制系数，用于控制至少一个面部肌肉的运动状态；所述第二获取单元在根据所述驱动数据获取所述交互对象的控制参数时，具体用于：根据所述驱动数据获取所述交互对象的面部肌肉控制系数；所述驱动单元具体用于：根据所获取的面部肌肉控制系数，驱动所述交互对象做出与所述驱动数据匹配的面部动作；所述装置还包括肢体驱动单元，用于获取与所述面部姿态参数关联的身体姿态的驱动数据；根据与所述面部姿态参数值关联的身体姿态的驱动数据，驱动所述交互对象做出肢体动作。
在一些实施例中，所述交互对象的控制参数包括所述交互对象的至少一个局部区域的控制向量；所述第二获取单元在根据所述驱动数据获取所述交互对象的控制参数时，具体用于：根据所述驱动数据获取所述交互对象的至少一个局部区域的控制向量；所述驱动单元具体用于：根据所获取的所述至少一个局部区域的控制向量，控制所述交互对象的面部动作和/或肢体动作。
根据本公开的一方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开提供的任一实施方式所述的交互对象的驱动方法。
根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开提供的任一实施方式所述的交互对象的驱动方法。
本说明书至少一个实施例还提供了一种电子设备，如图7所示，所述设备包括存储器、处理器，存储器用于存储可在处理器上运行的计算机指令，处理器用于在执行所述计算机指令时实现本公开任一实施例所述的交互对象的驱动方法。
本说明书至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的交互对象的驱动方法。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (12)

1.一种交互对象的驱动方法，其特征在于，所述交互对象展示在显示设备中，所述方法包括：
获取所述交互对象的驱动数据，根据所述驱动数据控制所述显示设备输出语音；
根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第一驱动模式，所述目标数据与交互对象的预设控制参数相对应；其中，所述目标数据对应的音节属于预先划分好的一种音节类型，所述音节类型与一种设定嘴型相匹配；
响应于所述第一驱动模式，将所述目标数据对应的所述预设控制参数，作为所述交互对象的面部姿态参数；
根据所述面部姿态参数控制所述交互对象的面部动作。
2.根据权利要求1所述的方法，其特征在于，所述语音数据序列包括音素序列，所述获取所述语音数据序列中的至少一个语音数据单元的特征信息，包括：
对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；
根据所述第一编码序列，获取至少一个音素对应的特征编码；
根据所述特征编码，获得所述至少一个音素的特征信息。
3.根据权利要求2所述的方法，其特征在于，所述语音数据序列包括语音帧序列，所述获取所述语音数据序列中的至少一个语音数据单元的特征信息，包括：
获取所述语音帧序列对应的第一声学特征序列，所述第一声学特征序列包括与所述语音帧序列中的每个语音帧对应的声学特征向量；
根据所述第一声学特征序列，获取至少一个语音帧对应的声学特征向量；
根据所述声学特征向量，获得所述至少一个语音帧对应的特征信息。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述面部姿态参数包括面部肌肉控制系数，用于控制至少一个面部肌肉的运动状态；
所述根据所述驱动数据获取所述交互对象的控制参数，包括：
根据所述驱动数据获取所述交互对象的面部肌肉控制系数；
所述根据所述控制参数控制所述交互对象的姿态，包括：
根据所获取的面部肌肉控制系数，驱动所述交互对象做出与所述驱动数据匹配的面部动作。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取与所述面部姿态参数关联的身体姿态的驱动数据；
根据与所述面部姿态参数值关联的身体姿态的驱动数据，驱动所述交互对象做出肢体动作。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述交互对象的控制参数包括所述交互对象的至少一个局部区域的控制向量；
所述根据所述驱动数据获取所述交互对象的控制参数，包括：
根据所述驱动数据获取所述交互对象的至少一个局部区域的控制向量；
所述根据所述控制参数控制所述交互对象的姿态，包括：
根据所获取的所述至少一个局部区域的控制向量，控制所述交互对象的面部动作和/或肢体动作。
7.一种交互对象的驱动装置，其特征在于，所述交互对象展示在显示设备中，所述装置包括：
第一获取单元，用于获取所述交互对象的驱动数据，并根据所述驱动数据的类型，获取所述驱动数据对应的语音数据序列，所述语音数据序列包括多个语音数据单元；若检测到所述语音数据单元中包括目标数据，则确定所述驱动数据的驱动模式为第一驱动模式，所述目标数据与交互对象的预设控制参数相对应；其中，所述目标数据对应的音节属于预先划分好的一种音节类型，所述音节类型与一种设定嘴型相匹配；
第二获取单元，用于响应于所述第一驱动模式，将所述目标数据对应的所述预设控制参数，作为所述交互对象的面部姿态参数；
驱动单元，用于根据所述面部姿态参数控制所述交互对象的面部动作；
输出单元，用于根据所述驱动数据控制所述显示设备输出语音。
8.根据权利要求7所述的装置，其特征在于，所述语音数据序列包括音素序列，所述第二获取单元在用于获取所述语音数据序列中的至少一个语音数据单元的特征信息时，具体用于：
对所述音素序列进行特征编码，获得所述音素序列对应的第一编码序列；
根据所述第一编码序列，获取至少一个音素对应的特征编码；
根据所述特征编码，获得所述至少一个音素的特征信息；
或者，所述语音数据序列包括语音帧序列，所述第二获取单元在用于获取所述语音数据序列中的至少一个语音数据单元的特征信息时，具体用于：获取所述语音帧序列对应的第一声学特征序列，所述第一声学特征序列包括与所述语音帧序列中的每个语音帧对应的声学特征向量；
根据所述第一声学特征序列，获取至少一个语音帧对应的声学特征向量；
根据所述声学特征向量，获得所述至少一个语音帧对应的特征信息。
9.根据权利要求7或8所述的装置，其特征在于，所述交互对象的控制参数包括面部姿态参数，所述面部姿态参数包括面部肌肉控制系数，用于控制至少一个面部肌肉的运动状态；
所述第二获取单元在根据所述驱动数据获取所述交互对象的控制参数时，具体用于：
根据所述驱动数据获取所述交互对象的面部肌肉控制系数；
所述驱动单元具体用于：
根据所获取的面部肌肉控制系数，驱动所述交互对象做出与所述驱动数据匹配的面部动作；
所述装置还包括肢体驱动单元，用于获取与所述面部姿态参数关联的身体姿态的驱动数据；
根据与所述面部姿态参数值关联的身体姿态的驱动数据，驱动所述交互对象做出肢体动作。
10.根据权利要求7或8所述的装置，其特征在于，所述交互对象的控制参数包括所述交互对象的至少一个局部区域的控制向量；
所述第二获取单元在根据所述驱动数据获取所述交互对象的控制参数时，具体用于：
根据所述驱动数据获取所述交互对象的至少一个局部区域的控制向量；
所述驱动单元具体用于：
根据所获取的所述至少一个局部区域的控制向量，控制所述交互对象的面部动作和/或肢体动作。
11.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至6任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6中任一所述的方法。
CN202010246112.0A 2020-03-31 2020-03-31 交互对象的驱动方法、装置、设备以及存储介质 Active CN111459452B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010246112.0A CN111459452B (zh) 2020-03-31 2020-03-31 交互对象的驱动方法、装置、设备以及存储介质
JP2021556973A JP7227395B2 (ja) 2020-03-31 2020-11-18 インタラクティブ対象の駆動方法、装置、デバイス、及び記憶媒体
KR1020217031139A KR20210129713A (ko) 2020-03-31 2020-11-18 인터렉티브 대상의 구동 방법, 장치, 디바이스 및 기억 매체
PCT/CN2020/129806 WO2021196645A1 (zh) 2020-03-31 2020-11-18 交互对象的驱动方法、装置、设备以及存储介质
TW109144967A TWI760015B (zh) 2020-03-31 2020-12-18 互動物件的驅動方法、裝置、設備以及儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246112.0A CN111459452B (zh) 2020-03-31 2020-03-31 交互对象的驱动方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111459452A CN111459452A (zh) 2020-07-28
CN111459452B true CN111459452B (zh) 2023-07-18

Family

ID=71683479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246112.0A Active CN111459452B (zh) 2020-03-31 2020-03-31 交互对象的驱动方法、装置、设备以及存储介质

Country Status (5)

Country Link
JP (1) JP7227395B2 (zh)
KR (1) KR20210129713A (zh)
CN (1) CN111459452B (zh)
TW (1) TWI760015B (zh)
WO (1) WO2021196645A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459450A (zh) * 2020-03-31 2020-07-28 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111460785B (zh) * 2020-03-31 2023-02-28 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111459452B (zh) * 2020-03-31 2023-07-18 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN113050859B (zh) * 2021-04-19 2023-10-24 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN114283227B (zh) * 2021-11-26 2023-04-07 北京百度网讯科技有限公司 虚拟人物的驱动方法、装置、电子设备及可读存储介质
CN116977499B (zh) * 2023-09-21 2024-01-16 粤港澳大湾区数字经济研究院(福田) 一种面部、身体运动参数的联合生成方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570555B1 (en) * 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
JP4661074B2 (ja) * 2004-04-07 2011-03-30 ソニー株式会社 情報処理システム、情報処理方法、並びにロボット装置
AU2012253367B2 (en) * 2011-05-11 2015-04-30 The Cleveland Clinic Foundation Interactive graphical map visualization for healthcare
CN102609969B (zh) * 2012-02-17 2013-08-07 上海交通大学 基于汉语文本驱动的人脸语音同步动画的处理方法
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2016038601A (ja) * 2014-08-05 2016-03-22 日本放送協会 Ｃｇキャラクタ対話装置及びｃｇキャラクタ対話プログラム
US20180160077A1 (en) * 2016-04-08 2018-06-07 Maxx Media Group, LLC System, Method and Software for Producing Virtual Three Dimensional Avatars that Actively Respond to Audio Signals While Appearing to Project Forward of or Above an Electronic Display
CN106056989B (zh) * 2016-06-23 2018-10-16 广东小天才科技有限公司 一种语言学习方法及装置、终端设备
CN107704169B (zh) * 2017-09-26 2020-11-17 北京光年无限科技有限公司 虚拟人的状态管理方法和系统
CN107861626A (zh) * 2017-12-06 2018-03-30 北京光年无限科技有限公司 一种虚拟形象被唤醒的方法及系统
CN108942919B (zh) * 2018-05-28 2021-03-30 北京光年无限科技有限公司 一种基于虚拟人的交互方法及系统
CN110876024B (zh) * 2018-08-31 2021-02-12 百度在线网络技术（北京）有限公司 确定虚拟形象唇部动作的方法和装置
CN109377539B (zh) * 2018-11-06 2023-04-11 北京百度网讯科技有限公司 用于生成动画的方法和装置
CN109739350A (zh) * 2018-12-24 2019-05-10 武汉西山艺创文化有限公司 基于透明液晶显示屏的ai智能助理设备及其交互方法
CN110009716B (zh) * 2019-03-28 2023-09-26 网易（杭州）网络有限公司 面部表情的生成方法、装置、电子设备及存储介质
CN110176284A (zh) * 2019-05-21 2019-08-27 杭州师范大学 一种基于虚拟现实的言语失用症康复训练方法
CN110716634A (zh) * 2019-08-28 2020-01-21 北京市商汤科技开发有限公司 交互方法、装置、设备以及显示设备
CN110688008A (zh) * 2019-09-27 2020-01-14 贵州小爱机器人科技有限公司 虚拟形象交互方法和装置
CN110815258B (zh) * 2019-10-30 2023-03-31 华南理工大学 基于电磁力反馈和增强现实的机器人遥操作系统和方法
CN111459452B (zh) * 2020-03-31 2023-07-18 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统

Also Published As

Publication number Publication date
KR20210129713A (ko) 2021-10-28
JP2022531072A (ja) 2022-07-06
WO2021196645A1 (zh) 2021-10-07
TWI760015B (zh) 2022-04-01
JP7227395B2 (ja) 2023-02-21
TW202138970A (zh) 2021-10-16
CN111459452A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111459452B (zh) 交互对象的驱动方法、装置、设备以及存储介质
WO2021169431A1 (zh) 交互方法、装置、电子设备以及存储介质
TWI766499B (zh) 互動物件的驅動方法、裝置、設備以及儲存媒體
CN111459454B (zh) 交互对象的驱动方法、装置、设备以及存储介质
WO2021196644A1 (zh) 交互对象的驱动方法、装置、设备以及存储介质
WO2021232876A1 (zh) 实时驱动虚拟人的方法、装置、电子设备及介质
WO2022252890A1 (zh) 交互对象驱动和音素处理方法、装置、设备以及存储介质
CN117275485B (zh) 一种音视频的生成方法、装置、设备及存储介质
WO2021232877A1 (zh) 实时驱动虚拟人的方法、装置、电子设备及介质
WO2021196647A1 (zh) 交互对象的驱动方法、装置、设备以及存储介质
CN112632262A (zh) 一种对话方法、装置、计算机设备及存储介质
CN115550744B (zh) 一种语音生成视频的方法和装置
CN113689879B (zh) 实时驱动虚拟人的方法、装置、电子设备及介质
Gjaci Comunicazione Non Verbale Culturalmente Competente Basata Su Generative Adversarial Networks
CN116958328A (zh) 口型合成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026473

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant