CN109410297A - 一种用于生成虚拟化身形象的方法与装置 - Google Patents
一种用于生成虚拟化身形象的方法与装置 Download PDFInfo
- Publication number
- CN109410297A CN109410297A CN201811076442.9A CN201811076442A CN109410297A CN 109410297 A CN109410297 A CN 109410297A CN 201811076442 A CN201811076442 A CN 201811076442A CN 109410297 A CN109410297 A CN 109410297A
- Authority
- CN
- China
- Prior art keywords
- information
- voice messaging
- avatar image
- user
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004458 analytical method Methods 0.000 claims description 58
- 230000008451 emotion Effects 0.000 claims description 52
- 230000008921 facial expression Effects 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010183 spectrum analysis Methods 0.000 claims description 12
- 239000011800 void material Substances 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 139
- 230000002996 emotional effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000036651 mood Effects 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 241000406668 Loxodonta cyclotis Species 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 238000007665 sagging Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请的目的是提供一种生成虚拟化身形象的方法与设备。本申请能够基于用户的语音信息，来确定与所述语音信息相对应的所述虚拟化身形象的表情信息，并根据所述表情信息，更新所述虚拟化身形象的展现状态。与现有技术相比，本申请提高了虚拟环境下虚拟化身交互的自然感，满足了用户多人交互的需求，提升了用户体验。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种用于生成虚拟化身 形象的技术。
背景技术
虚拟现实技术(VR，Virtual Reality)的发展使得多用户之间能 够通过VR进行多人在线互动交流。当多人VR交流时，需要为每名 用户生成对应的虚拟化身形象，以使得用户借助该虚拟化身形象，来 实现真实的交互效果。因此，所生成的虚拟化身形象直接关系着用户 的VR体验。
发明内容
本申请的目的是提供一种用于生成虚拟化身形象的方法与设备。
根据本申请的一个实施例，提供了一种用于生成虚拟化身形象的 方法，其中，该方法包括以下步骤：
a确定与用户相对应的虚拟化身形象；
b获取所述用户的语音信息；
c对所述语音信息进行分析，以确定与所述语音信息相对应的所 述虚拟化身形象的表情信息；
d根据所述表情信息，更新所述虚拟化身形象的展现状态。
可选地，所述步骤c包括以下至少任一项：
c1对所述语音信息进行语义识别和情感分析，以确定与所述语音 信息相对应的所述虚拟化身形象的面部表情信息；
c2对所述语音信息进行音频分析，以确定与所述语音信息相对应 的所述虚拟化身形象的口型动作。
可选地，所述步骤c1包括：
对所述语音信息进行语义识别和/或情感分析，以确定与所述语音 信息相对应的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身 形象的面部表情信息。
可选地，确定与所述语音信息相对应的情感类型的步骤包括：
对所述语音信息进行语义识别，以提取所述语音信息中的关键词 信息；
对所述语音信息进行频谱分析，以确定所述语音信息所对应的情 感信息；
根据所述关键词信息和/或情感信息，确定与所述语音信息相对应 的情感类型。
可选地，所述步骤c2包括：
对所述语音信息进行音频分析，以确定与所述语音信息相对应的 发音信息和/或音调信息；
根据所述发音信息和/或音调信息，确定与所述语音信息相对应的 所述虚拟化身形象的口型动作。
可选地，所述步骤a包括：
根据用户的个人信息和/或结合虚拟化身形象所在的场景信息，确 定与用户相对应的虚拟化身形象。
可选地，该方法还包括：
获取所述用户的表情信息；
其中，所述步骤c包括：
对所述语音信息进行分析，并结合所述用户的表情信息，以确定 与所述语音信息相对应的所述虚拟化身形象的表情信息。
可选地，该方法还包括：
获取用户对输入设备的一个或多个操作信息；
其中，所述步骤d包括：
根据所述表情信息，结合所述操作信息，确定所述虚拟化身形象 的动作信息并更新所述虚拟化身形象的展现状态。
可选地，所述步骤d包括：
根据所述表情信息，结合所述虚拟化身形象所在的场景信息，更 新所述虚拟化身形象的展现状态。
根据本申请的另一个实施例，还提供了一种用于生成虚拟化身形 象的生成设备，其中，所述生成设备包括：
第一装置，用于确定与用户相对应的虚拟化身形象；
第二装置，用于获取所述用户的语音信息；
第三装置，用于对所述语音信息进行分析，以确定与所述语音信 息相对应的所述虚拟化身形象的表情信息；
第四装置，用于根据所述表情信息，更新所述虚拟化身形象的展 现状态。
可选地，所述第三装置包括以下至少任一项：
三一单元，用于对所述语音信息进行语义识别和情感分析，以确 定与所述语音信息相对应的所述虚拟化身形象的面部表情信息；
三二单元，用于对所述语音信息进行音频分析，以确定与所述语 音信息相对应的所述虚拟化身形象的口型动作。
可选地，所述三一单元用于：
对所述语音信息进行语义识别和/或情感分析，以确定与所述语音 信息相对应的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身 形象的面部表情信息。
可选地，所述三一单元用于：
对所述语音信息进行语义识别，以提取所述语音信息中的关键词 信息；
对所述语音信息进行频谱分析，以确定所述语音信息所对应的情 感信息；
根据所述关键词信息和/或情感信息，确定与所述语音信息相对应 的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身 形象的面部表情信息。
可选地，所述三二单元用于：
对所述语音信息进行音频分析，以确定与所述语音信息相对应的 发音信息和/或音调信息；
根据所述发音信息和/或音调信息，确定与所述语音信息相对应的 所述虚拟化身形象的口型动作。
可选地，所述第一装置用于：
根据用户的个人信息和/或结合虚拟化身形象所在的场景信息，确 定与用户相对应的虚拟化身形象。
可选地，所述生成设备还包括：
第五装置，用于获取所述用户的表情信息；
其中，所述第三装置用于：
对所述语音信息进行分析，并结合所述用户的表情信息，以确定 与所述语音信息相对应的所述虚拟化身形象的表情信息。
可选地，所述生成设备还包括：
第六装置，用于获取用户对输入设备的一个或多个操作信息；
其中，所述第四装置用于：
根据所述表情信息，结合所述操作信息，确定所述虚拟化身形象 的动作信息并更新所述虚拟化身形象的展现状态。
可选地，所述第四装置用于：
根据所述表情信息，结合所述虚拟化身形象所在的场景信息，更 新所述虚拟化身形象的展现状态。
根据本申请的另一个实施例，还提供了一种计算机设备，所述计 算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时， 使得所述一个或多个处理器实现如上述任一项所述的方法。
根据本申请的另一个实施例，还提供了一种计算机可读存储介 质，其上存储有计算机程序，所述计算机程序可被处理器执行如上述 任一项所述的方法。
与现有技术相比，本申请能够基于用户的语音信息，来确定与所 述语音信息相对应的所述虚拟化身形象的表情信息，并根据所述表情信 息，更新所述虚拟化身形象的展现状态，因此提高了虚拟环境下虚拟化 身交互的自然感，满足了用户多人交互的需求，提升了用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述， 本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个实施例的一种用于生成虚拟化身形象 的生成设备示意图；
图2示出根据本申请的另一个实施例的一种用于生成虚拟化身形 象的生成设备示意图；
图3示出根据本申请的一个实施例的一种用于生成虚拟化身形象 的方法流程图；
图4示出根据本申请的另一个实施例的一种用于生成虚拟化身形 象的方法流程图；
图5示出根据本申请的一个实施例的一种虚拟化身形象的口型示 意图；
图6(a)与图6(b)示出根据本申请的一个实施例的用户对输入 设备的一个或多个操作信息示意图；
图7示出了可被用于实施本申请中所述的各个实施例的示例性系 统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均 包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存 储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存 (flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体 可以由任何方法或技术来实现信息存储。信息可以是计算机可读指 令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包 括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态 随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读 存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体 或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储 设备或任何其他非传输介质，可用于存储可以被计算设备访问的信 息。
本申请所指生成设备包括但不限于用户设备、网络设备、或用户 设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但 不限于任何一种可与用户进行人机交互的电子产品，例如虚拟现实个 人终端、个人电脑、智能手机、平板电脑等，所述电子产品可以采用 任意操作系统，如windows操作系统、android操作系统、iOS操作系 统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令， 自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处 理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程 门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网 络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络 服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布 式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算 机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN 网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可 以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络 设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备 上的程序。
当然，本领域技术人员应能理解上述生成设备仅为举例，其他现 有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保 护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明 确具体的限定。
图1示出根据本申请的一个实施例的一种用于生成虚拟化身形象 的生成设备示意图，其中，所述生成设备包括第一装置1、第二装置 2、第三装置3、第四装置4。
具体地，所述第一装置1确定与用户相对应的虚拟化身形象；所述 第二装置2获取所述用户的语音信息；所述第三装置3对所述语音信息 进行分析，以确定与所述语音信息相对应的所述虚拟化身形象的表情 信息；所述第四装置4根据所述表情信息，更新所述虚拟化身形象的展 现状态。
在此，所述虚拟化身形象指的是当用户在VR场景下，与该用户所 对应的虚拟形象，该虚拟化身形象代表了用户本身，用户的行为表情等 均通过该虚拟化身形象进行展现；当多个用户存在于同一虚拟场景下 时，用户通过VR设备，能够看到彼此的虚拟化身形象，并通过虚拟化 身形象进行交互。
所述虚拟化身形象包括二维形象以及三维形象(如年龄、性别、面 部长相、服饰、配件)、动作、表情等。
所述第一装置1确定与用户相对应的虚拟化身形象。
具体地，所述第一装置1根据以下任意一种或多种方式，来确定与 用户相对应的虚拟化身形象：
-随机分配的方式：当用户接入VR或登入特定VR场景时，为该 用户随机分配一个虚拟化身形象；
-用户选择的方式：当用户接入VR或登入特定VR场景时，根据 用户从预订的多个虚拟化身形象中所选择的形象，来确定与该用户相对 应的虚拟化身形象；
-优选地，根据用户的个人信息，确定与用户相对应的虚拟化身形 象：在此，所述个人信息包括但不限于该用户的照片、视频、个人资料 (如性别、年龄、职业、喜好等)。例如，根据用户照片，通过将照片 进行处理，以生成该用户的虚拟化身形象；或者，例如，根据用户的个 人资料，选择适合该用户性别年龄等的虚拟化身形象作为该用户的虚拟 化身形象等。在此，所述个人信息可以通过用户输入、实时拍摄、根据 所存储的资料进行选择等方式进行获取。
-优选地，根据虚拟化身形象所在的场景信息，确定与用户相对应 的虚拟化身形象。在此，所述场景信息包括但不限于当前VR场景的主 题、环境、其他参与该场景信息的用户的相关信息等。例如，若当前VR 场景为会议，则为用户选择正装作为虚拟化身形象的服饰，若当前VR 场景为看电影，则为用户选择休闲装作为虚拟化身形象的服饰等。
优选地，所述第一装置1可以根据用户的修改操作，对所确定的 虚拟化身形象进行调整，以将调整后的虚拟化身形象作为该用户的虚 拟化身形象。
所述第二装置2获取所述用户的语音信息。
具体地，所述第二装置2获取所述用户通过语音输入设备所输入的 语音信息，或者所述第二装置2与其他能够提供该用户语音信息的设备 相交互，以获取所述用户的语音信息。
所述第三装置3对所述语音信息进行分析，以确定与所述语音信息 相对应的所述虚拟化身形象的表情信息。
具体地，所述第三装置3基于现有的语音分析技术，对所述语音信 息中所包含的语义与情感信息进行分析，以获取所述语音信息中的语义 信息和/或情感信息；然后，所述第三装置3根据分析得到的语义信息和 /或情感信息，为所述虚拟化身形象确定对应的表情信息。其中，所述情 感信息包括但不限于高兴、反感、正常状态、无所谓等态度。
例如，当所述语义信息和/或情感信息表示高兴状态时，则确定所述 虚拟化身形象的表情信息为：眼睛、眉毛、唇形、嘴型通过适当的弯曲 等明显表达出阳光、乐观的情感，如高兴的程度更深，则可露牙表示愉 悦的心情。若当所述语义信息和/或情感信息表示无所谓状态时，则可将 虚拟化身形象的五官都远离中心、眼神涣散并呆滞，面部松弛放松，头部可适当偏移以配合表情。如当所述语义信息和/或情感信息表示反感状 态时，则可使得所述虚拟化身形象的眉形紧绷并下垂，嘴型紧张并由明 显远离的表现，头部可适当偏移以配合表情。如当所述语义信息和/或情 感信息表示正常状态时，如当该用户处于初始化、待机等状态时，则可 将五官正常随机、微小变动，自然化呈现。
优选地，所述生成设备还包括第五装置(未示出)，其中，所述第 五装置获取所述用户的表情信息；所述第三装置3对所述语音信息进行 分析，并结合所述用户的表情信息，以确定与所述语音信息相对应的 所述虚拟化身形象的表情信息。
具体地，所述第五装置获取所述用户通过表情输入设备(如摄像头 或其他设备)所输入的表情信息，在此，所述表情输入设备可通过实时 摄像、定时拍照等方式获取所述用户的表情信息。
然后，所述第三装置3基于现有的语音分析技术，对所述语音信息 中所包含的语义与情感信息进行分析，以获取所述语音信息中的语义信 息和/或情感信息；然后，所述第三装置3通过根据所述语义信息和/或 情感信息，结合所述用户的表情信息，确定所述语音信息相对应的所述 虚拟化身形象的表情信息。例如，若所述语义信息和/或情感信息、以及所述用户的表情信息均表示高兴，则确定所述虚拟化身形象的表情信息 为高兴，并根据当前用户的表情信息对所述虚拟化身形象的表情信息进 行调整；若所述语义信息以及情感信息表征用户的情绪为高兴，而所述 用户的表情信息为正常，则可将所述虚拟化身形象的表情信息确定为高 兴等。
本领域技术人员应能理解，所述表情信息可以作为所述虚拟化身形 象的表情信息的表现参考(如确定眉眼弧度、嘴唇曲线等)，也可以作 为确定所述虚拟化身形象的表情信息的依据(如确定高兴、反感等情绪 信息)。
所述第四装置4根据所述表情信息，更新所述虚拟化身形象的展现 状态。
具体地，所述第四装置4根据所述表情信息，将所述表情信息展现 在所述第一装置1所确定的虚拟化身形象上，使得所述虚拟化身形象的 表情信息进行更新。
在此，本领域技术人员应能理解，所述虚拟化身形象的表情信息的 确定以及所述虚拟化身形象的展现状态的更新均是实时且连续进行的。
优选地，所述第四装置4根据所述表情信息，结合所述虚拟化身形 象所在的场景信息，更新所述虚拟化身形象的展现状态。
具体地，所述第四装置4根据所确定的表情信息，结合所述场景信 息对所述表情信息进行调整或确认；例如，若所述表情信息为高兴，所 述场景信息为会议，则所述表情信息所对应的唇部弧度更收敛；若所述 表情信息为高兴，所述场景信息为聚会，则所述表情信息所对应的唇部 弧度更大等。例如，若所述表情信息为正常，当所述场景信息为白天时，该表情信息所对应的眼部状态为普通状态；当所述场景信息为黑天时， 则该表情信息所对应的眼部状态为困倦状态。
在此，所述场景信息包括但不限于当前VR场景的主题、环境、时 间以及其他参与该场景信息的用户的相关信息等中的一项或多项。
优选地，所述生成设备还包括第六装置(未示出)，其中，所述第 六装置获取用户对输入设备的一个或多个操作信息；所述第四装置4根 据所述表情信息，结合所述操作信息，确定所述虚拟化身形象的动作信 息并更新所述虚拟化身形象的展现状态。
具体地，所述第六装置获取所述用户通过任意输入设备(如摄像头、 遥控器、触摸屏等)所输入的操作信息，其中，所述操作信息包括但不 限于声音、表情、手势、按键、触摸等。
图6(a)与图6(b)示出根据本申请的一个实施例的用户对输入 设备的一个或多个操作信息示意图。其中，图6(a)分别示出了指向、 针对、拳头的手势，图6(b)分别示出了赞/踩、打招呼等手势。所述 第六装置可以通过摄像头拍摄到上述手势，以作为操作信息；也可以通 过对遥控器按键的控制，根据对特定按键或按键组合的操作来触发上述 操作信息；也可以通过对触摸屏的触摸操作，来触发上述操作信息等。
然后，所述第四装置4根据所述操作信息，确定所述虚拟化身形 象所对应的动作信息，并根据所述表情信息，确定所述虚拟化身形象 的表情信息，最终更新所述虚拟化身形象的展现状态；或者，所述第 四装置4根据所述操作信息与所述表情信息，同时来确定所述虚拟化 身形象的动作信息，如根据所述操作信息对所述表情信息进行微调， 或者根据所述表情信息来对所述操作信息进行微调，以使得所述虚拟 化身形象的身体动作与表情信息相协调，从而确定所述虚拟化身形象 的动作信息并更新所述虚拟化身形象的展现状态。其中，所述身体动作 包括但不限于手势动作、肢体动作等任意动作行为。
图2示出根据本申请的另一个实施例的一种用于生成虚拟化身形 象的生成设备示意图；其中，所述生成设备包括第一装置1、第二装 置2、第三装置3、第四装置4，所述第三装置3包括三一单元31以 及三二单元32。
具体地，所述第一装置1确定与用户相对应的虚拟化身形象；所述 第二装置2获取所述用户的语音信息；所述第三装置3对所述语音信息 进行分析，以确定与所述语音信息相对应的所述虚拟化身形象的表情 信息；所述第四装置4根据所述表情信息，更新所述虚拟化身形象的展 现状态；其中，所述三一单元31对所述语音信息进行语义识别和情感 分析，以确定与所述语音信息相对应的所述虚拟化身形象的面部表情信 息；所述三二单元32对所述语音信息进行音频分析，以确定与所述语 音信息相对应的所述虚拟化身形象的口型动作。
其中，所述第一装置1、所述第二装置2以及所述第四装置4与图 1所示的对应装置相同或相似，故在此不再赘述。
本领域技术人员应能理解，所述第三装置3可以包括所述三一单元 31和/或所述三二单元32中的至少任一项；在一种优选实施例中，所述 第三装置3同时包括所述三一单元31以及所述三二单元32，以实现更 好的处理效果。
所述三一单元31对所述语音信息进行语义识别和情感分析，以确 定与所述语音信息相对应的所述虚拟化身形象的面部表情信息。
具体地，所述三一单元31通过对所述语音信息进行语义识别，以 确定所述语音信息所对应的语义；在此，所述语义识别可以将所述语音 信息完全识别，也可以提取所述语音信息中的关键词，例如，“高兴”、 “烦”、“唉”(叹气)等表示情绪的词。
然后，所述三一单元31还可以对所述语音信息进行情感分析，在 此，所述情感分析可以通过对音频的语速、语调等进行数据分析，如根 据高频、低频、持续时间等频谱信息来确定所述语音信息所对应的情绪 信息，例如，若通过音频分析得知音调高亢且短促，则可认为所述情绪 信息为恐惧。
然后，所述三一单元31根据所述语义识别以及所述情感分析得到 的信息，确定所述语音信息相对应的情绪信息，进而确定与所述语音信 息相对应的所述虚拟化身形象的面部表情信息。例如，不同的情绪信息 的数据对应于不同的唇部弧度、眉眼角度、头部偏移角度等，而上述唇 部弧度、眉眼角度、头部偏移角度又将进一步影响肌肉纹理走向等面部表情信息。
优选地，所述三一单元31对所述语音信息进行语义识别和/或情感 分析，以确定与所述语音信息相对应的情感类型；根据所述情感类 型，确定与所述语音信息相对应的所述虚拟化身形象的面部表情信 息。
具体地，所述三一单元31通过对所述语音信息进行语义识别和/或 情感分析后，根据所述语义识别中的语句、关键词，和/或所述情感分析 中的情绪信息，根据预先设定的映射关系，将语义和/或情绪信息确定为 与所述语音信息相对应的情感类型。在此，所述情感类型包括但不限于 如高兴、愤怒、反感、正常、无所谓、伤心等。
不同的情感类型对应于不同的面部表情信息模型，当确定了所述情 感类型后，所述三一单元31直接调用相应的面部表情信息模型，以确 定与所述语音信息相对应的所述虚拟化身形象的面部表情信息。
更优选地，所述三一单元31对所述语音信息进行语义识别，以提 取所述语音信息中的关键词信息；对所述语音信息进行频谱分析，以确 定所述语音信息所对应的情感信息；根据所述关键词信息和/或情感信 息，确定与所述语音信息相对应的情感类型；根据所述情感类型，确定 与所述语音信息相对应的所述虚拟化身形象的面部表情信息。
具体地，所述三一单元31通过对所述语音信息进行语义识别，通 过将所识别的语义与预先设置的关键词列表进行匹配，以确定所述语义 识别中的关键词信息；然后基于所述关键词信息，如“高兴”、“难过”、 “伤心”等，确定所述语音信息相对应的情感类型。
所述三一单元31还通过对所述语音信息进行频谱分析，根据所述 频谱分析所得到的音频高低、时长信息等，确定所述语音信息所对应的 情感信息，进一步地，确定所述情感类型。
最后，所述三一单元31根据所述情感类型，直接调用相应的面部 表情信息模型，以确定与所述语音信息相对应的所述虚拟化身形象的面 部表情信息。
所述三二单元32对所述语音信息进行音频分析，以确定与所述语 音信息相对应的所述虚拟化身形象的口型动作。
具体地，所述三二单元32通过对所述语音信息进行音频分析，例 如通过音频的高中低音频谱等信息，以确定与所述语音信息相对应的音 频高低；然后根据不同的音频信息，确定与所述语音信息相对应的所述 虚拟化身形象的口型动作。
在此，图5示出根据本申请的一个实施例的一种虚拟化身形象的 口型示意图。所述口型包括但不限于低音、中低音、中高音、高音等 分类。例如，当所述音频分析得出该语音信息为高音时，则采用高音 所对应的口型信息，作为该虚拟化身形象的口型动作。
优选地，所述三二单元32对所述语音信息进行音频分析，以确定 与所述语音信息相对应的发音信息和/或音调信息；根据所述发音信息 和/或音调信息，确定与所述语音信息相对应的所述虚拟化身形象的口 型动作。
具体地，所述三二单元32通过对所述语音信息进行音频分析后， 根据频谱信息等数据，确定与所述语音信息相对应的发音信息和/或音调 信息。其中，所述发音信息包括但不限于各类元音、辅音、浊音、清音 等，根据不同的发音信息，所述三二单元32可以确定不同的口型动作， 如元音等需要开口口型；所述音调信息包括但不限于低音、中低音、中 高音、高音等，不同的音调信息也对应于不同的口型，如图5所示。
所述三二单元32可以分别基于发音信息和/或音调信息来确定口型 动作，也可以将两者进行结合，以确定口型动作。如元音+低音，则属 于开口不大的开口口型；元音+高音，则属于开口相对较大的开口口型 等。
图3示出根据本申请的一个实施例的一种用于生成虚拟化身形象 的方法流程图。
具体地，在步骤S1中，所述生成设备确定与用户相对应的虚拟化 身形象；在步骤S2中，所述生成设备获取所述用户的语音信息；在步 骤S3中，所述生成设备对所述语音信息进行分析，以确定与所述语音 信息相对应的所述虚拟化身形象的表情信息；在步骤S4中，所述生成 设备根据所述表情信息，更新所述虚拟化身形象的展现状态。
在步骤S1中，所述生成设备确定与用户相对应的虚拟化身形象。
具体地，在步骤S1中，所述生成设备根据以下任意一种或多种方 式，来确定与用户相对应的虚拟化身形象：
-随机分配的方式：当用户接入VR或登入特定VR场景时，为该 用户随机分配一个虚拟化身形象；
-用户选择的方式：当用户接入VR或登入特定VR场景时，根据 用户从预订的多个虚拟化身形象中所选择的形象，来确定与该用户相对 应的虚拟化身形象；
-优选地，根据用户的个人信息，确定与用户相对应的虚拟化身形 象：在此，所述个人信息包括但不限于该用户的照片、视频、个人资料 (如性别、年龄、职业、喜好等)。例如，根据用户照片，通过将照片 进行处理，以生成该用户的虚拟化身形象；或者，例如，根据用户的个 人资料，选择适合该用户性别年龄等的虚拟化身形象作为该用户的虚拟 化身形象等。在此，所述个人信息可以通过用户输入、实时拍摄、根据 所存储的资料进行选择等方式进行获取。
-优选地，根据虚拟化身形象所在的场景信息，确定与用户相对应 的虚拟化身形象。在此，所述场景信息包括但不限于当前VR场景的主 题、环境、其他参与该场景信息的用户的相关信息等。例如，若当前VR 场景为会议，则为用户选择正装作为虚拟化身形象的服饰，若当前VR 场景为看电影，则为用户选择休闲装作为虚拟化身形象的服饰等。
优选地，在步骤S1中，所述生成设备可以根据用户的修改操作， 对所确定的虚拟化身形象进行调整，以将调整后的虚拟化身形象作为 该用户的虚拟化身形象。
在步骤S2中，所述生成设备获取所述用户的语音信息。
具体地，在步骤S2中，所述生成设备获取所述用户通过语音输入 设备所输入的语音信息，或者在步骤S2中，所述生成设备与其他能够 提供该用户语音信息的设备相交互，以获取所述用户的语音信息。
在步骤S3中，所述生成设备对所述语音信息进行分析，以确定与 所述语音信息相对应的所述虚拟化身形象的表情信息。
具体地，在步骤S3中，所述生成设备基于现有的语音分析技术， 对所述语音信息中所包含的语义与情感信息进行分析，以获取所述语音 信息中的语义信息和/或情感信息；然后，在步骤S3中，所述生成设备 根据分析得到的语义信息和/或情感信息，为所述虚拟化身形象确定对应 的表情信息。其中，所述情感信息包括但不限于高兴、反感、正常状态、 无所谓等态度。
例如，当所述语义信息和/或情感信息表示高兴状态时，则确定所述 虚拟化身形象的表情信息为：眼睛、眉毛、唇形、嘴型通过适当的弯曲 等明显表达出阳光、乐观的情感，如高兴的程度更深，则可露牙表示愉 悦的心情。若当所述语义信息和/或情感信息表示无所谓状态时，则可将 虚拟化身形象的五官都远离中心、眼神涣散并呆滞，面部松弛放松，头部可适当偏移以配合表情。如当所述语义信息和/或情感信息表示反感状 态时，则可使得所述虚拟化身形象的眉形紧绷并下垂，嘴型紧张并由明 显远离的表现，头部可适当偏移以配合表情。如当所述语义信息和/或情 感信息表示正常状态时，如当该用户处于初始化、待机等状态时，则可 将五官正常随机、微小变动，自然化呈现。
优选地，所述方法还包括步骤S5(未示出)，其中，在步骤S5中， 所述生成设备获取所述用户的表情信息；在步骤S3中，所述生成设备 对所述语音信息进行分析，并结合所述用户的表情信息，以确定与所 述语音信息相对应的所述虚拟化身形象的表情信息。
具体地，在步骤S5中，所述生成设备获取所述用户通过表情输入 设备(如摄像头或其他设备)所输入的表情信息，在此，所述表情输入 设备可通过实时摄像、定时拍照等方式获取所述用户的表情信息。
然后，在步骤S3中，所述生成设备基于现有的语音分析技术，对 所述语音信息中所包含的语义与情感信息进行分析，以获取所述语音信 息中的语义信息和/或情感信息；然后，所述生成设备通过根据所述语义 信息和/或情感信息，结合所述用户的表情信息，确定所述语音信息相对 应的所述虚拟化身形象的表情信息。例如，若所述语义信息和/或情感信 息、以及所述用户的表情信息均表示高兴，则确定所述虚拟化身形象的 表情信息为高兴，并根据当前用户的表情信息对所述虚拟化身形象的表 情信息进行调整；若所述语义信息以及情感信息表征用户的情绪为高 兴，而所述用户的表情信息为正常，则可将所述虚拟化身形象的表情信 息确定为高兴等。
本领域技术人员应能理解，所述表情信息可以作为所述虚拟化身形 象的表情信息的表现参考(如确定眉眼弧度、嘴唇曲线等)，也可以作 为确定所述虚拟化身形象的表情信息的依据(如确定高兴、反感等情绪 信息)。
在步骤S4中，所述生成设备根据所述表情信息，更新所述虚拟化 身形象的展现状态。
具体地，在步骤S4中，所述生成设备根据所述表情信息，将所述 表情信息展现在所述生成设备所确定的虚拟化身形象上，使得所述虚拟 化身形象的表情信息进行更新。
在此，本领域技术人员应能理解，所述虚拟化身形象的表情信息的 确定以及所述虚拟化身形象的展现状态的更新均是实时且连续进行的。
优选地，在步骤S4中，所述生成设备根据所述表情信息，结合所 述虚拟化身形象所在的场景信息，更新所述虚拟化身形象的展现状态。
具体地，在步骤S4中，所述生成设备根据所确定的表情信息，结 合所述场景信息对所述表情信息进行调整或确认；例如，若所述表情信 息为高兴，所述场景信息为会议，则所述表情信息所对应的唇部弧度更 收敛；若所述表情信息为高兴，所述场景信息为聚会，则所述表情信息 所对应的唇部弧度更大等。例如，若所述表情信息为正常，当所述场景 信息为白天时，该表情信息所对应的眼部状态为普通状态；当所述场景 信息为黑天时，则该表情信息所对应的眼部状态为困倦状态。
在此，所述场景信息包括但不限于当前VR场景的主题、环境、时 间以及其他参与该场景信息的用户的相关信息等中的一项或多项。
优选地，所述方法还包括步骤S6(未示出)，其中，在步骤S6中， 所述生成设备获取用户对输入设备的一个或多个操作信息；在步骤S4 中，所述生成设备根据所述表情信息，结合所述操作信息，确定所述虚 拟化身形象的动作信息并更新所述虚拟化身形象的展现状态。
具体地，在步骤S6中，所述生成设备获取所述用户通过任意输入 设备(如摄像头、遥控器、触摸屏等)所输入的操作信息，其中，所述 操作信息包括但不限于声音、表情、手势、按键、触摸等。
图6(a)与图6(b)示出根据本申请的一个实施例的用户对输入 设备的一个或多个操作信息示意图。其中，图6(a)分别示出了指向、 针对、拳头的手势，图6(b)分别示出了赞/踩、打招呼等手势。所述 生成设备可以通过摄像头拍摄到上述手势，以作为操作信息；也可以通 过对遥控器按键的控制，根据对特定按键或按键组合的操作来触发上述 操作信息；也可以通过对触摸屏的触摸操作，来触发上述操作信息等。
然后，在步骤S4中，所述生成设备根据所述操作信息，确定所 述虚拟化身形象所对应的动作信息，并根据所述表情信息，确定所述 虚拟化身形象的表情信息，最终更新所述虚拟化身形象的展现状态； 或者，在步骤S4中，所述生成设备根据所述操作信息与所述表情信 息，同时来确定所述虚拟化身形象的动作信息，如根据所述操作信息 对所述表情信息进行微调，或者根据所述表情信息来对所述操作信息 进行微调，以使得所述虚拟化身形象的身体动作与表情信息相协调， 从而确定所述虚拟化身形象的动作信息并更新所述虚拟化身形象的展 现状态。其中，所述身体动作包括但不限于手势动作、肢体动作等任意动作行为。
图4示出根据本申请的另一个实施例的一种用于生成虚拟化身形 象的方法流程图。
具体地，在步骤S1中，所述生成设备确定与用户相对应的虚拟化 身形象；在步骤S2中，所述生成设备获取所述用户的语音信息；在步 骤S31中，所述生成设备对所述语音信息进行语义识别和情感分析，以 确定与所述语音信息相对应的所述虚拟化身形象的面部表情信息；在步 骤S32中，所述生成设备对所述语音信息进行音频分析，以确定与所述 语音信息相对应的所述虚拟化身形象的口型动作；在步骤S4中，所述 生成设备根据所述表情信息，更新所述虚拟化身形象的展现状态。
其中，所述步骤S1、所述步骤S2以及所述步骤S4与图3所示的对 应步骤相同或相似，故在此不再赘述。
本领域技术人员应能理解，所述方法可以执行所述步骤S31和/或所 述步骤S32中的至少任一项；在一种优选实施例中，所述方法同时执行 所述步骤S31以及所述步骤S32，以实现更好的处理效果。
在步骤S31中，所述生成设备对所述语音信息进行语义识别和情感 分析，以确定与所述语音信息相对应的所述虚拟化身形象的面部表情信 息。
具体地，在步骤S31中，所述生成设备通过对所述语音信息进行语 义识别，以确定所述语音信息所对应的语义；在此，所述语义识别可以 将所述语音信息完全识别，也可以提取所述语音信息中的关键词，例如， “高兴”、“烦”、“唉”(叹气)等表示情绪的词。
然后，在步骤S31中，所述生成设备还可以对所述语音信息进行情 感分析，在此，所述情感分析可以通过对音频的语速、语调等进行数据 分析，如根据高频、低频、持续时间等频谱信息来确定所述语音信息所 对应的情绪信息，例如，若通过音频分析得知音调高亢且短促，则可认 为所述情绪信息为恐惧。
然后，在步骤S31中，所述生成设备根据所述语义识别以及所述情 感分析得到的信息，确定所述语音信息相对应的情绪信息，进而确定与 所述语音信息相对应的所述虚拟化身形象的面部表情信息。例如，不同 的情绪信息的数据对应于不同的唇部弧度、眉眼角度、头部偏移角度等， 而上述唇部弧度、眉眼角度、头部偏移角度又将进一步影响肌肉纹理走 向等面部表情信息。
优选地，在步骤S31中，所述生成设备对所述语音信息进行语义识 别和/或情感分析，以确定与所述语音信息相对应的情感类型；根据所 述情感类型，确定与所述语音信息相对应的所述虚拟化身形象的面部 表情信息。
具体地，在步骤S31中，所述生成设备通过对所述语音信息进行语 义识别和/或情感分析后，根据所述语义识别中的语句、关键词，和/或 所述情感分析中的情绪信息，根据预先设定的映射关系，将语义和/或情 绪信息确定为与所述语音信息相对应的情感类型。在此，所述情感类型 包括但不限于如高兴、愤怒、反感、正常、无所谓、伤心等。
不同的情感类型对应于不同的面部表情信息模型，当确定了所述情 感类型后，在步骤S31中，所述生成设备直接调用相应的面部表情信息 模型，以确定与所述语音信息相对应的所述虚拟化身形象的面部表情信 息。
更优选地，在步骤S31中，所述生成设备对所述语音信息进行语义 识别，以提取所述语音信息中的关键词信息；对所述语音信息进行频谱 分析，以确定所述语音信息所对应的情感信息；根据所述关键词信息和 /或情感信息，确定与所述语音信息相对应的情感类型；根据所述情感类 型，确定与所述语音信息相对应的所述虚拟化身形象的面部表情信息。
具体地，在步骤S31中，所述生成设备通过对所述语音信息进行语 义识别，通过将所识别的语义与预先设置的关键词列表进行匹配，以确 定所述语义识别中的关键词信息；然后基于所述关键词信息，如“高兴”、 “难过”、“伤心”等，确定所述语音信息相对应的情感类型。
在步骤S31中，所述生成设备还通过对所述语音信息进行频谱分析， 根据所述频谱分析所得到的音频高低、时长信息等，确定所述语音信息 所对应的情感信息，进一步地，确定所述情感类型。
最后，在步骤S31中，所述生成设备根据所述情感类型，直接调用 相应的面部表情信息模型，以确定与所述语音信息相对应的所述虚拟化 身形象的面部表情信息。
在步骤S32中，所述生成设备对所述语音信息进行音频分析，以确 定与所述语音信息相对应的所述虚拟化身形象的口型动作。
具体地，在步骤S32中，所述生成设备通过对所述语音信息进行音 频分析，例如通过音频的高中低音频谱等信息，以确定与所述语音信息 相对应的音频高低；然后根据不同的音频信息，确定与所述语音信息相 对应的所述虚拟化身形象的口型动作。
在此，图5示出根据本申请的一个实施例的一种虚拟化身形象的 口型示意图。所述口型包括但不限于低音、中低音、中高音、高音等 分类。例如，当所述音频分析得出该语音信息为高音时，则采用高音 所对应的口型信息，作为该虚拟化身形象的口型动作。
优选地，在步骤S32中，所述生成设备对所述语音信息进行音频分 析，以确定与所述语音信息相对应的发音信息和/或音调信息；根据所 述发音信息和/或音调信息，确定与所述语音信息相对应的所述虚拟化 身形象的口型动作。
具体地，在步骤S32中，所述生成设备通过对所述语音信息进行音 频分析后，根据频谱信息等数据，确定与所述语音信息相对应的发音信 息和/或音调信息。其中，所述发音信息包括但不限于各类元音、辅音、 浊音、清音等，根据不同的发音信息，所述生成设备可以确定不同的口 型动作，如元音等需要开口口型；所述音调信息包括但不限于低音、中 低音、中高音、高音等，不同的音调信息也对应于不同的口型，如图 5所示。
在步骤S32中，所述生成设备可以分别基于发音信息和/或音调信息 来确定口型动作，也可以将两者进行结合，以确定口型动作。如元音+ 低音，则属于开口不大的开口口型；元音+高音，则属于开口相对较大 的开口口型等。
图7示出了可被用于实施本申请中所述的各个实施例的示例性系 统。
在一些实施例中，系统700能够作为图1、图2、图3、图4、图 5、图6(a)以及图6(b)所示的实施例或其他所述实施例中的任意 一个远程计算设备。在一些实施例中，系统700可包括具有指令的一 个或多个计算机可读介质(例如，系统存储器或NVM/存储设备720) 以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实 现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一 个或多个)处理器705)。
对于一个实施例，系统控制模块710可包括任意适当的接口控制 器，以向(一个或多个)处理器705中的至少一个和/或与系统控制模 块710通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块710可包括存储器控制器模块730，以向系统存储 器715提供接口。存储器控制器模块730可以是硬件模块、软件模块 和/或固件模块。
系统存储器715可被用于例如为系统700加载和存储数据和/或指 令。对于一个实施例，系统存储器715可包括任意适当的易失性存 储器，例如，适当的DRAM。在一些实施例中，系统存储器715可 包括双倍数据速率类型四同步动态随机存取存储器 (DDR4SDRAM)。
对于一个实施例，系统控制模块710可包括一个或多个输入/输出 (I/O)控制器，以向NVM/存储设备720及(一个或多个)通信接口725 提供接口。
例如，NVM/存储设备720可被用于存储数据和/或指令。NVM/ 存储设备720可包括任意适当的非易失性存储器(例如，闪存)和/或可 包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬 盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通 用光盘(DVD)驱动器)。
NVM/存储设备720可包括在物理上作为系统700被安装在其上 的设备的一部分的存储资源，或者其可被该设备访问而不必作为该 设备的一部分。例如，NVM/存储设备720可通过网络经由(一个或 多个)通信接口725进行访问。
(一个或多个)通信接口725可为系统700提供接口以通过一个或 多个网络和/或与任意其他适当的设备通信。系统700可根据一个或多 个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的 一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器705中的至少一个可与系 统控制模块710的一个或多个控制器(例如，存储器控制器模块730) 的逻辑封装在一起。对于一个实施例，(一个或多个)处理器705中的 至少一个可与系统控制模块710的一个或多个控制器的逻辑封装在一 起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器705 中的至少一个可与系统控制模块710的一个或多个控制器的逻辑集成 在同一模具上。对于一个实施例，(一个或多个)处理器705中的至少 一个可与系统控制模块710的一个或多个控制器的逻辑集成在同一模 具上以形成片上系统(SoC)。
在各个实施例中，系统700可以但不限于是：服务器、工作站、 台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设 备、平板电脑、上网本等)。在各个实施例中，系统700可具有更多 或更少的组件和/或不同的架构。例如，在一些实施例中，系统700包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示 器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC) 和扬声器。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不 脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于 本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些 改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实 施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他 类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处 理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包 括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM 存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤 或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤 或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程 序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供 根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程 序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文 件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括 但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执 行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机 读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质 可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块 或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质 可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能 量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。 计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线 介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的 已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以 在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数 字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计 算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技 术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机 可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM, DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)； 以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的 介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存 储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该 计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申 请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的 细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的 具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是 示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上 述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所 有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所 涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单 数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单 元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称， 而并不表示任何特定的顺序。
在权利要求书中规定了各个实施例的各个方面。在下列编号条款中规 定了各个实施例的这些和其他方面：
1.一种用于生成虚拟化身形象的方法，其中，该方法包括以下步 骤：
a确定与用户相对应的虚拟化身形象；
b获取所述用户的语音信息；
c对所述语音信息进行分析，以确定与所述语音信息相对应的所 述虚拟化身形象的表情信息；
d根据所述表情信息，更新所述虚拟化身形象的展现状态。
2.根据条款1所述的方法，其中，所述步骤c包括以下至少任一 项：
c1对所述语音信息进行语义识别和情感分析，以确定与所述语音 信息相对应的所述虚拟化身形象的面部表情信息；
c2对所述语音信息进行音频分析，以确定与所述语音信息相对应 的所述虚拟化身形象的口型动作。
3.根据条款2所述的方法，其中，所述步骤c1包括：
对所述语音信息进行语义识别和/或情感分析，以确定与所述语音 信息相对应的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身 形象的面部表情信息。
4.根据条款3所述的方法，其中，确定与所述语音信息相对应的 情感类型的步骤包括：
对所述语音信息进行语义识别，以提取所述语音信息中的关键词 信息；
对所述语音信息进行频谱分析，以确定所述语音信息所对应的情 感信息；
根据所述关键词信息和/或情感信息，确定与所述语音信息相对应 的情感类型。
5.根据条款2至4中任一项所述的方法，其中，所述步骤c2包 括：
对所述语音信息进行音频分析，以确定与所述语音信息相对应的 发音信息和/或音调信息；
根据所述发音信息和/或音调信息，确定与所述语音信息相对应的 所述虚拟化身形象的口型动作。
6.根据条款1至5中任一项所述的方法，其中，所述步骤a包括：
根据用户的个人信息和/或结合虚拟化身形象所在的场景信息，确 定与用户相对应的虚拟化身形象。
7.根据条款1至6中任一项所述的方法，其中，该方法还包括：
获取所述用户的表情信息；
其中，所述步骤c包括：
对所述语音信息进行分析，并结合所述用户的表情信息，以确定 与所述语音信息相对应的所述虚拟化身形象的表情信息。
8.根据条款1至7中任一项所述的方法，其中，该方法还包括：
获取用户对输入设备的一个或多个操作信息；
其中，所述步骤d包括：
根据所述表情信息，结合所述操作信息，确定所述虚拟化身形象 的动作信息并更新所述虚拟化身形象的展现状态。
9.根据条款1至8中任一项所述的方法，其中，所述步骤d包括：
根据所述表情信息，结合所述虚拟化身形象所在的场景信息，更 新所述虚拟化身形象的展现状态。
10.一种用于生成虚拟化身形象的生成设备，其中，所述生成设 备包括：
第一装置，用于确定与用户相对应的虚拟化身形象；
第二装置，用于获取所述用户的语音信息；
第三装置，用于对所述语音信息进行分析，以确定与所述语音信 息相对应的所述虚拟化身形象的表情信息；
第四装置，用于根据所述表情信息，更新所述虚拟化身形象的展 现状态。
11.根据条款10所述的生成设备，其中，所述第三装置包括以下 至少任一项：
三一单元，用于对所述语音信息进行语义识别和情感分析，以确 定与所述语音信息相对应的所述虚拟化身形象的面部表情信息；
三二单元，用于对所述语音信息进行音频分析，以确定与所述语 音信息相对应的所述虚拟化身形象的口型动作。
12.根据条款11所述的生成设备，其中，所述三一单元用于：
对所述语音信息进行语义识别和/或情感分析，以确定与所述语音 信息相对应的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身 形象的面部表情信息。
13.根据条款12所述的生成设备，其中，所述三一单元用于：
对所述语音信息进行语义识别，以提取所述语音信息中的关键词 信息；
对所述语音信息进行频谱分析，以确定所述语音信息所对应的情 感信息；
根据所述关键词信息和/或情感信息，确定与所述语音信息相对应 的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身 形象的面部表情信息。
14.根据条款11至13中任一项所述的生成设备，其中，所述三 二单元用于：
对所述语音信息进行音频分析，以确定与所述语音信息相对应的 发音信息和/或音调信息；
根据所述发音信息和/或音调信息，确定与所述语音信息相对应的 所述虚拟化身形象的口型动作。
15.根据条款10至14中任一项所述的生成设备，其中，所述第 一装置用于：
根据用户的个人信息和/或结合虚拟化身形象所在的场景信息，确 定与用户相对应的虚拟化身形象。
16.根据条款10至15中任一项所述的生成设备，其中，所述生 成设备还包括：
第五装置，用于获取所述用户的表情信息；
其中，所述第三装置用于：
对所述语音信息进行分析，并结合所述用户的表情信息，以确定 与所述语音信息相对应的所述虚拟化身形象的表情信息。
17.根据条款10至16中任一项所述的生成设备，其中，所述生 成设备还包括：
第六装置，用于获取用户对输入设备的一个或多个操作信息；
其中，所述第四装置用于：
根据所述表情信息，结合所述操作信息，确定所述虚拟化身形象 的动作信息并更新所述虚拟化身形象的展现状态。
18.根据条款10至17中任一项所述的生成设备，其中，所述第 四装置用于：
根据所述表情信息，结合所述虚拟化身形象所在的场景信息，更 新所述虚拟化身形象的展现状态。
19.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时， 使得所述一个或多个处理器实现如条款1至9中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，所述计 算机程序可被处理器执行如条款1-9中任一项所述的方法。
Claims (20)
1.一种用于生成虚拟化身形象的方法，其中，该方法包括以下步骤：
a确定与用户相对应的虚拟化身形象；
b获取所述用户的语音信息；
c对所述语音信息进行分析，以确定与所述语音信息相对应的所述虚拟化身形象的表情信息；
d根据所述表情信息，更新所述虚拟化身形象的展现状态。
2.根据权利要求1所述的方法，其中，所述步骤c包括以下至少任一项：
c1对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的所述虚拟化身形象的面部表情信息；
c2对所述语音信息进行音频分析，以确定与所述语音信息相对应的所述虚拟化身形象的口型动作。
3.根据权利要求2所述的方法，其中，所述步骤c1包括：
对所述语音信息进行语义识别和/或情感分析，以确定与所述语音信息相对应的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身形象的面部表情信息。
4.根据权利要求3所述的方法，其中，确定与所述语音信息相对应的情感类型的步骤包括：
对所述语音信息进行语义识别，以提取所述语音信息中的关键词信息；
对所述语音信息进行频谱分析，以确定所述语音信息所对应的情感信息；
根据所述关键词信息和/或情感信息，确定与所述语音信息相对应的情感类型。
5.根据权利要求2至4中任一项所述的方法，其中，所述步骤c2包括：
对所述语音信息进行音频分析，以确定与所述语音信息相对应的发音信息和/或音调信息；
根据所述发音信息和/或音调信息，确定与所述语音信息相对应的所述虚拟化身形象的口型动作。
6.根据权利要求1至5中任一项所述的方法，其中，所述步骤a包括：
根据用户的个人信息和/或结合虚拟化身形象所在的场景信息，，确定与用户相对应的虚拟化身形象。
7.根据权利要求1至6中任一项所述的方法，其中，该方法还包括：
获取所述用户的表情信息；
其中，所述步骤c包括：
对所述语音信息进行分析，并结合所述用户的表情信息，以确定与所述语音信息相对应的所述虚拟化身形象的表情信息。
8.根据权利要求1至7中任一项所述的方法，其中，该方法还包括：
获取用户对输入设备的一个或多个操作信息；
其中，所述步骤d包括：
根据所述表情信息，结合所述操作信息，确定所述虚拟化身形象的动作信息并更新所述虚拟化身形象的展现状态。
9.根据权利要求1至8中任一项所述的方法，其中，所述步骤d包括：
根据所述表情信息，结合所述虚拟化身形象所在的场景信息，更新所述虚拟化身形象的展现状态。
10.一种用于生成虚拟化身形象的生成设备，其中，所述生成设备包括：
第一装置，用于确定与用户相对应的虚拟化身形象；
第二装置，用于获取所述用户的语音信息；
第三装置，用于对所述语音信息进行分析，以确定与所述语音信息相对应的所述虚拟化身形象的表情信息；
第四装置，用于根据所述表情信息，更新所述虚拟化身形象的展现状态。
11.根据权利要求10所述的生成设备，其中，所述第三装置包括以下至少任一项：
三一单元，用于对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的所述虚拟化身形象的面部表情信息；
三二单元，用于对所述语音信息进行音频分析，以确定与所述语音信息相对应的所述虚拟化身形象的口型动作。
12.根据权利要求11所述的生成设备，其中，所述三一单元用于：
对所述语音信息进行语义识别和/或情感分析，以确定与所述语音信息相对应的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身形象的面部表情信息。
13.根据权利要求12所述的生成设备，其中，所述三一单元用于：
对所述语音信息进行语义识别，以提取所述语音信息中的关键词信息；
对所述语音信息进行频谱分析，以确定所述语音信息所对应的情感信息；
根据所述关键词信息和/或情感信息，确定与所述语音信息相对应的情感类型；
根据所述情感类型，确定与所述语音信息相对应的所述虚拟化身形象的面部表情信息。
14.根据权利要求11至13中任一项所述的生成设备，其中，所述三二单元用于：
对所述语音信息进行音频分析，以确定与所述语音信息相对应的发音信息和/或音调信息；
根据所述发音信息和/或音调信息，确定与所述语音信息相对应的所述虚拟化身形象的口型动作。
15.根据权利要求10至14中任一项所述的生成设备，其中，所述第一装置用于：
根据用户的个人信息和/或结合虚拟化身形象所在的场景信息，确定与用户相对应的虚拟化身形象。
16.根据权利要求10至15中任一项所述的生成设备，其中，所述生成设备还包括：
第五装置，用于获取所述用户的表情信息；
其中，所述第三装置用于：
对所述语音信息进行分析，并结合所述用户的表情信息，以确定与所述语音信息相对应的所述虚拟化身形象的表情信息。
17.根据权利要求10至16中任一项所述的生成设备，其中，所述生成设备还包括：
第六装置，用于获取用户对输入设备的一个或多个操作信息；
其中，所述第四装置用于：
根据所述表情信息，结合所述操作信息，确定所述虚拟化身形象的动作信息并更新所述虚拟化身形象的展现状态。
18.根据权利要求10至17中任一项所述的生成设备，其中，所述第四装置用于：
根据所述表情信息，结合所述虚拟化身形象所在的场景信息，更新所述虚拟化身形象的展现状态。
19.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811076442.9A CN109410297A (zh) | 2018-09-14 | 2018-09-14 | 一种用于生成虚拟化身形象的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811076442.9A CN109410297A (zh) | 2018-09-14 | 2018-09-14 | 一种用于生成虚拟化身形象的方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109410297A true CN109410297A (zh) | 2019-03-01 |
Family
ID=65464069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811076442.9A Withdrawn CN109410297A (zh) | 2018-09-14 | 2018-09-14 | 一种用于生成虚拟化身形象的方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410297A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109788345A (zh) * | 2019-03-29 | 2019-05-21 | 广州虎牙信息科技有限公司 | 直播控制方法、装置、直播设备及可读存储介质 |
| CN110009714A (zh) * | 2019-03-05 | 2019-07-12 | 重庆爱奇艺智能科技有限公司 | 在智能设备中调整虚拟角色眼神的方法及装置 |
| CN110309470A (zh) * | 2019-05-14 | 2019-10-08 | 广东康云科技有限公司 | 一种基于空气成像的虚拟新闻主播系统及其实现方法 |
| CN110401810A (zh) * | 2019-06-28 | 2019-11-01 | 广东虚拟现实科技有限公司 | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 |
| CN111145282A (zh) * | 2019-12-12 | 2020-05-12 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
| CN111292743A (zh) * | 2020-01-22 | 2020-06-16 | 北京松果电子有限公司 | 语音交互方法及装置、电子设备 |
| WO2020200081A1 (zh) * | 2019-03-29 | 2020-10-08 | 广州虎牙信息科技有限公司 | 一种直播控制方法、装置、直播设备及存储介质 |
| CN112034986A (zh) * | 2020-08-31 | 2020-12-04 | 深圳传音控股股份有限公司 | 基于ar的交互方法、终端设备以及可读存储介质 |
| CN112529992A (zh) * | 2019-08-30 | 2021-03-19 | 阿里巴巴集团控股有限公司 | 虚拟形象的对话处理方法、装置、设备及存储介质 |
| CN113050795A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法及装置 |
| CN113793256A (zh) * | 2021-09-10 | 2021-12-14 | 未鲲(上海)科技服务有限公司 | 基于用户标签的动漫人物生成方法、装置、设备及介质 |
| WO2022041201A1 (zh) * | 2020-08-29 | 2022-03-03 | 深圳市永兴元科技股份有限公司 | 基于虚拟智能角色的交互方法、客户端及系统 |
| CN114882155A (zh) * | 2022-04-13 | 2022-08-09 | 北京字跳网络技术有限公司 | 表情数据的生成方法、装置、可读介质和电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103209201A (zh) * | 2012-01-16 | 2013-07-17 | 上海那里信息科技有限公司 | 基于社交关系的虚拟化身互动系统和方法 |
| US20170237786A1 (en) * | 2016-02-17 | 2017-08-17 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Systems and methods for facilitating video communication using virtual avatars |
| CN107251100A (zh) * | 2015-02-27 | 2017-10-13 | 微软技术许可有限责任公司 | 将物理受限的虚拟环境模制和锚定到现实环境 |
| CN107431635A (zh) * | 2015-03-27 | 2017-12-01 | 英特尔公司 | 化身面部表情和/或语音驱动的动画化 |
| CN107430790A (zh) * | 2015-04-09 | 2017-12-01 | 奇内莫伊北美有限责任公司 | 用于提供交互式虚拟环境的系统和方法 |
| CN107667331A (zh) * | 2015-05-28 | 2018-02-06 | 微软技术许可有限责任公司 | 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全 |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN107831905A (zh) * | 2017-11-30 | 2018-03-23 | 北京光年无限科技有限公司 | 一种基于全息投影设备的虚拟形象交互方法及系统 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
-
2018
- 2018-09-14 CN CN201811076442.9A patent/CN109410297A/zh not_active Withdrawn
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103209201A (zh) * | 2012-01-16 | 2013-07-17 | 上海那里信息科技有限公司 | 基于社交关系的虚拟化身互动系统和方法 |
| CN107251100A (zh) * | 2015-02-27 | 2017-10-13 | 微软技术许可有限责任公司 | 将物理受限的虚拟环境模制和锚定到现实环境 |
| CN107431635A (zh) * | 2015-03-27 | 2017-12-01 | 英特尔公司 | 化身面部表情和/或语音驱动的动画化 |
| CN107430790A (zh) * | 2015-04-09 | 2017-12-01 | 奇内莫伊北美有限责任公司 | 用于提供交互式虚拟环境的系统和方法 |
| CN107667331A (zh) * | 2015-05-28 | 2018-02-06 | 微软技术许可有限责任公司 | 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全 |
| US20170237786A1 (en) * | 2016-02-17 | 2017-08-17 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Systems and methods for facilitating video communication using virtual avatars |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN107831905A (zh) * | 2017-11-30 | 2018-03-23 | 北京光年无限科技有限公司 | 一种基于全息投影设备的虚拟形象交互方法及系统 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009714A (zh) * | 2019-03-05 | 2019-07-12 | 重庆爱奇艺智能科技有限公司 | 在智能设备中调整虚拟角色眼神的方法及装置 |
| CN109788345A (zh) * | 2019-03-29 | 2019-05-21 | 广州虎牙信息科技有限公司 | 直播控制方法、装置、直播设备及可读存储介质 |
| CN109788345B (zh) * | 2019-03-29 | 2020-03-10 | 广州虎牙信息科技有限公司 | 直播控制方法、装置、直播设备及可读存储介质 |
| WO2020200081A1 (zh) * | 2019-03-29 | 2020-10-08 | 广州虎牙信息科技有限公司 | 一种直播控制方法、装置、直播设备及存储介质 |
| CN110309470A (zh) * | 2019-05-14 | 2019-10-08 | 广东康云科技有限公司 | 一种基于空气成像的虚拟新闻主播系统及其实现方法 |
| CN110401810A (zh) * | 2019-06-28 | 2019-11-01 | 广东虚拟现实科技有限公司 | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 |
| CN112529992A (zh) * | 2019-08-30 | 2021-03-19 | 阿里巴巴集团控股有限公司 | 虚拟形象的对话处理方法、装置、设备及存储介质 |
| CN111145282A (zh) * | 2019-12-12 | 2020-05-12 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
| CN111145282B (zh) * | 2019-12-12 | 2023-12-05 | 科大讯飞股份有限公司 | 虚拟形象合成方法、装置、电子设备和存储介质 |
| CN111292743A (zh) * | 2020-01-22 | 2020-06-16 | 北京松果电子有限公司 | 语音交互方法及装置、电子设备 |
| CN111292743B (zh) * | 2020-01-22 | 2023-09-26 | 北京小米松果电子有限公司 | 语音交互方法及装置、电子设备 |
| WO2022041201A1 (zh) * | 2020-08-29 | 2022-03-03 | 深圳市永兴元科技股份有限公司 | 基于虚拟智能角色的交互方法、客户端及系统 |
| CN112034986A (zh) * | 2020-08-31 | 2020-12-04 | 深圳传音控股股份有限公司 | 基于ar的交互方法、终端设备以及可读存储介质 |
| US20220157036A1 (en) * | 2021-03-24 | 2022-05-19 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for generating virtual character, electronic device, and storage medium |
| EP4062987A1 (en) * | 2021-03-24 | 2022-09-28 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for generating virtual character |
| CN113050795A (zh) * | 2021-03-24 | 2021-06-29 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法及装置 |
| CN113793256A (zh) * | 2021-09-10 | 2021-12-14 | 未鲲(上海)科技服务有限公司 | 基于用户标签的动漫人物生成方法、装置、设备及介质 |
| CN114882155A (zh) * | 2022-04-13 | 2022-08-09 | 北京字跳网络技术有限公司 | 表情数据的生成方法、装置、可读介质和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410297A (zh) | 一种用于生成虚拟化身形象的方法与装置 | |
| Park et al. | A metaverse: Taxonomy, components, applications, and open challenges | |
| US20220319517A1 (en) | Electronic personal interactive device | |
| WO2018045553A1 (zh) | 人机交互的系统及方法 | |
| CN107632706B (zh) | 多模态虚拟人的应用数据处理方法和系统 | |
| US20210232577A1 (en) | Devices and systems for human creativity co-computing, and related methods | |
| JP4395687B2 (ja) | 情報処理装置 | |
| Bragg et al. | The fate landscape of sign language ai datasets: An interdisciplinary perspective | |
| US9805493B2 (en) | Social identity models for automated entity interactions | |
| CN107577661B (zh) | 一种针对虚拟机器人的交互输出方法以及系统 | |
| US20160071302A1 (en) | Systems and methods for cinematic direction and dynamic character control via natural language output | |
| JP2018008316A (ja) | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム | |
| KR20200059054A (ko) | 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법 | |
| US11960792B2 (en) | Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program | |
| US11430186B2 (en) | Visually representing relationships in an extended reality environment | |
| CN110188871A (zh) | 运算方法、装置及相关产品 | |
| CN112990043A (zh) | 一种服务交互方法、装置、电子设备及存储介质 | |
| CN109445573A (zh) | 一种用于虚拟化身形象互动的方法与装置 | |
| Cui et al. | Virtual human: A comprehensive survey on academic and applications | |
| JP2001249949A (ja) | 感情生成方法、感情生成装置、記録媒体 | |
| US10296723B2 (en) | Managing companionship data | |
| KR20230130580A (ko) | 실시간 대화형 디지털 에이전트들의 자율적인 생성, 전개, 및 개인화 | |
| US10210647B2 (en) | Generating a personal avatar and morphing the avatar in time | |
| Gonzalez et al. | Passing an enhanced Turing test–interacting with lifelike computer representations of specific individuals | |
| Xu | Immersive display design based on deep learning intelligent VR technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190301 |