CN109445573A - 一种用于虚拟化身形象互动的方法与装置 - Google Patents
一种用于虚拟化身形象互动的方法与装置 Download PDFInfo
- Publication number
- CN109445573A CN109445573A CN201811076440.XA CN201811076440A CN109445573A CN 109445573 A CN109445573 A CN 109445573A CN 201811076440 A CN201811076440 A CN 201811076440A CN 109445573 A CN109445573 A CN 109445573A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- expression
- analysis
- active
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 231
- 230000009471 action Effects 0.000 claims abstract description 97
- 230000033001 locomotion Effects 0.000 claims abstract description 78
- 238000010195 expression analysis Methods 0.000 claims description 46
- 230000008901 benefit Effects 0.000 claims description 43
- 230000015654 memory Effects 0.000 claims description 31
- 230000008092 positive effect Effects 0.000 claims description 26
- 238000007405 data analysis Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 6
- 230000003993 interaction Effects 0.000 abstract description 12
- 230000000875 corresponding effect Effects 0.000 description 182
- 210000003128 head Anatomy 0.000 description 26
- 230000008451 emotion Effects 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000002996 emotional effect Effects 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 238000007665 sagging Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请的目的是提供一种用于虚拟化身形象互动的方法与设备。本申请能够将第一用户的主动数据以及分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据，最后将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个与所述第一用户处于同一场景下的第二用户。与现有技术相比，本申请能够将多种数据进行整合，使得虚拟现实场景下虚拟化身形象的动作与表情更为自然流畅，提高了虚拟现实环境下虚拟化身交互的自然感，满足了用户多人在虚拟现实场景下的交互需求，提升了用户体验。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种用于虚拟化身形象互动的技术。
背景技术
虚拟现实技术(VR，Virtual Reality)的发展使得多用户之间能够通过VR进行多人在线互动交流。当多人VR交流时，需要为每名用户生成对应的虚拟化身形象，以使得用户借助该虚拟化身形象进行交互，最终实现真实的交互效果。而多个虚拟化身形象之间的互动是否自然流畅，则直接关系到用户的VR体验。
发明内容
本申请的目的是提供一种用于虚拟化身形象互动的方法与设备。
根据本申请的一个实施例，提供了一种用于虚拟化身形象互动的方法，其中，该方法包括以下步骤：
a获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；
b获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；
c将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；
d将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
可选地，所述主动动作数据中包括所述用户的头部转动信息；
其中，该方法还包括：
根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
可选地，所述步骤b包括：
获取一个或多个所述第一用户的语音信息；
对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
可选地，所述确定所述第一用户的分析数据的步骤包括以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
可选地，所述步骤c包括：
将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；
根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；
根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
可选地，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息的步骤包括：
根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
可选地，所述步骤c包括：
确定所述主动数据以及所述分析数据所对应的优先级；
根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
可选地，当获取多个第一用户的主动数据和分析数据时，所述步骤c包括：
根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
可选地，该方法还包括：
获取与所述第一用户相关联的场景数据；
其中，所述步骤d包括：
将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
可选地，该方法还包括：
确定与所述第一用户相对应的虚拟化身形象。
根据本申请的另一个实施例，还提供了一种用于虚拟化身形象互动的服务设备，其中，所述服务设备包括：
第一装置，用于获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；
第二装置，用于获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；
第三装置，用于将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；
第四装置，用于将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
可选地，所述主动动作数据中包括所述用户的头部转动信息；
其中，所述服务设备还包括：
第七装置，用于根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
可选地，所述第二装置包括：
二一单元，用于获取一个或多个所述第一用户的语音信息；
二二单元，用于对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
可选地，所述二二单元用于以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
可选地，所述第三装置包括：
三一单元，用于将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；
三二单元，用于根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；
三三单元，用于根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
可选地，所述三二单元用于：
根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
可选地，所述第三装置用于：
确定所述主动数据以及所述分析数据所对应的优先级；
根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
可选地，当获取多个第一用户的主动数据和分析数据时，所述第三装置用于：
根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
可选地，所述服务设备还包括：
第五装置，用于获取与所述第一用户相关联的场景数据；
其中，所述第四装置用于：
将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
可选地，所述服务设备还包括：
第六装置，用于确定与所述第一用户相对应的虚拟化身形象。
根据本申请的另一个实施例，还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述任一项所述的方法。
根据本申请的另一个实施例，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如上述任一项所述的方法。
与现有技术相比，本申请能够将第一用户的主动数据以及分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据，最后将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个与所述第一用户处于同一场景下的第二用户，从而能够将多种数据进行整合，使得虚拟现实场景下虚拟化身形象的动作与表情更为自然流畅，提高了虚拟现实环境下虚拟化身交互的自然感，满足了用户多人在虚拟现实场景下的交互需求，提升了用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个实施例的一种用于虚拟化身形象互动的服务设备示意图；
图2示出根据本申请的另一个实施例的一种用于虚拟化身形象互动的服务设备示意图；
图3示出根据本申请的一个实施例的一种用于虚拟化身形象互动的方法流程图；
图4示出根据本申请的另一个实施例的一种用于虚拟化身形象互动的方法流程图；
图5示出了可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指服务设备包括但不限于网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的电子产品，例如虚拟现实个人终端、个人电脑、智能手机、平板电脑等，所述电子产品可以采用任意操作系统，如windows操作系统、android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解，优选地，所述服务设备即为网络服务器，所述网络服务器能够对所获取的各类数据进行处理，以实现虚拟化身形象的互动。此外，所述网络服务器仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出根据本申请的一个实施例的一种用于虚拟化身形象互动的服务设备示意图；其中，所述服务设备包括第一装置1、第二装置2、第三装置3以及第四装置4。
具体地，所述第一装置1获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；所述第二装置2获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；所述第三装置3将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；所述第四装置4将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
所述第一装置1获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据。
具体地，所述第一装置1通过与所述第一用户所对应的第一用户设备相交互，以获取用户通过实时方式所主动执行的动作或表情，并将所述动作作为主动动作数据，将所述表情作为主动表情数据；或者，所述第一装置1与其他能够提供所述主动数据的设备相交互，以获取所述第一用户的主动数据。
在此，所述第一用户设备包括但不限于摄像设备、拍照设备、传感设备、VR设备等；所述动作包括但不限于头部动作、肢体动作、手指/手掌动作等任意由用户主动执行的动作；所述表情即为用户面部表情，包括用户眉、眼、口、鼻、嘴、耳以及面部肌肉的各种变化。
在此，所述动作和/或表情可通过对用户进行拍照、摄像、监测VR设备的移动状态、获取传感器的传感数据等方式来进行获取。本领域技术人员应能理解，上述获取方式仅为举例，并非对本申请的限制，其他的动作和/或表情的获取方式同样适用于本申请。
优选地，所述，所述主动动作数据中包括所述用户的头部转动信息；其中，所述服务设备还包括第七装置(未示出)，所述第七装置用于根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
具体地，所述第七装置通过与所述虚拟现实设备相交互，以获取所述虚拟现实设备的旋转轴向数据，由于所述虚拟现实设备通常是被佩戴在用户头上的，因此，该旋转轴向数据可以反应所述用户的头部转动信息。所述第七装置根据所述旋转轴向数据的转动方向、转动角度等，将其转换为所述用户头部的转动方向与转动角度，从而确定所述头部转动信息。在此，所述转动方向包括但不限于上下左右等方向。
所述第二装置2获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
具体地，所述第二装置2通过直接与其他能够提供所述分析数据的设备相交互，以获取所述分析数据；或者，所述第二装置2通过获取所述第一用户的初始数据，对所述初始数据进行分析，以获取所述分析数据。
在此，所述初始数据包括但不限于语音信息或经由输入设备所输入的任意信息，所述输入设备例如触摸屏、键盘、手柄、VR设备等任意能够获取用户输入操作的设备，所输入的任意信息包括但不限于触摸、点击、按键操作等。
所述分析方法例如，通过对所述语音信息进行分析，以确定所述分析数据；通过对所述用户输入操作进行分析，以确定所述分析数据，例如，当用户通过点击操作在屏幕上选择“开心”以后，将“开心”所对应的相应动作与表情作为所述动作分析数据以及所述表情分析数据，例如，“开心”所对应的表情为“嘴角成微笑的弧度”，动作为“鼓掌”等。
优选地，所述第二装置2可以根据所述用户输入操作的操作状态，来确定所述分析数据；所述操作状态包括但不限于操作的时间、频率、力度等，例如，若用户快速且用力地敲击键盘，则将所述动作分析数据与所述表情分析数据确定为“愤怒”所对应的相应动作与表情，例如，“开心”所对应的表情为“嘴角成直线、紧绷”，动作为“握拳”等。
优选地，所述第二装置包括二一单元(未示出)以及二二单元(未示出)；其中，所述二一单元获取一个或多个所述第一用户的语音信息；所述二二单元对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
具体地，所述二一单元获取所述第一用户通过语音输入设备所输入的语音信息，或者所述二一单元与其他能够提供该用户语音信息的设备相交互，以获取所述第一用户的语音信息。
所述二二单元基于现有的语音分析技术，对所述语音信息中所包含的语义与情感信息进行分析，以获取所述语音信息中的语义信息和/或情感信息；然后，所述二二单元根据分析得到的语义信息和/或情感信息，确定所述第一用户的动作分析数据和/或表情分析数据。其中，所述情感信息包括但不限于高兴、反感、正常状态、无所谓等态度；所述动作分析数据除包含肢体动作外，还可以包含口型动作。
例如，当所述语义信息和/或情感信息表示高兴状态时，则确定所述表情分析数据与动作分析数据为：眼睛、眉毛、唇形、嘴型通过适当的弯曲等明显表达出阳光、乐观的情感，如高兴的程度更深，则可露牙表示愉悦的心情。若当所述语义信息和/或情感信息表示无所谓状态时，则可将表情分析数据与动作分析数据确定为：五官都远离中心、眼神涣散并呆滞，面部松弛放松，头部可适当偏移以配合表情。如当所述语义信息和/或情感信息表示反感状态时，则可使得所述表情分析数据与动作分析数据为：眉形紧绷并下垂，嘴型紧张并由明显远离的表现，头部可适当偏移以配合表情。如当所述语义信息和/或情感信息表示正常状态时，如当该用户处于初始化、待机等状态时，则可将五官正常随机、微小变动，自然化呈现。
优选地，所述二二单元用于以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
具体地，对于方法一：
所述二二单元通过对所述语音信息进行语义识别，以确定所述语音信息所对应的语义；在此，所述语义识别可以将所述语音信息完全识别，也可以提取所述语音信息中的关键词，例如，“高兴”、“烦”、“唉”(叹气)等表示情绪的词。
然后，所述二二单元还可以对所述语音信息进行情感分析，在此，所述情感分析可以通过对音频的语速、语调等进行数据分析，如根据高频、低频、持续时间等频谱信息来确定所述语音信息所对应的情绪信息，例如，若通过音频分析得知音调高亢且短促，则可认为所述情绪信息为恐惧。
然后，所述二二单元根据所述语义识别以及所述情感分析得到的信息，确定所述语音信息相对应的情绪信息，进而确定与所述语音信息相对应的表情分析数据，其中，所述表情分析数据中包括面部表情信息。例如，不同的情绪信息的数据对应于不同的唇部弧度、眉眼角度、头部偏移角度等，而上述唇部弧度、眉眼角度、头部偏移角度又将进一步影响肌肉纹理走向等面部表情信息。
更优选地，所述二二单元对所述语音信息进行语义识别，以提取所述语音信息中的关键词信息；对所述语音信息进行频谱分析，以确定所述语音信息所对应的情感信息；根据所述关键词信息和/或情感信息，确定与所述语音信息相对应的情感类型；根据所述情感类型，确定与所述语音信息相对应的表情分析数据。
对于方法二：
所述二二单元通过对所述语音信息进行音频分析，例如通过音频的高中低音频谱等信息，以确定与所述语音信息相对应的音频高低；然后根据不同的音频信息，确定与所述语音信息相对应的动作分析数据。其中，所述动作分析数据中包括口型动作，此外，所述动作分析数据中还可以包括根据所述音频信息来确定的肢体动作，如当音频高时则抬高手臂等。
更优选地，所述二二单元对所述语音信息进行音频分析，以确定与所述语音信息相对应的发音信息和/或音调信息；根据所述发音信息和/或音调信息，确定与所述语音信息相对应的口型动作。
所述第三装置3将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
具体地，所述第三装置3将所述主动数据与所述分析数据按照时间顺序和/或优先级顺序进行整合。
例如，所述主动数据对应于1至10秒，所述分析数据对应于11至20秒，则将所述主动数据与所述分析数据分别作为该第一用户所对应的虚拟形象在1至20秒的动作数据和/或表情数据；或者，所述主动数据中仅包含第1秒至第10秒的主动动作数据，所述分析数据中仅包含第1秒至第10秒的表情分析数据，则将该主动动作数据作为所述虚拟化身形象的在所述第1秒至第10秒的动作数据，将该表情分析数据作为所述虚拟化身形象的在第1秒至第10秒的表情数据；若在同一时间同时存在主动数据与分析数据，则可以根据预设值的优先级，如将主动数据作为优先级高的数据，将主动数据优于分析数据确定为所述虚拟化身形象的动作数据和/或表情数据等。
在此，所述虚拟化身形象指的是当用户在VR场景下，与该用户所对应的虚拟形象，该虚拟化身形象代表了用户本身，用户的行为表情等均通过该虚拟化身形象进行展现；当多个用户存在于同一虚拟场景下时，用户通过VR设备，能够看到彼此的虚拟化身形象，并通过虚拟化身形象进行交互。
所述虚拟化身形象包括二维形象以及三维形象(如年龄、性别、面部长相、服饰、配件)、动作、表情等。
优选地，所述第三装置3确定所述主动数据以及所述分析数据所对应的优先级；根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
具体地，所述第三装置3根据预定义的规则，确定所述主动数据以及所述分析数据所对应的优先级，例如，所述主动数据的优先级高于所述分析数据；或者，所述第三装置3根据所述主动数据以及所述分析数据的数据特征，如所述数据特征如所述主动数据以及所述分析数据所对应的移动帧数、移动频率、像素大小等，来确定所述主动数据以及所述分析数据所对应的优先级。例如，根据当前网络传输状态，若网络传输状态良好，则将移动频率更高的数据作为优先级更高的数据，若网络传输状态很差，则将移动频率更低的数据作为优先级更高的数据等。
然后，所述第三装置3将所述优先级较高的数据作为优先整合的数据，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。例如，若在同一时间同时存在主动数据与分析数据，且所述主动数据作为优先级高的数据，则将主动数据优于分析数据确定为所述虚拟化身形象的动作数据和/或表情数据等。
在此，本领域技术人员应能理解，所述主动数据中的主动动作数据和/或主动表情数据、以及所述分析数据中的动作分析数据和/或表情分析数据的优先级，可以分别确定。例如，主动动作数据的优先级高于动作分析数据，主动表情数据的优先级低于表情分析数据等。
优选地，当获取多个第一用户的主动数据和分析数据时，所述第三装置3根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
具体地，所述关联关系包括但不限于多个第一用户的主动数据和分析数据的时序关联性、场景关联性、动作关联性等。例如，当多个第一用户进行虚拟场景下的观影活动时，当一个第一用户的动作为“与另一用户击掌”时，则可以直接确定所述另一用户的动作为“与该第一用户击掌”；若当多个第一用户的表情数据为“微笑”，则可确定其他第一用户的表情数据为“微笑”。从而，所述第三装置3能够分别为每个所述第一用户确定动作数据和/或表情数据，且多个第一用户的动作数据和/或表情数据之间具有关联关系。
优选地，所述服务设备还包括第六装置(未示出)，其中，所述第六装置确定与所述第一用户相对应的虚拟化身形象。
所述第六装置根据以下任意一种或多种方式，来确定与所述第一用户相对应的虚拟化身形象：
-随机分配的方式：当所述第一用户接入VR或登入特定VR场景时，为该第一用户随机分配一个虚拟化身形象；
-用户选择的方式：当所述第一用户接入VR或登入特定VR场景时，根据所述第一用户从预订的多个虚拟化身形象中所选择的形象，来确定与该第一用户相对应的虚拟化身形象；
-根据所述第一用户的个人信息，确定与所述第一用户相对应的虚拟化身形象：在此，所述个人信息包括但不限于该用户的照片、视频、个人资料(如性别、年龄、职业、喜好等)。例如，根据用户照片，通过将照片进行处理，以生成该用户的虚拟化身形象；或者，例如，根据用户的个人资料，选择适合该用户性别年龄等的虚拟化身形象作为该用户的虚拟化身形象等。在此，所述个人信息可以通过用户输入、实时拍摄、根据所存储的资料进行选择等方式进行获取。
-根据虚拟化身形象所在的场景信息，确定与所述第一用户相对应的虚拟化身形象。在此，所述场景信息包括但不限于当前VR场景的主题、环境、其他参与该场景信息的第二用户的相关信息等。例如，若当前VR场景为会议，则为所述第一用户选择正装作为虚拟化身形象的服饰，若当前VR场景为看电影，则为所述第一用户选择休闲装作为虚拟化身形象的服饰等。
优选地，所述第六装置可以根据所述第一用户的修改操作，对所确定的虚拟化身形象进行调整，以将调整后的虚拟化身形象作为该第一用户的虚拟化身形象。
所述第四装置4将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
具体地，所述第四装置4将所述第一虚拟化身形象的动作数据和/或表情数据实时发送给一个或多个第二用户，使得所述第二用户能够实时在其虚拟现实设备上看到所述第一用户所对应的虚拟化身形象的动作和/或表情。
在此，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中，所述虚拟场景例如聊天场景、观影场景、游戏互动场景的任意需要多个用户互动的虚拟场景。
优选地，所述服务设备还包括第五装置(未示出)，其中，所述第五装置获取与所述第一用户相关联的场景数据；所述第四装置4将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
具体地，所述场景数据包括但不限于该虚拟场景内的音频数据、视频播放数据、场景配置数据(如场景内的陈设、背景等)。所述第五装置可直接与能够提供所述场景数据的设备相交互，以获取所述场景数据；或者，所述第五装置根据所述第一用户的选择、预置设定或是其他用户的选择等方式，确定并获取所述场景数据。
然后，所述第四装置4将所述场景数据与所述第一用户的虚拟化身形象的动作数据和/或表情数据一起发送给所述第二用户；在此，所述场景数据发送的频率可以与所述第一用户的虚拟化身形象的动作数据和/或表情数据一致，也可以与所述第一用户的虚拟化身形象的动作数据和/或表情数据不一致，例如，每隔10秒更新一次场景数据，每隔1秒更新一次所述动作数据和/或表情数据。
图2示出根据本申请的另一个实施例的一种用于虚拟化身形象互动的服务设备示意图；其中，所述服务设备包括第一装置1、第二装置2、第三装置3以及第四装置4，所述第三装置3包括三一单元31、三二单元32以及三三单元33。
具体地，所述第一装置1获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；所述第二装置2获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；所述第三装置3的三一单元31将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；所述三二单元32根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；所述三三单元33根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；所述第四装置4将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
其中，所述第一装置1、所述第二装置2以及所述第四装置4与图1所示的对应装置相同或相似，故在此不再赘述。
所述三一单元31将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据。
在此，所述三一单元31的整合方式与图1中所述第三装置3相同或相似，故在此不再赘述。本领域技术人员应能理解，所述三一单元31整合后所生成的为初始动作数据和/或初始表情数据，可以被所述三二单元32继续处理。
所述三二单元32根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
具体地，所述三二单元32根据所确定的初始动作数据和/或初始表情数据，可以确定所述初始动作数据和/或初始表情数据所发生的时间、所发生的次数、所发生的间隔频率等，以作为所述时频信息；然后，所述三二单元32根据该时频信息，对未包含所述初始动作数据和/或初始表情数据的时间进行补帧，以形成连续的动作数据和/或表情数据。
优选地，所述三二单元32根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
即所述三二单元32根据在前一时序与后一时序之间的初始动作数据和/或初始表情数据的数据值，将两次数据值进行插值，以将插值数据作为补帧信息，从而实现平滑过度。
所述三三单元33将所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息全部确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
或者，所述三二单元32可以根据网络状况或所述服务设备所确定的数据发送频率，来确定所述时频信息，例如为了降低所述服务设备的承载压力，可以降低所述时频信息，以避免频繁发送；然后，所述三二单元32确定与所述数据发送频率相对应的补帧算法，以作为所述补帧信息。
所述三三单元33将所述初始动作数据和/或初始表情数据以及其所对应的所述补帧算法均作为与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据，并通过所述第四装置4发送给所述第二用户，所述第二用户的用户端根据所述补帧算法对所述初始动作数据和/或初始表情数据进行补帧，并将该补帧与所述初始动作数据和/或初始表情数据一起进行展现。
图3示出根据本申请的一个实施例的一种用于虚拟化身形象互动的方法流程图。
具体地，在步骤S1中，所述服务设备获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；在步骤S2中，所述服务设备获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；在步骤S3中，所述服务设备将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；在步骤S4中，所述服务设备将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
在步骤S1中，所述服务设备获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据。
具体地，在步骤S1中，所述服务设备通过与所述第一用户所对应的第一用户设备相交互，以获取用户通过实时方式所主动执行的动作或表情，并将所述动作作为主动动作数据，将所述表情作为主动表情数据；或者，在步骤S1中，所述服务设备与其他能够提供所述主动数据的设备相交互，以获取所述第一用户的主动数据。
在此，所述第一用户设备包括但不限于摄像设备、拍照设备、传感设备、VR设备等；所述动作包括但不限于头部动作、肢体动作、手指/手掌动作等任意由用户主动执行的动作；所述表情即为用户面部表情，包括用户眉、眼、口、鼻、嘴、耳以及面部肌肉的各种变化。
在此，所述动作和/或表情可通过对用户进行拍照、摄像、监测VR设备的移动状态、获取传感器的传感数据等方式来进行获取。本领域技术人员应能理解，上述获取方式仅为举例，并非对本申请的限制，其他的动作和/或表情的获取方式同样适用于本申请。
优选地，所述，所述主动动作数据中包括所述用户的头部转动信息；其中，所述方法还包括步骤S7(未示出)，在步骤S7中，所述服务设备用于根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
具体地，在步骤S7中，所述服务设备通过与所述虚拟现实设备相交互，以获取所述虚拟现实设备的旋转轴向数据，由于所述虚拟现实设备通常是被佩戴在用户头上的，因此，该旋转轴向数据可以反应所述用户的头部转动信息。在步骤S7中，所述服务设备根据所述旋转轴向数据的转动方向、转动角度等，将其转换为所述用户头部的转动方向与转动角度，从而确定所述头部转动信息。在此，所述转动方向包括但不限于上下左右等方向。
在步骤S2中，所述服务设备获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
具体地，在步骤S2中，所述服务设备通过直接与其他能够提供所述分析数据的设备相交互，以获取所述分析数据；或者，在步骤S2中，所述服务设备通过获取所述第一用户的初始数据，对所述初始数据进行分析，以获取所述分析数据。
在此，所述初始数据包括但不限于语音信息或经由输入设备所输入的任意信息，所述输入设备例如触摸屏、键盘、手柄、VR设备等任意能够获取用户输入操作的设备，所输入的任意信息包括但不限于触摸、点击、按键操作等。
所述分析方法例如，通过对所述语音信息进行分析，以确定所述分析数据；通过对所述用户输入操作进行分析，以确定所述分析数据，例如，当用户通过点击操作在屏幕上选择“开心”以后，将“开心”所对应的相应动作与表情作为所述动作分析数据以及所述表情分析数据，例如，“开心”所对应的表情为“嘴角成微笑的弧度”，动作为“鼓掌”等。
优选地，在步骤S2中，所述服务设备可以根据所述用户输入操作的操作状态，来确定所述分析数据；所述操作状态包括但不限于操作的时间、频率、力度等，例如，若用户快速且用力地敲击键盘，则将所述动作分析数据与所述表情分析数据确定为“愤怒”所对应的相应动作与表情，例如，“开心”所对应的表情为“嘴角成直线、紧绷”，动作为“握拳”等。
优选地，所述步骤S2包括步骤S21(未示出)以及步骤S22(未示出)；其中，在步骤S21中，所述服务设备获取一个或多个所述第一用户的语音信息；在步骤S22中，所述服务设备对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
具体地，在步骤S21中，所述服务设备获取所述第一用户通过语音输入设备所输入的语音信息，或者在步骤S21中，所述服务设备与其他能够提供该用户语音信息的设备相交互，以获取所述第一用户的语音信息。
在步骤S22中，所述服务设备基于现有的语音分析技术，对所述语音信息中所包含的语义与情感信息进行分析，以获取所述语音信息中的语义信息和/或情感信息；然后，所述服务设备根据分析得到的语义信息和/或情感信息，确定所述第一用户的动作分析数据和/或表情分析数据。其中，所述情感信息包括但不限于高兴、反感、正常状态、无所谓等态度；所述动作分析数据除包含肢体动作外，还可以包含口型动作。
例如，当所述语义信息和/或情感信息表示高兴状态时，则确定所述表情分析数据与动作分析数据为：眼睛、眉毛、唇形、嘴型通过适当的弯曲等明显表达出阳光、乐观的情感，如高兴的程度更深，则可露牙表示愉悦的心情。若当所述语义信息和/或情感信息表示无所谓状态时，则可将表情分析数据与动作分析数据确定为：五官都远离中心、眼神涣散并呆滞，面部松弛放松，头部可适当偏移以配合表情。如当所述语义信息和/或情感信息表示反感状态时，则可使得所述表情分析数据与动作分析数据为：眉形紧绷并下垂，嘴型紧张并由明显远离的表现，头部可适当偏移以配合表情。如当所述语义信息和/或情感信息表示正常状态时，如当该用户处于初始化、待机等状态时，则可将五官正常随机、微小变动，自然化呈现。
优选地，在步骤S22中，所述服务设备可执行以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
具体地，对于方法一：
在步骤S22中，所述服务设备通过对所述语音信息进行语义识别，以确定所述语音信息所对应的语义；在此，所述语义识别可以将所述语音信息完全识别，也可以提取所述语音信息中的关键词，例如，“高兴”、“烦”、“唉”(叹气)等表示情绪的词。
然后，所述服务设备还可以对所述语音信息进行情感分析，在此，所述情感分析可以通过对音频的语速、语调等进行数据分析，如根据高频、低频、持续时间等频谱信息来确定所述语音信息所对应的情绪信息，例如，若通过音频分析得知音调高亢且短促，则可认为所述情绪信息为恐惧。
然后，所述服务设备根据所述语义识别以及所述情感分析得到的信息，确定所述语音信息相对应的情绪信息，进而确定与所述语音信息相对应的表情分析数据，其中，所述表情分析数据中包括面部表情信息。例如，不同的情绪信息的数据对应于不同的唇部弧度、眉眼角度、头部偏移角度等，而上述唇部弧度、眉眼角度、头部偏移角度又将进一步影响肌肉纹理走向等面部表情信息。
更优选地，在步骤S22中，所述服务设备对所述语音信息进行语义识别，以提取所述语音信息中的关键词信息；对所述语音信息进行频谱分析，以确定所述语音信息所对应的情感信息；根据所述关键词信息和/或情感信息，确定与所述语音信息相对应的情感类型；根据所述情感类型，确定与所述语音信息相对应的表情分析数据。
对于方法二：
在步骤S22中，所述服务设备通过对所述语音信息进行音频分析，例如通过音频的高中低音频谱等信息，以确定与所述语音信息相对应的音频高低；然后根据不同的音频信息，确定与所述语音信息相对应的动作分析数据。其中，所述动作分析数据中包括口型动作，此外，所述动作分析数据中还可以包括根据所述音频信息来确定的肢体动作，如当音频高时则抬高手臂等。
更优选地，在步骤S22中，所述服务设备对所述语音信息进行音频分析，以确定与所述语音信息相对应的发音信息和/或音调信息；根据所述发音信息和/或音调信息，确定与所述语音信息相对应的口型动作。
在步骤S3中，所述服务设备将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
具体地，在步骤S3中，所述服务设备将所述主动数据与所述分析数据按照时间顺序和/或优先级顺序进行整合。
例如，所述主动数据对应于1至10秒，所述分析数据对应于11至20秒，则将所述主动数据与所述分析数据分别作为该第一用户所对应的虚拟形象在1至20秒的动作数据和/或表情数据；或者，所述主动数据中仅包含第1秒至第10秒的主动动作数据，所述分析数据中仅包含第1秒至第10秒的表情分析数据，则将该主动动作数据作为所述虚拟化身形象的在所述第1秒至第10秒的动作数据，将该表情分析数据作为所述虚拟化身形象的在第1秒至第10秒的表情数据；若在同一时间同时存在主动数据与分析数据，则可以根据预设值的优先级，如将主动数据作为优先级高的数据，将主动数据优于分析数据确定为所述虚拟化身形象的动作数据和/或表情数据等。
在此，所述虚拟化身形象指的是当用户在VR场景下，与该用户所对应的虚拟形象，该虚拟化身形象代表了用户本身，用户的行为表情等均通过该虚拟化身形象进行展现；当多个用户存在于同一虚拟场景下时，用户通过VR设备，能够看到彼此的虚拟化身形象，并通过虚拟化身形象进行交互。
所述虚拟化身形象包括二维形象以及三维形象(如年龄、性别、面部长相、服饰、配件)、动作、表情等。
优选地，在步骤S3中，所述服务设备确定所述主动数据以及所述分析数据所对应的优先级；根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
具体地，在步骤S3中，所述服务设备根据预定义的规则，确定所述主动数据以及所述分析数据所对应的优先级，例如，所述主动数据的优先级高于所述分析数据；或者，在步骤S3中，所述服务设备根据所述主动数据以及所述分析数据的数据特征，如所述数据特征如所述主动数据以及所述分析数据所对应的移动帧数、移动频率、像素大小等，来确定所述主动数据以及所述分析数据所对应的优先级。例如，根据当前网络传输状态，若网络传输状态良好，则将移动频率更高的数据作为优先级更高的数据，若网络传输状态很差，则将移动频率更低的数据作为优先级更高的数据等。
然后，在步骤S3中，所述服务设备将所述优先级较高的数据作为优先整合的数据，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。例如，若在同一时间同时存在主动数据与分析数据，且所述主动数据作为优先级高的数据，则将主动数据优于分析数据确定为所述虚拟化身形象的动作数据和/或表情数据等。
在此，本领域技术人员应能理解，所述主动数据中的主动动作数据和/或主动表情数据、以及所述分析数据中的动作分析数据和/或表情分析数据的优先级，可以分别确定。例如，主动动作数据的优先级高于动作分析数据，主动表情数据的优先级低于表情分析数据等。
优选地，当获取多个第一用户的主动数据和分析数据时，在步骤S3中，所述服务设备根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
具体地，所述关联关系包括但不限于多个第一用户的主动数据和分析数据的时序关联性、场景关联性、动作关联性等。例如，当多个第一用户进行虚拟场景下的观影活动时，当一个第一用户的动作为“与另一用户击掌”时，则可以直接确定所述另一用户的动作为“与该第一用户击掌”；若当多个第一用户的表情数据为“微笑”，则可确定其他第一用户的表情数据为“微笑”。从而，所述服务设备能够分别为每个所述第一用户确定动作数据和/或表情数据，且多个第一用户的动作数据和/或表情数据之间具有关联关系。
优选地，所述方法还包括步骤S6(未示出)，其中，在步骤S6中，所述服务设备确定与所述第一用户相对应的虚拟化身形象。
在步骤S6中，所述服务设备根据以下任意一种或多种方式，来确定与所述第一用户相对应的虚拟化身形象：
-随机分配的方式：当所述第一用户接入VR或登入特定VR场景时，为该第一用户随机分配一个虚拟化身形象；
-用户选择的方式：当所述第一用户接入VR或登入特定VR场景时，根据所述第一用户从预订的多个虚拟化身形象中所选择的形象，来确定与该第一用户相对应的虚拟化身形象；
-根据所述第一用户的个人信息，确定与所述第一用户相对应的虚拟化身形象：在此，所述个人信息包括但不限于该用户的照片、视频、个人资料(如性别、年龄、职业、喜好等)。例如，根据用户照片，通过将照片进行处理，以生成该用户的虚拟化身形象；或者，例如，根据用户的个人资料，选择适合该用户性别年龄等的虚拟化身形象作为该用户的虚拟化身形象等。在此，所述个人信息可以通过用户输入、实时拍摄、根据所存储的资料进行选择等方式进行获取。
-根据虚拟化身形象所在的场景信息，确定与所述第一用户相对应的虚拟化身形象。在此，所述场景信息包括但不限于当前VR场景的主题、环境、其他参与该场景信息的第二用户的相关信息等。例如，若当前VR场景为会议，则为所述第一用户选择正装作为虚拟化身形象的服饰，若当前VR场景为看电影，则为所述第一用户选择休闲装作为虚拟化身形象的服饰等。
优选地，在步骤S6中，所述服务设备可以根据所述第一用户的修改操作，对所确定的虚拟化身形象进行调整，以将调整后的虚拟化身形象作为该第一用户的虚拟化身形象。
在步骤S4中，所述服务设备将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
具体地，在步骤S4中，所述服务设备将所述第一虚拟化身形象的动作数据和/或表情数据实时发送给一个或多个第二用户，使得所述第二用户能够实时在其虚拟现实设备上看到所述第一用户所对应的虚拟化身形象的动作和/或表情。
在此，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中，所述虚拟场景例如聊天场景、观影场景、游戏互动场景的任意需要多个用户互动的虚拟场景。
优选地，所述方法还包括步骤S5(未示出)，其中，在步骤S5中，所述服务设备获取与所述第一用户相关联的场景数据；在步骤S4中，所述服务设备将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
具体地，所述场景数据包括但不限于该虚拟场景内的音频数据、视频播放数据、场景配置数据(如场景内的陈设、背景等)。在步骤S5中，所述服务设备可直接与能够提供所述场景数据的设备相交互，以获取所述场景数据；或者，在步骤S5中，所述服务设备根据所述第一用户的选择、预置设定或是其他用户的选择等方式，确定并获取所述场景数据。
然后，在步骤S4中，所述服务设备将所述场景数据与所述第一用户的虚拟化身形象的动作数据和/或表情数据一起发送给所述第二用户；在此，所述场景数据发送的频率可以与所述第一用户的虚拟化身形象的动作数据和/或表情数据一致，也可以与所述第一用户的虚拟化身形象的动作数据和/或表情数据不一致，例如，每隔10秒更新一次场景数据，每隔1秒更新一次所述动作数据和/或表情数据。
图4示出根据本申请的另一个实施例的一种用于虚拟化身形象互动的方法流程图。
具体地，在步骤S1中，所述服务设备获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；在步骤S2中，所述服务设备获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；在步骤S31中，所述服务设备将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；在步骤S32中，所述服务设备根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；在步骤S33中，所述服务设备根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；在步骤S4中，所述服务设备将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
其中，所述步骤S1、所述步骤S2以及所述步骤S4与图3所示的对应步骤相同或相似，故在此不再赘述。
在步骤S31中，所述服务设备将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据。
在此，所述服务设备的整合方式与图3中所述步骤S3相同或相似，故在此不再赘述。本领域技术人员应能理解，在步骤S31中，所述服务设备整合后所生成的为初始动作数据和/或初始表情数据，可以被后续步骤S32继续处理。
在步骤S32中，所述服务设备根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
具体地，在步骤S32中，所述服务设备根据所确定的初始动作数据和/或初始表情数据，可以确定所述初始动作数据和/或初始表情数据所发生的时间、所发生的次数、所发生的间隔频率等，以作为所述时频信息；然后，所述服务设备根据该时频信息，对未包含所述初始动作数据和/或初始表情数据的时间进行补帧，以形成连续的动作数据和/或表情数据。
优选地，在步骤S32中，所述服务设备根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
即所述服务设备根据在前一时序与后一时序之间的初始动作数据和/或初始表情数据的数据值，将两次数据值进行插值，以将插值数据作为补帧信息，从而实现平滑过度。
在步骤S33中，所述服务设备将所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息全部确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
或者，在步骤S32中，所述服务设备可以根据网络状况或所述服务设备所确定的数据发送频率，来确定所述时频信息，例如为了降低所述服务设备的承载压力，可以降低所述时频信息，以避免频繁发送；然后，所述服务设备确定与所述数据发送频率相对应的补帧算法，以作为所述补帧信息。
在步骤S33中，所述服务设备将所述初始动作数据和/或初始表情数据以及其所对应的所述补帧算法均作为与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据，并在步骤S4中，通过所述服务设备发送给所述第二用户，所述第二用户的用户端根据所述补帧算法对所述初始动作数据和/或初始表情数据进行补帧，并将该补帧与所述初始动作数据和/或初始表情数据一起进行展现。
图5示出了可被用于实施本申请中所述的各个实施例的示例性系统。
在一些实施例中，系统500能够作为图1、图2、图3、图4所示的实施例或其他所述实施例中的任意一个远程计算设备。在一些实施例中，系统500可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备520)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器505)。
对于一个实施例，系统控制模块510可包括任意适当的接口控制器，以向(一个或多个)处理器505中的至少一个和/或与系统控制模块510通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块510可包括存储器控制器模块530，以向系统存储器515提供接口。存储器控制器模块530可以是硬件模块、软件模块和/或固件模块。
系统存储器515可被用于例如为系统500加载和存储数据和/或指令。对于一个实施例，系统存储器515可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器515可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块510可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备520及(一个或多个)通信接口525提供接口。
例如，NVM/存储设备520可被用于存储数据和/或指令。NVM/存储设备520可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备520可包括在物理上作为系统500被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备520可通过网络经由(一个或多个)通信接口525进行访问。
(一个或多个)通信接口525可为系统500提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统500可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器(例如，存储器控制器模块530)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器505中的至少一个可与系统控制模块510的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统500可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统500可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统500包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
在权利要求书中规定了各个实施例的各个方面。在下列编号条款中规定了各个实施例的这些和其他方面：
1.一种用于虚拟化身形象互动的方法，其中，该方法包括以下步骤：
a获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；
b获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；
c将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；
d将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
2.根据条款1所述的方法，其中，所述主动动作数据中包括所述用户的头部转动信息；
其中，该方法还包括：
根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
3.根据条款1或2所述的方法，其中，所述步骤b包括：
获取一个或多个所述第一用户的语音信息；
对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
4.根据条款3所述的方法，其中，所述确定所述第一用户的分析数据的步骤包括以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
5.根据条款1至4中任一项所述的方法，其中，所述步骤c包括：
将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；
根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；
根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
6.根据条款5所述的方法，其中，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息的步骤包括：
根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
7.根据条款1至6中任一项所述的方法，其中，所述步骤c包括：
确定所述主动数据以及所述分析数据所对应的优先级；
根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
8.根据条款1至7中任一项所述的方法，其中，当获取多个第一用户的主动数据和分析数据时，所述步骤c包括：
根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
9.根据条款1至8中任一项所述的方法，其中，该方法还包括：
获取与所述第一用户相关联的场景数据；
其中，所述步骤d包括：
将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
10.根据条款1至9中任一项所述的方法，其中，该方法还包括：
确定与所述第一用户相对应的虚拟化身形象。
11.一种用于虚拟化身形象互动的服务设备，其中，所述服务设备包括：
第一装置，用于获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；
第二装置，用于获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；
第三装置，用于将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；
第四装置，用于将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
12.根据条款11所述的服务设备，其中，所述主动动作数据中包括所述用户的头部转动信息；
其中，所述服务设备还包括：
第七装置，用于根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
13.根据条款11或12所述的服务设备，其中，所述第二装置包括：
二一单元，用于获取一个或多个所述第一用户的语音信息；
二二单元，用于对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
14.根据条款13所述的服务设备，其中，所述二二单元用于以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
15.根据条款11至14中任一项所述的服务设备，其中，所述第三装置包括：
三一单元，用于将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；
三二单元，用于根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；
三三单元，用于根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
16.根据条款15所述的服务设备，其中，所述三二单元用于：
根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
17.根据条款11至16中任一项所述的服务设备，其中，所述第三装置用于：
确定所述主动数据以及所述分析数据所对应的优先级；
根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
18.根据条款11至17中任一项所述的服务设备，其中，当获取多个第一用户的主动数据和分析数据时，所述第三装置用于：
根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
19.根据条款11至18中任一项所述的服务设备，其中，所述服务设备还包括：
第五装置，用于获取与所述第一用户相关联的场景数据；
其中，所述第四装置用于：
将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
20.根据条款11至19中任一项所述的服务设备，其中，所述服务设备还包括：
第六装置，用于确定与所述第一用户相对应的虚拟化身形象。
21.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如条款1至10中任一项所述的方法。
22.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如条款1-10中任一项所述的方法。
Claims (22)
1.一种用于虚拟化身形象互动的方法，其中，该方法包括以下步骤：
a获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；
b获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；
c将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；
d将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
2.根据权利要求1所述的方法，其中，所述主动动作数据中包括所述用户的头部转动信息；
其中，该方法还包括：
根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
3.根据权利要求1或2所述的方法，其中，所述步骤b包括：
获取一个或多个所述第一用户的语音信息；
对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
4.根据权利要求3所述的方法，其中，所述确定所述第一用户的分析数据的步骤包括以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
5.根据权利要求1至4中任一项所述的方法，其中，所述步骤c包括：
将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；
根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；
根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
6.根据权利要求5所述的方法，其中，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息的步骤包括：
根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
7.根据权利要求1至6中任一项所述的方法，其中，所述步骤c包括：
确定所述主动数据以及所述分析数据所对应的优先级；
根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
8.根据权利要求1至7中任一项所述的方法，其中，当获取多个第一用户的主动数据和分析数据时，所述步骤c包括：
根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
9.根据权利要求1至8中任一项所述的方法，其中，该方法还包括：
获取与所述第一用户相关联的场景数据；
其中，所述步骤d包括：
将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
10.根据权利要求1至9中任一项所述的方法，其中，该方法还包括：
确定与所述第一用户相对应的虚拟化身形象。
11.一种用于虚拟化身形象互动的服务设备，其中，所述服务设备包括：
第一装置，用于获取一个或多个第一用户的主动数据，其中，所述主动数据包括主动动作数据和/或主动表情数据；
第二装置，用于获取一个或多个所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据；
第三装置，用于将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据；
第四装置，用于将所述第一用户的虚拟化身形象的动作数据和/或表情数据发送给一个或多个第二用户，其中，所述一个或多个第一用户与所述一个或多个第二用户处于同一虚拟场景中。
12.根据权利要求11所述的服务设备，其中，所述主动动作数据中包括所述用户的头部转动信息；
其中，所述服务设备还包括：
第七装置，用于根据与所述第一用户相对应的虚拟现实设备的旋转轴向数据，确定所述用户的头部转动信息。
13.根据权利要求11或12所述的服务设备，其中，所述第二装置包括：
二一单元，用于获取一个或多个所述第一用户的语音信息；
二二单元，用于对所述第一用户的语音信息进行分析，以确定所述第一用户的分析数据，其中，所述分析数据包括动作分析数据和/或表情分析数据。
14.根据权利要求13所述的服务设备，其中，所述二二单元用于以下至少任一项：
对所述语音信息进行语义识别和情感分析，以确定与所述语音信息相对应的表情分析数据；
对所述语音信息进行音频分析，以确定与所述语音信息相对应的动作分析数据。
15.根据权利要求11至14中任一项所述的服务设备，其中，所述第三装置包括：
三一单元，用于将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的初始动作数据和/或初始表情数据；
三二单元，用于根据所述初始动作数据和/或初始表情数据所对应的时频信息，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息；
三三单元，用于根据所述初始动作数据和/或初始表情数据以及其所对应的所述补帧信息，确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
16.根据权利要求15所述的服务设备，其中，所述三二单元用于：
根据所述初始动作数据和/或初始表情数据所对应的时频信息，根据插值方法，确定与所述初始动作数据和/或初始表情数据所对应的补帧信息。
17.根据权利要求11至16中任一项所述的服务设备，其中，所述第三装置用于：
确定所述主动数据以及所述分析数据所对应的优先级；
根据所述主动数据以及所述分析数据所对应的优先级，将所述主动数据与所述分析数据进行整合，以确定与所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
18.根据权利要求11至17中任一项所述的服务设备，其中，当获取多个第一用户的主动数据和分析数据时，所述第三装置用于：
根据所述多个第一用户所对应的主动数据以及分析数据之间的关联关系，将所述主动数据与所述分析数据进行整合，分别确定与每个所述第一用户相对应的虚拟化身形象的动作数据和/或表情数据。
19.根据权利要求11至18中任一项所述的服务设备，其中，所述服务设备还包括：
第五装置，用于获取与所述第一用户相关联的场景数据；
其中，所述第四装置用于：
将所述第一用户的虚拟化身形象的动作数据和/或表情数据以及所述场景数据发送给一个或多个第二用户。
20.根据权利要求11至19中任一项所述的服务设备，其中，所述服务设备还包括：
第六装置，用于确定与所述第一用户相对应的虚拟化身形象。
21.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至10中任一项所述的方法。
22.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811076440.XA CN109445573A (zh) | 2018-09-14 | 2018-09-14 | 一种用于虚拟化身形象互动的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811076440.XA CN109445573A (zh) | 2018-09-14 | 2018-09-14 | 一种用于虚拟化身形象互动的方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109445573A true CN109445573A (zh) | 2019-03-08 |
Family
ID=65531016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811076440.XA Withdrawn CN109445573A (zh) | 2018-09-14 | 2018-09-14 | 一种用于虚拟化身形象互动的方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109445573A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502120A (zh) * | 2019-08-29 | 2019-11-26 | 广州创幻数码科技有限公司 | 动捕数据和预设动作数据结合的虚拟主播系统及实现方 |
| CN111091810A (zh) * | 2019-12-19 | 2020-05-01 | 佛山科学技术学院 | 基于语音信息的vr游戏人物表情控制方法及存储介质 |
| CN112130660A (zh) * | 2020-08-14 | 2020-12-25 | 青岛小鸟看看科技有限公司 | 一种基于虚拟现实一体机的交互方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419499A (zh) * | 2008-11-14 | 2009-04-29 | 东南大学 | 基于摄像头和话筒的多媒体人机交互方法 |
| US20130258040A1 (en) * | 2012-04-02 | 2013-10-03 | Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. | Interactive Avatars for Telecommunication Systems |
| US20170237786A1 (en) * | 2016-02-17 | 2017-08-17 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Systems and methods for facilitating video communication using virtual avatars |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
| CN107431635A (zh) * | 2015-03-27 | 2017-12-01 | 英特尔公司 | 化身面部表情和/或语音驱动的动画化 |
| CN108234276A (zh) * | 2016-12-15 | 2018-06-29 | 腾讯科技（深圳）有限公司 | 一种虚拟形象之间互动的方法、终端及系统 |
-
2018
- 2018-09-14 CN CN201811076440.XA patent/CN109445573A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101419499A (zh) * | 2008-11-14 | 2009-04-29 | 东南大学 | 基于摄像头和话筒的多媒体人机交互方法 |
| US20130258040A1 (en) * | 2012-04-02 | 2013-10-03 | Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. | Interactive Avatars for Telecommunication Systems |
| CN107431635A (zh) * | 2015-03-27 | 2017-12-01 | 英特尔公司 | 化身面部表情和/或语音驱动的动画化 |
| US20170237786A1 (en) * | 2016-02-17 | 2017-08-17 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Systems and methods for facilitating video communication using virtual avatars |
| CN108234276A (zh) * | 2016-12-15 | 2018-06-29 | 腾讯科技（深圳）有限公司 | 一种虚拟形象之间互动的方法、终端及系统 |
| CN107154069A (zh) * | 2017-05-11 | 2017-09-12 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110502120A (zh) * | 2019-08-29 | 2019-11-26 | 广州创幻数码科技有限公司 | 动捕数据和预设动作数据结合的虚拟主播系统及实现方 |
| CN111091810A (zh) * | 2019-12-19 | 2020-05-01 | 佛山科学技术学院 | 基于语音信息的vr游戏人物表情控制方法及存储介质 |
| CN112130660A (zh) * | 2020-08-14 | 2020-12-25 | 青岛小鸟看看科技有限公司 | 一种基于虚拟现实一体机的交互方法和系统 |
| US11720169B2 (en) | 2020-08-14 | 2023-08-08 | Qingdao Pico Technology Co., Ltd. | Interaction method and system based on virtual reality equipment |
| CN112130660B (zh) * | 2020-08-14 | 2024-03-15 | 青岛小鸟看看科技有限公司 | 一种基于虚拟现实一体机的交互方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200234478A1 (en) | Method and Apparatus for Processing Information | |
| WO2021043053A1 (zh) | 一种基于人工智能的动画形象驱动方法和相关装置 | |
| US10521946B1 (en) | Processing speech to drive animations on avatars | |
| TWI778477B (zh) | 互動方法、裝置、電子設備以及儲存媒體 | |
| CN109410297A (zh) | 一种用于生成虚拟化身形象的方法与装置 | |
| US9584455B2 (en) | Method and apparatus of processing expression information in instant communication | |
| JP7225188B2 (ja) | ビデオを生成する方法および装置 | |
| CN107632706B (zh) | 多模态虚拟人的应用数据处理方法和系统 | |
| JP7268071B2 (ja) | バーチャルアバターの生成方法及び生成装置 | |
| TW201733345A (zh) | 使用互動化身的通訊技術（二） | |
| WO2019114328A1 (zh) | 一种基于增强现实的视频处理方法及其装置 | |
| KR20210001859A (ko) | 3차원 가상 인물 입모양 변화 제어 방법 및 장치 | |
| WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
| JP2023525173A (ja) | レンダリングされたグラフィカル出力を利用する会話型ａｉプラットフォーム | |
| Chen et al. | Gestonhmd: Enabling gesture-based interaction on low-cost vr head-mounted display | |
| CN111538456A (zh) | 基于虚拟形象的人机交互方法、装置、终端以及存储介质 | |
| CN108460324A (zh) | 一种用于识别幼儿情绪的方法 | |
| CN112652041B (zh) | 虚拟形象的生成方法、装置、存储介质及电子设备 | |
| CN109445573A (zh) | 一种用于虚拟化身形象互动的方法与装置 | |
| US20240078733A1 (en) | Automated gif generation platform | |
| CN112990043A (zh) | 一种服务交互方法、装置、电子设备及存储介质 | |
| US11430158B2 (en) | Intelligent real-time multiple-user augmented reality content management and data analytics system | |
| US20240096032A1 (en) | Technology for replicating and/or controlling objects in extended reality | |
| Hsu et al. | A multimedia presentation system using a 3D gesture interface in museums | |
| US20160154948A1 (en) | Managing companionship data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190308 |