CN108037829A - 基于全息设备的多模态交互方法及系统 - Google Patents

Abstract

本发明提供一种基于全息设备的多模态交互方法，其包含以下步骤：虚拟形象在移动设备运行，且虚拟形象具备预设形象特征和预设属性，通过移动设备和/或全息设备获取多模态输入数据，多模态输入数据可包含用户生物特征；当捕捉到成像操作，或，将多模态输入数据传送至云端大脑解析以及计算，以在移动设备生成成像事件，并由移动设备控制全息设备显示虚拟形象的全息影像，以便与用户进行多模态交互。本发明提供的基于全息设备的多模态交互方法及系统能够通过全息设备将虚拟形象的影像转化为全息影像，并显示出来，并且，本发明能够通过移动设备、全息设备以及云端大脑的配合与用户进行多模态的交互。

Description

基于全息设备的多模态交互方法及系统

技术领域

本发明涉及人工智能领域，具体地说，涉及一种基于全息设备的多模态交互方法及系统。

背景技术

移动设备成像技术在目前已经非常成熟，现在市场上的移动设备很多都具备成像功能，能够把人物以及景色等景象显示在屏幕上，并且，随着技术的发展，成像的清晰度也越来越高。

但是，目前来说，移动设备成像的发展还不太完善，尚未出现移动设备与用户之间通过虚拟形象来进行多模态交互的产品。

因此，本发明提供了一种基于全息设备的多模态交互方法及系统。

发明内容

为解决上述问题，本发明提供了一种基于全息设备的多模态交互方法，所述方法包含以下步骤：

虚拟形象在移动设备运行，且所述虚拟形象具备预设形象特征和预设属性，通过所述移动设备和/或全息设备获取多模态输入数据，所述多模态输入数据可包含用户生物特征；

当捕捉到成像操作，或，将所述多模态输入数据传送至云端大脑解析以及计算，以在所述移动设备生成成像事件，并由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像，以便与用户进行多模态交互。

根据本发明的一个实施例，所述多模态输入数据包括：

用户通过所述移动设备和/或所述全息设备输入的生物特征信息；或，

所述移动设备获取的针对运行所述虚拟形象的程序的开启信号；或，

所述全息设备获取的开关信号。

根据本发明的一个实施例，还包括：

通过所述云端大脑解析以及计算所述多模态输入数据，以决策生成多模态输出数据，且通过所述移动设备控制输出所述多模态输出数据，及所述全息影像输出所述多模态输出数据中的展示数据。

根据本发明的一个实施例，生成成像事件可由如下方式实现：

针对运行所述虚拟形象的程序开启；或，

所述虚拟形象被唤醒；或，

所述移动设备发生与成像事件关联的系统事件。

根据本发明的一个实施例，在由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像步骤前包含以下步骤：

检查无线连接成功；以及，

所述全息设备得电；以及，

所述移动设备与所述全息设备绑定成功；以及，

确保所述全息设备与所述移动设备连接成功。

根据本发明的一个实施例，还包括：

在所述全息设备显示所述虚拟形象的全息影像的同时，开启所述全息设备的成像辅助部件。

根据本发明的另一个方面，还提供了一种程序产品，其包含用于执行如上所述的方法步骤的一系列指令。

根据本发明的另一个方面，还提供了一种基于全息设备的多模态交互系统，所述系统包含：

移动设备，其上装载有虚拟形象，用于获取多模态输入数据，所述虚拟形象具备预设形象特征和预设属性，所述多模态输入数据可包含用户生物特征；

全息设备，其用于获取多模态输入数据以及将所述虚拟形象的影像转化为全息影像并显示所述全息影像；

云端大脑，其用于解析以及计算所述多模态输入数据，以在所述移动设备生成成像事件，并由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像，以便与用户进行多模态交互。

根据本发明的另一个方面，还提供了一种虚拟形象，所述虚拟形象装载在如上所述的移动设备上，所述虚拟形象具备人类虚拟形象和预设属性，并由全息设备显示。

根据本发明的另一个方面，还提供了一种全息设备，所述全息设备包含：

通信装置，其用于接收如上所述的移动设备传输的虚拟形象的影像以及多模态输出数据；

成像装置，其与所述通信装置连接，用于将所述虚拟形象的影像转化为全息影像，并显示所述全息影像；

输出装置，其与所述通信装置以及所述成像装置连接，用于呈现所述全息影像及所述多模态输出数据中的展示数据。

本发明提供的基于全息设备的多模态交互方法及系统能够通过全息设备将虚拟形象的影像转化为全息影像，并显示出来，并且，本发明能够通过移动设备、全息设备以及云端大脑的配合与用户进行多模态的交互。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的基于全息设备的多模态交互示意图；

图2显示了根据本发明的一个实施例的基于全息设备的多模态交互系统结构框图；

图3显示了根据本发明的一个实施例的全息设备结构框图；

图4显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的成像事件实现方式图；

图5显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的全息成像硬件条件图；

图6显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的全息成像流程图；

图7显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的移动设备模块框图；

图8显示了根据本发明的一个实施例的基于全息设备的多模态交互方法流程图；

图9显示了根据本发明的一个实施例的基于全息设备的多模态交互方法的另一流程图；以及

图10显示了根据本发明的一个实施例的在用户、移动设备、全息设备以及云端大脑四方之间进行通信的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

图1显示了根据本发明的一个实施例的基于全息设备的多模态交互示意图。如图1所示，进行多模态交互需要用户101、移动设备102、全息设备103以及云端大脑104。

在用户101与本发明提出的全息系统进行多模态交互时，虚拟形象在移动设备102运行，并且虚拟形象具备预设形象特征和预设属性，通过移动设备102和/或全息设备103获取多模态输入数据，多模态输入数据可包含用户生物特征。在本发明提出的基于全息设备的多模态交互系统中，首先通过移动设备102和/或全息设备103获取多模态输入数据，多模态输入数据可以包含用户生物特征，还可以包含文本、语音以及视觉等能够传递交互信息的数据。用户生物特征可以用来开启移动设备102上用于多模态交互的应用程序。

在本发明的一个实施例中，多模态输入数据包含用户通过移动设备102和/或全息设备103输入的生物特征信息、移动设备102获取的针对运行虚拟形象的程序的开启信号以及全息设备103获取的开关信号。如，当捕捉到成像操作，如成像按键直接触发成像(所述按键可为实体按键也可以是虚拟按键)。

一般来说，如果进行多模态交互的用户101为人类，那么，生物特征指的是人体固有的生物特征，例如指纹、虹膜、面相、掌纹以及DNA等。以上列举的生物特征都能够在一定程度上对用户101的身份进行鉴别，在实际运用中可以根据实际情况进行选择。当移动设备102和/或全息设备103获取到生物特征时，对生物特征进行处理，与正确生物特征进行匹配，匹配成功后进行多模态交互的下一步操作，匹配失败后拒绝与当前用户进行多模态交互。

在本发明的另一个实施例中，还可以通过行为特征来开启移动设备102上用于多模态交互的应用程序。行为特征包含步态、手势以及肢体动作。其他能够开启移动设备102上用于多模态交互的应用程序的方案也能够运用到本发明的实施例中，本发明不对此做出限制。

在本发明的一个实施例中，移动设备102的屏幕面对全息设备103，并在屏幕上显示虚拟形象的影像，虚拟形象的影像为四个角度的视图，分别是前视图、后视图、左视图以及右视图。

获取到多模态输入数据后，当捕捉到成像操作，或，将多模态输入数据传送至云端大脑104解析以及计算，以在移动设备102生成成像事件，并由移动设备102控制全息设备103显示虚拟形象的全息影像，以便与用户进行多模态交互。云端大脑104可以通过解析以及计算多模态输入数据，以决策生成多模态输出数据，且通过移动设备102控制输出多模态输出数据，并通过全息影像输出多模态输出数据中的展示数据。

云端大脑104具备处理多模态输入数据的能力，这些能力能够解析多模态输入数据的交互意图，并结合云端大脑104的决策层确定生成多模态输出数据。云端大脑104中的能力可以包含语言语义理解、动作语义理解、视觉识别、情感计算、认知计算等。

根据本发明的另一个实施例，一种虚拟形象，虚拟形象装载在的全息系统中的移动设备上，虚拟形象具备人类虚拟形象和预设属性，并由全息设备显示。

图2显示了根据本发明的一个实施例的基于全息设备的多模态交互系统结构框图。如图2所示，系统包含移动设备102、全息设备103以及云端大脑104。其中，移动设备102包含接收模块201、处理模块202、输出模块203以及控制模块204。

在本发明提供的交互系统中，移动设备102装载并运行虚拟形象，且虚拟形象具备预设形象特征和预设属性，移动设备102和/或全息设备103获取多模态输入数据，多模态输入数据可包含用户生物特征。移动设备102中的接收模块201用于接收多模态输入数据，并将多模态输入数据传递至处理模块202。除了多模态输入数据，接收模块201还可以接收来自全息设备103的信号，与全息设备展开通信连接。

处理模块202用于接收来自接收模块201的多模态输入数据，并向云端大脑104发送处理请求，请求云端大脑104处理多模态输入数据。云端大脑104在接收到多模态输入数据后负责解析以及计算多模态输入数据，以决策生成多模态输出数据，以将多模态输出数据传输至处理模块202。

输出模块203用于输出多模态输出数据以及虚拟形象的影像。输出模块203接收处理模块202传输的多模态输出数据，并将多模态输出数据以及虚拟形象的影像传输至全息设备103，通过全息设备103将虚拟形象的影像转化为全息影像，并呈现全息影像以及多模态输出数据中的展示设备。

在本发明提供的交互系统中，移动设备102还用于生成成像事件，并通过控制模块204控制全息设备103显示虚拟形象的全息影像，以便与用户进行多模态交互。在需要显示全息影像的时候向输出模块203发送输出控制指令，使得输出模块203向全息设备103传输全息影像以及多模态输出数据；在不需要显示全息影像的时候向输出模块203发送停止控制指令，禁止输出模块203向全息设备103传输全息影像以及多模态输出数据。

图3显示了根据本发明的一个实施例的全息设备结构框图。如图3所示，全息设备103包含通信装置301、成像装置302以及输出装置303。

全息设备103用于接收来自移动设备102发送的虚拟形象的影像以及多模态输出数据，并将虚拟形象的影像转化为全息影像，呈现全息影像以及多模态输出数据中的展示数据。

其中，通信装置301用于接收移动设备102传输的虚拟形象的影像以及多模态输出数据。成像装置302与通信装置301连接，用于将虚拟形象的影像转化为全息影像，并显示全息影像。输出装置303与通信装置301以及成像装置302连接，用于呈现全息影像及多模态输出数据中的展示数据。

图4显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的成像事件实现方式图。

当捕捉到成像操作，如成像按键直接触发成像(所述按键可为实体按键也可以是虚拟按键)，或，为了生成成像事件，需要具备一些条件或是前提，这些条件或是前提包含但不限于：针对运行虚拟形象的程序开启、虚拟形象被唤醒以及移动设备发生与成像事件关联的系统事件。

具体地说，移动设备发生与成像事件关联的系统事件包含当程序接收到系统服务推送的成像消息时、当移动设备有电话以及短信接入时以及当移动设备后台服务检测到系统状态改变时都可以触发成像事件的执行。其中，系统状态改变包含电量变化以及温度变化。

图5显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的全息成像硬件条件图。全息成像需要移动设备102以及全息设备103之间配合实现，需要移动设备102将虚拟形象的影像传输至全息设备103，以便全息设备103将虚拟形象的影像转化为全息影像，并将全息影像显示出来。

在本发明的一个实施例中，全息影像成像的硬件条件包含：检查无线连接成功，即检查移动设备102与全息设备103之间是否已经通过无线进行了连接。无线连接的方式一般包含WiFi连接、红外链接、蓝牙连接、Zigbee连接以及lora连接。

无线连接正常时，检查全息设备是否得电。其中，需要检查全息设备的供电系统是否正常开启。另外，在一个实施例中，在全息设备显示虚拟形象的全息影像的同时，如果需要开启全息设备的成像辅助部件，还需要检查辅助部件是否正常工作。在一个实施例中，全息设备的成像辅助部件可以包含发光设备，发光设备可以通过灯光的改变配合全息影像的出现。

接着，检查移动设备与全息设备是否绑定成功。首先需要检查移动设备是否绑定了本次交互需要的全息设备，如果没有绑定，那么向用户提供绑定流程，指导用户绑定全息设备，并检查用户是否按照提示进行了绑定。如果已经绑定了本次交互需要的全息设备，那么确保全息设备与移动设备连接成功。如果全息设备与移动设备连接失败，则全息成像失败。如果全息设备与移动设备连接成功，那么全息成像成功。

图6显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的全息成像流程图。

如图6所示，在步骤S601中，应用程序启动。接下来在步骤S602中，检测移动设备是否具备连接硬件条件，即移动设备是否开启了无线连接。如果是，则进入步骤S605，检测全息设备是否得电。如果否，则在步骤S603中，开启无线连接。接着在步骤S604中，判断用户是否按照提示打开无线连接。如果否，则进入步骤S614，虚拟形象进入待机模式。如果是，则进入步骤S605，检测全息设备是否得电。

如果S605步骤的判断结果为是，则进入步骤S608，检测应用程序是否有已经绑定的全息设备。如果否，则进入步骤S606，开启供电系统，即开启全息设备的供电系统。具体来说，全息设备可以配置有感应开关，当需要使得全息设备得电时，可以开启全息设备的感应开关。接着，在步骤S607中，判断用户是否按照提示打开供电系统。如果否，则进入步骤S614，虚拟形象进入待机模式。如果是，则进入步骤S608，检测应用程序是否有已经绑定的全息设备。

如果步骤S608步骤的判断结果为是，则进入步骤S611，检测是否连接上已绑定的全息设备。如果否，则进入步骤S609，全息设备绑定流程。接下来在步骤S610中，判断用户是否按照提示绑定。如果否，则进入步骤S614，虚拟形象进入待机模式。如果是，则进入步骤S611，检测是否连接上已绑定的全息设备。

如果S611步骤的判断结果为否，则进入步骤S614，虚拟形象进入待机状态模式。如果是，则进入步骤S612，全息设备开启成像辅助部件。接着，在步骤S613中，虚拟形象出现。

需要说明的是，步骤S612不是必须的，可以根据实际需求选择是否执行步骤S612。如果全息设备不具备成像辅助部件，则跳过步骤S612，直接执行步骤S613，如果全息设备具备成像辅助部件，则根据用户的选择决定是否执行步骤S612。

图7显示了根据本发明的一个实施例的基于全息设备的多模态交互系统的移动设备模块框图。如图7所示，移动设备102包含接收模块201、处理模块202以及输出模块203。其中，接收模块201包含文本采集单元2011、音频采集单元2012、视觉采集单元2013、生物采集单元2014以及信号单元2015。

接收模块201用于接收多模态输入数据。其中，文本采集单元2011用来采集文本信息。音频采集单元2012用来采集音频信息。视觉采集单元2013用来采集视觉信息。生物采集单元2014用来采集生物特征信息。接收模块201的例子包括键盘、光标控制设备(鼠标)、用于语音操作的麦克风、扫描仪、触摸功能(例如用以检测物理触摸的电容型传感器)、摄像头、感控设备，如采用可见或不可见波长射线、信号、环境数据等等。可以通过以上提到的输入设备来获取多模态输入数据。信号单元2015用于接收全息设备103的信号。多模态输入数据可以包含文本、音频、视觉、生物特征以及感知数据中的一种，也可以包含多种，本发明不对此作出限制。

处理模块202与云端大脑104互联，用于处理多模态输入数据。其包含互联单元2021以及成像单元2022。成像单元2022用于执行虚拟形象的成像过程。虚拟形象成像的条件包含：针对运行虚拟形象的程序开启、虚拟形象被唤醒以及移动设备发生与成像事件关联的系统事件。具体地说，当程序接收到系统服务推送的成像消息时、当移动设备有电话以及短信接入时以及当移动设备后台服务检测到系统状态改变时都可以触发成像事件的执行。其中，系统状态改变包含电量变化以及温度变化。

互联单元2021用于与云端大脑104展开互联以传递数据。互联单元2021在需要处理多模态输入数据时，向云端大脑104发送处理请求，请求云端大脑104处理多模态输入数据。互联单元2021向云端大脑104传输多模态输入数据，云端大脑104对多模态输入数据进行解析及决策，以决策生成多模态输出数据。

随后，云端大脑104将生成的多模态输出数据传输至互联单元2021。互联单元2021接收多模态输出数据，并将多模态输出数据以及虚拟形象输出至输出模块203，以便输出模块203进行输出处理。

输出模块203与处理模块202连接，并与全息设备103之间建立通信联系，用于将虚拟形象以及输出数据传输至全息设备103。输出模块203包含通信单元2031以及输出单元2032。其中，通信单元2031用于与处理模块202展开通信，接收处理模块202发送的指令以及数据。在接收到处理模块202传输的虚拟形象以及多模态输出数据后，将以上数据传输至输出单元2032。通信单元2031是处理模块202与输出单元2032之间的通信介质。

输出单元2032是输出模块203中的子单元，用于输出虚拟形象以及多模态输出数据。输出单元2032中配置有输出多模态输出数据相应的装置，用于将虚拟形象以及多模态输出数据传输至全息设备103。

图8显示了根据本发明的一个实施例的基于全息设备的多模态交互方法流程图。

如图8所示，在步骤S801中，虚拟形象在移动设备运行，且虚拟形象具备预设形象特征和预设属性，通过移动设备和/或全息设备获取多模态输入数据，多模态输入数据可包含用户生物特征。

在步骤S802中，当捕捉到成像操作，或，将多模态输入数据传送至云端大脑解析以及计算，以在移动设备生成成像事件，并由移动设备控制全息设备显示虚拟形象的全息影像，以便与用户进行多模态交互。

另外，在获取到多模态输入数据后，还通过云端大脑解析以及计算多模态输入数据，以决策生成多模态输出数据，且通过移动设备控制输出多模态输出数据，及全息影像输出多模态输出数据中的展示数据。

此外，全息系统还可以配合一种程序产品，其包含用于执行完成全息交互的方法步骤的一系列指令。

图9显示了根据本发明的一个实施例的基于全息设备的多模态交互方法的另一流程图。

如图9所示，在步骤S901中，移动设备102向云端大脑104发出请求。请求云端大脑104处理多模态输入数据。之后，在步骤S902中，移动设备102一直处于等待云端大脑104回复的状态。在等待的过程中，移动设备102会对返回数据所花费的时间进行计时操作。

在步骤S903中，如果长时间未得到返回的应答数据，比如，超过了预定的时间长度5S，则移动设备102会选择进行本地回复，生成本地常用应答数据。然后，在步骤S904中，输出与本地常用应答配合的动画，并调用语音播放设备进行语音播放。

图10显示了根据本发明的一个实施例的在用户、移动设备、全息设备以及云端大脑四方之间进行通信的流程图。

为了实现移动设备102与用户101之间的多模态交互，需要用户101、移动设备102、全息设备103以及云端大脑104之间建立起通信连接。这种通信连接应该是实时的、通畅的，能够保证交互不受影响的。

为了完成交互，需要具备一些条件或是前提。这些条件或是前提包含，移动设备102中装载并运行虚拟形象并且具备感知以及控制功能的硬件设施。移动设备102应该还具备显示功能的显示屏，用于显示虚拟形象画面。

完成前期准备后，移动设备102开始与用户101展开交互，首先，移动设备102和/或全息设备103获取多模态输入数据，多模态输入数据可以是用户101发出的，也可以是其它设备发出的。此时，展开数据传递的两方是用户101与移动设备102和/或全息设备103。接着，移动设备102向云端大脑发送请求，请求云端大脑104处理多模态输入数据。

云端大脑104会对多模态输入数据进行解析及决策，解析多模态输入数据中包含的交互意图以及交互内容信息。根据解析的结果生成多模态输出数据，并在移动设备102生成成像事件，云端大脑104将生成的多模态输出数据传输至移动设备102。此时展开通信的两方是移动设备102与云端大脑104。

当移动设备102接收到云端大脑104传输的多模态输出数据后，将移动设备102中装载的虚拟形象和接收到的多模态输出数据传送至全息设备103。此时，展开通信的两方是移动设备102与全息设备103。全息设备103会将虚拟形象转化为全息影像，以将显示全息影像。

最后，全息设备103会将全息影像以及多模态输出数据中的展示数据输出，展示给用户101。此时展开通信的两方是全息设备103与用户101。

本发明提供的基于全息设备的多模态交互方法及系统能够通过全息设备将虚拟形象的影像转化为全息影像，并显示出来，并且，本发明能够通过移动设备、全息设备以及云端大脑的配合与用户进行多模态的交互。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于全息设备的多模态交互方法，其特征在于，所述方法包含以下步骤：

虚拟形象在移动设备运行，且所述虚拟形象具备预设形象特征和预设属性，通过所述移动设备和/或全息设备获取多模态输入数据，所述多模态输入数据可包含用户生物特征；

当捕捉到成像操作，或，将所述多模态输入数据传送至云端大脑解析以及计算，以在所述移动设备生成成像事件，并由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像，以便与用户进行多模态交互。

2.如权利要求1所述的基于全息设备的多模态交互方法，其特征在于，所述多模态输入数据包括：

用户通过所述移动设备和/或所述全息设备输入的生物特征信息；或，

所述移动设备获取的针对运行所述虚拟形象的程序的开启信号；或，

所述全息设备获取的开关信号。

3.如权利要求1所述的基于全息设备的多模态交互方法，其特征在于，还包括：

通过所述云端大脑解析以及计算所述多模态输入数据，以决策生成多模态输出数据，且通过所述移动设备控制输出所述多模态输出数据，及所述全息影像输出所述多模态输出数据中的展示数据。

4.如权利要求1所述的基于全息设备的多模态交互方法，其特征在于，生成成像事件可由如下方式实现：

针对运行所述虚拟形象的程序开启；或，

所述虚拟形象被唤醒；或，

所述移动设备发生与成像事件关联的系统事件。

5.如权利要求1所述的基于全息设备的多模态交互方法，其特征在于，在由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像步骤前包含以下步骤：

检查无线连接成功；以及，

所述全息设备得电；以及，

所述移动设备与所述全息设备绑定成功；以及，

确保所述全息设备与所述移动设备连接成功。

6.如权利要求5所述的基于全息设备的多模态交互方法，其特征在于，还包括：

在所述全息设备显示所述虚拟形象的全息影像的同时，开启所述全息设备的成像辅助部件。

7.一种程序产品，其包含用于执行如权利要求1-6所述的方法步骤的一系列指令。

8.一种基于全息设备的多模态交互系统，其特征在于，所述系统包含：

移动设备，其上装载有虚拟形象，用于获取多模态输入数据，所述虚拟形象具备预设形象特征和预设属性，所述多模态输入数据可包含用户生物特征；

全息设备，其用于获取多模态输入数据以及将所述虚拟形象的影像转化为全息影像并显示所述全息影像；

云端大脑，其用于解析以及计算所述多模态输入数据，以在所述移动设备生成成像事件，并由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像，以便与用户进行多模态交互。

9.一种虚拟形象，其特征在于，所述虚拟形象装载在如权利要求1所述的移动设备上，所述虚拟形象具备人类虚拟形象和预设属性，并由全息设备显示。

10.一种全息设备，其特征在于，所述全息设备包含：

通信装置，其用于接收如权利要求1所述的移动设备传输的虚拟形象的影像以及多模态输出数据；

成像装置，其与所述通信装置连接，用于将所述虚拟形象的影像转化为全息影像，并显示所述全息影像；

输出装置，其与所述通信装置以及所述成像装置连接，用于呈现所述全息影像及所述多模态输出数据中的展示数据。