CN106843497A - 一种混合现实信息交互方法及装置 - Google Patents

Abstract

本发明公开了一种混合现实信息交互方法及装置，涉及计算机视觉技术领域，其方法包括：混合现实设备收到用户访问请求后，获取其周围的多个真实的环境图像信息与三维空间信息以及物联网设备ID；混合现实设备通过与云管理系统进行交互，从云管理系统获得与所述物联网设备ID相匹配的混合现实信息；混合现实设备根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息，并将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息展示给所述用户。

Description

一种混合现实信息交互方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种混合现实信息交互方法及装置。

背景技术

随着计算机视觉相关领域的技术的不断发展，虚拟现实、增强现实等技术正在逐步的走进人类的生活，而混合现实作为比虚拟现实和增强现实更完善、应用领域更广的技术解决方案也取得了飞速的进展。混合现实呈现了虚拟现实和增强现实技术不能实现的一些感官效果，给用户极强的真实感体验，比如：多人共享实时三维空间内容并对其进行操作等。同时，混合现实技术可应用的场景也比虚拟现实以及增强现实更广阔。

随着网络以及物联网设备的普及，物联网给未来网络发展建设提供了新的方向，同时也会深刻影响人类生活的方方面面。物联网的产生让信息的交换、存储、呈现及交互方式有了新的挑战。如何高效地处理海量信息，并将其以可视化的方式呈献给用户，成为了物联网信息处理的一个重要方面。

现有技术的技术方案

1)物联网设备自带的App：通过app可以管理物联网设备，也可以通过app实现人机交互和混合现实效果的呈现。

2)基于服务器的即时通讯工具：用户可以使用即时通讯工具进行实时的信息交互，信息的形式可以是文字，图片，语音等。

目前现有的技术的缺点主要表现为：

1、用户与物联网设备之间的信息交互，一般都是通过移动终端上的App实现的，而这些App提供给用户的交互方式，一般都是采用基于移动设备的二维平面交互方式，不能给用户直观立体的交互体验。

2、用户在日常接收信息的方式一般为通过报纸，杂志等纸质媒介，或者是通过移动设备，PC设备，电视，Pad等。信息传递到用户的面前的时候，都是二维的文字、图片、或者是视频的方式，给用户的沉浸感不强烈。

3、用户之间使用普通社交应用分享信息的时候，仅限于图片，视频，文字等二维的信息呈现方式，还没有通过三维信息呈现的方式进行分享与交互。

发明内容

根据本发明实施例提供的方案解决的技术问题是用户与物联网设备之间的信息交互，不能给用户直观立体的交互体验。

根据本发明实施例提供的一种混合现实信息交互方法，包括：

混合现实设备收到用户访问请求后，获取其周围的多个真实环境的图像信息与三维空间信息以及物联网设备ID；

混合现实设备通过与云管理系统进行交互，从云管理系统获得与所述物联网设备ID相匹配的混合现实信息；

混合现实设备根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息，并将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息展示给所述用户。

根据本发明实施例提供的一种混合现实信息交互方法，包括：

混合现实设备收到用户访问请求后，获取其周围的真实环境的图像信息与三维空间信息；

混合现实设备通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息；

混合现实设备将所述混合现实信息展示给访问混合现实设备的所述用户。

优选地，所述云管理系统的混合现实信息包括：

信息管理器利用marker编辑工具对收集的原始物联网设备或物体的marker信息进行编辑，得到物联网设备marker信息或物体marker信息，并将其发送到云管理系统；

云管理系统接收信息管理器发送的包含物联网设备ID标识信息或物体ID标识信息的用户指令，并根据用户指令从信息源获取物联网设备混合现实场景信息或物体混合现实场景信息；

云管理系统将所述物联网设备marker信息和所述物联网设备混合现实场景信息或所述物体marker信息和所述物体混合现实场景信息进行混合编辑处理，得到混合现实信息。

优选地，所述信息源是指包含物联网设备ID标识信息和物联网设备公共信息的互联网或私有云或私有数据库；或是指包含物体ID标识信息和物体公共信息的互联网或私有云或私有数据库。

优选地，所述混合现实设备根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息之后，还包括：

混合现实设备通过对确定的真实物联网设备环境的图像信息与三维空间信息中的所述物联网设备ID进行定位智能识别，得到所述物联网设备ID的位置信息；

混合现实设备将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息以混合现实的方式在所得到的所述物联网设备ID的位置展示给所述用户。

优选地，所述混合现实设备通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息包括：

混合现实设备通过对所获得的真实环境的图像信息与三维空间信息中的物体分别进行智能识别，得到多个物体ID标识信息；

混合现实设备将所得到的多个物体ID标识信息与云管理系统中的包含物体ID标识信息的混合现实信息进行匹配处理，得到与所述真实环境图像信息与三维空间信息相匹配的混合现实信息。

根据本发明实施例提供的一种混合现实信息交互装置，包括：

第一云管理系统，用于提供物联网设备混合现实信息；

第一混合现实设备，用于收到用户访问请求后，获取其周围的多个真实的环境图像信息与三维空间信息以及物联网设备ID，以及通过与云管理系统进行交互，从云管理系统获得与所述物联网设备ID相匹配的混合现实信息，并根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息，并将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息展示给所述用户。

根据本发明实施例提供的一种混合现实信息交互装置，包括：

第二云管理系统，用于提供物体混合现实信息；

第二混合现实设备，用于收到用户访问请求后，获取其周围的真实环境的图像信息与三维空间信息，以及通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息，并将所述混合现实信息展示给访问的所述用户。

优选地，所述第一云管理系统包括：

接收单元，用于接收信息管理器利用marker编辑工具对收集的原始物联网设备进行编辑，得到的物联网设备marker信息和信息源发送的物联网设备混合现实场景信息；

混合单元，用于将所述物联网设备marker信息和所述物联网设备混合现实场景信息进行混合编辑处理，得到物联网设备混合现实信息。

优选地，所述第二云管理系统包括：

接收单元，用于接收信息管理器利用marker编辑工具对收集的原始物体进行编辑，得到的物体marker信息和信息源发送的物体混合现实场景信息；

混合单元，用于将所述物体marker信息和所述物体混合现实场景信息进行混合编辑处理，得到物体混合现实信息。

根据本发明实施例提供的方案，通过混合现实设备与云端的结合，使用户在接收信息与传递信息的时候，具有更强的沉浸感，以及更真实的体验。

附图说明

图1是本发明实施例提供的一种混合现实信息交互方法的流程图；

图2是本发明实施例提供的一种混合现实信息交互方法的流程图；

图3是本发明实施例提供的一种混合现实信息交互装置的示意图；

图4是本发明实施例提供的一种混合现实信息交互装置的示意图；

图5是本发明实施例提供的混合现实信息交互系统的示意图；

图6是本发明实施例提供的图5中信息管理器的示意图；

图7是本发明实施例提供的图5中云管理系统的示意图；

图8是本发明实施例提供的图5中信息源的示意图；

图9是本发明实施例提供的图5中混合现实设备的示意图；

图10是本发明实施例提供的混合现实信息交互方法的流程图；

图11是本发明实施例提供的混合现实信息交互方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种混合现实信息交互方法的流程图，如图1所示，包括：

步骤S101：混合现实设备收到用户访问请求后，获取其周围的多个真实环境的图像信息与三维空间信息以及物联网设备ID；

步骤S102：混合现实设备通过与云管理系统进行交互，从云管理系统获得与所述物联网设备ID相匹配的混合现实信息；

步骤S103：混合现实设备根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息，并将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息展示给所述用户。

其中，所述混合现实设备根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息之后，还包括：混合现实设备通过对确定的真实物联网设备环境的图像信息与三维空间信息中的所述物联网设备ID进行定位智能识别，得到所述物联网设备ID的位置信息；混合现实设备将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息以混合现实的方式在所得到的所述物联网设备ID的位置展示给所述用户。

图2是本发明实施例提供的一种混合现实信息交互方法的流程图，如图2所示，包括：

步骤S201：混合现实设备收到用户访问请求后，获取其周围的真实环境的图像信息与三维空间信息；

步骤S202：混合现实设备通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息；

步骤S203：混合现实设备将所述混合现实信息展示给访问混合现实设备的所述用户。

如图1和如2所示，所述云管理系统的混合现实信息包括：信息管理器利用marker编辑工具对收集的原始物联网设备或物体的marker信息进行编辑，得到物联网设备marker信息或物体marker信息，并将其发送到云管理系统；云管理系统接收信息管理器发送的包含物联网设备ID标识信息或物体ID标识信息的用户指令，并根据用户指令从信息源获取物联网设备混合现实场景信息或物体混合现实场景信息；云管理系统将所述物联网设备marker信息和所述物联网设备混合现实场景信息或所述物体marker信息和所述物体混合现实场景信息进行混合编辑处理，得到混合现实信息。

如图1和如2所示，所述信息源是指包含物联网设备ID标识信息和物联网设备公共信息的互联网或私有云或私有数据库；或是指包含物体ID标识信息和物体公共信息的互联网或私有云或私有数据库。

其中，所述混合现实设备通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息包括：混合现实设备通过对所获得的真实环境的图像信息与三维空间信息中的物体分别进行智能识别，得到多个物体ID标识信息；混合现实设备将所得到的多个物体ID标识信息与云管理系统中的包含物体ID标识信息的混合现实信息进行匹配处理，得到与所述真实环境的图像信息与三维空间信息相匹配的混合现实信息。

图3是本发明实施例提供的一种混合现实信息交互装置的示意图，如图3所示，包括：第一云管理系统301，用于提供物联网设备混合现实信息；第一混合现实设备302，用于收到用户访问请求后，获取其周围的多个真实环境图像信息与三维空间信息以及物联网设备ID，以及通过与云管理系统进行交互，从云管理系统获得与所述物联网设备ID相匹配的混合现实信息，并根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息，并将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息展示给所述用户。

其中，所述第一云管理系统301包括：接收单元，用于接收信息管理器利用marker编辑工具对收集的原始物联网设备进行编辑，得到的物联网设备marker信息和信息源发送的物联网设备混合现实场景信息；混合单元，用于将所述物联网设备marker信息和所述物联网设备混合现实场景信息进行混合编辑处理，得到物联网设备混合现实信息。

图4是本发明实施例提供的一种混合现实信息交互装置的示意图，如图4所示，包括：第二云管理系统401，用于提供物体混合现实信息；第二混合现实设备402，用于收到用户访问请求后，获取其周围的真实环境图像信息与三维空间信息，以及通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息，并将所述混合现实信息展示给访问的所述用户。

其中，所述第二云管理系统401包括：接收单元，用于接收信息管理器利用marker编辑工具对收集的原始物体进行编辑，得到的物体marker信息和信息源发送的物体混合现实场景信息；混合单元，用于将所述物体marker信息和所述物体混合现实场景信息进行混合编辑处理，得到物体混合现实信息。

图5是本发明实施例提供的混合现实信息交互系统的示意图，如图5所示，包括了五大模块：信息管理器，云管理系统，混合现实设备，物联网设备及信息源。

(1)所述信息管理器，用于与用户进行信息交互，与云管理系统进行交互。如图6所示，信息管理器主要包含但不仅限于以下4个功能模块：

用户登录模块：用来校验不同类型的用户，赋予不同类型的用户不同的权限。商店：用来收集marker信息以及混合现实场景信息，对于不同用户权限的用户，其在此模块中可以拥有自己专有的marker信息以及混合现实场景信息。工具集：提供给用户编辑marker的工具。用户可以利用工具编辑混合现实场景，编辑用户指令。这里的指令包括用户自定义的指令，或者是系统默认提供的指令。定制服务模块：对于特定的用户，可以提供定制化的服务。服务的范围包括定制化的marker制作，定制化的混合现实场景，定制化的技术支持等。

(2)所述云管理系统负责与信息管理器进行信息交互，与混合现实设备进行信息交互，以及从信息源提取信息，对信息的处理。如图7所示，云管理系统提供但不仅限于以下几个功能模块:

登录服务器：用来验证信息管理器发送过来的用户账户的验证，以及混合现实设备发送过来的设备上激活的用户的验证。存储服务器：存储信息管理模块发送过来的信息以及混合现实设备发送过来的信息。信息传递模块：用来接收信息管理器以及混合现实设备发送过来的信息，并把信息发送给信息处理模块处理；同时也具备给信息管理器和混合现实设备发送信息的功能等。信息处理模块：对云管理系统接收到的信息进行编辑处理。

(3)所述混合现实设备，用于用户激活，获取混合现实设备当前所处的环境信息，与云管理系统进行信息交互，智能信息处理，智能识别定位当前环境中的物联网设备以及普通的物体；以混合现实的方式展示信息；与当前激活的用户交互。如图8所示，混合现实设备主要提供但不仅限于以下所罗列的功能模块：

用户登录模块：负责激活用户，发送用户信息到云管理系统。环境感知模块：负责采集设备当前所处的环境。智能识别模块：对设备所处的环境中的物体进行智能的识别。信息处理模块：通过和云管理系统的信息交互，智能处理从云管理系统发送过来的信息以及环境感知模块采集的信息。混合现实展示模块：负责把混合现实的表现内容，用户交互界面以及特定的信息展示给用户。

(4)所述物联网设备：已经连接互联网的智能设备，提供一些特定的设备信息以及实时的设备运行数据，包括对本地数据访问的校验。

(5)所述信息源，用于提供特定的信息以及公共的信息给云管理系统。如图9所示，其主要部分包括但不仅限于互联网，私有云，私有数据库等。

如图5至图9所示，首先，用户访问信息管理器，进行信息I0以及用户指令的编辑和保存。信息管理器将用户编辑保存的信息I0和指令发送到云管理系统。云管理系统根据用户的指令，从信息源获取信息I1，对信息I0和信息I1进行混合编辑后产生新的信息I2，并将I2保存在云管理系统的数据库服务器中。然后，用户登录混合现实设备管理系统。混合现实设备获得当前激活的用户信息I3，混合现实设备通过和物联网设备建立相互信任的连接达到信息的共享，混合现实设备从物联网设备获取其存储的信息I4以及物联网设备的标识信息I5，混合现实设备将信息I3、I4、I5一同发送给云管理系统。混合现实设备通过采集模块获取设备当前所处的环境信息I6。云管理系统通过对混合现实设备发送过来的信息(I3、I4、I5)进行校验与智能匹配，在云管理系统的数据库服务器中找到当前混合现实设备所需要的信息I7，然后把信息I7发送给混合现实设备，混合现实设备接收到云管理系统发来的信息I7以后，对信息I7和信息I6进行智能识别，从而获得当前环境中的准确位置L，然后把信息I7以混合现实的方式在L位置展示。

其中，信息I0-I7的所代表的含义是：

信息I0：包括用户的身份信息，账户信息，Marker信息，用户提交的三维/二维场景信息以及由用户提供的所有的其他的数据信息。信息I1：包括个人的私有数据信息，企业或是机构的产品信息，来自互联网的新闻信息、热点信息等一些第三方的数据。信息I2：这里的信息I2就是指把信息I0和I1混合在一起所构成的新的信息数据。信息I3：指的是用户在混合现实设备上输入的账户，密码以及一些其他的用于身份验证的数据。信息I4：指的是物联网设备本地存储的数据信息，可能但不仅限于以下数据信息：当前物联网设备运行的状态信息(运行了多长时间、消耗了多少能量、有效期还剩多少等等)，当前物联网设备所在的环境的信息(当前的温度、湿度、光照、气体成分等等)，当前物联网设备收集的使用者的数据信息(心跳、体温、热量等等)。信息I5：指的是物联网设备的身份验证信息，包括唯一的MAC地址，或者是硬件编号等等可以唯一标识这个物联网设备的数据信息。信息I6：指的是物联网设备所在的周围的有哪些设备或者是人、动物等等和物联网设备在一个空间中的物体，比如说物联网设备当前在一个客厅内，旁边有一个电视机，一个空调，还有一个窗户以及窗户前面是窗帘，沙发上坐着一个人正在看电视等等，这些东西综合起来就是整个信息I6要表达的。信息I7：指的是在云端管理器已经存储的信息I2和信息I3的合集。

图10是本发明实施例提供的混合现实信息交互方法的流程图，如图10所示，用户使用自己的账号和密码，通过信息管理器内的登录模块登录。登录模块将用户的信息发送给云管理系统的登录服务器进行身份验证，云管理系统的登录服务器对用户的身份进行验证。根据验证结果，云管理系统会在存储服务器中建立一个安全可靠的连接返回给信息管理器，同时也将用户的权限信息返回给信息管理器。对于不同类型的用户，信息管理器根据接收到的云管理系统对当前用户的检验信息，在商店中建立用户对应的活动区域以及具有的权限、为用户开启对应的工具集操作权限，以及判断是否具有定制服务的权限。用户登录以后在商店中操作混合现实的marker的编辑，包括上传自定义的marker，在商店中选择已有的marker，同时用户在商店中操作混合现实场景的选择，利用工具集进行编辑等，部分特殊权限的用户还可以在服务模块中开启定制化的服务。用户编辑操作完混合现实的信息，可以进行保存，信息管理器会把用户需要保存的信息通过和云管理系统存储器建立的安全连接保存到云管理系统存储服务器中。

对于具有自己私有云或者是私有数据库的用户，他们可以通过信息管理器提供的工具授权云管理系统访问用户自己的私有云中的信息，或者是私有数据库中的信息。云管理系统获取到用户的私有信息以后，会把这些信息连同用户编辑的marker信息，混合现实表现信息一起存储到云管理系统的存储服务器中，并设立唯一标签。

用户通过混合现实设备上的登录模块登录到混合设备，混合设备的登录模块会把用户的信息发送到云管理系统的登录服务器进行身份验证，通过云管理系统的身份验证，云管理系统会根据用户的类型，在存储服务器和混合现实设备之间建立一个安全的连接，然后把存储服务器中对应于当前用户可以使用的混合现实信息发送到混合现实设备。混合现实设备接收到云管理系统发过来的混合现实信息以后，通过环境感知模块获取当前的环境信息(主要指图像信息和三维空间信息以及一些其他的有用的信息)，然后通过智能识别模块，对当前的环境信息和云管理系统发送过来的混合现实信息进行智能识别匹配，如果识别匹配成功，混合现实设备会通过智能信息处理模块对云管理系统发送过来的混合现实信息和当前获得的环境信息进行处理。处理后会通过混合现实的方式把最终的信息通过混合现实展示模块展示给用户，同时当用户对展示的信息有操作的时候，智能信息处理模块也会实时处理用户的输入信息，并及时通过混合现实展示模块显示出来。

示例1：

博物馆或者是教育机构，通过定制化的服务，为特定的收藏展品或者是教育示例品定制特定的marker，定制对应与这个marker的混合现实表现内容，通过授权云管理系统访问博物馆或是教育机构自己的私有数据库，云管理系统获取这些收藏展品或是教育示例品的信息，并把这些信息和定制化的marker以及混合现实表现内容一同存储到云管理系统的存储服务器中。

游客或者是学生登录到混合现实设备以后，混合现实设备通过使用环境感知模块获取当前所在的周围环境，包括这些收藏展品或是教育示例品，混合现实设备中的智能识别模块通过和云管理系统的信息接收和发送模块的协作，对当前的环境信息进行智能识别和匹配，如果识别出博物馆或者是教育机构已经保存在存储服务器中的marker信息，云管理系统会把对应于这个marker信息的其他信息发送给混合现实设备。

混合现实设备中的信息处理模块会从云管理系统发送过来的混合现实信息中提取出混合现实展示信息，以及交互操作界面信息，然后通过混合现实展示模块展示给终端用户，游客或者是学生就可以通过交互操作界面去操控这些收藏展品或者是教育示例品，比如说浏览说明信息，旋转一定角度观察，等等。

示例2：

用户A登录信息管理器，然后通过信息管理器提供的工具集，上传自己制作的marker，和混合现实展示内容，也可以在商店中选择已有的marker以及混合现实展示内容。用户也可以通过商店选择使用那种交互界面，商店中也提供给用户分享的功能，即用户可以分享这些信息给自己的好友，用户A编辑完这些信息以后，可以选择保存，信息管理器会把这些编辑好的信息自动保存到云管理系统的存储服务器中。

用户A或者是用户A的好友B登录到混合现实设备以后，混合现实设备中的登录模块会把当前的用户信息发送给云管理系统，云管理系统通过信息接收与发送模块，以及信息处理模块，在存储服务器中找到与当前用户对应的已保存的混合现实信息。如果当前用户是A，那么云管理系统的信息处理模块就会只查找A的已保存信息；如果当前用户是B，那么云管理系统的信息处理模块就会查找对应用户B的已保存的混合现实信息以及用户B的好友分享给B的已保存的混合现实信息，查找匹配完成后，云管理系统就会把所有找到的信息都发送给混合现实设备。

混合现实设备会通过智能识别模块，对当前的环境信息和云管理系统发送过来的信息中的混合现实信息进行智能识别匹配。如果识别匹配成功，会通过智能信息处理模块对云管理系统发送过来的信息和当前获得的环境信息进行处理，处理后会通过混合现实展示模块展示给用户，同时当用户对展示的信息有操作的时候，智能信息处理模块也会实时处理用户的输入信息，并及时通过混合现实展示模块显示出来。

图11是本发明实施例提供的混合现实信息交互方法的流程图，如图11所示，物联网设备制造商，登录信息管理器，然后通过信息管理器的服务模块，获得定制化的服务，这个定制化的服务可以包括获得定制化的混合现实表现内容。以及物联网设备制造商可以为自己的物联网设备定制特殊的marker，同时也可以定制化混合现实设备和物联网设备终端用户的交互方式，通过云管理系统，保存所有的定制化的信息到存储服务器。同时对于物联网设备制造商自己私有云平台上的私有信息，比如其某种物联网设备产品的说明书，产品更新信息，宣传信息等。物联网设备制作商可以通过信息管理器提供的工具授权云管理系统访问自己的私有云中的信息，云管理系统获得这些信息以后，会自动地将这些私有数据和定制化的信息保存在一起。

当物联网设备终端用户登录到混合现实设备以后，混合现实设备通过使用环境感知模块获取当前所在的周围环境，同时通过无线连接(蓝牙或者wifi)建立同物联网设备的连接，获取物联网设备唯一的标识信息，然后发送这个物联网设备的唯一标识信息到云管理系统，云管理系统通过信息接收模块和信息处理模块，在存储服务器中匹配这个唯一标识对应的物联网设备制造商所设置的混合现实信息，然后云管理系统把查找到的混合现实信息发送给混合现实设备。

混合现实设备中的智能识别模块会从云管理系统发送过来的混合现实信息中提取出对应的marker信息，然后和当前混合现实设备已经获取到的环境信息进行智能识别，从而获得当前环境中的物联网设备的准确位置，混合现实设备中的信息处理模块会从云管理系统发送过来的混合现实信息中提取出混合现实展示信息，以及交互操作界面信息，然后通过混合现实展示模块展示给终端用户，终端用户可以通过交互操作界面去操控物联网设备，比如说浏览数据，设置功能，等等。

实例1：

用户通过信息管理器内的登录模块使用用户自己的账号和密码登录，登录模块将用户的信息发送给云管理系统的登录服务器进行身份验证，云管理系统的登录服务器对用户的身份进行验证，然后根据验证结果，对于不同类型的用户，云管理系统会在存储服务器中建立一个安全可靠的连接返回给信息管理器，同时也将用户的权限信息返回给信息管理器。信息管理器根据接收到的云管理系统返回的当前用户的检验信息，在商店中建立用户对应的活动区域以及具有的权限、为用户开启对应的工具集操作权限。用户登录以后在商店中操作混合现实的marker的编辑，包括上传自定义的marker，在商店中选择已有的marker，选择交互界面的方案，同时用户在商店中操作混合现实场景的选择，上传和编辑。

用户编辑操作混合现实的信息，可以进行保存，信息管理器会把用户需要保存的信息通过和云管理系统存储器建立的安全连接保存到云管理系统存储服务器中。

用户还可以通过工具集中提供的工具，编辑自己对信息的喜好，通过云管理系统的信息处理模块，根据用户的喜好，会自动地从互联网搜索和获取相应的信息并存储，并保证会使用户已经编辑保存好的marker以及混合现实表现内容和这些用户喜好的互联网信息是放在一起的。

用户也可以通过工具集的工具设置云管理系统是否对用户编辑保存好的marker或者混合现实展示信息进行自动的智能互联网搜索，如果用户设置这些设定，那么云管理系统就会自动的在互联网搜索相关的信息。

用户通过混合现实设备上的登录模块登录到混合设备，混合设备的登录模块会把用户的信息发送到云管理系统的登录服务器进行身份验证，通过云管理系统的身份验证，云管理系统会根据用户的类型，在存储服务器和混合现实设备之间建立一个安全的连接，同时云管理系统会根据用户的喜好或者marker信息以及混合现实信息去互联网设备搜索相关的最新的信息，然后把存储服务器中对应于当前用户可以使用的混合现实信息以及从互联网设备搜索到的信息一起发送到混合现实设备，混合现实设备接收到云管理系统发过来的信息以后，通过环境感知模块获取当前的环境信息，然后通过智能识别模块，对当前的环境信息和云管理系统发送过来的信息中的混合现实信息进行智能识别匹配，如果识别匹配成功，混合现实设备会通过智能信息处理模块对云管理系统发送过来的信息和当前获得的环境信息进行处理，处理后会通过混合现实展示模块展示给用户，同时当用户对展示的信息有操作的时候，智能信息处理模块也会实时的处理用户的输入信息，并实时和云管理系统交互，更新从互联网搜索到的信息，并及时通过混合现实展示模块显示出来。

示例2：

用户A登录信息管理器，然后通过信息管理器提供的工具集，上传自己制作的marker，同时用户A可以通过信息管理器提供的工具设置云管理系统去互联网设备搜索世界上正在发生热点事件。用户A在商店中选择了一套3D的交互界面使用，当用户A编辑完这些信息以后，选择保存，信息管理器会把这些编辑好的信息自动保存到云管理系统的存储服务器中。

用户A登录到混合现实设备以后，混合现实设备中的登录模块会把当前的用户A的信息发送给云管理系统，云管理系统通过信息接收与发送模块，以及信息处理模块，在存储服务器中找到与当前用户A对应的已保存的信息。发现用户A设置了搜索互联网的热点事件，云管理系统则开启实时对互联网热点事件的搜索，云管理系统把从互联网找到的信息以及用户A已保存的信息都发送给混合现实设备。

混合现实设备会通过智能识别模块，对当前的环境信息和云管理系统发送过来的信息中的marker信息进行智能识别匹配。如果识别匹配成功，会通过智能信息处理模块对云管理系统发送过来的互联网的热点事件信息和当前获得的环境信息进行处理，处理后会通过混合现实展示模块展示给用户，同时当用户对展示的信息有操作的时候，智能信息处理模块也会实时的处理用户的输入信息，并通知云管理系统更新互联网搜索的热点事件，云管理系统实时的更新搜索内容，并返回信息给混合现实设备，混合现实设备实时的通过混合现实展示模块显示出来。

根据本发明实施例提供的方案，在信息的呈现和传递方式由传统的二维变成三维，使得信息能够以多元化的形式呈现，不再局限于只是平面上的呈现方式。使用户接收信息时有了更强的沉浸感，用户体验提升。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (10)

1.一种混合现实信息交互方法，包括：

混合现实设备收到用户访问请求后，获取其周围的多个真实环境的图像信息与三维空间信息以及物联网设备ID；

混合现实设备通过与云管理系统进行交互，从云管理系统获得与所述物联网设备ID相匹配的混合现实信息；

混合现实设备根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息，并将所述混合现实信息和所述真实物联网设备环境图像信息与三维空间信息展示给所述用户。

2.一种混合现实信息交互方法，包括：

混合现实设备收到用户访问请求后，获取其周围的真实环境的图像信息与三维空间信息；

混合现实设备通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息；

混合现实设备将所述混合现实信息展示给访问混合现实设备的所述用户。

3.根据权利要求1或2所述的方法，所述云管理系统的混合现实信息包括：

信息管理器利用marker编辑工具对收集的原始物联网设备或物体的marker信息进行编辑，得到物联网设备marker信息或物体marker信息，并将其发送到云管理系统；

云管理系统接收信息管理器发送的包含物联网设备ID标识信息或物体ID标识信息的用户指令，并根据用户指令从信息源获取物联网设备混合现实场景信息或物体混合现实场景信息；

云管理系统将所述物联网设备marker信息和所述物联网设备混合现实场景信息或所述物体marker信息和所述物体混合现实场景信息进行混合编辑处理，得到混合现实信息。

4.根据权利要求3所述的方法，所述信息源是指包含物联网设备ID标识信息和物联网设备公共信息的互联网或私有云或私有数据库；或是指包含物体ID标识信息和物体公共信息的互联网或私有云或私有数据库。

5.根据权利要求3所述的方法，所述混合现实设备根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息之后，还包括：

混合现实设备通过对确定的真实物联网设备环境的图像信息与三位空间信息中的所述物联网设备ID进行定位智能识别，得到所述物联网设备ID的位置信息；

混合现实设备将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息以混合现实的方式在所得到的所述物联网设备ID的位置展示给所述用户。

6.根据权利要求3所述的方法，所述混合现实设备通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息包括：

混合现实设备通过对所获得的真实环境的图像信息与三维空间信息中的物体分别进行智能识别，得到多个物体ID标识信息；

混合现实设备将所得到的多个物体ID标识信息与云管理系统中的包含物体ID标识信息的混合现实信息进行匹配处理，得到与所述真实环境的图像信息与三维空间信息相匹配的混合现实信息。

7.一种混合现实信息交互装置，包括：

第一云管理系统，用于提供物联网设备混合现实信息；

第一混合现实设备，用于收到用户访问请求后，获取其周围的多个真实环境的图像信息与三维空间信息以及物联网设备ID，以及通过与云管理系统进行交互，从云管理系统获得与所述物联网设备ID相匹配的混合现实信息，并根据所获得的混合现实信息，从所述多个真实环境的图像信息与三维空间信息中确定与其相匹配的真实物联网设备环境的图像信息与三维空间信息，并将所述混合现实信息和所述真实物联网设备环境的图像信息与三维空间信息展示给所述用户。

8.一种混合现实信息交互装置，包括：

第二云管理系统，用于提供物体混合现实信息；

第二混合现实设备，用于收到用户访问请求后，获取其周围的真实环境的图像信息与三维空间信息，以及通过与云管理系统进行交互，从云管理系统获得所述真实环境的图像信息与三维空间信息相匹配的混合现实信息，并将所述混合现实信息展示给访问的所述用户。

9.根据权利要求7所述的装置，所述第一云管理系统包括：

接收单元，用于接收信息管理器利用marker编辑工具对收集的原始物联网设备进行编辑，得到的物联网设备marker信息和信息源发送的物联网设备混合现实场景信息；

混合单元，用于将所述物联网设备marker信息和所述物联网设备混合现实场景信息进行混合编辑处理，得到物联网设备混合现实信息。

10.根据权利要求8所述的装置，所述第二云管理系统包括：

接收单元，用于接收信息管理器利用marker编辑工具对收集的原始物体进行编辑，得到的物体marker信息和信息源发送的物体混合现实场景信息；

混合单元，用于将所述物体marker信息和所述物体混合现实场景信息进行混合编辑处理，得到物体混合现实信息。