CN108401463A - 一种虚拟显示装置、智能交互方法和云端服务器 - Google Patents

Abstract

一种虚拟显示装置，可与第二虚拟显示装置以及交互端通信，该虚拟显示装置包括接收模块、无线连接模块以及显示模块，该接收模块用于接收用户指定的三维显示位置以及用于获取第二虚拟显示装置的屏显内容；该显示模块用于根据该三维显示位置确定虚拟窗口，并在该虚拟窗口中显示该第二虚拟显示装置的屏显内容；该无线连接模块用于获取该交互端对该屏显内容的交互操作指令；该述显示模块还用于在该虚拟窗口显示该第二虚拟显示装置反馈的响应该交互操作指令更新的屏显内容。

Description

一种虚拟显示装置、智能交互方法和云端服务器

技术领域

本申请涉及增强现实(Mixed reality,MR)领域，具体涉及一种虚拟显示装置、智能交互方法和云端服务器。

背景技术

随着网络技术的发展，图像处理技术以及大数据处理能力的提升，可穿戴虚拟现实设备得到用户越来越多的青睐。

同时随着智能终端和物联网技术的快速发展，人们使用的智能设备越来越多，尤其是带有显示屏幕的智能终端设备，例如电脑、智能手机、智能电视等。

目前的智能穿戴式显示设备，比如虚拟现实(VR)设备、增强现实(AR)设备如何整合现有的带显示屏幕的智能终端设备成为亟待解决的问题，增强现实技术(AugmentedReality，简称AR)，是一种实时地计算图像或者影像的位置及角度并加上相应图像、视频、3D模型技术，AR技术的目标是在屏幕上把虚拟世界增加至现实世界并进行互动。例如，微软HoloLens智能眼镜的功能展示中呈现出的增强现实场景：人戴着HoloLens眼镜可以看到地面上站着一个虚拟人、墙上贴着一幅虚拟画。在这些场景中，智能眼镜可实现对任意数字画面的显示，但要融合当前不同功能的智能终端还有难度，一方面是显示的位置要逼真、贴切，另一方面是要支持自然的交互方式。传统智能终端的屏幕有不同的尺寸，位置符合人的使用习惯，不能一直出现以固定尺寸在人眼视线的正中央；并且，目前的虚拟现实(VR)设备、增强现实(AR)设备一般使用空间手势来操控，不适用于对精度要求高的一些智能终端设备内容操作，而且在没有力反馈的情况下很容易出现手臂疲劳。

中国专利申请第201611160770.8号披露了一种应用于视频AR的显示系统，通过户上传自定义的原始视频生成模型视频与预置的三维场景模型结合通过AR显示，三维虚实结合的显示场景与用户照片结合，同时用户可以自定义自己的AR显示场景，实现了用户自己定制AR场景的视频。

但是，目前的虚拟现实(VR)设备、增强现实(AR)设备还没有做到与传统的带显示屏幕的智能终端融合，无法提供更多样化的AR体验。

因此，现有的智能穿戴显示技术还有待于改进。

发明内容

本申请提供一种结合可穿戴智能显示设备和传统交互工具整合各种传统智能终端功能的虚拟显示装置、智能交互方法和设备，把传统智能终端的屏幕统一起来，在虚拟显示装置上自适应显示和交互，或者在不同虚拟显示装置上同步自适应显示和交互。

第一方面，从虚拟显示终端角度阐述，本申请实施例提供了一种虚拟显示装置，可与第二虚拟显示装置以及交互端通信，该虚拟显示装置包括接收模块、无线连接模块以及显示模块，

该接收模块用于接收用户指定的三维显示位置以及用于获取第二虚拟显示装置的屏显内容；

该显示模块用于根据该三维显示位置确定虚拟窗口，并在该虚拟窗口中显示该第二虚拟显示装置的屏显内容；

该接收模块还用于获取该交互端对该屏显内容的交互操作指令；

该显示模块还用于在该虚拟窗口显示该第二虚拟显示装置反馈的响应该交互操作指令更新的屏显内容。

第二方面，从虚拟显示终端处理流程阐述，本申请实施例提供了一种智能交互方法，

虚拟显示装置接收用户指定的三维显示位置，获取第二虚拟显示装置的屏显内容；

该虚拟显示装置根据该三维显示位置确定虚拟窗口，并在该虚拟窗口中显示该第二虚拟显示装置的屏显内容；

该虚拟显示装置获取该交互端对该屏显内容的交互操作指令；并在该虚拟窗口显示该第二虚拟显示装置反馈的响应该交互操作指令更新的屏显内容。

第三方面，从智能交互的云端阐述，本申请实施例提供了一种云端服务器，可与虚拟显示装置通信，该虚拟显示装置与交互端通信，该云端服务器包括第二虚拟显示装置、发送模块以及接收模块，

该第二虚拟显示装置用于输出屏显内容；

该发送模块用于将该屏显内容发送至该虚拟显示装置，该虚拟显示装置在用户指定的三维显示位置确定虚拟窗口，并在该虚拟窗口中显示该屏显内容；

该接收模块用于接收该虚拟显示装置从交互端获取的交互操作指令；

该第二虚拟显示装置还用于响应该交互操作指令向该虚拟显示装置输出更新的屏显内容。

本申请的有益效果在于，本申请实施例提供的虚拟显示装置、智能交互方法和设备，通过在云端服务器系统运行第二虚拟显示装置，同时该虚拟显示装置与云端服务器无线连接以及与交互端无线连接，将虚拟显示装置作为第二虚拟显示装置和交互端的显示媒介，结合可穿戴智能显示设备和传统交互工具整合各种传统智能终端的功能，实现将传统智能终端的功能整合至虚拟显示装置，把传统智能终端的屏幕统一起来，在虚拟显示装置上自适应显示和交互，或者在不同虚拟显示装置上同步自适应显示和交互，提供更丰富多样的交互体验。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本申请实施例提供的智能交互系统的系统架构图；

图2是本申请实施例提供的智能交互系统的多人交互系统架构图；

图3是本申请实施例提供的智能交互系统的模块图；

图4是本申请实施例提供的智能交互方法的多人交互流程图；

图5是本申请实施例提供的智能交互方法的主要流程图；

图6是本申请实施例提供的智能交互方法的详细流程图；

图7是本申请实施例提供的智能交互方法的多人交互流程图；

图8是本申请实施例提供的智能交互方法的混合现实显示设备的交互模拟图；

图9是本申请实施例提供的为实现智能交互方法的硬件框架图；

图10是本申请实施例提供的智能交互系统的另一交互端实施例结构示意图；以及

图11是本申请实施例提供的智能交互系统的再一交互端实施例结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的虚拟显示装置、智能交互方法和设备，结合可穿戴智能显示设备和传统交互工具，比如键盘和鼠标、遥控器、或者触控板等等，整合各种传统智能终端的功能，比如，电脑、智能手机、智能电视等。把传统智能终端的屏幕统一起来，在虚拟显示装置上以立体透视的视觉效果自适应地显示并同时完成交互，或者在不同虚拟显示装置上同步自适应显示和交互。

本申请的智能交互方法依赖于多种设备构成的智能交互系统，如图1所示，包括穿戴式的虚拟显示装置10(例如增强现实眼镜等)、交互端、交互云90。

其中，本申请的穿戴式虚拟显示装置10为增强现实(AR)设备包括透明的眼镜镜片显示屏，用户可以透过该眼镜镜片的显示屏幕看到真实世界。同时，该虚拟显示装置10在合适的位置显示三维虚拟内容画面，并与交互端和交互云90通过无线通信来交换数据。该交互端可以是键盘40、鼠标50，也可以是无线遥控器60，也可以是触控板70等等。用户能通过操作交互端，可以实现操控三维虚拟空间中显示的虚拟内容。该交互云90有多个云端服务器组网而成，图1所示以三个云端服务器91、92、93组网而成。该交互云90的云端服务器中运行第二虚拟显示装置，该第二虚拟显示装置也就是传统智能终端系统，可以是电脑系统、智能手机系统、智能电视系统等。该交互云90负责发送该第二虚拟显示装置相关的显示数据给穿戴式虚拟显示装置10并通过从该虚拟显示装置10获取用户在交互端触发的交互操作指令来操作交互云90中的该第二虚拟显示装置的数字内容。

在主要硬件上，该虚拟显示装置10设置一个或者多个CPU，为了满足图像识别要求必要的时候增设GPU以完成三维建模和数据收发以及多窗口图像显示等功能。

在软件上，该虚拟显示装置10可以搭载android操作系统，或者iOS操作系统或者WindowsPhone等操作系统。

实施例1

请进一步参考图1，本实施例涉及请智能交互方法和设备的概念性实施例。该概念性实施例是从虚拟显示装置单侧进行描述。

本实施例提供穿戴在用户身体上的虚拟显示装置，该虚拟显示装置可以是虚拟现实(VR)设备，也可以是增强现实(AR)设备，也可是混合现实显示设备。

该虚拟显示装置与云端服务器无线连接以及与交互端无线连接，该虚拟显示装置与在云端服务器系统运行第二虚拟显示装置通信。该虚拟显示装置作为第二虚拟显示装置和交互端的显示媒介，结合可穿戴智能显示设备和传统交互工具在该虚拟显示装置的三维虚拟显示系统中整合各种传统智能终端的功能。

请一并参考图3，该虚拟显示装置10包括用于与交互云90通信的发送模块14和接收模块12，包括用于确定虚拟窗口的位置确定模块16和窗口模块18，包括显示模块20，包括连接窗口模块18的自适应显示模块40和视觉计算模块42，包括用于与交互端通信的无线连接模块30以及多人交互模块35。该窗口模块18也可以一并设置在显示模块20中。

为了实现交互端和该虚拟显示装置10建立无线连接，其中，每一种实施例的交互端均包括交互端通信模块60。该交互端通信模块60在交互端启动时与该虚拟显示装置10的无线连接模块30建立无线连接和数据通信，从而将用户在交互端的交互操作指令发送给虚拟显示装置10。

该虚拟显示装置10通过无线通信模块与第二虚拟显示装置50无线连接和通信，其中，该无线通信模块包括该发送模块14和接收模块12。该第二虚拟显示装置50为运行在交互云90的软件系统或者软件模块。

该接收模块12接收用户指定的三维显示位置。该三维显示位置为空间三维坐标。该显示模块20的窗口模块18根据该三维显示位置确定虚拟窗口。该接收模块12获取第二虚拟显示装置50的屏显内容，并在该虚拟窗口中显示来自第二虚拟显示装置的屏显内容。

在该虚拟显示装置10虚拟显示该第二虚拟显示装置50的屏显内容后，该虚拟显示装置10的无线连接模块30获取该交互端对该屏显内容的交互操作指令。该虚拟显示装置10的发送模块14将该交互操作指令发送至第二虚拟显示装置50。接着，该显示模块20在该虚拟窗口显示该第二虚拟显示装置50反馈的响应该交互操作指令更新的屏显内容。

为了在虚拟显示装置的显示系统提供更贴近真实的显示效果，该虚拟显示装置10的自适应显示模块用于在虚拟窗口自适应显示收到的屏显内容。

该自适应显示模块40包括视觉计算模块42。该视觉计算模块42侦测用户戴着该虚拟显示装置10运动所产生的相对位置变化量。该自适应显示模块40根据该相对位置变化量和立体透视关系调整该虚拟窗口并在调整后的虚拟窗口中继续显示该第二虚拟显示装置的屏显内容。因此，在穿戴该虚拟显示装置10的用户行走或者移动时，头部也随之产生移动，虚拟显示装置10的虚拟窗口随着头部的移动变换立体视觉效果并持续在变换的窗口中显示屏显内容，使得用户在现实中运动时，在虚拟的三维空间中看到的第二虚拟显示装置50，比如虚拟电脑屏幕的位置保持在物理原地，用户在视觉感官上觉得看到的是真实的立体电脑屏幕。

该虚拟显示装置10的该多人交互模块35用于支持多人观看/控制。

该多人交互模块35用于建立多人交互群组和完成交互共享。实现多人同时观看一个电脑、电视、手机/平板，并都可以通过连接交互端进行操控，其中，每一用户均穿戴有该虚拟显示装置10。该多人交互模块35还用于确定本机为主虚拟显示装置或者副虚拟显示装置，确定为副虚拟显示装置时，该多人交互模块35从云端服务器获取主虚拟显示装置的三维显示位置以及交互操作指令，同时获取发送至主虚拟显示装置的屏显内容进行同步显示。

该交互端与该主虚拟显示装置和副虚拟显示装置连接，共享该交互端的交互操作指令，通过该交互端操控同时显示在主虚拟显示装置和副虚拟显示装置的屏显内容。

本实施例中，该交互端采用无线键盘40和无线鼠标50。或者该交互端采用无线遥控器60。或者该交互端采用交互触控板70。具体实现内容，在后续实施例中加以详述。

请参考图4，使用过程中，首先启动的虚拟显示装置作为主虚拟显示装置、后启动的虚拟显示装置作为副虚拟显示装置。主虚拟显示装置首先启动，设置显示用户指定的显示位置、连接云端服务器、通过交互端，比如遥控器操控屏显内容。副虚拟显示装置后启动，连接云端服务器，申请获得主虚拟显示装置的用户指定的显示位置等初始设置信息、通过无线遥控器操控虚拟内容。交互端与主/副虚拟显示装置通信，传递交互操作指令。云端服务器与主/副虚拟显示装置通信，接收交互操作指令、操作第二虚拟显示装置的虚拟内容、反馈更新后的屏显内容给主/副虚拟显示装置。

请参考图5，在多人交互实施例中，该虚拟显示装置可以是虚拟现实(VR)设备，也可以是增强现实(AR)设备，也可以是混合现实显示设备。该第二虚拟显示装置为运行于云端服务器的模块。该设备系统的多人交互方式(含登录、输入等)与传统真实设备的多人交互方式相似，在此不再赘述。

本实施例还提供该虚拟显示装置单侧的智能交互方法：

步骤101：虚拟显示装置接收用户指定的三维显示位置；

步骤102：获取第二虚拟显示装置的屏显内容；

步骤103：该虚拟显示装置根据该三维显示位置确定虚拟窗口，并在该虚拟窗口中显示该第二虚拟显示装置的屏显内容；

步骤104：该虚拟显示装置获取该交互端对该屏显内容的交互操作指令；

步骤105：在该虚拟窗口显示该第二虚拟显示装置反馈的响应该交互操作指令更新的屏显内容。

请参考图6，以下全面叙述该虚拟显示装置单侧的智能交互方法，其包括：

步骤201-步骤204与上述步骤101-步骤104相同；

步骤205：虚拟显示装置将该交互操作指令发送至该第二虚拟显示装置，其中，该第二虚拟显示装置运行在云端服务器上；

步骤206：该第二虚拟显示装置响应该交互操作指令，操作本系统的虚拟内容，并反馈更新的屏显内容；

步骤207：在该虚拟窗口显示该第二虚拟显示装置反馈的响应该交互操作指令更新的屏显内容；

该方法还包括在该虚拟窗口自适应显示收到的屏显内容的步骤：

步骤208：侦测该虚拟显示装置的相对位置变化量；

侦测相对位置变化量的实现方法包括但不限于：通过特殊图案的实物模板来计算该相对位置变化量，即实时比较摄像头采集的相邻两幅画面中实物模板的相对位置变化量；或者通过环境信息来计算，即实时比较摄像头采集的相邻两幅画面中环境整体的相对位置变化量，比如，PTAM/SLAM等技术；或者视觉上相对位置变化的计算可以与传感器信息相结合，比如IMU传感器，来提升对该虚拟显示装置，比如混合现实显示设备眼镜快速移动的位置变化的计算准确率。

步骤301：根据该相对位置变化量和立体透视关系调整该虚拟窗口并在调整后的虚拟窗口中显示该第二虚拟显示装置的屏显内容。

另外，请参考图7，所示为该虚拟显示装置的多人交互流程图。

步骤301：交互端与多个虚拟显示装置连接，共享交互端的交互操作指令；

步骤302：虚拟显示装置请求多人交互时，先启动的虚拟显示装置为主虚拟显示装置，后启动的虚拟显示装置为副虚拟显示装置；

步骤303：主虚拟显示装置设置初始的显示位置接收交互端的交互操作指令，并将该显示位置和交互操作指令发送至云端服务器；

步骤304：云端服务器存储该显示位置以及将交互操作指令转至第二虚拟显示装置，第二虚拟显示装置根据该交互操作指令向发起请求的虚拟显示装置反馈对应的屏显内容；

步骤305：副虚拟显示装置连接该云端服务器；

步骤306：副虚拟显示装置从云端服务器获取主虚拟显示装置的显示位置，同时获取该发送至主虚拟显示装置的屏显内容进行同步显示；

步骤307：副虚拟显示装置根据显示位置确定虚拟窗口并在虚拟窗口中显示同步的屏显内容，同时，接收交互端的交互操作指令，并将收到的交互操作指令发送至云端服务器。

可以理解的是，在多人交互中，每一虚拟显示装置同样启动自适应显示步骤。

实施例2

请一并参考图1和图2，本实施例涉及请智能交互方法和设备的概念性实施例。该概念性实施例是从云端服务器单侧进行描述。

如实施例1所披露内容，该云端服务器可与虚拟显示装置通信，该虚拟显示装置与交互端通信，该云端服务器中运行第二虚拟显示装置、发送模块以及接收模块。该第二虚拟显示装置用于输出屏显内容。

该发送模块用于将该第二虚拟显示装置的屏显内容发送至该虚拟显示装置，该虚拟显示装置在用户指定的三维显示位置确定虚拟窗口，并在该虚拟窗口中显示该屏显内容。

该接收模块用于接收该虚拟显示装置从交互端获取的针对屏显内容的交互操作指令。

该第二虚拟显示装置还用于响应该交互操作指令向该虚拟显示装置输出更新的屏显内容。

同样的，该云端服务器为实现多人交互还设置多人交互模块。在多人交互中，先启动的虚拟显示装置为主虚拟显示装置，后启动的虚拟显示装置为副虚拟显示装置，该多人交互模块用于多人交互时，存储该主虚拟显示装置的三维显示位置以及交互操作指令。

该云端服务器的发送模块用于发送该主虚拟显示装置的三维显示位置以及交互操作指令，还用于发送同步主虚拟显示装置的屏显内容。

该交互端与该主虚拟显示装置和副虚拟显示装置连接，共享该交互端的交互操作指令，通过该交互端操控同时显示在主虚拟显示装置和副虚拟显示装置的屏显内容。

实施例3

请一并参考图1至图3以及图8，本实施例提供的智能交互方法和设备中，交互端300采用无线键盘40和无线鼠标50以支持用户在大范围内移动。第二虚拟显示装置为个人电脑，本实施例的虚拟显示装置为混合现实(MR)显示设备200。以下具体介绍虚拟显示装置整合显示个人电脑屏幕内容的实施例。这种混合现实个人电脑的交互方式，比如含登录、输入等参考真实电视操作。

本实施例实现一种结合了混合现实显示设备的个人电脑系统。

其中，混合现实显示设备200的眼镜的屏幕是半透明的，既可以自适应地显示虚拟电脑屏幕、又可以透过眼镜看到真实世界。该混合现实显示设备与无线键盘40和无线鼠标50之间建立无线连接，用于获取交互端的交互操作指令。在虚拟显示装置的混合现实显示设备实施例中，该混合现实显示设备与交互云90之间通过WiFi、4G通信协议等方式无线互联，从交互云90获取运行在交互云的虚拟电脑屏显内容，并把交互端的交互操作指令传输到交互云90。交互云90响应混合现实设备，比如增强现实眼镜的请求，接收交互操作指令并操作其上虚拟电脑的内容再下发操作后的更新虚拟电脑屏显内容至请求的混合现实显示设备。

其中，该混合现实显示设备自适应显示来自虚拟电脑的屏显内容是通过视觉计算方式实现的。

首先由用户在该混合现实显示设备的三维空间中指定三维显示位置，也就是虚拟电脑屏幕要显示的位置。此三维显示位置包括x,y,z三个维度。指定三维显示位置包括但不限于以下方法：1)用特殊图案的图像作为实物模板，贴在墙体100中指定的位置，例如人坐的办公桌前的墙面上；2)用户通过头部姿态交互、鼠标、键盘等交互方式在三维虚拟示空间中选定一个三维显示位置，例如通过无线鼠标50拖动虚拟窗口到需要的位置、并通过该混合现实显示设备，比如增强现实眼镜的摄像头记录此时的环境信息。再通过视觉计算模块42计算用户佩戴的混合现实显示设备的相对位置变化量T。

该相对位置变化量的确定方法包括但不限于：1)通过特殊图案的实物模板来计算该相对位置变化量，即实时比较摄像头采集的相邻两幅画面中实物模板的相对位置变化量；2)或者通过环境信息来计算，即实时比较摄像头采集的相邻两幅画面中环境整体的相对位置变化量，比如，PTAM/SLAM等技术；3)或者视觉上相对位置变化的计算可以与传感器信息相结合，比如IMU传感器，来提升对该虚拟显示装置，比如混合现实显示设备快速移动的位置变化的计算准确率。自适应显示模块40将原用作虚拟电脑屏幕的虚拟窗口210根据该相对位置变化量和立体透视关系调整其在三维显示系统中的位置，并重新在混合现实显示设备调整后的虚拟窗口中显示屏显内容。这样，随着用户头部的移动，混合现实显示设备中呈现的虚拟电脑屏幕位置保持在物理原地，使用户在视觉感官上觉得看到是真实的电脑屏幕。

实施例4

请一并参考图1至图3以及图8，本实施例提供的智能交互方法和设备中，交互端300采用无线遥控器60，第二虚拟显示装置为家庭电视，本实施例的虚拟显示装置为混合现实显示设备200。以下具体介绍虚拟显示装置整合显示家庭电视屏幕内容的实施例。这种混合现实家庭电视的交互，比如含登录、输入等交互操作参考真实的家庭电视的操作。

本实施例实现一种结合了混合现实显示设备的家庭电视。

其中，混合现实显示设备，比如增强现实眼镜的屏幕是半透明的，既可以自适应地显示虚拟电视屏幕、又可以透过其看到真实世界；该混合现实显示设备与电视无线遥控器60之间建立无线连接，可获取该无线遥控器60的交互操作指令，该无线连接包括但不限于红外遥控器、蓝牙/WiFi(wireless fidelity，Wifi)空鼠遥控器。其中，红外遥控器会通过红外信号发送交互操作指令给增强现实眼镜的红外接收模块，对应无线连接模块30；蓝牙/WiFi空鼠遥控器通过蓝牙/WiFi无线网络发送控制指令给增强现实眼镜的无线连接模块，以支持用户在大范围内移动；增强现实眼镜200与交互云90之间通过WiFi、4G通信协议等建立无线连接，从交互云90获取虚拟电视的屏显内容、并把交互端300的交互操作指令传输到交互云90；交互云90响应增强现实眼镜的请求，接收交互操作指令，操作虚拟电视的内容，向增强现实眼镜下发响应交互操作指令后的虚拟电视的屏显内容。

其中，该增强现实眼镜自适应显示来自虚拟电视的屏显内容是通过视觉计算方式实现的。

其中，增强现实眼镜的自适应显示通过视觉计算实现，步骤与实施例3类似。步骤一，由用户在增强现实眼镜的虚拟三维空间中指定虚拟电视屏幕要显示的位置，此三维显示位置包括x,y,z三个维度。指定三维显示位置包括但不限于以下方法：1)用特殊图案的图像作为实物模板，贴在墙体100中指定的位置，适合放置电视的墙体100墙面上；2)用户通过头部姿态交互、无线遥控器60等交互方式在三维虚拟示空间中选定一个三维显示位置，例如通过无线遥控器60或者无线鼠标50拖动虚拟窗口到需要的位置，并通过该增强现实眼镜，比如增强现实眼镜的摄像头记录此时的环境信息。再通过视觉计算模块42计算用户佩戴的混合现实显示设备的相对位置变化量T。

自适应显示模块40将原用作虚拟电视屏幕的虚拟窗口210根据该相对位置变化量T和立体透视关系调整其在三维显示空间中的位置，并重新在增强现实眼镜调整后的虚拟窗口中显示屏显内容。这样，随着用户头部的移动，增强现实眼镜的中呈现的虚拟电视屏幕位置保持在物理原地，使用户在视觉感官上觉得看到是真实的电视屏幕。

实施例5

请一并参考图1至图3以及图8，本实施例提供的智能交互方法和设备中，交互端采用交互触控板70，第二虚拟显示装置为触控手机或者平板终端，本实施例的虚拟显示装置为混合现实显示设备，比如增强现实眼镜。以下具体介绍虚拟显示装置整合显示触控手机或者平板终端屏幕内容的实施例。这种混合现实的触控手机或者平板终端的交互，比如含登录、输入等操作参考真实的触控手机或者平板终端交互。

本实施例实现一种结合了混合现实显示设备的触控手机或者触控平板终端。

其中，增强现实眼镜的屏幕是半透明的，既可以自适应地显示触控手机或者触控平板屏幕，又可以透过其看到真实世界；该交互触控板70是不带显示功能的触控感应设备，也可以是粘连在塑料触控板上的透明触控膜。该交互触控板70包括把触控信息发送出去的通信模块60，增强现实眼镜与交互触控板70之间建立无线连接，例如蓝牙或者WiFi以支持用户在大范围内移动，使得增强现实眼镜可获取交互触控板70的交互操作指令；增强现实眼镜与交互云90之间通过WiFi、4G通信协议等建立无线连接，从交互云90获取触控手机和触控平板的屏显内容，并把交互触控板70的交互操作指令传输到交互云90。交互云90响应增强现实眼镜的请求，接收交互操作指令，操作触控手机或者触控平板的内容，向增强现实眼镜下发响应交互操作指令后的虚拟电视的屏显内容。

其中，增强现实眼镜的自适应显示通过视觉计算的实现，步骤与实施例3类似。步骤一，由用户在增强现实眼镜的虚拟三维空间中指定触控手机或者触控平板屏幕要显示的位置，此三维显示位置包括x,y,z三个维度。指定三维显示位置的方法如实施例4相似，在此不再赘述。

请参考图10，该交互端也可以采用手机虚拟触屏。在实现交互操作时，用特殊图案的纸质图像作为实物图像模板76，贴在交互触控板74的指定位置，例如矩形交互触控板的前半部。其中，图像模板76放置在触控膜72和触控板74的中间夹层中。再通过视觉计算模块42计算用户佩戴的增强现实眼镜的相对位置变化量T，与实施例4相似。自适应显示模块40针对用作虚拟电视屏幕的虚拟窗口210根据该相对位置变化量T和立体透视关系调整其在三维显示空间中的位置，并重新在增强现实眼镜调整后的虚拟窗210口中显示屏显内容。这样，随着用户头部的移动，增强现实眼镜的中呈现的触控手机或者触控平板的屏幕位置保持在物理原地，使用户在视觉感官上觉得看到是真实的触控手机或者触控平板的屏幕。

实施例6

请一并参考图1至图3、图8以及图11，本实施例提供的智能交互方法和设备中，交互端300采用交互按键板，第二虚拟显示装置为按键手机，该按键为硬件按键不包括软件按键实施方式。本实施例的虚拟显示装置为混合现实显示设备，比如增强现实眼镜。以下具体介绍虚拟显示装置整合显示按键手机屏幕内容的实施例。这种混合现实的按键手机的交互，比如含登录、输入等操作参考真实的按键手机交互。

与实施例5相比的不同点在于，该第二虚拟显示装置从触控模式变为按键模式。因此，关键模块从交互式触控板变为交互式按键板，其他模块保持不变。

请参考图11，该交互端也可以采用交互按键板80，该交互按键板80是不带显示功能的按键感应设备，可以是粘连在塑料触控板84上的按键键盘86。同样的，该交互按键板80包括触控膜82，该触控膜82包括把按键信息发送出去的通信模块60，通过通信模块60与增强现实眼镜的无线连接模块30交换交互操作指令，该通信模块60与无线连接模块30为无线连接，例如蓝牙/WiFi，以支持用户在大范围内移动。

实施例7

本申请除了可以用于电脑、电视、手机等交互场景之外，还可以用于其他基于屏幕的交互场景，比如交互端采用交互触控板70，第二虚拟显示装置为电子白板。或者交互端采用包括车载显示功能的交互触控板70，第二虚拟显示装置为车载系统。

实施例8

图8是本申请实施例提供的智能交互方法的电子设备600的硬件结构示意图，如图8所示，该电子设备600包括：

一个或多个处理器610、存储器620、一个或者多个图形处理器(GPU)630以及通信组件650，图8中以一个处理器610和一个图形处理器630为例。该存储器620存储有可被该至少一个处理器610执行的指令，该指令被该至少一个处理器执行时，通过通信组件650建立数据通道，以使该至少一个处理器能够执行该智能交互方法。

处理器610、存储器620、图形处理器630以及通信组件650可以通过总线或者其他方式连接，图8中以通过总线连接为例。

存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的智能交互方法对应的程序指令/模块(例如，附图4所示的接收模块12、发送模块14、位置确定模块16、窗口模块18以及显示模块20，附图3所示的多人交互模块56以及第二虚拟显示装置58)。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的智能交互方法。

存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据虚拟显示装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至机器人交互电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的基于图像的智能交互方法，例如，执行以上描述的图4中的方法步骤101至步骤105，执行以上描述的图5中的方法步骤201至步骤209以及执行以上描述的图6中的方法步骤301至步骤307，实现附图3所示的接收模块12、发送模块14、位置确定模块16、窗口模块18以及显示模块20，附图3所示的多人交互模块56以及第二虚拟显示装置58等的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图4中的方法步骤101至步骤105，执行以上描述的图5中的方法步骤201至步骤209以及执行以上描述的图6中的方法步骤301至步骤307，实现附图3所示的接收模块12、发送模块14、位置确定模块16、窗口模块18以及显示模块20，附图3所示的多人交互模块56以及第二虚拟显示装置58等的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (17)

1.一种虚拟显示装置，其特征在于，可与第二虚拟显示装置以及交互端通信，所述虚拟显示装置包括接收模块、无线连接模块以及显示模块，

所述接收模块用于接收用户指定的三维显示位置以及用于获取第二虚拟显示装置的屏显内容；

所述显示模块用于根据所述三维显示位置确定虚拟窗口，并在所述虚拟窗口中显示所述第二虚拟显示装置的屏显内容；

所述无线连接模块用于获取所述交互端对所述屏显内容的交互操作指令；

所述显示模块还用于在所述虚拟窗口显示所述第二虚拟显示装置反馈的响应所述交互操作指令更新的屏显内容。

2.根据权利要求1所述的虚拟显示装置，其特征在于，还包括发送模块，所述发送模块用于将所述交互操作指令发送至所述第二虚拟显示装置。

3.根据权利要求1所述的虚拟显示装置，其特征在于，还包括自适应显示模块，所述自适应显示模块用于在所述虚拟窗口自适应显示收到的屏显内容。

4.根据权利要求3所述的虚拟显示装置，其特征在于，所述自适应显示模块包括视觉计算模块，

所述视觉计算模块用于侦测所述虚拟显示装置的相对位置变化量；

所述自适应显示模块用于根据所述相对位置变化量和立体透视关系调整所述虚拟窗口并在调整后的虚拟窗口中显示所述第二虚拟显示装置的屏显内容。

5.根据权利要求1所述的虚拟显示装置，其特征在于，还包括多人交互模块，所述多人交互模块用于确定主虚拟显示装置和副虚拟显示装置，确定为副虚拟显示装置时，用于从云端服务器获取主虚拟显示装置的三维显示位置以及交互操作指令，同时获取发送至主虚拟显示装置的屏显内容进行同步显示。

6.根据权利要求5所述的虚拟显示装置，其特征在于，所述交互端与所述主虚拟显示装置和副虚拟显示装置连接，共享所述交互端的交互操作指令，通过所述交互端操控同时显示在主虚拟显示装置和副虚拟显示装置的屏显内容。

7.根据权利要求1-6任一项所述的虚拟显示装置，其特征在于，所述交互端采用无线键盘和无线鼠标，或者所述交互端采用无线遥控器，或者所述交互端采用交互触控板或者所述交互端采用手机虚拟触屏，或者所述交互端采用交互按键板。

8.根据权利要求7的虚拟显示装置，其特征在于，所述虚拟显示装置为混合现实显示设备，所述第二虚拟显示装置为运行于云端服务器的模块。

9.一种智能交互方法，其特征在于，

虚拟显示装置接收用户指定的三维显示位置，获取第二虚拟显示装置的屏显内容；

所述虚拟显示装置根据所述三维显示位置确定虚拟窗口，并在所述虚拟窗口中显示所述第二虚拟显示装置的屏显内容；

所述虚拟显示装置获取所述交互端对所述屏显内容的交互操作指令；并在所述虚拟窗口显示所述第二虚拟显示装置反馈的响应所述交互操作指令更新的屏显内容。

10.根据权利要求9所述的智能交互方法，其特征在于，还包括所述虚拟显示装置将所述交互操作指令发送至所述第二虚拟显示装置，其中，所述第二虚拟显示装置运行在云端服务器上。

11.根据权利要求9所述的智能交互方法，其特征在于，还包括在所述虚拟窗口自适应显示收到的屏显内容。

12.根据权利要求11所述的智能交互方法，其特征在于，所述在所述虚拟窗口自适应显示收到的屏显内容的步骤包括，

侦测所述虚拟显示装置的相对位置变化量；

根据所述相对位置变化量和立体透视关系调整所述虚拟窗口并在调整后的虚拟窗口中显示所述第二虚拟显示装置的屏显内容。

13.根据权利要求9-12任一项所述的智能交互方法，其特征在于，所述虚拟显示装置请求多人交互时，先启动的虚拟显示装置为主虚拟显示装置，后启动的虚拟显示装置为副虚拟显示装置，

所述云端服务器存储所述主虚拟显示装置的三维显示位置以及交互操作指令；

所述副虚拟显示装置从所述云端服务器获取所述主虚拟显示装置的三维显示位置以及交互操作指令，同时获取所述发送至主虚拟显示装置的屏显内容进行同步显示。

14.根据权利要求13所述的智能交互方法，其特征在于，所述交互端与所述主虚拟显示装置和副虚拟显示装置连接，共享所述交互端的交互操作指令，通过所述交互端操控同时显示在主虚拟显示装置和副虚拟显示装置的屏显内容。

15.一种云端服务器，其特征在于，可与虚拟显示装置通信，所述虚拟显示装置与交互端通信，所述云端服务器包括第二虚拟显示装置、发送模块以及接收模块，

所述第二虚拟显示装置用于输出屏显内容；

所述发送模块用于将所述屏显内容发送至所述虚拟显示装置，所述虚拟显示装置在用户指定的三维显示位置确定虚拟窗口，并在所述虚拟窗口中显示所述屏显内容；

所述接收模块用于接收所述虚拟显示装置从交互端获取的交互操作指令；

所述第二虚拟显示装置还用于响应所述交互操作指令向所述虚拟显示装置输出更新的屏显内容。

16.根据权利要求15所述的云端服务器，其特征在于，所述云端服务器包括多人交互模块，其中，先启动的虚拟显示装置为主虚拟显示装置，后启动的虚拟显示装置为副虚拟显示装置，所述多人交互模块用于多人交互时，存储所述主虚拟显示装置的三维显示位置以及交互操作指令；

所述云端服务器还包括发送模块，所述发送模块用于发送所述主虚拟显示装置的三维显示位置以及交互操作指令，还用于发送同步主虚拟显示装置的屏显内容。

17.根据权利要求16所述的云端服务器，其特征在于，所述交互端与所述主虚拟显示装置和副虚拟显示装置连接，共享所述交互端的交互操作指令，通过所述交互端操控同时显示在主虚拟显示装置和副虚拟显示装置的屏显内容。