CN113220110A - 显示系统及方法 - Google Patents

Abstract

本发明提供一种显示系统及方法，该系统包括可穿戴显示器、控制器、激光投射装置，可穿戴显示器分别与控制器以及激光投射装置连接，控制器与激光投射装置连接。控制器被配置为控制激光投射装置开启或关闭；激光投射装置被配置为在开启时将用户界面投射到真实空间，同时获取用户手指在用户界面的第一位置信息，并向可穿戴显示器发送第一位置信息；可穿戴显示器被配置为基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标。上述显示系统实现将真实场景的操作过程映射到虚拟场景中，解决了当前VR交互控制操作不便的问题。

Description

显示系统及方法

技术领域

本发明涉及VR技术领域，尤其涉及一种显示系统及方法。

背景技术

随着头戴显示技术的日趋成熟，围绕虚拟显示设备的各项技术得到快速发展，包括虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、混合现实(MixReality,MR)。其中，VR技术是通过全方位摄像装置采集到的视频进行立体化处理，为用户提供视觉、听觉、触觉等感官模拟的类似于真实立体场景的虚拟世界，可广泛应用于教育培训、消防演练、虚拟驾驶、建筑展示等诸多领域。

目前，VR设备现有的交互方式主要有如下几种：用户可借助特定的输入/输出设备与虚拟世界进行自然的交互，例如借助控制键盘、鼠标等传统外设进行文字输入；用户可通过语音控制VR设备，进行虚拟界面的切换等；用户可通过头部运动悬停控制光标位置移动、选择确认等操作；用户还可通过手臂运动操作虚拟界面。

上述第一种方式用户在佩戴VR设备后是进行盲操作，输入操作较困难；上述第二种方式受地域差异的影响，语义识别效果不稳定，且此方式不适合聋哑人，有一定的局限性；上述第三种方式虽然简单，但悬停时间的长短不好定义，时间定义过短容易引起误操作，时间定义过长操作效率低；上述第四种方式用户手臂需在摄像头视野范围内，使用精度和灵活度比较差。

发明内容

本发明提供一种显示系统及方法，解决了当前VR交互控制操作不便的问题。

本发明的第一方面提供一种显示系统，包括：

可穿戴显示器、控制器、激光投射装置；所述可穿戴显示器分别与所述控制器以及所述激光投射装置连接，所述控制器与所述激光投射装置连接；

所述控制器，被配置为控制所述激光投射装置开启或关闭；

所述激光投射装置，被配置为在开启时将用户界面投射到真实空间，获取用户手指在所述用户界面的第一位置信息，并向所述可穿戴显示器发送所述第一位置信息；

所述可穿戴显示器，被配置为基于所述用户界面和所述第一位置信息，在虚拟场景中显示所述用户界面和操作光标，所述操作光标用于指示用户手指在所述用户界面上的位置。

在一些示例性的实施方式中，所述显示系统还包括图像采集装置，所述图像采集装置与所述可穿戴显示器连接；

所述图像采集装置，被配置为获取用户手指在所述用户界面的第二位置信息，并向所述可穿戴显示器发送所述第二位置信息；

所述可穿戴显示器，被配置为基于所述用户设备、所述第一位置信息以及所述第二位置信息，在虚拟场景中显示所述用户设备和所述操作光标。

在一些示例性的实施方式中，所述图像采集装置，被配置为获取所述控制器的第三位置信息，并向所述可穿戴显示器发送所述第三位置信息；

所述控制器还包括IMU惯性传感器，所述IMU被配置为获取所述控制器的姿态信息；

所述可穿戴显示器，被配置为基于所述用户界面、所述第一位置信息、所述第二位置信息、所述第三位置信息以及所述姿态信息，在虚拟场景中显示所述控制器、投射在所述控制器的投射幕布上的用户界面和操作光标。

在一些示例性的实施方式中，所述控制器包括投影幕布；所述激光投射装置，被配置为将所述用户界面投射到所述投影幕布上。

在一些示例性的实施方式中，所述控制器包括物理按键，所述控制器被配置为响应于用户在所述物理按键上的按压操作，控制所述激光投射装置开启或关闭。

在一些示例性的实施方式中，所述控制器包括马达；所述控制器，被配置为响应于用户手指在所述用户界面的控制操作，控制所述马达振动。

在一些示例性的实施方式中，所述激光投射装置包括红外激光发射器、红外摄像头以及一字线性感应激光头；

所述红外激光发射器，被配置为将所述用户界面投射到真实空间；

所述红外摄像头和所述一字线性感应激光头，被配置为获取用户手指在所述用户界面的第一位置信息。

在一些示例性的实施方式中，所述用户界面包括如下的至少一项：

虚拟键盘、系统主界面、菜单界面、绘图界面。

本发明的第二方面提供一种显示方法，包括：

控制器响应于用户发出的控制命令，控制激光投射装置开启；

所述激光投射装置将用户界面投射到真实空间，获取用户手指在所述用户界面的第一位置信息，并向所述可穿戴显示器发送所述第一位置信息；

所述可穿戴显示器基于所述用户界面和所述第一位置信息，在虚拟场景中显示所述用户界面和操作光标，所述操作光标用于指示用户手指在所述用户界面上的位置。

在一些示例性的实施方式中，所述方法还包括：

图形采集装置获取用户手指在用户界面的第二位置信息，并向所述可穿戴显示器发送所述第二位置信息；

所述可穿戴显示器基于所述用户界面和所述第一位置信息，在虚拟场景中显示所述用户界面和操作光标，包括：

所述可穿戴显示器基于所述用户设备、所述第一位置信息以及所述第二位置信息，在虚拟场景中显示所述用户界面和所述操作光标。

在一些示例性的实施方式中，所述方法还包括：

所述图像采集装置获取所述控制器的第三位置信息，并向所述可穿戴显示器发送所述第三位置信息；

所述控制器的IMU获取所述控制器的姿态信息；

所述可穿戴显示器基于所述用户界面和所述第一位置信息，在虚拟场景中显示所述用户界面和操作光标，包括：

所述可穿戴显示器基于所述用户界面、所述第一位置信息、所述第二位置信息、所述第三位置信息以及所述姿态信息，在虚拟场景中显示所述控制器、投射在所述控制器的投射幕布上的用户界面和操作光标。

在一些示例性的实施方式中，所述激光投射装置将用户界面投射到真实空间，包括：

所述激光投射装置将所述用户界面投射到所述控制器的投影幕布上。

在一些示例性的实施方式中，所述控制器响应于用户在所述控制器的物理按键上的按压操作，控制所述激光投射装置开启或关闭。

在一些示例性的实施方式中，所述方法还包括：

所述控制器响应于用户手指在所述用户界面的控制操作，控制所述控制器上的马达振动。

本发明的第三方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如本发明第二方面中任一项所述的显示方法。

本发明提供一种显示系统及方法。其中，显示系统包括可穿戴显示器、控制器、激光投射装置，可穿戴显示器分别与控制器以及激光投射装置连接，控制器与激光投射装置连接。控制器被配置为控制激光投射装置开启或关闭；激光投射装置被配置为在开启时将用户界面投射到真实空间，同时获取用户手指在用户界面的第一位置信息，并向可穿戴显示器发送第一位置信息；可穿戴显示器被配置为基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标。上述显示系统实现将真实场景的操作过程映射到虚拟场景中，解决了当前VR交互控制操作不便的问题。

附图说明

图1为本发明实施例提供的应用场景示意图；

图2为本发明实施例提供的一种显示系统的结构示意图；

图3为本发明实施例提供的一种可穿戴显示器的结构示意图；

图4为本发明实施例提供的一种激光投射装置的结构示意图；

图5a为本发明实施例提供的激光投射装置投射的一种界面示意图；

图5b为本发明实施例提供的激光投射装置投射的一种界面示意图；

图6为本发明实施例提供的控制器的结构示意图；

图7为本发明实施例提供的一种显示系统的结构示意图；

图8a为本发明实施例提供的可穿戴显示器显示的虚拟场景的一种示意图；

图8b为本发明实施例提供的可穿戴显示器显示的虚拟场景的一种示意图；

图9为本发明实施例提供的一种显示方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本发明的说明书中通篇提到的“一实施例”或“另一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一些实施例中”或“在本实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的应用场景示意图。如图1所示，用户佩戴可穿戴显示器11(例如VR眼镜、VR头盔等)，手持控制器12(例如手柄)，在虚拟场景中观看可带来沉浸感的视频，或者操作游戏等。

其中，控制器12与可穿戴显示器11之间可通过红外协议通信、蓝牙协议通信、紫蜂(ZigBee)协议通信或其他短距离通信方式进行通信，控制器12可通过无线或其他有线方式来控制可穿戴显示器11。用户可以通过控制器12上物理按键、语音输入、控制面板输入等输入用户指令，来控制可穿戴显示器11。例如，用户可以通过控制器12上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制可穿戴显示器11的功能。

如图1所示，可穿戴显示器11还可与服务器13通过多种通信方式进行数据通信。在本发明实施例中，可穿戴显示器11可通过局域网、无线局域网或其他网络与服务器13进行有线通信连接或无线通信连接。服务器13可以向可穿戴显示器11提供各种内容和互动。

示例的，可穿戴显示器11可通过与服务器13的交互，接收软件程序更新，或访问远程储存的数字媒体库。服务器13可以是一组，也可以是多组，可以是一类或多类服务器。服务器13提供视频点播、游戏互动、广告服务等多种网络服务内容。

基于上述应用场景，用户除了通过控制器对可穿戴显示器进行简单的控制操作之外，还可以有如下的几种交互方式：

1)通过VR控制器自带的触摸板进行交互控制，但由于在佩戴VR眼镜或者VR头盔时，用户是进行盲操作，因此触摸板的位置不好确定。

2)通过头部运动悬停进行交互控制，例如VR头盔的输入方式多依赖设备内的惯性传感单元，用户通过转动头部控制光标位置移动，当光标移动到欲选择的选项上(如确定、返回、音乐、视频等显示控件)，悬停一定的时间(如3s或5s)作为选择确定操作，此方式虽然简单但有时无响应，且时间的长短不好定义。若时间定义过短容易引起误操作，若时间定义过长操作效率低且易引起用户的误解、反感和不耐烦，用户体验很差。

3)语音控制，此方式可简单有效的实现交互，但有时会出现歧义，特别是地域上的差异，方言和标准普通话发音不同，造成语音语义识别效果差。而且此方式不适合聋哑人，有一定的局限性。

4)借助控制键盘、鼠标等传统外设进行输入操作，然而用户佩戴VR眼镜之后，由于无法确定键盘位置以及更加困难的盲打，导致键盘这块外设在VR领域举步维艰。

5)通过传统的双目识别手势进行交互操作，此方式可视为一较好的交互方式，但手势操作有一定的限制，交互过程中有较强的针对性，而且该技术应用还不够成熟，精度和灵活度比较差。在实际操作中，用户的手臂要在图像采集装置视野范围内，且长时间的手臂操作会非常累，用户体验差。

为了提高用户在使用VR设备进行输入操作时不灵敏、不准确、不自然、响应差的问题，本发明提出一种显示系统，该显示系统是基于激光投影技术和惯性测量IMU技术实现的，通过激光投射装置在真实场景的投射，将包括投射内容和用户手指操作的图像实时渲染到可穿戴显示器的虚拟场景中，实现虚拟场景中的实现与真实场景的同步，该交互方式更加符合用户的使用习惯，当投射内容为键盘时，用户直接在虚拟场景下即可实现输入文字、密码等操作，如同在手机、IPAD上自然方便、简单快捷、实时精准、更加直观有效，即“所见即所得”。

下面结合附图以具体的几个实施例对本发明提供的显示系统进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程在某些实施例中不再赘述。

图2为本发明实施例提供的一种显示系统的结构示意图，如图2所示，本实施例提供的显示系统200，包括：

可穿戴显示器201、控制器202以及激光投射装置203。

其中，可穿戴显示器201分别与控制器202以及激光投射装置203连接，控制器202与激光投射装置203连接。

作为一种示例，激光投射装置203可设置在可穿戴显示器201上。作为另一种示例，激光投射装置203可设置在控制器202上。

控制器202，被配置为控制激光投射装置203开启或关闭；

激光投射装置203，被配置为在开启时将用户界面投射到真实空间，获取用户手指在用户界面的第一位置信息，并向可穿戴显示器发送第一位置信息。

可穿戴显示器201，被配置为基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标，操作光标用于指示用户手指在用户界面上的位置。

其中，可穿戴显示器201是虚拟显示应用中的3D VR图像显示与观察的电子设备，可以是VR眼镜、VR头盔(或称为头盔式显示器HMD)，还可以是其他任意形态的显示器，对此本实施例不作任何限制。以VR头盔为例，使用方式为头戴式，用户可在VR主界面上选择观看可带来沉浸感的视频，或选择进入游戏场景，在游戏场景中，用户可做空间上的自由移动，例如自由行走、旋转等，VR头盔辅以三个自由度的空间跟踪定位器，可进行VR输出效果观察，沉浸感较强。

示例性的，如图3所示，可穿戴显示器201包括无线模块2011、位姿追踪模块2012、处理模块2013、存储模块2014。其中，无线模块2011用于与服务器、控制器202、激光投射装置203等进行无线通信，发送控制指令或数据。位姿追踪模块2012用于定位可穿戴显示器201的位置信息和姿态信息。处理模块2013用于根据位姿追踪模块2012发送的位置信息和姿态信息进行VR输出效果处理。存储模块2014用于存储数据(例如显示画面数据等)和控制指令等。

如图4所示，激光投射装置203包括红外激光发射器2031、红外摄像头2032以及一字线性感应激光头2033。其中，红外激光发射器2031可在真实空间的任何平面(例如地面、墙面)上投射任意图案，例如用户界面、图片或视频等图案。红外摄像头2032可采集包括用户手指在内的投射图案的红外图像，确定手指在投射图案上的大致位置，一字线性感应激光头2033可检测到用户手指触摸位置反射出的红外线，从而确定手指的触控位置坐标。

其中，用户界面包括如下的至少一项：虚拟键盘、系统主界面、菜单界面、绘图界面。

示例性的，如图5a所示，红外激光发射器2031投射的图案为VR系统的主界面时，主界面可以包括多个应用图标、一个显示窗口、多个操作控件。其中，应用图标包括“视频”、“游戏”、“设置”等图标，用户选择“视频”图标，显示窗口显示可播放的视频资源；用户选择“游戏”图标，显窗口显示不同的游戏资源；用户选择“设置”图标，显示窗口显示系统设置列表。用户还可以通过界面下方的操作控件进行相应的控制操作，例如“前进”、“后退”、“主页”、“返回”、“音量”、“全屏”等操作控件。如图5b所示，激光投射装置203投射的图案为虚拟键盘。

在一些实施例中，还可以根据实际需求，在用户界面上显示包括对话框、状态栏、导航栏、Widget等可视的界面元素。

在本实施例中，为了实现用户自然的输入操作，激光投射装置203中的红外激光发射器2031，被配置为将用户界面投射到真实空间。激光投射装置201中的红外摄像头2032和一字线性感应激光头2033，被配置为获取用户手指在用户界面的第一位置信息。

在定位用户手指在用户界面的位置方面，可通过定义触控时间来确定用户的实际操作意图，例如点击操作或者移动操作。可设定时间阈值防止误判，作为一种示例，可设定时间阈值为30ms，如果用户手指在界面某位置的停留时间大于或者等于30ms，则将其确定为点击操作。上述时间阈值通常是VR设备厂商预定义的，当然，也可以由用户进行自定义，满足不同用户的个性化需求。

在一种可能的实现方式中，可穿戴显示器201，被配置为基于激光投射装置203投射的用户界面，以及激光投射装置203获取的用户手指在用户界面的第一位置信息，在虚拟场景中显示用户界面和操作光标。

其中，操作光标对应真实空间中用户的手指，操作光标具体可以为箭头、圆圈、虚拟手指等，对此本实施例不作任何限制。

在本实施例中，控制器202与可穿戴显示器201有线或者无线连接。控制器202是本发明显示系统中的一个组件，该组件通常可在较短的距离范围内无线控制可穿戴显示器201。该组件一般可以使用红外线和/或射频(RF)信号和/或蓝牙与可穿戴显示器201连接。

示例性的，如图6所示，控制器202可以包括无线模块2021、惯性传感器IMU 2022、电源模块2023。其中，无线模块2021可以包括WiFi模块、蓝牙模块、射频模块等，用于与可穿戴显示器201进行无线通信。惯性传感器2022包括陀螺仪和加速度计，用于获取控制器的姿态信息。其中，陀螺仪可测量控制器的角速度，通过积分加速度即可得到控制器的姿态信息。但是，上述积分过程会产生误差，随着时间的增加，该误差会积累，最终导致明显的姿态信息偏差。加速度计可测量控制器的加速度以及重力信息，可利用加速度计数据矫正与重力方向相关的姿态偏差，即利用加速度计可矫正控制器在两个方向上(俯仰角pitch、翻滚角roll)的姿态角偏差。可选的，惯性传感器2022还可以包括磁力计，磁力计用于测试磁场强度和方向，定位控制器的偏航角yaw，依此矫正控制器的姿态。

作为一种示例，控制器202可做成手柄，用户手持手柄进行控制操作。控制器还可做成穿戴式设备，比如佩戴在用户的手臂上，用户可通过另一只手进行控制操作。

在一些实施例中，控制器202还包括投影幕布，这里的投影幕布可选择具有更高对比度，且全方位抗环境光的幕布，即能够有效吸收各个方向环境光的幕布。相应的，激光投射装置203，被配置为将用户界面投射到控制器202的投影幕布上。以穿戴式控制器为例，在实际应用中，用户可直接通过低头方式，将投射图案投射至手臂上的控制器202的投射幕布上。该方式更加符合用户的使用习惯，用户可通过控制器上的投射幕布实现输入文字或登录账号密码等自然输入，类似在常用的手机或者IPAD的显示界面上的输入操作。

本发明实施例提供的显示系统，包括可穿戴显示器、控制器、激光投射装置，其中，可穿戴显示器分别与控制器以及激光投射装置连接，控制器与激光投射装置连接。控制器被配置为控制激光投射装置开启或关闭；激光投射装置被配置为在开启时将用户界面投射到真实空间，同时获取用户手指在用户界面的第一位置信息，并向可穿戴显示器发送第一位置信息；可穿戴显示器被配置为基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标，操作光标用于指示用户手指在用户界面上的位置。上述显示系统提供一种自然方便、实时准确的人机交互方式，实现将真实场景的操作过程映射到虚拟场景中，用户可直接在虚拟场景下进行文本输入操作，解决了当前VR交互控制操作(尤其是文本输入操作)不灵敏、不准确、不自然、响应差的问题。

图7为本发明实施例提供的一种显示系统的结构示意图，在图2所示显示系统的基础上，如图7所示，本实施例的显示系统200还包括：

图像采集装置204，图像采集装置204与可穿戴显示器201连接。作为一种示例，图像采集装置204可设置在可穿戴显示器201上，图像采集装置204通常为双目相机，也可以是单目相机，或者多目相机。

图像采集装置204，被配置为获取用户手指在用户界面的第二位置信息，并向可穿戴显示器201发送第二位置信息。

在另一种可能的实现方式中，可穿戴显示器201，被配置为基于激光投射装置203投射的用户界面，激光投射装置203获取的用户手指在用户界面的第一位置信息，以及图像采集装置204获取的第二位置信息，在虚拟场景中显示用户界面和操作光标。

可选的，图像采集装置204，被配置为获取控制器202的第三位置信息，并向可穿戴显示器201发送第三位置信息。

由上文可知，控制器202的IMU被配置为获取控制器的姿态信息。

在又一种可能的实现方式中，可穿戴显示器201，被配置为基于激光投射装置203投射的用户界面，激光投射装置203获取的用户手指在用户界面的第一位置信息，图像采集装置204获取的用户手指在用户界面的第二位置信息以及控制器的第三位置信息，IMU获取的控制器的姿态信息，在虚拟场景中显示控制器、投射在控制器的投射幕布上的用户界面和操作光标。该实现方式中，综合了激光投射装置和可见光图像采集装置分别确定的用户手指在用户界面的位置信息，提高了测量用户手指位置的准确性。该实现方式将真实场景中控制器及其周围环境同时映射到虚拟场景中，使得用户能直观感受到自己手持或者佩戴的控制器的位置、控制器的投射幕布上的用户界面，以及用户实际操作中手指的位置。

作为一种示例，激光投射装置203仅投射一虚拟键盘，可穿戴显示器201基于激光投射装置203和/或图像采集装置204采集的用户手指在真实空间的输入操作，将包括用户手指在内的虚拟键盘映射到虚拟场景中，此时虚拟场景的显示界面可以仅包括虚拟键盘和操作光标，如图8a所示。当然，虚拟场景的显示界面也可以包括正在运行的游戏场景或者视频画面，虚拟键盘和操作光标则位于游戏场景或者视频画面的下方，如图8b所示。

在一些实施例中，控制器202包括物理按键，控制器202被配置为响应于用户在物理按键上的按压操作，控制激光投射装置203开启或关闭。示例性的，用户可以通过长按或者点击控制器202上的物理按键，快速启动激光投射装置203投射虚拟键盘，进行文本输入模式。用户还可以通过同样的方式关闭激光投射装置203，即退出文本输入模式。

可选的，为了增强用户在文本输入模式或者其他操作模式下的输入感知度，控制器202还可以包括马达。控制器，被配置为响应于用户手指在用户界面的控制操作，控制马达振动。具体的，可穿戴显示器201基于用户手指在用户界面上的停留时间，确定是否有输入操作，如果有输入操作，例如用户在虚拟键盘的某位置的停留时间大于时间阈值，确定用户输入该位置对应的字母，可穿戴显示器201通过无线模块2011向控制器202发送指令，以使控制器控制马达振动，马达的振动时长可根据情况而定，例如振动0.1s。上述方式解决了输入反馈的问题，提高用户输入的感知度，提升用户的输入体验。

可选的，控制器202上还可以包括可见光或者不可见光(例如红外光)的发光设备，发光设备可以是多点的结构，也可以是单点的结构。图像采集装置204通过获取控制器的图像数据进行图像处理，确定控制器202的空间位置坐标和/或姿态数据。需要说明的是，对于单点结构的控制器202，图像采集装置204可获得控制器202的位置信息；对于多点结构的控制器202，通过图像采集装置204可获得控制器202的位置信息和姿态信息。

在一些实施例中，可穿戴显示器201还可以包括激光投射处理模块和图像采集模块，即将激光投射装置203和图像采集装置204的功能集成到可穿戴显示器201中。

在上述实施例的基础上，本发明实施例还提供一种显示方法，应用于上述实施例的显示系统，图9为本发明实施例提供的一种显示方法的流程图，如图9所示，本实施例提供的显示方法包括如下步骤：

步骤301、控制器响应于用户发出的控制命令，控制激光投射装置开启。

在本实施例中，用户可通过语音控制、按压控制器上的物理按键等发出控制命令，可用于控制激光投射装置的开启或关闭。

步骤302、激光投射装置将用户界面投射到真实空间。

步骤303、激光投射装置获取用户手指在用户界面的第一位置信息。

步骤304、激光投射装置向可穿戴显示器发送第一位置信息。

步骤305、可穿戴显示器基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标。

其中，操作光标用于指示用户手指在用户界面上的位置。

在一些示例性的实施方式中，上述显示方法还包括：

图形采集装置获取用户手指在用户界面的第二位置信息，并向可穿戴显示器发送第二位置信息；

相应的，可穿戴显示器基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标，包括：可穿戴显示器基于用户设备、第一位置信息以及第二位置信息，在虚拟场景中显示用户界面和操作光标。

在一些示例性的实施方式中，上述显示方法还包括：

图像采集装置获取控制器的第三位置信息，并向可穿戴显示器发送第三位置信息；

控制器的IMU获取控制器的姿态信息；

相应的，可穿戴显示器基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标，包括：可穿戴显示器基于用户界面、第一位置信息、第二位置信息、第三位置信息以及姿态信息，在虚拟场景中显示控制器、投射在控制器的投射幕布上的用户界面和操作光标。

在一些示例性的实施方式中，激光投射装置将用户界面投射到真实空间，包括：激光投射装置将用户界面投射到控制器的投影幕布上。

在一些示例性的实施方式中，控制器响应于用户在控制器的物理按键上的按压操作，控制激光投射装置开启或关闭。

在一些示例性的实施方式中，上述显示方法还包括：

控制器响应于用户手指在用户界面的控制操作，控制控制器上的马达振动。

本发明实施例提供的显示方法，包括：控制器响应于用户发出的控制命令，控制激光投射装置开启，激光投射装置将用户界面投射到真实空间，获取用户手指在用户界面的第一位置信息，并向可穿戴显示器发送该第一位置信息，可穿戴显示器基于用户界面和第一位置信息，在虚拟场景中显示用户界面和操作光标，其中操作光标用于指示用户手指在用户界面上的位置。上述过程实现将真实场景中的用户操作过程实时映射到虚拟场景中，解决了当前VR交互控制操作不便的问题。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行该计算机执行指令时，实现前述任一方法实施例提供的显示方法。

本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当计算机程序或指令被运行时，可以实现前述任一方法实施例提供的显示方法。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于VR设备中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种显示系统，其特征在于，包括：可穿戴显示器、控制器、激光投射装置；所述可穿戴显示器分别与所述控制器以及所述激光投射装置连接，所述控制器与所述激光投射装置连接；

所述控制器，被配置为控制所述激光投射装置开启或关闭；

所述激光投射装置，被配置为在开启时将用户界面投射到真实空间，获取用户手指在所述用户界面的第一位置信息，并向所述可穿戴显示器发送所述第一位置信息；

所述可穿戴显示器，被配置为基于所述用户界面和所述第一位置信息，在虚拟场景中显示所述用户界面和操作光标，所述操作光标用于指示用户手指在所述用户界面上的位置。

2.根据权利要求1所述的显示系统，其特征在于，所述显示系统还包括图像采集装置，所述图像采集装置与所述可穿戴显示器连接；

所述图像采集装置，被配置为获取用户手指在所述用户界面的第二位置信息，并向所述可穿戴显示器发送所述第二位置信息；

所述可穿戴显示器，被配置为基于所述用户设备、所述第一位置信息以及所述第二位置信息，在虚拟场景中显示所述用户设备和所述操作光标。

3.根据权利要求2所述的显示系统，其特征在于，所述图像采集装置，被配置为获取所述控制器的第三位置信息，并向所述可穿戴显示器发送所述第三位置信息；

所述控制器还包括IMU惯性传感器，所述IMU被配置为获取所述控制器的姿态信息；

所述可穿戴显示器，被配置为基于所述用户界面、所述第一位置信息、所述第二位置信息、所述第三位置信息以及所述姿态信息，在虚拟场景中显示所述控制器、投射在所述控制器的投射幕布上的用户界面和操作光标。

4.根据权利要求1-3中任一项所述的显示系统，其特征在于，所述控制器包括投影幕布；所述激光投射装置，被配置为将所述用户界面投射到所述投影幕布上。

5.根据权利要求1-3中任一项所述的显示系统，其特征在于，所述控制器包括物理按键，所述控制器被配置为响应于用户在所述物理按键上的按压操作，控制所述激光投射装置开启或关闭。

6.根据权利要求1-3中任一项所述的显示系统，其特征在于，所述控制器包括马达；所述控制器，被配置为响应于用户手指在所述用户界面的控制操作，控制所述马达振动。

7.根据权利要求1-3中任一项所述的显示系统，其特征在于，所述激光投射装置包括红外激光发射器、红外摄像头以及一字线性感应激光头；

所述红外激光发射器，被配置为将所述用户界面投射到真实空间；

所述红外摄像头和所述一字线性感应激光头，被配置为获取用户手指在所述用户界面的第一位置信息。

8.根据权利要求1所述的显示系统，其特征在于，所述用户界面包括如下的至少一项：

虚拟键盘、系统主界面、菜单界面、绘图界面。

9.一种显示方法，其特征在于，包括：

控制器响应于用户发出的控制命令，控制激光投射装置开启；

所述激光投射装置将用户界面投射到真实空间，获取用户手指在所述用户界面的第一位置信息，并向所述可穿戴显示器发送所述第一位置信息；

所述可穿戴显示器基于所述用户界面和所述第一位置信息，在虚拟场景中显示所述用户界面和操作光标，所述操作光标用于指示用户手指在所述用户界面上的位置。

10.根据权利要求9所述的显示方法，其特征在于，所述方法还包括：

图形采集装置获取用户手指在用户界面的第二位置信息，并向所述可穿戴显示器发送所述第二位置信息；

所述可穿戴显示器基于所述用户界面和所述第一位置信息，在虚拟场景中显示所述用户界面和操作光标，包括：

所述可穿戴显示器基于所述用户设备、所述第一位置信息以及所述第二位置信息，在虚拟场景中显示所述用户界面和所述操作光标。

Images