CN115129277A - 一种交互方法、显示设备及vr设备 - Google Patents

Abstract

本申请涉及交互技术领域，提供一种交互方法、显示设备及VR设备，显示设备和VR设备连接至同一网络，显示设备安装有投屏应用程序，用于同步显示VR设备播放的单目图像，该方法中，显示设备响应于对显示设备的投影屏幕的操作，获取投影屏幕上焦点的投影坐标；显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将投影坐标转换为显示坐标；显示设备将显示坐标发送给VR设备，使得VR设备根据显示坐标对应的操作事件控制单目图像，从而实现用户通过显示设备对VR设备播放的单目图像进行控制，提高了交互的灵活性。

Description

一种交互方法、显示设备及VR设备

技术领域

本申请涉及交互技术领域，尤其涉及一种交互方法、显示设备及虚拟现实(Virtual Reality，VR)设备。

背景技术

VR场景中使用游戏引擎(Unity)进行界面开发，使用安卓系统(Android)实现操作事件(包括点击事件、滑动事件、滚动事件等)。当VR设备与装有Miracast投屏应用程序的显示设备连接至同一WiFi时，VR设备上的视频画面可以投屏到显示设备上，投屏成功后，用户可对VR场景中的事件进行触发来实现设备间的交互。目前，投屏后用户只能通过控制VR设备触发事件，旁观者只能通过VR设备操作者的操作来查看投屏内容，无法实现控制VR设备播放的内容，而且如果旁观者想操控播放内容需要成为VR设备的操作者，投屏意义单一化，交互方式的灵活性较差。

发明内容

本申请提供了一种交互方法、显示设备及VR设备，用以实现显示设备与VR设备的智能交互，提高交互方式的灵活性。

第一方面，本申请提供一种显示设备和VR设备间的交互方法，所述显示设备和VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像，所述方法包括：

所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标；

所述显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

所述显示设备将所述显示坐标发送给所述VR设备，使得所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

本申请的上述方法中，显示设备和VR设备连接至同一网络，显示设备安装有投屏应用程序，用于同步显示VR设备播放的单目图像，显示设备响应于对显示设备的投影屏幕的操作，获取投影屏幕上焦点的投影坐标，并将投影坐标转换为显示坐标后发送给VR设备，由于投影屏幕上的投影坐标和单目屏幕上的显示坐标之间存在映射关系，因此，用户在投影屏幕上对单目图像操作的焦点的投影坐标，可转换为单目屏幕上对应的显示坐标，且由于显示设备和VR设备连接至同一网络，使得VR设备根据显示坐标对应的操作事件控制单目图像，从而实现用户通过显示设备对VR设备播放的单目图像进行控制，提高了显示设备和VR设备交互的灵活性。

在一种可选的实施方式中，所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标，包括：

若所述操作为触控操作，则所述显示设备直接获取触控点在所述投影屏幕上的坐标，将获取的所述触控点的坐标确定为所述投影屏幕上焦点的投影坐标；或

若所述操作为非触控操作，则所述显示设备根据接收的移动指令将预设光标移动到目标位置，并根据接收的确认指令获取所述预设光标的坐标，将获取的所述预设光标的坐标确定为所述投影屏幕上焦点的投影坐标。

本申请的上述方法中，针对触控操作，则投影屏幕上焦点的投影坐标为触控点在投影屏幕的坐标，针对非触控操作，可将获取的预设光标在目标位置上的坐标确定为投影屏幕上焦点的投影坐标，因此上述方法适用于触控类显示设备和非触控类显示设备。

在一种可选的实施方式中，所述投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，包括：

所述投影坐标的横坐标与所述显示坐标的横坐标的比值，为所述投影屏幕的横向分辨率与所述单目屏幕的横向分辨率的比值；所述投影坐标的纵坐标与所述显示坐标的纵坐标的比值，为所述投影屏幕的纵向分辨率与所述单目屏幕的纵向分辨率的比值；或

所述投影坐标的横坐标与所述投影屏幕的横向分辨率的比值，为所述显示坐标的横坐标与所述单目屏幕的横向分辨率的比值，所述投影坐标的纵坐标与所述投影屏幕的纵向分辨率的比值，为所述显示坐标的纵坐标与所述单目屏幕的纵向分辨率的比值。

本申请的上述方法中，投影屏幕上的投影坐标和单目屏幕上的显示坐标之间存在映射关系，从而实现投影坐标到显示坐标的转换。

第二方面，本申请提供一种显示设备和VR设备间的交互方法，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像；所述方法包括：

所述VR设备接收所述显示设备发送的显示坐标，所述显示坐标是由所述显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，对投影坐标转换进行转换得到的，所述投影坐标是所述显示设备响应于对所述显示设备的投影屏幕的操作获取的所述投影屏幕上焦点的坐标；

所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

第三方面，本申请提供一种显示设备和VR设备间的交互方法，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像；所述方法包括：

所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标；

所述显示设备将所述投影坐标发送给所述VR设备，使得所述VR设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标，并根据所述显示坐标对应的操作事件控制所述单目图像。

本申请的上述方法中，显示设备和VR设备连接至同一网络，显示设备安装有投屏应用程序，用于同步显示VR设备播放的单目图像，显示设备响应于对显示设备的投影屏幕的操作，获取投影屏幕上焦点的投影坐标，并将投影坐标转换发送给VR设备，由于投影屏幕上的投影坐标和单目屏幕上的显示坐标之间存在映射关系，使得VR设备可将投影坐标转换为显示坐标，并根据显示坐标对应的操作事件控制单目图像，从而实现用户通过显示设备对VR设备播放的图像进行控制，提高了显示设备和VR设备交互的灵活性。

在一种可选的实施方式中，所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标，包括：

若所述操作为触控操作，则所述显示设备直接获取触控点在所述投影屏幕上的坐标，将获取的所述触控点的坐标确定为所述投影屏幕上焦点的投影坐标；或

若所述操作为非触控操作，则所述显示设备根据接收的移动指令将预设光标移动到目标位置，并根据接收的确认指令获取所述预设光标的坐标，将获取的所述预设光标的坐标确定为所述投影屏幕上焦点的投影坐标。

本申请的上述方法中，针对触控操作，则投影屏幕上焦点的投影坐标为触控点在投影屏幕的坐标，针对非触控操作，可将获取的预设光标在目标位置上的坐标确定为投影屏幕上焦点的投影坐标，因此上述方法适用于触控类显示设备和非触控类显示设备。

第四方面，本申请提供一种显示设备和VR设备间的交互方法，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像；所述方法包括：

所述VR设备接收所述显示设备发送的投影坐标，所述投影坐标是所述显示设备响应于对所述显示设备的投影屏幕的操作获取的所述投影屏幕上焦点的坐标；

所述VR设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

在一种可选的实施方式中，所述投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，包括：

所述投影坐标的横坐标与所述显示坐标的横坐标的比值，为所述投影屏幕的横向分辨率与所述单目屏幕的横向分辨率的比值；所述投影坐标的纵坐标与所述显示坐标的纵坐标的比值，为所述投影屏幕的纵向分辨率与所述单目屏幕的纵向分辨率的比值；或

所述投影坐标的横坐标与所述投影屏幕的横向分辨率的比值，为所述显示坐标的横坐标与所述单目屏幕的横向分辨率的比值，所述投影坐标的纵坐标与所述投影屏幕的纵向分辨率的比值，为所述显示坐标的纵坐标与所述单目屏幕的纵向分辨率的比值。

本申请的上述方法中，投影屏幕上的投影坐标和单目屏幕上的显示坐标之间存在映射关系，从而实现投影坐标到显示坐标的转换。

第五方面，本申请提供一种显示设备，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序；所述显示设备包括：

投影屏幕，与处理器连接，被配置为同步显示所述VR设备播放的单目图像；

存储器，与所述处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标；

根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

将所述显示坐标发送给所述VR设备，使得所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

第六方面，本申请提供一种虚拟现实设备，虚拟现实(VR)设备与显示设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示VR设备播放的单目图像；所述VR设备包括：

显示屏幕，与处理器连接，被配置为播放单目图像；

存储器，与所述处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

接收所述显示设备发送的投影坐标，所述投影坐标是所述显示设备响应于对所述显示设备的投影屏幕的操作获取的所述投影屏幕上焦点的坐标；

根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

根据所述显示坐标对应的操作事件控制所述单目图像。

第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本申请实施例提供的显示设备和VR设备间的交互方法。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性输出了本申请实施例提供的应用场景示意图；

图2示例性示出了本申请实施例提供的VR设备100的结构图；

图3示例性示出了本申请实施例提供的显示设备和VR设备的交互方法流程图；

图4示例性示出了本申请实施例提供的另一显示设备和VR设备的交互方法流程图；

图5示例性示出了本申请实施例提供的触控类显示设备和VR设备进行交互的方法流程图；

图6示例性示出了本申请实施例提供的非触控类显示设备和VR设备进行交互的方法流程图；

图7示例性示出了本申请实施例提供的一种显示设备的结构图；

图8示例性示出了本申请实施例提供的一种VR设备的结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

此外，术语〞包括″和〞具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

为清楚描述本申请的实施例，下面对本申请实施例中名词进行解释说明。

Miracast：是由Wi-Fi联盟于2012年所制定，以Wi-Fi直连(Wi-Fi Direct)为基础的无线显示标准，支持此标准的3C设备(通讯产品、电脑产品、消费类电子产品三类产品的简称)可透过无线方式分享视频画面，例如手机可透过Miracast将视频或照片直接在电视或其他设备播放而无需任何连接线，也不需透过无线热点(AP，Access Point)。

遥控器：是指电子设备的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

下面结合附图详细描述本申请的实施例。

图1示例性输出了本申请实施例提供的应用场景示意图。如图1所示，在会议中操作者佩戴VR设备100，VR设备100与显示设备200连接至同一网络，例如通过WiFi无线连接，显示设备200安装有投屏应用程序，VR设备100将其播放的单目图像投屏到显示设备200上，由显示设备200的投影屏幕进行显示。旁观者1和旁观者2通过投屏后的图像参与到VR场景中的交互过程中。本申请实施例对VR设备和显示设备不做限制性要求。比如显示设备可以是图1示出的智能电视，还可以是投影仪(带有投影屏幕)。

需要说明的是，本申请实施例中显示设备安装的投屏应用程序为支持Miracast标准的投屏应用程序，可以实现镜像投屏，不限于任何格式文件的投放。

图2示例性示出了本申请实施例提供的VR设备100的结构图。如图2所示，VR设备100包括透镜组101以及设置于透镜组101正前方的显示终端102(相当于显示屏幕)，其中透镜组101由左显示镜片101_1和右显示镜片101_2组成。操作者在使用VR设备100时，人眼可以通过透镜组101观看显示终端102播放的图像。

需要说明的是，人眼透过左显示镜片101_1和右显示镜片101_2看到的是双目图像，在进行投屏时，可通过参数设置投放单目图像。

VR场景中，VR设备与装有Miracast投屏应用程序的显示设备连接至同一网络，VR设备将其播放的单目图像投屏到显示设备上。市场上的显示设备一般分为两类，一是触控类显示设备，一是非触控类显示设备。触控类显示设备通过触控投影屏幕或者遥控器控制来实现点击、滑动等操作事件，非触控类显示设备可通过遥控器实现点击、滑动等操作事件。目前相关技术中，投屏后用户只能通过控制VR设备触发点击、滑动等操作事件，旁观者只能通过VR设备操作者的操作来查看投屏后的单目图像，无法对投屏的单目图像进行控制，而且如果旁观者想对单目图像进行控制，需要成为VR设备的操作者。比如，图示1出的VR场景中，点击、滑动等操作事件只能由VR设备的操作者控制，旁观者1和旁观者2只能观看投屏的单目图像，在交互过程中，若旁观者1想要对单目图像进行暂停、返回、滑动进度条等操作时，因旁观者1不是VR设备的佩戴者，则无法触发操作事件，只有当旁观者1佩戴VR设备100时，才可触发点击、滑动等操作事件，交互过程极为不便，影响了用户体验；且目前的VR场景中，未能利用显示设备的点击、滑动等控制功能，显示设备的作用仅用于投放单目图像，使得用户之间的交互方式较为固化。

为了解决上述问题，本申请实施例提供一种交互方法，建立VR设备的单目屏幕与显示设备的投影屏幕之间的映射关系，根据该映射关系可将投影屏幕上的投影坐标转换为单目屏幕上的显示坐标，从而实现VR场景下既可以通过VR设备来触发点击、滑动、滚动等操作事件，也可以通过显示设备触发点击、滑动、滚动等操作事件，实现VR设备和显示设备之间的智能交互，提高了交互方式的灵活性。

在本申请的实施例中，可预先建立显示设备的投影屏幕上的投影坐标和显示设备的单目屏幕上的显示坐标之间的映射关系。具体的，获取投影屏幕的横纵分辨率(其中横向分辨率记为W1、纵向分辨率记为H1)和单目屏幕的分辨率(其中横向分辨率记为W2、纵向分辨率记为H2)，确定投影屏幕的横向分辨率与单目屏幕的横向分辨率的比值(记为第一比值Rw，Rw＝W1/W2，以及确定投影屏幕的纵向分辨率与单目屏幕的纵向分辨率的比值(记为第二比值Rh，Rh＝H1/H2)，将第一比值Rw作为投影坐标的横坐标与显示坐标的横坐标的比值，将第二比值Rh作为投影坐标的纵坐标与显示坐标的纵坐标的比值，得到投影坐标和显示坐标之间的映射关系。该映射关系可存储于显示设备或VR设备中。

需要说明的是，本申请实施例中投影坐标和显示坐标之间的映射关系存在等价变形。比如，投影坐标的横坐标与投影屏幕的横向分辨率的比值，为显示坐标的横坐标与单目屏幕的横向分辨率的比值，投影坐标的纵坐标与投影屏幕的纵向分辨率的比值，为显示坐标的纵坐标与单目屏幕的纵向分辨率的比值。

基于投影坐标和显示坐标之间的映射关系，图3示例性示出了本申请实施例提供的显示设备和VR设备的交互方法流程图，其中，显示设备和VR设备连接至同一网络，显示设备安装有Miracast投屏应用程序，用于同步显示VR设备播放的单目图像。如图3所示，该流程由显示设备将投影坐标转换为显示坐标，主要包括以下几步：

S301：显示设备响应于对显示设备的投影屏幕的操作，获取投影屏幕上焦点的投影坐标。

该步骤中，显示设备可以是触控类显示设备，用户可以直接点击、滑动投影屏幕进行触控操作。触控类显示设备响应于用户对显示设备的投影屏幕的触控操作，此时，触控类显示设备直接获取触控点在投影屏幕上的坐标，将获取的触控点的坐标确定为投影屏幕上焦点的投影坐标。比如，用户点击投影屏幕上的″暂停″功能键，则触控类显示设备直接获取触控点的坐标，并作为″暂停″功能键对应的投影屏幕上焦点的投影坐标。显示设备还可以是非触控类显示设备，针对非触控类显示设备，可预先设置可见的光标，用户可以通过遥控器移动预设光标对投影屏幕进行操作。非触控类显示设备响应于对显示设备的投影屏幕的非触控操作，此时，非触控类显示设备根据接收的移动指令将预设光标移动到目标位置，并根据接收的确认指令获取预设光标的坐标，将获取的预设光标的坐标确定为投影屏幕上焦点的投影坐标。比如，用户通过遥控器的上、下、左、右键向非触控类显示设备发送移动指令，非触控类显示设备接收到移动指令后，将预设光标移动到″暂停″功能键，此时，用户按下遥控器的″确认″键发送确认指令，非触控类显示设备接收确认指令后获取预设光标的坐标，将获取的预设光标的坐标作为″暂停″功能键对应的投影屏幕上焦点的投影坐标。

S302：显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将投影坐标转换为显示坐标。

该步骤中，显示设备预先存储了投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，基于该映射关系，将投影坐标转换为显示坐标。比如，将投影坐标的横坐标与第一比值Rw的商确定为显示坐标的横坐标，将投影坐标的纵坐标与第二比值Rh的商确定为显示坐标的纵坐标。

需要说明的是，根据投影坐标和显示坐标之间的映射关系的等价变形，可对显示坐标的计算公式进行等价变形。

S303：显示设备将显示坐标发送给VR设备。

该步骤中，显示设备将转换后的显示坐标发送给VR设备，由于显示坐标是根据投影坐标和显示坐标之间的映射关系转换的，因此，投影屏幕上焦点的投影坐标可对应到单目屏幕上的显示坐标。

S304：VR设备接收显示设备发送的显示坐标。

该步骤中，显示坐标是由显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系对投影坐标转换进行转换得到的，投影坐标是显示设备响应于对显示设备的投影屏幕的操作获取的投影屏幕上焦点的坐标，具体描述参见S301-S302，在此不再重复。

S305：VR设备根据显示坐标对应的操作事件控制单目图像。

该步骤中，由于显示设备和VR设备连接至同一网络，且显示设备安装有Miracast投屏应用程序，VR设备可以获取到用户对投影屏幕的操作事件(比如点击、滑动、滚动等操作)，从而根据接收的显示坐标响应对应的操作事件来控制单目图像，实现用户通过显示设备对交互过程中内容的控制。

本申请的上述实施例中，根据显示屏幕和投影屏幕的横纵分辨率的比值，确定投影坐标和显示坐标的横纵坐标的比值，得到投影坐标和显示坐标间的映射关系，基于该映射关系，可将用户在投影屏幕上对焦点操作的投影坐标转换为显示屏幕上的显示坐标，从而实现VR场景下也可以通过显示设备对单目图像进行控制，实现VR设备和显示设备之间的智能交互，提高了交互方式的灵活性，且针对触控类显示设备，充分利用了投影屏幕的触控功能。

需要说明的是，在一些实施例中，显示设备除发送显示坐标外，还可向VR设备发送该显示坐标对应的操作指令。具体的，针对触控类显示设备，显示设备将触控点的触控信号转换为操作指令并发送给VR设备，VR设备根据显示坐标及操作指令控制所述单目图像。例如，用户双击投影屏幕的触控点，显示设备将双击信号转换为双击指令并发送给VR设备，VR设备根据接收的双击指令在显示坐标处双击单目屏幕，暂停播放单目图像。针对非触控类显示设备，显示设备将遥控器发送的遥控信号(例如射频信号、红外信号等)转换为操作指令并发送给VR设备，VR设备根据显示坐标及操作指令控制所述单目图像。例如，用户按下遥控器的″返回″键发送返回信号，显示设备将接收的返回信号转换为返回指令并发送给VR设备，VR设备根据接收的返回指令返回显示坐标对应的上一图像页面。

基于投影坐标和显示坐标之间的映射关系，图4示例性示出了本申请实施例提供的另一显示设备和VR设备的交互方法流程图，其中，显示设备和VR设备连接至同一网络，显示设备安装有Miracast投屏应用程序，用于同步显示VR设备播放的单目图像。如图4所示，该流程由VR设备将投影坐标转换为显示坐标，主要包括以下几步：

S401：显示设备响应于对显示设备的投影屏幕的操作，获取投影屏幕上焦点的投影坐标。

该步骤的详细描述参见S301，在此不再重复。

S402：显示设备将投影坐标发送给VR设备。

该步骤中，投影坐标是显示设备响应于对显示设备的投影屏幕的操作获取的投影屏幕上焦点的坐标，具体描述参见S301，在此不再重复。

S403：VR设备接收显示设备发送的投影坐标。

S404：VR设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将投影坐标转换为显示坐标。

该步骤中，投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系预先存储在VR设备中，VR设备根据该映射关系将投影坐标转换为显示坐标。映射关系及坐标转换方法的描述参见S302，在此不再重复。

S405：VR设备根据显示坐标对应的操作事件控制单目图像。

该步骤的描述参见S305，在此不再重复。

本申请的上述实施例中，有VR设备根据投影坐标和显示坐标间的映射关系，将用户对投影屏幕进行操作的焦点的投影坐标转换为显示屏幕上的显示坐标，从而实现VR场景下也可以通过显示设备对单目图像进行控制，实现VR设备和显示设备之间的智能交互，提高了交互方式的灵活性。

需要说明的是，在一些实施例中，显示设备除发送投影坐标外，还可向VR设备发送触控信号或遥控信息，由VR设备将接收的触控信号或遥控信号转换为操作指令。具体的，针对触控类显示设备，显示设备将触控点的触控信号发送给VR设备，VR设备将接收的触控信号转换为操作指，并根据显示坐标及操作指令控制所述单目图像。例如，用户双击投影屏幕的触控点，显示设备将双击信号发送给VR设备，VR设备将双击信号转换为双击指令，并根据双击指令在显示坐标处双击单目屏幕，暂停播放单目图像。针对非触控类显示设备，显示设备将遥控器发送的遥控信号(例如射频信号、红外信号等)发送给VR设备，VR设备将遥控信号转换为操作指令，并根据显示坐标及操作指令控制所述单目图像。例如，用户按下遥控器的″返回″键发送返回信号，显示设备将返回信号发送给VR设备，VR设备将返回信号转换为返回指令，并根据返回指令返回显示坐标对应的上一图像页面。

在实际场景中，可根据实际VR设备和显示设备的处理能力，选择由显示设备进行坐标转换还是由VR设备进行坐标转换。

下面以显示设备为触控类显示设备，由显示设备将投影坐标转换为显示坐标为例，图5示例性示出了本申请实施例提供的显示设备和VR设备进行交互的方法流程图。如图5所示，该流程主要包括以下几步：

S501：触控类显示设备连接至VR设备连接的同一网络，投影屏幕上投放VR设备播放的单目图像。

该步骤中，触控类显示设备安装后Mircast投屏应用程序，可以实现对VR设备播放的单目图像的投放。触控类显示设备通过WiFi无线连接至VR设备连接的网络。

S502：触控类显示设备响应于对显示设备的投影屏幕的操作，获取投影屏幕上焦点的投影坐标。

该步骤中，用户可以对投影屏幕进行触控操作，比如双击投影屏幕、点击投影屏幕、滑动投影屏幕上的进度条等触控操作，触控类显示设备响应于对投影屏幕的触控操作，直接获取触控点在投影屏幕上的坐标，并将触控点的坐标作为投影屏幕上焦点的投影坐标。

S503：触控类显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将投影坐标转换为显示坐标。

该步骤中，假设投影屏幕上的投影坐标为(X1，Y1)，显示屏幕上的显示坐标为(X2，Y2)，将投影坐标的横坐标与第一比值Rw的商作为显示坐标的横坐标，即X2＝X1/Rw，将投影坐标的纵坐标与第二比值Rh的商作为显示坐标的纵坐标，即Y2＝Y1/Rh。

S504：触控类显示设备将显示坐标发送给VR设备。

S505：VR设备接收显示坐标，根据显示坐标对应的操作事件控制单目图像。

该步骤的详细描述参见S305，在此不再重复。

下面以显示设备为非触控类显示设备，由VR设备将投影坐标转换为显示坐标为例，图6示例性示出了本申请实施例提供的显示设备和VR设备进行交互的方法流程图。如图6所示，该流程主要包括以下几步：

S601：非触控类显示设备连接至VR设备连接的同一网络，投影屏幕上投放VR设备播放的单目图像。

该步骤的详细描述参见S501，在此不再重复。

S602：非触控类显示设备与遥控器连接，并在投影屏幕上显示可见的预设光标。

该步骤中，非触控类显示设备与遥控器连接成功后，用户可通过遥控器操作投影屏幕上预设光标实现对单目图像的控制。其中，本申请实施例对预设光标的形状、色彩等信息不做限制性要求，比如预设光标可以为″手″型，也可以为″箭头″型，具体形状和颜色可根据用户喜好进行设置。

需要说明的是，本申请实施例对非触控类显示设备与遥控器连接方式不做限制性要求，比如可以是红外连接、蓝牙连接等。

S603：非触控类显示设备接收遥控器发送的移动指令，根据移动指令将预设光标移动到目标位置。

该步骤中，用户按下遥控器的上、下、左、右、键，遥控器通过发射不可见的射线向非触控类显示设备发送移动指令，根据移动指令移动预设光标到目标位置。其中，用户按下移动键的时间长短可控制预设光标移动的速度，比如，用户单按一下上键、或下键、或左键、或右键，预设光标在相应方向上移动一个位置，用户长按上键、或下键、或左键、或右键达到预设的时长，预设光标在相应方向上快速移动，移动步长的大小可根据实际情况进行设置。

S604：非触控类显示设备接收遥控器发送的确认指令，获取预设光标的坐标，并将获取的预设光标的坐标确定为投影屏幕上焦点的投影坐标。

该步骤中，用户通过按下遥控器的″确认″键向非触控类显示设备发送确认指令，非触控类显示设备根据确认指令获取预设光标在目标位置处的坐标，并将获取的预设光标的坐标确定为投影屏幕上焦点的投影坐标。

S605：非触控类显示设备将投影坐标发送给VR设备。

S606：VR设备接收投影坐标，根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将投影坐标转换为显示坐标。

该步骤显示坐标的确定方式参见S503，在此不再重复。

S607：VR设备根据显示坐标对应的操作事件控制单目图像。

该步骤的详细描述参考S305，在此不再重复。

本申请图5至图6示出的实施例中，图5以触控类显示设备为例，由显示设备将投影坐标转换为显示坐标，完成了显示设备和VR设备间的交互过程；图6以非触控类显示设备为例，由VR设备将投影坐标转换为显示坐标，完成了显示设备和VR设备间的交互过程。其中，由于显示坐标是根据投影屏幕上的投影坐标和显示屏幕上的显示坐标间的映射关系确定的，用户通过操作投影屏幕，实现通过显示设备对VR设备播放的单目图像的控制，提高了显示设备和VR设备交互的灵活性，作为旁观者(非VR设备的操作者)的用户在不成为VR设备的佩戴者时，也可在交互过程中对播放的单目图像进行控制，提升了用户体验。

基于相同的技术构思，本申请实施例提供一种显示设备。该显示设备与VR设备连接至同一网络，可实现前述实施例中显示设备侧的交互方法，且能达到相同的技术效果，在此不再赘述。

参见图7，该显示设备包括投影屏幕701、存储器702、处理器703。其中投影屏幕701与处理器703连接，被配置为投放显示设备播放的单目图像存储器702与处理器703连接，被配置为存储计算机指令；处理器703，被配置为根据存储器702存储的计算机指令执行图3至图6中显示设备侧执行的方法步骤。

基于相同的技术构思，本申请实施例提供一种VR设备。该VR设备与显示设备连接至同一网络，可实现前述实施例中VR设备侧的交互方法，且能达到相同的技术效果，在此不再赘述。

参见图8，该VR设备包括显示屏幕801、存储器802、处理器803。其中显示屏幕801与处理器803连接，被配置为播放单目图像；存储器802与处理器803连接，被配置为存储计算机指令；处理器803，被配置为根据存储器802存储的计算机指令执行图3至图6中VR设备侧执行的方法步骤。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的显示设备和VR设备间的交互方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种显示设备和VR设备间的交互方法，其特征在于，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像，所述方法包括：

所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标；

所述显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

所述显示设备将所述显示坐标发送给所述VR设备，使得所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

2.如权利要求1所述的方法，其特征在于，所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标，包括：

若所述操作为触控操作，则所述显示设备直接获取触控点在所述投影屏幕上的坐标，将获取的所述触控点的坐标确定为所述投影屏幕上焦点的投影坐标；或

若所述操作为非触控操作，则所述显示设备根据接收的移动指令将预设光标移动到目标位置，并根据接收的确认指令获取所述预设光标的坐标，将获取的所述预设光标的坐标确定为所述投影屏幕上焦点的投影坐标。

3.如权利要求1所述的方法，其特征在于，所述投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，包括：

所述投影坐标的横坐标与所述显示坐标的横坐标的比值，为所述投影屏幕的横向分辨率与所述单目屏幕的横向分辨率的比值；所述投影坐标的纵坐标与所述显示坐标的纵坐标的比值，为所述投影屏幕的纵向分辨率与所述单目屏幕的纵向分辨率的比值；或者

所述投影坐标的横坐标与所述投影屏幕的横向分辨率的比值，为所述显示坐标的横坐标与所述单目屏幕的横向分辨率的比值，所述投影坐标的纵坐标与所述投影屏幕的纵向分辨率的比值，为所述显示坐标的纵坐标与所述单目屏幕的纵向分辨率的比值。

4.一种显示设备和VR设备间的交互方法，其特征在于，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像；所述方法包括：

所述VR设备接收所述显示设备发送的显示坐标，所述显示坐标是由所述显示设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，对投影坐标转换进行转换得到的，所述投影坐标是所述显示设备响应于对所述显示设备的投影屏幕的操作获取的所述投影屏幕上焦点的坐标；

所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

5.一种显示设备和VR设备间的交互方法，其特征在于，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像；所述方法包括：

所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标；

所述显示设备将所述投影坐标发送给所述VR设备，使得所述VR设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标，并根据所述显示坐标对应的操作事件控制所述单目图像。

6.如权利要求5所述的方法，其特征在于，所述显示设备响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标，包括：

若所述操作为触控操作，则所述显示设备直接获取触控点在所述投影屏幕上的坐标，将获取的所述触控点的坐标确定为所述投影屏幕上焦点的投影坐标；或

若所述操作为非触控操作，则所述显示设备根据接收的移动指令将预设光标移动到目标位置，并根据接收的确认指令获取所述预设光标的坐标，将获取的所述预设光标的坐标确定为所述投影屏幕上焦点的投影坐标。

7.一种显示设备和VR设备间的交互方法，其特征在于，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示所述VR设备播放的单目图像；所述方法包括：

所述VR设备接收所述显示设备发送的投影坐标，所述投影坐标是所述显示设备响应于对所述显示设备的投影屏幕的操作获取的所述投影屏幕上焦点的坐标；

所述VR设备根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

8.如权利要求7所述的方法，其特征在于，所述投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，包括：

所述投影坐标的横坐标与所述显示坐标的横坐标的比值，为所述投影屏幕的横向分辨率与所述单目屏幕的横向分辨率的比值；所述投影坐标的纵坐标与所述显示坐标的纵坐标的比值，为所述投影屏幕的纵向分辨率与所述单目屏幕的纵向分辨率的比值；或者

所述投影坐标的横坐标与所述投影屏幕的横向分辨率的比值，为所述显示坐标的横坐标与所述单目屏幕的横向分辨率的比值，所述投影坐标的纵坐标与所述投影屏幕的纵向分辨率的比值，为所述显示坐标的纵坐标与所述单目屏幕的纵向分辨率的比值。

9.一种显示设备，其特征在于，所述显示设备和虚拟现实VR设备连接至同一网络，所述显示设备安装有投屏应用程序；所述显示设备包括：

投影屏幕，与处理器连接，被配置为同步显示所述VR设备播放的单目图像；

存储器，与所述处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

响应于对所述显示设备的投影屏幕的操作，获取所述投影屏幕上焦点的投影坐标；

根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

将所述显示坐标发送给所述VR设备，使得所述VR设备根据所述显示坐标对应的操作事件控制所述单目图像。

10.一种虚拟现实设备，其特征在于，虚拟现实VR设备与显示设备连接至同一网络，所述显示设备安装有投屏应用程序，用于同步显示VR设备播放的单目图像；所述VR设备包括：

显示屏幕，与处理器连接，被配置为播放单目图像；

存储器，与所述处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

接收所述显示设备发送的投影坐标，所述投影坐标是所述显示设备响应于对所述显示设备的投影屏幕的操作获取的所述投影屏幕上焦点的坐标；

根据投影屏幕上的投影坐标和单目屏幕上的显示坐标之间的映射关系，将所述投影坐标转换为显示坐标；

根据所述显示坐标对应的操作事件控制所述单目图像。

Images