CN107122009A - 一种实现移动终端与头戴显示设备交互的方法、头戴显示设备、背夹和系统 - Google Patents

Abstract

本发明公开了一种实现移动终端与头戴显示设备交互的方法、头戴显示设备、背夹和系统。该方法包括：背夹接收移动终端的操控数据，其中，背夹与移动终端通过第一接口连接；背夹发送操控数据给头戴显示设备，其中，背夹与头戴显示设备通过第二接口连接，操控数据用于指示头戴显示设备运行与操控数据对应的操控。本发明技术方案中的背夹既可以接收移动终端的操控数据，又可以将接收到的操控数据发送给头戴显示设备，令头戴显示设备根据操控数据进行操作，实现移动终端和头戴显示设备的交互，极大的提升了用户体验；同时移动终端与背夹连接既具有移动终端的便捷性，又解决了现有头戴显示设备的操控设备不具备可移动性的问题。

Description

一种实现移动终端与头戴显示设备交互的方法、头戴显示设 备、背夹和系统

技术领域

本发明涉及虚拟现实技术领域，具体涉及一种实现移动终端与头戴显示设备交互的方法、头戴显示设备、背夹和系统。

背景技术

目前，虚拟现实设备在人们的日常生活中占据越来越重要的位置，它可以给人们带来前所未有的沉浸体验，不管是视频还是游戏，使人们的精神得到了高度的享受。

虚拟现实行业还在不断探索中，产品的形态各种各样，与虚拟现实设备的交互也是其中一个主要的研究方向，但是目前体验较好的虚拟现实交互设备大都价格昂贵，而且都是基于计算机的产品，可移动性不好。而且现有头戴显示设备无法接收外部移动终端发送的操控数据，更无法根据接收到的外部移动终端发送的操控数据进行操作，极大的降低了用户体验。

发明内容

本发明提供了一种实现移动终端与头戴显示设备交互的方法、头戴显示设备、背夹和系统，以解决现有的与头戴显示设备充分交互只能通过计算机导致的可移动性低，以及可以与头戴显示设备交互的手机存在的交互简单、操控不便、用户体验不高等问题。

根据本发明的一个方面，提供了一种实现移动终端与头戴显示设备交互的方法，该方法包括：

背夹接收移动终端的操控数据，其中，所述背夹与所述移动终端通过第一接口连接；

所述背夹发送所述操控数据给头戴显示设备，其中，所述背夹与所述头戴显示设备通过第二接口连接，所述操控数据用于指示所述头戴显示设备运行与所述操控数据对应的操控。

优选地，该方法还包括：

所述背夹接收所述头戴显示设备的姿态数据；

所述背夹依据所述姿态数据生成姿态追踪数据，并发送所述姿态追踪数据给所述头戴显示设备。

优选地，所述背夹接收移动终端的操控数据之后，包括：

所述背夹将所述操控数据与所述背夹存储的虚拟现实内容进行融合处理，向所述头戴显示设备输出融合处理后的操控数据。

优选地，该方法还包括：

所述背夹为所述头戴显示设备提供虚拟现实内容，其中，所述虚拟现实内容为预存在所述背夹中的内容，或者所述虚拟现实内容是所述移动终端发送给所述背夹的内容。

优选地，该方法进一步包括：

当移动终端和头戴显示设备单独或同时连接所述智能背夹时，所述背夹为连接的所述移动终端和所述头戴显示设备至少之一供电，其中，所述背夹包括所述电池。

根据本发明的另一个方面，提供了一种实现移动终端与头戴显示设备交互的方法，该方法包括：

头戴显示设备接收背夹的操控数据，并根据所述操控数据进行视频显示和音频输出的控制；其中，所述头戴显示设备与所述背夹通过第二接口连接，所述背夹通过第一接口与移动终端连接，所述操控数据是所述背夹接收的所述移动终端的操控数据或者是所述背夹将所述移动终端的操控数据与背夹存储的虚拟现实内容融合处理后生成的操控数据。

优选地，该方法进一步包括：

所述头戴显示设备发送自身的姿态数据给所述背夹；

所述头戴显示设备接收所述背夹的姿态追踪数据，并根据所述姿态追踪数据进行自身姿态的追踪显示，其中，所述姿态追踪数据由所述头戴显示设备的姿态数据生成。

根据本发明的另一个方面，提供了一种头戴显示设备，包括：

接收模块，用于接收背夹的操控数据；

处理器，用于根据所述操控数据进行视频显示和音频输出的控制，其中，所述头戴显示设备与所述背夹通过第二接口连接，所述背夹通过第一接口与移动终端连接，所述操控数据是所述背夹接收的所述移动终端的操控数据。

根据本发明的另一个方面，提供了一种背夹，该背夹包括第一接口、第二接口和处理器；

所述第一接口，用于为移动终端提供连接接口；

所述第二接口，用于为头戴显示设备提供连接接口；

所述处理器，用于运行上述的方法。

根据本发明的另一个方面，提供了一种实现移动终端与头戴显示设备交互的系统，该系统包括背夹、移动终端和头戴显示设备；

所述移动终端。用于向所述背夹发送操控数据；

所述背夹，用于接收所述移动终端的操控数据，并发送所述操控数据给头戴显示设备，其中，所述背夹与所述移动终端通过第一接口连接，所述背夹与所述头戴显示设备通过第二接口连接，所述操控数据用于指示所述头戴显示设备运行与所述操控数据对应的操控。

本发明的技术效果是：本发明的技术方案中背夹与移动终端通过第一接口连接，背夹与头戴显示设备通过第二接口连接，使得背夹既可以接收移动终端的操控数据，又可以将接收到的所述操控数据发送给头戴显示设备，使得头戴显示设备根据所述操控数据进行操作，进而实现移动终端和头戴显示设备的交互，极大的提升了用户体验；同时移动终端与背夹连接既具有移动终端的便捷性，又解决了现有头戴显示设备的操控设备不具备可移动性的问题。

附图说明

图1是本发明一个实施例中的一种实现移动终端与头戴显示设备交互的方法的流程示意图；

图2是本发明一个实施例中的一种实现移动终端与头戴显示设备交互的方法的具体流程示意图；

图3是本发明一个实施例中的另一种实现移动终端与头戴显示设备交互的方法的流程示意图；

图4是本发明一个实施例中的另一种实现移动终端与头戴显示设备交互的方法的具体流程示意图；

图5是本发明一个实施例中的一种头戴显示设备的结构示意图；

图6是本发明一个实施例中的一种背夹的结构示意图；

图7是本发明一个实施例中的一种实现移动终端与头戴显示设备交互的系统的结构示意图。

具体实施方式

本发明的设计构思是：为了实现移动终端和头戴显示设备的交互，解决现有头戴显示设备的操控设备不具备可移动性的问题，令背夹与移动终端通过第一接口连接，背夹与头戴显示设备通过第二接口连接，使得背夹能够接收来自移动终端的操控数据，并将操控数据发送至头戴显示设备，同时使头戴显示设备根据操控数据进行操作。

实施例一

图1是本发明一个实施例中的一种实现移动终端与头戴显示设备交互的方法的流程示意图，如图1所示，该方法包括：

步骤S110，背夹接收移动终端的操控数据，其中，所述背夹与所述移动终端通过第一接口连接。

需要说明的是，移动终端的主要作用是给用户提供操控的输入接口，其触摸屏或者按键为用户直接操作的对象，产生的结果包含单点或者多点的触摸和动作。

步骤S120，所述背夹发送所述操控数据给头戴显示设备，其中，所述背夹与所述头戴显示设备通过第二接口连接，所述操控数据用于指示所述头戴显示设备运行与所述操控数据对应的操控。

需要说明的是，头戴显示设备可以包括虚拟现实的头戴设备，以及增强现实的头戴设备。其中操控数据可以是移动终端发来的操控数据，也可以是背夹将移动终端发来的操控数据与自身的虚拟现实内容融合处理后生成的操控数据。其中，需要进一步说明的是，背夹通过第一接口与移动终端可以有线连接，也可以无线连接；背夹通过第二接口与头戴显示设备可以有线连接，也可以无线连接。

通过图1所述的方法，可知，本发明的技术方案中背夹与移动终端通过第一接口连接，背夹与头戴显示设备通过第二接口连接，使得背夹既可以接收移动终端的操控数据，又可以将接收到的所述操控数据发送给头戴显示设备，使得头戴显示设备根据所述操控数据进行操作，进而实现移动终端和头戴显示设备的交互，极大的提升了用户体验；同时移动终端与背夹连接既具有移动终端的便捷性，又解决了现有头戴显示设备的操控设备不具备可移动性的问题。

在本发明的一个实施例中，在所述背夹接收移动终端的操控数据之后，背夹不仅可以将来自移动终端的操控数据直接发送至头戴显示设备，同时也可以将来自移动终端的操控数据与背夹自身存储的虚拟现实内容进行融合处理，向所述头戴显示设备输出融合处理后的操控数据，进而使得头戴显示设备根据融合处理后的操控数据进行操作。

图2是本发明一个实施例中的一种实现移动终端与头戴显示设备交互的方法的具体流程示意图，如图2所示，在本发明的一个实施例中，图1所示的方法还包括：

步骤S130，所述背夹接收所述头戴显示设备的姿态数据；

步骤S140，所述背夹依据所述姿态数据生成姿态追踪数据，并发送所述姿态追踪数据给所述头戴显示设备。

从上述步骤S130和步骤S140，可知，背夹不仅能够将移动终端的操控数据发送给头戴显示设备，同时也可以接收头戴显示设备发送的姿态数据，根据接收到的姿态数据生成姿态追踪数据，并将生成的姿态追踪数据反馈至头戴显示设备。需要说明的是，背夹将头戴显示设备发来的姿态追踪数据与背夹中存储的虚拟现实内容进行融合处理，然后向头戴显示设备输出融合处理后的姿态追踪数据，最后，头戴显示设备解析所述姿态追踪数据后进行自身姿态的追踪显示。

步骤S150，所述背夹为所述头戴显示设备提供虚拟现实内容，其中，所述虚拟现实内容为预存在所述背夹中的内容，或者所述虚拟现实内容是所述移动终端发送给所述背夹的内容。

需要说明的是，如果头戴显示设备无法自身提供虚拟现实内容，那么本发明中的背夹可以为头戴显示设备提供虚拟现实内容。其中，虚拟现实内容可以是预存在背夹中的，也可以是由移动终端直接发送给背夹的；如果头戴显示设备可以为自身提供虚拟现实内容，那么背夹将作为移动终端与头戴显示设备之间的传输媒介，直接将操控数据传输给头戴显示设备。

步骤S160，当移动终端和头戴显示设备单独或同时连接所述智能背夹时，所述背夹为连接的所述移动终端和所述头戴显示设备至少之一供电；其中，所述背夹包括所述电池。

需要说明的是，在背夹分别与移动终端和头戴显示设备分别连接的情况下，背夹分别为移动终端和头戴显示设备供电。

当头戴显示设备没有连接到背夹时，背夹会检测到，在这种情况下，如果用户将移动终端安装在背夹上，则背夹会为移动终端进行充电。

当移动终端没有连接到背夹时，可以用外部的充电器连接至背夹接口，此时可以为背夹内置的电池进行充电，保证了背夹相当长时间的持续供电能力。

实施例二

图3是本发明一个实施例中的另一种实现移动终端与头戴显示设备交互的方法的流程示意图，如图3所示，该方法包括：

步骤S210，头戴显示设备接收背夹的操控数据，并根据所述操控数据进行视频显示和音频输出的控制；其中，所述头戴显示设备与所述背夹通过第二接口连接，所述背夹通过第一接口与移动终端连接，所述操控数据是所述背夹接收的所述移动终端的操控数据或者是所述背夹将所述移动终端的操控数据与背夹存储的虚拟现实内容融合处理后生成的操控数据。

需要说明的是，只要将移动终端、头戴显示设备分别与背夹进行有线方式或者无线方式的连接，那么头戴显示设备就能实时接收背夹发送的操控数据，并根据所述操控数据进行视频显示和音频输出，给用户带来最佳的用户体验。需要进一步说明的是，头戴显示设备接收到的操作数据可以是移动终端直接传送给背夹的操控数据，这种情况适用于可以自身提供虚拟现实内容的头戴显示设备；头戴显示设备接收到的操作数据也可以是背夹将移动终端的操控数据与虚拟现实内容融合处理后生成的操控数据，这种情况适用于无法为自身提供虚拟现实内容的头戴显示设备。

图4是本发明一个实施例中的另一种实现移动终端与头戴显示设备交互的方法的具体流程示意图，如图4所示，图3所示的方法还包括：

步骤S220，所述头戴显示设备发送自身的姿态数据给所述背夹；

需要说明的是头戴显示设备通过MEMS传感器实时检测自身的姿态数据，并将检测到的自身的姿态数据传送至背夹。

步骤S230，所述头戴显示设备接收所述背夹的姿态追踪数据，并根据所述姿态追踪数据进行自身姿态的追踪显示，其中，所述姿态追踪数据由所述头戴显示设备的姿态数据生成。

需要进一步说明的是，背夹将步骤S220中接收到的姿态数据与自身的虚拟现实内容进行融合处理生成姿态追踪数据传送给头戴显示设备，进而头戴显示设备根据所述姿态追踪数据进行自身姿态的追踪显示，提升了用户体验。

实施例三

头戴显示设备主要是给用户视听的用户体验，同时实时进行自身姿态的追踪显示，在本发明的一个具体实施例中，图5是本发明一个实施例中的一种头戴显示设备的结构示意图，如图5所示，该头戴显示设备300包括包括用于连接背夹的多功能接口301(需要说明的是，本实施例中接收模块为多功能接口301)、MEMS传感器302、主控制器303、音视频转换单元304(需要说明的是，本实施例中的处理器为音视频转换单元304)、声音驱动单元305、音频接口306、显示屏307和电源管理单元308；

主控制器303控制MEMS传感器302采集头戴显示设备303的姿态数据，并将MEMS传感305采集到的姿态数据传送至多功能接口301；

音视频转换单元304将接收到的音视频数据进行转换，并将解析出的视频数据输出至显示屏307；将解析出的音频数据通过声音驱动单元305输出至音频接口306，音频接口306连接用户耳机；

电源管理单元308接收背夹400的电源管理单元406输送的电能，并为多功能接口301、MEMS传感器302、主控制器303、音视频转换单元304、声音驱动单元305、音频接口306和显示屏307供电。

实施例四

图6是本发明一个实施例中的一种背夹的结构示意图，如图6所示，该背夹400包括第一接口401、第二接口402、处理器403、插入检测单元404、电池405和电源管理单元406。

第一接口401，用于与移动终端连接；

第二接口402，用于与头戴显示设备连接；

处理器403，用于为头戴显示设备提供虚拟现实内容，接收移动终端发送的操控数据，并将操控数据与虚拟现实内容进行融合处理，向头戴显示设备输出融合处理后的音视频数据，由头戴显示设备解析后进行视频显示和音频输出；以及，接收头戴显示设备输出的自身的姿态数据，根据姿态数据追踪头戴显示设备的姿态，并将追踪到的头戴显示设备的姿态与虚拟现实内容进行融合处理，向头戴显示设备输出融合处理后的姿态追踪数据，由头戴显示设备解析后进行自身姿态的追踪显示。

由此可知，为了实现移动终端与头戴显示设备的智能交互，本发明的技术方案通过设置一背夹，并在背夹上设置第一接口与第二接口，使得背夹既可以接收移动终端发送的操控数据，又能接收头戴显示设备输出的姿态数据；同时在背夹内设置处理器，可以在提供虚拟现实内容的同时，将移动终端发送的操控数据、头戴显示设备输出的姿态数据和虚拟现实内容相融合，输出音视频数据至头戴显示设备，头戴显示设备既可以进行视频显示、音频输出，给用户带来最佳的视听体验，也可以进行自身姿态的追踪显示，实现了移动终端与头戴显示设备的智能交互。本发明通过设计背夹，将移动终端安装在背夹上既具有移动终端的便携性，又具有计算机复杂的处理能力，精准的头控交互，极大地提升了用户体验。

为了检测头戴显示设备是否与背夹成功连接，在本发明的一个具体实施例中，该背夹进一步包括插入检测单元404；

插入检测单元404，用于检测第二接口402是否连接头戴显示设备，并识别出所连接的头戴显示设备。插入检测单元404的设置，使用户能够及时处理背夹400与头戴显示设备连接不当的问题。

需要说明的是，为减轻头戴显示设备的重量，在头戴显示设备中可以不设置电池模块，由背夹为头戴显示设备供电。在本发明的一个实施例中，该背夹进一步包括电池405和电源管理单元406，电源管理单元406管理电池405为处理器403供电；

当移动终端和头戴显示设备单独或同时连接背夹400时，电源管理单元406管理电池405分别为连接的移动终端和头戴显示设备供电；

当背夹400通过第一接口401连接外部电源时，电源管理单元406管理外部电源为电池405充电。在背夹400内设置电池405和电源管理单元406，保证了背夹相当长时间的持续供电能力。

由于移动终端与背夹400之间只需传输触摸屏或者按键生成的操控数据，而背夹400与头戴显示设备之间既需要传输音视频数据，又需要传输头戴显示设备的姿态数据。在本发明的一个具体实施中，第一接口401采用MicroUSB接口，或者Type C USB接口，或者闪电lightning接口；

第二接口402采用HDMI接口与USB2.0接口相结合的接口，或者HDMI接口与USB3.0接口相结合的接口，或者Displayport接口与USB2.0接口相结合的接口，或者Displayport接口与USB3.0接口相结合的接口。第一接口与第二接口的设计保证了移动终端与头戴显示设备之间的数据正常交互。

为了使得本发明的方案更加清楚，下面举一个具体的例子对本发明的使用原理进行说明。使用时，用户将移动终端卡在背夹上，移动终端的数据接口与背夹400的第一接口401连接，然后将背夹400开机，此时背夹400会识别出所连接的移动终端；同时背夹400的插入检测单元404也会识别出头戴显示设备300是否连接。用户操控移动终端的触摸屏幕或者按键，移动终端的触摸屏或者按键输出的操控结果通过数据接口传送至背夹400的处理器403，处理器403将融合之后的音视频数据传送至头戴显示设备300，头戴显示设备300接收背夹400输出的音视频数据并解析，解析出的视频数据通过显示屏307来显示，音频数据通过声音驱动单元305输出到音频接口306，最终用户通过耳机获取声音。头戴显示设备300的MEMS传感器302采集到的头戴显示设备300的姿态数据也通过多功能接口301传送至背夹400的处理器403。

实施例五

图7是本发明一个实施例中的一种实现移动终端与头戴显示设备交互的系统的结构示意图，如图7所示，该系统包括背夹400、移动终端300和头戴显示设备303；

移动终端300安装在背夹400上，背夹400通过第一接口401连接移动终端300，通过第二接口402连接头戴显示设备303；

移动终端300，利用自身的触摸屏或者按键向背夹400发送操控数据；

背夹400，利用处理器403为头戴显示设备303提供虚拟现实内容，接收移动终端300发送的操控数据，并将操控数据与虚拟现实内容进行融合处理，向头戴显示设备303输出融合处理后的音视频数据；以及接收头戴显示设备303输出的自身的姿态数据，根据姿态数据追踪头戴显示设备303的姿态，并将追踪到的头戴显示设备303的姿态与虚拟现实内容进行融合处理，向头戴显示设备303输出融合处理后的姿态追踪数据；

头戴显示设备303，获取自身的姿态数据，将自身的姿态数据发送给背夹400；对背夹400输出的融合处理后的音视频数据解析后进行视频显示和音频输出，以及对背夹400输出的融合处理后的姿态追踪数据解析后进行自身姿态的追踪显示。

综上所述，为了实现移动终端与头戴显示设备的智能交互，本发明的技术方案通过设置一背夹，并在背夹上设置第一接口与第二接口，使得背夹既可以接收移动终端发送的操控数据，又能接收头戴显示设备输出的姿态数据；使得头戴显示设备根据所述操控数据进行操作，实现移动终端和头戴显示设备的交互，极大的提升了用户体验；同时在背夹内设置处理器，可以在提供虚拟现实内容的同时，将移动终端发送的操控数据、头戴显示设备输出的姿态数据和虚拟现实内容相融合，输出音视频数据至头戴显示设备，头戴显示设备既可以进行视频显示、音频输出，也可以进行自身姿态的追踪显示，实现了移动终端与头戴显示设备的智能交互。本发明通过设计背夹，将移动终端安装在背夹上既具有移动终端的便携性，又具有计算机复杂的处理能力，精准的头控交互，极大地提升了用户体验。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种实现移动终端与头戴显示设备交互的方法，其特征在于，该方法包括：

背夹接收移动终端的操控数据，其中，所述背夹与所述移动终端通过第一接口连接；

所述背夹发送所述操控数据给头戴显示设备，其中，所述背夹与所述头戴显示设备通过第二接口连接，所述操控数据用于指示所述头戴显示设备运行与所述操控数据对应的操控。

2.如权利要求1所述的方法，其特征在于，该方法还包括：

所述背夹接收所述头戴显示设备的姿态数据；

所述背夹依据所述姿态数据生成姿态追踪数据，并发送所述姿态追踪数据给所述头戴显示设备。

3.如权利要求1所述的方法，其特征在于，在所述背夹接收移动终端的操控数据之后，包括：

所述背夹将所述操控数据与所述背夹存储的虚拟现实内容进行融合处理，向所述头戴显示设备输出融合处理后的操控数据。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述背夹为所述头戴显示设备提供虚拟现实内容，其中，所述虚拟现实内容为预存在所述背夹中的内容，或者所述虚拟现实内容是所述移动终端发送给所述背夹的内容。

5.如权利要求1所述的方法，其特征在于，该方法进一步包括：

当移动终端和头戴显示设备单独或同时连接所述智能背夹时，所述背夹为连接的所述移动终端和所述头戴显示设备至少之一供电，其中，所述背夹包括所述电池。

6.一种实现移动终端与头戴显示设备交互的方法，其特征在于，该方法包括：

头戴显示设备接收背夹的操控数据，并根据所述操控数据进行视频显示和音频输出的控制；其中，所述头戴显示设备与所述背夹通过第二接口连接，所述背夹通过第一接口与移动终端连接，所述操控数据是所述背夹接收的所述移动终端的操控数据或者是所述背夹将所述移动终端的操控数据与背夹存储的虚拟现实内容融合处理后生成的操控数据。

7.如权利要求6所述的方法，其特征在于，该方法还包括：

所述头戴显示设备发送自身的姿态数据给所述背夹；

所述头戴显示设备接收所述背夹的姿态追踪数据，并根据所述姿态追踪数据进行自身姿态的追踪显示，其中，所述姿态追踪数据由所述头戴显示设备的姿态数据生成。

8.一种头戴显示设备，其特征在于，包括：

接收模块，用于接收背夹的操控数据；

处理器，用于根据所述操控数据进行视频显示和音频输出的控制，其中，所述头戴显示设备与所述背夹通过第二接口连接，所述背夹通过第一接口与移动终端连接，所述操控数据是所述背夹接收的所述移动终端的操控数据。

9.一种背夹，其特征在于，该背夹包括第一接口、第二接口和处理器；

所述第一接口，用于为移动终端提供连接接口；

所述第二接口，用于为头戴显示设备提供连接接口；

所述处理器，用于运行权利要求1至权利要求5任一项所述的方法。

10.一种实现移动终端与头戴显示设备交互的系统，其特征在于，该系统包括背夹、移动终端和头戴显示设备；

所述移动终端，用于向所述背夹发送操控数据；

所述背夹，用于接收所述移动终端的操控数据，并发送所述操控数据给头戴显示设备，其中，所述背夹与所述移动终端通过第一接口连接，所述背夹与所述头戴显示设备通过第二接口连接，所述操控数据用于指示所述头戴显示设备运行与所述操控数据对应的操控。