CN111736689B - 虚拟现实装置、数据处理方法与计算机可读存储介质 - Google Patents

虚拟现实装置、数据处理方法与计算机可读存储介质 Download PDF

Info

Publication number
CN111736689B
CN111736689B CN202010446600.6A CN202010446600A CN111736689B CN 111736689 B CN111736689 B CN 111736689B CN 202010446600 A CN202010446600 A CN 202010446600A CN 111736689 B CN111736689 B CN 111736689B
Authority
CN
China
Prior art keywords
degree
freedom
input device
interaction
operation definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010446600.6A
Other languages
English (en)
Other versions
CN111736689A (zh
Inventor
邹剑
郝伟
王晓阳
刘良国
张佳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Duanyun Innovation Technology Co ltd
Original Assignee
Suzhou Duanyun Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Duanyun Innovation Technology Co ltd filed Critical Suzhou Duanyun Innovation Technology Co ltd
Priority to CN202010446600.6A priority Critical patent/CN111736689B/zh
Publication of CN111736689A publication Critical patent/CN111736689A/zh
Application granted granted Critical
Publication of CN111736689B publication Critical patent/CN111736689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种虚拟现实装置、数据处理方法与计算机可读存储介质，包括总控模块和多个交互模块，总控模块接收用户输入设备的识别信息，并根据所述识别信息判断用户输入设备的类型，根据所述用户输入设备的类型控制多个交互模块中的一个交互模块开启，其余的交互模块关闭；每个交互模块存储与所述交互模块自身对应的用户输入设备的交互操作定义和内容交互界面，根据对应的交互操作定义将用户输入设备的输入转换成用户反馈指示，并在所述内容交互界面上显示所述用户反馈指示。本申请使得一个虚拟现实装置可以适配多种不同类型的用户输入设备，提高了用户体验。

Description

虚拟现实装置、数据处理方法与计算机可读存储介质
技术领域
本申请涉及但不限于虚拟现实技术领域，尤其涉及一种虚拟现实装置、数据处理方法与计算机可读存储介质。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种基于可计算信息构造沉浸式人机交互环境的信息技术，采用计算机产生一种人为虚拟的环境，生成一个以视觉感受为主，包括听觉、触觉的综合感知的人工环境，人们可以通过视觉、听觉、触觉和加速度等多种感觉通道感知计算机虚拟的虚拟世界，也可以通过移动、语音、表情、手势及视线等最自然的方式和虚拟世界交互，从而产生身临其境的体验。虚拟现实技术是计算机技术、传感器技术、人机交互技术、人工智能技术等多种技术的综合发展，目前，已经在军事、医学、教育、娱乐、制造业、工程训练等各个方面得到应用，它被认为是当前及将来影响人们生活的重要技术之一。
目前，虚拟现实用户主要通过VR一体机观看视频，通过手柄进行交互。手柄分为六自由度(6Degree of Freedom，6DoF)手柄和三自由度(3Degree of Freedom，3DoF)手柄。如果用户购买的VR一体机的交互界面只能支持3DoF手柄，则用户本来就有的6DoF手柄就无法使用；同理，如果用户购买的VR一体机的交互界面只能支持6DoF手柄，则用户本来就有的3DoF手柄就无法使用。因此，目前的虚拟现实系统的交互方式，用户体验较差。
发明内容
本申请实施例提供了一种虚拟现实装置、数据处理方法与计算机可读存储介质，能够使得一个虚拟现实装置适配多种不同类型的用户输入设备。
本申请实施例提供了一种虚拟现实装置，包括总控模块和多个交互模块，其中：总控模块，用于接收用户输入设备的识别信息，并根据所述识别信息判断用户输入设备的类型，根据所述用户输入设备的类型控制多个交互模块中的一个交互模块开启，其余的交互模块关闭；每个交互模块，用于存储与所述交互模块自身对应的用户输入设备的交互操作定义和内容交互界面，根据对应的交互操作定义将用户输入设备的输入转换成用户反馈指示，并在所述内容交互界面上显示所述用户反馈指示。
在一些可能的实现方式中，所述交互模块包括六自由度交互模块，其中：所述六自由度交互模块，用于存储六自由度输入设备的第一交互操作定义和第一内容交互界面，根据所述第一交互操作定义将六自由度输入设备的输入转化成第一用户反馈指示，并在所述第一内容交互界面上显示所述第一用户反馈指示。
在一些可能的实现方式中，所述六自由度输入设备包括头戴显示器和/或六自由度交互设备，所述六自由度交互设备包括手柄和定位器，所述六自由度输入设备的第一交互操作定义包括以下至少一项或多项：所述六自由度输入设备的触摸板滑动操作定义、按键操作定义和六自由度运动操作定义。
在一些可能的实现方式中，所述交互模块包括三自由度交互模块，其中：所述三自由度交互模块，用于存储三自由度输入设备的第二交互操作定义和第二内容交互界面，根据所述第二交互操作定义将三自由度输入设备的输入转化成第二用户反馈指示，并在所述第二内容交互界面上显示所述第二用户反馈指示。
在一些可能的实现方式中，所述三自由度输入设备包括头戴显示器和/或三自由度交互设备，所述三自由度交互设备包括手柄，所述三自由度输入设备的第二交互操作定义包括以下至少一项或多项：所述三自由度输入设备的触摸板滑动操作定义、按键操作定义和三自由度运动操作定义。
在一些可能的实现方式中，所述交互模块包括头控交互模块，其中：所述头控交互模块，用于存储头控输入设备的第三交互操作定义和第三内容交互界面，根据所述第三交互操作定义将头控输入设备的输入转换成第三用户反馈指示，并在所述第三内容交互界面上显示所述第三用户反馈指示。
在一些可能的实现方式中，所述头控输入设备包括头戴显示器，所述头控输入设备的第三交互操作定义包括以下至少一项或多项：所述头控输入设备的按键操作定义和空间姿态移动操作定义。
本申请实施例还提供了一种数据处理方法，包括：接收用户输入设备的识别信息；根据所述识别信息判断用户输入设备的类型，根据所述用户输入设备的类型选择对应的交互操作定义和内容交互界面；根据选择的所述交互操作定义将用户输入设备的输入转换成用户反馈指示，并在选择的所述内容交互界面上显示所述用户反馈指示。
在一些可能的实现方式中，所述用户输入设备包括六自由度输入设备、三自由度输入设备和头控输入设备；所述六自由度输入设备包括头戴显示器和/或六自由度交互设备，所述六自由度交互设备包括手柄和/或定位器；所述三自由度输入设备包括头戴显示器和/或三自由度交互设备，所述三自由度交互设备包括手柄；所述头控输入设备包括头戴显示器。
在一些可能的实现方式中，所述六自由度输入设备对应的交互操作定义包括以下至少一项或多项：所述六自由度输入设备的触摸板滑动操作定义、按键操作定义和六自由度运动操作定义；所述三自由度输入设备对应的交互操作定义包括以下至少一项或多项：所述三自由度输入设备的触摸板滑动操作定义、按键操作定义和三自由度运动操作定义；所述头控输入设备对应的交互操作定义包括以下至少一项或多项：所述头控输入设备的按键操作定义和空间姿态移动操作定义。
本申请实施例还提供了一种虚拟现实装置，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如前任一所述的数据处理方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前任一所述的数据处理方法的步骤。
本申请实施例的虚拟现实装置、数据处理方法与计算机可读存储介质，通过根据识别信息判断用户输入设备的类型，选择对应的交互操作定义和内容交互界面，使用选择的交互操作定义将用户输入设备的输入转换成用户反馈指示，并在选择的内容交互界面上显示所述用户反馈指示，使得一个虚拟现实装置可以适配多种不同类型的用户输入设备，提高了用户体验。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例的一种虚拟现实装置的结构示意图；
图2为本申请实施例的一种数据处理方法的流程示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
如图1所示，本申请实施例提供了一种虚拟现实装置，包括总控模块101和多个交互模块102。
其中，总控模块101，用于接收用户输入设备的识别信息，并根据识别信息判断用户输入设备的类型，根据用户输入设备的类型控制多个交互模块102中的一个交互模块102开启，其余的交互模块102关闭。
每个交互模块102，用于存储与交互模块102自身对应的用户输入设备的交互操作定义和内容交互界面，根据对应的交互操作定义将用户输入设备的输入转换成用户反馈指示，并在对应的内容交互界面上显示用户反馈指示。
在一种示例性实施例中，该虚拟现实装置可以为头戴显示器。其中，头戴显示器可以包括移动端头戴显示器、PC端头戴显示器、一体式头戴显示器、分体式头戴显示器等。
在一种示例性实施例中，用户输入设备可以包括头戴显示器和/或交互设备等，其中，交互设备可以包括手柄、手套、鼠标、键盘以及其他能够与虚拟现实场景进行交互的设备。
在一种示例性实施例中，总控模块101可以通过通用串行总线(Universal SerialBus，USB)连接器、通信链路(诸如以太网)、超声波通信、蓝牙和无线保真(WirelessFidelity，WiFi)等接口接收用户输入设备的识别信息。
在一种示例性实施例中，所述用户输入设备的输入可以包括用户输入设备上的触摸板滑动操作信息、按键操作信息和空间运动信息等。
在一种示例性实施例中，交互模块102可以包括六自由度交互模块。
其中，六自由度交互模块，用于存储六自由度输入设备的第一交互操作定义和第一内容交互界面，根据六自由度输入设备的第一交互操作定义将六自由度输入设备的输入转化成第一用户反馈指示，并在第一内容交互界面上显示第一用户反馈指示。
在一种示例性实施例中，六自由度输入设备可以包括头戴显示器和/或六自由度交互设备，其中，六自由度交互设备可以包括手柄和/或定位器，六自由度输入设备的第一交互操作定义包括以下至少一项或多项：六自由度输入设备的触摸板滑动操作定义、按键操作定义和六自由度运动操作定义。
本实施例中，当六自由度交互设备连接到虚拟现实装置上时，虚拟现实装置的总控模块101接收到用户输入设备的识别信息，并根据识别信息判断用户输入设备的类型为六自由度交互设备，则控制多个交互模块102中的六自由度交互模块开启，其余的交互模块关闭。其中，用户输入设备的识别信息可以为用户输入设备的标签信息、蓝牙连接信息等。虚拟现实装置的六自由度交互模块启用相应的第一内容交互界面和第一交互操作定义。具体地：当六自由度交互设备通过有线或无线连接在头戴显示器上时，头戴显示器中的总控模块101接收到六自由度交互设备的识别信息，判断用户输入设备的类型为六自由度交互设备，控制多个交互模块102中的六自由度交互模块开启，其余的交互模块关闭。六自由度交互模块启动存储的与六自由度输入设备相应的第一内容交互设置，该第一内容交互设置包括第一内容交互界面和第一交互操作定义，第一内容交互界面包括但不限于显示六自由度交互设备模型、六自由度交互设备模型对应的按键信息(例如哪个键是系统键、哪个键是返回键等)、用户在界面中的初始定位(例如界面中心位置及人物高度，然后读取定位设备提供的位置信息，并创建六自由度安全区域)等；第一交互操作定义包括头戴显示器、定位器和手柄等六自由度输入设备的按键交互操作定义，包括但不限于手柄、头戴显示器和定位器上触摸板的滑动操作代表的含义、每个按键的单击代表的含义、每个按键的双击代表的含义等，例如，触摸板向左滑代表查看下一个页面的内容，菜单键单击代表返回上一级按钮，菜单键双击代表一键转身功能等。该第一交互操作定义还可以包括六自由度输入设备的六自由度运动操作定义，该六自由度运动操作定义包括位置信息和姿态信息，位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角。通常将沿X、Y、Z三个直角坐标轴方向的位置信息和绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll合称为六自由度运动操作信息。位置信息可以通过视觉追踪、激光定位、电磁定位、超声定位等定位方法获取，姿态信息可通过视觉追踪、激光定位、电磁定位、超声定位等方法获取，也可以通过手柄、头戴显示器和定位器中的运动传感器获取，该运动传感器包括以下一个或多个：磁力计、加速度计、陀螺仪、全球定位系统(Global Positioning System，GPS)模块和罗盘等。用户在现实环境中移动时，手柄、头戴显示器和定位器的空间坐标的移动轨迹对应的头戴显示器上虚拟画面的移动。
六自由度交互模块根据上述第一交互操作定义将六自由度输入设备的输入转换成第一用户反馈指示，并在所述第一内容交互界面上显示所述第一用户反馈指示。例如，当用户利用六自由度输入设备进行虚拟保龄球游戏时，六自由度输入设备连接在头戴显示器上，头戴显示器中的总控模块101判断用户输入设备的类型为六自由度交互设备，控制多个交互模块102中的六自由度交互模块开启，其余的交互模块关闭。六自由度交互模块启动第一内容交互界面，例如为一个保龄球游戏的界面，用户按住手柄的扳机键并做出一个抛掷的动作，六自由度交互模块根据对应的第一交互操作定义(手柄的扳机键对应于抓取操作、手柄的六自由度移动轨迹对应于保龄球的六自由度移动轨迹)，将手柄的输入转换成对保龄球的操作，并在第一内容交互界面中显示该操作。
在一种示例性实施例中，交互模块102可以包括三自由度交互模块。
其中，三自由度交互模块，用于存储三自由度输入设备的第二交互操作定义和第二内容交互界面，根据三自由度输入设备的第二交互操作定义将三自由度输入设备的输入转化成第二用户反馈指示，并在第二内容交互界面上显示第二用户反馈指示。
在一种示例性实施例中，三自由度输入设备可以包括头戴显示器和/或三自由度交互设备，其中，三自由度交互设备可以为手柄，三自由度输入设备的交互操作定义包括以下至少一项或多项：三自由度输入设备的触摸板滑动操作定义、按键操作定义和三自由度运动操作定义。
当三自由度交互设备连接到虚拟现实装置上时，虚拟现实装置的总控模块101接收到用户输入设备的识别信息，并根据识别信息判断用户输入设备的类型为三自由度交互设备，则控制多个交互模块102中的三自由度交互模块开启，其余的交互模块关闭。其中，用户输入设备的识别信息可以为用户输入设备的标签信息、蓝牙连接信息等。虚拟现实装置的三自由度交互模块启用相应的第二内容交互界面和第二交互操作定义。具体地：当三自由度交互设备通过蓝牙无线连接在头戴显示器上时，头戴显示器中的总控模块101检测到了识别信息，判断用户输入设备的类型为三自由度交互设备，控制多个交互模块102中的三自由度交互模块开启，其余的交互模块关闭。三自由度交互模块启动存储的与三自由度输入设备相应的第二内容交互设置，该第二内容交互设置包括第二内容交互界面和第二交互操作定义，第二内容交互界面包括但不限于显示三自由度交互设备模型、三自由度交互设备模型对应的按键信息(例如哪个键是系统键、哪个键是返回键等)、用户在界面中的初始定位(例如人的位置居中、系统设置的高度为人的高度)等,第二内容交互界面可以与第一内容交互界面相同，也可以不同；第二交互操作定义包括头戴显示器和手柄等用户输入设备的按键交互操作定义，包括但不限于手柄和头戴显示器上触摸板的滑动操作代表的含义、每个按键的单击代表的含义、每个按键的双击代表的含义等，例如触摸板向左滑代表查看下一个页面的内容，菜单键单击代表物理(Home)键按下，菜单键长按代表正方向校准等。第二交互操作定义还包括三自由度运动操作定义，该三自由度运动操作定义包括姿态信息，姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，该姿态信息可以通过头戴显示器或手柄中的运动传感器获取，该运动传感器包括以下一个或多个：磁力计、加速度计、陀螺仪等。用户在现实环境中移动时，手柄和头戴显示器的空间姿态的移动轨迹对应的头戴显示器上虚拟画面的移动。
三自由度交互模块根据上述第二交互操作定义将三自由度输入设备的输入转换成第二用户反馈指示，并在所述第二内容交互界面上显示所述第二用户反馈指示。例如，当用户利用三自由度输入设备进行菜单的选择时，三自由度输入设备连接在头戴显示器上，头戴显示器中的总控模块101判断用户输入设备的类型为三自由度交互设备，控制多个交互模块102中的三自由度交互模块开启，其余的交互模块关闭。三自由度交互模块启动第二内容交互界面，例如为一个菜单显示的界面，用户按住手柄向左旋转，三自由度交互模块根据对应的交互操作定义(手柄的向左旋转对应于虚拟画面中的光标向左移动)，将手柄的输入转换成对菜单的操作，并在第二内容交互界面中显示该操作，使虚拟画面中的光标移动到左侧菜单。
在一种示例性实施例中，交互模块102可以包括头控交互模块。
其中，头控交互模块，用于存储头控输入设备的第三交互操作定义和第三内容交互界面，根据头控输入设备的第三交互操作定义将头控输入设备的输入转换成第三用户反馈指示，并在第三内容交互界面上显示第三用户反馈指示。
在一种示例性实施例中，头控输入设备包括头戴显示器，头控输入设备的第三交互操作定义包括以下至少一项或多项：头控输入设备的按键操作定义和空间姿态移动操作定义。
在一种示例性实施例中，头戴显示器的空间姿态移动操作信息可以通过头戴显示器中的运动传感器获取，也可以通过头戴显示器中的摄像头获取。
本实施例中，头戴显示器可以通过头部运动传感器感应用户头部的运动，使得用户的头部动作在改变时，该头部运动传感器能够实时的感应到该用户的头部运动数据，并将感应到的头部运动数据传输给头控交互模块。该头部运动传感器可以包括以下一个或多个：磁力计、加速度计、陀螺仪。头戴显示器也可以通过头戴显示器中的摄像头拍摄环境图像得到用户的头部运动数据。例如，头戴显示器中设置了能够实时拍摄环境图像的摄像头，当用户头部移动，头戴显示器上的摄像头随之移动，拍摄的环境图像也进行了变换，通过解析环境图像的变换得到用户的头部运动数据之后，将该用户的头部运动数据传输给头控交互模块。
在一种示例性实施例中，该头部运动传感器可以是陀螺仪，且该陀螺仪能够用来定位360度空间中用户的头部动作，能够感应围绕X、Y、Z三个轴的旋转动作。其中，围绕Z轴的旋转动作是指用户头部以竖直方向为轴的旋转动作，即产生转动角变化的动作，例如，用户运动或基本静止状态下头部左右转动动作，也包括例如用户直立站立或坐立状态下，头部和身体几乎无位移或者位移很小的情况下的头部左右转动动作。上述的围绕X、Y、Z三个轴的旋转动作是指除了围绕Z轴的旋转动作以外，还包括用户头部竖直方向轴向运动动作，即产生转动角、偏转角和俯仰角，例如，用户的任何头部转动动作，包括头部转动动作，点头动作，后仰动作，摆头动作等，当然也包括例如用户直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的头部转动动作、点头动作、后仰动作、摆头动作等。陀螺仪能够感应到用户头部的上述动作，并生成头部运动数据。
在一种示例性实施例中，第三内容交互界面包括视线对焦标记，视线对焦标记用于指示视线对焦位置。
本实施例中，当虚拟现实装置的总控模块101未接收到有六自由度交互设备或三自由度交互设备的识别信息，则判断用户输入设备的类型为头戴显示器，则控制多个交互模块102中的头控交互模块开启，其余的交互模块关闭。头控交互模块启用相应的第三内容交互界面和第三交互操作定义。具体地，当总控模块101未检测到有六自由度交互设备或三自由度交互设备连接在头戴显示器上时，启动头控交互模块，头控交互模块启动与头控交互模块相对应的第三内容交互设置，第三内容交互设置包括第三内容交互界面和第三交互操作定义，第三内容交互界面可以与第一内容交互界面或第二内容交互界面相同，也可以不同，较优地，第三内容交互界面包括但不限于在头戴显示器的画面中显示视线对焦标记(该视线对焦标记代表视线对焦处)，视线对焦标记可以为圆点、光标等，第三交互操作定义包括但不限于头戴显示器上的按键操作定义，例如，Home键点击后会出现弹框。第三交互操作定义还包括头戴显示器的空间姿态移动操作定义，即用户在现实环境中移动时，头戴显示器的空间姿态的移动轨迹对应的头戴显示器上虚拟画面的移动。
头控交互模块根据上述第三交互操作定义将头戴显示器上的输入转换成用户反馈指示，并在所述第三内容交互界面上显示所述用户反馈指示。例如，当用户利用头控交互模块进行虚拟物体的选择时，头戴显示器中的总控模块101判断用户输入设备的类型为头戴显示器，控制多个交互模块102中的头控交互模块开启，其余的交互模块关闭。头控交互模块启动第三内容交互界面，例如为一个多虚拟物体的选择界面，用户转动头部通过视线对准预选择的物体，并按下头戴显示器上的系统按键(第三交互操作定义中头戴显示器上的系统按键对应于虚拟画面中的确认)，头控交互模块将视线选择和系统按键转化成选中该虚拟物体，并在第三内容交互界面中显示该虚拟物体被选中。
本申请实施例中，总控模块101与多个交互模块102耦合，每个耦合的交互模块102通过相应的用户输入设备启用相应的内容交互设置，每种内容交互设置允许用户通过相应的用户输入设备提供输入，每个耦合的交互模块102还被配置成从相应的用户输入设备接收相应的输入，并将接收的输入转换成用户反馈指示。
总控模块101用于控制多个交互模块102的启用及关闭。当总控模块101接收到六自由度交互信号、数据或者其他代表六自由度交互设备的标签信息等识别信息时，总控模块101启用六自由度交互模块，用户开始使用六自由度交互模块。当总控模块101未接收到六自由度交互信号、数据或者其他代表六自由度交互设备的标签信息等识别信息，只接收到三自由度交互信号、数据或者其他代表三自由度交互设备的标签信息等识别信息时，总控模块101启用三自由度交互模块，用户开始使用三自由度交互模块。当总控模块101未接收到六自由度交互信号、数据或者其他代表六自由度交互设备的标签信息等识别信息，也未接收到三自由度交互信号、数据或者其他代表三自由度交互设备的标签信息等识别信息时，总控模块101会直接启用头控交互模块，通过头控交互模块接收头戴显示器的输入进行虚拟界面的交互。
如图2所示，本申请实施例还提供了一种数据处理方法，包括步骤201至步骤203。
其中，步骤201包括：接收用户输入设备的识别信息。
在一种示例性实施例中，用户输入设备可以包括头戴显示器和/或交互设备等，其中，交互设备可以包括手柄、手套、鼠标、键盘以及其他能够与虚拟现实场景进行交互的设备。
在一种示例性实施例中，用户输入设备的识别信息可以为用户输入设备的标签信息、连接信息(该连接信息包括但不限于蓝牙连接信息、WiFi连接信息等)等。
步骤202包括：根据识别信息判断用户输入设备的类型，根据用户输入设备的类型选择对应的交互操作定义和内容交互界面。
在一种示例性实施例中，用户输入设备的类型包括六自由度输入设备、三自由度输入设备和头控输入设备。
在一种示例性实施例中，六自由度输入设备可以包括头戴显示器和/或六自由度交互设备，其中，六自由度交互设备可以包括手柄和/或定位器。
在一种示例性实施例中，六自由度输入设备对应的交互操作定义包括以下至少一项或多项：六自由度输入设备的触摸板滑动操作定义、按键操作定义和六自由度运动操作定义。
在一种示例性实施例中，该六自由度运动操作定义包括位置信息和姿态信息，位置信息可以通过视觉追踪、激光定位、电磁定位、超声定位等定位方法获取，姿态信息可通过视觉追踪、激光定位、电磁定位、超声定位等方法获取，也可以通过手柄、头戴显示器和定位器中的运动传感器获取，该运动传感器包括以下一个或多个：磁力计、加速度计、陀螺仪等。
在一种示例性实施例中，三自由度输入设备可以包括头戴显示器和/或交互设备，其中，交互设备为手柄。
在一种示例性实施例中，三自由度输入设备对应的交互操作定义包括以下至少一项或多项：三自由度输入设备的触摸板滑动操作定义、按键操作定义和三自由度运动操作定义。
在一种示例性实施例中，该三自由度运动操作定义包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，所述姿态信息可以通过头戴显示器或手柄中的运动传感器获取，该运动传感器包括以下一个或多个：磁力计、加速度计、陀螺仪等。
在一种示例性实施例中，头控输入设备包括头戴显示器。
在一种示例性实施例中，头控输入设备对应的交互操作定义包括以下至少一项或多项：头控输入设备的按键操作定义和空间姿态移动操作定义。
在一种示例性实施例中，空间姿态移动操作定义包括头戴显示器的空间姿态移动操作信息。该空间姿态移动操作信息可以通过头戴显示器中的运动传感器获取，也可以通过头戴显示器中的摄像头获取。该运动传感器可以包括以下一个或多个：磁力计、加速度计、陀螺仪。
步骤203包括：根据选择的交互操作定义将用户输入设备的输入转换成用户反馈指示，并在选择的内容交互界面上显示所述用户反馈指示。
在一种示例性实施例中，所述用户输入设备的输入可以包括用户输入设备上的触摸板滑动操作信息、按键操作信息、空间运动信息等。
在一种示例性实施例中，当用户输入设备为六自由度输入设备时，步骤203具体包括：根据六自由度输入设备的第一交互操作定义将六自由度输入设备的输入转化成第一用户反馈指示，并在第一内容交互界面上显示第一用户反馈指示。
在一种示例性实施例中，当用户输入设备为三自由度输入设备时，步骤203具体包括：根据三自由度输入设备的第二交互操作定义将三自由度输入设备的输入转化成第二用户反馈指示，并在第二内容交互界面上显示第二用户反馈指示。
在一种示例性实施例中，当用户输入设备为头控输入设备时，步骤203具体包括：根据头控输入设备的第三交互操作定义将头控输入设备的输入转换成第三用户反馈指示，并在第三内容交互界面上显示第三用户反馈指示。
在一种示例性实施例中，第三内容交互界面包括视线对焦标记，视线对焦标记用于指示视线对焦位置。
本申请实施例还提供了一种虚拟现实装置，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如以上任意一项所述的数据处理方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如以上任意一项所述的数据处理方法的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (12)

1.一种虚拟现实装置，其特征在于，包括总控模块和多个交互模块，其中：
总控模块，用于接收用户输入设备的识别信息，并根据所述识别信息判断用户输入设备的类型，根据所述用户输入设备的类型控制多个交互模块中的一个交互模块开启，其余的交互模块关闭；
每个交互模块，用于存储与所述交互模块自身对应的用户输入设备的交互操作定义和内容交互界面，根据对应的交互操作定义将用户输入设备的输入转换成用户反馈指示，并在所述内容交互界面上显示所述用户反馈指示；
其中，所述用户输入设备包括六自由度输入设备、三自由度输入设备和头控输入设备；
所述交互模块包括：六自由度交互模块、三自由度交互模块和头控交互模块；
当六自由度输入设备连接到所述虚拟现实装置，所述虚拟现实装置的总控模块接收到用户输入设备的识别信息并根据所述识别信息判断用户输入设备的类型，根据所述用户输入设备的类型控制多个交互模块中的六自由度交互模块开启，其余的交互模块关闭；
当三自由度输入设备连接到所述虚拟现实装置，所述虚拟现实装置的总控模块接收到用户输入设备的识别信息并根据所述识别信息判断用户输入设备的类型，根据所述用户输入设备的类型控制多个交互模块中的三自由度交互模块开启，其余的交互模块关闭；
当所述虚拟现实装置未接收到六自由度输入设备或三自由度输入设备的识别信息时，所述头控交互模块开启，其余的交互模块关闭。
2.根据权利要求1所述的虚拟现实装置，其特征在于，所述六自由度交互模块，用于存储六自由度输入设备的第一交互操作定义和第一内容交互界面，根据所述第一交互操作定义将六自由度输入设备的输入转化成第一用户反馈指示，并在所述第一内容交互界面上显示所述第一用户反馈指示。
3.根据权利要求2所述的虚拟现实装置，其特征在于，所述六自由度输入设备包括头戴显示器和/或六自由度交互设备，所述六自由度交互设备包括手柄和/或定位器；
所述六自由度输入设备的第一交互操作定义包括所述六自由度输入设备的触摸板滑动操作定义、按键操作定义和六自由度运动操作定义中至少一项。
4.根据权利要求1所述的虚拟现实装置，其特征在于，
所述三自由度交互模块，用于存储三自由度输入设备的第二交互操作定义和第二内容交互界面，根据所述第二交互操作定义将三自由度输入设备的输入转化成第二用户反馈指示，并在所述第二内容交互界面上显示所述第二用户反馈指示。
5.根据权利要求4所述的虚拟现实装置，其特征在于，所述三自由度输入设备包括头戴显示器和/或三自由度交互设备，所述三自由度交互设备包括手柄；
所述三自由度输入设备的第二交互操作定义包括所述三自由度输入设备的触摸板滑动操作定义、按键操作定义和三自由度运动操作定义中至少一项。
6.根据权利要求1所述的虚拟现实装置，其特征在于，
所述头控交互模块，用于存储头控输入设备的第三交互操作定义和第三内容交互界面，根据所述第三交互操作定义将头控输入设备的输入转换成第三用户反馈指示，并在所述第三内容交互界面上显示所述第三用户反馈指示。
7.根据权利要求6所述的虚拟现实装置，其特征在于，所述头控输入设备包括头戴显示器；
所述头控输入设备的第三交互操作定义包括所述头控输入设备的按键操作定义和空间姿态移动操作定义中至少一项。
8.一种数据处理方法，其特征在于，包括：
接收用户输入设备的识别信息；
根据所述识别信息判断用户输入设备的类型，根据所述用户输入设备的类型选择对应的交互操作定义和内容交互界面；
根据选择的所述交互操作定义将用户输入设备的输入转换成用户反馈指示，并在选择的所述内容交互界面上显示所述用户反馈指示；
其中，所述用户输入设备包括六自由度输入设备、三自由度输入设备和头控输入设备；
所述根据选择的所述交互操作定义将用户输入设备的输入转换成用户反馈指示，并在选择的所述内容交互界面上显示所述用户反馈指示，包括：
当所述用户输入设备为六自由度输入设备时，根据六自由度输入设备的第一交互操作定义将六自由度输入设备的输入转化成第一用户反馈指示，并在第一内容交互界面上显示第一用户反馈指示；
当用户输入设备为三自由度输入设备时，根据三自由度输入设备的第二交互操作定义将三自由度输入设备的输入转化成第二用户反馈指示，并在第二内容交互界面上显示第二用户反馈指示；
当用户输入设备为头控输入设备时，根据头控输入设备的第三交互操作定义将头控输入设备的输入转换成第三用户反馈指示，并在第三内容交互界面上显示第三用户反馈指示。
9.根据权利要求8所述的数据处理方法，其特征在于，
所述六自由度输入设备包括头戴显示器和/或六自由度交互设备，所述六自由度交互设备包括手柄和/或定位器；
所述三自由度输入设备包括头戴显示器和/或三自由度交互设备，所述三自由度交互设备包括手柄；
所述头控输入设备包括头戴显示器。
10.根据权利要求9所述的数据处理方法，其特征在于，
所述六自由度输入设备对应的交互操作定义包括所述六自由度输入设备的触摸板滑动操作定义、按键操作定义和六自由度运动操作定义中至少一项；
所述三自由度输入设备对应的交互操作定义包括所述三自由度输入设备的触摸板滑动操作定义、按键操作定义和三自由度运动操作定义中至少一项；
所述头控输入设备对应的交互操作定义包括所述头控输入设备的按键操作定义和空间姿态移动操作定义中至少一项。
11.一种虚拟现实装置，其特征在于，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求8至权利要求10任一所述的数据处理方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8至权利要求10任一所述的数据处理方法的步骤。
CN202010446600.6A 2020-05-25 2020-05-25 虚拟现实装置、数据处理方法与计算机可读存储介质 Active CN111736689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010446600.6A CN111736689B (zh) 2020-05-25 2020-05-25 虚拟现实装置、数据处理方法与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010446600.6A CN111736689B (zh) 2020-05-25 2020-05-25 虚拟现实装置、数据处理方法与计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111736689A CN111736689A (zh) 2020-10-02
CN111736689B true CN111736689B (zh) 2024-05-28

Family

ID=72647672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010446600.6A Active CN111736689B (zh) 2020-05-25 2020-05-25 虚拟现实装置、数据处理方法与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111736689B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113345173B (zh) * 2021-05-21 2023-01-31 浪潮金融信息技术有限公司 一种按需调控的自助系统、方法及介质
CN113655927B (zh) * 2021-08-24 2024-04-26 亮风台（上海）信息科技有限公司 一种界面交互方法与设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
CN107562201A (zh) * 2017-09-08 2018-01-09 网易（杭州）网络有限公司 定向交互方法、装置、电子设备及存储介质
CN107930121A (zh) * 2017-12-12 2018-04-20 苏州蜗牛数字科技股份有限公司 一种根据输入设备类型控制游戏目标移动的方法及装置
CN108170275A (zh) * 2017-12-29 2018-06-15 青岛小鸟看看科技有限公司 虚拟现实设备外接设备的输入信息的处理方法及装置
CN109271025A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 虚拟现实自由度模式切换方法、装置、设备及系统
CN110751711A (zh) * 2019-09-03 2020-02-04 南京睿悦信息技术有限公司 应用于移动端虚拟/增强现实的远程扩展渲染系统
CN111047710A (zh) * 2019-12-03 2020-04-21 深圳市未来感知科技有限公司 虚拟现实系统及交互设备显示方法和计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4195853B2 (ja) * 2003-12-08 2008-12-17 任天堂株式会社 ゲーム装置およびゲームプログラム
US9361732B2 (en) * 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
CN104035675B (zh) * 2014-06-24 2017-06-27 联想(北京)有限公司 电子设备及其显示控制方法
KR102545195B1 (ko) * 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
CN107562201A (zh) * 2017-09-08 2018-01-09 网易（杭州）网络有限公司 定向交互方法、装置、电子设备及存储介质
CN107930121A (zh) * 2017-12-12 2018-04-20 苏州蜗牛数字科技股份有限公司 一种根据输入设备类型控制游戏目标移动的方法及装置
CN108170275A (zh) * 2017-12-29 2018-06-15 青岛小鸟看看科技有限公司 虚拟现实设备外接设备的输入信息的处理方法及装置
CN109271025A (zh) * 2018-08-31 2019-01-25 青岛小鸟看看科技有限公司 虚拟现实自由度模式切换方法、装置、设备及系统
CN110751711A (zh) * 2019-09-03 2020-02-04 南京睿悦信息技术有限公司 应用于移动端虚拟/增强现实的远程扩展渲染系统
CN111047710A (zh) * 2019-12-03 2020-04-21 深圳市未来感知科技有限公司 虚拟现实系统及交互设备显示方法和计算机可读存储介质

Also Published As

Publication number Publication date
CN111736689A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
JP6093473B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
EP3250983B1 (en) Method and system for receiving gesture input via virtual control objects
US20180348882A1 (en) Remote Control With 3D Pointing And Gesture Recognition Capabilities
CN110554769A (zh) 触笔、头戴式显示系统和相关方法
US20090278915A1 (en) Gesture-Based Control System For Vehicle Interfaces
US9261953B2 (en) Information processing apparatus for displaying virtual object and method thereof
CN111736689B (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
EP3591503B1 (en) Rendering of mediated reality content
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP5878438B2 (ja) 表示制御装置、表示制御システム、及びプログラム
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
CN112788443B (zh) 基于光通信装置的交互方法和系统
JP2018025955A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018045338A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6449922B2 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US10936147B2 (en) Tablet computing device with display dock
WO2024131405A1 (zh) 对象移动控制方法、装置、设备及介质
US20120068924A1 (en) Computer System, Computer System Control Method, Program, And Information Storage Medium
CN117237436A (zh) 用于确定至少两个用户之间的相对位姿关系的方法与系统
EP3958095A1 (en) A mobile computer-tethered virtual reality/augmented reality system using the mobile computer as a man machine interface
JP2018029969A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN113220110A (zh) 显示系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant