CN114138106A - 混合虚拟现实桌面计算环境中的状态之间的转换 - Google Patents

混合虚拟现实桌面计算环境中的状态之间的转换 Download PDF

Info

Publication number
CN114138106A
CN114138106A CN202111029130.4A CN202111029130A CN114138106A CN 114138106 A CN114138106 A CN 114138106A CN 202111029130 A CN202111029130 A CN 202111029130A CN 114138106 A CN114138106 A CN 114138106A
Authority
CN
China
Prior art keywords
interface
transition
workstation
user
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111029130.4A
Other languages
English (en)
Inventor
F·安德森
G·菲茨莫里斯
T·格罗斯曼
J·温策尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autodesk Inc
Original Assignee
Autodesk Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autodesk Inc filed Critical Autodesk Inc
Publication of CN114138106A publication Critical patent/CN114138106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种混合工作站支持虚拟现实(VR)界面、传统(TD)界面以及界面之间的转换。VR界面包括基于三维(3D)的软件和硬件部件。TD界面包括基于二维(2D)的软件和硬件部件。混合工作站的状态由三个参数定义，所述三个参数包括界面(VR界面或TD界面)、位置(坐着或站立)和移动(静止或房间规模)。混合工作站在确定三个参数中的任何一个已经改变时检测到从当前状态到下一状态的转换。混合工作站然后基于检测到的特定转换来确定转换响应。转换响应包括在VR界面和/或TD界面上执行的一组操作，所述一组操作减轻在特定转换发生时引起的中断和低效率。

Description

混合虚拟现实桌面计算环境中的状态之间的转换
相关申请的交叉引用
本申请要求于2020年9月2日提交并具有序列号63/073,899的题为“INTERFACEDESIGN FOR TRANSITIONING BETWEEN STATES IN VIRTUAL REALITY AND TRADITIONALDESKTOP ENVIRONMENTS”的美国临时申请的权益。该相关申请(包括其任何附录或附件)通过引用整体并入本文。
背景技术
技术领域
相关技术的描述
由于虚拟现实(VR)界面提供的独特优势，经由VR界面执行基于计算机的工作流和任务正变得越来越流行。例如，当在三维(3D)设计应用程序中执行工作流时，诸如设计和/或制作3D虚拟环境原型，VR界面为用户提供允许相对于传统的桌面(TD)界面而言更好的空间感和比例感的沉浸式体验。然而，经由VR界面执行工作流和任务相对于TD界面具有缺点。例如，TD鼠标通常比VR控制器具有更高水平的精度和准确度，并且在长时间内不会让用户感到太疲劳。同样，TD监视器通常比VR头戴式设备(VR headset)具有更高水平的分辨率，并且在长时间内也不会让用户感到太疲劳。作为另一示例，与典型的VR控制器相比，经由TD键盘输入文本和执行重复操作更容易。
鉴于VR界面和TD界面的不同优势，在执行基于计算机的工作流或任务时访问VR界面和TD界面两者是有利的，因为VR界面或TD界面(视情况而定)都可以由用户根据哪个界面最适合正在执行的给定工作流或任务来实现。例如，在设计3D虚拟环境时，用户可以实现TD界面来搜索、选择和配置3D虚拟环境内给定对象的参数。然后，用户可以转换到VR界面，以将该对象放置在3D虚拟环境内的特定位置。然后，用户可以在重新配置对象的参数时转换回TD界面等。
然而，常规系统的一个缺点是，在VR界面和TD界面之间的转换对于用户来说通常是低效的、中断的和麻烦的。例如，用户可能需要执行多个动作，诸如更改装置和/或改变物理位置，以便从一个界面(例如VR界面)转换到另一个界面(例如TD界面)。此外，如果用户未能执行任何所需动作，则用户正在转换到的界面可能不会立即对用户可用。常规系统无法在VR界面和TD界面之间提供平滑转换会大大降低用户能执行工作流和任务的效率，并会大大降低整体用户体验。
如上所说明，本领域需要更有效的技术来在计算环境中在VR界面和TD界面之间进行转换。
发明内容
各种实施方案包括用于在混合工作站的状态之间进行转换的计算机实现的方法。所述计算机实现的方法包括确定混合工作站的第一状态，其中混合工作站与多个状态相关联，每个状态由至少第一参数定义，所述第一参数指定用于与混合工作站交互的第一界面或用于与混合工作站交互的第二界面，第一界面包括二维(2D)界面，并且第二界面包括三维(3D)界面。所述计算机实现的方法还包括响应于检测到第一参数已经改变，确定混合工作站从第一状态到第二状态的第一转换。所述计算机实现的方法还包括识别与第一转换相对应的第一转换响应，并且在第一界面或第二界面中的至少一个上执行第一转换响应。
所公开的技术相对于现有技术的至少一个技术优势在于，所公开的技术能够在对用户来说较少中断和麻烦的计算环境中实现VR界面和TD界面之间的转换。除了其它方面，所公开的技术基于检测到的转换(从VR界面到TD界面或从TD界面到VR界面)确定并执行特定的转换响应。转换响应包括在VR界面和/或TD界面上执行的一个或多个操作，所述一个或多个操作自动实现从一个界面到另一个界面的转换，而无需任何所需的用户动作。以这种方式，所公开的技术能够提高用户执行工作流和任务的效率，并相对于现有技术系统提高整体用户体验。这些技术优势表示了对现有技术方法的一个或多个技术改进。
附图说明
为了能够详细理解上述各种实施方案的特征的方式，可以通过参考各种实施方案对上面简要概括的本发明构思进行更具体的描述，所述各种实施方案中的一些在附图中进行了示出。然而，应当注意，附图仅示出了本发明构思的典型实施方案并且因此不应被视为以任何方式限制范围，并且存在其他同样有效的实施方案。
图1示出了被配置为实现实施方案的一个或多个方面的混合工作站；
图2示出了根据各种实施方案的图1的混合工作站可以在其中进行操作的混合工作站环境的俯视图；
图3A示出了根据各种实施方案的图1的混合工作站的第一状态；
图3B示出了根据各种实施方案的图1的混合工作站的第二状态；
图3C示出了根据各种实施方案的图1的混合工作站的第三状态；
图3D示出了根据各种实施方案的图1的混合工作站的第四状态；
图4示出了根据各种实施方案的图1的混合工作站的不同状态的概念图；
图5是根据各种实施方案的图1的转换表的更详细图示；
图6是根据各种实施方案的图1的VR场景的屏幕截图；
图7是根据各种实施方案的图1的TD用户界面(UI)的屏幕截图；以及
图8是根据各种实施方案的用于在混合工作站的不同状态之间执行转换的方法步骤的流程图。
具体实施方式
在以下描述中，阐述了许多具体细节以提供对各种实施方案的更透彻的理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一个或多个的情况下实践本发明构思。
如本文所用，“混合工作站”包括提供VR界面和TD界面两者的统一计算系统。混合工作站能够在VR界面和TD界面之间切换(转换)，以继续基于计算机的工作流和任务。混合工作站也称为混合界面或支持VR的工作站。
如本文所用，“VR界面”可以包括特定于VR的硬件和软件部件。VR硬件可以包括VR头戴式设备、一个或多个VR控制器以及一个或多个跟踪装置。VR软件可以包括生成显示在VR头戴式设备上的VR场景的VR应用程序/引擎。VR场景包括虚拟环境的3D表示。VR界面包括用于操作混合工作站的基于3D的界面，由此VR头戴式设备和VR控制器以3D方式操作。当VR界面被激活时，混合工作站在VR模式下操作。
如本文所用，“TD界面”可以包括特定于TD的硬件和软件部件。TD硬件可以包括TD监视器和一个或多个TD输入装置(诸如TD鼠标和/或TD键盘)。TD软件可以包括生成显示在TD监视器上的TD用户界面(UI)的TD应用程序/引擎。TD UI可以包括图形用户界面(GUI)，其经由可调整大小的窗口显示虚拟环境的二维(2D)表示。TD界面可以包括用于操作混合工作站的基于2D窗口的界面，由此TD监视器和TD鼠标以2D方式操作。TD界面包括非VR界面。虽然TD界面包括传统的桌面计算装置，但TD界面也可以包括其他传统或常规的基于2D的计算装置，诸如膝上型电脑、平板电脑、移动装置等。当TD界面被激活时，混合工作站在TD模式下操作。
如本文所用，“房间区域”包括物理空间/区域(诸如房间或办公室)，其包括桌子、靠近桌子的桌子区域、混合工作站的一些或所有部件以及在桌子区域之外的足够的活动区域，供用户在VR模式下四处走动或移动以执行“房间规模”的移动。
如本文所用，“虚拟环境”包括VR界面和TD界面通用且可访问的模拟3D环境。虚拟环境在VR界面中渲染为在VR头戴式设备上显示的VR场景。VR场景提供虚拟环境的3D渲染/表示。同样的虚拟环境在TD界面中也渲染为在TD监视器上显示的TD UI。TD UI提供虚拟环境的2D渲染/表示。混合工作站允许经由VR界面和/或TD界面访问、创建或修改虚拟环境。混合工作站还在对虚拟环境进行修改时实时更新VR界面和TD界面中的虚拟环境。虚拟环境可以包括与VR界面和/或TD界面的一个或多个部件对应的虚拟部件。
如本文所用，“用户应用程序”包括任何基于3D的应用程序，诸如3D设计应用程序、3D游戏应用程序等。当经由用户应用程序执行各种基于计算机的工作流或任务时，用户可以在VR和TD界面之间进行转换。
如本文所用，混合工作站的“状态”指定混合工作站的配置。混合工作站的状态由包括界面、位置和移动的参数的组合定义。界面参数指定VR界面或TD界面。位置参数描述用户的姿势并指定坐姿或站姿。移动参数描述用户的当前移动并指定静止移动或房间规模移动。混合工作站与多个不同的状态相关联，每个状态包括三个参数的值的独特组合。
如本文所用，混合工作站的“转换”包括从混合工作站的当前状态到混合工作站的不同下一状态的改变/切换。每当三个参数(界面、位置或移动)的任何值改变时，混合工作站就会发生转换(状态变化)。在混合工作站中可以发生多个独特的转换，每个独特的转换包括从特定当前状态到特定下一状态的改变。因此，每个独特的转换由当前状态和下一状态的独特组合定义。
如本文所用，混合工作站的“转换响应”包括与混合工作站的检测到的转换相对应的响应。基于检测到的特定转换从多个转换响应中选择转换响应。转换响应包括在VR界面和/或TD界面的一个或多个部件上执行的一组操作。
如本文所公开的，混合工作站在用户应用程序中执行各种工作流和任务时启用VR界面、TD界面以及界面之间的转换。混合工作站的状态由三个参数定义，所述三个参数包括界面(VR界面或TD界面)、位置(坐着或站立)和移动(静止或房间规模)。混合工作站在确定三个参数中的任何一个已经改变时检测到混合工作站的状态的转换(改变)。如果是这样，则混合工作站已检测到混合工作站从当前状态到下一状态的转换。混合工作站然后确定与检测到的特定转换相对应的转换响应。转换响应包括在VR界面和/或TD界面上执行的一组操作，所述一组操作在检测到的转换发生时减轻用户的中断和低效率。以这种方式，所公开的技术检测混合工作站中发生的状态的转换并且减少由转换引起的中断和低效率。
如本文所公开的，混合工作站的第一转换以从包括TD界面的当前状态到包括VR界面的下一状态而发生。基于第一转换确定第一转换响应。第一转换响应包括配置一个或多个TD输入装置以与VR界面交互和操作。如本文所公开的，混合工作站的第二转换以从包括VR界面的当前状态到包括TD界面的下一状态而发生。基于第二转换确定第二转换响应。第二转换响应包括配置TD UI以放大TD UI中的一个或多个UI元素的显示。
如本文所公开的，混合工作站的第三转换以从包括VR界面和静止模式的当前状态到包括VR界面和房间规模模式的下一状态而发生。基于第三转换确定第三转换响应。第三转换响应包括基于用户与和VR场景中的一个或多个虚拟部件相对应的物理物品或部件之间的距离来改变一个或多个虚拟部件的视觉外观。如本文所公开的，混合工作站的第四转换以从包括VR界面和房间规模模式的当前状态到包括VR界面和静止模式的下一状态而发生。基于第四转换确定第四转换响应。第四转换响应包括基于用户与和VR场景中的一个或多个虚拟部件相对应的物理物品或部件之间的距离来改变一个或多个虚拟部件的视觉外观。第四转换响应还包括将VR控制器配置作为TD输入装置进行操作。
在其他实施方案中，检测混合工作站的附加转换并且基于附加转换确定和执行附加转换响应。
系统综述
图1示出了被配置为实现实施方案的一个或多个方面的混合工作站100。如图所示，混合工作站100包括但不限于连接到各种TD硬件150和各种VR硬件170的计算机系统101。计算机系统101可以包括耦合在一起的至少一个处理器102、输入/输出(I/O)装置103和存储器单元104。计算机系统101可以包括服务器、个人计算机、膝上型计算机或平板计算机、移动计算机系统或适合于实践本文所述的各种实施方案的任何其他装置。
通常，处理器102可以是能够处理数据并执行软件应用程序和程序代码的任何技术上可行的处理装置或硬件单元。处理器102执行软件并执行在本文描述的实施方案中阐述的功能和操作。例如，处理器102可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑装置、离散门或晶体管逻辑、离散硬件部件或不同处理单元的任何组合，诸如配置为结合GPU进行操作的CPU。
存储器单元104可以包括硬盘、随机存取存储器(RAM)模块、快闪存储器单元或任何其他类型的存储器单元或其组合。处理器102和I/O装置从存储器104读取数据并将数据写入存储器104。存储器单元104存储软件应用程序和数据。来自存储器单元104内的软件构造的指令由处理器102执行以实现本文所述的创造性操作和功能。
I/O装置103也耦合到存储器104并且可以包括能够接收输入的装置以及能够提供输出的装置。I/O装置103可以包括在TD硬件150和VR硬件170中没有具体列出的输入和输出装置，诸如用于连接网络的网卡、轨迹球、扬声器、制造装置(诸如3D打印机)等。此外，I/O装置可以包括既能够接收输入也能够提供输出的装置，诸如触摸屏、通用串行总线(USB)端口等。
计算机系统101连接到各种TD硬件150，所述各种TD硬件包括TD监视器151、TD鼠标152和TD键盘153。TD监视器151可以包括显示2D图像(诸如TD UI 155)的常规/传统平面2D显示器。TD鼠标152可以包括常规的/传统的2自由度输入装置，其沿着平坦/水平表面(诸如桌子)以2D方式操作。
计算机系统101还连接到各种VR硬件170，所述各种VR硬件包括VR头戴式设备171、VR控制器172和一个或多个跟踪装置173。VR控制器172包括由可以确定VR控制器172的高度和位置信息的跟踪装置173跟踪的VR跟踪装置。VR控制器172包括以3D方式操作的6自由度(6DOF)控制器，与以2D方式操作的TD鼠标152相比，该控制器可能不太精确并且操作起来更累。
VR头戴式设备171可以以3D立体图像(诸如VR场景175)显示图像。VR头戴式设备171包括由可以确定VR头戴式设备171的高度和位置信息的跟踪装置173跟踪的VR跟踪装置。VR头戴式设备171包括内置接近传感器(未示出)，所述内置接近传感器检测VR头戴式设备171何时被置于用户的头部上以及VR头戴式设备171何时从用户的头部移除。将VR头戴式设备171放在用户的头部上会开启(激活)VR头戴式设备171并将混合工作站100置于VR模式。当VR模式被激活时，用户通过VR头戴式设备171查看VR场景175。因此，当处于VR模式时，用户经由VR场景175和VR头戴式设备171与混合工作站100交互。相比之下，从用户的头部移除VR头戴式设备171会关闭(停用)VR头戴式设备171并将混合工作站100置于TD模式。当TD模式被激活时，用户查看显示在TD监视器151上的TD UI 155。因此，当处于TD模式时，用户经由TD监视器151和TD UI 155与混合工作站100交互。在这些实施方案中，界面参数由VR头戴式设备171是否被放置在用户的头部上(由此界面参数等于VR界面)或VR头戴式设备171是否从用户的头部移除(由此界面参数等于TD界面)来确定。
存储器单元104存储混合引擎110、用户应用程序120、虚拟环境130和转换表140。混合引擎110包括TD引擎111、VR引擎112和转换引擎115。用户应用程序120可以包括例如用于创建、修改虚拟环境130并与虚拟环境130交互的3D设计应用程序。3D设计应用程序可以提供用于设计和修改虚拟环境130的各种工具和功能。在其他实施方案中，用户应用程序120可以包括任何其他类型的基于3D的应用程序，诸如3D视频游戏、3D数据分析应用程序等。虚拟环境130可以包括例如存储为描述当前场景的数据(诸如虚拟对象的位置、取向和细节)、描述用户在虚拟环境中的位置和取向的数据、与虚拟场景(诸如材质、照明和虚拟相机位置)的渲染相关的数据等的3D虚拟环境。
TD引擎111经由TD用户界面(UI)155渲染虚拟环境130的2D表示，所述用户界面(UI)包括进入虚拟环境130的各种相机视口。TD UI 155可以提供虚拟环境130的常规的基于2D窗口的表示。TD UI 155显示在TD监视器151上。用户可以经由TD UI 155和TD硬件150与虚拟环境130交互以在用户应用程序120中执行工作流或任务。例如，用户可以使用TD鼠标152和TD键盘153在虚拟环境130内导航或在虚拟环境130内创建和修改场景、动画或虚拟对象。同时，显示在TD监视器151上的TD UI 155向用户提供视觉反馈以帮助在虚拟环境130内执行工作流或任务。
VR引擎112渲染VR场景175，所述VR场景包括虚拟环境130的3D表示。VR场景175显示在VR头戴式设备171上。用户可以经由VR场景175和VR硬件170与虚拟环境130交互以在用户应用程序120中执行工作流或任务。例如，用户可以使用一个或多个VR控制器172在虚拟环境130内导航或在虚拟环境130内创建和修改场景、动画或虚拟对象。同时，显示在VR头戴式设备171上的VR场景175向用户提供视觉反馈以帮助在虚拟环境130内执行工作流或任务。
VR界面为用户提供允许相对于TD界面而言更好的空间感和比例感的沉浸式体验。然而，VR界面通常依赖于较低像素密度的显示器，与TD界面相比，这可能会阻碍VR界面在具有较小视觉元素的生产用途中的实用性。此外，VR控制器172以3D方式操作，这在长时间之后会变得疲劳。相比之下，TD界面的TD输入装置可以在执行某些任务时提供更高的准确度和精度，并且在长时间使用时不会太疲劳。因此，用户在执行工作流或任务时同时使用VR和TD界面并根据当前工作流或任务在界面之间切换是有益的。
在这方面，混合工作站100包括单个统一系统，所述系统提供TD和VR界面两者以用于与用户应用程序120和虚拟环境130交互。在一些实施方案中，TD界面包括特定于TD的硬件和软件部件，其包括各种TD硬件150和TD引擎111。在一些实施方案中，VR界面包括特定于VR的硬件和软件部件，其包括各种VR硬件170和VR引擎112。混合工作站100还包括转换引擎115，其辅助混合工作站100的不同状态之间的转换(包括界面之间的转换)，以在与用户应用程序120和虚拟环境130交互时提高用户效率和整体用户体验。
通常，混合工作站100的状态由包括界面、位置和移动的三个参数定义。转换引擎115在确定三个参数中的任何一个已经改变时检测到混合工作站100的状态的转换。如果是，则转换引擎115然后使用转换表140基于特定转换来确定特定转换响应。转换表140可以包括针对多个独特的转换的多个转换响应，每个转换响应被映射到特定转换。针对特定转换在转换表140中指定的每个转换响应包括在VR界面和/或TD界面的一个或多个部件上执行的一组操作，所述一组操作减轻在特定转换发生时用户的中断和低效率。每个转换响应可由转换引擎115在VR界面和/或TD界面的一个或多个软件和/或硬件部件上执行。
例如，可以在TD引擎111上执行转换响应以配置TD引擎111以特定方式(诸如增加UI元素的尺寸或比例)显示TD UI 155。作为另一示例，可以在TD输入装置(诸如TD鼠标152和/或TD键盘153)上执行转换响应以配置TD输入装置以特定方式操作(诸如在VR界面中操作而不是在TD界面中操作)。作为另一示例，可以在VR引擎112上执行转换响应以配置VR引擎112以特定方式显示VR场景175(诸如改变VR场景175中的一个或多个虚拟部件的不透明度)。作为另一示例，可以在VR控制器172上执行转换响应以配置VR控制器172以特定方式操作(诸如模拟2DTD输入装置)。以这种方式，转换引擎115检测混合工作站100中发生的状态的转换并且减少由检测到的转换引起的中断和低效率。
图2示出了根据各种实施方案的图1的混合工作站100可以在其中进行操作的混合工作站环境200的俯视图。如图所示，混合工作站环境200包括但不限于房间区域210。房间区域210包括物理空间/区域(诸如房间或办公室)，其包括物理桌子250、各种TD硬件150(诸如TD监视器151、TD鼠标152和TD键盘153)以及各种VR硬件170(诸如VR头戴式设备171、VR控制器172和一个或多个跟踪装置173)。各种TD硬件150通常放置在物理桌子250上的位置。
房间区域210还包括靠近桌子250的桌子区域251和桌子区域251之外的移动区域252，供用户在VR模式下四处走动或移动以执行“房间规模”的移动。桌子区域251可定义为在距桌子250预定阈值距离(诸如1米)内，而移动区域252可定义为在距桌子250预定阈值距离之外(诸如超过1米)。当混合工作站100在VR模式下操作时，用户275查看显示在VR头戴式设备171上的VR场景175，同时经由VR控制器172与VR场景175交互。在VR模式下，用户275可以位于桌子区域251内的桌子250的前面或附近(这指示静止模式)，或者在移动区域252内四处移动(这指示房间规模模式)以进行探索并与VR场景175交互。
跟踪装置173可以跟踪房间区域210内的可见物品和部件(包括VR头戴式设备171、VR控制器172、物理桌子250、TD监视器151、TD鼠标152和TD键盘153)的3D位置(包括位置和高度)。通常，跟踪装置173为房间区域210内的可见物品和部件生成3D空间信息(跟踪数据)，其可以指示可见物品和部件的位置、高度、取向和形状。每个跟踪装置173可以包括用于执行跟踪装置173的上述功能的各种部件(未示出)。例如，每个跟踪装置173可以包括与空间捕捉相机(诸如Kinect 3D扫描仪)通信的空间跟踪器接收器。空间捕捉相机可以为房间区域210生成3D空间信息，并且空间跟踪器接收器可以将3D空间信息传送到VR引擎112和转换引擎115。在一些实施方案中，转换引擎115接收由跟踪装置173生成的跟踪数据(3D空间信息)以执行本文描述的实施方案。
图3A至图3D示出了混合工作站100的四种常见状态。图3A示出了根据各种实施方案的图1的混合工作站100的第一状态。如图所示，第一状态由三个参数的值的组合定义，所述三个参数的值包括界面参数的“TD界面”值、位置参数的“坐着”值和移动参数的“静止”值。图3B示出了根据各种实施方案的图1的混合工作站100的第二状态。如图所示，第二状态由三个参数的值的组合定义，所述三个参数的值包括界面参数的“VR界面”值、位置参数的“站立”值和移动参数的“静止”值。图3C示出了根据各种实施方案的图1的混合工作站100的第三状态。如图所示，第三状态由三个参数的值的组合定义，所述三个参数的值包括界面参数的“VR界面”值、位置参数的“站立”值和移动参数的“房间规模”值。图3D示出了根据各种实施方案的图1的混合工作站100的第四状态。如图所示，第四状态由三个参数的值的组合定义，所述三个参数的值包括界面参数的“VR界面”值、位置参数的“坐着”值和移动参数的“房间规模”值。在VR模式下，用户在执行房间规模移动时的坐姿允许用户在舒适地坐在移动椅子上的同时还通过在房间区域210四处移动来探索VR场景175。
图4示出了根据各种实施方案的图1的混合工作站的不同状态的概念图。移动参数指示用户的移动，其是静止的或房间规模的。移动参数指示用户在房间区域210内横向移动的相对量。在静止模式下，用户的横向移动被限制在桌子250周围的小的预定义的区域(桌子区域251)。因此，在静止模式下，用户通常在桌子250前面或附近。在房间规模模式下，用户的横向移动不被限制在桌子250周围的小的桌子区域251。因此，在房间规模模式下，用户通常远离桌子250并且在桌子区域251之外的移动区域252四处移动。在VR模式下，在房间规模模式下操作为用户提供了更加沉浸式的体验，因为用户身体可以四处移动，其中在VR场景175中示出相应的移动。然而，房间区域210的尺寸的物理限制可能会限制房间规模的移动并且并非对所有情况都可行。此外，在静止模式下操作涉及最少的身体移动，并且可以减少用户的疲劳。
混合工作站100的“转换”包括从混合工作站100的当前状态到混合工作站100的不同下一状态的改变/切换。每当三个参数(界面、位置或移动)的任何值改变时，混合工作站100就会发生转换(状态变化)。因此，每个状态都有3个可能的退出转换，对应于3个参数中任何一个的值的变化。在一些实施方案中，混合工作站100与24个可能的独特的转换相关联，每个独特的转换包括从特定当前状态到特定下一状态的改变。转换引擎115从各种VR硬件170(诸如VR头戴式设备171、VR控制器172和跟踪装置173)接收传感器和/或跟踪数据以确定在当前状态下三个参数中的任何一个是否已经改变。
可以根据从VR头戴式设备171的内置接近传感器接收的传感器数据推断界面参数的变化。特别地，为了确定界面参数的变化，转换引擎115监视来自VR头戴式设备171的内置接近传感器的传感器数据。当VR头戴式设备171被放置在用户的头部上时，VR头戴式设备171的接近传感器将传感器数据发送到转换引擎115，所述传感器数据指示用户正佩戴VR头戴式设备171并且VR头戴式设备171已经开启(激活)。响应于VR头戴式设备171被激活，转换引擎115确定混合工作站100正在VR模式下操作并且界面参数被设置为等于“VR界面”。当VR头戴式设备171从用户的头部移除时，VR头戴式设备171的接近传感器将传感器数据发送到转换引擎115，所述传感器数据指示用户未佩戴VR头戴式设备171并且VR头戴式设备171已经关闭(停用)。响应于VR头戴式设备171被停用，转换引擎115确定混合工作站100正在TD模式下操作并且界面参数被设置为等于“TD界面”。因此，每当用户戴上或移除VR头戴式设备171时，转换引擎115确定混合工作站100的当前状态由于界面参数的改变而发生转换(改变)。
可以根据从跟踪装置173接收到的关于VR头戴式设备171的跟踪数据推断位置参数的变化。特别地，为了确定位置参数的变化，转换引擎115监视从跟踪装置173接收的关于VR头戴式设备171的高度跟踪数据。可以通过凭借分析接收到的跟踪数据来确定VR头戴式设备171离地面的高度来推断用户的坐姿或站姿。转换引擎115可以建立阈值高度值，低于所述阈值，转换引擎115确定用户处于坐姿，并且高于所述阈值，转换引擎115确定用户处于站姿。转换引擎115可以例如通过跟踪和推断用户的典型站立和就坐高度或通过使用预定的阈值高度值来建立阈值高度值。因此，每当所接收的VR头戴式设备171的高度跟踪数据指示VR头戴式设备171的高度降低到阈值高度值以下或者增大到阈值高度值以上时，转换引擎115确定混合工作站100的当前状态由于位置参数的改变而发生转换(改变)。
可以根据从跟踪装置173接收到的VR头戴式设备171的跟踪数据推断移动参数的变化。特别地，为了确定移动参数的变化，转换引擎115监视从跟踪装置173接收的VR头戴式设备171的跟踪数据。可以通过凭借分析接收的跟踪数据来确定VR头戴式设备171距桌子250的接近度或距离来推断用户的静止或房间规模移动。可以建立VR头戴式设备171和桌子250之间的预定阈值距离(诸如1米)，低于所述阈值，转换引擎115确定用户处于静止模式，并且高于所述阈值，转换引擎115确定用户处于房间规模模式。在静止模式下，用户的横向移动在桌子250周围的预定阈值距离内(在桌子区域251内)。在房间规模模式下，用户的横向移动在桌子250周围的预定阈值距离之外(在桌子区域251之外)，并且用户正在移动区域252四处移动。因此，每当所接收的VR头戴式设备171的位置跟踪数据指示VR头戴式设备171距桌子250的距离降低到预定阈值距离以下或者增大到预定阈值距离以上时，转换引擎115确定混合工作站100的当前状态由于移动参数的改变而发生转换(改变)。
如果转换引擎115检测到混合工作站100的状态的转换，则作为响应，转换引擎115使用转换表140确定与特定转换相对应的特定转换响应。图5是根据各种实施方案的图1的转换表的更详细图示。如图所示，转换表140包括多个条目501(诸如501a、501b、501c等)，每个条目501对应于独特的转换。每个条目501包括多个数据字段，包括转换字段510、转换响应字段520和切换为开启字段530。
转换字段510指定从特定当前状态到特定下一状态的独特的转换。注意，每个转换包括当前状态和下一状态的独特组合。如图所示，从第一状态(状态1)到第二状态(状态2)的第一转换(转换_1)不同于从第二状态(状态2)到第一状态(状态1)的第四转换(转换_4)。因此，第一转换可以具有与第四转换不同的对应转换响应。转换响应字段520指定要在VR界面和/或TD界面上执行的一组操作，所述一组操作减少由相应转换引起的中断和低效率。例如，如果检测到第四转换(转换_4)，则转换引擎115确定要执行第四转换响应(转换响应_4)，这减少了由第四转换(转换_4)引起的中断和低效率。因此，转换表140将转换响应映射到混合工作站100的每个独特的转换。
在一些实施方案中，用户可以将每个转换的转换响应配置为开启或关闭。如果用户将特定转换的转换响应切换为“关闭”，则当检测到所述特定转换时，转换引擎115将不执行与所述特定转换相对应的转换响应。如果用户将特定转换的转换响应切换为“开启”，则每当检测到所述特定转换时，转换引擎115将自动执行与所述特定转换相对应的转换响应。以这种方式，每当转换引擎115检测到对应转换时，转换引擎115自动执行由用户切换为“开启”的针对所述对应转换的所有转换响应，而无需用户的进一步干预或交互。
传统桌面用户界面和虚拟现实场景
如上所论述的，“虚拟环境”包括VR界面和TD界面通用且可访问的模拟3D环境。虚拟环境在VR界面中渲染为在VR头戴式设备171上显示的VR场景175。VR场景175提供虚拟环境的3D渲染/表示。同样的虚拟环境在TD界面中也渲染为在TD监视器151上显示的TD UI155。TD UI 155提供虚拟环境的2D渲染/表示。可以经由混合工作站100内的VR界面和TD界面两者创建虚拟环境、与虚拟环境交互和修改虚拟环境。混合工作站100还在对虚拟环境进行修改时实时更新VR界面和TD界面中的虚拟环境，使得VR场景175和TD UI 155各自反映当前的虚拟环境。
混合工作站100还可以提供房间区域210的真实世界物理环境和虚拟环境之间的对齐。特别地，虚拟环境可以包括表示和对应于房间区域210内的物理物品和部件(包括桌子250以及VR界面和/或TD界面的部件)的虚拟部件。例如，虚拟环境可以包括与桌子250相对应的虚拟桌子、与TD监视器151相对应的虚拟TD监视器、与TD鼠标152相对应的虚拟TD鼠标、以及与TD键盘153相对应的虚拟TD键盘。虚拟环境还可以包括与VR控制器172相对应的虚拟VR控制器和与VR头戴式设备171相对应的虚拟VR头戴式设备。
混合工作站100可以提供房间区域210的物理环境中的部件和虚拟环境中的部件之间在位置方面的对齐。在这方面，虚拟环境中的虚拟部件的位置和取向对齐并反映物理房间区域210内的对应物理物品和部件的位置和取向。以这种方式，每个虚拟部件的位置被放置在虚拟环境内以反映相应物理物品或部件在物理房间区域210内的位置。因此，VR场景175和TD UI 155均可以在虚拟环境中显示与物理房间区域210内的相应物品和部件对齐的虚拟部件，以给予用户更好的情境感。
混合工作站100还可以提供显示在VR场景175和TD UI 155中的内容之间的对齐。在这方面，VR场景175显示与TD监视器151相对应的虚拟TD监视器，由此虚拟TD监视器显示与TD UI 155相对应的虚拟TD UI。在一些实施方案中，VR场景175通过显示当前在物理TD监视器151上的TD UI 155中显示的一个或多个UI元素来显示虚拟TD UI。在这些实施方案中，在VR模式下，用户可以经由VR场景175与虚拟TD UI和显示在虚拟TD UI中的一个或多个UI元素进行交互。用户与VR场景175内的虚拟TD UI交互可以导致对虚拟环境的修改，诸如对虚拟环境内的选定对象的参数的修改。用户与VR场景175内的虚拟TD UI交互也被镜像并显示到物理TD监视器151上的TD UI 155。
图6是根据各种实施方案的图1的VR场景的屏幕截图。如图所示，VR场景175显示与房间区域210内的物理物品和部件相对应的虚拟部件，包括与桌子250相对应的虚拟桌子650、与TD监视器151相对应的虚拟TD监视器651、与TD键盘153相对应的虚拟TD键盘653，以及与VR控制器172相对应的虚拟VR控制器672。VR场景175还可以显示与房间区域210内的任何其他物理物品或部件相对应的虚拟部件，诸如与TD鼠标152相对应的虚拟TD鼠标或与VR头戴式设备171相对应的虚拟VR头戴式设备。
在VR场景175中显示的虚拟部件的位置和取向对齐并反映物理房间区域210内的对应物理物品和部件的位置和取向。虚拟部件与相应物理物品和部件的位置和取向对齐有助于保持用户在VR场景175中的感知基础和取向，并减轻与退出VR场景175相关联的不愉快感觉。此外，虚拟部件的对齐位置和取向可以帮助用户在VR模式下在房间区域210内找到对应的物理物品和部件。例如，当用户处于VR模式并经由VR头戴式设备171查看VR场景175时，对齐的虚拟桌子650可以帮助用户移动以在房间区域210内找到物理桌子250。
VR场景175和TD UI 155之间的内容也对齐。在这方面，VR场景175内的虚拟TD监视器651显示与TD UI 155相对应的虚拟TD UI655。虚拟TD UI 655可以显示当前在物理TD监视器151上的TD UI 155中显示的一个或多个UI元素。当在VR场景175内时，用户可以与虚拟TD UI 655和在虚拟TD UI 655中显示的一个或多个UI元素交互。
TD UI 155提供虚拟环境的2D渲染/表示。TD UI 155可以提供虚拟环境的常规的基于窗口的表示。图7是根据各种实施方案的图1的TD用户界面(UI)的屏幕截图。如图所示，TD UI 155显示多个UI元素710、720、730、740、750、760和770。
TD UI 155将各种2D相机视口/窗口显示到虚拟环境130中，包括第一视口710、第二视口720和第三视口730。每个相机视口显示放置在虚拟环境130内的特定虚拟相机的视图。在一些实施方案中，第一视口710对应于用户从虚拟环境内自由放置的虚拟相机，诸如在VR模式下时经由VR场景175。第二视口720可以对应于放置在虚拟桌子650上并指向虚拟环境的中心的虚拟相机。第三视口730可以对应于放置在虚拟桌子650上方预定高度(诸如5米)处并且向下指向虚拟桌子650的虚拟相机。在其他实施方案中，TD UI 155显示不同数量的相机视口和/或显示与放置在虚拟环境130内的其他位置处的虚拟相机相对应的相机视口。用户可以经由TD UI 155与虚拟环境130交互以在用户应用程序120中执行工作流或任务。例如，用户可以与各种相机视口710、720和730中的每一个交互以从与相机视口相对应的虚拟相机的视角选择和操纵对象。
TD UI 155还可以显示用于启用特定功能的各种工具和小部件，包括对象工具740、动画工具750、搜索工具760和一个或多个切换按钮770。对象工具740可以为用户提供配置和调整参数以在虚拟环境130内创建和修改所选对象的功能。动画工具750可以为用户提供配置和调整参数以在虚拟环境130内创建和修改动画的功能。搜索工具760可以为用户提供搜索和选择用于在虚拟环境130内创建和修改的新对象的功能。注意，对象工具740、动画工具750和搜索工具760可以包括用户应用程序特定工具，由于使用高精度TD鼠标152和TD键盘153，因此相对于VR场景175，这些工具经由TD UI 155更易于用户使用。一个或多个切换按钮770可以为用户提供切换为开启或关闭一个或多个转换响应的功能，如以上关于图5所论述的。每当转换引擎115检测到对应的转换时，转换引擎115自动执行由用户切换为“开启”的针对所述对应转换的任何转换响应，而不需要用户的进一步干预或交互。
不同状态之间的转换和转换响应
如上文关于图5所述论述的，如果转换引擎115(在确定三个参数中的任何一个已经改变时)检测到混合工作站100的状态的转换，则转换引擎115使用转换表140确定与特定转换相对应的特定转换响应。
在一些实施方案中，第一转换包括从包括TD界面的当前状态到包括VR界面的下一状态的转换。在这些实施方案中，当前状态将界面参数指定为TD界面，将位置参数指定为坐着或站立，并且将移动参数指定为静止。下一状态将界面参数指定为VR界面，将位置参数指定为坐着或站立，并且将移动参数指定为静止。因此，界面参数从当前状态的TD界面变为下一状态的VR界面。
转换引擎115然后使用转换表140确定与第一转换相对应的第一转换响应。第一转换响应指定由转换引擎115在TD输入装置上自动执行的一组操作，以配置TD输入装置以在检测到第一转换时以减少由第一转换引起的中断和低效率的特定方式操作。特别地，第一转换响应指定一个或多个TD输入装置(诸如TD鼠标152和/或TD键盘153)将被重新配置为与VR界面一起使用(重新配置为向VR界面提供输入)。可选地，第一转换响应还指定一个或多个TD输入装置将被重新配置为不与TD界面一起使用(重新配置为不向TD界面提供输入)。
为了说明，在当前状态下，混合工作站100处于TD模式(VR头戴式设备171未被激活)并且用户以静止模式坐着或站立(用户在桌子区域251内)。在当前状态下，用户正在使用TD鼠标152和/或TD键盘153与TD UI 155交互并向其提供输入。用户然后将VR头戴式设备171放在用户的头上，这激活VR头戴式设备171并将混合工作站100置于VR模式。在下一状态下，用户正在通过VR头戴式设备171查看VR场景175，并且不再查看TD UI 155。此时，转换引擎115检测到第一转换已经发生，并从转换表140中识别第一转换响应。转换引擎115然后执行第一转换响应以重新配置TD鼠标152和/或TD键盘153以与VR界面一起使用。特别地，转换引擎115重新配置TD鼠标152和/或TD键盘153以向VR界面的VR场景175提供输入。因此，用户可以继续使用TD鼠标152和/或TD键盘153来与VR场景175交互，而无需用户立即切换到VR控制器172。
在VR模式下，当转换引擎115检测到从TD鼠标152和/或TD键盘153接收到的任何输入信号时，转换引擎115将输入信号映射到VR场景175以在VR场景175内执行各种功能，诸如在VR场景175内选择、配置和移动对象。转换引擎115可以映射从TD鼠标152接收的输入信号以在VR场景175内生成鼠标控制的光标和鼠标点击输入，例如，以使用鼠标控制的光标在VR场景175中选择和定位对象，并使用鼠标点击输入配置VR场景175中的对象。转换引擎115还映射从TD键盘153接收的输入信号以在VR场景175内生成键盘输入，例如，以使用键盘输入(经由提供对象的精确放置的箭头键)在VR场景175内定位对象，并使用键盘输入配置VR场景175中的对象。此外，VR场景175可以显示与TD鼠标152和TD键盘153相对应的虚拟部件，这些虚拟部件可以在视觉上将用户引导到桌子250上的TD鼠标152和TD键盘的物理位置。
在VR模式下，用户还可以选择切换到VR控制器172以与VR场景175交互。在一些实施方案中，当转换引擎115检测到从VR控制器172接收到输入信号(指示用户已经切换到VR控制器172)时，转换引擎115重新配置TD鼠标152和TD键盘153以利用TD界面进行操作并且不再利用VR界面进行操作(重新配置TD鼠标152和TD键盘153以向TD UI155提供输入并且不再向VR场景175提供输入)。在其他实施方案中，在用户切换到VR控制器172之后，用户可以继续使用TD鼠标152和/或TD键盘153以与VR场景175交互。在这些实施方案中，用户可以从使用VR控制器172到使用TD鼠标152和/或TD键盘153来回切换以与VR场景175交互。
可选地，第一转换响应还指定一个或多个TD输入装置还将被重新配置为不与TD界面一起使用(重新配置为不向TD界面提供输入)。在这些实施方案中，转换引擎115重新配置TD鼠标152和/或TD键盘153以不向TD UI 155提供输入。在VR模式下，当转换引擎115检测到从TD鼠标152和/或TD键盘153接收到的任何输入信号时，转换引擎115不将输入信号映射到TD UI 155。由于用户正在查看VR场景175而不是查看TD UI 155，第一转换响应可以防止用户在VR模式下使用TD鼠标152和/或TD键盘153时无意中向TD UI 155提供输入。
可选地，第一转换响应还指定在TD模式下在TD UI 155内在当前状态中选择的任何对象将被显示为出现在VR场景175内的虚拟桌子650后面或以其他方式接近虚拟桌子650。以这种方式，用户可以切换到在下一状态下的VR模式之后立即更彻底地预览和检查所选对象。
如上所述，第一转换响应自动允许用户在从TD模式切换到VR模式之后继续使用TD鼠标152和/或TD键盘153来与VR场景175交互。因此，第一转换响应不需要用户立即执行装置切换到VR控制器172来促进第一转换。以这种方式，第一转换响应提供了从TD模式到VR模式的更加无缝的转换，减少了对用户工作流的中断并提高了用户效率。
在一些实施方案中，第二转换包括从包括VR界面的当前状态到包括TD界面的下一状态的转换。在这些实施方案中，当前状态将界面参数指定为VR界面，将位置参数指定为坐着或站立，并且将移动参数指定为房间规模。下一状态将界面参数指定为TD界面，将位置参数指定为坐着或站立，并且将移动参数指定为房间规模。因此，界面参数从当前状态的VR界面变为下一状态的TD界面。
转换引擎115然后使用转换表140确定与第二转换相对应的第二转换响应。第二转换响应指定要由转换引擎115自动执行的一组操作，以配置TD引擎111在检测到第二转换时以减少由第二转换引起的中断和低效率的特定方式显示TD UI 155。特别地，第二转换响应指定TD UI 155中的一个或多个UI元素被显示为具有基于用户与TD监视器151或桌子250的距离的尺寸或比例。TD UI 155的UI元素的示例包括图7中所示的UI元素710、720、730、740、750、760和770。
为了说明，在当前状态下，混合工作站100处于VR模式(VR头戴式设备171被激活)，并且用户在房间规模模式下在房间区域210四处移动(用户不在桌子区域251内)。用户然后移除VR头戴式设备171并且VR头戴式设备171被停用，这将混合工作站100转换到TD模式下的下一状态。此时，当状态转换到TD模式下的下一状态时，用户可能离TD监视器151和桌子250很远(诸如5米)。因此，显示在TD监视器151上的TD UI 155对于用户来说通常不是立即可用和有用的，因为TD UI 155中的UI元素太小而不能在如此远的距离处被用户读取。在本文的实施方案中，当转换引擎115检测到第二转换已经发生时，转换引擎115从转换表140中识别第二转换响应。转换引擎115然后执行第二转换响应以重新配置TD UI 155以将一个或多个UI元素显示为具有基于从用户到TD监视器151或桌子250的距离的尺寸或比例。以这种方式，一个或多个UI元素在TD UI 155中显示为比通常显示的大，使得TD UI 155即使在很远的距离处也对用户立即可读和有用。
特别地，第二转换响应可以指定，TD UI 155中的一个或多个UI元素在确定用户距TD监视器151或桌子250距离更远时将被显示为具有更大的尺寸或比例，并且在确定用户距TD监视器151或桌子250距离更近时将被显示为具有更小的尺寸或比例。例如，第二转换响应可以指定，TD UI 155中的UI元素在确定用户距TD监视器151或桌子250为第一距离时将被显示为具有第一尺寸或比例，并且在确定用户距TD监视器151或桌子250为第二距离时将被显示为具有第二尺寸或比例，其中第一尺寸或比例大于第二尺寸或比例，并且第一距离大于第二距离。在一些实施方案中，UI元素的显示尺寸或比例与用户距TD监视器151或桌子250的距离之间的关系可以由线性方程表达。以这种方式，转换引擎115可将TD UI 155中的一个或多个UI元素的显示尺寸或比例配置为随着当用户移动靠近TD监视器151或桌子250时从用户到TD监视器151或桌子250的距离不断减小而在尺寸或比例上不断减小。因此，当用户移动成靠近TD监视器151或桌子250时(例如，在桌子区域251内移动)，TD UI155中的一个或多个UI元素将显示为“正常”典型的显示尺寸或比例。
如上文关于图2所论述的，混合工作站100包括跟踪房间区域210内的各种物品和部件(包括VR头戴式设备171、VR控制器172、TD监视器151和桌子250)的3D位置的跟踪装置173。在一些实施方案中，可以从VR头戴式设备171或VR控制器172在房间区域210内的位置推断用户在房间区域210内的位置。在这些实施方案中，假设用户在切换到TD模式时以及在移向TD监视器151和桌子250时仍然携带/持有VR头戴式设备171和/或VR控制器172。因此，用户与TD监视器151或桌子250之间的距离可以通过确定VR头戴式设备171或VR控制器172与TD监视器151或桌子250之间的距离来确定。VR头戴式设备171或VR控制器172与TD监视器151或桌子250之间的距离可以通过分析由跟踪装置173生成的跟踪数据来确定。
可选地，第二转换响应还指定，如果TD输入装置先前被配置为在当前状态下与VR界面一起使用而不与TD界面一起使用，则一个或多个TD输入装置还将被重新配置为在下一状态下与TD界面一起使用(重新配置为向TD UI 155提供输入)。例如，当检测到第一转换并且执行第一转换响应时，TD输入装置可能先前已经被配置为与VR界面一起使用并且不与TD界面一起使用，如上所论述的。
如上所述，在房间规模模式下，在从VR模式切换到TD模式之后，第二转换响应自动对TD UI 155中的UI元素进行调整以显示得比正常大。因此，第二转换响应允许用户立即从TD UI 155收集有意义的信息，而无需用户移动到TD监视器151和桌子250附近。以这种方式，第二转换响应提供了从VR模式到TD模式的更加无缝的转换，减少了对用户工作流的中断并提高了用户效率。
在一些实施方案中，第三转换包括从包括静止模式下的VR界面的当前状态到包括房间规模模式下的VR界面的下一状态的转换。在这些实施方案中，当前状态将界面参数指定为VR界面，将位置参数指定为坐着或站立，并且将移动参数指定为静止。下一状态将界面参数指定为VR界面，将位置参数指定为坐着或站立，并且将移动参数指定为房间规模。因此，移动参数已经从当前状态的静止变为下一状态的房间规模。
转换引擎115然后使用转换表140确定与第三转换相对应的第三转换响应。第三转换响应指定要由转换引擎115自动执行的一组操作，以配置VR引擎112在检测到第三转换时以减少由第三转换引起的中断和低效率的特定方式显示VR场景175。特别地，第三转换响应指定与房间区域210的一个或多个物品或部件相对应的一个或多个虚拟部件在VR场景175中被显示为具有基于用户与TD监视器151或桌子250的距离的不透明度/透明度。
为了说明，在当前状态下，混合工作站100处于VR模式(VR头戴式设备171被激活)并且用户处于静止模式(用户在桌子区域251内)。在当前状态下，用户正在查看VR场景175，所述VR场景以不透明度值为1的“正常”外观显示虚拟桌子650、虚拟TD监视器651(显示虚拟TD UI 655)和虚拟TD键盘653。用户然后离开桌子区域并开始在移动区域252四处移动，这将混合工作站100转换到房间规模模式下的下一状态。在下一状态下，在房间规模模式下，虚拟桌子650和其他虚拟部件可能对用户不是很有用，并且可能会遮挡用户对虚拟环境的视野。
因此，在本文的实施方案中，当转换引擎115检测到第三转换已经发生时，转换引擎115从转换表140中识别第三转换响应。转换引擎115然后执行第三转换响应以重新配置VR场景175以将一个或多个虚拟部件显示为具有基于从用户到TD监视器151或桌子250的距离的视觉外观。特别地，随着从用户到TD监视器151或桌子250的距离增加，一个或多个虚拟部件在VR场景175中显示为更透明(具有更小的不透明度)。以这种方式，随着用户移离物理TD监视器151或桌子250更远，一个或多个虚拟部件在VR场景175中变得更不可见(更透明)。在这些实施方案中，一个或多个虚拟部件可以包括虚拟桌子650、虚拟TD监视器651、虚拟TDUI 655和/或TD键盘653。在其他实施方案中，一个或多个虚拟部件可以包括与房间区域210内的其他物品或部件相对应的其他虚拟部件。
特别地，第三转换响应可以指定，VR场景175中的一个或多个虚拟部件在确定用户距TD监视器151或桌子250距离更远时将被显示为具有更小的不透明度(更大的透明度)，并且在确定用户距TD监视器151或桌子250距离更近时将被显示为具有更大的不透明度(更小的透明度)。例如，第三转换响应可以指定，VR场景175中的虚拟部件在确定用户距TD监视器151或桌子250为第一距离时将被显示为具有第一不透明度值，并且在确定用户距TD监视器151或桌子250为第二距离时将被显示为具有第二不透明度值，其中第一不透明度值小于第二不透明度值，并且第一距离大于第二距离。在一些实施方案中，虚拟部件的不透明度与用户距TD监视器151或桌子250的距离之间的关系可以由线性方程表达。以这种方式，转换引擎115可将VR场景175中的一个或多个虚拟部件的不透明度值配置为随着从用户到TD监视器151或桌子250的距离不断增加而在值上不断减小。
在其他实施方案中，当用户在距TD监视器151或桌子250的第一阈值距离内时，VR场景175中的一个或多个虚拟部件将以为1的“正常”不透明度值显示。当用户处于在距TD监视器151或桌子250的第二阈值距离之外时，VR场景175中的一个或多个虚拟部件将以为0的不透明度值显示，使得一个或多个虚拟部件在VR场景175内不可见。当用户在距TD监视器151或桌子250的第一阈值距离和第二阈值距离之间时，VR场景175中的一个或多个虚拟部件将以小于1且大于0的不透明度值显示。在这些实施方案中，第一阈值距离小于第二阈值距离。
如上文关于第二转换所论述的，跟踪装置173跟踪VR头戴式设备171、VR控制器172、TD监视器151和桌子250的3D位置。因此，可以从VR头戴式设备171或VR控制器172在房间区域210内的位置推断用户在房间区域210内的位置。因此，用户与TD监视器151或桌子250之间的距离可以通过确定VR头戴式设备171或VR控制器172与TD监视器151或桌子250之间的距离来确定。VR头戴式设备171或VR控制器172与TD监视器151或桌子250之间的距离可以通过分析由跟踪装置173生成的跟踪数据来确定。
可选地，第三转换响应还指定，将在VR场景175中显示视觉引导以帮助用户找到返回物理TD监视器151和桌子250的方法。例如，第三转换响应可以指定，在VR场景175中的地板上显示从用户在VR场景175内的当前位置到虚拟桌子650和虚拟TD监视器651在VR场景175内的位置的模糊的线或路径。
如上所述，在VR模式下，在从静止模式切换到房间规模模式之后，第三转换响应自动对VR场景175进行调整，所述调整使得VR场景175中的一个或多个虚拟部件以比正常更小的不透明度显示。因此，第三转换响应通过移除在房间规模模式下不需要的阻碍元素来自动提供VR场景175的较少遮挡视图。以这种方式，第三转换响应提供了在VR模式下在静止模式到房间规模模式之间的更加无缝的转换，减少了对用户工作流的中断并提高了用户效率。
在一些实施方案中，第四转换包括从包括房间规模模式下的VR界面的当前状态到包括静止模式下的VR界面的下一状态的转换。在这些实施方案中，当前状态将界面参数指定为VR界面，将位置参数指定为坐着或站立，并且将移动参数指定为房间规模。下一状态将界面参数指定为VR界面，将位置参数指定为坐着或站立，并且将移动参数指定为静止。因此，移动参数已经从当前状态的房间规模变为下一状态的静止。
转换引擎115然后使用转换表140确定与第四转换相对应的第四转换响应。第四转换响应指定要由转换引擎115自动执行的一组操作，以配置VR引擎112在检测到第四转换时以减少由第四转换引起的中断和低效率的特定方式显示VR场景175和/或将VR控制器172配置为在检测到第四转换时以减少由第四转换引起的中断和低效率的特定方式进行操作。特别地，第四转换响应指定一个或多个虚拟部件在VR场景175中被显示为具有基于用户与TD监视器151或桌子250的距离的不透明度/透明度。第四转换响应还指定如果用户将VR控制器172放置在桌子250上，则VR控制器172将被配置为模拟TD鼠标的操作和功能。
为了说明，在当前状态下，混合工作站100处于VR模式并且用户处于房间规模模式。在当前状态下，用户正在查看以小于1的不透明度值显示一个或多个虚拟部件的VR场景175，这取决于用户与TD监视器151或桌子250之间的距离，如上文关于第三转换所论述的。当在当前状态下处于房间规模模式时，用户正在移动区域252内四处移动。用户然后移动到桌子区域251内，这将混合工作站100转换到静止模式。在一些实施方案中，第四转换响应指定当在VR模式下状态从房间规模模式切换到静止模式时，VR场景175中的一个或多个虚拟部件以为1的“正常”不透明度值显示。一个或多个虚拟部件可以包括虚拟桌子650、虚拟TD监视器651、虚拟TD UI 655和/或TD键盘653。在其他实施方案中，一个或多个虚拟部件可以包括与房间区域210的其他物品或部件相对应的其他虚拟部件。可选地，第四转换响应还指定先前在当前状态下在VR场景175中显示的视觉引导(诸如，模糊的线或路径)将在转换到静止模式下的下一状态时从VR场景175中移除。
当处于静止模式的下一状态时，VR场景175以为1的“正常”不透明度值显示虚拟TDUI 655，这允许用户与VR场景175内的虚拟TD UI655交互。第四转换响应还指定如果用户将VR控制器172放置在桌子250的平坦/水平表面上，则VR控制器172将被配置为模拟TD鼠标的操作和功能。当用户将VR控制器172放置在桌子250的平坦/水平表面上时，用户指示用户希望将VR控制器172用作TD鼠标。在这些实施方案中，用户可以通过沿着桌子250的平坦表面移动VR控制器172来使用VR控制器172与VR场景175内的虚拟TD UI 655交互。当VR控制器172沿着桌子250的表面移动时，VR控制器172仅在二维方向上移动，类似于常规的输入装置。当执行第四转换响应时，转换引擎115通过将VR控制器172在桌子250上的2D移动映射到常规鼠标的2D移动来重新配置VR控制器172以模拟TD鼠标。转换引擎115还通过将VR控制器172的一个或多个按钮映射到常规鼠标的一个或多个按钮的一个或多个功能来重新配置VR控制器172的一个或多个按钮以模拟TD鼠标。例如，转换引擎115可以将VR控制器172的第一按钮映射到常规鼠标的右键的“右键点击”功能，并将VR控制器172的第二按钮映射到常规鼠标的左键的“左键点击”功能。
如上文关于图2所论述的，混合工作站100包括跟踪房间区域210内的各种物品和部件(包括VR控制器172和桌子250)的3D位置的跟踪装置173。因此，转换引擎115可以检测VR控制器172何时被放置在桌子250上，从而触发第四转换响应。注意，由于VR场景175显示与现实世界房间区域210中的物理桌子250位置对齐的虚拟桌子650，所以虚拟桌子650可以向用户提供将VR控制器172放置到哪里来触发第四转换响应的视觉引导。
如上所述，在VR模式下，在从房间规模模式切换到静止模式之后，第四转换响应自动对VR场景175进行调整，所述调整使得VR场景175中的一个或多个虚拟部件(包括虚拟TDUI 655)以正常不透明度显示。此外，当VR控制器172放置在桌子250上时，第四转换响应可以自动重新配置VR控制器172以模拟TD鼠标的操作和功能。因此，第四转换响应允许用户使用以2D操作的模拟TD鼠标与虚拟TD UI 655交互，这提供了比经由以3D操作的VR控制器172与虚拟TD UI 655交互更高的精度和长期舒适度。以这种方式，第四转换响应提供了在VR模式下在房间规模模式到模静止式之间的更加无缝的转换，减少了对用户工作流的中断并提高了用户效率。
在一些实施方案中，第五转换包括从包括站立模式下的VR界面的当前状态到包括坐着模式下的VR界面的下一状态的转换。在这些实施方案中，当前状态将界面参数指定为VR界面，将位置参数指定为站立，并且将移动参数指定为静止或房间规模。下一状态将界面参数指定为VR界面，将位置参数指定为坐着，并且将移动参数指定为静止或房间规模。因此，位置参数已经从当前状态的站立变为下一状态的坐着。
转换引擎115然后使用转换表140确定与第五转换相对应的第五转换响应。第五转换响应指定要由转换引擎115自动执行的一组操作，以配置VR引擎112在检测到第五转换时以减少由第五转换引起的中断和低效率的特定方式显示VR场景175。特别地，第五转换响应指定VR场景175将被渲染为继续从站立姿势/站姿示出用户视点，而不是被渲染为从坐着姿态/坐姿示出用户视点。因此，第五转换响应将VR场景175配置为使得用户在实际坐在椅子上时不会感知VR场景175内的视点高度的变化。以这种方式，用户可以在现实世界中舒适地坐在椅子上的同时，在VR场景175内保持期望的更高站立视点高度。
如上文关于图2所论述的，混合工作站100包括跟踪房间区域210内的各种物品和部件(包括VR头戴式设备171)的3D位置的跟踪装置173。因此，转换引擎115可以基于跟踪的VR头戴式设备171的高度来检测用户何时站立或坐着。当在用户在VR模式下切换到坐着姿态时转换引擎115检测到第五转换已经发生时，转换引擎115从转换表140识别第五转换响应。转换引擎115然后执行第五转换响应以配置VR场景175以继续渲染与站立姿势相对应的视点高度，而不是切换至与坐着姿态相对应的视点高度。
如上所述，当在VR模式下切换到坐着姿态时，第五转换响应自动对VR场景175进行调整，所述调整在VR场景175内保持站立视点。因此，第五转换响应允许用户在现实世界中舒适地坐在椅子上的同时，在VR场景175内以更理想的站立视点与VR场景175交互。
在混合工作站的状态之间进行转换的技术
图8是根据各种实施方案的用于在混合工作站的不同状态之间执行转换的方法步骤的流程图。尽管结合图1至图7的系统描述了方法步骤，但本领域技术人员将理解方法步骤可以由任何系统以任何顺序执行。在一些实施方案中，方法800可以由混合工作站100执行。
当转换引擎115接收(在步骤810处)来自VR头戴式设备171的传感器数据和来自一个或多个跟踪装置173的跟踪数据时，方法800开始。VR头戴式设备171包括内置接近传感器，该内置接近传感器检测VR头戴式设备171何时放置在用户的头部上(这激活VR头戴式设备171)以及VR头戴式设备171何时从用户的头部移除(这停用VR头戴式设备171)。VR头戴式设备171将传感器数据传输到转换引擎115。一个或多个跟踪装置173跟踪房间区域210内的各种物品和部件(包括VR头戴式设备171、VR控制器172、桌子250、TD监视器151、TD鼠标152和/或TD键盘153)的3D位置。跟踪装置173生成包括房间区域210内的各种物品和部件的3D空间信息的跟踪数据，并将跟踪数据传输到转换引擎115。转换引擎115在方法800的整个持续时间内继续接收传感器数据和跟踪数据。
转换引擎115通过分析接收到的传感器数据和跟踪数据来确定(在步骤820处)混合工作站100的当前状态。混合工作站100与多个独特的状态相关联，每个状态由包括界面、位置和移动参数的三个参数的独特组合定义。转换引擎115确定每个参数的值以确定混合工作站100的当前状态。界面参数指定VR界面(VR头戴式设备171被激活)或TD界面(VR头戴式设备171被停用)，转换引擎115根据从VR头戴式设备171接收的传感器数据来对此进行确定。位置参数指定坐姿或站姿，转换引擎115根据从跟踪装置173接收的跟踪数据来对此进行确定。移动参数指定静止移动或房间规模移动，转换引擎115根据从跟踪装置173接收的跟踪数据来对此进行确定。
转换引擎115然后确定(在步骤830处)混合工作站100的状态改变是否已经发生。如果混合工作站100基于传感器数据和跟踪数据检测到任何参数(界面、位置和移动)的值从当前状态改变，则转换引擎115确定混合工作站100的状态改变已经发生。如果未检测到(在步骤830处-否)，方法800在步骤810处继续，由此转换引擎115继续接收传感器数据和跟踪数据。如果检测到(在步骤830处-是)，方法800在步骤840处继续。
在步骤840处，转换引擎115基于传感器数据和跟踪数据确定混合工作站100的下一状态。特别地，转换引擎115确定值从当前状态改变的特定参数和该特定参数的新值以确定下一状态。转换引擎115然后确定(在步骤850处)在步骤830和840处发生的当前转换。混合工作站100与多个独特的转换相关联，每个转换由当前状态和下一状态的独特组合定义。因此，转换引擎115通过组合当前状态(在步骤820处确定)和下一状态(在步骤840处确定)来确定当前转换。
转换引擎115然后使用转换表140确定(在步骤860处)与当前转换相对应的当前转换响应。转换表140包括多个条目501，每个条目501将独特的转换映射到特定转换响应。每个转换响应指定要在VR界面和/或TD界面的一个或多个部件上执行的一组操作。每个条目501还指示转换响应是否已被用户切换成“开启”或“关闭”。如果用户已将当前转换响应切换为“开启”，则转换引擎115执行(在步骤870处)当前转换响应，如转换表140所指示的。如果用户已将当前转换响应切换为“关闭”，则转换引擎115在步骤870处不执行当前转换响应。方法800然后在步骤810处继续。
总体上，混合工作站在用户应用程序中执行各种工作流和任务时支持VR界面、TD界面以及界面之间的转换。混合工作站的状态由三个参数定义，所述三个参数包括界面(VR界面或TD界面)、位置(坐着或站立)和移动(静止或房间规模)。混合工作站在确定三个参数中的任何一个已经改变时检测到混合工作站的状态的转换(改变)。如果是这样，则混合工作站已检测到混合工作站从当前状态到下一状态的转换。混合工作站然后确定与检测到的特定转换相对应的转换响应。转换响应包括在VR界面和/或TD界面的一个或多个软件或硬件部件上执行的一组操作。
所公开的技术相对于现有技术的至少一个技术优势在于，所公开的技术能够在对用户来说较少中断和麻烦的计算环境中实现VR界面和TD界面之间的转换。除了其它方面，所公开的技术基于检测到的转换(从VR界面到TD界面或从TD界面到VR界面)确定并执行特定的转换响应。转换响应包括在VR界面和/或TD界面上执行的一个或多个操作，所述一个或多个操作自动实现从一个界面到另一个界面的转换，而无需任何所需的用户动作。以这种方式，所公开的技术能够提高用户执行工作流和任务的效率，并相对于现有技术系统提高整体用户体验。这些技术优势表示了对现有技术方法的一个或多个技术改进。
本文描述的主题的方面在以下编号的条款中陈述。
1.在一些实施方案中，一种用于在混合工作站的状态之间进行转换的计算机实现的方法，所述方法包括：确定所述混合工作站的第一状态，其中所述混合工作站与多个状态相关联，每个状态由至少第一参数定义，所述第一参数指定用于与所述混合工作站交互的第一界面或用于与所述混合工作站交互的第二界面，所述第一界面包括二维(2D)界面，并且所述第二界面包括三维(3D)界面；响应于检测到所述第一参数已经改变，确定所述混合工作站从所述第一状态到第二状态的第一转换；识别与所述第一转换相对应的第一转换响应；以及在所述第一界面或所述第二界面中的至少一个上执行所述第一转换响应。
2.根据条款1所述的计算机实现的方法，其中：所述第一界面显示虚拟环境的2D表示；并且所述第二界面显示所述虚拟环境的3D表示。
3.根据条款1至2中任一项所述的计算机实现的方法，其中：所述第一界面包括显示用户界面的监视器和与所述用户界面交互的输入装置；并且所述第二界面包括显示虚拟现实(VR)场景的VR头戴式设备和与所述VR场景交互的VR控制器。
4.根据条款1至3中任一项所述的计算机实现的方法，其中：所述第一转换包括从所述第一界面到所述第二界面的转换；并且所述第一转换响应指定与所述第一界面相关联的输入装置应被配置为与所述第二界面一起操作。
5.根据条款1至4中任一项所述的计算机实现的方法，其中：所述第一转换包括从所述第二界面到所述第一界面的转换；并且所述第一转换响应指定由所述第一界面生成的用户界面(UI)应被配置为显示具有基于用户与显示所述UI的监视器的距离的尺寸的至少一个UI元素。
6.根据条款1至5中任一项所述的计算机实现的方法，其中每个状态进一步由至少第二参数定义，所述第二参数指定静止模式或房间规模模式，并且所述计算机实现的方法还包括：确定所述混合工作站的实现所述第二界面和所述静止模式的第三状态；响应于检测到所述第二参数已经改变，确定所述混合工作站从所述第三状态到实现所述第二界面和所述房间规模模式的第四状态的第二转换；以及识别与所述第二转换相对应的第二转换响应。
7.根据条款1至6中任一项所述的计算机实现的方法，其中所述第二转换响应指定由所述第二界面生成的场景应被配置为将表示与所述第一界面相关联的监视器的虚拟部件显示为具有基于用户与所述监视器的距离的不透明度值。
8.根据条款1至7中任一项所述的计算机实现的方法，其中每个状态进一步由至少第二参数定义，所述第二参数指定静止模式或房间规模模式，并且所述计算机实现的方法还包括：确定所述混合工作站的实现所述第二界面和所述房间规模模式的第三状态；响应于检测到所述第二参数已经改变，确定所述混合工作站从所述第三状态到实现所述第二界面和所述静止模式的第四状态的第二转换；以及识别与所述第二转换相对应的第二转换响应。
9.根据条款1至8中任一项所述的计算机实现的方法，其中所述第二转换响应指定与所述第二界面相关联的控制器应被配置为模拟与所述第一界面相关联的输入装置。
10.在一些实施方案中，一种或多种非暂时性计算机可读介质，其包括指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器通过执行以下步骤来在混合工作站的状态之间进行转换：确定所述混合工作站的第一状态，其中所述混合工作站与多个状态相关联，每个状态由至少第一参数定义，所述第一参数指定用于与所述混合工作站交互的第一界面或用于与所述混合工作站交互的第二界面，所述第一界面包括二维(2D)界面，并且所述第二界面包括三维(3D)界面；响应于检测到所述第一参数已经改变，确定所述混合工作站从所述第一状态到第二状态的第一转换；识别与所述第一转换相对应的第一转换响应；以及在所述第一界面或所述第二界面中的至少一个上执行所述第一转换响应。
11.根据条款10所述的一种或多种非暂时性计算机可读介质，其中：所述第一界面包括显示用户界面的监视器和与所述用户界面交互的输入装置；并且所述第二界面包括显示虚拟现实(VR)场景的VR头戴式设备和与所述VR场景交互的VR控制器。
12.根据条款10至11中任一项所述的一种或多种非暂时性计算机可读介质，其中：所述第一转换包括从所述第一界面到所述第二界面的转换；并且所述第一转换响应指定与所述第一界面相关联的输入装置应被配置为与所述第二界面一起操作。
13.根据条款10至12中任一项所述的一种或多种非暂时性计算机可读介质，其中所述第一转换响应还指定与所述第一界面相关联的所述输入装置应被配置为不与所述第一界面一起操作。
14.根据条款10至13中任一项所述的一种或多种非暂时性计算机可读介质，其中：所述第一转换包括从所述第二界面到所述第一界面的转换；并且所述第一转换响应指定由所述第一界面生成的用户界面(UI)应被配置为显示具有基于用户与显示所述UI的监视器的距离的尺寸的至少一个UI元素。
15.根据条款10至14中任一项所述的一种或多种非暂时性计算机可读介质，其中所述第一转换响应指定所述用户界面应被配置为将所述至少一个UI元素显示为具有随着所述用户与所述监视器的所述距离的减小而减小的尺寸。
16.根据条款10至15中任一项所述的一种或多种非暂时性计算机可读介质，其中每个状态进一步由至少第二参数定义，所述第二参数指定静止模式或房间规模模式，并且所述一种或多种非暂时性计算机可读介质还包括：确定所述混合工作站的实现所述第二界面和所述静止模式的第三状态；响应于检测到所述第二参数已经改变，确定所述混合工作站从所述第三状态到实现所述第二界面和所述房间规模模式的第四状态的第二转换；以及识别与所述第二转换相对应的第二转换响应。
17.根据条款10至16中任一项所述的一种或多种非暂时性计算机可读介质，其中所述第二转换响应指定由所述第二界面生成的场景应被配置为将表示与所述第一界面相关联的监视器的虚拟部件显示为具有基于用户与所述监视器的距离的不透明度值。
18.根据条款10至17中任一项所述的一种或多种非暂时性计算机可读介质，其中所述第二转换响应指定所述场景应被配置为将所述虚拟部件显示为具有随着所述用户与所述监视器的所述距离的增加而减小的不透明度值。
19.在一些实施方案中，一种混合工作站，其包括：存储器，所述存储器包括指令；以及至少一个处理器，所述至少一个处理器耦合到所述存储器并且在执行所述指令时执行以下步骤：确定所述混合工作站的第一状态，其中所述混合工作站与多个状态相关联，每个状态由至少第一参数定义，所述第一参数指定用于与所述混合工作站交互的第一界面或用于与所述混合工作站交互的第二界面，所述第一界面包括包含监视器和输入装置的二维(2D)界面，并且所述第二界面包括包含虚拟现实(VR)头戴式设备和VR控制器的三维(3D)界面；响应于检测到所述第一参数已经改变，确定所述混合工作站从所述第一状态到第二状态的第一转换；识别与所述第一转换相对应的第一转换响应；以及在所述第一界面或所述第二界面中的至少一个上执行所述第一转换响应。
20.根据条款19所述的混合工作站，其中所述监视器显示用户界面且所述输入装置与所述用户界面交互；并且所述虚拟现实(VR)头戴式设备显示VR场景且所述VR控制器与所述VR场景交互。
任何权利要求中阐述的任何权利要求要素和/或本申请中描述的任何要素以任何方式进行的任何和所有组合都落在本实施方案和保护的设想范围内。
已经出于说明的目的呈现了各种实施方案的描述，但是所述描述并不意图为详尽的或者受限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对于本领域技术人员来说将是明显的。
本实施方案的各方面可体现为系统、方法或计算机程序产品。因此，本公开的各方面可采用以下形式：完全硬件实施方案、完全软件实施方案(包括固件、驻留软件、微代码等)，或组合了软件方面和硬件方面的实施方案，所述方面全部可大体上在本文称为“模块”或“系统”。另外，在本公开中描述的任何硬件和/或软件技术、过程、函数、部件、引擎、模块或系统可被实施为电路或电路集合。此外，本公开的各方面可采用计算机程序产品的形式，所述计算机程序产品在一个或多个计算机可读介质中体现，所述一个或多个计算机可读介质上体现有计算机可读程序代码。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可为(例如但不限于)电子、磁性、光学、电磁、红外线或半导体系统、设备或装置，或前述各者的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下各者：具有一个或多个电线的电连接、便携式计算机软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式压缩光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述各者的任何合适的组合。在此文献的上下文中，计算机可读存储介质可为可含有或存储程序以供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合的任何有形介质。
以上参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应理解，可通过计算机程序指令来实现流程图和/或框图中的每个框以及流程图和/或框图中的框组合。这些计算机程序指令可提供到通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器。指令在经由计算机或其他可编程数据处理设备的处理器执行时使得实现流程图和/或框图的一个或多个框中指定的功能/动作。此类处理器可以是，但不限制于通用处理器、特殊用途处理器、专用处理器或现场可编程门阵列。
图中的流程图和框图说明根据本公开的各种实施方案的系统、方法和计算机程序产品的可能的实现方式的架构、功能性和操作。就这一点而言，流程图或框图中的每个框都可表示代码的模块、片段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代性实现方式中，框中所述的功能可能不以图中所述的次序发生。举例来说，连续示出的两个框实际上可基本上同时地执行，或者依据所涉及的功能性，有时可通过颠倒的次序执行所述框。还将注意，可通过执行指定功能或动作的基于专用硬件的系统或者专用硬件与计算机指令的组合来实现框图和/或流程图的每个框以及框图和/或流程图中的框的组合。
虽然前述内容是针对本公开的实施方案，但在不脱离本公开的基本范围的情况下，可设计出本公开的其他和另外的实施方案，并且由所附权利要求书确定本公开的范围。

Claims (20)

1.一种用于在混合工作站的状态之间进行转换的计算机实现的方法，所述方法包括：
确定所述混合工作站的第一状态，其中所述混合工作站与多个状态相关联，每个状态由至少第一参数定义，所述第一参数指定用于与所述混合工作站交互的第一界面或用于与所述混合工作站交互的第二界面，所述第一界面包括二维(2D)界面，并且所述第二界面包括三维(3D)界面；
响应于检测到所述第一参数已经改变，确定所述混合工作站从所述第一状态到第二状态的第一转换；
识别与所述第一转换相对应的第一转换响应；以及
在所述第一界面或所述第二界面中的至少一个上执行所述第一转换响应。
2.如权利要求1所述的计算机实现的方法，其中：
所述第一界面显示虚拟环境的2D表示；并且
所述第二界面显示所述虚拟环境的3D表示。
3.如权利要求2所述的计算机实现的方法，其中：
所述第一界面包括显示用户界面的监视器和与所述用户界面交互的输入装置；并且
所述第二界面包括显示虚拟现实(VR)场景的VR头戴式设备和与所述VR场景交互的VR控制器。
4.如权利要求1所述的计算机实现的方法，其中：
所述第一转换包括从所述第一界面到所述第二界面的转换；并且
所述第一转换响应指定与所述第一界面相关联的输入装置应被配置为与所述第二界面一起操作。
5.如权利要求1所述的计算机实现的方法，其中：
所述第一转换包括从所述第二界面到所述第一界面的转换；并且
所述第一转换响应指定由所述第一界面生成的用户界面(UI)应被配置为显示具有基于用户与显示所述UI的监视器的距离的尺寸的至少一个UI元素。
6.如权利要求1所述的计算机实现的方法，其中每个状态进一步由至少第二参数定义，所述第二参数指定静止模式或房间规模模式，并且所述计算机实现的方法还包括：
确定所述混合工作站的实现所述第二界面和所述静止模式的第三状态；
响应于检测到所述第二参数已经改变，确定所述混合工作站从所述第三状态到实现所述第二界面和所述房间规模模式的第四状态的第二转换；以及
识别与所述第二转换相对应的第二转换响应。
7.如权利要求6所述的计算机实现的方法，其中所述第二转换响应指定由所述第二界面生成的场景应被配置为将表示与所述第一界面相关联的监视器的虚拟部件显示为具有基于用户与所述监视器的距离的不透明度值。
8.如权利要求1所述的计算机实现的方法，其中每个状态进一步由至少第二参数定义，所述第二参数指定静止模式或房间规模模式，并且所述计算机实现的方法还包括：
确定所述混合工作站的实现所述第二界面和所述房间规模模式的第三状态；
响应于检测到所述第二参数已经改变，确定所述混合工作站从所述第三状态到实现所述第二界面和所述静止模式的第四状态的第二转换；以及
识别与所述第二转换相对应的第二转换响应。
9.如权利要求8所述的计算机实现的方法，其中所述第二转换响应指定与所述第二界面相关联的控制器应被配置为模拟与所述第一界面相关联的输入装置。
10.一种或多种非暂时性计算机可读介质，其包括指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器通过执行以下步骤来在混合工作站的状态之间进行转换：
确定所述混合工作站的第一状态，其中所述混合工作站与多个状态相关联，每个状态由至少第一参数定义，所述第一参数指定用于与所述混合工作站交互的第一界面或用于与所述混合工作站交互的第二界面，所述第一界面包括二维(2D)界面，并且所述第二界面包括三维(3D)界面；
响应于检测到所述第一参数已经改变，确定所述混合工作站从所述第一状态到第二状态的第一转换；
识别与所述第一转换相对应的第一转换响应；以及
在所述第一界面或所述第二界面中的至少一个上执行所述第一转换响应。
11.如权利要求10所述的一种或多种非暂时性计算机可读介质，其中：
所述第一界面包括显示用户界面的监视器和与所述用户界面交互的输入装置；并且
所述第二界面包括显示虚拟现实(VR)场景的VR头戴式设备和与所述VR场景交互的VR控制器。
12.如权利要求10所述的一种或多种非暂时性计算机可读介质，其中：
所述第一转换包括从所述第一界面到所述第二界面的转换；并且
所述第一转换响应指定与所述第一界面相关联的输入装置应被配置为与所述第二界面一起操作。
13.如权利要求12所述的一种或多种非暂时性计算机可读介质，其中所述第一转换响应还指定与所述第一界面相关联的所述输入装置应被配置为不与所述第一界面一起操作。
14.如权利要求10所述的一种或多种非暂时性计算机可读介质，其中：
所述第一转换包括从所述第二界面到所述第一界面的转换；并且
所述第一转换响应指定由所述第一界面生成的用户界面(UI)应被配置为显示具有基于用户与显示所述UI的监视器的距离的尺寸的至少一个UI元素。
15.如权利要求14所述的一种或多种非暂时性计算机可读介质，其中所述第一转换响应指定所述用户界面应被配置为将所述至少一个UI元素显示为具有随着所述用户与所述监视器的所述距离的减小而减小的尺寸。
16.如权利要求10所述的一种或多种非暂时性计算机可读介质，其中每个状态进一步由至少第二参数定义，所述第二参数指定静止模式或房间规模模式，并且所述一种或多种非暂时性计算机可读介质还包括：
确定所述混合工作站的实现所述第二界面和所述静止模式的第三状态；
响应于检测到所述第二参数已经改变，确定所述混合工作站从所述第三状态到实现所述第二界面和所述房间规模模式的第四状态的第二转换；以及
识别与所述第二转换相对应的第二转换响应。
17.如权利要求16所述的一种或多种非暂时性计算机可读介质，其中所述第二转换响应指定由所述第二界面生成的场景应被配置为将表示与所述第一界面相关联的监视器的虚拟部件显示为具有基于用户与所述监视器的距离的不透明度值。
18.如权利要求17所述的一种或多种非暂时性计算机可读介质，其中所述第二转换响应指定所述场景应被配置为将所述虚拟部件显示为具有随着所述用户与所述监视器的所述距离的增加而减小的不透明度值。
19.一种混合工作站，其包括：
存储器，所述存储器包括指令；以及
至少一个处理器，所述至少一个处理器耦合到所述存储器并且在执行所述指令时执行以下步骤：
确定所述混合工作站的第一状态，其中所述混合工作站与多个状态相关联，每个状态由至少第一参数定义，所述第一参数指定用于与所述混合工作站交互的第一界面或用于与所述混合工作站交互的第二界面，所述第一界面包括包含监视器和输入装置的二维(2D)界面，并且所述第二界面包括包含虚拟现实(VR)头戴式设备和VR控制器的三维(3D)界面；
响应于检测到所述第一参数已经改变，确定所述混合工作站从所述第一状态到第二状态的第一转换；
识别与所述第一转换相对应的第一转换响应；以及
在所述第一界面或所述第二界面中的至少一个上执行所述第一转换响应。
20.如权利要求19所述的混合工作站，其中
所述监视器显示用户界面且所述输入装置与所述用户界面交互；并且
所述虚拟现实(VR)头戴式设备显示VR场景且所述VR控制器与所述VR场景交互。
CN202111029130.4A 2020-09-02 2021-09-01 混合虚拟现实桌面计算环境中的状态之间的转换 Pending CN114138106A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063073899P 2020-09-02 2020-09-02
US63/073,899 2020-09-02
US17/379,640 US11893206B2 (en) 2020-09-02 2021-07-19 Transitions between states in a hybrid virtual reality desktop computing environment
US17/379,640 2021-07-19

Publications (1)

Publication Number Publication Date
CN114138106A true CN114138106A (zh) 2022-03-04

Family

ID=80221794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111029130.4A Pending CN114138106A (zh) 2020-09-02 2021-09-01 混合虚拟现实桌面计算环境中的状态之间的转换

Country Status (3)

Country Link
US (1) US11893206B2 (zh)
CN (1) CN114138106A (zh)
DE (1) DE102021122362A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11302085B2 (en) 2020-09-15 2022-04-12 Facebook Technologies, Llc Artificial reality collaborative working environments
US11854230B2 (en) 2020-12-01 2023-12-26 Meta Platforms Technologies, Llc Physical keyboard tracking
US20230388357A1 (en) * 2022-05-25 2023-11-30 Microsoft Technology Licensing, Llc 2d and 3d transitions for renderings of users participating in communication sessions

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081002A (zh) * 2010-08-10 2013-05-01 索尼公司 2d到3d用户界面内容数据转换
CN106502396A (zh) * 2016-10-20 2017-03-15 网易（杭州）网络有限公司 虚拟现实系统、基于虚拟现实的交互方法及装置
CN106662924A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 桌面与虚拟世界之间的鼠标共享
CN107248193A (zh) * 2017-05-22 2017-10-13 北京红马传媒文化发展有限公司 二维平面与虚拟现实场景进行切换的方法、系统及装置
US20190332189A1 (en) * 2018-04-25 2019-10-31 Microsoft Technology Licensing, Llc Systems and methods for unifying two-dimensional and three-dimensional interfaces
CN111142669A (zh) * 2019-12-28 2020-05-12 上海米哈游天命科技有限公司 二维界面到三维场景的交互方法、装置、设备及存储介质
CN111459266A (zh) * 2020-03-02 2020-07-28 重庆爱奇艺智能科技有限公司 一种在虚拟现实的3d场景中操作2d应用的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US20240077939A9 (en) * 2016-04-21 2024-03-07 Maximilian Ralph Peter von und zu Liechtenstein Apparatus und Method for Rendering a Virtual Monitor on Smart Ophthalmic Devices in Augmented Reality Environments
US20180024631A1 (en) * 2016-07-21 2018-01-25 Aivia, Inc. Interactive Display System with Eye Tracking to Display Content According to Subject's Interest
US10438394B2 (en) * 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081002A (zh) * 2010-08-10 2013-05-01 索尼公司 2d到3d用户界面内容数据转换
CN106662924A (zh) * 2014-07-25 2017-05-10 微软技术许可有限责任公司 桌面与虚拟世界之间的鼠标共享
CN106502396A (zh) * 2016-10-20 2017-03-15 网易（杭州）网络有限公司 虚拟现实系统、基于虚拟现实的交互方法及装置
CN107248193A (zh) * 2017-05-22 2017-10-13 北京红马传媒文化发展有限公司 二维平面与虚拟现实场景进行切换的方法、系统及装置
US20190332189A1 (en) * 2018-04-25 2019-10-31 Microsoft Technology Licensing, Llc Systems and methods for unifying two-dimensional and three-dimensional interfaces
CN111142669A (zh) * 2019-12-28 2020-05-12 上海米哈游天命科技有限公司 二维界面到三维场景的交互方法、装置、设备及存储介质
CN111459266A (zh) * 2020-03-02 2020-07-28 重庆爱奇艺智能科技有限公司 一种在虚拟现实的3d场景中操作2d应用的方法和装置

Also Published As

Publication number Publication date
US11893206B2 (en) 2024-02-06
DE102021122362A1 (de) 2022-03-03
US20220066620A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
Reipschläger et al. Designar: Immersive 3d-modeling combining augmented reality with interactive displays
US10489978B2 (en) System and method for displaying computer-based content in a virtual or augmented environment
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
US11893206B2 (en) Transitions between states in a hybrid virtual reality desktop computing environment
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
Ren et al. 3D selection with freehand gesture
Argelaguet et al. A survey of 3D object selection techniques for virtual environments
Forlines et al. Hybridpointing: fluid switching between absolute and relative pointing with a direct input device
Coffey et al. Interactive slice WIM: Navigating and interrogating volume data sets using a multisurface, multitouch VR interface
Millette et al. DualCAD: integrating augmented reality with a desktop GUI and smartphone interaction
US6091410A (en) Avatar pointing mode
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
KR101890459B1 (ko) 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
Stuerzlinger et al. The value of constraints for 3D user interfaces
KR20190009846A (ko) 원격 호버 터치 시스템 및 방법
Simeone et al. Feet movement in desktop 3D interaction
Kolsch et al. Multimodal interaction with a wearable augmented reality system
CN103793060A (zh) 一种用户交互系统和方法
US9841821B2 (en) Methods for automatically assessing user handedness in computer systems and the utilization of such information
Shiratuddin et al. Non-contact multi-hand gestures interaction techniques for architectural design in a virtual environment
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
Bogdan et al. HybridSpace: Integrating 3D freehand input and stereo viewing into traditional desktop applications
ElSayed et al. Context-aware design pattern for situated analytics: Blended Model View Controller
KR20160041898A (ko) 규정된 크로스 컨트롤 거동을 이용한 저감된 제어 응답 레이턴시

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination