CN116075277A - 控制混合现实应用中的2d屏幕接口应用 - Google Patents

控制混合现实应用中的2d屏幕接口应用 Download PDF

Info

Publication number
CN116075277A
CN116075277A CN202180061658.1A CN202180061658A CN116075277A CN 116075277 A CN116075277 A CN 116075277A CN 202180061658 A CN202180061658 A CN 202180061658A CN 116075277 A CN116075277 A CN 116075277A
Authority
CN
China
Prior art keywords
application
mixed reality
user
interface
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180061658.1A
Other languages
English (en)
Inventor
P·J·小基南
M·L·弗莱克斯曼
B·J-D·B·M·莫里
A·S·潘斯
P·E·韦布
R·维克范杜瓦耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116075277A publication Critical patent/CN116075277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及控制混合现实应用中的2D应用。为了在医学人员的操作设备和装备方面提供进一步的简化，提供了一种用于控制混合现实应用中的2D应用的设备(10)。所述设备包括2D应用接口(12)、处理器(14)、混合现实应用接口(16)和控制接口(18)。所述2D应用接口接收表示2D应用的数据。所述应用包括提供用于所述2D应用的用户控制的命令的交互元素。所述处理器基于表示所述2D应用的数据来识别并提取所述交互元素。所述处理器还将所述交互元素转换为混合现实显示应用的用户接口特征。所述处理器还生成用于呈现所述混合现实显示应用的数据，并且将用户输入映射到用于所述2D应用的用户控制的命令。所述混合现实应用接口将所述混合现实显示应用作为混合现实提供给用户。所述控制接口从所述用户接收针对所述用户接口特征的输入，并且向所述2D应用提供所述命令，以便控制所述2D应用。因此，增强现实接口被映射到常规2D屏幕接口。这允许集成仅在监测器上提供与鼠标等的交互的应用，以在现今的增强现实环境中操作。

Description

控制混合现实应用中的2D屏幕接口应用
技术领域
本发明涉及一种用于控制混合现实应用中的2D应用的设备、一种用于控制混合现实应用中的2D应用的系统以及一种用于控制混合现实应用中的2D应用的方法。
背景技术
在医学环境中，与常规2D接口相比较，可穿戴增强现实为用户接口启用了新的机会。然而，这些增强现实接口要求特定的输入和设计要求，以便与先前的2D接口相比较是直观的。已经表明，常规2D接口未集成到增强现实工具中。这添加到操作室中的增加的复杂性。其还添加到用户的操作任务的复杂性。
发明内容
因此，可能需要在医学人员的操作设备和装备方面提供进一步的简化。
本发明的目标由独立权利要求的主题解决；其他实施例被并入在从属权利要求中。应当注意，本发明的以下描述的方面也适用于用于控制混合现实应用中的2D应用的设备、用于控制混合现实应用中的2D应用的系统以及用于控制混合现实应用中的2D应用的方法。
根据本发明，提供了一种用于控制混合现实应用中的2D应用的设备。所述设备包括：2D应用接口；处理器；混合现实应用接口；以及控制接口。所述2D应用接口被配置为接收表示2D应用的数据。所述2D应用包括提供用于对所述2D应用的用户控制的命令的交互元素。所述处理器被配置为基于表示所述2D应用的所述数据来识别并提取所述交互元素。所述处理器还被配置为将所述交互元素转换为混合现实显示应用的用户接口特征。所述处理器还被配置为生成用于呈现所述混合现实显示应用的数据。所述处理器还被配置为将用户输入映射到用于对所述2D应用的用户控制的命令。所述混合现实应用接口被配置为将所述混合现实显示应用作为混合现实提供给用户。所述控制接口被配置为从所述用户接收针对所述用户接口特征的输入。所述控制接口还被配置为向所述2D应用提供所述命令，以便控制所述2D应用。
因此，例如，可能将基于2D屏幕的接口流式传输到增强现实环境中，而增强现实特异性输入基于从2D接口提取的特征。从2D接口(包括第三方应用)提取用户接口信息，以用于在增强现实应用内创建增强的交互。
根据示例，所述2D应用接口被配置为接收：用于在监测器上呈现所述2D应用的显示数据，或者采集对所述2D应用的呈现的图像数据的相机的图像的序列。
根据示例，针对所述识别和所述提取，所述处理器被配置为提供交互元素识别例程，所述交互元素识别例程包括具有以下各项的组中的至少一项：基于对所述2D应用的图像处理来检测交互特征；当跨所述2D应用呈现移动位置指示符时检测变化；记录所述用户在所述2D应用呈现中的交互活动的位置；以及提供包括交互活动的训练数据集，并且基于对所述训练数据集的机器学习来识别交互元素。
根据示例，所述处理器被配置为围绕所识别的交互元素创建碰撞器，以用于将所述交互元素转换为所述用户接口特征。所述碰撞器启用了多个3D反馈特征。
根据本发明，还提供了一种用于控制混合现实应用中的2D应用的系统。所述系统包括：根据前述示例中的一项的用于控制混合现实应用中的2D应用的设备。所述系统还包括：混合现实呈现装置，其被数据连接到用于控制混合现实应用中的2D应用的设备。所述混合现实呈现装置包括呈现设备，所述呈现设备被配置为将所述混合现实显示应用作为混合现实呈现给用户。所述混合现实呈现装置还包括用户输入设备。
根据示例，所述混合现实呈现装置是包括可穿戴增强现实设备的增强现实呈现装置。在额外地或备选地提供的选项中，提供了头戴式显示器，其被配置为将所述混合现实显示应用呈现为对现实的叠加。
根据示例，所述混合现实呈现装置是包括可穿戴混合现实设备的混合现实呈现装置。在额外地或备选地提供的选项中，提供了头戴式显示器，其被配置为呈现所述虚拟现实显示应用。
根据示例，所述混合现实呈现装置是包括可穿戴虚拟现实设备的虚拟现实呈现装置。在额外地或备选地提供的选项中，提供了头戴式显示器，其被配置为呈现所述虚拟现实显示应用。
根据示例，提供了监测器，其被配置为呈现所述2D应用。在额外地或备选地提供的选项中，接口被提供以将用户交互数据转发到所述2D应用。所述用户交互数据是由所述混合现实呈现装置的所述用户输入设备提供的。
根据本发明，还提供了一种用于控制混合现实应用中的2D应用的方法。所述方法包括以下步骤：
-接收表示2D应用的数据，其中，2D图形用户接口包括提供用于对所述2D应用的用户控制的命令的交互元素；
-基于表示所述2D应用的所述数据来识别并提取所述交互元素；
-将所述交互元素转换为混合现实显示应用的用户接口特征；
-生成并提供用于将所述混合现实显示应用作为混合现实呈现给用户的数据，其中，所述混合现实显示应用包括对所述2D应用的呈现；
-从所述用户接收针对所述用户接口特征的输入；
-将所述用户输入映射到用于对所述2D应用的用户控制的命令；并且
-向所述2D应用提供所述命令，以便控制所述2D应用。
在方面中，用于所述2D应用的呈现的数据用于提取通常作为2D呈现显示给所述用户的相应用户接口元素。2D世界的接口元素被转换为混合现实世界的用户接口特征。所述用户在混合现实世界中提供输入，并且所述输入被映射回2D世界中以控制所述2D应用。
基本上，提供了一种程序，该程序使用输入系统来模拟用户输入以检测来自2D屏幕的可交互接口，而不与现有软件集成。换句话说，输入系统用于模拟用户输入以检测来自2D屏幕的可交互接口，而不在软件级别处与可交互源集成。
在方面中，增强现实的使用被应用于显示屏幕，并且提供与这些屏幕的交互。使用领域的示例是医疗保健，例如在可穿戴增强现实设备和其他2D应用的应用的背景下。
根据方面，一种用于控制混合现实应用中的2D应用的设备被提供有2D应用接口、处理器、混合现实应用接口和控制接口。所述2D应用接口接收表示2D应用的数据。所述应用包括提供用于对所述2D应用的用户控制的命令的交互元素。所述处理器基于表示所述2D应用的数据来识别并提取所述交互元素。所述处理器还将所述交互元素转换为混合现实显示应用的用户接口特征。所述处理器还生成用于呈现所述混合现实显示应用的数据，并且将用户输入映射到用于对所述2D应用的用户控制的命令。所述混合现实应用接口将所述混合现实显示应用作为混合现实提供给用户。所述控制接口从所述用户接收针对所述用户接口特征的输入，并且向所述2D应用提供所述命令，以便控制所述2D应用。因此，增强现实接口被映射到常规2D屏幕接口。这允许集成仅在监测器上提供与鼠标等交互的应用，以便在现今的增强现实环境中操作。
将所述2D应用集成到混合或增强现实中例如适合于介入引导式治疗系统。
本发明的这些和其他方面将参考在下文中所描述的实施例而显而易见并且得到阐述。
附图说明
下面将参考以下附图描述本发明的示例性实施例：
图1示意性地示出了用于控制混合现实应用中的2D应用的设备的示例。
图2示意性地示出了用于控制混合现实应用中的2D应用的系统的示例。
图3示出了用于控制混合现实应用中的2D应用的方法的示例的基本步骤。
图4图示了操作室中的场景以及用于控制混合现实应用中的2D应用的系统的使用。
图5示意性地示出了用于控制混合现实应用中的2D应用的另外的设置。
图6示意性地示出了用于控制混合现实应用中的2D应用的另一设置。
图7图示了具有以亮线的框示出的碰撞器的增强的增强现实用户接口的示例。
图8图示了将用户接口元素转换为增强现实用户接口元素的示例。
图9图示了左部分中的2D屏幕用户接口、中间部分中的转换为增强碰撞器的提取按钮位置和右部分中的用于眼睛注视的最小按钮间距要求的增强现实用户接口设计规则。
具体实施方式
现在将参考附图来更详细地描述某些实施例。在下面的描述中，即使在不同的附图中，相同的附图标记也用于相同的元件。提供了描述中定义的事项(例如，详细构造和元件)以帮助全面理解示例性实施例。而且，不详细描述公知的功能或构造，因为它们将以不必要的细节模糊实施例。此外，诸如“中的至少一项”之类的表达在元件列表之前时会修改整个元件列表，而不会修改列表中的个体元件。
图1示意性地示出了用于控制混合现实应用中的2D应用的设备10的示例。设备10包括2D应用接口12、处理器14、混合现实应用接口16和控制接口18。2D应用接口12被配置为接收表示2D应用的数据。2D应用包括提供用于2D应用的用户控制的命令的交互元素。处理器14被配置为基于表示2D应用的数据来识别并提取交互元素。处理器14还被配置为将交互元素转换为混合现实显示应用的用户接口特征。处理器14还被配置为生成用于呈现混合现实显示应用的数据；并且将用户输入映射到用于2D应用的用户控制的命令。混合现实应用接口16被配置为将混合现实显示应用作为混合现实提供给用户。控制接口18被配置为从用户接收用于用户接口特征的输入。控制接口18还被配置为向2D应用提供命令，以便控制2D应用。
2D应用接口12、处理器14、混合现实应用接口16和控制接口18可以被提供为集成在如利用框架20所指示的公共结构中。然而，它们也可以作为分离的组件提供。
第一虚(hashed)箭头指示来自正进入2D应用接口12的2D应用的提供或供应。
第二虚箭头指示从混合现实应用接口16到混合现实显示应用的输出，其被指示为具有第一虚框架26的选项。
第二虚框架28指示用户输入设备作为选项。第三虚箭头30指示从用户输入设备到控制接口18的提供。
2D应用接口涉及用于提供用于呈现2D应用的2D应用的数据的输入接口。2D应用接口也可以被称为2D显示应用接口或2D应用接口输入。2D应用接口也可以被称为屏幕接口或监测器接口。
2D应用接口可以被提供为从本地2D应用获取屏幕内容并将其发送到增强现实应用的接口。这可以作为帧抓取器或经由专有数据接口实现。
处理器提供数据处理。处理器也可以被称为计算装置或控制器。
在示例中，处理器执行以下关键任务：识别本地应用屏幕中的用户交互元素，将这些用户交互元素转换为具有预定义碰撞器的增强现实用户交互元素，并且基于增强现实用户交互规则设置碰撞器的性质。作为选项，处理器还执行将朝向增强现实用户交互元素的用户输入映射为可反馈给本地应用的输入。
混合现实应用接口涉及用于提供用于呈现混合现实显示应用的数据的输出接口。混合现实应用接口也可以被称为混合现实显示数据供应或混合现实呈现输出。
控制接口涉及用于来自用户的用于用户接口特征的输入的输入接口。控制接口还涉及针对用于控制应用的命令的输出接口。因此，控制接口在两个方向上提供接口功能：从用户朝向混合现实应用接口，以及从混合现实应用(以及该从用户)到2D应用。
控制接口或用户接口控制器可以被提供为作为增强现实应用的一部分的应用，该应用从本地2D应用屏幕提取用户交互特征并将其转换为增强现实显示用户交互特征。类似地，用户交互控制器可以经由控制接口将增强现实显示用户交互命令映射回用于本地2D应用的命令。
控制接口可以被提供为可以将用户命令输入回本地2D应用的接口。这可以经由鼠标控制(位置和按钮向下/向上)、键盘输入、触摸屏输入、语音输入等实现。
在示例中，混合现实涉及增强现实，该增强现实包括用额外信息增强的现实视图。
在示例中，混合现实涉及增强虚拟，该增强虚拟包括用额外信息增强的虚拟视图。
在示例中，混合现实涉及包括虚拟视图的虚拟现实。
表示2D应用的数据也可以被称为表示2D应用的2D图形用户接口的数据。
2D应用也可以被称为本地应用或2D传统内容。
在示例中，2D应用利用常规2D屏幕和接口运行，诸如回声导航器、介入超声、血液动力学、Azurion Image Review和第三方应用，诸如光学相干断层摄影、电生理标测等。
在示例中，提供2D应用作为在2D显示器上显示的应用。然而，例如，提供2D显示器还显示多维数据。
诸如增强现实应用或虚拟现实应用的混合现实应用可以被提供为生成在增强现实显示器上显示的内容的应用。该应用可以驻留在增强现实显示器本身上，或者驻留在向显示器发送内容的单独计算设备上。
在示例中，本地应用经由与增强现实应用的接口发送图像并接收用户输入。增强现实应用具有用户交互控制器，其负责从本地应用屏幕提取用户交互特征，并且然后将其转换为增强现实显示用户交互特征。用户交互控制器还经由控制接口将增强现实交互映射回用于本地应用的命令。
在示例中，设备提供对2D应用及其交互可能性的分析，并且然后转换为手势。
在示例中，提供了考虑当前背景的手势。例如，提供操作的背景作为输入以确定与用户交互相关的手势或不太适合用户交互的手势。
作为示例(未进一步图示)，提供了，2D应用接口被配置为接收：i)用于在监测器上呈现2D应用的显示数据；或ii)采集2D应用的呈现的图像数据的相机的图像的序列。
作为示例(未进一步图示)，为了识别并提取，提供了，处理器14被配置为提供交互元素识别例程，该例程包括以下组中的至少一项：基于2D应用的图像处理来检测交互特征；当跨2D应用呈现移动位置指示符时检测变化；记录由用户在2D应用呈现中的交互活动的位置；并且提供包括交互活动的训练数据集，并且基于训练数据集的机器学习来识别交互元素。
为了创建自定义增强现实用户交互元素，必须识别本地应用中的用户交互元素。
在示例中，本地应用向增强现实应用发送关于其用户交互元素的信息。
在另一示例中，处理器为其遇到的任何本地应用运行用户交互识别例程。每当处理器看到输入屏幕的变化时，都可以运行该初始化例程。该初始化例程也可以在增强现实应用和/或本地应用的启动时运行。该初始化例程也可以作为校准步骤周期性地运行。
在另一示例中，用户交互控制器基于用户正在观看屏幕或与屏幕交互的位置实时运行用户交互识别例程。
用户交互或用户接口识别例程可以以多种方式实现：
在第一示例中，提供图像处理以检测如由2D应用提供的显示内容中的按钮状特征。例如，在图像内容中检测边缘、按钮的颜色的变化等。图像内容是指屏幕上的内容的呈现。图像内容还可以是指如由2D应用提供的用于在屏幕上呈现的图像数据。
在第二示例中，提供了跨像素移动鼠标并且查找接口中的变化的例程。可以自动提供鼠标移动。变化是指例如用于向用户指示用户交互可能性的常见的视觉变化。再次，这可以在如监测器上所示的呈现上完成，或者基于如由应用所提供的数据。
在第三示例中，提供了一种使用机器学习来基于由用户与接口交互的点击组成的训练数据集来识别按钮的例程。
在第四示例中，提供了一种随着时间记录由用户对按钮点击的位置并回忆这些按钮点击关于屏幕显示的位置的例程。
图2示意性地示出了用于控制混合现实应用中的2D应用的系统100的示例。系统100包括根据上文和下文所描述的示例之一的用于控制混合现实应用中的2D应用的设备10的示例。系统100还包括混合现实呈现装置102，其被数据连接到用于控制混合现实应用中的2D应用的设备。混合现实呈现装置102包括呈现设备104，其被配置为将混合现实显示应用作为混合现实呈现给用户。混合现实呈现装置104还包括用户输入设备106。
作为示例，2D屏幕可以连同增强现实可穿戴物一起用于图像引导式治疗中，这提高了介入套件内的人体工程学和灵活性。房间内的工作人员可以维持依赖于2D屏幕，诸如Flexvision，以便从房间中的系统接收信息。然而，通过将它们的信息呈现和交互转移到增强现实中，这些屏幕可以被移到一边，或者甚至可以被省略，使得它们不再占用房间中的空间，并且也不再需要它们的位置说明无菌性以及多个工作人员和其他装备的位置。在增强现实中提供屏幕使得工作人员能够在更灵活的环境中工作，因为他们不限于在尴尬和次优的位置处查看屏幕。因此，增强现实世界中的2D屏幕内容的组合促进针对工作人员成员的工作。而且，可以避免向房间添加多个屏幕。这些有利的效果是经由增强现实可穿戴物通过虚拟屏幕可视化信息而引起的，这减轻了迄今为止经历的麻烦问题。
经由增强现实可穿戴物通过虚拟屏幕对信息的可视化连同反馈和交互可能性一起解决了对向用户提供用于可视化的柔性屏幕的需要，以用于改进介入套件中的人体工程学和灵活性。经由增强现实可穿戴物通过虚拟屏幕对信息的可视化连同反馈和交互可能性一起还解决了对与这些信息流交互的需要。针对用户接口的示例是触摸屏模块、桌边控制器或鼠标和键盘形式的常规接口。
在未进一步示出的示例中，混合现实呈现包括2D应用的呈现。
图3示出了用于控制混合现实应用中的2D应用的方法200的示例的基本步骤。方法200包括以下步骤：在第一步骤202中，接收表示2D应用的数据。2D图形用户接口包括提供用于2D应用的用户控制的命令的交互元素。在第二步骤204中，基于表示2D应用的数据来识别并提取交互元素。在第三步骤206中，将交互元素转换为混合现实显示应用的用户接口特征。在第四步骤208中，生成用于向用户呈现混合现实显示应用的数据并将其作为混合现实被提供。混合现实显示应用包括2D应用的呈现。在第五步骤210中，接收来自用户的用于用户接口特征的输入。在第六步骤212中，将用户输入映射到用于2D应用的用户控制的命令。在第七步骤214中，将命令提供给2D应用以便控制2D应用。
作为图3中用虚线所指示的选项，还提供了第八步骤216：提供包括用户接口特征的混合现实显示应用的呈现。用户输入基于混合现实显示应用的呈现。
在示例中，提供了将交互移动到空间中的任何地方，并且其不限于屏幕上正在流式传输到耳机的交互元素。
在未进一步详细示出的示例中，将交互元素转换为用户接口特征包括在所识别的交互元素周围创建碰撞器。碰撞器启用了多个3D反馈特征。
在示例中，表示2D应用的数据包括用于在监测器上呈现2D应用的显示数据。
在示例中，表示2D应用的数据被提供为采集2D应用的呈现的图像数据的相机的图像的序列。
在示例中，为了识别并提取，提供了交互元素识别例程，该例程包括包含以下项的组中的一项或多项：
-基于所显示的2D应用的图像处理来检测按钮状特征；
-跨2D应用的呈现移动鼠标指针等，并且检测2D图形用户接口中的变化；
-记录由用户在2D图形用户接口中的按钮点击的位置，并且回忆这些按钮关于2D显示器的位置；
-提供包括用户与交互元素交互的点击的训练数据集，并且基于训练数据集的机器学习来识别交互元素。
增强现实通常是指何时实况图像流利用额外的计算机生成的信息补充。实况图像流可以经由眼睛、相机、智能电话、平板电脑等。该图像流经由向用户显示来增强，该显示可以经由眼镜、隐形眼镜、投影或在实况图像流设备本身(智能电话、平板电脑等)上完成。本示例可以应用于在真实世界上叠加虚拟对象的增强现实的任何实现方式。原则上，这也可以扩展到虚拟现实。针对增强现实设备或虚拟现实设备的示例包括Mircrosoft的Hololens、或来自Magic Leap、Vusix或nReal的设备。
处理器(也被称为用户交互控制器或用户接口控制器)提供2D应用的交互元素到混合现实显示应用的用户接口特征的转换。
作为示例，碰撞器围绕屏幕中的用户交互对象创建。然后，这些碰撞器可以被用于启用多个增强现实用户交互特征。例如，光标样式在用户交互元素上时改变。另一示例是在悬停、点击或触摸用户交互元素时向用户提供音频反馈。另一示例是在用户悬停、点击或触摸用户交互元素时向用户提供视觉反馈。示例还是例如经由增强现实接口向用户提供触觉反馈，指示他们正在与用户交互元素交互。
又一示例是当用户与用户交互元素交互时放大交互元素，如按钮。例如，还可以提供其以允许用户与2D元素进行直接触摸3D交互，例如直接触摸按钮的“按压”。
另一示例是提供注视控制并实现停留按钮按压功能。对于眼睛注视，处理器可以提供元素之间的最小间隔，以促进由用户进行控制。
因此，处理器将为2D屏幕和与鼠标和键盘的交互而设计的用户接口转换为可以容纳手势、眼睛注视、头部交互、语音命令等的用户接口。
处理器可以被提供有增强现实用户接口设计规则，诸如有助于基于眼睛注视的按钮选择的碰撞器之间的最小间隔。针对增强现实用户接口设计规则的另一示例是提供碰撞器的深度，例如，其可以被提供用于需要3D深度以允许交互的直接触摸交互2D碰撞器。作为进一步的规则，可以确定按钮的最小或最大大小。例如，按钮必须具有最小大小，以使得一些人能够利用眼睛注视或头部姿势选择它。最小大小还取决于按钮离用户多么远。另一规则能够是提供重力井，这有助于眼睛注视，其中，重力井可以使从一个按钮看向相邻的按钮更困难。这有助于保持对选择的对象的注视，并且避免对象之间的闪烁。
示例是进一步提供头部姿势控制和标签按钮按压。
映射涉及朝向增强现实用户交互元素分配用户输入并将其转换为可以反馈给本地应用的输入。例如，如果本地应用可以仅接受鼠标位置和状态(上/下)，那么处理器必须将增强现实用户交互映射到那些简化的交互中。作为示例，用户可以通过头部姿势射线投影到2D虚拟屏幕上来控制鼠标位置，并且为了向上或向下移动鼠标，可以使用捏手势状态，或使用语音命令“鼠标向下”、“鼠标向上”或“选择”。针对鼠标位置的另一示例是使用到2D虚拟屏幕上的眼睛注视射线投影。为了进一步的改进，可以提供提供三秒钟的停留时间。又一示例是使用映射到像素位置的语音命令。为了向上或向下移动鼠标，可以应用按钮的语音命令。另一示例是提供按钮碰撞器，并且为了移动鼠标，提供了食指位置与按钮碰撞器之间的碰撞。
在另一选项中，通过生成语音命令并将其映射到屏幕中的特定像素位置来提供增强现实用户交互元素。这可以通过解析显现鼠标在一些接口上的“标签”来提供。这也可以通过解析如接口上显现的按钮名称来提供。这也可以通过允许用户标记增强现实用户交互按钮来提供，例如，看着它并说：创建语音标签“暂停”，或者通过单独的离线增强现实用户交互工具，该工具允许用户描绘按钮并填充用于该按钮的语音命令列表。这也可以通过具有可以从本地应用发送语音标签到像素映射的接口来提供。这也可以通过具有接口来提供，该接口可以向重复的按钮按压的序列创建语音标签。例如，在存在下一帧按钮的图像审查屏幕的情况下，新的语音标签“跳过五帧”推断按压下一帧按钮五次。
在方面中，用于2D应用的呈现的数据用于提取通常作为2D呈现显示给用户的相应用户接口元素。2D世界的接口元素被转换为混合现实世界的用户接口特征。用户在混合现实世界中提供输入，并且输入被映射回到2D世界中以控制2D应用。
基本上，提供了一种程序，该程序使用输入系统来模拟用户输入以检测来自2D屏幕的可交互接口，而不与现有软件集成。换句话说，输入系统用于模拟用户输入以检测来自2D屏幕的可交互接口，而不在软件级别与可交互源集成。
在方面中，增强现实的使用被应用于显示屏幕，并且提供与这些屏幕的交互。使用领域的示例是医疗保健，例如在可穿戴增强现实设备的背景和其他2D应用的应用中。
将2D应用集成到混合或增强现实中例如适合于介入引导式治疗系统。
图4图示了操作室中的场景300以及用于控制混合现实应用中的2D应用的系统的使用。受检者302被布置在受检者支撑体上。可以提供X射线成像系统304，诸如C形臂成像系统。在背景中提供监测器装置306，其示出了具有鼠标等形式的接口的选项的常规2D应用的内容。第一工作人员成员穿戴第一头戴式增强现实设备308。以增强现实呈现310的形式向第一用户提供2D应用的内容，并且第一用户与增强现实设备交互并因此利用增强现实设备控制2D应用。在选项中，省略背景中的监测器。作为选项，第二工作人员成员穿戴第二头戴式增强现实设备312。以增强现实呈现314的形式向第二用户提供2D应用的相同或不同内容，并且第二用户与增强现实设备交互并因此利用增强现实设备控制2D应用。
在选项中，混合现实呈现装置是包括可穿戴增强现实设备的增强现实呈现装置。作为选项，提供如第一头戴式增强现实设备308或第二头戴式加强现实设备312的头戴式显示器，其被配置为将混合现实显示应用呈现为对现实的叠加。
针对增强现实显示器的示例是由介入套件中的至少一个人穿戴的头戴式显示器。这可以备选地是透明屏幕，诸如使用铅屏蔽的平视显示器。这也能够类似于RealView全息显示。另一选项是虚拟现实显示。
在示例中，提供HoloLens以显示虚拟屏幕。生成虚拟屏幕的内容的增强现实应用包括帧抓取器，其经由DVI输出接口抓取来自本地应用的屏幕输出。用户交互控制器解释来自帧抓取器的虚拟屏幕，并且生成额外的用户交互元素，诸如特定于增强现实的碰撞器和用户交互规则。用户交互控制器将用户输入转换成虚拟屏幕，并且将其映射到本地应用的鼠标输入。
在额外地或备选地提供的选项中，混合现实呈现装置是包括可穿戴虚拟现实设备的虚拟现实呈现装置。作为选项，提供了头戴式显示器，其被配置为呈现虚拟现实显示应用。
在系统的选项中，增强现实呈现装置的示例由至少一个工作人员成员使用，并且虚拟现实呈现装置的示例由至少一个另外的工作人员使用。
作为示例(未进一步详细示出)，提供了如监测器装置306的监测器，其被配置为呈现2D应用。作为选项，提供接口以将用户交互数据转发到2D应用。用户交互数据由混合现实呈现装置的用户输入设备提供。
在增强现实应用的情况下，在示例中，提供了呈现混合现实显示应用，使得其与示出真实2D应用的监测器叠加。
在虚拟现实应用的情况下，在示例中，提供了在虚拟世界中以与现实中相同的空间位置(在虚拟呈现中所示的房间的背景内)呈现监测器的呈现。
作为示例，为混合现实呈现装置中的用户交互提供包括以下项的组中的至少一项：手势识别，其包括移动图腾的识别；语音命令；头部跟踪；眼睛跟踪；以及外部设备，其包括控制器、遥控器和键盘。
图5示意性地示出了用于控制混合现实应用中的2D应用的另外的设置400。指示了计算机-监测器装置402。提供本地应用404以在计算机-监测器装置402上运行。头戴式增强现实设备406被指示用于运行增强现实应用408。提供了用户交互(或用户接口)控制器410。第一箭头412指示屏幕接口，并且第二箭头414指示控制接口。
图6示意性地示出了用于控制混合现实应用中的2D应用的另一设置500。指示了计算机-监测器装置502。提供本地应用504以在计算机-监测器装置502上运行。提供了显示视频输出506和鼠标输入508。此外，头戴式增强现实设备510被指示用于运行增强现实应用512。提供了用户交互(或用户接口)控制器514。此外，指示了帧抓取器516和虚拟屏幕518。第一箭头520指示从显示视频输出506到帧抓取器516的第一接口；并且第二箭头522指示从用户交互控制器514到鼠标输入508的第二接口。在用户交互控制器514与虚拟屏幕518之间指示第二双向接口524。另一箭头526指示Fran抓取器516与虚拟屏幕518之间的接口。又一箭头528指示帧抓取器516与用户交互控制器514之间的接口。
图7图示了具有以针对2D应用的相应用户接口部分的亮线的框示出的碰撞器602、604和606的增强的增强现实用户接口600的示例。
图8图示了具有将用户接口元素转换为增强现实用户接口元素702、704和706的示例的用户接口700。
图9图示了左部分中的2D屏幕用户接口800、中间部分800’中转换为增强碰撞器的提取的按钮位置和右部分800”中针对眼睛注视的最小按钮间隔要求的增强现实用户接口设计规则。
作为示例(未进一步图示)，处理器被配置为围绕所识别的交互元素创建碰撞器，用于将交互元素转换为用户接口特征。碰撞器启用了多个3D反馈特征。
在选项中，处理器被配置为在所识别的交互元素处提供重力井，以帮助用户将眼睛注视保持到交互元素的位置上。
可穿戴增强现实为用户提供了一组独特的交互。通过将与2D应用的交互转移到增强现实(或混合现实)中，与传统2D内容交互是可能的。尽管屏幕被流式传输到增强现实应用中而不伴随关于可用交互和用户接口元素的信息，但是用户可以与该屏幕交互，例如，间接地按压按钮。转移提供了增强现实环境内的交互器的位置的知识，这增加了系统的功能性和实际可用性。作为示例，启用了眼睛跟踪交互。作为改进，可以创建重力井，其帮助用户将其注视保持到特定位置上，以便通过眼睛注视来选择或点击某个东西。基于重力井应驻留在接口内何处的知识，这种类型的功能也在选项中提供。
基于将2D应用的用户接口交互器识别并提取到增强现实应用中，第三方接口和交互器可以被集成到增强现实系统中。识别并提取还确保2D应用接口的更新以及该特定接口的所有可能配置也反映在增强现实应用中。
识别和提取提供了从2D接口动态提取信息，并且使用该信息来增强的增强现实交互。这启用了多种交互类型，例如眼睛注视，并且因此改善了用户体验，增加了交互的效率，并且减少了在与2D系统交互时的差错。
术语“受检者”也可以被称为个体。“受检者”也可以进一步称为患者，但是应注意，该术语并不指示受检者是否实际患有任何疾病或病。
在示例中，提供了用于控制根据上述示例之一的设备的计算机程序或程序单元，当由处理单元执行时，该程序或程序单元适于执行上述方法示例之一的方法步骤。在本发明的另一示范性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于适于在适当的系统上执行根据前面的实施例之一所述的方法的方法步骤。
因此，所述计算机程序单元可以被存储在计算机单元上或分布在多于一个计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，其可以适于操作以上描述的装置的部件。所述计算单元能够适于自动地操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。所述数据处理器由此可以被装备为执行本发明的方法。
本发明的各个方面可以被实施在计算机程序产品中，该计算机程序产品可以是在计算机可读存储设备上存储的计算机程序指令的集合，该计算机可读存储设备可以由计算机来运行。本发明的指令可以是任何可解释或可执行代码机制，包括但不限于脚本、可解释程序、动态链接库(DLL)或Java类。指令能够被提供为完整的可执行程序、部分可执行程序，对现有程序的修改(例如，更新)或对现有程序的扩展(例如，插件)。此外，本发明的部分处理可以被分布在多个计算机或处理器上。
如上面所讨论的，处理单元(例如，控制器)实施控制方法。控制器能够用软件和/或硬件以多种方式实施以执行所需的各种功能。处理器是采用一个或多个微处理器的控制器的一个示例，这一个或多个微处理器可以使用软件(例如，微代码)进行编程以执行所需的功能。然而，控制器可以在使用或不使用处理器的情况下实施，并且还可以被实施为用于执行一些功能的专用硬件与用于执行其它功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。
在本公开内容的各种实施例中可以采用的控制器部件的示例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
本发明的该示范性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
更进一步地，所述计算机程序单元能够提供实现如以上所描述的方法的示范性实施例的流程的所有必需步骤。
根据本发明的另一示范性实施例，提出了一种计算机可读介质，例如CD-ROM，其中，所述计算机可读介质具有存储在所述计算机可读介质上的计算机程序单元，所述计算机程序单元由前面部分描述。计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序可也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。
然而，所述计算机程序也可以存在于诸如万维网的网络上并能够从这样的网络中下载到数据处理器的工作存储器中。根据本发明的另一示范性实施例，提供了一种用于使得计算机程序单元可用于下载的介质，其中，所述计算机程序单元被布置为执行根据本发明的之前描述的实施例之一所述的方法。
必须指出，本发明的实施例参考不同主题加以描述。具体而言，一些实施例参考方法类型的权利要求加以描述，而其他实施例参考设备类型的权利要求加以描述。然而，本领域技术人员将从以上和下面的描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而，所有特征能够被组合以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他单元或步骤，并且词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种用于控制混合现实应用中的2D应用的设备(10)，所述设备包括：
-2D应用接口(12)；
-处理器(14)；
-混合现实应用接口(16)；以及
-控制接口(18)；
其中，所述2D应用接口被配置为接收表示2D应用的数据，其中，所述2D应用包括提供用于对所述2D应用的用户控制的命令的交互元素；
其中，所述处理器被配置为：基于表示所述2D应用的所述数据来识别并提取所述交互元素；并且将所述交互元素转换为混合现实显示应用的用户接口特征；并且生成用于呈现所述混合现实显示应用的数据；并且将用户输入映射到用于对所述2D应用的用户控制的命令；
其中，所述混合现实应用接口被配置为将所述混合现实显示应用作为混合现实提供给用户；并且
其中，所述控制接口被配置为从所述用户接收针对所述用户接口特征的输入；并且向所述2D应用提供所述命令，以便控制所述2D应用。
2.根据权利要求1所述的设备，其中，所述2D应用接口被配置为接收：
i)用于在监测器上呈现所述2D应用的显示数据；或者
ii)采集对所述2D应用的呈现的图像数据的相机的图像的序列。
3.根据权利要求1或2所述的设备，其中，针对所述识别和所述提取，所述处理器被配置为提供交互元素识别例程，所述交互元素识别例程包括具有以下各项的组中的至少一项：
-基于对所述2D应用的图像处理来检测交互特征；
-当跨所述2D应用呈现移动位置指示符时检测变化；
-记录所述用户在所述2D应用呈现中的交互活动的位置；以及
-提供包括交互活动的训练数据集，并且基于对所述训练数据集的机器学习来识别交互元素。
4.根据前述权利要求中的一项所述的设备，其中，所述处理器被配置为围绕所识别的交互元素创建碰撞器，以用于将所述交互元素转换为所述用户接口特征；并且
其中，所述碰撞器实现多个3D反馈特征。
5.一种用于控制混合现实应用中的2D应用的系统(100)，包括：
-根据前述权利要求中的一项所述的用于控制混合现实应用中的2D应用的设备(10)；以及
-混合现实呈现装置(102)，其被数据连接到用于控制混合现实应用中的2D应用的设备，
其中，所述混合现实呈现装置包括呈现设备(104)，所述呈现设备被配置为将所述混合现实显示应用作为混合现实呈现给用户；并且
其中，所述混合现实呈现装置包括用户输入设备(106)。
6.根据权利要求5所述的系统，其中，混合现实呈现包括对所述2D应用的呈现。
7.根据权利要求5或6所述的系统，其中，所述混合现实呈现装置是包括可穿戴增强现实设备的增强现实呈现装置；并且
其中，优选地，提供头戴式显示器()，其被配置为将所述混合现实显示应用呈现为对现实的叠加。
8.根据权利要求5或6所述的系统，其中，所述混合现实呈现装置是包括可穿戴虚拟现实设备的虚拟现实呈现装置；并且
其中，优选地，提供头戴式显示器，其被配置为呈现所述虚拟现实显示应用。
9.根据权利要求5至8中的一项所述的系统，其中，提供了监测器，其被配置为呈现所述2D应用；并且
其中，优选地，接口被提供以将用户交互数据转发到所述2D应用；其中，所述用户交互数据是由所述混合现实呈现装置的所述用户输入设备提供的。
10.根据权利要求5至9中的一项所述的系统，其中，以下组中的至少一项被提供用于所述混合现实呈现装置中的用户交互：
-手势识别，其包括对移动图腾的识别；
-语音命令；
-头部跟踪；
-眼睛跟踪；以及
-外部设备，其包括控制器、遥控器和键盘。
11.一种用于控制混合现实应用中的2D应用的方法(20)，所述方法包括以下步骤：
-接收(202)表示2D应用的数据，其中，2D图形用户接口包括提供用于对所述2D应用的用户控制的命令的交互元素；
-基于表示所述2D应用的所述数据来识别并提取(204)所述交互元素；
-将所述交互元素转换(206)为混合现实显示应用的用户接口特征；
-生成并提供(208)用于将所述混合现实显示应用作为混合现实呈现给用户的数据，其中，所述混合现实显示应用包括对所述2D应用的呈现；
-从所述用户接收(210)针对所述用户接口特征的输入；
-将所述用户输入映射(212)到用于对所述2D应用的用户控制的命令；并且
-向所述2D应用提供(214)所述命令，以便控制所述2D应用。
12.根据权利要求11所述的方法，其中，还提供了以下步骤：
-提供(216)对包括所述用户接口特征的所述混合现实显示应用的呈现；
其中，所述用户输入基于对所述混合现实显示应用的所述呈现。
13.根据权利要求11或12所述的方法，其中，将所述交互元素转换为所述用户接口特征包括：在所识别的交互元素周围创建碰撞器；并且
其中，所述碰撞器实现多个3D反馈特征。
14.一种计算机程序，其使得处理器能够执行根据权利要求11至13中的一项所述的方法。
15.一种计算机可读介质，其存储有根据权利要求14所述的程序单元。
CN202180061658.1A 2020-09-08 2021-09-01 控制混合现实应用中的2d屏幕接口应用 Pending CN116075277A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063075749P 2020-09-08 2020-09-08
US63/075,749 2020-09-08
EP20207457.1 2020-11-13
EP20207457.1A EP3964929A1 (en) 2020-09-08 2020-11-13 Controlling a 2d screen interface application in a mixed reality application
PCT/EP2021/074087 WO2022053363A1 (en) 2020-09-08 2021-09-01 Controlling a 2d screen interface application in a mixed reality application

Publications (1)

Publication Number Publication Date
CN116075277A true CN116075277A (zh) 2023-05-05

Family

ID=73448883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180061658.1A Pending CN116075277A (zh) 2020-09-08 2021-09-01 控制混合现实应用中的2d屏幕接口应用

Country Status (5)

Country Link
US (1) US20240019980A1 (zh)
EP (2) EP3964929A1 (zh)
JP (1) JP2023540127A (zh)
CN (1) CN116075277A (zh)
WO (1) WO2022053363A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CA3052869A1 (en) * 2017-02-17 2018-08-23 Nz Technologies Inc. Methods and systems for touchless control of surgical environment
US11191609B2 (en) * 2018-10-08 2021-12-07 The University Of Wyoming Augmented reality based real-time ultrasonography image rendering for surgical assistance

Also Published As

Publication number Publication date
EP4211539A1 (en) 2023-07-19
WO2022053363A1 (en) 2022-03-17
EP3964929A1 (en) 2022-03-09
JP2023540127A (ja) 2023-09-21
US20240019980A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
Carmigniani et al. Augmented reality technologies, systems and applications
Spittle et al. A review of interaction techniques for immersive environments
JP7059178B2 (ja) データ表示装置
US9001036B2 (en) Systems and methods of camera-based fingertip tracking
US20120278759A1 (en) Integration system for medical instruments with remote control
CN103984494A (zh) 用于多种设备间的直觉式用户互动系统及方法
CN106293082A (zh) 一种基于虚拟现实的人体解剖交互系统
CN113961107A (zh) 面向屏幕的增强现实交互方法、装置及存储介质
Carvalho et al. Toward the design of transitional interfaces: an exploratory study on a semi-immersive hybrid user interface
US20160004315A1 (en) System and method of touch-free operation of a picture archiving and communication system
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
Pusch et al. Augmented reality for operator training on industrial workplaces–Comparing the Microsoft hololens vs. small and big screen tactile devices
Xu et al. Exploring visual techniques for boundary awareness during interaction in augmented reality head-mounted displays
Huang et al. A review on communication cues for augmented reality based remote guidance
Lu et al. Classification, application, challenge, and future of midair gestures in augmented reality
CN113849112A (zh) 适用于电网调控的增强现实交互方法、装置及存储介质
De Marsico et al. Figi: floating interface for gesture-based interaction
US20130227477A1 (en) Semaphore gesture for human-machine interface
WO2020240044A1 (en) Rendering an image on a virtual user interface of an augmented or virtual reality device
Rasmussen et al. Supporting workspace awareness in remote assistance through a flexible multi-camera system and Augmented Reality awareness cues
CN116075277A (zh) 控制混合现实应用中的2d屏幕接口应用
CN111309153A (zh) 人机交互的控制方法和装置、电子设备和存储介质
Moeslund et al. The ARTHUR system: an augmented round table
Rumiński et al. Mixed reality stock trading visualization system
Pichiliani et al. Teleeye: An awareness widget for providing the focus of attention in collaborative editing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination