CN111338466A - 控制虚拟现实显示单元的方法和装置 - Google Patents

控制虚拟现实显示单元的方法和装置 Download PDF

Info

Publication number
CN111338466A
CN111338466A CN201911301572.2A CN201911301572A CN111338466A CN 111338466 A CN111338466 A CN 111338466A CN 201911301572 A CN201911301572 A CN 201911301572A CN 111338466 A CN111338466 A CN 111338466A
Authority
CN
China
Prior art keywords
virtual
display unit
objects
reality display
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911301572.2A
Other languages
English (en)
Other versions
CN111338466B (zh
Inventor
安东·埃伯特
弗洛里安·哈格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN111338466A publication Critical patent/CN111338466A/zh
Application granted granted Critical
Publication of CN111338466B publication Critical patent/CN111338466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开内容涉及一种控制虚拟现实显示单元的方法和装置。本发明描述了一种控制虚拟现实显示单元的方法，包括以下步骤：追踪虚拟现实显示单元周围的空间的环境，通过形成虚拟对象并向虚拟对象提供单独的识别标签，来自动识别并分离被追踪环境的现实世界对象，将虚拟对象连同它们各自的识别标签一起分类到对象库中，通过将单独的相关性标记与每个虚拟对象进行链接来由虚拟现实显示单元的用户标记和/或自动地标记多个虚拟对象，由虚拟现实显示单元根据对象库的虚拟对象的相关性标记来显示虚拟对象。本发明还描述了相应的装置以及虚拟现实显示单元。

Description

控制虚拟现实显示单元的方法和装置
技术领域
本发明描述了控制虚拟现实显示单元的方法和装置，以及特别是用于医疗环境中的虚拟现实显示单元。
背景技术
虚拟现实(或简称“VR”)是一种通过虚拟现实显示单元向用户示出模拟环境的技术。用户可以通过他的动作改变模拟环境。除了视觉反馈以外，大多数虚拟现实显示单元还允许听觉反馈或甚至触觉反馈。当前的虚拟现实显示单元通常是虚拟现实头戴式耳机或多投影环境，其中，头戴式耳机在下面是优选的。
虽然VR提供(通常几乎完美的)模拟环境，但是周围的“现实世界”对于用户是不可见的(与不是进一步描述的部分的增强现实不同)。因此，在处于虚拟现实中时，不可能看到、选择或修改代表现实房间中的物理对象的现实世界对象(例如，特征或位置)。因此，当处于VR中时，与现实世界房间进行交互非常困难。除了修改现实世界对象之外，难以在处于VR中时与例如键盘交互或者防止处于VR中的人行走撞到现实世界对象。
目前，存在不同的解决方案。一个示例性解决方案使用被附接至键盘的追踪器以在处于虚拟现实中时看见键盘。另一示例性解决方案提供了改变例如虚拟风景的纹理的可能性，但是不可能将现实世界对象包括到场景中并修改它们。
因此，本发明的目的是提供克服上述问题的虚拟现实显示单元以及控制虚拟现实显示单元的改进的方法和装置。
发明内容
该目的通过根据本发明的方法、装置、虚拟现实显示单元、计算机程序产品以及计算机可读介质来实现。
根据本发明的控制虚拟现实显示单元的方法包括以下步骤：
-追踪虚拟现实显示单元周围的空间的环境。环境是位于被追踪空间中的各种现实世界对象。空间通常可以是虚拟现实显示单元周围的任何空间。典型地，空间是由墙壁(其也可以被识别为现实世界对象)限定的特定房间，其中，房间优选地用于医疗用途。通常，环境的追踪对于本领域技术人员是公知的，下面更准确地描述该追踪的优选实施方式。
-通过形成虚拟对象并向虚拟对象提供单独的识别标签，来自动识别并分离被追踪的环境的现实世界对象。在此，现实世界对象被识别为对象，并且利用对应的现实世界对象的属性(至少关于位置和几何结构)来创建虚拟对象。然后，虚拟对象由单独的识别标签来标记。在实践中如何实现这一点是本领域技术人员公知的。例如，可以通过检测图像中的结构的边缘并将它们与预定义的模板集合(对象的示例)进行比较来识别现实世界对象。然后，图像或模板中的识别结构(像素)可以用作虚拟对象，并且用单独的数字或名称来标记。
-将虚拟对象连同它们各自的识别标签一起分类到对象库中。特别地，虚拟对象从场景中被剪切(优选的但不是必需的)并且接收ID例如整数、地址或名称。尽管优选地，每个虚拟对象都被标记，但是这对于所有可能的应用不是必需的。
-通过将单独的相关性标记与每个虚拟对象进行链接来标记多个虚拟对象。这可以由虚拟现实显示单元的用户来实现和/或自动地实现。例如，具有用于相关的“1”和用于不相关的“0”的二进制标记可以应用至虚拟对象。优选地，每个虚拟对象都被标记，然而，这对于所有可能的应用不是必需的。
-由虚拟现实显示单元根据对象库的虚拟对象的相关性标记来显示对象库的虚拟对象。虚拟对象被示出在现实世界对象的位置处。为了实现这一点，优选地将虚拟对象与所追踪的现实世界对象进行配准。由于追踪，现实世界对象的位置和几何尺寸是公知的。由于配准，虚拟对象将具有与现实世界对象相同的几何尺寸、相同的位置(和相同的定向)。因此，它们将被恰好地显示在将看到现实世界对象的地方。对象库中的虚拟对象的相关性可以基于相关性标记来确定或者直接从相关性标记得到(例如，参见具有二进制相关性标记的以上示例)。
应当注意，周围的“现实世界”对用户是不可见的。因此，显示步骤不意味着以增强现实的方式的显示，而是虚拟现实的显示。因此，通过虚拟现实显示单元不可能看到现实房间中的现实世界对象，而仅看到显示的虚拟对象。
优选地，为了保持虚拟对象的准确定位，至少在移动虚拟现实显示装置的情况下，重复上述追踪步骤以及所显示的虚拟对象与现实世界对象的配准。这在下面将更准确地描述。
根据本发明的控制虚拟现实显示单元的装置包括以下部件：
-追踪单元，其被设计成追踪虚拟现实显示单元周围的空间的环境。这种追踪单元在本领域中是公知的，并且通常被布置在虚拟现实装置上或该装置的用户上。通常，通过使用红外光来实现追踪。
-识别单元，其被设计成通过形成虚拟对象并向虚拟对象提供单独的识别标签来自动地识别并分离所追踪的环境的现实世界对象。
-分类单元，其被设计成将虚拟对象连同它们各自的识别标签一起分类到对象库中。
-标记单元，其被设计成通过将单独的相关性标记与每个虚拟对象进行链接来由虚拟现实显示单元的用户标记和/或自动地标记多个虚拟对象。
-数据接口，其被设计成与虚拟现实显示单元通信，使得由虚拟现实显示单元根据对象库的虚拟对象的相关性标记来显示对象库的虚拟对象。
根据本发明的虚拟现实显示单元包括根据本发明的装置，其中，该装置的部件优选地被布置在虚拟现实显示单元的壳体中。
根据本发明的医疗装置例如医疗测量装置和/或医疗成像装置(例如磁共振成像系统或X射线计算机断层成像系统)包括根据本发明的装置和被设计成与虚拟现实显示单元连接的数据接口。
本发明具有这样的优点：现实世界的相关对象可以在虚拟现实中显示，其中，与这些对象的交互是可能的。另一个优点是，在虚拟现实显示单元的显示中可以省略不相关的对象，或者可以(例如，利用均匀的纹理来防止撞击到现实世界对象中)改变它们的视觉特性。这特别地增强了医院中训练的记录。本发明特别设计用于医疗用途。
上述装置的单元或模块可以完全或部分地实现为在计算单元的处理器上运行的软件模块。主要以软件模块形式的实现可以具有这样的优点：可以以相对小的努力来更新已经安装在现有系统上的应用，以安装和运行本申请的方法。本发明的目的还通过具有计算机程序的计算机程序产品来实现，该计算机程序可直接加载到计算单元的存储器中，并且包括程序单元，以在控制单元执行程序时执行本发明方法的步骤。除了计算机程序之外，这样的计算机程序产品还可以包括另外的部分，诸如文档和/或附加部件，还有诸如硬件密钥(软件狗等)的硬件部件，以便于访问软件。计算机可读介质例如记忆棒、硬盘或其它可运输或永久安装的载体可以用于运输和/或存储计算机程序产品的可执行部分，使得这些部分可以从计算单元的处理器单元读取。处理器单元可以包括一个或更多个微处理器或其等同物。
如在下面的描述中所揭示的，本发明的特别有利的实施方式和特征由从属权利要求给出。不同权利要求类别的特征可以适当地组合以给出本文未描述的另外的实施方式。
根据优选的方法，为了追踪虚拟现实显示单元的周围的空间的环境，执行利用光模式的默认覆盖网格的扫描。这具有以下优点：由于光网格的坐标数据，可以非常准确地扫描现实世界对象的位置和几何形状。优选地，在空间的环境上投影红外网格，因为红外可以被有利地检测到并且对于人类是不可见的。进一步优选地，在虚拟现实显示单元中利用默认覆盖网格来示出存在于空间中(形成环境)的现实世界对象。
优选的方法包括以下步骤：
-检查被追踪的空间或要被追踪的空间的环境之前是否已经被追踪，并且如果是肯定的，
–则搜索该空间的虚拟对象的现有对象库，并且在搜索是肯定的情况下使用这些虚拟对象。
这具有的优点是，在空间之前已经被扫描的情况下，例如房间中的大多数家具和其他对象通常不移动的操作室，可以使用环境的对象的存储数据。因此，不必执行复杂的计算来识别该环境中的对象。可以简单地使用先前扫描的结果。该方法可以例如通过使用具有单独的标识的WLAN接入点来检查所扫描的空间(被追踪的环境的所处位置)的位置数据，并且使用该检查来根据所扫描的空间确定是否存在已经存储的虚拟对象。可替选地，可以发生追踪步骤，并且在该追踪之后，可以进行短的评估：被追踪环境的整体形状是否与之前追踪的已知形状相匹配。
根据优选方法，在现有对象库的搜索是肯定的并且现实世界对象已经在对象库的虚拟对象的位置处被追踪到并且被识别为该虚拟对象的情况下，搜索该虚拟对象的存储的相关性标记，并且自动地为对象库的虚拟对象分配该相关性标记。这具有的优点是，在已经“已知”的房间中，虚拟对象的先前标记可以用作首选项。因此，在医生经常在操作室中工作的情况下，不必每次都标记虚拟对象，而是简单地使用上次的设置。
也可以将这种优选方法应用于虚拟对象的组。在追踪特定形状的虚拟对象(例如，桌子)的任何时候，它都被自动分配给应用于同一组虚拟对象(例如，所有被追踪的桌子)的相关性标记。例如，每次追踪预定义的虚拟对象(例如，桌子)时，它都会获得为此类虚拟对象保留的预定义的相关性标记。
因此，对象库可以用于将现实世界对象与对象库的类似虚拟对象链接，以便赶上(overtake)它们的特性。优点在于，可以实现将现实世界对象与虚拟资产匹配(例如，在混合仿真中)。
根据优选的方法，至少再一次追踪虚拟现实显示单元周围的空间的环境。
在这种情况下，优选地，以虚拟现实显示单元在空间中的不同位置和/或以虚拟现实显示单元的不同视角来执行追踪。这具有的优点是，可以更准确地追踪环境，其中尤其是防止了阴影以及/或者可以进行三角测量(triangulation)。
作为优选的替代或补充，执行追踪以检查对象库的虚拟对象的几何结构是否与相应的现实世界对象的几何结构匹配。这也提高了对象库的质量。
可替代地或附加地，追踪优选地用于在形成虚拟对象并且向新识别的虚拟对象提供单独的识别标签时自动地识别并分离被追踪环境的另外的现实世界对象。这在基于先前追踪使用所存储的虚拟对象的情况下是特别有利的。由于第二次追踪，可以确定是否已经移动、添加或移除了一些现实世界对象。
根据优选的方法，虚拟对象的标记由虚拟现实显示单元的用户执行(例如，除了自动标记之外)。要被标记的虚拟对象被示出为对象库的项目以及/或者由虚拟现实显示单元显示(作为对象)。在显示虚拟对象时，它们优选地被显示在与相应的现实世界对象在环境中的位置相对应的位置中，以及/或者优选地被显示为现实世界对象的图片或人工对象的图片。特别是在存在人工对象的图片的情况下，通过使用该图片显示类似的虚拟对象。在没有找到这种图片的情况下，为虚拟对象显示摄影(现实世界对象的图片)。
根据优选的方法，对象库的虚拟对象由虚拟现实显示单元示出以用于标记，以及/或者在标记之前不由虚拟现实显示单元示出并且独立于虚拟现实显示单元的显示而被标记。对于这种优选的方法，特别优选地，用户可以在这两种标记可能性之间切换。因此，代替示出所有对象并随后选择感兴趣的对象，还可以以相反的方式完成，首先选择感兴趣的对象，然后在VR中示出它们。还可以示出(虚拟)对象的列表并选择列表中之一。
根据优选的方法，通过眼睛追踪(例如聚焦)、触摸(例如冲击/延迟或手追踪)、利用输入装置、利用手势(例如手追踪)或利用口头命令来执行标记。
根据优选方法，利用比二进制标记更复杂的相关性标记来标记虚拟对象，即，该相关性标记可以具有多于两个的可能状态。这可以是数字、单词或若干(二进制、数字或文字)相关性标记。优选地，相关性标记被设计成使得虚拟对象的相关性可以直接从该相关性标记中得到。另外优选地，对象库的虚拟对象由虚拟现实显示单元根据它们的相关性(例如，直接根据它们的相关性标记)以不同的形状示出或者根本不示出。例如，如果相关性标记是零，则虚拟对象根本不被示出，并且相关性标记的数值越高，则在显示虚拟对象时示出的细节越多。
特别优选地，如果虚拟对象的相关性在预定义值以下，则不示出该虚拟对象，以及/或者如果虚拟对象的相关性在第一值范围之间，则以预定义纹理(尤其是相关性越高，具有越多的细节)示出该虚拟对象，以及/或者如果虚拟对象的相关性在第二值范围之间，则将该虚拟对象示出为现实对象的图像或视频。该图像或视频优选地与现实世界对象配准。应当注意，“相关性”可以是从对应的相关性标记得到的值或者对应的相关性标记本身的值。
这具有的优点是，在选择对象之后，可以限定虚拟对象的物理/逻辑行为(特性)。在对象不相关的情况下，可以抑制它们。如果重点只是看到对象(例如不会行走撞到它们)，则任意纹理就足够了。在对象很重要(例如，用于记录)的情况下，可以应用视频流选项来看见现实世界对象和例如该现实世界对象的屏幕上的测量值。
根据优选的方法，取决于虚拟对象的相关性，虚拟对象被示出为现实对象的实时视频流，其中该视频流优选地与现实世界对象配准。表述“配准”意味着视频流(或以上图像)中的现实世界对象的图片的位置和几何形状与现实世界对象的位置和几何形状匹配。由于在VR中将在与现实世界对象相同的位置处看到虚拟对象，因此在VR中，如从虚拟现实显示单元的位置看到的，现实世界对象将似乎处于正确的位置。
根据优选的方法，虚拟现实显示单元将附加的虚拟对象与对应于现实世界对象的虚拟对象一起示出，其中，附加的虚拟对象不属于空间的环境。
附图说明
本发明的其它目的和特征将从以下结合附图考虑的详细描述中变得明显。然而，应当理解，附图仅仅是为了说明的目的而设计，而不是作为本发明的限制的定义。
图1示出了根据本发明的方法的示例的框图，
图2概述了根据本发明的优选装置，
图3示出了阐明根据本发明的方法的场景，
图4示出了阐明根据本发明的方法的另一场景，
图5示出了阐明根据本发明的方法的另一场景，
图6示出了阐明根据本发明的方法的另一场景。
在图中，相似的附图标记始终表示相似的对象。图中的对象不一定按比例绘制。
具体实施方式
图1示出了根据本发明的控制虚拟现实显示单元4(见图2)的方法的示例的框图。方法的步骤用方框示出。
在步骤I中，追踪虚拟现实显示单元4周围的空间的环境E(例如，见图3)。
在步骤II中，在形成虚拟对象V时，被追踪的环境E的现实世界对象2被自动地识别并分离。这些虚拟对象V被提供有单独的识别标签L。
在步骤III中，虚拟对象V与它们各自的识别标签L一起被分类到对象库OL中。
在步骤IV中，通过将单独的相关性标记R与每个虚拟对象V链接来标记多个虚拟对象V。这可以由虚拟现实显示单元4的用户来实现和/或自动地实现。
在步骤V中，虚拟现实显示单元4根据对象库OL的虚拟对象V的相关性标记R来示出对象库OL的虚拟对象V。
图2概述了控制虚拟现实显示单元4的优选装置1。在该图中，虚拟现实显示单元4经由无线数据连接C与装置1连接。装置包括以下部件：
-追踪单元6，其被设计成追踪虚拟现实显示单元4周围的空间的环境E。对于图2中未示出的所有附图标记，参见显示过程序列的图3至图6。
-识别单元7，其被设计成在形成虚拟对象V、V1、V2、V3、V4、V5、V6、V7并且向虚拟对象V、V1、V2、V3、V4、V5、V6、V7提供单独的识别标签L、L1、L2、L3、L4、L5时自动地识别并分离被追踪的环境E的现实世界对象2、2a、2b、2c、2d、2e。
-分类单元8，其被设计成将虚拟对象V、V1、V2、V3、V4、V5、V6、V7连同它们各自的识别标签L、L1、L2、L3、L4、L5一起分类到对象库OL中。
-标记单元9，其被设计成通过将单独的相关性标记R与每个虚拟对象V、V1、V2、V3、V4、V5、V6、V7进行链接来由虚拟现实显示单元4的用户标记和/或自动地标记多个虚拟对象V、V1、V2、V3、V4、V5、V6、V7。
-数据接口5，在此是无线数据接口，其被设计成与虚拟现实显示单元4通信，使得由虚拟现实显示单元4根据对象库OL的虚拟对象V、V1、V2、V3、V4、V5、V6、V7的相关性标记R来示出对象库OL的虚拟对象V、V1、V2、V3、V4、V5、V6、V7。
图3至图6示出了阐明根据本发明的方法的过程的场景。
在图3中，示出了可以在虚拟现实显示单元4(见例如图2)的视野3(FOV)中看到的可能环境E。在房间中立着不同的现实世界对象2a、2b、2c、2d、2e。一个“对象”是站在桌子2d后面的人2a。在图片的右侧是在其屏幕上示出测量值的医疗设备2e。在图片的左侧，有另一个桌子2b，其上立着盒子2c。
在图4中，通过在环境E上覆盖由红外光形成的网格G来追踪图3中所示的环境E。在追踪过程中，识别所追踪的环境E的现实世界对象2、2a、2b、2c、2d、2e，并且形成虚拟对象V1、V2、V3、V4、V5(见图5)。
与示出现实世界的图3和图4相比，图5和图6示出了虚拟环境VE。因此，这是虚拟现实显示单元的用户将看到的场景。
在图5中，以透明方式(虚线)示出了所识别的虚拟对象V1、V2、V3、V4、V5以及标签L1、L2、L3、L4、L5。为了标记多个虚拟对象V1、V2、V3、V4、V5，虚拟现实显示装置的用户用他的手H指向虚拟环境中示出的多个虚拟对象V1、V2、V3、V4、V5。
在图6中，虚拟对象V1、V2、V3、V4、V5被用户标记为相关、非常相关或完全不相关。因此，从左到右，示出了左虚拟桌子V2(但不是非常详细)，以便用户在移动通过房间时不会跑到左虚拟桌子V2在现实世界中的对应方。由于桌子上的虚拟盒子V3是不感兴趣的，因此从虚拟环境中省略了它(在此，虚点线表示未示出对象)。中间的虚拟桌子V4与人2a的虚拟化身V1一起显示。在该示例中，另一化身V6站在虚拟桌子V4处，并且附加地在虚拟桌子V4上布置虚拟盒子V7。
在右侧，医疗设备2e的实时视频被示出为虚拟医疗设备V5，以便用户可以在虚拟环境VE中读取测量值(来自现实世界)。
尽管已经以优选实施方式及其变型的形式公开了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以对其进行许多附加的修改和变型。为了清楚起见，应当理解，贯穿本申请使用“一”或“一个”不排除多个，并且“包括”不排除其他步骤或元素。提及“单元”或“装置”并不排除使用多于一个单元或模块。

Claims (15)

1.一种控制虚拟现实显示单元(4)的方法，包括以下步骤：
-追踪所述虚拟现实显示单元(4)周围的空间的环境(E)，
-通过形成虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)并向所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)提供单独的识别标签(L、L1、L2、L3、L4、L5)，来自动地识别并分离被追踪的环境(E)的现实世界对象(2、2a、2b、2c、2d、2e)，
-将所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)连同它们各自的识别标签(L、L1、L2、L3、L4、L5)一起分类到对象库(OL)中，
-通过将单独的相关性标记(R)与每个虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)进行链接来由所述虚拟现实显示单元(4)的用户标记和/或自动地标记多个虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)，
-由所述虚拟现实显示单元(4)根据所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性标记(R)来显示所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)。
2.根据权利要求1所述的方法，其中，为了追踪所述虚拟现实显示单元(4)周围的空间的环境(E)，执行利用光模式的默认覆盖网格的扫描，其中，优选地，在所述空间的环境(E)上投影红外网格，并且优选地，其中，在所述虚拟现实显示单元(4)中利用所述默认覆盖网格示出存在于所述空间中的现实世界对象(2、2a、2b、2c、2d、2e)。
3.根据前述权利要求中任一项所述的方法，包括以下步骤：
-检查被追踪的空间或要被追踪的空间的环境(E)之前是否已经被追踪，并且如果是肯定的，
-则搜索所述空间的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的现有对象库(OL)，并且在所述搜索是肯定的情况下使用这些虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)。
4.根据权利要求3所述的方法，其中，在现有对象库(OL)的搜索是肯定的并且现实世界对象(2、2a、2b、2c、2d、2e)已经在所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的位置处被追踪到并且被识别为所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的情况下，搜索所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的存储的相关性标记(R)并且自动地为所述对象库(OL)的所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)分配所述相关性标记(R)。
5.根据前述权利要求中任一项所述的方法，其中，至少再一次追踪所述虚拟现实显示单元(4)周围的空间的环境(E)，
其中，所述追踪优选地
-以所述虚拟现实显示单元(4)在所述空间中的不同位置和/或以所述虚拟现实显示单元(4)的不同视角来执行，以及/或者
-是检查所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的几何结构是否与相应的现实世界对象(2、2a、2b、2c、2d、2e)的几何结构相匹配，以及/或者
-用于在形成虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)并且向新识别的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)提供单独的识别标签(L、L1、L2、L3、L4、L5)时自动识别并分离所述被追踪的环境(E)的另外的现实世界对象(2、2a、2b、2c、2d、2e)。
6.根据前述权利要求中任一项所述的方法，其中，由所述虚拟现实显示单元(4)的用户执行对虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的标记，并且要被标记的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)
-被示出为所述对象库(OL)的项目，以及/或者
-由所述虚拟现实显示单元(4)显示，优选地在与相应的现实世界对象(2、2a、2b、2c、2d、2e)在所述环境(E)中的位置相对应的位置中显示，以及/或者优选地作为所述现实世界对象(2、2a、2b、2c、2d、2e)的图片或作为人工对象的图片显示。
7.根据前述权利要求中任一项所述的方法，其中，所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)由所述虚拟现实显示单元(4)示出以用于标记，以及/或者在标记之前不由所述虚拟现实显示单元(4)示出并且独立于所述虚拟现实显示单元(4)的显示而被标记，
其中，优选地，用户能够在这两种标记可能性之间切换。
8.根据前述权利要求中任一项所述的方法，其中，通过眼睛追踪、触摸、利用输入装置、利用手势或利用口头命令来执行所述标记。
9.根据前述权利要求中任一项所述的方法，其中，利用具有多于两个可能状态的相关性标记(R)来标记所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)，
其中，所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性能够优选地直接从所述相关性标记得到，以及/或者
其中，所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)由所述虚拟现实显示单元(4)根据所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性以不同形状示出或根本不示出，
特别优选地，其中，如果虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性在预定义值以下，则不示出所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)，以及/或者如果所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性在第一值范围之间，则以预定义纹理示出所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)，以及/或者如果所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性在第二值范围之间，则将所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)示出为所述现实世界对象的图像。
10.根据前述权利要求中任一项所述的方法，其中，取决于所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性，所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)被示出为所述现实世界对象(2、2a、2b、2c、2d、2e)的实时视频流，其中，所述视频流优选地与所述现实世界对象(2、2a、2b、2c、2d、2e)配准。
11.根据前述权利要求中任一项所述的方法，其中，由所述虚拟现实显示单元(4)将附加的虚拟对象(V6、V7)连同与现实世界对象(2、2a、2b、2c、2d、2e)相对应的虚拟对象(V、V1、V2、V3、V4、V5)一起示出，其中，所述附加的虚拟对象(V6、V7)不属于所述空间的环境(E)。
12.一种控制虚拟现实显示单元(4)的装置(1)，包括：
-追踪单元(6)，其被设计成追踪所述虚拟现实显示单元(4)周围的空间的环境(E)，
-识别单元(7)，其被设计成通过形成虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)并向所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)提供单独的识别标签(L、L1、L2、L3、L4、L5)来自动地识别并分离被追踪的环境(E)的现实世界对象(2、2a、2b、2c、2d、2e)，
-分类单元(8)，其被设计成将所述虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)连同它们各自的识别标签(L、L1、L2、L3、L4、L5)一起分类到对象库(OL)中，
-标记单元(9)，其被设计成通过将单独的相关性标记(R)与每个虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)进行链接来由所述虚拟现实显示单元(4)的用户标记和/或自动地标记多个虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)，
-数据接口(5)，其被设计成与所述虚拟现实显示单元(4)通信，使得由所述虚拟现实显示单元(4)根据所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)的相关性标记(R)来显示所述对象库(OL)的虚拟对象(V、V1、V2、V3、V4、V5、V6、V7)。
13.一种包括根据权利要求12所述的装置(1)的虚拟现实显示单元(4)，其中，所述装置(1)的部件优选地被布置在所述虚拟现实显示单元(4)的壳体中。
14.一种计算机程序产品，包括计算机程序，所述计算机程序能够直接加载到计算机单元的存储器中并且包括程序元素，所述程序元素用于在所述计算机程序由所述计算机单元执行时执行根据权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读介质，在所述计算机可读介质上存储有程序元素，所述程序元素能够由计算机单元读取和执行，以便在所述程序元素由所述计算机单元执行时执行根据权利要求1至11中任一项所述的方法的步骤。
CN201911301572.2A 2018-12-19 2019-12-17 控制虚拟现实显示单元的方法和装置 Active CN111338466B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18214034.3 2018-12-19
EP18214034.3A EP3671410B1 (en) 2018-12-19 2018-12-19 Method and device to control a virtual reality display unit

Publications (2)

Publication Number Publication Date
CN111338466A true CN111338466A (zh) 2020-06-26
CN111338466B CN111338466B (zh) 2023-08-04

Family

ID=64746161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911301572.2A Active CN111338466B (zh) 2018-12-19 2019-12-17 控制虚拟现实显示单元的方法和装置

Country Status (3)

Country Link
US (1) US20200202578A1 (zh)
EP (1) EP3671410B1 (zh)
CN (1) CN111338466B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760209A (zh) * 2021-07-23 2021-12-07 北京房江湖科技有限公司 一种虚拟对象的替换方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114838763B (zh) * 2022-04-20 2023-11-17 青岛虚拟现实研究院有限公司 障碍物检测的方法及vr眼镜和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6329986B1 (en) * 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US20170337742A1 (en) * 2016-05-20 2017-11-23 Magic Leap, Inc. Contextual awareness of user interface menus

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
TWI598077B (zh) * 2016-08-05 2017-09-11 wei-li Xu Induced body imbalance system and its method
KR101915639B1 (ko) * 2016-12-09 2018-11-06 조성웅 가상 현실을 이용한 자전거 운동 기구
US20200184196A1 (en) * 2018-12-11 2020-06-11 X Development Llc Volumetric substitution of real world objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6329986B1 (en) * 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
US20170337742A1 (en) * 2016-05-20 2017-11-23 Magic Leap, Inc. Contextual awareness of user interface menus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760209A (zh) * 2021-07-23 2021-12-07 北京房江湖科技有限公司 一种虚拟对象的替换方法
CN113760209B (zh) * 2021-07-23 2024-04-26 贝壳技术有限公司 一种虚拟对象的替换方法

Also Published As

Publication number Publication date
US20200202578A1 (en) 2020-06-25
CN111338466B (zh) 2023-08-04
EP3671410B1 (en) 2022-08-24
EP3671410A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
CN110310175B (zh) 用于移动增强现实的系统和方法
Lin et al. Learning correspondence structures for person re-identification
US10964049B2 (en) Method and device for determining pose of camera
Hagbi et al. Shape recognition and pose estimation for mobile augmented reality
KR101691903B1 (ko) 광학 캐릭터 인식을 사용하여 증강 현실을 제공하기 위한 방법 및 장치
Petersen et al. Real-time modeling and tracking manual workflows from first-person vision
Reiter et al. Appearance learning for 3D tracking of robotic surgical tools
Brône et al. Towards a more effective method for analyzing mobile eye-tracking data: integrating gaze data with object recognition algorithms
KR20160044999A (ko) 질의동작기반 안무 검색 시스템 및 방법
Gerke et al. Soccer player recognition using spatial constellation features and jersey number recognition
US11816809B2 (en) Alignment- and orientation-based task assistance in an AR environment
CN102222431A (zh) 基于机器的手语翻译器
Viyanon et al. AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking
US20120163661A1 (en) Apparatus and method for recognizing multi-user interactions
TW201243387A (en) Color channels and optical markers
CN111338466B (zh) 控制虚拟现实显示单元的方法和装置
Prochazka et al. Augmented reality implementation methods in mainstream applications
Antoshchuk et al. Gesture recognition-based human–computer interaction interface for multimedia applications
Radkowski et al. Natural feature tracking augmented reality for on-site assembly assistance systems
Bang et al. Camera pose estimation using optical flow and ORB descriptor in SLAM-based mobile AR game
Weitz et al. InfiniteForm: A synthetic, minimal bias dataset for fitness applications
Afif et al. Vision-based tracking technology for augmented reality: a survey
Cho et al. Real‐time recognition and tracking for augmented reality books
Schall et al. 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality
CN111569421A (zh) 虚拟场景变化同步方法、系统、vr播放设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant