CN110799929B - 用于计算机媒介现实的显示设备 - Google Patents

用于计算机媒介现实的显示设备 Download PDF

Info

Publication number
CN110799929B
CN110799929B CN201880042916.XA CN201880042916A CN110799929B CN 110799929 B CN110799929 B CN 110799929B CN 201880042916 A CN201880042916 A CN 201880042916A CN 110799929 B CN110799929 B CN 110799929B
Authority
CN
China
Prior art keywords
display device
laser sensor
sensor module
movable object
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880042916.XA
Other languages
English (en)
Other versions
CN110799929A (zh
Inventor
H·J·门希
J·W·海尔米格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongkuai Optoelectronic Device Co ltd
Original Assignee
Tongkuai Optoelectronic Device Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongkuai Optoelectronic Device Co ltd filed Critical Tongkuai Optoelectronic Device Co ltd
Publication of CN110799929A publication Critical patent/CN110799929A/zh
Application granted granted Critical
Publication of CN110799929B publication Critical patent/CN110799929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种显示设备(100),其中,所述显示设备(100)被设置为能够耦接到可移动对象(20),所述显示设备(100)包括:至少一个第一激光传感器模块(121),其中,第一激光传感器模块(121)被设置为能够借助于自混合干涉测量确定可移动对象相对于参考对象(10、180)的移动;显示装置(110),其用于显示视野(152),其中,显示装置(110)被设置为能够根据确定的可移动对象(20)的移动将至少一个虚拟对象整合到所述视野(152)中。本发明还涉及一种提供包括至少一个虚拟对象的图像的方法。本发明最后涉及一种对应的计算机程序载体。

Description

用于计算机媒介现实的显示设备
技术领域
本发明涉及一种用于显示包括至少一个虚拟对象的图像的显示设备。本发明还涉及一种提供包括至少一个虚拟对象的图像的方法。本发明最后涉及一种对应的计算机程序载体。
背景技术
US 8,576,276 B2公开了一种透视式头戴显示器(HMD:head-mounted display)装置、例如以增强现实眼镜的形式的透视式头戴显示器装置,这允许用户观看增强现实图像。惯性测量单元跟踪用户的头部的方向和位置。
EP 1 980 999 A1公开了一种通过将虚拟图像叠加到现实图像上来构成增强现实图像的增强现实图像系统。该虚拟图像独立于用户的头部相对于现实图像视野的位置和方向而构建。该系统包括用于确定用户的头部的相对位置和方向的至少两个分离的定位系统。
发明内容
本发明的目的是提供一种改进的显示设备。本发明由独立权利要求限定。从属权利要求限定有利实施例。
根据第一方面,提供一种显示设备。所述显示设备被设置为能够耦接到可移动对象。所述显示设备包括:
至少一个第一激光传感器模块,其中,第一激光传感器模块被设置为能够借助于自混合干涉测量确定可移动对象相对于参考对象的移动,
显示装置,其用于显示视野,其中,显示装置被设置为能够根据确定的可移动对象的移动将至少一个虚拟对象整合到所述视野中。
计算机媒介或增强现实是指通过使用被设置为能够连接到可移动对象的显示设备向现实的感知添加信息、从现实的感知删减信息或者操控现实的感知的能力。这样的显示设备的示例可以是手持装置、例如智能电话或增强现实(AR:augmented reality)眼镜。例如,AR眼镜将虚拟对象叠加到真实世界。真实世界信息使用相机装置、如2D或3D相机装置获得,虚拟对象在期望的位置处被投影到景物中。然而,这样的系统和对获得的图像的处理与头部的典型移动相比相当慢。这样的移动使得虚拟对象在真实场景中“跳动”并且显著地降低用户满意度。头部移动非常常见,几乎不可避免并且覆盖从非常慢到相当快的巨大范围。附加的讨论的技术可包括如在US 8,576,276 B2中描述的加速传感器或三角测量(triangulation)。已知方法的精度是一个问题。理论来讲沿6个轴线的头部位置必须被跟踪,但是当在视网膜上投影和其分辨率确定精度的时候并非所有的轴线都同等相关。
例如,借助于对应的自混合干涉传感器沿测量轴线对对象的移动进行3轴线测量给出关于6轴线移动的明确信息。对象相对于参考对象的移动可优选地借助于沿测量轴线的相对速度的测量来确定,因为速度的测量的精度往往高于单独的距离测量。替代性地或附加性地,到参考对象的相对距离可借助于自混合干涉传感器来确定。可通过向激光器提供适当的驱动电流和/或对由自混合干涉传感器提供的测量信号的对应的信号分析(例如,基于快速傅里叶变换的信号分析)来确定移动的方向。这样的借助于自混合干涉传感器的速度和/或距离测量的原理对本领域技术人员已知(见下文)。
被设置为能够借助于自混合干涉测量来确定可移动对象相对于参考对象的移动的激光传感器模块可因此根据确定的移动来实现对视野内的虚拟对象的位置的精确调整。包括显示装置的显示设备可耦接到任何可移动对象。例如,在AR眼镜的情况下这样的可移动对象的示例可以是用户的头部,或在手持装置、如智能电话的情况下这样的可移动对象的示例是用户的手部。显示设备还可适于借助于无线通信链接(例如,光学的或RF通信)与外部处理装置通信。显示设备可包括对应的无线通信模块。外部处理装置可被设置为能够分析借助于激光传感器模块确定的测量结果,并基于对测量结果的分析来计算例如视野中的虚拟对象的适合的位置。包括虚拟对象的适合的位置的数字信息可被发送到显示设备并借助于显示装置被显示。视野可以是用户或相机的视野。在第一种情况下,显示设备可以是例如半透明的,使得用户能够透视显示设备。显示设备可包括存储器和处理装置,以便根据发送的信息来在用户的视野中显示虚拟对象。在第二种情况下,显示装置可以是常规显示器,例如,被设置为能够根据可移动对象的移动来显示相机的视野和虚拟对象的LCD或OLED显示器。
替代性地或附加性地,显示设备可被设置为能够执行信号处理的至少一部分甚至全部的信号处理。根据这样的实施例,显示设备可相对于测量信号的分析评估和显示数据的后续处理而言是自主的。
例如,显示设备可包括控制器。控制器可被设置为能够将所述至少一个虚拟对象整合到视野中。控制器还可被设置为能够基于确定的可移动对象的移动来调整视野中的虚拟对象的位置。
显示设备还可包括相机装置。相机装置被设置为能够通过记录图像来界定可移动对象的视野。显示装置被设置为能够根据确定的可移动对象的移动来显示记录的图像中的至少一部分和所述至少一个虚拟对象。相机装置被设置为能够记录场景的图像。每个图像对应于相机在限定的时刻的视野。如果显示设备耦接到可移动对象,则相机的视野中的虚拟对象的位置以及由此的相应的图像根据在相应的时刻检测的可移动对象相对于参考对象的移动被调整。
控制器还可被设置为能够将所述至少一个虚拟对象整合到显示的图像中。控制器可被设置为能够基于确定的可移动对象的移动来调整显示的图像中的虚拟对象的位置。控制器可实现自主的显示设备,所述自主的显示设备被设置为执行所有的测量、处理等以便调整如上所述的由相机装置记录的相应的图像所界定的相机的视野中的虚拟对象的位置。
第一激光传感器模块可被设置为能够沿三个不同的空间方向发射至少三个测量光束。第一激光传感器模块被设置为能够确定与所述空间方向共线的速度矢量。第一激光传感器模块被设置为能够基于自混合干涉测量来确定代表与所述空间方向共线的至少三个独立的速度矢量的测量数据。后续的数据处理可借助于如上讨论的内部控制器和/或外部数据处理装置来执行。第一激光传感器模块可被设置为能够沿不同的空间方向发射四个、五个、六个或更多个测量光束。此外,第一激光传感器模块可被设置为能够沿同一方向发射两个或更多个测量光束。第一激光传感器模块可包括一个激光器(例如,半导体激光二极管)以便通过移动该激光器或通过移动借助于对应的扫描装置或激光器阵列的测量光束来发射所述至少三个测量光束。自混合干涉信号可借助于对应的检测器(例如,集成在激光器的层状结构中的光电二极管)被检测。可由激光传感器模块(见下文)包括的自混合激光传感器的替代实施例对于本领域技术人员是公知的。第一激光传感器模块还可被设置为能够沿各个空间方向确定至少三个到参考对象的距离。至少三个速度矢量和/或距离的后续测量可被用于确定可移动对象的旋转。
第一激光传感器模块可被设置为能够沿围绕显示设备的虚拟球体的与所述视野相比不同的立体角发射至少三个测量光束。自混合干涉测量是精确并且可靠的。用于基于自混合干涉测量确定移动的数据处理不需要大规模数据处理能力。自混合干涉测量的检测范围可被限制为若干米。因此,如果测量光束指向例如后面、左面、右面、地板或天花板以便确定附近的参考对象或独立于视野的对象,则自混合干涉测量是有利的。相对于视野外的这些参考对象的相对移动可实现对视野内的虚拟对象的位置的精确且快速的确定。
第一激光传感器模块可被设置为能够当显示设备耦接到可移动对象时向参考对象发射所述至少三个测量光束。在这个实施例中,参考对象机械耦接到可移动对象。机械耦接(例如,通过铰链或轴承)的参考对象可以是静态的或可移动的参考对象。参考对象被选择以使得参考对象的潜在移动比可移动对象的移动慢得多,以便以足够的精度来确定视野内的虚拟对象的位置。使用耦接到可移动对象的参考对象可实现可靠的移动检测,这是因为激光传感器模块可被设置为使得可移动对象与机械耦接的参考对象之间的距离小于由激光传感器模块包含的自混合干涉传感器的检测阈值。
第一激光传感器模块可包括激光传感器阵列。激光传感器阵列被设置为能够沿不同方向发射多个测量光束。控制器被设置为能够:当显示设备耦接到可移动对象时,基于借助于至少三个激光传感器提供的自混合干涉测量来确定可移动对象的移动。
控制器可尤其被设置为能够检查激光传感器是否提供可靠的自混合干涉信号。控制器还可被设置为能够丢弃不可靠的测量结果(范围中没有参考对象、相对较快的移动障碍物、如头发位于相应的测量光束中等)。
显示设备可包括至少一个第二激光传感器模块。第二激光传感器模块被设置为能够当显示设备耦接到可移动对象时借助于自混合干涉测量来确定可移动对象的移动。第二激光传感器模块被设置为能够沿围绕显示设备的虚拟球体的与第一激光传感器模块相比不同的立体角发射至少三个测量光束。替代性地或附加于激光传感器阵列,两个、三个或更多个激光传感器模块可被使用,以便确定可移动对象相对于参考对象的移动。例如,激光传感器模块可被设置为使得由各个激光传感器模块所覆盖的立体角重叠。该重叠可适应于各个可移动对象和参考对象,使得以下可行:激光传感器模块中的至少一个能够借助于相应的激光传感器模块的检测范围内的参考对象来确定相对移动。替代性地或附加性地,激光传感器模块可被设置为覆盖的非重叠的立体角(例如,一个指向地板而一个指向天花板)以便借助于检测范围中的参考对象来检测相对移动。
一个或两个以上激光传感器模块可优选地被设置为能够:当显示设备耦接到可移动对象时,如果可移动对象机械耦接到参考对象,则向参考对象发射所述至少三个测量光束。将一个或两个以上激光传感器模块的测量光束指向机械耦接的参考对象可实现如上所述的宽运动范围的相对移动的可靠检测。
控制器可优选地被设置为能够根据通过相应的激光传感器模块接收的自混合干涉信号来打开或关闭激光传感器模块中的一个或两个以上(根据激光传感器模块的数量)。打开或关闭激光传感器模块可实现仅使用接收可靠的自混合干涉信号的激光传感器模块。未接收可靠的自混合干涉信号的激光传感器模块可被关闭限定时间段并被再次打开,以便确定可靠的自混合干涉信号是否能够被测量到。关闭激光传感器模块可减少显示设备的能耗。如果显示设备依赖本地电源(例如,可充电电池),则对能耗的减少可增加显示设备的操作时间。
第二激光传感器模块可被设置为能够当显示设备耦接到可移动对象时,向参考对象发射至少三个测量光束。在这种情况下,参考对象仍然机械耦接到可移动对象。控制器被设置为能够根据借助于自混合干涉信号而确定的移动来打开或关闭第一激光传感器模块或第二激光传感器模块,其中,自混合干涉信号借助于第一激光传感器模块或第二激光传感器模块确定。
例如,两个、三个、四个或更多个激光传感器模块中的一些可在非工作位置下指向机械耦接的参考对象的特定部分。如果以下可行则一个或两个以上激光传感器模块可根据分析估计的(或更精确计算的)相对于参考对象的相对位置被激活或去激活:其他传感器模块由于参考对象的形状或任何其他已知的潜在障碍而确实提供或未提供可靠的自混合干涉信号。关于参考对象的形状或其他障碍以及可能的相对移动的了解可以是必要的,以便确定可靠的开关点。对应的信息可被存储在控制器的存储装置中或外部处理装置的存储装置中。激光传感器模块的适应性开关可减少显示设备的能耗。
可移动对象可以是用户的头部。在这个实施例中,显示装置被设置为能够被放置在紧邻用户的至少一只眼睛处。例如,在这种情况下,显示设备可以是AR眼镜等(头戴式显示设备)。
显示设备可包括具有至少一个延伸部的框架。延伸部被设置为能够针对至少第一激光传感器模块提供改善的读取范围。延伸部可以是天线状结构,当显示设备安装到用户的头部上时,延伸部尤其改善相对于用户的身体(参考对象)的观看角度。
根据第二方面,提供一种提供包括至少一个虚拟对象的图像的方法。
所述方法包括以下步骤:
借助于自混合干涉测量确定可移动对象相对于参考对象的移动,
根据确定的移动将所述至少一个虚拟对象整合到视野中。
所述方法可根据上面讨论的实施例包括另外的步骤。
根据另一方面,提出一种计算机程序载体。所述计算机程序载体包括代码工具,所述代码工具可被存储在由显示设备包括的至少一个存储装置上,或被存储在由与根据上述任何实施例的显示设备耦接的外部计算装置包括的至少一个存储装置上。所述代码工具被设置使得能够借助于由显示设备包括的至少一个处理装置或由与显示设备耦接的外部计算装置包括的至少一个处理装置来执行上述方法。
存储装置可以是被设置为能够存储信息、尤其是数字信息的任何物理装置。存储装置尤其可以从群组固态存储器或光学存储器选择。
处理装置可以是被设置为能够执行数据处理、尤其是数字数据的处理的物理装置。处理装置尤其可以从群组处理器、微处理器或专用集成电路(ASIC)选择。
应该理解,根据权利要求1至13中的任意一项的显示设备和根据权利要求14的方法具有相似的和/或相同的实施例、特别是如在从属权利要求中限定的实施例。
应该理解,本发明的优选实施例也可以是从属权利要求与相应的独立权利要求的任意组合。
下面定义更多有利实施例。
参考下文描述的实施例,将清楚并阐述本发明的这些和其他方面。
附图说明
在附图中:
图1示出了第一显示设备的示意图。
图2示出了第二显示设备的示意图。
图3示出了第三显示设备的示意图。
图4示出了第三显示设备的不同的视角。
图5示出了第四显示设备的示意图。
图6示出了第六显示设备的示意图。
图7示出了第七显示设备的示意图。
图8示出了第八显示设备的示意图。
图9示出了提供包括至少一个虚拟对象的图像的方法的简图。
在附图中,相同的附图标记始终指示相同的对象。附图中的对象不必按照比例绘制。
具体实施方式
现在将借助于附图描述本发明的各种实施例。
自混合干涉被用于检测对象的移动和距离。关于自混合干涉的背景信息在通过引用合并于此的““Laser diode self-mixing technique for sensing applications”,Giuliani,G.;Norgia,M.;Donati,S.&Bosch,T.,Laser diode self-mixing techniquefor sensing applications,Journal of Optics A:Pure and Applied Optics,2002,4,S.283-S.294”中被描述。指尖相对于光学输入装置中的传感器的移动的检测在通过引用合并于此的第WO 02/37410号国际专利申请中被描述。自混合干涉的原理基于在第WO 02/37410号国际专利申请中提出的示例被讨论。具有激光器腔的二极管激光器被设置用于发射激光或测量光束。在其上部,装置设置有透明窗,对象、例如人的手指移过该透明窗。在二极管激光器与窗之间设有透镜。透镜将激光束集中于透明窗的上部或附近。如果在此位置出现对象,则对象散射测量光束。测量光束的辐射的一部分在照明光束的方向上被散射,这部分通过透镜会聚于激光二极管的发光表面上,并且重新进入该激光器的腔。重新进入二极管激光器的腔的辐射引起激光器的增益的变化,并由此引起由激光器发射的辐射的强度的变化,正是这个现象被称为二极管激光器中的自混合效应。
由激光器发射的辐射的强度的改变或激光器腔中的光波的强度的改变可由光电二极管或被设置为能够确定跨越激光器腔的阻抗变化的检测器检测。该二极管或阻抗检测器将辐射变化转换成电信号,电子电路被设置用于处理该电信号。
例如,自混合干涉信号通过短信号突发脉冲或多个信号突发脉冲表征。这些信号中观察到的多普勒频率是沿光轴的相对速度的衡量标准。因此,可优选使用DC驱动电流以便简化信号检测和信号分析。例如,借助于通过激光的反射可产生的自混合干涉信号,可使用调制驱动电流以确定对象的位置或速度。距离(以及可选地,速度)可在一次测量中或在随后的测量步骤中确定。因此,在第一时间段使用DC驱动电流以便产生与速度有关的测量信号并在第二时间段使用调制驱动电流以便确定距离是可行的或者甚至是有益的。可使用特定的信号分析和/或例如在图7中和第WO02/37410号国际专利申请的对应描述中描述的锯齿驱动电流那样的调制驱动电流来确定相对移动的方向。
图1示出了第一显示设备100的示意图。第一显示设备100是AR眼镜,AR眼镜包括框架140、与AR眼镜机械耦接的控制器130、设置在眼镜的右臂末端处的第一激光传感器模块121以及显示装置110。显示装置110包括两个部分,其中,如同普通眼镜那样,每个部分被固定于框架内并被设置为使得每个部分位于用户的一只眼睛前面。显示装置110为半透明的,使得穿戴AR眼镜的用户能够像戴常规眼镜那样透过显示装置110看见场景。控制器130被设置为能够将至少一个虚拟对象整合到AR眼镜的用户所看到的场景中。例如,虚拟对象可以是针对由用户观察到的场景中的对象的指针或标记(例如,包括信息的指针或标记)。例如,可经由AR眼镜的通信接口(未示出)来提供指针或标记。例如,可借助于无线通信链接(例如,蓝牙链接)将AR眼镜连接到手持装置(例如,智能电话)。手持装置可提供关于用户附近的对象的信息和/或用户可提供例如“标记我视野范围中心的对象”那样的指令。控制器130与第一激光传感器模块电连接,以便接收基于指向不同空间方向并且指向几乎与显示装置110的视野相反的方向的三个测量光束121a、121b、121c的自混合干涉测量数据。测量光束121a、121b、121c通过三个不同的激光器(例如,VCSEL)发射,其中,每个激光器包括集成的光电二极管,以便接收由第一激光传感器模块的检测范围内的参考对象(未示出)反射的反射激光。参考对象可以是任何对象,例如,用户后面的墙。借助于三个不同测量光束121a、121b、121c实现的自混合干涉测量借助于控制器130实现了对用户的头部(可移动对象,未示出)相对于参考对象的移动的确定。由用户提供的虚拟对象(例如,标记或标签)的位置根据用户的头部的移动被调整。第一激光传感器模块121在这个实施例中被设置为能够借助于自混合干涉来确定三个独立的速度矢量。第一激光传感器模块121还包括电驱动器(未示出),以便向激光传感器提供驱动电流。第一显示设备100还包括可充电电池(未示出),以便向组件、特别是控制器130提供电力。
图2示出了第二显示设备100的示意图。第二显示设备100的配置与结合图1讨论的第一显示设备100的配置非常相似。除了在框架140的右臂的末端处的第一激光传感器模块121之外,第二显示设备100还包括在框架140的左臂的末端处的第二激光传感器模块122。第二激光传感器模块122包括发射三个测量光束122a、122b、122c的三个激光传感器,三个测量光束122a、122b、122c向下指向三个不同空间方向以使得测量光束通常命中穿戴AR眼镜的用户的身体。通常相对于头部而缓慢移动的用户的身体被用作潜在的另外的参考对象,以便确定用户的头部的移动。第一激光传感器模块121和第二激光传感器模块122在这种情况下被设置为能够在交替的时间阶段中确定相应参考对象的速度和距离。第二显示设备100还包括实现与结合图1描述类似的无线通信链接的无线通信模块(未示出)。使用无线通信链接以将由第一激光传感器模块121和第二激光传感器模块122提供的测量数据传送到外部的计算装置。与AR眼镜通信的外部计算装置支持对测量数据的分析评估并基于分析评估向AR眼镜提供信息,以便根据用户的头部相对于用户的身体或激光传感器模块121和122的检测范围内的任何其他参考对象的移动来调整虚拟对象的位置。
图3示出了第三显示设备100的侧视图的示意图。第三显示设备100仍然是AR眼镜。AR眼镜包括相机装置(未示出)。相机装置确定第三显示设备的视野152,视野152沿穿戴AR眼镜的用户的观看方向。显示装置110(例如,LCD)被设置为能够示出记录在相机装置的视野中的图像。第一激光传感器模块在与相机装置的视野相反的半空间中发射三个测量光束121a、121b、121c。三个测量光束命中用户后面的墙180(参考对象)并且激光的一部分反射回第一激光传感器模块所包括的各个激光传感器,对应的自混合干涉信号被确定以便确定用户的头部(可移动对象20)的倾斜度(pitch)62。第三显示设备100被设置为能够根据检测的倾斜度62将虚拟对象定位于由相机装置记录的图像中并向用户显示虚拟对象和记录的图像。例如,虚拟对象可借助于第三显示设备100借助于应用于记录的图像的图像识别来自动添加。例如,在这个实施例中,图像识别可借助于第三显示设备100所包括的控制器(未示出)来执行。替代性地或附加性地,无线通信链接可实现更高级的图像识别处理并访问数据库(可选地与位置检测连接的互联网),以便将虚拟对象整合在由相机装置记录的图像中。
图4示出了第三显示设备100的示意俯视图。类似于结合图1所示并讨论的,第一激光传感器模块集成在AR眼镜的右臂的末端。相机装置(未示出)集成在AR眼镜的框架的左上角。图4示出借助于三个测量光束121a、121b、121c和从墙180反射回的激光对用户的头部的偏转的检测。
图5示出了第四显示设备100的示意图。第四显示设备100是AR眼镜的另一示例,其包括限定第四显示设备100的视野152的相机装置(未示出)。AR眼镜包括设置在AR眼镜的右上角的附加的第二激光传感器模块。第二激光传感器模块的三个测量光束122a、122b、122c沿另外的参考对象10的方向发射,在这种情况下,另外的参考对象10是用户的身体。仍然是可移动对象20的用户的头部依靠脖子与用户的身体机械耦接。第二激光传感器模块的三个测量光束122a、122b、122c被设置以使得身体针对大范围的用户的头部移动被命中。因此,身体大部分时间在第二激光传感器模块的检测范围内。在这种情况下,记录的图像中的虚拟对象的位置能借助于通过第一激光传感器模块或第二激光传感器模块提供的自混合干涉信号被调整。在另一实施例中,显示设备100可包括两个侧延伸部,每个侧延伸部包括激光传感器模块,激光传感器模块向相应的激光传感器模块下面的肩部、背部或胸部的一部分发射测量光束。可选地具有可选地发射三个、四个、五个或更多个测量光束的另外的激光传感器模块的这样的配置可被使用,以便针对头部(可移动对象20)的基本上所有可能的移动实现基于借助于用户的身体的激光的反射来监测移动。
图6示出了第六显示设备100的示意图。在这种情况下,第六显示设备100是包括可对准用户的显示装置(未示出)的手持装置(例如,智能电话)。手持装置还包括沿与显示装置相反的方向限定视野152的相机装置(未示出)(例如,集成在智能电话的背面的相机装置)。第六显示设备100还包括在用户观看显示装置的方向上发射三个测量光束121a、121b、121c的第一激光传感器模块(未示出)。在这种情况下,三个测量光束121a、121b、121c所射向的参考对象10是用户的头部。用户的头部通常根据针对显示装置的限定的空间关系而处于特定界限内。手持装置耦接到用户的手部,用户的手部在这种情况下是可移动对象20。在一个替代实施例中,例如,三个测量光束121a、121b、121c的全部或一部分可指向用户的胸部。可选地,使用多于三个测量光束121a、121b、121c以便确定可移动对象20相对于参考对象10的相对移动。手持装置的处理能力用于将虚拟对象投影或整合到记录的场景或由显示装置显示的图像中。例如,虚拟对象可以是指向用户意图移动的方向(导航)的箭头。用户可举起手持装置以便借助于箭头获得附加信息(例如,当他/她不得不向右或向左移动时)。根据确定的移动,直行箭头可改变为例如右转箭头。可选地,虚拟对象可以是关于出现在记录的和显示的图像中的相机装置的视野152中的建筑物的信息。手持装置借助于自混合干涉测量被调整而使得所述信息基本上独立于手持装置相对于用户的身体和/或头部的相对移动而附着于相应的建筑物。替代性地或附加性地,手持装置可包括指向不同方向(例如,地面)的激光传感器模块。可选地或额外地,手持装置可包括例如设置在手持装置的侧部的更多的激光传感器模块,激光传感器模块用于根据由相应的激光传感器模块接收到的自混合干涉信号和/或从由相机装置记录的图像提取的信息来检测相对于另外的或替代的参考对象10(例如,地面)的相对运动。例如,在这种情况下,手持装置可被调整为关闭未接收可靠的自混合干涉信号和/或指向不大可能命中参考对象10的方向(例如,天空)的激光传感器模块。
图7示出了第七显示设备100的示意图。第七显示设备100包括限定视野152用于记录图像的相机装置。第七显示设备100耦接到可移动对象20。可移动对象20借助于轴承耦接到参考对象10。可移动对象20被设置为能够绕着由轴承限定的旋转轴线移动。第一激光传感器模块(未示出)被设置为能够向参考对象10发射三个测量光束121a、121b、121c。虚拟对象根据检测到的可移动对象20相对于参考对象10的相对移动被整合在记录的图像中。
图8示出了第八显示设备100的示意图。第八显示设备100包括设置为能够发射四个测量光束121a、121b、121c、121d的第一激光传感器模块121和传感器光学器件125,传感器光学器件125可包括一个或两个以上光学装置以指引和/或聚焦测量光束121a、121b、121c、121d。在这种情况下,第一激光传感器模块121包括四个激光传感器和对应的检测器,以便检测相应的激光传感器的自混合干涉信号。第一激光传感器模块121还包括电驱动器以向激光传感器提供电驱动电流。第八显示设备100还包括相机装置150和界定相机装置150的视野152的相机光学器件155。相机装置的视野152沿与测量光束121a、121b、121c、121d的空间方向相比不同的方向。第一激光传感器模块121和相机装置150与控制器130电连接,控制器130包括控制器存储装置132和控制器处理装置134。控制器130还连接到无线通信接口160和显示装置110(OLED显示器)。控制器130从相机装置150接收表示相机的视野152中的记录图像的数字数据。数字数据借助于控制器处理装置134通过图像处理被分析。记录的图像中的对象借助于图像处理被识别,与记录的图像中的对象链接的虚拟对象借助于存储在控制器存储装置132中的数据或经由无线通信接口160接收的数据被识别。替代地,用户可借助于可经由无线通信接口160接收的命令或借助于第八显示设备100的直接输入接口(未示出)(例如,连接到控制器130以便接收语音命令的麦克风),将虚拟对象与记录的图像中的对象链接。控制器130还接收借助于第一激光传感器模块121提供的来源于自混合干涉测量的测量数据。控制器130借助于测量数据确定第八显示设备100所连接的可移动对象(未示出)相对于参考对象(未示出)的相对移动。控制器130将表示处理的记录的图像的数据传送到显示装置110。处理的记录的图像包括记录的图像的至少一部分以及链接到记录的图像中的一个或两个以上对象的一个或两个以上虚拟对象,其中,记录的图像内的虚拟对象的位置适应于借助于自混合干涉测量而确定的相对移动。显示装置110基于表示处理的记录的图像的数据将记录的图像的至少一部分与一个或两个以上虚拟对象一起显示。第八显示设备100和上面讨论的其他实施例中的每个可包括用于向显示设备100的组件提供电力的本地电源(未示出)。
图9示出了提供包括至少一个虚拟对象的图像的方法的简图。在步骤210中,借助于自混合干涉测量检测可移动对象20相对于参考对象10、180的移动。在步骤220中,根据确定的移动将至少一个虚拟对象整合到视野152中。
虽然在附图和前述说明书中详细示出并描述了本发明,但是这样的图示和描述被理解为是说明性的或示例性的,而不是限制性的。
从阅读本公开,本领域技术人员将清楚其他的修改方式。这样的修改可包含本领域已知的并且可替代或附加于已经在此描述的特征使用的其他特征。
所公开的实施例的变型可以被本领域技术人员通过对附图、说明书和所附权利要求的研究而理解并实现。在权利要求中,词语“包括”不排除其他元件或步骤,单数形式“一个”不排除多个元件或步骤。特定措施被记载在相互不同的从属权利要求中的这个事实不表示这些措施的组合不能被有利地使用。
在权利要求中的任何附图标记不应被解释为对其范围的限制。
附图标记列表:
10 参考对象
20 可移动对象
62 倾斜度
64 偏转
66 移动
100 显示设备
110 显示装置
121 第一激光传感器模块
121a 第一激光传感器模块的第一测量光束
121b 第一激光传感器模块的第二测量光束
121c 第一激光传感器模块的第三测量光束
122 第二激光传感器模块
122a 第二激光传感器模块的第一测量光束
122b 第二激光传感器模块的第二测量光束
122c 第二激光传感器模块的第三测量光束
125 传感器光学器件
130 控制器
132 控制器存储装置
134 控制器处理装置
140 框架
150 相机装置
152 视野
155 相机光学器件
160 无线通信接口
180 墙
210 记录图像的步骤
220 确定移动的步骤
230 显示记录的图像的步骤
240 整合虚拟对象的步骤
250 调整虚拟对象的位置的步骤

Claims (13)

1.一种显示设备(100),其中,所述显示设备(100)被设置为能够耦接到可移动对象(20),所述显示设备(100)包括:
至少一个第一激光传感器模块(121),其中,第一激光传感器模块(121)被设置为能够借助于自混合干涉测量确定可移动对象相对于机械耦接到可移动对象(20)的参考对象(10、180)的移动,其中,第一激光传感器模块(121)被设置为能够当所述显示设备(100)耦接到可移动对象(20)时沿三个不同的空间方向向参考对象(10)发射至少三个测量光束(121a、121b、121c),其中,第一激光传感器模块(121)被设置为能够确定与所述空间方向共线的速度矢量或距离,
显示装置(110),其用于显示视野(152),其中,显示装置(110)被设置为能够根据确定的可移动对象(20)的移动将至少一个虚拟对象整合到所述视野(152)中。
2.根据权利要求1所述的显示设备(100),所述显示设备(100)还包括控制器,所述控制器(130)被设置为能够将所述至少一个虚拟对象整合到所述视野(152)中,其中,所述控制器还被设置为能够基于确定的可移动对象的移动来调整虚拟对象在所述视野(152)中的位置。
3.根据权利要求1或2所述的显示设备(100),所述显示设备(100)还包括相机装置(150),其中,相机装置(150)被设置为能够通过记录图像来限定可移动对象(20)的所述视野(152),其中,显示装置(110)被设置为能够根据确定的可移动对象(20)的移动来显示记录的图像中的至少一部分以及所述至少一个虚拟对象。
4.根据当引用权利要求2时的权利要求3所述的显示设备,其中,所述控制器(130)还被设置为能够将所述至少一个虚拟对象整合到记录的图像中的所述至少一部分中,其中,所述控制器还被设置为能够基于确定的可移动对象(20)的移动来调整虚拟对象在显示的图像中的位置。
5.根据前述权利要求中的任意一项所述的显示设备(100),其中,第一激光传感器模块(121)被设置为能够沿围绕所述显示设备(100)的虚拟球体的与所述视野(152)相比不同的立体角发射所述至少三个测量光束(121a、121b、121c)。
6.根据前述权利要求中的任意一项所述的显示设备(100),其中,第一激光传感器模块(121)包括激光传感器阵列,其中,所述激光传感器阵列被设置为能够沿不同方向发射多个测量光束,其中,所述控制器(130)被设置为能够:当所述显示设备(100)耦接到可移动对象(20)时,基于借助于所述激光传感器阵列中的至少三个激光传感器提供的自混合干涉测量来确定可移动对象(20)的移动。
7.根据权利要求5所述的显示设备(100),其中,所述显示设备包括至少一个第二激光传感器模块(122),其中,第二激光传感器模块(122)被设置为能够:当所述显示设备(100)耦接到可移动对象(20)时,借助于自混合干涉测量来确定可移动对象(20)的移动,其中,第二激光传感器模块(122)被设置为能够沿围绕所述显示设备(100)的虚拟球体的与第一激光传感器模块(121)相比不同的立体角发射至少三个测量光束(122a、122b、122c)。
8.根据权利要求7所述的显示设备(100),其中,所述控制器(130)被设置为能够根据通过第一激光传感器模块(121)或第二激光传感器模块(122)接收的自混合干涉信号来打开或关闭第一激光传感器模块(121)或第二激光传感器模块(122)。
9.根据权利要求8所述的显示设备(100),其中,第二激光传感器模块(122)被设置为能够:当所述显示设备(100)耦接到可移动对象(20)时,向参考对象(10)发射至少三个测量光束(122a、122b、122c),其中,参考对象(10)机械耦接到可移动对象(20),其中,所述控制器(130)被设置为能够根据借助于自混合干涉信号而确定的移动来打开或关闭第一激光传感器模块(121)或第二激光传感器模块(122),其中,自混合干涉信号借助于第一激光传感器模块(121)或第二激光传感器模块(122)确定。
10.根据前述权利要求中的任意一项所述的显示设备(100),其中,可移动对象(20)是用户的头部,其中,所述显示装置(110)被设置为能够紧邻用户的至少一只眼睛放置。
11.根据权利要求3或当引用权利要求3时的权利要求4至10中的任意一项所述的显示设备(100),其中,所述显示设备(100)是包括显示装置(110)的手持装置,其中,所述手持装置还包括相机装置(150),其中,由相机装置(150)限定的所述视野(152)在与所述显示装置(110)相反的方向上,其中,第一激光传感器模块(121)被设置为能够在用户观看所述显示装置(110)的方向上发射所述至少三个测量光束(121a、121b、121c),其中,可移动对象(20)是用户的手部。
12.一种提供包括至少一个虚拟对象的图像的方法,所述方法包括以下步骤:
当显示设备(100)耦接到可移动对象(20)时,借助于所述显示设备(100)的至少一个第一激光传感器模块(121)沿三个不同的空间方向向参考对象(10、180)发射至少三个测量光束(121a、121b、121c),其中,参考对象(10、180)机械耦接到可移动对象(20),
通过借助于基于发射的至少三个测量光束(121a、121b、121c)的自混合干涉测量确定与所述空间方向共线的速度矢量或距离,来确定可移动对象(20)相对于参考对象(10、180)的移动,
根据确定的移动将所述至少一个虚拟对象整合到视野(152)中。
13.一种包括代码工具的计算机程序载体,所述代码工具能够被存储在由根据权利要求1-11中的任意一项所述的显示设备(100)包括的至少一个存储装置上,其中,所述代码工具被设置为使得能够借助于由所述显示设备(100)包括的至少一个处理装置来执行根据权利要求12所述的方法。
CN201880042916.XA 2017-06-28 2018-06-26 用于计算机媒介现实的显示设备 Active CN110799929B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17178445.7A EP3422147A1 (en) 2017-06-28 2017-06-28 Display apparatus for computer-mediated reality
EP17178445.7 2017-06-28
PCT/EP2018/067152 WO2019002316A1 (en) 2017-06-28 2018-06-26 DISPLAY APPARATUS FOR COMPUTER-AIDED REALITY

Publications (2)

Publication Number Publication Date
CN110799929A CN110799929A (zh) 2020-02-14
CN110799929B true CN110799929B (zh) 2024-01-30

Family

ID=59285012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042916.XA Active CN110799929B (zh) 2017-06-28 2018-06-26 用于计算机媒介现实的显示设备

Country Status (6)

Country Link
US (1) US11093031B2 (zh)
EP (2) EP3422147A1 (zh)
JP (1) JP2020525956A (zh)
KR (1) KR20200023434A (zh)
CN (1) CN110799929B (zh)
WO (1) WO2019002316A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214637A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges
JP7244541B2 (ja) 2018-12-03 2023-03-22 マクセル株式会社 拡張現実表示装置及び拡張現実表示方法
CN111442758A (zh) * 2020-03-27 2020-07-24 云南电网有限责任公司玉溪供电局 一种带增距望远功能的激光测速测距装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233045B1 (en) * 1998-05-18 2001-05-15 Light Works Llc Self-mixing sensor apparatus and method
EP1980999A1 (en) * 2007-04-10 2008-10-15 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO An augmented reality image system, a method and a computer program product
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642227B2 (ja) * 1999-05-06 2005-04-27 日産自動車株式会社 車両用レーザレーダ装置
CN1227617C (zh) 2000-11-06 2005-11-16 皇家菲利浦电子有限公司 测量输入装置运动的方法和输入设置
DE102008038615A1 (de) 2007-09-18 2009-03-19 Continental Teves Ag & Co. Ohg Sensoreinrichtung und Verfahren zum Erfassen der Bewegung eines Fahrzeugs
EP2425261B1 (en) 2009-04-29 2015-03-25 Koninklijke Philips N.V. A laser diode based multiple-beam laser spot imaging system for characterization of vehicle dynamics
CN103180756B (zh) * 2010-11-03 2016-01-20 皇家飞利浦电子股份有限公司 速度确定设备
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20150253428A1 (en) * 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9297996B2 (en) * 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
JP5998688B2 (ja) * 2012-07-10 2016-09-28 セイコーエプソン株式会社 振動片、振動子、電子デバイス、電子機器、移動体
EP2698602A1 (de) * 2012-08-16 2014-02-19 Leica Geosystems AG Handhaltbares Entfernungsmessgerät mit Winkelbestimmungseinheit
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US10135225B2 (en) 2013-08-02 2018-11-20 Koninklijke Philips N.V. Laser device with adjustable polarization
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
CN106680827A (zh) * 2016-11-04 2017-05-17 乐视控股(北京)有限公司 一种密闭空间中的定位系统以及相关方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233045B1 (en) * 1998-05-18 2001-05-15 Light Works Llc Self-mixing sensor apparatus and method
EP1980999A1 (en) * 2007-04-10 2008-10-15 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO An augmented reality image system, a method and a computer program product
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统

Also Published As

Publication number Publication date
WO2019002316A1 (en) 2019-01-03
US20200160566A1 (en) 2020-05-21
EP3646147A1 (en) 2020-05-06
KR20200023434A (ko) 2020-03-04
CN110799929A (zh) 2020-02-14
JP2020525956A (ja) 2020-08-27
EP3422147A1 (en) 2019-01-02
EP3646147B1 (en) 2021-01-27
US11093031B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110352364B (zh) 多光谱照射和传感器模块
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
CN107111370B (zh) 现实世界对象的虚拟表示
CN106687850B (zh) 扫描激光平面性检测
US11127380B2 (en) Content stabilization for head-mounted displays
US11093031B2 (en) Display apparatus for computer-mediated reality
US8971565B2 (en) Human interface electronic device
US11044402B1 (en) Power management for optical position tracking devices
US9105210B2 (en) Multi-node poster location
US7826641B2 (en) Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US20160232715A1 (en) Virtual reality and augmented reality control with mobile devices
US20140375541A1 (en) Eye tracking via depth camera
US20140168261A1 (en) Direct interaction system mixed reality environments
CN113168224A (zh) 信息处理装置、信息处理方法及程序
US20190285896A1 (en) Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus
US12045388B2 (en) Finger detection device and method providing increased reliability detecting attitudes of fingers
WO2022224498A1 (ja) 認識装置、認識方法及びプログラム
US20230090211A1 (en) Object detection-based notification
US12066545B2 (en) Power-efficient hand tracking with time-of-flight sensor
KR20220074317A (ko) 전자장치 및 라이다 센서를 이용한 전자장치 제어 방법
CN112449166A (zh) 全息投影设备、投影控制方法、装置、计算机设备和介质
CN116808567B (zh) 一种基于虚拟现实的模拟行走系统
US12067907B2 (en) Position information acquisition device, head-mounted display, and position information acquisition method
Plopski et al. Tracking systems: Calibration, hardware, and peripherals
US20240169659A1 (en) Wearable terminal device, program, and display method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Ulm

Applicant after: Tongkuai optoelectronic device Co.,Ltd.

Address before: Ulm

Applicant before: Tongkuai photonics Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant