CN117255964A - 具有降低的可检测性的外部照明 - Google Patents

具有降低的可检测性的外部照明 Download PDF

Info

Publication number
CN117255964A
CN117255964A CN202280032853.6A CN202280032853A CN117255964A CN 117255964 A CN117255964 A CN 117255964A CN 202280032853 A CN202280032853 A CN 202280032853A CN 117255964 A CN117255964 A CN 117255964A
Authority
CN
China
Prior art keywords
illumination
computer system
light
distance
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280032853.6A
Other languages
English (en)
Inventor
R·K·普赖斯
C·D·埃德蒙兹
M·布莱尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN117255964A publication Critical patent/CN117255964A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0047—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/11—Controlling the light source in response to determined parameters by determining the brightness or colour temperature of ambient light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本文公开的是用于提供将照明发射到环境中的照明系统的技术，该技术同时还使得该系统对于某些类型的外部光检测系统而言是不可被检测到的。该系统包括单光子雪崩二极管(SPAD)低光(LL)检测装置和发光装置。发光装置提供具有至少950纳米(nm)的波长的照明。基于光的滚降率，照明强度被设置为使得照明在确定距离之外不可被检测到的水平。当发光装置正在提供照明时，SPAD LL检测装置生成在其中提供照明的环境的图像。

Description

具有降低的可检测性的外部照明
背景技术
由于其为其用户创建真正独特的体验的能力，混合现实(MR)系统，包括虚拟现实(VR)和增强现实(AR)系统，已经受到极大关注。作为参考，传统的VR系统通过将其用户的视野限制在仅虚拟环境中来创建完全身临其境的体验。这通常是通过使用完全遮挡现实世界任何视图的头戴式装置(HMD)来实现的。结果，用户完全沉浸在虚拟环境中。相比之下，传统的AR系统通过视觉呈现放置在现实世界中或与现实世界交互的虚拟对象来创建增强现实体验。
如本文所使用的，VR和AR系统被可互换地描述和引用。除非另有说明，本文的描述同样适用于所有类型的MR系统，其(如上文详述)包括AR系统、VR现实系统和/或能够显示虚拟内容的任何其他类似系统。术语“HMD”的使用也可以指MR系统。
MR系统可以采用不同类型的相机(也称为“模态”)以便向用户显示内容。通常，具有不同模态的相机用于帮助MR系统的用户更好地了解他/她的环境中的情况。例如，低光相机可用于观察低光环境中的内容。
MR系统被用在各种各样的场景中。举例来说，MR系统通常用于游戏场景，例如彩弹射击游戏。彩弹射击游戏比赛的目标之一是消灭对手而不被淘汰。为此，通常需要秘密跟踪对手。基于保持隐秘性的愿望，人们可以理解在彩弹射击游戏中避免被对手发现是多么理想的一件事。因此，本技术领域需要改进MR系统的使用方式，以避免被其他MR系统检测到，同时实现特定的性能水平。
本文要求保护的主题不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。相反，该背景仅被提供来说明可以实践本文描述的一些实施例的一个示例性技术领域。
发明内容
本文公开的实施例涉及用于提供照明系统的系统、设备(例如，可穿戴设备、头戴式装置、硬件存储装置)和方法，该照明系统向环境提供照明，同时也不能被其他系统(例如某些类型的外部光检测系统或处于选定距离之外的系统)检测到。
一些实施例包括单光子雪崩二极管(SPAD)低光(LL)检测装置和发光装置。发光装置提供具有至少950纳米(nm)的波长的照明。由于照明具有特定的滚降率，所以照明的强度被设置为特定的强度水平，以使得从确定的距离之外无法检测到照明，其中所确定的距离是基于滚降率的。当发光装置正在提供照明时，SPAD LL检测装置用于生成其中提供照明的环境的图像。
一些实施例被配置为动态地修改由照明源生成的照明量以实现或满足特定的性能水平，同时也不能被特定类型和/或超过特定距离的外部光检测系统检测到。例如，一些实施例检测环境中的环境光量。实施例还选择远离(例如，距计算机系统)的距离，其中所选择的距离是计算机系统发射的照明光基于照明光的滚降率而将不能被一个或多个外部光检测系统检测到的距离。基于使用低噪声低光检测装置来检测环境光和照明光的组合的反馈回路，实施例逐渐增加、减少或可以维持发射到环境中的照明光的量，直到达到阈值水平为止。阈值水平基于照明光的滚降率和所选择的距离的组合，使得当达到阈值水平时，低噪声低光检测装置能够检测远至所选择的距离但是由于照明灯滚降而不会超过所选择的距离的内容。
一些实施例包括单光子雪崩二极管(SPAD)低光(LL)检测装置和发光装置。发光装置提供具有至少950纳米(nm)的波长的照明光。由于照明光具有特定的滚降率，实施例将照明光的强度设置为特定强度水平，以使得照明光在距计算机系统的确定距离处或从距计算机系统的确定距离起不可被检测到，其中确定的距离基于滚降率。当发光装置正在提供照明光时，SPAD LL检测装置用于生成其中提供照明的环境的图像。另外，实施例选择新的距离(例如，距计算机系统的距离)。所选择的新距离是基于照明光的滚降率照明光而将不能被一个或多个外部光检测系统检测到的距离。基于使用SPAD LL检测装置来检测至少一些照明光的反馈回路，实施例逐渐增加、减少或可以维持由发光装置发射到环境中的照明光的量，直到达到阈值水平为止。阈值水平基于照明光的滚降率和所选择的新距离的组合，使得当达到阈值水平时，SPAD LL检测装置能够检测远至所选择的新距离但是由于照明光滚降而不会超过所选择的新距离的内容。
提供本发明内容是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步描述。本发明内容无意于识别所要求保护的主题的关键特征或基本特征，也无意于用作确定所要求保护的主题的范围的帮助。
附加的特征和优点将在下面的描述中阐述，并且部分地从描述中将是显而易见的，或者可以通过本文的教导的实践而了解到。本发明的特征和优点可以通过所附权利要求中特别指出的手段和组合来实现和获得。本发明的特征将从下面的描述和所附权利要求中变得更加明显，或者可以通过如下文阐述的本发明的实践来了解。
附图说明
为了描述获得上述和其他优点和特征的方式，将参考附图中示出的具体实施例对上面简要描述的主题进行更具体的描述。要理解的是，这些附图仅描绘了典型的实施例并且因此不应被认为是对范围的限制，将通过使用附图以额外的特性和细节来描述和解释实施例，其中：
图1示出了头戴式装置HMD(也称为MR系统)的示例。
图2示出了如何将不同的相机合并到MR系统中。
图3示出了MR系统如何可以包括发光装置。
图4示出了不同类型的光检测装置的不同量子能量图，光检测装置包括传统的图像增强管和单光子雪崩二极管(SPAD)装置。
图5示出了光的滚降率。
图6示出了即使第一MR系统可以正在发射照明光，如果第二MR系统位于所发射光的滚降率导致到达该第二MR系统的光子太少的距离处，则第一MR系统将如何不可被第二MR系统检测到。
图7示出了MR系统如何可以包括SPAD低光(LL)检测装置。
图8示出了MR系统如何可以包括SPAD LL检测装置和发光装置的组合。
图9示出了SPAD LL检测装置和发光装置的组合如何能够使MR系统能够检测到内容而不会被其他MR系统检测到。
图10提供了所公开的系统如何能够检测内容同时避免被其他系统检测到的另一图示。
图11示出了分离的发光装置的示例。
图12示出了用于提供发射照明光同时避免被其他光检测系统检测到的照明系统的示例方法的流程图。
图13示出了可以执行以确定将多少光子投射到环境中的校准事件的示例。
图14提供了校准事件的另一个示例。
图15示出了用于使用反馈回路来动态控制发射到环境中的光量的示例方法的流程图。
图16示出了反馈回路的另一个示例。
图17示出了反馈回路如何考虑或依赖其他数据片段。
图18示出了被配置为执行任何所公开的操作的示例计算机系统。
具体实施方式
本文公开的实施例涉及用于提供照明系统的系统、设备(例如，可穿戴设备、头戴式装置、硬件存储装置)和方法，该照明系统向环境提供照明同时也不能被其他系统检测到。
一些实施例包括单光子雪崩二极管(SPAD)低光(LL)检测装置和发光装置。发光装置提供具有至少950纳米(nm)的波长的照明。照明强度被设置为使得照明在确定的距离处不可被检测到的水平。当发光装置正在提供照明时，SPAD LL检测装置生成在其中提供照明的环境的图像。
一些实施例被配置为动态地修改由照明源生成的照明量以实现或满足特定的性能水平，同时也不能被特定类型和/或超过特定距离外的外部光检测系统检测到。为此，一些实施例检测环境中的环境光量。实施例还选择远离(例如，距计算机系统)的距离，其中所选择的距离是照明光将不能被外部光检测系统检测到的距离。基于反馈回路，实施例逐渐增加、减少或可以维持照明光量，直到达到阈值水平为止。阈值水平基于照明光的滚降率和选定距离的组合，使得当达到阈值水平时，低噪声低光检测装置能够检测远至选定距离的内容，但是不会由于照明光滚降而超过选定的距离。
一些实施例包括单光子雪崩二极管(SPAD)低光(LL)检测装置和发光装置。发光装置提供具有至少950纳米(nm)的波长的照明光。照明光的强度被设置为使得光在距计算机系统的确定的距离处或从远离计算机系统的确定的距离起不可被检测到的水平。当发光装置正在提供照明光时，SPAD LL检测装置生成环境的图像。选择新距离，其中新距离是光基于照明光的滚降率而将不可被外部光检测系统检测到的距离。基于使用SPAD LL检测装置的反馈回路，实施例逐渐增加、减少或可以维持照明光量，直到达到阈值水平为止。阈值水平基于滚降率和所选新距离的组合，使得当达到阈值水平时，SPAD LL检测装置能够检测到所选新距离以内但不会由于照明光滚降而超过所选新距离的内容。
技术益处、改进和实际应用示例
以下部分概述了所公开的实施例提供的一些示例改进和实际应用。然而，应当意识到，这些仅仅是示例并且实施例不仅仅限于这些改进。
所公开的实施例为本技术领域带来实质性益处。举例来说，实施例能够维持或实现/满足期望的性能水平(例如，通过在低光环境中生成高质量图像)，同时也不能被诸如其他MR系统的外部光检测系统检测到。通过遵循所公开的原理，实施例能够改善用户对MR系统的体验(例如，通过不可检测)，同时还为该用户提供高质量影像。这样做可以改进分析、计算机视觉以及用户与计算机系统的交互。此外，向用户(在某些情况下)提供了他/她可能无法以其他方式查看或交互的内容。因此，将在本公开的剩余部分中更详细地描述这些益处和其他益处。
示例HMD和扫描系统
现在将注意力转向图1，其示出了头戴式装置(HMD)100的示例。HMD 100可以是任何类型的MR系统100A，包括VR系统100B或AR系统100C。应当注意，虽然本公开的大部分集中于使用HMD来扫描环境以提供直通可视化(也称为直通图像(passthrough image))，但是实施例不限于仅使用HMD来实践。也就是说，可以使用任何类型的扫描系统，甚至是从HMD完全移除或与HMD完全分离的系统。例如，自动驾驶汽车可以实现所公开的操作。
因此，所公开的原理应当被广义地解释为涵盖任何类型的扫描场景或设备。一些实施例甚至可以避免主动使用扫描装置本身并且可以简单地使用由扫描装置生成的数据。例如，一些实施例可以至少部分地在云计算环境中实践。
HMD 100被示为包括扫描传感器105(即，一种类型的扫描或相机系统)，并且HMD100可以使用扫描传感器105来扫描环境、映射环境、捕捉环境数据，和/或生成任何类型的环境图像(例如，通过生成环境的3D表示或通过生成“直通”可视化)。扫描传感器105可以包括任何数量或任何类型的扫描装置，但不限于此。
根据所公开的实施例，HMD 100可用于生成用户环境的直通可视化。“直通”可视化是指反映用户在未佩戴HMD 100时该用户将看到的内容的可视化，无论HMD 100是否作为AR系统或VR系统的一部分包括在内，尽管该直通图像可以补充有额外或增强的内容。为了生成该直通可视化，HMD 100可以使用其扫描传感器105来扫描其周围环境、映射其周围环境、或以其他方式记录其周围环境，包括环境中的任何对象，并且将该数据传递给用户以查看。在许多情况下，传递过去的数据被修改以反映或对应于用户瞳孔的视角。视角可以通过任何类型的眼睛跟踪技术来确定。
为了将原始图像转换成直通图像，扫描传感器105通常依赖其相机(例如，头部跟踪相机、手部跟踪相机、深度相机或任何其他类型的相机)来获得环境的一个或多个原始图像。除了生成直通图像之外，这些原始图像还可以用于确定详细说明从传感器到由原始图像捕获的任何对象的距离的深度数据(例如，z轴范围或测量值)。一旦获得这些原始图像，则可以生成直通图像(例如，每个瞳孔一个)，并且还可以根据嵌入或包括在原始图像内的深度数据来计算深度图。
如本文所使用的，“深度图”详细描述了相对于环境中的对象的位置关系和深度。因此，可以根据深度图(也可以是原始图像)确定对象相对于彼此的位置布置、位置、几何形状、轮廓和深度，可以生成环境的3D表示。
相关地，根据直通可视化，用户将能够感知当前在他/她的环境中的事物，而不必移除或重新定位HMD 100。此外，如稍后将更详细描述的，所公开的直通可视化还将增强用户查看其环境中的对象的能力(例如，通过显示可能尚未由人眼检测到的附加环境条件)。
应当注意，虽然本公开的大部分集中于生成“一个”直通图像，但实施例实际上为用户的每只眼睛生成单独的直通图像。即，两个直通图像通常彼此同时生成。因此，虽然经常提到生成看似单个直通图像，但实施例实际上能够同时生成多个直通图像。
在一些实施例中，扫描传感器105包括低噪声低光检测装置110，例如单光子雪崩二极管(SPAD)低光(LL)装置115。省略号120指示HMD 100中如何还可以包括其他类型的扫描传感器，例如可见光相机、其他类型的低光相机、热成像相机、紫外(UV)相机、单色相机、红外相机、深度相机、飞行时间相机，等等。在这方面，不同模态的相机可以可选地包括在HMD 100上。扫描传感器105生成图像，该图像可以用于生成直通图像，然后该直通图像可以显示在HMD 100的显示器125上。
与低光检测装置中使用的传统图像增强管相比，SPAD在使得SPAD能够检测单个光子的偏置电压下操作。在检测到单个光子时，形成电子-空穴对，并且电子在高电场中加速，引起雪崩倍增(例如，产生额外的电子-空穴对)。因此，每个检测到的光子都可以触发雪崩事件。SPAD可以以门控方式操作(每个门对应于单独的快门操作)，其中每个门控快门操作可以被配置为产生二进制输出。二进制输出可以包括“1”，其中在曝光期间检测到雪崩事件(例如，其中检测到光子)，或包括“0”，其中没有检测到雪崩事件。
单独的快门操作可以在帧捕获时间段(例如，30Hz时间段或一些其他帧速率)上集成(integrate)。可以对帧捕获时间段上的快门操作的二进制输出进行计数，并且可以基于计数的二进制输出来计算强度值。换句话说，单独的门可以被视为“子帧”或“子门”，并且连续的子帧可以在帧捕获时间段(例如，30Hz时间段或一些其他帧速率)上集成。可以对帧捕获时间段内的子帧的二进制输出进行计数，并且可以基于计数的二进制输出来计算强度值。
SPAD阵列可以形成图像传感器，其中每个SPAD形成SPAD阵列中的单独像素。为了捕获环境的图像，每个SPAD像素可以检测雪崩事件并以本文描述的方式为连续快门操作提供二进制输出。可以对帧捕获时间段内的多个快门操作的每像素二进制输出进行计数，并且可以基于计数的每像素二进制输出来计算每像素强度值。每像素强度值可用于形成环境的强度图像。
与传统图像增强管/传感器相比，SPAD图像传感器可以提供许多优势。例如，SPAD输出的二值化可以减少或有效消除读取噪声，从而与传统图像增强管/传感器相比提高SPAD图像传感器阵列的信噪比，特别是在低光成像条件下。因此，SPAD传感器可用于HMD上，以促进图像捕获以及其他任务(例如，深度感测和/或依赖于深度信息的其他功能)，特别是在传统图像增强管/传感器会经历较差信噪比的低光成像条件下。
此外，如本文所述，SPAD阵列可以被配置为以有利的方式执行交错的主动成像操作(例如，飞行时间(time-of-flight)捕获)和被动成像操作(例如，强度图像捕获)。与传统的图像增强管/传感器相比，这种功能可以提供显著的优势。例如，在使用图像增强管/传感器来使用飞行时间技术来捕获强度图像信息和深度信息两者的情况下，传感器可以在捕获全强度帧和捕获全深度帧之间交替。然而，此类技术导致强度帧和深度帧之间的时间偏移。这样的时间偏移可能导致视差校正图像中的运动模糊和/或依赖于或受益于描述捕获环境的在时间上对齐的强度和深度信息的其他操作的其他问题。
与传统系统相比，所公开的SPAD阵列被配置为在子帧级执行交错的强度图像捕获操作和飞行时间捕获操作。例如，在帧捕获时间段内，SPAD阵列可以利用子帧定时在收集强度信息(例如，对检测到光子的子帧或子门进行计数)和收集深度信息(例如，使激光脉冲化并跟踪检测到光子的不同延迟的子帧或子门)之间交替。这种功能可以提供包括在时间上对齐的强度信息和深度信息的帧(例如，合成的三维图像和强度图像)，从而减少或消除视差校正直通图像中的运动模糊和/或改进受益于时间对齐的强度和深度信息的其他操作。
与传统的图像增强管/传感器相比，用于利用子帧定时执行交错强度捕获和飞行时间捕获操作的技术可以使用SPAD阵列来实现。例如，尝试使用传统图像增强管/传感器来实现此类技术可以导致低信噪比(例如，通过增加读取噪声的影响)。
应当注意，对于不同相机类型/模态中的每一个，可以在HMD 100上提供任意数量的相机(例如，SPAD LL检测装置)。即，SPAD LL检测装置可包括1、2、3、4、5、6、7、8、9、10或多于10个相机/装置。然而，相机的数量通常至少为2，因此HMD 100可以执行立体深度匹配。类似地，其他类型的相机(例如，低光相机、热成像相机、UV相机、单色相机和红外相机)可以各自分别包括1、2、3、4、5、6、7、8、9、10或多于10个相应相机。
图2示出了示例HMD 200，其表示图1中的HMD 100。HMD 200被示出为包括多个不同的相机，包括相机205、210、215、220和225。相机205-225表示任何数量或组合的SPAD LL检测装置、可见光相机、弱光相机、热成像相机、UV相机、单色相机和红外相机。虽然图2中仅示出了5个相机，但是HMD 200可以包括多于或少于5个的相机。
在一些情况下，相机可以位于HMD 200上的特定位置处。例如，在一些情况下，第一相机(例如，可以是相机220)被布置在HMD 200上、相对于HMD的高度方向而位于佩戴HMD200的任何用户的指定的左眼位置上方的位置处。例如，相机220位于瞳孔235上方。作为另一示例，第一相机(例如，相机220)另外定位于相对于HMD的宽度方向在指定的左眼位置上方。即，相机220不仅定位在瞳孔235上方，而且相对于瞳孔235成一直线。当使用VR系统时，相机可以直接放置在指定的左眼位置的前面。例如，参考图2，相机可以物理地布置在HMD200上、沿z轴方向位于瞳孔235前面的位置处。
当提供第二相机(例如，可以是相机210)时，第二相机可以被布置在HMD上、相对于HMD的高度方向而位于佩戴HMD的任何用户的指定的右眼位置上方的位置处。例如，相机210位于瞳孔230上方。在一些情况下，第二相机附加地定位于相对于HMD的宽度方向在指定的右眼位置上方。当使用VR系统时，可以将相机直接放置在指定的右眼位置的前面。例如，参考图2，相机可以物理地布置在HMD 200上、沿z轴方向位于瞳孔230前面的位置处。
当用户佩戴HMD 200时，HMD 200适配在用户的头部上并且HMD 200的显示器位于用户的瞳孔(例如瞳孔230和瞳孔235)的前面。通常，相机205-225将相对于用户的瞳孔230和235物理地偏移一定距离。例如，在HMD高度方向(即，“Y”轴)上可以存在垂直偏移，如偏移240所示。类似地，在HMD宽度方向(即“X”轴)上中可以存在水平偏移，如偏移245所示。
如先前所描述的，HMD 200被配置为提供直通图像250以供HMD 200的用户观看。这样做时，HMD 200能够提供现实世界的可视化，而不需要用户移除或重新定位HMD 200。有时，可视化被增强、修改或补充有附加信息，如稍后将更详细地描述的。直通图像250有效地表示在用户没有佩戴HMD 200的情况下用户将看到的相同视图。相机205-225用于提供这些直通图像250。
然而，相机205-225中没有一个直接与瞳孔230和235对齐。偏移240和245实际上引入了相机205-225与瞳孔230和235之间的视角差异。这些视角差异被称为“视差”。
因为由于偏移240和245而出现视差，所以由相机205-225产生的原始图像不能立即用作直通图像250。相反，对原始图像执行视差校正255(也称为图像合成)以将那些原始图像内体现的视角变换为对应于用户瞳孔230和235的视角是有益的。视差校正255包括任何数量的畸变校正(例如，以校正凹或凸广角或窄角相机镜头)、对极变换(例如，使相机的光轴平行)和/或重投影变换(例如，重新定位光轴以便基本上位于用户瞳孔前面或与用户瞳孔成一直线)。视差校正255可以包括执行深度计算以确定环境的深度，然后将图像重新投影到确定的位置或具有确定的视角。如本文所使用的，短语“视差校正”和“图像合成”可以彼此互换并且可以包括执行立体直通视差校正和/或图像重投影视差校正。
在一些情况下，视差校正255包括平面重投影260，其中图像的所有像素被重投影到公共平面深度。在一些情况下，视差校正255包括完全重投影265，其中各种像素被重投影到不同的深度。
通过执行这些不同的变换或重投影，实施例可选地能够对原始相机图像执行三维(3D)几何变换，以与用户的瞳孔230和235的视角相关联的方式变换原始图像的视角。另外，3D几何变换依赖于深度计算，其中HMD 200的环境中的对象被映射出来以确定它们的深度。基于这些深度计算，实施例能够以这样的方式三维地重新投影或三维地扭曲原始图像：保留直通图像250中的对象深度的外观，其中所保留的对象深度基本上匹配、对应或可视化现实世界中对象的实际深度。因此，视差校正255的程度或量至少部分地取决于偏移240和245的程度或量。
通过执行视差校正255，实施例有效地创建位置位于用户瞳孔230和235前面的“虚拟”相机。作为附加说明，考虑相机205的位置，其当前位于瞳孔230的上方和瞳孔230的左侧。通过执行视差校正255，实施例以编程方式变换由相机205生成的图像，或者更确切地说，变换那些图像的视角，因此视角看起来好像相机205实际上被直接定位在瞳孔230的前面。也就是说，即使相机205实际上不移动，实施例也能够变换由相机205生成的图像，使得这些图像具有好像相机205位于瞳孔230前面的外观。
发光装置
图3示出了示例HMD300，其表示目前为止所讨论的HMD和MR系统。HMD300包括发光装置305，其被显示为发射照明310(也称为光或照明光)。发光装置305可以采用各种不同的形式。
例如，在一些情况下，发光装置305可以是被配置为发射高度相干光的红外(IR)激光器315。在一些情况下，发光装置305可以是IR发光二极管(LED)320。
根据所公开的原理，发光装置305被配置为发射具有特定波长325或在波长范围内的光，如稍后将更详细讨论的。此外，人们将意识到，照明310如何具有特定的滚降率330。即，光的滚降率330是1/R2，其中“R”是距发光装置305的距离。图4、图5和图6提供了附加细节。
图4示出了其上具有两个图形的图表400。一个图形映射出了传统低光检测装置中使用的传统图像增强管405的量子效率曲线。另一个图形映射出了所公开的实施例所使用的SPAD LL检测装置410的量子效率曲线。
注意，传统图像增强管405的量子效率曲线在大约900纳米(nm)处显著下降。这意味着传统弱光检测装置中使用的传统图像增强管无法检测波长大于约900nm的光。
相反，SPAD LL检测装置410的量子效率曲线直到波长达到约1,100nm才下降。这意味着SPAD LL检测装置可以检测传统图像增强管无法检测到光的波长的光，例如大约900nm到1,100nm之间的波长。
如先前所讨论的，期望的是提供一种其他类型的系统无法检测到的系统。因此，根据所公开的原理，实施例能够利用SPAD LL检测装置并结合发光装置。发光装置被配置为发射具有传统图像增强管无法检测到的波长的光。在某些情况下，会建立缓冲区。例如，因为传统的图像增强管可以能够检测大约900nm的光，所以可以实现大约50nm的缓冲器，使得所公开的发光装置发射具有大于大约950nm但不低于950nm的波长的光。
在一些实现方式中，MR系统可以配备有带通滤波器415以帮助滤除大约950nm的阈值水平附近的光。也就是说，带通滤波器415可以被配置为滤除具有低于约950nm的波长的光。通过使用该带通滤波器415，实施例能够维持或保留传统图像增强管可检测到的波长与SPAD LL检测装置将检测到的波长之间的期望缓冲。
如前所述，光具有特定的滚降率。图5提供了有关此滚降率的有用说明。
具体地，图5示出了由HMD 505发射的光的滚降率500，如照明510所示。也就是说，HMD 505表示来自图3的HMD 300，并且照明510表示照明310。
照明510具有特定强度515并且该照明510的强度水平520可以基于提供给发光装置的功率量来修改。图5所示的滚降率500示出了随着距HMD 505(或者更确切地说，发光装置)的距离525增加，照明510如何以1/R2的速率消散或滚降。
例如，在距HMD 505 1米(m)处，照射面积为1m2，照度为1/1，或100％。距离HMD5052m处，照射面积为4m2，照度为1/4，或25％。距离HMD 505 3m处，照射面积为9m2，照度为1/9，或11.1％。在距离HMD 505 4m处，照射面积为16m2，照度为1/16，或6.25％。在距离HMD505 5m处，照射面积为25m2，照度为1/25，或4.0％。根据这一图示，人们可以观察光如何以快速的速率消失或消散。如果距离HMD 505足够远，则到达该距离的光量将非常小，以至于光基本上无法被检测到。这种场景如图6所示。
图6示出了发射照明605的HMD 600，类似于图5中示出的。图6还示出了外部光检测系统610，其可以是HMD/MR系统、相机或任何其他类型的光检测装置。图6还示出了距离线615，其通常反映照明605的滚降率。在距离620处或从距离620起，照明605看起来相当暗并且几乎不可察觉。注意，外部光检测系统610位于距离625处，该距离比距离620更远离HMD600。因为距离625太大，所以HMD 600发射的光子已经太过分散，以至于这些光子基本上是不可被检测到的，如处于黑色或变暗区域的外部光检测系统610所示。
通过这种理解，人们可以意识到通过动态地控制光的波长以及光的强度两者，可以如何设计达到、实现或满足某些性能要求/目标同时外部光检测系统无法检测到的一种系统。稍后将提供更多详细信息，但有必要进行快速介绍。具体地，实施例能够发射具有被选择为使得传统图像增强管无法检测到的波长的光。发射的光量可以基于将多种不同标准考虑在内的反馈回路进行动态调整。稍后将提供有关此反馈回路的更多详细信息。发出的光量通常非常低。例如，光量通常在约0.01毫勒克斯至约5.0毫勒克斯的范围内；尽管可以发射小于0.01毫勒克斯或可以发射大于5.0毫勒克斯。
实施例能够动态地控制发射的光的强度，使得特定距离外的外部光检测系统将无法检测到发射的光，即使该外部光检测系统使用传统的图像增强管或SPAD LL检测装置也是如此。如稍后将更详细地讨论的，实施例采用被设计为动态控制光的强度以实现未检测到的状态的反馈回路。
MR系统配置
刚刚描述了光的各种特性，现在将注意力转向图7，其示出了包括SPAD LL检测装置705的示例HMD 700。这里，SPAD LL检测装置705用于捕获环境的图像，如图像扫描710所示。该图像可以用作直通图像，如之前所讨论的。
图8示出了HMD 800，其表示目前为止所讨论的HMD。HMD 800包括SPAD LL检测装置805和发光装置815，SPAD LL检测装置805用于捕获环境的图像(如图像扫描810所示)，发光装置815用于将照明820发射到环境中。发光装置815以先前讨论的方式配置，其发射波长大于约900nm的光。在大多数情况下，照明820具有大于约950nm的波长。在一些情况下，照明820具有大于约1,000nm的波长。如先前所讨论的，带通滤波器可用于过滤波长低于约950nm的光。
在该示例场景中，发光装置815将光投射到环境中，同时SPAD LL检测装置805捕获正在发射光的环境的图像。也就是说，SPAD LL检测装置805和发光装置815通常瞄准相同的方向。
水平线825指的是从HMD 800直接向外投影(例如，正交)的线，类似于相机的光轴。还示出了向下角度830，其可以被设置为1度和89度之间的任何向下角度。发光装置815旨在瞄准向下角度830。通过将发光装置815向下瞄准，实施例能够避免所谓的“远处的头灯”场景。即，当汽车头灯沿着水平线825指向时，通常可以从很远的距离、有时数英里之外看到那些头灯。然而，通过将头灯向下照射，光束会照射到地面，从而避免了从远处看到光的能力。发光装置815遵循类似的原理，因为发光装置815也沿着向下角度830向下瞄准。
通过上述配置，HMD 800现在可以在极弱光场景中使用。当环境光条件约为1.0毫勒克斯时，这是当环境中仅存在星光时发生的光水平，就会发生这种场景。发光装置815被配置为发射恰好足够的可见光子以使得SPAD LL检测器件805能够观察环境中的内容，同时还被配置为避免发射太多的可见光子使得外部光检测系统无法检测到该HMD 800。
也就是说，HMD 800能够动态地控制照明820的强度以实现照明820在特定的选定距离处基本上完全减弱(drop off)的场景。该距离可以被设置为距HMD 800的任何值。例如，所选择的距离可以从距HMD 800 1或2米到距HMD 800 5米。作为附加说明，实施例控制照明820的强度，使得照明820在选定距离处减弱(即，从该距离开始，来自装置的可检测光子的数量不能被充分检测到，这意味着检测传感器不能感测到光子或者意味着任何检测到的光子都会与噪声混淆或被解释为噪声)。因此，SPAD LL检测装置805将能够观察和检测远至选定距离的内容，而位于比选定距离更远的外部光检测装置将无法检测或观察HMD 800，因为照明820已经减弱。图9和图10提供了一个有用的示例。
无法检测到的示例
图9示出了包括彩弹射击场900的环境，其是低光环境的示例。注意，存在佩戴以本文描述的方式配置的HMD的彩弹射击者905。HMD发射具有上述波长特征的照明910。HMD还包括SPAD LL检测装置，SPAD LL检测装置被配置为生成环境的低光图像。彩弹射击场900还包括当前站在由照明910照射的区域中的第二彩弹射击者915。
在这种场景中，彩弹射击者905将能够看到彩弹射击者915，因为彩弹射击者915在照明910的范围内。如果彩弹射击者915没有HMD或者如果该HMD包括传统的图像增强管，则彩弹射击者915将无法看到彩弹射击者905，因为照明910具有不可检测的波长。
图9还示出了参考点920，其是放置在彩弹射击场900中的障碍物的示例。参考点920将在接下来的几幅图中被提及。
图10示出了图9中的每个彩弹射击者能够看到的图像。具体地，图10示出了彩弹射击者1000，其表示彩弹射击者905。图10示出了图像1005，其可以是提供给彩弹射击者1000的直通图像的示例。注意，图像1005示出了参考点1010，其表示图9中的参考点920，以及观察到的对手1015，其表示彩弹射击手915。
图10还示出了彩弹射击者1020，其表示图9中的彩弹射击者915。图10还示出了图像1025，其可以是彩弹射击者1020正在观看的直通图像。注意，图像1025示出了参考点1030，但是彩弹射击者1000是无法检测到的，如未被观察到的对手1035所示。在该示例场景中，彩弹射击者1020正在使用依赖于传统图像增强管的HMD，并且该系统不足以检测到图9中的照明910。此外，彩弹射击者905距彩弹射击者915太远，使得图像1025不显示彩弹射击者905。因此，通过使用所公开的原理，可以实现显著的益处。
图11示出了另一个示例彩弹射击场1100(另一个低光环境)。该场包括佩戴HMD1110的彩弹射击者1105。HMD 1110正在与当前正在发射具有先前讨论的波长的照明1120的分离的发光装置1115进行通信。也就是说，HMD 1110具有与分离的发光装置1115的无线连接1125。HMD 1110能够以与分离的发光装置1115附接到HMD 1110相同的方式控制分离的发光装置1115。因此，可以使用任何类型的发光装置，无论是附接的还是分离的。
示例方法
下面的讨论现在涉及可以执行的多种方法和方法动作。虽然方法动作可以按一定顺序讨论或在流程图中说明为按特定顺序发生，但除非特别说明或需要，否则不要求特定顺序，因为一个动作依赖于在执行该动作之前完成的另一个动作而要求特定顺序。
现在将注意力转向图12，其示出了示例方法1200的流程图。可以使用被配置为提供照明系统的计算机系统来执行方法1200，该照明系统向环境中提供或发射照明，同时也是其他外部光检测系统不可检测到的。该计算机系统可以包括单光子雪崩二极管(SPAD)低光(LL)检测装置、发光装置、处理器和计算机可读硬件存储装置。可选地，发光装置可以是IR激光器或IR LED之一。此外，发光装置可以相对于计算机系统的水平视线成向下角度。在一些情况下，发光装置附接到计算机系统，而在其他情况下，发光装置与计算机系统分离并且经由无线连接与计算机系统通信。
首先，方法1200包括使发光装置提供具有至少950纳米(nm)的波长的照明的动作(动作1205)。在一些实施方式中，照明的波长是至少1,000nm。
由于照明具有特定的滚降率，因此存在将照明的强度设置为特定强度水平以使得照明在距计算机系统的确定的距离处或从距计算机系统确定的距离起不可检测到的动作(动作1210)。值得注意的是，所确定的距离是基于特定的滚降率(例如，1/R2)的。在一些情况下，所确定的距计算机系统的距离是从1米到大约5米。
当发光装置正在提供照明时，存在使用SPAD LL检测装置来生成提供照明的环境的图像的动作(动作1215)。该图像可以是显示供用户查看的直通图像，如先前所讨论的。
在一些情况下，在使发光装置提供照明之前，实施例执行图13中概述的校准操作。具体地，图13示出了包括检测(动作1305)计算机系统所在环境中的环境光子的示例校准动作1300。动作1310然后包括使得发光装置逐渐增加校准照明的强度，使得除了环境光子之外，也将所生成的光子发射到环境中。
值得注意的是，环境光子和所生成的光子的组合构成“照明光子”。此外，校准照明的强度逐渐增加，直到达到照明光子的阈值数量或者使用SPAD LL检测装置在环境中检测到照明光子的阈值数量为止。该过程导致校准照明在距计算机系统的确定的距离处但不超过该确定的距离是可检测到的。图14说明了该校准过程。
具体地，图14示出了涉及环境1410中的HMD 1405的校准过程1400，其中HMD 1405最初抑制发射照明，以确定环境1410中的环境光子1415的水平。HMD 1405然后逐渐增加校准照明1425的强度1420，使得除了现有的环境光子1415之外，生成的光子1430也被发射到环境1410中。光子由HMD的SPAD LL检测装置检测。环境光子1415和生成的光子1430的组合构成照明光子1435。
强度1420逐渐增加，直到达到或检测到照射光子1435的阈值1440数量为止，其中阈值1440取决于距HMD 1405的选定距离1445。也就是说，HMD 1405在距离1445处或远至距离1445(例如，通过SPAD LL检测装置，但不通过传统图像增强管)但不超过距离1445将是可检测到的。
现在将注意力转向图15，其示出了示例方法1500的流程图，其中计算机系统被配置为动态地修改(例如，增加或减少)或可以维持由照明源生成的照明量，以实现特定的性能水平，同时还使得计算机系统无法被特定类型和/或距计算机系统超过特定距离的外部光检测系统检测到。值得注意的是，方法1500可以是图12中的方法1200的扩展。为了清楚起见，结合图12呈现的操作也可以结合图15中呈现的操作来执行。
此外，计算机系统可以采用迄今为止讨论的任何MR系统或HMD的形式。该计算机系统利用低噪声低光检测装置，例如SPAD LL检测装置。该系统还利用发光装置。
首先，方法1500包括检测环境中的环境光量的动作(动作1505)。然后方法1500涉及选择(动作1510)距计算机系统的距离。选定距离是由计算机系统发射的照明光基于照明光的滚降率而将不能被一个或多个外部光检测系统(处于该距离或比该距离更远)检测到的距离。例如，图6示出了一种场景，其中HMD 600正在发射照明光，但是外部光检测系统610位置太远而无法检测到该光。
基于使用低噪声低光检测装置(例如，SPAD LL检测装置)来检测环境光和照明光的组合的反馈回路，动作1515包括逐渐增加、减少或可以维持发射到环境中，直至达到阈值水平的照明光量为止。值得注意的是，阈值水平基于照明光的滚降率和选定距离的组合。因此，当达到阈值水平时，低噪声低光检测装置能够检测远至选定距离的内容，但由于照明光滚降而不会超过选定距离。有利的是，其他系统(位于超过该距离的位置)也无法检测到照明光。图16提供了更多详细信息。
图16示出了反馈回路1600，其表示图15的动作1515中提到的反馈回路。最初，系统生成一定量的照明光1605，尽管在一些情况下，系统最初可能不生成光。照明光1605的量可以基于发生的某些期望条件或情况而增加、减少或维持。例如，照明光1605的量可以取决于系统想要观察内容的距离和/或系统可被其他系统检测到的距离有多远，如距离1610所示。换句话说，由于照明光1605在选定距离1610处滚降，位于距计算机系统比选定距离1610更远的外部光检测系统无法检测到照明光1605。如前所述，可以使用任何距离。然而，典型的距离是距计算机系统1米到5米。
由SPAD LL检测装置生成的图像的结果图像质量1615还可用于确定投射多少照明光1605。一般来说，照明光越多，图像质量越高。然而，随着光线的增加，也有可能被检测到。
照明光1605的量还可以取决于可以设置的各种阈值，如阈值水平1620所示。例如，阈值水平1620可以可选地基于照明光1605的滚降率1625和选定距离1610的组合。因此，当达到阈值水平1620时，由于照明光1605滚降，低噪声低光检测装置(例如，SPAD LL检测装置)能够检测远至选定距离1610但不超过选定距离的内容。此外，位于选定距离1610之外的系统将无法检测到照明光1605。
反馈回路1600能够对各种条件(例如，距离1610、图像质量1615、阈值水平1620和滚降率1625)加权并考虑这些各种条件以便影响或动态改变(例如，增加、减少、或维持)发射的照明光1605的量。
在一些情况下，反馈回路1600还可以考虑或依赖于用户输入1630(例如，由计算机系统的用户提供的输入)和机器学习1635。例如，人类操作者可以基于偏好或操作条件来改变照明光1605的量。类似地，机器学习算法(例如，如机器学习1635所反映的)也可以检测操作条件、环境条件，甚至可以是人类操作者错过的条件(例如，机器学习可以检测到对手，但尚未被人类用户观察到)，然后自动调节照明光1605。
可以使用任何类型的ML算法、模型、机器学习或神经网络。如本文所用，提及“机器学习”或ML模型或“神经网络”可以包括任何类型的机器学习算法或设备、神经网络(例如，卷积神经网络、多层神经网络、递归神经网络、深度神经网络、动态神经网络等)、决策树模型(例如决策树、随机森林和梯度提升树)、线性回归模型或逻辑回归模型、支持向量机(“SVM”)、人工智能设备或任何其他类型的智能计算系统。可以使用任何数量的训练数据(并且可以稍后精炼)来训练机器学习算法以动态地执行所公开的操作。
发射到环境中的照明光1605的量可以基于多个标准而变化，如本文所讨论的。在一些情况下，照明光1605的量小于约1毫勒克斯光。在一些情况下，该量小于约0.5毫勒克斯。通常，设定的量使得实际上只有少数光子发射到环境中。在一些情况下，该量小于约0.1毫勒克斯。在某些情况下，该量超过1毫勒克斯。因此，由发光装置发射到环境中的光量可以变化并且可以在约0.01毫勒克斯至约5.0毫勒克斯的范围内。有时，该量小于0.01毫勒克斯或大于5.0毫勒克斯。
在一些情况下，反馈回路1600还基于由低噪声低光检测装置生成的图像的灰度级计数，如图17所示。另外，反馈回路1600可以基于由低噪声低光检测装置产生的结果图像的信噪比(SNR)，也如图17所示。在任何情况下，基于反馈回路1600逐渐增加或减少或可以维持光量可以自动和/或手动执行。
特别地，图16示出了使用SPAD LL检测装置生成的图像1700，如先前所描述的。先前提到的反馈回路可以基于图像1700的灰度级计数1705和/或图像1700的SNR 1710。也就是说，分析引擎(例如，可以是机器学习1635)可以分析图像1700以确定其灰度级计数1705和SNR 1710。可选地，可以生成直方图，其中直方图反映灰度级计数。基于这些特性，反馈回路可以指示应当提供更多的照明光、应当提供更少的照明光、或者应当维持当前的照明光量。高灰度级计数和高SNR指示图像1700的图像质量差，从而暗示或指示需要额外的照明光。较低的水平表明可以不需要额外的照明光。
因此，所公开的实施例被有益地配置为实现或满足期望的性能水平，例如通过生成具有阈值水平的图像完整性或质量的图像。另外，实施例能够通过智能地控制发射到环境中的光的量和类型(例如，波长)来维持“未检测到”状态。通过控制光量，系统可以生成高质量图像，同时也不会被某种类型(例如传统图像增强管)或处于特定选定距离的系统检测到。
示例计算机/计算机系统
现在将注意力转向图18，图18示出了可以包括和/或用于执行本文描述的任何操作的示例计算机系统1800。计算机系统1800可以采用各种不同的形式。例如，计算机系统1800可以被实现为平板电脑1800A、台式机或膝上型电脑1800B、可穿戴设备(例如，HMD1800C)、无人机1800D、车辆1800E、移动设备、独立设备、MR系统，或如省略号1800F所示的任何其他设备。计算机系统1800还可以是分布式系统，其包括与计算机系统1800通信的一个或多个连接的计算组件/设备。
在其最基本的配置中，计算机系统1800包括各种不同的组件。图18示出计算机系统1800包括一个或多个处理器1805(又名“硬件处理单元”)和存储装置1810。
关于处理器1805，应当意识到，本文描述的功能可以至少部分地由一个或多个硬件逻辑组件(例如，处理器1805)来执行。例如但不限于，可以使用的硬件逻辑组件/处理器的说明性类型包括现场可编程门阵列(“FPGA”)、程序专用或专用集成电路(“ASIC”)、程序专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)、中央处理单元(“CPU”)、图形处理单元(“GPU”)或任何其他类型的可编程硬件。
如本文所使用的，术语“可执行模块”、“可执行组件”、“组件”、“模块”或“引擎”可以指代硬件处理单元或可以在计算机系统1800上执行的软件对象、例程或方法。这里描述的不同组件、模块、引擎和服务可以被实现为在计算机系统1800上执行的对象或处理器(例如，作为单独的线程)。
存储装置1810可以是物理系统存储器，其可以是易失性的、非易失性的或两者的某种组合。术语“存储器”在本文中还可用于指代非易失性大容量存储装置，例如物理存储介质。如果计算机系统1800是分布式的，则处理、存储器和/或存储能力也可以是分布式的。
存储装置1810被示为包括可执行指令1815。可执行指令1815表示可由计算机系统1800的处理器1805执行以执行所公开的操作(诸如在各种方法中描述的那些操作)的指令。
所公开的实施例可以包括或利用专用或通用计算机，其包括计算机硬件，例如一个或多个处理器(例如处理器1805)和系统存储器(例如存储装置1810)，如下文更详细讨论的。实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。以数据形式存储计算机可执行指令的计算机可读介质是“物理计算机存储介质”或“硬件存储装置”。携带计算机可执行指令的计算机可读介质是“传输介质”。因此，作为示例而非限制，当前实施例可以包括至少两种截然不同的计算机可读介质：计算机存储介质和传输介质。
计算机存储介质(也称为“硬件存储装置”)是计算机可读硬件存储装置，例如RAM、ROM、EEPROM、CD-ROM、基于RAM、闪存、相变存储器(“PCM”)、或其他类型的存储器的固态驱动器(“SSD”)、或其他光盘存储、磁盘存储或其他磁存储装置、或任何其他可用于存储形式为计算机可执行指令、数据或数据结构并且可以由通用或专用计算机访问的所需程序代码装置的介质。
计算机系统1800还可以经由网络1820连接(经由有线或无线连接)到外部传感器(例如，一个或多个远程相机)或设备。例如，计算机系统1800可以与用于获取或处理数据的任意数量的设备或云服务进行通信。在一些情况下，网络1820本身可以是云网络。此外，计算机系统1800还可以通过一个或多个有线或无线网络1820连接到被配置为执行关于计算机系统1800描述的任何处理的远程/单独的计算机系统。
像网络1820一样的“网络”被定义为能够在计算机系统、模块和/或其他电子设备之间传输电子数据的一个或多个数据链路和/或数据交换机。当信息通过网络(硬连线、无线或硬连线和无线的组合)传输或提供到计算机时，计算机正确地将连接视为传输介质。计算机系统1800将包括用于与网络1820通信的一个或多个通信信道。传输介质包括可用于以计算机可执行指令的形式或以数据结构的形式承载数据或所需程序代码装置的网络。此外，这些计算机可执行指令可以由通用或专用计算机访问。上述的组合也应当包括在计算机可读介质的范围内。
在到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以自动地从传输介质传送到计算机存储介质(或反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以缓冲在网络接口模块(例如，网络接口卡或“NIC”)内的RAM中，然后最终传输到计算机系统RAM和/或到计算机系统处的不易失性计算机存储介质。因此，应当理解，计算机存储介质可以被包括在也(或者甚至主要)利用传输介质的计算机系统组件中。
计算机可执行(或计算机可解释)指令包括例如使得通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令。计算机可执行指令可以是例如二进制、诸如汇编语言的中间格式指令、或者甚至是源代码。尽管已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解，所附权利要求中定义的主题不一定限于上述特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将意识到，可以在具有许多类型的计算机系统配置的网络计算环境中实践实施例，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。实施例还可以在分布式系统环境中实践，其中通过网络链接(或者通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统各自执行任务(例如云计算、云服务等)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置中。
在不脱离其特征的情况下，本发明可以以其他具体形式来实施。所描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前述描述来指示。落入权利要求的等同物的含义和范围内的所有改变均被包含在其范围内。

Claims (15)

1.一种计算机系统，其被配置为提供照明系统，所述照明系统向环境提供照明，同时也不能被某些类型的外部光检测系统检测到，所述计算机系统包括：
单光子雪崩二极管(SPAD)低光(LL)检测装置；
发光装置；
一个或多个处理器；以及
一个或多个计算机可读硬件存储装置，其存储能够由所述一个或多个处理器执行以使所述计算机系统至少执行以下操作的指令：
使所述发光装置提供波长至少为950纳米(nm)的照明；
作为所述照明具有特定滚降率的结果，将所述照明的强度设置为特定强度水平以使得所述照明在距所述计算机系统的确定距离处不能被检测到，其中，所述确定距离是基于所述特定滚降率的；以及
当所述发光装置正在提供所述照明时，使用所述SPAD LL检测装置生成在其中提供所述照明的环境的图像。
2.根据权利要求1所述的计算机系统，其中，所述照明的波长至少为1,000nm。
3.根据权利要求1所述的计算机系统，其中，距所述计算机系统的所述确定距离是1米至约5米。
4.根据权利要求1所述的计算机系统，其中，所述发光装置是红外(IR)激光器或IR发光二极管(LED)中的一种。
5.根据权利要求1所述的计算机系统，其中，所述发光装置相对于所述计算机系统的水平视线成向下的角度。
6.根据权利要求1所述的计算机系统，其中，所述发光装置与所述计算机系统分离并经由无线连接与所述计算机系统通信。
7.根据权利要求1所述的计算机系统，其中，所述计算机系统被包括作为头戴式装置(HMD)、无人机、可穿戴装置或车辆的一部分。
8.根据权利要求1所述的计算机系统，其中，所述指令还可执行以使所述计算机系统至少：
在使所述发光装置提供所述照明之前，
执行校准操作，所述校准操作包括：
检测所述计算机系统所位于的环境中的环境光子；
使所述发光装置逐渐增加校准照明的强度，使得除了所述环境光子之外，还将生成的光子发射到所述环境中，
其中，所述环境光子和所述生成的光子的组合构成照明光子，并且
其中，所述校准照明的强度逐渐增加，直到检测到阈值数量的所述照明光子为止，从而导致在距所述计算机系统的所述确定距离处但不超过所述确定距离而能够检测到所述校准照明。
9.一种计算机系统，其被配置为动态地修改由照明源生成的照明量以实现特定的性能水平，同时也不能被特定类型的和/或距所述计算机系统超过特定距离的外部光检测系统检测到，所述计算机系统包括：
一个或多个处理器；以及
一个或多个计算机可读硬件存储装置，其存储能够由所述一个或多个处理器执行以使所述计算机系统至少执行以下操作的指令：
检测环境中的环境光量；
选择距所述计算机系统的距离，所选择的距离是所述计算机系统发射的照明光基于所述照明光的滚降率而将不能被一个或多个外部光检测系统检测到的距离；以及
基于使用低噪声低光检测装置来检测所述环境光和所述照明光的组合的反馈回路，逐渐增加或减少发射到所述环境中的照明光量，直到达到阈值水平为止，
其中，所述阈值水平是基于所述照明光的所述滚降率和所选择的距离的组合的，使得当达到所述阈值水平时，所述低噪声低光检测装置能够检测远至所选择的距离、但作为所述照明光滚降的结果而不超过所选择的距离的内容。
10.根据权利要求9所述的计算机系统，其中，作为所述照明光在所选择的距离处滚降的结果，与距所述计算机系统的所选择的距离相比更远定位的外部光检测系统不能够检测到所述照明光。
11.根据权利要求9所述的计算机系统，其中，所选择的距离是距所述计算机系统1米至5米。
12.根据权利要求9所述的计算机系统，其中，所述照明光的波长为至少950纳米(nm)。
13.根据权利要求9所述的计算机系统，其中，所述低噪声低光检测装置是单光子雪崩二极管(SPAD)装置。
14.根据权利要求9所述的计算机系统，其中，所述反馈回路还基于由所述低噪声低光检测装置生成的图像的灰度级计数。
15.根据权利要求9所述的计算机系统，其中，所述反馈回路还基于由所述低噪声低光检测装置生成的结果图像的信噪比(SNR)。
CN202280032853.6A 2021-05-03 2022-02-25 具有降低的可检测性的外部照明 Pending CN117255964A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/306,517 US11592674B2 (en) 2021-05-03 2021-05-03 External illumination with reduced detectability
US17/306,517 2021-05-03
PCT/US2022/017843 WO2022235322A1 (en) 2021-05-03 2022-02-25 External illumination with reduced detectability

Publications (1)

Publication Number Publication Date
CN117255964A true CN117255964A (zh) 2023-12-19

Family

ID=80787029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280032853.6A Pending CN117255964A (zh) 2021-05-03 2022-02-25 具有降低的可检测性的外部照明

Country Status (4)

Country Link
US (2) US11592674B2 (zh)
EP (1) EP4334771A1 (zh)
CN (1) CN117255964A (zh)
WO (1) WO2022235322A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11592674B2 (en) * 2021-05-03 2023-02-28 Microsoft Technology Licensing, Llc External illumination with reduced detectability

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10295827B1 (en) * 2017-04-27 2019-05-21 Facebook Technologies, Llc Diffractive optics beam shaping for structured light generator
US10551614B2 (en) * 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
GB201814688D0 (en) 2018-09-10 2018-10-24 Univ Court Univ Of Glasgow Single photon avaalanche detector method for use therof and method for it's manufacture
CN114942453A (zh) * 2019-03-08 2022-08-26 欧司朗股份有限公司 Lidar传感器系统、用于该系统的光学部件、传感器和方法
US11592674B2 (en) * 2021-05-03 2023-02-28 Microsoft Technology Licensing, Llc External illumination with reduced detectability

Also Published As

Publication number Publication date
US11971553B2 (en) 2024-04-30
WO2022235322A1 (en) 2022-11-10
EP4334771A1 (en) 2024-03-13
US20220350143A1 (en) 2022-11-03
US20230194875A1 (en) 2023-06-22
US11592674B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
CN108370438B (zh) 范围选通的深度相机组件
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US10762652B2 (en) Hybrid depth detection and movement detection
US10120442B2 (en) Eye tracking using a light field camera on a head-mounted display
KR102268377B1 (ko) 멀티-뷰 컨텐츠를 전달하기 위한 디스플레이 시스템 및 방법
US11533466B2 (en) Active stereo matching for depth applications
US10728518B2 (en) Movement detection in low light environments
JP2019525288A (ja) ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション
US11475641B2 (en) Computer vision cameras for IR light detection
US11971553B2 (en) External illumination with reduced detectability
US11985433B2 (en) SPAD array for intensity image sensing on head-mounted displays
US20180235465A1 (en) Eye gaze tracking
US20230403385A1 (en) Spad array for intensity image capture and time of flight capture
US11688040B2 (en) Imaging systems and methods for correcting visual artifacts caused by camera straylight

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination