CN113126754B - 具有减少数量的相机的虚拟现实头戴式设备及其操作方法 - Google Patents

具有减少数量的相机的虚拟现实头戴式设备及其操作方法 Download PDF

Info

Publication number
CN113126754B
CN113126754B CN202110267547.8A CN202110267547A CN113126754B CN 113126754 B CN113126754 B CN 113126754B CN 202110267547 A CN202110267547 A CN 202110267547A CN 113126754 B CN113126754 B CN 113126754B
Authority
CN
China
Prior art keywords
image
color
sensing pixels
hmd
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110267547.8A
Other languages
English (en)
Other versions
CN113126754A (zh
Inventor
温宗晋
春·平·庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113126754A publication Critical patent/CN113126754A/zh
Application granted granted Critical
Publication of CN113126754B publication Critical patent/CN113126754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本文公开了具有减少数量的相机的示例虚拟现实头戴式设备及其操作方法。公开的示例方法包括提供具有成像传感器的虚拟现实(VR)头戴式显示器(V‑HMD)，所述成像传感器包括色彩感测像素和所述色彩感测像素中的红外(IR)感测像素；使用所述成像传感器捕获具有色彩部分和IR部分的图像；从所述图像中的至少一些IR部分形成IR图像；基于所述IR图像执行第一跟踪；通过用从所述图像的色彩部分和去除的IR感测像素在图像中的位置确定的色彩数据替换至少一些去除的IR部分来形成色彩图像；以及基于所述色彩图像执行第二跟踪。

Description

具有减少数量的相机的虚拟现实头戴式设备及其操作方法
分案说明
本申请属于申请日为2016年12月21日的中国发明专利申请201680060107.2的分案申请。
相关申请的交叉引用
本申请是2016年1月15日提交的美国专利申请No.14/996,858的继续申请，并要求其优先权，该美国专利申请的全部内容通过引用合并于此。
技术领域
本公开一般涉及虚拟现实，更具体地，涉及具有减少数量的相机的虚拟现实头戴式设备及其操作方法。
背景技术
虚拟现实头戴式显示器具有多个相机，以成像和/或渲染虚拟现实环境，在该虚拟现实环境中某人可以物理地或虚拟地存在，并且跟踪在虚拟现实环境中物理地和/或虚拟地存在的观看者和/或其它物体的移动。
发明内容
本发明公开了具有减少数量的相机的虚拟现实头戴式设备或显示器及其操作方法。公开的示例方法包括提供具有成像传感器的虚拟现实头戴式显示器，所述成像传感器包括色彩感测像素和色彩感测像素中的红外感测像素；使用所述成像传感器捕获具有色彩部分和红外部分的图像；从所述图像中的至少一些红外部分形成红外图像；基于红外图像执行第一跟踪；通过用从图像的色彩部分和去除的红外感测像素在图像中的位置确定的色彩数据替换至少一些去除的红外部分来形成色彩图像；以及基于色彩图像执行第二跟踪。
公开的一种用于虚拟现实环境中的示例虚拟现实头戴式设备包括：成像传感器，所述成像传感器用于使用色彩感测像素和位于色彩感测像素之间的红外感测像素来捕获图像，所捕获的图像具有色彩部分和红外部分；重建器，所述重建器被配置为从所述图像去除至少一些红外部分，并且从所去除的红外部分形成红外图像；第一跟踪器，所述第一跟踪器被配置为使用红外图像在虚拟现实环境内执行第一虚拟现实跟踪；图像修改器，所述图像修改器用于通过用从图像的色彩部分和去除的红外感测像素在图像中的位置确定的色彩感测像素替换去除的红外部分来形成色彩图像；以及第二跟踪器，所述第二跟踪器被配置为基于所述色彩图像执行第二虚拟现实跟踪。
公开的一种示例性非暂时性机器可读介质存储机器可读指令，所述机器可读指令当被执行时使得机器至少提供具有成像传感器的虚拟现实头戴式显示器，所述成像传感器包括色彩感测像素和色彩感测像素中的红外感测像素；使用所述成像传感器捕获具有色彩部分和红外部分的图像；使用至少一些红外部分形成红外图像；基于红外图像执行第一跟踪；通过用从图像的色彩部分和至少一些红外部分在图像中的位置确定的色彩数据替换至少一些红外部分来形成色彩图像；并且基于色彩图像执行第二跟踪。
附图说明
图1是根据本公开教导的包括具有较少相机的头戴式设备的示例虚拟现实系统的示意图。
图2是根据本公开教导的所公开的图1的示例虚拟现实头戴式显示器的示例前视图。
图3是根据本公开教导的具有较少相机的示例虚拟现实头戴式显示器的示意图。
图4是根据本公开教导的示例成像传感器。
图5是示出红外感测像素的示例提取的图。
图6A和图6B是示出示例方法的流程图，该示例方法可以例如使用由一个或多个处理器执行的机器可读指令来实现，以操作在此公开的示例头戴式显示器。
图7是可用于实现本文公开的示例的示例计算机设备和示例移动计算机设备的框图。
具体实施方式
虚拟现实(VR)头戴式显示器或设备(V-HMD)是用于提供虚拟现实系统和/或环境的下一代计算平台。V-HMD可以包括多个子系统，例如显示子系统、相机子系统、图像处理子系统、控制器子系统等。需要一种相机和图像处理子系统，其尤其能够执行能够满足客户、用户和/或佩戴者对VR功能的期望的多个VR功能。示例VR功能包括但不限于6自由度(6DoF)头部跟踪、手指/手跟踪、环境(或深度)感测、经由V-HMD或在V-HMD中显示图像的通透(pass-through)、跟踪VR控制器或用户持有的其它设备等。当前的V-HMD设计需要专用相机来实现每个VR功能。例如，用于头部跟踪的第一和第二相机、用于手指/手跟踪的第三和第四相机、用于环境感测(例如深度)的第五相机、用于通透的第六和第七相机以及用于跟踪VR控制器的第八和第九相机等。因此，当前的V-HMD可能需要九个或更多相机来提供这样的基本的VR功能集合。传统的V-HMD需要如此多的相机的事实提出了许多显著的缺点要克服，特别是考虑到大量的V-HMD可能是零售设备，其中外观、大小、工业设计、重量等都很重要。例如重量增加、大小增加、成本增加、组件数量增加、可靠性降低、复杂度增加、工业设计限制等。这些相机通常与V-HMD的其它相机在例如大小、视角、分辨率等方面不同。未来对附加VR功能的需求进一步加剧了这些问题。限制相机的数量相应地减少了可实现的VR功能的数量，因此，使得这种VR-HMD在市场上的吸引力降低。尽管如此，在传统的V-HMD中仍有许多重大障碍，必须克服这些障碍才能满足市场需求，而传统的V-HMD无法满足这些需求。V-HMD能够支持如此大量的VR功能这一事实证明了还有大量未满足的需求。
本文公开了至少克服这些问题的示例V-HMD。所公开的示例需要更少的相机，例如两个(2)对九个(9)，同时仍然提供至少与上述相同的VR功能集合。相机以及其中的成像传感器被设计成使用较少的相机来执行宽范围的成像能力。示例相机可以被设计成例如执行相机能力集合，包括例如宽视场、最大和/或最小采样率、所需像素布置等，以实现要实现的期望VR功能集合。例如，这里公开的示例广角成像传感器的示例输出可以被裁剪以形成中等、正常、窄等视场的图像。因此，根据本公开教导的广角相机可用于捕获同时和/或依次实现窄视场、正常视场和/或宽视场所需的数据。因为能力的超级集合解决或提供每个VR功能，以及使用传统的V-HMD来实现大量的VR功能的成本、复杂性、重量等。在成像传感器上实现对大量成像功能的支持使得例如能够使用较少的成像传感器来实现VR功能。例如，使用本文公开的一对立体相机提供了可以在V-HMD市场中发挥的显著的新优点。当例如不需要立体成像时，可以使用所公开的成像传感器之一来实现头戴设备(例如V-HMD)。可替代地使用更多公开的成像传感器。例如，成像传感器及其相关联的相机可以被设计成支持宽视角，该宽视角可以支持所需的视角，并且被处理以提取(裁剪)以获得正常视角的图像数据。也就是说，相机可以被看作能够支持两个或更多VR功能的要求。通常，相机或其成像传感器被设计成使得所有支持的VR功能所需的所有数据可以通过以相应或对应的方式处理图像数据来获得。在本文公开的示例中，可以仅使用一对相机来实现多个VR功能，这大约减少了所需相机数量的75％。可以设想，其它过去、现在或将来的功能也可以由在此公开的、例如在此公开的两个相机配置中的成像传感器支持。
现在将详细参考本公开的非限制性示例，其示例在附图中示出。下面通过参考附图描述示例，其中相同的附图标记表示相同的元素。当示出相同的附图标记时，不再重复相应的描述，并且感兴趣的读者可以参考先前讨论的图中对相同元素的描述。在附图中示出的这些示例和变型及其部分没有按比例绘制、具有特定的形状或具有特定的相对尺寸，因为它们对本公开并不重要并且可能使得附图更难理解。为了讨论的目的，可能故意夸大了具体的元素。相反，附图是为了清楚和理解而绘制的。此外，元素和联接件的布置可以根据本公开的其它实现方式和本文的权利要求改变、重新布置等。
转到图1，示出了示例VR系统100的框图。示出了根据本公开教导的示例VR系统100包括具有正面112的V-HMD 110。如图2和图3所示，在正面112处仅需要一对相机113和114。相机113和114可以与人的眼睛匹配并分开大约相同的距离，使得如果拍摄一对照片，则照片可以共同提供立体印象。例如，在图2中，相机113和114从页面向上，并且在图3的示例中面向左。相机113和114可以捕获朝向面112移动或照射在面112上的光的一部分。光可以沿着不同的路径或轨迹朝向面112移动。相机113和114的位置可以基于任何数量和/或类型的设计参数而变化。例如，相机113和114之间的空间可以影响感知的景深。它们也可以基于期望的V-HMD 110的大小、工业设计、附加相机的使用、佩戴者的预期体型、包括的附加VR功能或特征等来选择。可以包括附加的和/或替代的相机和/或将其用作升级，以例如支持我们先前没有想到的附加VR功能。例如，鱼眼透镜最初不可能被包括在内，但是后来可以被安装以支持新设想的VR功能。此外，相机113和114中的一个或多个可以选择性地控制以在不同时间对不同位置成像。此外，相机113和114不需要相同。此外，相机113、114可以例如由用户或服务中心更新以支持附加的V-HMD功能，和/或修改或定制V-HMD的功能。如将在下面更全面地讨论的，用户135可以具有VR控制器136。VR控制器136可以例如发射和/或反射红外(IR)或可由相机113和114中的一个或多个检测到的任何其它类型的光，以帮助确定例如用户的手的位置。类似地，VR系统100中的其它元素115可以发射和/或反射IR或其它类型的光以用于跟踪或其它VR目的。
一般而言，示例VR系统100提供可访问、查看和/或以其它方式与之交互的VR环境和VR内容。如下面将结合图3描述的，仅使用所公开的示例相机113和114中的两个，示例V-HMD 110可以促进多个VR功能的实现，而不是必须实现像常规V-HMD中所要求的不切实际的大量相机(例如，参见上文所讨论的)。
如图1所示，示例VR系统100包括能够通过网络120交换数据的多个计算和/或电子设备。设备可以代表客户端或服务器，并且可以经由网络120或任何其它附加和/或替代网络通信。示例客户端设备包括但不限于移动设备131(例如，智能手机、个人数字助理、便携式媒体播放器等)、电子平板计算机、计算机笔记本或上网本132、相机、V-HMD 110、台式计算机133、游戏设备、以及能够使用网络120或其它网络与其它计算或电子设备或系统通信或者可以用于访问VR内容或在VR环境中操作的任何其它电子或计算设备。设备110和131-133可以表示客户端设备。在一些示例中，设备110和131-133包括一个或多个处理器和一个或多个存储器设备，其可以执行客户端操作系统和一个或多个客户端应用，所述客户端应用可以访问、控制与每个相应设备一起实现的发光部分设备上的发光部分VR内容。设备110和131-133中的一个或多个可以例如发射或反射红外(IR)或其它类型的光，这些光可以被相机113和114中的一个或多个检测到，以帮助确定用户或设备110、131-133的位置，用于跟踪或其它VR功能。
相机113和114的示例立体布置在图2中示出。在图2的示例中，相机113和114与虚拟分割线205的相对侧等距地间隔开，并且定位成离面部112的底部210相同的距离。可以想到反映其它和/或替代实现目标和/或期望VR功能的其它相机配置。
现在转到图3，其是可与本文中所公开的任何示例V-HMD一起使用的示例成像管线300的示意图。如下所述，成像管线300可用于执行其它非成像功能335。成像管线300包括：相机部分305，所述相机部分305包括相机113和114；图像处理部分310，所述图像处理部分310形成用于VR跟踪功能的必要图像；以及在一些情况下，可能包括能够执行其它成像功能和/或非成像功能的其它部分335。例如，当不需要两个相机113和114(例如，单眼视觉布置)时，可以仅存在相机113和114中的一个。此外，可替代地存在相机113和114中的多于两个相机。图3示出了元素、块、功能等的逻辑布置。为了说明清楚和易于理解，省略了诸如总线、存储器、高速缓存等的细节，但是这些细节的包括和实现对于本领域技术人员来说是公知的。
图1的示例相机部分305包括相机113和114以及相应的透镜306和307。在图3的朝向定向中，光308A和308B从左向右移动，通过透镜306、307，可能具有由透镜306、307执行的光学效果，并且照射在相机113、114的RGIBIR成像传感器上。诸如306和307的透镜可以是固定透镜，或者可以具有选择性可变焦距，选择性地执行聚焦，具有选择性可变光圈，具有选择性可变景深等。这些选择功能可以自动地、手动地或其某种组合来执行。
两个相机113和114可以彼此相同，它们都具有红色(R)感测像素(其中一个用附图标记405表示)、绿色(G)感测像素(其中一个用附图标记406表示)、蓝色(B)感测像素(其中一个用附图标记407表示)和红外(IR)感测像素(其中一个用附图标记408表示)。像素405-408可以以规则或半随机图案(例如图4中所示的示例图案)布置。在图4的示例中，根据本公开的教导，传统拜耳RGB传感器的一些G感测406像素被IR感测像素408代替。因此，IR感测像素408被放置、定位等在色彩感测R、G和B像素405-407之内、之中等。与可用于数码相机的传统拜耳RGB传感器相比，本文公开的RGBIR传感器400可具有对红色、绿色和蓝色可见光敏感的R、G和B像素以及对非可见红外光敏感的IR像素的混合(例如，参见图4)。因此，相机113、114的成像传感器是RGBIR传感器，并且相机输出的图像是RGBIR图像。即，由相机113、114输出的RGBIR图像传达红色、绿色、蓝色和IR信息。如图所示，2×2像素块可以包括1个红色像素、1个绿色像素、1个蓝色像素和1个IR像素。色彩和IR像素可以以其它图案和/或以不同的比率布置。
R、G和B像素405-407可以配备每个像素的IR截止滤波器，因此像素对IR光不敏感或不响应。附加地或替代地，可以将仅可见光和窄带IR光通过的双频带滤波器放置在相机模块内，使得R、G和B像素405-407将仅响应于光，即每个像素的IR截止滤波器。通过这种布置，IR感测像素仅感测窄带IR光，并且R、G和B像素405-407仅感测R、G和B可见光。通过这种方式，与在R、G和B感测像素405-407的顶部上没有每个像素的IR截止滤波器的情况相比，由R、G和B感测像素405-407产生的色彩图像将得到改善，因为没有IR光泄漏到那些R、G和B感测像素405-407中。
在一些情况下，相机部分305包括IR发射器309。示例IR发射器309可被选择性地操作或激活以发射可从诸如示例对象115和136(见图1)的对象反射的IR光，从而允许反射的IR光用于定位对象115、136。附加地或替代地，IR发射器309可以与V-HMD 110分开实现。
转到图3的示例图像处理部分310，由相机113、114中的相应相机捕获的RGBIR图像313A、314A被提供给重建器311。使用任何数量和/或类型的方法、技术、算法、电路等，重建器311可以为由相机113、114提供的RGBIR图像313A、314A中的相应一个创建RBG图像313B、314B和IR图像313C、314C。
如图5所示，图3中的IR图像313C和314C可以通过将来自全RGBIR图像阵列500的IR像素的值收集到仅IR像素数据的较小阵列550中来形成。图5中示出了IR像素511、517和519从图像500到图像550的三个示例移动。可以以类似的方式移动或收集其它IR像素。
可以通过从RGBIR图像提取或去除IR像素来形成RGB图像313B和314B。当去除或提取IR像素时，阵列中去除IR像素所表示的值可被给予零(NULL)、空等值或指示符。在一些示例中，不需要如此修改IR像素，因为它们稍后可以被后续图像处理盖写(overwritten)。在图4的示例中，IR像素替换每隔一个绿色像素，然而，可以使用其它图案。
重建器311可以使用任何数量和/或类型的方法、技术、算法、电路等，为由相机113、114提供的RGBIR图像313A、314A中的相应一个创建RBG图像313B、314B和IR图像313C、314C。重建器311可以使用任何数量和/或类型的方法、技术、算法、电路等，用适当的绿色像素值创建空白或空IR像素位置中的填充，从而形成完成的RGB图像313B、314B。
现在转到可以如何由重建器311创建、形成或生成图3中的四个图像313B、313C、314B和314C的方法进行自适应、改变、组合等，以执行多个V-HMD功能和/或更广泛地执行VR功能。由于对图像313A和314A的各种处理，重建器311使得图像313B、313C、314B和314C给人的印象是使用了两个以上的相机来捕获图像313B、313C、314B和314C。
两个RGB图像313B和314B可以由色度子采样器(Chroma sub-sampler)315处理。
为了执行6DoF跟踪，示例成像管线300包括任何数量和/或类型的6DoF处理器316。6DoF处理器316可以使用任何数量和/或类型的方法、技术、算法、电路等，处理由色度子采样器315提供的色度子采样图像，以跟踪由色度子采样器315提供的这些图像中的静止和/或运动场景特征。在一些示例中，仅使用亮度数据，可能与惯性测量单元(IMU)318提供的惯性测量数据(IMD)317一起使用。6DoF处理器316将确定的6DoF跟踪数据332提供给VR功能部分330以用于进一步处理。
示例图像处理部分310还可以包括立体图像形成器319和裁剪器/缩放器320，以支持例如手和手指的跟踪。立体图像形成器319使用任何数量和/或类型的方法、技术、算法、电路等，来组合RGB图像313B和314B以及IR图像313C和314C以形成位置和移动手指和/或手等的一个或多个立体图像(例如，三维(3D)数据)。该数据可以被提供给VR跟踪部分330中的手指/手跟踪器334。IR图像313C和314C可以使用用户手上或VR环境或系统中的其它地方的IR发射器和/或反射器来形成。因为相机113和114可以具有比执行手指和/或手跟踪所需的视场更宽的视场(FOV)，所以裁剪器/缩放器320可以将图像裁剪成更小的大小，并且在适当时，可以在执行跟踪之前对立体图像进行子采样。这种减小可用于降低处理能力和/或存储器要求。在存在单个相机113、114的示例中，立体图像形成器319和裁剪器/缩放器320可以省略。
此外，RGB图像313B和314B可以用作通透图像。换句话说，图像313B和314B可以被传递到V-HMD的显示模块336。图像313B和314B可以由裁剪器/缩放器322裁剪/缩放以适合于V-HMD的显示分辨率和/或视场，使得用户能够在混合的虚拟和真实环境中看到、移动和/或以其它方式跟踪他们自己，并且实现增强现实跟踪，其中虚拟对象被放置在真实世界场景上方。通透图像可用于任何数量和/或类型的其它功能。
光学跟踪器338可以使用两个IR图像313C和314C来检测由诸如控制器136的VR控制器发射或反射的IR光，以便光学跟踪其位置。因此，可以将IR图像313C和314C传递到VR功能部分330的光学跟踪器，因为可以使用QHD IR对立体视觉来获得深度信息。为了提高立体视觉的鲁棒性，可以在系统中添加图案化照明器，以便将结构化光投影到场景中，从而在弱光情况下辅助立体视觉。这种替代实现方式使用上面公开的附加组件。因此，在低光深度性能与复杂性和/或成本之间可能存在折衷。
在一些示例中，图3的成像器处理部分310的与信号处理相关的部分使用例如可编程处理器来实现，例如Movidius Myriad 2视觉处理单元(VPU)。VR功能部分330可以使用例如一体化移动处理器来实现，例如
Figure BDA0002972839680000111
SnapdragonTM处理器。附加地或替代地，图像处理管线可以由一个或多个
Figure BDA0002972839680000112
和/或
Figure BDA0002972839680000113
微处理器实现。当然，来自其它处理器族和/或制造商的其它(微)处理器也是合适的。
图1至图3所示的一个或多个元素和接口可以组合、划分、重新布置、省略、消除和/或以任何其它方式实现。此外，可以使用一个或多个电路、可编程处理器、熔丝(fuse)、专用集成电路(ASIC)、可编程逻辑设备(PLD)、现场可编程逻辑设备(FPLD)和/或现场可编程门阵列(FPGA)等。此外，可以包括更多的接口和/或元素来代替示出的接口和/或元素，或者补充示出的接口和/或元素，和/或可以包括任何或所有示出的接口和元素中的多于一个。所示的元素可以例如实现为由一个或多个处理器执行的机器可读指令。可以使用、配置和/或编程处理器、控制器和/或诸如图7所示的任何其它合适的处理设备来执行和/或实行本文公开的示例。例如，所公开的示例可以体现为存储在可由处理器、计算机和/或具有处理器的其它机器访问的有形和/或非暂时性计算机可读介质上的程序代码和/或机器可读指令，例如下面结合图7所讨论的。机器可读指令包括例如使处理器、计算机和/或具有处理器的机器执行一个或多个特定处理的指令。可以采用实现所公开的示例的许多其它方法。例如，可以改变执行顺序，和/或可以改变、消除、细分或组合所描述的框和/或交互中的一个或多个。另外，任何或整个示例可以依次执行和/或通过例如单独的处理线程、处理器、设备、离散逻辑、电路等并行地执行。
同时参照图6A和图6B，示出了可被执行以控制和操作本文公开的示例V-HMD的示例方法600。
在立体示例中，图6A和图6B的示例方法开始于提供具有第一和第二立体布置的RGBIR相机的V-HMD(框602)，以及使用第一和第二RGBIR相机中的相应RGBIR相机来捕获第一和第二RGBIR图像(框604)。通过从所捕获的第一RGBIR图像和第二RGBIR图像中的相应RGBIR图像提取IR像素，为第一RGBIR图像和第二RGBIR图像中的相应RGBIR图像形成第一和第二IR图像(框606和608)。通过例如内插色彩数据以填充RGBIR图像中的相应RGBIR图像中被提取、去除等的IR位置来形成第一和第二RGB图像(框610和612)。
如果要执行光学跟踪(框614)，则可以从第一和第二RGBIR图像中提取原始第一和第二RGBIR图像313A和314A的IR部分，并将IR跟踪数据提供给光学跟踪器338(框616)。可以使用QHD IR对立体视觉来获取深度信息。为了提高立体视觉的鲁棒性，可以在系统中添加图案化照明器，以便将结构光投影到场景中，从而在弱光情况下辅助立体视觉。这种替代实现方式使用上面公开的附加组件。因此，在低光深度性能与复杂性和/或成本之间可能存在折衷。
如果要提供通透图像(框618)，则可以使用第一和第二RGB图像313B和314B作为第一和第二通透图像(框620)。第一和第二图像313B和314B可以由裁剪器/缩放器322裁剪/缩放以适合于V-HMD的显示分辨率和/或视场，使得佩戴者能够看到真实世界并且使得增强现实成为可能，其中虚拟对象被放置在真实世界场景上面。通透图像可以用于任何数量和/或类型的其它功能。
继续图6B的框622，如果要执行IR手指/手跟踪(框622)，则可以将原始第一RGBIR图像313A和第二RGBIR图像314A的第一和第二IR部分以及第一和第二RGBIR图像的色彩部分提供给手指/手跟踪器334，其中用色彩数据替换第一和第二提取的IR部分(框624)。手指/手跟踪器334可以处理图像数据以跟踪手指/手位置和/或移动(框626)。
如果要执行6DoF跟踪(框628)，则6DoF处理器316可以处理由色度子采样器315提供的色度子采样图像，以跟踪由色度子采样器315提供的这些第一和第二图像中的静止和/或运动场景特征(框630)。在一些示例中，仅使用亮度数据，可能与惯性测量单元(IMU)318提供的惯性测量数据(IMD)317一起使用。6DoF处理器316将确定的6DoF跟踪数据332提供给VR功能部分330以用于进一步处理。然后控制从图6A和图6B的示例方法退出。
虽然参考具有两个RGBIR相机的V-HMD描述了图6A和图6B的方法600，但是也可以执行方法60以控制具有一个RGBIR相机的V-HMD。在这样的示例中，仅对来自一个RGBIR相机的数据执行诸如602、604、606、608、610和612的框，并且可以省略诸如616、620、624、626和630的框，因为它们是依赖于来自两个RGBIR相机的数据。
例如，图6A和图6B的示例方法或本文公开的其它方法可以实现为由一个或多个处理器执行的机器可读指令，以控制或操作本文公开的示例显示组件。可以使用、配置和/或编程处理器、控制器和/或任何其它合适的处理设备来执行和/或实行本文公开的示例方法。例如，图6A和图6B的示例方法可以体现为存储在可由处理器、计算机和/或具有处理器的其它机器访问的有形和/或非暂时性计算机可读介质上的程序代码和/或机器可读指令，例如下面结合图7讨论的那些。机器可读指令包括例如使处理器、计算机和/或具有处理器的机器执行一个或多个特定处理的指令。可以采用实现图6A和图6B的示例方法的许多其它方法。例如，可以改变执行顺序，和/或可以改变、消除、细分或组合所描述的框和/或交互中的一个或多个。另外，图6A和图6B的整个示例方法中的任何一个可以依次地执行和/或通过例如单独的处理线程、处理器、设备、离散逻辑、电路等并行地执行。
如本文所使用的，术语“计算机可读介质”被明确定义为包括任何类型的有形或非暂时性计算机可读介质，并且明确排除传播信号。示例计算机可读介质包括但不限于易失性和/或非易失性存储器、易失性和/或非易失性存储器设备、压缩盘(CD)、数字通用盘(DVD)、只读存储器(ROM)、随机存取存储器(RAM)、可编程ROM(PROM)、电子可编程ROM(EPROM)、电子可擦除PROM(EEPROM)、光存储盘、光存储设备、磁存储盘、磁存储设备、高速缓存和/或其中在任意持续时间中(例如，长时段、永久、短时间、用于暂时缓存和/或用于高速缓存信息)存储信息并且可以由处理器、计算机和/或其它具有处理器的机器访问的任何其它存储介质。
返回图1，示例网络120可以使用任何数量和类型的专用和/或公共网络来构建，包括但不限于互联网、蜂窝数据网络、同轴电缆网络、卫星网络、光纤网络、电话网络上的拨号或宽带调制解调器、
Figure BDA0002972839680000141
热点、专用通信网络(例如，专用局域网(LAN)、无线局域网(WLAN)、租用线路等)以及它们的任意组合。
图1的示例系统100还包括VR内容系统140。VR内容系统140可以表示服务器设备。图1的示例VR内容系统140包括存储内容和/或虚拟现实应用144的任意数量的储存库142，其可以生成、修改和执行VR场景。
图1的示例头戴式显示器110可以包括例如VR头戴设备、眼镜、目镜或能够发光使VR内容分份的任何其它可佩戴设备。在操作中，例如，头戴式显示器110可以执行VR应用144，所述VR应用144能够给用户回放、呈现所接收或处理的图像或使得所接收或处理的图像部分发光。然而，可以在不需要VR应用144的情况下由头戴式显示器110对图像进行回放、呈现和部分发光。在一些实现方式中，头戴式显示器110的VR应用144由图1所示的设备131-133中的一个或多个托管。
图1的一个或多个VR应用144可以被配置为在设备110和131-133中的任何一个或全部上执行。头戴式显示器110可通信地耦合到设备110和131-133中的一个或多个以访问存储在VR内容系统140上或经由VR内容系统140可访问的VR内容。设备131-133可以通信地耦合(有线和/或无线地)到头戴式显示器110，其可以为头戴式显示器110上的发光部分提供VR内容。
示例头戴式显示器110可以经由无线网络和/或协议的任何组合无线地耦合到设备131-133，所述无线网络和/或协议例如但不限于电气和电子工程师协会(IEEE)802.11x标准系列、
Figure BDA0002972839680000151
等中的任何一个。
在头戴式显示器110电耦合到设备131-133中的一个或多个的情况下，可以使用在任一端具有用于插入设备110和131-133的适当连接器的电缆。例如，电缆两端可以包括通用串行总线(USB)连接器。USB连接器可以是相同的USB类型连接器，或者每个USB连接器可以是不同类型的USB连接器。各种类型的USB连接器包括但不限于USB A型连接器、USB B型连接器、微型USB A连接器、微型USB B连接器、微型USB AB连接器、USB五针微型b连接器、USB四针微型b连接器、USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0微型B连接器和USBC型连接器。
在一些实现方式中，移动设备131执行VR应用144并提供用于VR环境的内容。在一些实现方式中，笔记本计算设备132执行VR应用144并提供来自一个或多个内容服务器(例如，VR内容服务器140)的内容。在一些实现方式中，桌面型计算设备133执行VR应用144并提供来自一个或多个内容服务器(例如，VR内容服务器140)的内容。一个或多个内容服务器140和一个或多个计算机可读存储设备142可以使用网络120与移动设备131、膝上型计算设备132和/或台式计算设备133通信，以提供用于头戴式显示器110中的发光部分的内容。
返回图1，示例网络120可以使用任何数量和类型的专用和/或公共网络来构建，包括但不限于互联网、蜂窝数据网络、同轴电缆网络、电话网络上的拨号或宽带调制解调器、
Figure BDA0002972839680000161
热点、专用通信网络(例如，专用局域网(LAN)、无线局域网(WLAN)、租用线路等)。
图1的示例系统100还包括VR内容系统140。VR内容系统140可以表示服务器设备。图1的示例VR内容系统140包括存储内容和/或虚拟现实应用144的任意数量的储存库142，其可以生成、修改和执行VR场景。
图1的示例V-HMD 110可以包括例如V-HMD、眼镜、目镜或能够发光使VR内容分份的任何其它可佩戴设备。在操作中，V-HMD 110可以例如执行VR应用144，该VR应用144可以为用户回放、呈现所接收或处理的图像或发光使得所接收或处理的图像分份。然而，可以在不需要VR应用144的情况下由V-HMD 110对图像进行回放、呈现和发光分份。在一些实现方式中，V-HMD 110的VR应用144由图1所示的设备131-133中的一个或多个托管。
图1的一个或多个VR应用144可以被配置为在设备110和131-133中的任一个或全部上执行。V-HMD 110可以通信地耦合到设备110和131-133中的一个或多个，以访问存储在VR内容系统140上或经由VR内容系统140可访问的VR内容。设备131-133可以通信地耦合(有线和/或无线地)到V-HMD 110，其可以为V-HMD 110上的发光部分提供VR内容。
在V-HMD 110电耦合到设备131-133中的一个或多个的情况下，可以使用在两端具有适当连接器以插入设备110和131-133的电缆。例如，电缆两端可以包括通用串行总线(USB)连接器。USB连接器可以是相同的USB类型连接器，或者每个USB连接器可以是不同类型的USB连接器。各种类型的USB连接器包括但不限于USB A型连接器、USB B型连接器、微型USB A连接器、微型USB B连接器、微型USB AB连接器、USB五针微型b连接器、USB四针微型b连接器、USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0微型B连接器和USB C型连接器。
在一些实现方式中，移动设备131执行VR应用144并提供用于VR环境的内容。在一些实现方式中，笔记本计算设备132执行VR应用144并提供来自一个或多个内容服务器(例如，VR内容服务器140)的内容。在一些实现方式中，桌面型计算设备133执行VR应用144并提供来自一个或多个内容服务器(例如，VR内容服务器140)的内容。一个或多个内容服务器140和一个或多个计算机可读存储设备142可以使用网络120与移动设备131、膝上型计算设备132和/或台式计算设备133通信，以向V-HMD 110中的发光部分提供内容。
转到图7，通用计算机设备P00和通用移动计算机设备P50的示例，其可以与这里描述的技术一起使用。计算设备P00旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、平板计算机、工作站、个人数字助理、电视、服务器、刀片服务器、大型机和其它适当的计算设备。计算设备P50旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。在此示出的组件、它们的连接和关系以及它们的功能仅仅是示例性的，而不意图限制在本文中描述和/或要求保护的本发明的实现方式。
计算设备P00包括处理器P02、存储器P04、存储设备P06、连接到存储器P04和高速扩展端口P10的高速接口P08、以及连接到低速总线P14和存储设备P06的低速接口P12。处理器P02可以是基于半导体的处理器。存储器P04可以是基于半导体的存储器。组件P02、P04、P06、P08、P10和P12中的每一个使用各种总线、连接、存储器、高速缓存等互连，并且可以安装在公共母板上或以其它适当的方式安装。处理器P02可以处理用于在计算设备P00内执行的指令，包括存储在存储器P04中或存储设备P06上的指令，以用于外部输入/输出设备上的GUI的发光部分图形信息，例如耦合到高速接口P08的发光部分P16。在其它实现方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和存储器类型。此外，可以连接多个计算设备P00，每个设备提供必要操作的部分(例如，作为服务器库、刀片服务器组或多处理器系统)。
存储器P04存储计算设备P00内的信息。在一种实现方式中，存储器P04是易失性存储器单元。在另一种实现方式中，存储器P04是非易失性存储器单元。存储器P04也可以是另一种形式的计算机可读介质，例如磁盘或光盘。
存储设备P06能够为计算设备P00提供大容量存储。在一种实现方式中，存储设备P06可以是或包含计算机可读介质，例如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其它类似固态存储器设备、或设备阵列，包括存储区域网络中的设备或其它配置。计算机程序产品可以有形地具体实施在信息载体中。计算机程序产品还可以包含当被执行时执行诸如上述的一种或多种方法的指令。信息载体是计算机或机器可读介质，例如存储器P04、存储设备P06或处理器P02上的存储器。
高速控制器P08管理计算设备P00的带宽密集型操作，而低速控制器P12管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实现方式中，高速控制器P08耦合到存储器P04、发光部分P16(例如，通过图形处理器或加速器)以及可接受各种扩展卡(未示出)的高速扩展端口P10。在该实现方式中，低速控制器P12耦合到存储设备P06和低速扩展端口P14。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、定点设备、扫描仪或诸如交换机或路由器的网络连接设备。
如图所示，计算设备P00可以以多种不同的形式实现。例如，它可以实现为标准服务器P20，或者在一组这样的服务器中实现多次。它也可以实现为机架服务器系统P24的一部分。此外，它可以在诸如膝上型计算机P22的个人计算机中实现。替代地，来自计算设备P00的组件可以与诸如设备P50的移动设备(未示出)中的其它组件组合。每个这样的设备可以包含计算设备P00、P50中的一个或多个，并且整个系统可以由彼此通信的多个计算设备P00、P50组成。
计算设备P50包括处理器P52、存储器P64、诸如发光部分P54之类的输入/输出设备、通信接口P66和收发器P68等组件。设备P50还可以设置有存储设备，例如微驱动器或其它设备，以提供附加存储。组件P50、P52、P64、P54、P66和P68中的每一个使用各种总线互连，并且组件中的几个可以安装在公共母板上或以适当的其它方式安装。
处理器P52可以执行计算设备P50内的指令，包括存储在存储器P64中的指令。处理器可以实现为芯片的芯片集，其包括单独的和多个模拟和数字处理器。处理器可以提供例如设备P50的其它组件的协同，诸如用户接口的控制、设备P50运行的应用以及设备P50的无线通信。
处理器P52可以通过控制接口P58和耦合到发光部分P54的发光部分接口P56与用户通信。发光部分P54可以是例如TFT LCD(薄膜晶体管液晶发光部分)或OLED(有机发光二极管)发光部分，或者其它适当的发光部分技术。发光部分接口P56可以包括用于驱动发光部分P54以向用户呈现图形和其它信息的适当电路。控制接口P58可以接收来自用户的命令并且转换它们以提交给处理器P52。此外，可以提供与处理器P52通信的外部接口P62，以便实现设备P50与其它设备的近区通信。外部接口P62例如可以在一些实现方式中提供有线通信，或者在其它实现方式中提供无线通信，并且还可以使用多个接口。
存储器P64存储计算设备P50内的信息。存储器P64可以实现为计算机可读介质、易失性存储单元或非易失性存储单元中的一个或多个。还可以提供扩展存储器P74并通过扩展接口P72连接到设备P50，扩展接口P72可以包括例如SIMM(单内联存储器模块)卡接口。这种扩展存储器P74可以为设备P50提供附加的存储空间，或者还可以为设备P50存储应用或其它信息。具体地，扩展存储器P74可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器P74可以被提供为设备P50的安全模块，且可以用允许安全使用设备P50的指令来编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一种实现方式中，计算机程序产品有形地具体实施在信息载体中。计算机程序产品包含当被执行时执行诸如上述那些的一种或多种方法的指令。信息载体是计算机或机器可读介质，例如存储器P64、扩展存储器P74或处理器P5上的存储器，其可以例如通过收发器P68或外部接口P62接收。
设备P50可以通过通信接口P66无线通信，必要时通信接口P66可以包括数字信号处理电路。通信接口P66可提供各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS或MMS消息接发、CDMA、TDMA、PDC、WCDMA、CDMA 2000或GPRS等。这种通信可以例如通过射频收发器P68发生。此外，例如使用蓝牙、Wi-Fi或其它这种收发器(未示出)，可以发生短距离通信。此外，GPS(全球定位系统)接收器模块P70可向设备P50提供附加的导航及位置相关无线数据，其可适当地由设备P50上运行的应用使用。
设备P50还可以使用音频编解码器P60可听地通信，音频编解码器P60可以从用户接收口述信息并将其转换为可用的数字信息。音频编解码器P60同样可以例如通过设备P50的手持机中的扬声器为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备P50上操作的应用生成的声音。
如图所示，计算设备P50可以以多种不同的形式实现。例如，它可以实现为蜂窝电话P80。它还可以实现为智能电话P82、个人数字助理或其它类似移动设备的一部分。
这里描述的系统和技术的各种实现方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现方式，所述可编程系统包括至少一个可编程处理器，所述可编程处理器可以是专用的或通用的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以用高级程序和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，这里描述的系统和技术可以在具有用于向用户发光部分信息的发光部分设备(例如CRT(阴极射线管)或LCD(液晶发光部分)监视器)以及用户可以通过其向计算机提供输入的键盘和指向设备(例如鼠标或轨迹球)的计算机上实现。也可以使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
这里描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过其与这里描述的系统和技术的实现方式交互)，或者这种后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在各自计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
相对术语，如更小、更少、少于、增多、更大、更高、增加等，可以表示所公开的示例可以用比常规解决方案更少的相机来实现。假设两个相机可以实现相同的功能和/或能力，则根据本公开构造的V-HMD不需要提供或指定相机数量的特定减少。因此，不需要通过减少所需相机来实现特定和/或具体的改进，并且因此不需要并且将不在此指定。此外，术语例如但不限于大致、基本上、总体上等在此用于指示不需要精确的值或其范围并且不需要指定。如本文所使用的，以上讨论的术语对于本领域普通技术人员将具有现成的和即时的意义。
此外，使用的术语如上、下、顶、底、侧、端、前、后等在这里参考当前考虑或图示的定向来使用。如果相对于另一方向考虑它们，则应当理解，必须相应地修改这些术语。
此外，在本说明书和所附权利要求中，单数形式“一个”、“一”和“该”不排除复数引用，除非上下文另有明确规定。此外，诸如“和”、“或”、“和/或”之类的连词是包含性的，除非上下文另有明确规定。例如，“A和/或B”包括只有A、只有B和A与B。
此外，在所呈现的各种附图中示出的连接线和连接器旨在表示各种元素之间的示例性功能关系和/或物理或逻辑耦合。应当注意，可以存在许多替代的和/或附加的功能关系、物理连接或逻辑连接。此外，除非元素被具体描述为“必要的”或“关键的”，否则任何项目或组件对于本公开的实践都不是必要的。另外，图和/或附图不是按比例绘制的，而是为了说明和描述的清楚而绘制的。
在以下示例中总结了更多的实现方式：
示例1：一种方法，包括：提供具有成像传感器的虚拟现实(VR)头戴式显示器(V-HMD)，所述成像传感器包括色彩感测像素和色彩感测像素中的红外(IR)感测像素；使用所述成像传感器捕获具有色彩部分和IR部分的图像；从图像中的至少一些IR部分形成IR图像；基于所述IR图像执行第一跟踪；通过用从图像的色彩部分和去除的IR感测像素在图像中的位置确定的色彩数据替换去除的IR部分中的至少一些来形成色彩图像；以及基于色彩图像执行第二跟踪。
示例2：示例1的方法，进一步包括：基于IR图像执行第三跟踪；以及基于色彩图像执行第四跟踪。
示例3：示例1或2的方法，其中第二跟踪包括六自由度跟踪、手指跟踪和/或手跟踪中的至少一个。
示例4：示例2或3的方法，其中第三跟踪包括手指跟踪、手跟踪和/或VR控制器的IR光学跟踪中的至少一个。
示例5：示例1至4之一的方法，其中第二跟踪包括手指跟踪、手跟踪和/或VR控制器的IR光学跟踪中的至少一个。
示例6：示例1至5之一的方法，进一步包括提供色彩图像用于在V-HMD中显示。
示例7：示例6的方法，进一步包括在V-HMD处显示色彩图像之前对所述色彩图像执行裁剪和/或缩放中的至少一个。
示例8：示例1至7之一的方法，其中图像的IR部分表示下面中的至少一种：由V-HMD发射并反射回V-HMD的光；由VR环境中的设备、对象和/或人发射的光；由设备、对象和/或人周期性地和/或非周期性地发射的光；和/或通过手指、拇指、四肢和/或肢体的光发射或反射而发射和/或反射的光。
示例9：示例1至8之一的方法，其中图像、色彩图像和IR图像中的至少两个在大小、尺寸、采样率和/或分辨率中的至少一个方面不同。
示例10：示例1至9之一的方法，其中色彩感测像素中的第一IR感测像素包括以下中的至少一个：所述第一IR感测像素至少部分地被至少一些色彩感测像素包围；所述第一IR感测像素至少部分地被与所述色彩感测像素相邻的至少一些色彩感测像素包围；以及色彩感测像素和IR感测像素形成规则图案。
示例11：一种用于VR环境中的虚拟现实(VR)头戴式设备(V-HMD)，所述V-HMD包括：成像传感器，用于使用色彩感测像素和位于色彩感测像素之间的红外(IR)感测像素来捕获图像，所捕获的图像具有色彩部分和IR部分；重建器，所述重建器被配置为从所述图像去除至少一些IR部分，并且从所去除的IR部分形成IR图像；第一跟踪器，所述第一跟踪器被配置为使用所述IR图像在所述VR环境内执行第一VR跟踪；图像修改器，所述图像修改器用于通过用从图像的色彩部分和去除的IR感测像素在图像中的位置确定的色彩感测像素替换去除的IR部分来形成色彩图像；以及第二跟踪器，其被配置为基于所述色彩图像执行第二VR跟踪。
示例12：示例11的V-HMD，其中形成IR部分的一部分的像素替换红色、蓝色和/或绿色感测像素中的至少一个。
示例13：示例11或12的V-HMD，其中图像、色彩图像和IR图像中的至少两个在大小、尺寸、像素密度、分辨率等中的至少一个方面不同。
示例14：示例11至13之一的V-HMD，其中至少一个IR部分邻接色彩部分的至少一部分，并且色彩部分至少部分地围绕IR部分。
示例15：示例11至14之一的V-HMD，其中图像的IR部分表示下面中的至少一个：由V-HMD发射并反射回V-HMD的光；由VR环境中的设备、对象和/或人发射的光；由设备、对象和/或人周期性地和/或非周期性地发射的光；和/或通过手指、拇指、四肢和/或肢体的光发射或反射而发射和/或反射的光。
示例16：一种存储机器可读指令的非暂时性机器可读介质，所述机器可读指令在被执行时使得机器至少：提供具有成像传感器的虚拟现实(VR)头戴式显示器(V-HMD)，所述成像传感器包括色彩感测像素和色彩感测像素中的红外(IR)感测像素；使用所述成像传感器捕获具有色彩部分和IR部分的图像；使用至少一些所述IR部分形成IR图像；基于所述IR图像执行第一跟踪；通过用从图像的色彩部分和至少一些IR部分在图像中的位置确定的色彩数据替换至少一些IR部分来形成色彩图像；以及基于色彩图像执行第二跟踪。
示例17：示例16的非暂时性介质，其中机器可读指令在被执行时使机器附加地：基于IR图像执行第三跟踪；以及基于色彩图像执行第四跟踪。
示例18：示例16或17的非暂时性介质，其中第一跟踪包括六自由度跟踪、手指跟踪和/或手跟踪中的至少一个。
示例19：示例16至18之一的非暂时性介质，其中机器可读指令在被执行时使机器附加地提供色彩图像以在V-HMD中显示。
示例20：示例16至19之一的非暂时性介质，其中图像的IR部分表示下面中的至少一个：由V-HMD发射并反射回V-HMD的光；由VR环境中的设备、对象和/或人发射的光；由设备、对象和/或人周期性地和/或非周期性地发射的光；和/或通过手指、拇指、四肢和/或肢体的光发射或反射而发射和/或反射的光。
尽管在此描述了某些示例性方法、装置和制品，但是本专利的覆盖范围不限于此。应当理解，这里使用的术语是为了描述特定方面，而不是为了限制。相反，本专利涵盖完全属于本专利权利要求范围内的所有方法、装置和制品。

Claims (20)

1.一种用于操作虚拟现实VR头戴式显示器V-HMD的方法，包括：
提供具有成像传感器的虚拟现实VR头戴式显示器V-HMD，所述成像传感器包括色彩感测像素和所述色彩感测像素中的红外IR感测像素；
使用所述成像传感器捕获具有色彩部分和IR部分的图像；
通过以下从所捕获的图像形成IR图像和色彩图像：
从所捕获的图像中的至少一些所述IR部分形成所述IR图像；
通过用从所捕获的图像的所述色彩部分和在所述成像传感器中的所述IR感测像素的位置确定的色彩数据替换所捕获的图像的所述IR部分来形成色彩图像；
基于所述IR图像执行第一跟踪；
基于所述色彩图像执行第二跟踪；以及
基于所述IR图像和所述色彩图像执行第三跟踪。
2.根据权利要求1所述的方法，进一步包括：
基于所述IR图像执行第四跟踪；以及
基于所述色彩图像执行第五跟踪。
3.根据权利要求2所述的方法，其中，所述第二跟踪包括六自由度跟踪并且所述第三跟踪包括手跟踪。
4.根据权利要求2所述的方法，其中，所述第四跟踪包括VR控制器的IR光学跟踪。
5.根据权利要求1所述的方法，还包括提供所述色彩图像以用于在所述V-HMD中显示。
6.根据权利要求5所述的方法，进一步包括在所述V-HMD中显示所述色彩图像之前对所述色彩图像执行裁剪或缩放中的至少一个。
7.根据权利要求1所述的方法，其中，所述图像、所述色彩图像和所述IR图像中的至少两个在大小、尺寸、采样率或分辨率中的至少一个方面不同。
8.根据权利要求1所述的方法，其中，在色彩感测像素中的IR感测像素包括以下中的至少一个：
所述IR感测像素至少部分地被至少一些所述色彩感测像素包围；以及
所述色彩感测像素和IR感测像素形成规则图案。
9.一种虚拟现实VR头戴式设备V-HMD，所述V-HMD包括：
成像传感器，所述成像传感器用于使用色彩感测像素和位于所述色彩感测像素中的红外IR感测像素来捕获图像，所捕获的图像具有色彩部分和IR部分；
重建器，所述重建器被配置为从所述图像去除至少一些所述IR部分，并且从所去除的IR部分形成IR图像；
第一跟踪器，所述第一跟踪器被配置为使用所述IR图像执行第一跟踪；
图像修改器，所述图像修改器用于通过用基于所述图像的所述色彩部分和去除的IR感测像素在所述图像中的位置确定的色彩数据替换去除的IR部分来形成色彩图像；
第二跟踪器，所述第二跟踪器被配置为基于所述色彩图像执行第二跟踪；以及
第三跟踪器，所述第三跟踪器被配置为基于所述IR图像和所述色彩图像执行跟踪。
10.根据权利要求9所述的V-HMD，其中，IR感测像素替换色彩感测像素中的至少一些绿色感测像素。
11.根据权利要求9所述的V-HMD，其中，所述图像、所述色彩图像和所述IR图像中的至少两个在大小、尺寸、像素密度或分辨率中的至少一个方面不同。
12.根据权利要求9所述的V-HMD，其中，所述成像传感器的所述IR感测像素和所述色彩感测像素被布置在规则图案中，使得所述成像传感器中的每2×2像素块包括三个色彩感测像素和一个IR感测像素。
13.根据权利要求12所述的V-HMD，其中，所述成像传感器中的每2×2像素块的所述三个色彩感测像素包括红色感测像素、蓝色感测像素和绿色感测像素。
14.根据权利要求9所述的V-HMD，进一步包括双频带滤波器，所述双频带滤波器被配置为仅通过被布置在V-HMD内的IR光的窄带和可见光，使得所述成像传感器仅暴露于通过所述双频带滤波器的IR光的窄带和可见光。
15.根据权利要求9所述的V-HMD，其中，所述第二跟踪包括六自由度跟踪。
16.根据权利要求15所述的V-HMD，其中，所述六自由度跟踪是基于从所述色彩图像生成的色度子采样图像。
17.一种用于操作虚拟现实VR头戴式显示器V-HMD的系统，包括：
包括在虚拟现实VR头戴式设备V-HMD中的第一成像传感器，所述第一成像传感器被配置为捕获第一图像，所述第一图像具有由所述第一成像传感器的色彩感测像素捕获的色彩部分和由所述第一成像传感器的红外IR感测像素捕获的IR部分；和
第二成像传感器，所述第二成像传感器被配置为捕获第二图像，所述第二图像具有由所述第二成像传感器的色彩感测像素捕获的色彩部分和由所述第二成像传感器的IR感测像素捕获的IR部分；
包括指令的至少一个存储器；以及
至少一个处理器，所述至少一个处理器可操作地耦合到所述至少一个存储器并且被布置和配置为执行指令，所述指令在被执行时使得所述系统：
使用所述第一图像的IR部分形成第一IR图像；
使用所述第二图像的IR部分形成第二IR图像；
基于所述第一IR图像和所述第二IR图像中的至少一个来执行光学跟踪；
通过用基于所述第一图像的色彩部分和所述第一图像的IR部分的位置确定的色彩数据替换所述第一图像的IR部分来形成第一色彩图像；
通过用基于所述第二图像的色彩部分和所述第二图像的IR部分的位置确定的色彩数据替换所述第二图像的IR部分来形成第二色彩图像；
基于所述第一色彩图像和所述第二色彩图像中的一个或多个来执行六自由度跟踪；以及
基于从所述第一IR图像、所述第二IR图像、所述第一色彩图像和所述第二色彩图像形成的立体图像来执行第三跟踪。
18.根据权利要求17所述的系统，其中，所述指令在被执行时使得所述系统附加地提供所述第一色彩图像或所述第二色彩图像中的至少一个以在所述V-HMD中显示。
19.根据权利要求17所述的系统，其中，所述第一成像传感器的所述IR感测像素和所述色彩感测像素被布置在规则图案中，使得所述第一成像传感器中的每2×2像素块包括三个色彩感测像素和一个IR感测像素。
20.根据权利要求19所述的系统，其中，所述第一成像传感器中的每2×2像素块的所述三个色彩感测像素包括红色感测像素、蓝色感测像素和绿色感测像素。
CN202110267547.8A 2016-01-15 2016-12-21 具有减少数量的相机的虚拟现实头戴式设备及其操作方法 Active CN113126754B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/996,858 US10114465B2 (en) 2016-01-15 2016-01-15 Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
US14/996,858 2016-01-15
CN201680060107.2A CN108139808B (zh) 2016-01-15 2016-12-21 具有减少数量的相机的虚拟现实头戴式设备及其操作方法
PCT/US2016/068045 WO2017123395A1 (en) 2016-01-15 2016-12-21 Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680060107.2A Division CN108139808B (zh) 2016-01-15 2016-12-21 具有减少数量的相机的虚拟现实头戴式设备及其操作方法

Publications (2)

Publication Number Publication Date
CN113126754A CN113126754A (zh) 2021-07-16
CN113126754B true CN113126754B (zh) 2022-10-28

Family

ID=57861232

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680060107.2A Active CN108139808B (zh) 2016-01-15 2016-12-21 具有减少数量的相机的虚拟现实头戴式设备及其操作方法
CN202110267547.8A Active CN113126754B (zh) 2016-01-15 2016-12-21 具有减少数量的相机的虚拟现实头戴式设备及其操作方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680060107.2A Active CN108139808B (zh) 2016-01-15 2016-12-21 具有减少数量的相机的虚拟现实头戴式设备及其操作方法

Country Status (5)

Country Link
US (2) US10114465B2 (zh)
EP (1) EP3403163A1 (zh)
KR (1) KR102125534B1 (zh)
CN (2) CN108139808B (zh)
WO (1) WO2017123395A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10114465B2 (en) * 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
US10475241B2 (en) * 2016-02-03 2019-11-12 Google Llc Super-resolution displays and methods of operating the same
JP2017181605A (ja) * 2016-03-28 2017-10-05 キヤノン株式会社 情報処理装置、画像表示装置、画像表示システム、および情報処理方法
TWI645720B (zh) * 2017-03-17 2018-12-21 瑞昱半導體股份有限公司 影像處理裝置及方法
CN107706223B (zh) 2017-09-29 2020-08-14 京东方科技集团股份有限公司 Oled显示结构及显示器、空间点定位系统及方法
EP3474120B1 (de) * 2017-10-18 2024-03-20 AR Technology GmbH Eingabevorrichtung für computer
KR102603712B1 (ko) 2017-11-03 2023-11-20 삼성전자주식회사 헤드 마운팅 장치
CN109756713B (zh) * 2017-11-08 2021-12-21 超威半导体公司 图像捕获装置、执行处理的方法以及计算机可读介质
DE102017128588A1 (de) * 2017-12-01 2019-06-06 Prüftechnik Dieter Busch AG System und verfahren zur erfassung und darstellung von messpunkten auf einer körperfläche
US10587979B2 (en) * 2018-02-06 2020-03-10 Sony Interactive Entertainment Inc. Localization of sound in a speaker system
US10565678B2 (en) * 2018-03-23 2020-02-18 Microsoft Technology Licensing, Llc Asynchronous camera frame allocation
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11410324B2 (en) * 2018-06-19 2022-08-09 Kettering University System and method for determining operating deflection shapes of a structure using optical techniques
US11527044B2 (en) * 2018-06-27 2022-12-13 Samsung Electronics Co., Ltd. System and method for augmented reality
CN108965704B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
US20200097707A1 (en) * 2018-09-20 2020-03-26 XRSpace CO., LTD. Camera Module and Extended Reality System Using the Same
TW202014992A (zh) 2018-10-08 2020-04-16 財團法人資訊工業策進會 虛擬臉部模型之表情擬真系統及方法
WO2020101895A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Event-based camera with high-resolution frame output
WO2020101892A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Patch tracking image sensor
CN113711587A (zh) 2019-02-07 2021-11-26 奇跃公司 具有无源深度提取的轻型交叉显示设备
EP3953761B1 (en) * 2019-05-16 2023-09-27 Google LLC Device comprising a display and a camera on the same optical axis
CN112684603B (zh) * 2019-10-17 2023-03-28 杭州海康威视数字技术股份有限公司 智能眼镜
US11644685B2 (en) * 2020-08-14 2023-05-09 Meta Platforms Technologies, Llc Processing stereo images with a machine-learning model
US11651518B2 (en) 2021-06-03 2023-05-16 Meta Platforms Technologies, Llc System for determining an expected field of view

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
CN105164612A (zh) * 2013-04-12 2015-12-16 微软技术许可有限责任公司 使用脉冲式光源的近平面分段

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889505A (en) 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
US6630915B1 (en) 1999-01-26 2003-10-07 Lsa. Inc. Wireless transmission system for transmitting data to a simulation system user
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US8885022B2 (en) 2010-01-04 2014-11-11 Disney Enterprises, Inc. Virtual camera control using motion control systems for augmented reality
KR101761921B1 (ko) * 2011-02-28 2017-07-27 삼성전기주식회사 차량 운전자의 시계 보조 시스템 및 방법
US20120320216A1 (en) 2011-06-14 2012-12-20 Disney Enterprises, Inc. Method and System for Object Recognition, Authentication, and Tracking with Infrared Distortion Caused by Objects for Augmented Reality
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130155248A1 (en) * 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
CN102697562A (zh) * 2012-05-25 2012-10-03 南京大学 一种虚拟显示现实全景的系统及方法
WO2014008939A1 (en) * 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US8982261B2 (en) 2012-10-13 2015-03-17 Hewlett-Packard Development Company, L.P. Imaging with interleaved detection accumulations
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9405104B2 (en) * 2012-12-26 2016-08-02 GM Global Technology Operations LLC Split sub-pixel imaging chip with IR-pass filter coating applied on selected sub-pixels
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
GB201314984D0 (en) 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
KR101566543B1 (ko) * 2014-09-03 2015-11-05 재단법인 실감교류인체감응솔루션연구단 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US9741755B2 (en) * 2014-12-22 2017-08-22 Google Inc. Physical layout and structure of RGBZ pixel cell unit for RGBZ image sensor
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN104980727B (zh) * 2015-06-26 2018-08-17 深圳市虚拟现实科技有限公司 基于虚拟现实技术的图像合成方法和头戴式显示设备
US10114465B2 (en) * 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
CN105164612A (zh) * 2013-04-12 2015-12-16 微软技术许可有限责任公司 使用脉冲式光源的近平面分段

Also Published As

Publication number Publication date
US10114465B2 (en) 2018-10-30
KR20180053364A (ko) 2018-05-21
US20190056792A1 (en) 2019-02-21
US20170205886A1 (en) 2017-07-20
CN108139808B (zh) 2021-04-02
CN113126754A (zh) 2021-07-16
KR102125534B1 (ko) 2020-06-22
WO2017123395A1 (en) 2017-07-20
EP3403163A1 (en) 2018-11-21
US10990186B2 (en) 2021-04-27
CN108139808A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN113126754B (zh) 具有减少数量的相机的虚拟现实头戴式设备及其操作方法
CN114895471B (zh) 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
US10095307B2 (en) Eye tracking systems and methods for virtual reality environments
EP3350653B1 (en) General spherical capture methods
JP5483761B2 (ja) 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
EP2305358B1 (en) Portable type game device and method for controlling portable type game device
US20130326364A1 (en) Position relative hologram interactions
US20140176591A1 (en) Low-latency fusing of color image data
EP2789159A1 (en) Guided image capture
CN110692237A (zh) 照明插入内容
CN112105983A (zh) 增强的视觉能力
US20200410642A1 (en) Method and device for combining real and virtual images
US20230316810A1 (en) Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems
US11187914B2 (en) Mirror-based scene cameras
EP2706508A1 (en) Reducing latency in an augmented-reality display
US20230137141A1 (en) Systems and methods for device interoperability for extended reality
US20240078743A1 (en) Stereo Depth Markers
WO2023081573A1 (en) Systems and methods for device interoperability for extended reality
US9835775B2 (en) Image-capturing module
TW202343073A (zh) 廣角眼睛追蹤
TW202309732A (zh) 擴展現實介面的遠端地標呈現
WO2024064548A2 (en) Systems and methods of image reprojection
GB2469342A (en) A system and method of image transmission using stereographic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant