CN212112404U - 头戴式设备及用于共享数据的系统 - Google Patents

头戴式设备及用于共享数据的系统 Download PDF

Info

Publication number
CN212112404U
CN212112404U CN202020579946.9U CN202020579946U CN212112404U CN 212112404 U CN212112404 U CN 212112404U CN 202020579946 U CN202020579946 U CN 202020579946U CN 212112404 U CN212112404 U CN 212112404U
Authority
CN
China
Prior art keywords
mounted device
head
head mounted
data
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202020579946.9U
Other languages
English (en)
Inventor
M·梅尔辛
D·A·舒克
B·S·拉尤
J·C·富兰克林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Application granted granted Critical
Publication of CN212112404U publication Critical patent/CN212112404U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Abstract

本实用新型公开了头戴式设备及用于共享数据的系统。一种系统可以包括头戴式设备,所述头戴式设备协作以处理来自各个头戴式设备的相机的视图,并从不同的视角识别对象和/或识别在所述头戴式设备中的仅一个的视图内的对象。在多个头戴式设备之间共享感官输入可以通过用来自多个角度和位置的可感知数据解释和重建对象、表面和/或外部环境来补充和增强单个单元,这也减少了遮挡和不准确性。随着更详细的信息在特定时刻可用,可改善对象识别、手和身体跟踪、表面映射和/或数字重建的速度和准确性。此类协作可以提供空间、表面、对象、手势和用户的更有效及更高效的映射。

Description

头戴式设备及用于共享数据的系统
技术领域
本实用新型整体涉及头戴式设备,并且更具体地讲,涉及共享视图和其他信息的头戴式设备的系统。
背景技术
用户可佩戴头戴式设备以在用户的视场内显示视觉信息。头戴式设备可以用作虚拟现实(VR)系统、增强现实(AR)系统和/或混合现实(MR)系统。用户可以观察头戴式设备提供的输出,诸如在显示器上提供的视觉信息。显示器可以可选地允许用户观察头戴式设备外部的环境。由头戴式设备提供的其他输出可以包括音频输出和/或触觉反馈。用户可以通过提供用于由头戴式设备的一个或多个部件进行处理的输入来进一步与头戴式设备交互。例如,当设备安装到用户的头部时,用户可以提供触觉输入、语音命令和其他输入。
实用新型内容
总体上,本公开的实施例旨在改善头戴式设备以及相应的数据共享系统的性能和易用性。
在本公开的第一方面中,提供了一种头戴式设备。该头戴式设备包括:用于捕获包括对象的视图的相机;用于从包括附加相机的附加头戴式设备接收数据的通信元件;和处理器,处理器被配置为:基于由相机捕获的视图和来自附加头戴式设备的数据来确定对象的特性;以及将指示对象的特性的信号发送到附加头戴式设备。
根据一些实施例,头戴式设备还包括被配置为显示对应于对象的特性的表示的显示器。
根据一些实施例,表示包括基于对象的特性而生成的虚拟对象。
根据一些实施例,特性包括对象的身份。
在本公开的第二方面中,提供了一种用于共享数据的系统。该系统包括:根据本公开的第一方面的头戴式设备;附加头戴式设备;和外部设备,外部设备与头戴式设备和附加头戴式设备进行通信。
根据一些实施例,数据经由外部设备从附加头戴式设备发送到头戴式设备,并且信号经由外部设备从头戴式设备发送到附加头戴式设备。
根据一些实施例,外部设备被配置为:基于视图和数据来确定对象的附加特性;以及将指示对象的附加特性的附加信号发送到头戴式设备和附加头戴式设备。
根据一些实施例,外部设备被配置为:从附加头戴式设备接收数据;存储数据,直到附加相机捕获包括对象的视图;以及将数据发送到头戴式设备。
在本公开的第三方面中,提供了一种头戴式设备。该头戴式设备包括:用于捕获包括对象的第一视图的第一相机;用于从包括第二相机的附加头戴式设备接收数据的通信元件;和处理器,处理器被配置为:确定附加头戴式设备的第二相机是否被布置成捕获对象的第二视图,第二视图不同于第一视图;发送对数据的请求,数据基于由第二相机捕获的第二视图;以及从附加头戴式设备接收数据。
根据一些实施例,处理器被进一步配置为:基于第一视图和第二视图来确定对象的特性;以及将指示对象的特性的信号发送到附加头戴式设备。
根据一些实施例,附加头戴式设备位于第一视图内;并且确定第二相机被布置成捕获对象的第二视图是否基于第一视图。
根据一些实施例,头戴式设备还包括传感器,传感器被配置为检测附加头戴式设备相对于对象的位置和取向。
根据一些实施例,通信元件被配置为接收对附加头戴式设备相对于对象的位置和取向的指示。
根据一些实施例,第二视图在第一视图之前被捕获,并且数据存储在外部设备上。
根据一些实施例,处理器被进一步配置为将指示头戴式设备的位置的信号发送到外部设备;将对数据的请求发送到外部设备;并且从外部设备接收数据。
在本公开的第四方面中,提供了一种头戴式设备,该头戴式设备包括:用于捕获第一视图的第一相机;用于从附加头戴式设备接收数据的通信元件,附加头戴式设备包括用于捕获包括不在第一视图中的对象的第二视图的第二相机;和处理器,处理器被配置为:从附加头戴式设备接收数据,数据基于第二视图;以及向佩戴头戴式设备的用户输出对应于对象的指示标识。
根据一些实施例,对象为佩戴头戴式设备的用户的身体的一部分。
根据一些实施例,处理器被进一步配置为基于数据来检测用户的手势。
根据一些实施例,通过第一相机和对象之间的遮挡而从第一视图阻挡对象。
根据一些实施例,指示标识包括基于数据生成的虚拟对象。
通过阅读对示例的描述将会理解,在此公开的实施例能够有效地提高头戴式设备和相应的数据共享系统的能力、性能和/或易用性。
附图说明
本主题技术的一些特征在所附权利要求书中被示出。然而,出于解释的目的,在以下附图中阐述了本主题技术的若干实施方案。
图1示出了根据本公开的一些实施方案的头戴式设备的透视图。
图2示出了根据本公开的一些实施方案的头戴式设备的框图。
图3示出了根据本公开的一些实施方案的头戴式设备的系统的俯视图。
图4示出了根据本公开的一些实施方案的操作头戴式设备以确定和共享对象的特性的方法。
图5示出了根据本公开的一些实施方案的操作头戴式设备以基于所请求的对象视图来协调数据共享的方法。
图6示出了根据本公开的一些实施方案的操作头戴式设备以基于不具有头戴式设备中的至少一个的视图的对象共享数据的方法。
具体实施方式
下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而,对于本领域的技术人员来说将清楚和显而易见的是,本主题技术不限于本文示出的具体细节并且可在没有这些具体细节的情况下被实践。在一些情况下,以框图形式示出了熟知的结构和部件,以便避免使本主题技术的概念模糊。
头戴式设备(诸如头戴式显示器、头戴式耳机、护目镜、智能眼镜、平视显示器等)可以执行由可穿戴设备包括的部件(例如,传感器、电路和其他硬件)管理的一系列功能。
头戴式设备可以配备有宽泛范围的面向外和面向内的传感器。这些传感器可识别并跟踪对象、表面和用户手势,诸如手和身体运动。此类传感器的功能可受到诸如部件成本、设备尺寸、设备重量、热量生成、可用的计算能力和/或由于设备相对于其他对象或用户处于特定位置而发生的遮挡之类的因素的限制。
多个头戴式设备可以协同操作以利用其组合的感官输入和计算能力,以及其他外部设备的感官输入和计算能力,以改善感官感知、映射能力、准确性、处理工作负载和热缓解。例如,在多个头戴式设备之间共享感官输入可以通过用来自多个角度和位置的可感知数据解释和重建对象、表面和/或外部环境来补充和增强各个单元,这也减少了遮挡和不准确性。随着更详细的信息在特定时刻可用,可改善对象识别、手和身体跟踪、表面映射和/或数字重建的速度和准确性。又如,此类协作可以提供空间、表面、对象、手势和用户的更有效及更高效的映射。
可以在多个设备之间分担处理负担。多个设备可以一起工作以分配工作负载,而不是使每个单独的设备独立地跟踪、映射和/或处理相同的对象。这允许每个设备专注于特定但互补的任务,诸如共享房间中的特定区域,以从不同的视角中继对不同用户的手和身体跟踪,和/或将靠近音频源的头戴式设备所记录的声音中继到更远的其他头戴式设备。工作负载的分配和已处理信息的共享可引起大大改善的功率管理和热量生成。
以下参考图1至图6讨论这些和其他实施方案。然而,本领域的技术人员将容易地理解,本文相对于这些附图所给出的详细描述仅出于说明性目的,而不应被理解为是限制性的。
根据一些实施方案,例如如图1所示,头戴式设备100包括框架190,该框架佩戴在用户的头部上。框架190可定位在用户的眼睛的前面以在用户的视场内提供信息。框架190可提供鼻垫或另一特征部以搁置在用户的鼻部上。框架190可利用固定元件120支撑在用户的头部上。固定元件120可沿用户的头部的相对侧包裹或延伸。固定元件120可包括用于卷绕或以其他方式接合或搁置在用户的耳朵上的听筒。应当理解,可以应用其他配置将头戴式设备100固定到用户的头部。例如,除了头戴式设备100的所示部件之外或代替该头戴式设备的所示部件,可以使用一个或多个绑带、条带、束带、盖帽、帽子或其他部件。又如,固定元件120可包括多个部件以接合用户的头部。
框架190可以在其外围区域周围提供结构,以将框架190的任何内部部件支撑在它们的组装位置。例如,框架190可以包封并支撑各种内部部件(包括例如集成电路芯片、处理器、存储器设备和其他电路),以为头戴式设备100提供计算和功能操作,如本文进一步所述。框架190和/或固定元件120之内和/或之上可以包括任何数量的部件,并且这些部件可以可操作地连接到彼此。
框架190可包括和/或支撑一个或多个相机150。相机150可以定位在框架190的外侧上或附近,以捕获头戴式设备100外部的视图的图像。所捕获的图像可用于显示给用户或存储用于任何其他目的。附加地或另选地,其他传感器、输入设备和/或输出设备可以定位在框架190的外侧处或外侧上。
显示器110可以可选地透射来自物理环境的光以供用户观看。此类显示器110可以包括光学性质,诸如用于基于来自物理环境的入射光进行视力校正的透镜。附加地或另选地,显示器110可以作为用户视场内的显示器提供信息。可提供此类信息以排除物理环境的视图,或除了物理环境之外(例如,覆盖有物理环境)。附加地或另选地,其他传感器、输入设备和/或输出设备可以定位在框架190的内侧处或内侧上。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反,计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中,跟踪人的物理运动的一个子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特性。例如,CGR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对CGR环境中虚拟对象的特性的调节可以响应于物理运动的表示(例如,声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,该音频对象创建3D或空间音频环境,该3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中,人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。
在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置为接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。
现在参见图2,头戴式设备的部件可以可操作地连接以提供本文所述的性能。图2示出了根据本公开的一个或多个实施方案的头戴式设备100的简化框图。应当理解,可以在头戴式设备100的框架和/或固定元件中的一者或两者上设置本文所述的部件。
如图2所示,头戴式设备100可以包括具有一个或多个处理单元的处理器170,所述一个或多个处理单元包括或被配置为访问其上存储有指令的存储器218。该指令或计算机程序可被配置为执行相对于头戴式设备100所述的操作或功能中的一者或多者。处理器170可被实现为能够处理、接收或发送数据或指令的任何电子设备。例如,处理器170可包括以下项中的一者或多者:微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或此类设备的组合。如本文所述,术语“处理器”意在涵盖单个处理器或处理单元、多个处理器、多个处理单元或一个或多个其他适当配置的计算元件。
存储器218可存储可由头戴式设备100使用的电子数据。例如,存储器218可存储电子数据或内容,诸如例如音频和视频文件、文档和应用程序、设备设置和用户偏好、用于各种模块、数据结构或数据库的定时和控制信号或数据等。存储器218可被配置为任何类型的存储器。仅以举例的方式,存储器218可被实现为随机存取存储器、只读存储器、闪存存储器、可移动存储器、或其他类型的存储元件或此类设备的组合。
头戴式设备100还可以包括用于为用户显示视觉信息的显示器110。显示器110可提供视觉(例如,图像或视频)输出。显示器110可以是或包括不透明、透明和/或半透明的显示器。显示器110可以具有透明或半透明的介质,代表图像的光通过该透明或半透明的介质被引导到用户的眼睛。显示器110可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。头戴式设备100可以包括光学子组件214,该光学子组件被配置为帮助光学调整和正确投影由显示器110显示的基于图像的内容以进行近距离观看。光学子组件214可包括一个或多个透镜、反射镜或其他光学设备。
头戴式设备100可以包括用于捕获头戴式设备100外部环境的视图的相机150。相机150可包括光学传感器,诸如光电二极管或光电二极管阵列。附加地或另选地,相机150可包括各种类型的光学传感器中的一者或多者,所述光学传感器被布置为各种构型以用于检测本文所述的用户输入。相机150可被配置为捕获位于相机150的视场内的场景或主题的图像。可以根据多种数字格式中的任一种将图像存储在数字文件中。在一些实施方案中,头戴式设备100包括相机,该相机包括由电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)器件形成的图像传感器、光伏电池单元、光电阻部件、激光扫描仪等。应当认识到,相机可包括其他运动感测设备。
相机150可提供一个或多个窗口(例如,开口、传输介质和/或透镜)以透射光以用于图像捕获和/或检测。窗口可包括透光材料。窗口可为透射光提供光学效果。例如,窗口可包括相对于图像传感器设置的一个或多个光学部件,包括例如透镜、漫射器、滤光器、快门等。还应当理解,头戴式设备100可以包括任何数量的相机。相机可被定位和取向成捕获不同的视图。例如,一个相机可从一个视角捕获对象的图像,而另一相机可从另一视角捕获对象的图像。附加地或另选地,另一相机可捕获对象的未被第一相机捕获的图像。
附加地或另选地,头戴式设备100可以包括指向外部环境的一个或多个环境传感器160。此类环境传感器160可以包括检测头戴式设备100的环境中的一个或多个条件的任何传感器。例如,环境传感器160可包括成像设备、热传感器、接近传感器、运动传感器、湿度传感器、化学传感器、光传感器和/或UV传感器。环境传感器160可以被配置为基本上感测任何类型的特性,诸如但不限于图像、压力、光、触摸、力、温度、位置、运动等。例如,环境传感器160可以是光电探测器、温度传感器、光或光学传感器、大气压力传感器、湿度传感器、磁体、陀螺仪、加速度计、化学传感器、臭氧传感器、微粒计数传感器等等。传感器可以用于感测相邻环境中的环境条件。
头戴式设备100可以包括惯性测量单元(“IMU”)180,该惯性测量单元提供关于头戴式设备100的特性的信息,例如其惯性角度。例如,IMU 180可以包括一个六自由度IMU,该六自由度IMU可基于六个自由度(x、y、z、θx、θy、和θz)计算出头戴式设备的位置、速度和/或加速度。IMU 180可以包括加速度计、陀螺仪和/或磁力计中的一者或多者。附加地或另选地,头戴式设备100可以用一个或多个其他运动传感器(诸如加速度计、陀螺仪、全球定位传感器、倾斜传感器等)检测头戴式设备100的运动特性,用于检测头戴式设备100的运动和加速度。IMU 180可以将数据提供给处理器170以进行处理。
头戴式设备100可以包括用于跟踪佩戴头戴式设备100的用户的特征的一个或多个用户传感器140。例如,用户传感器140可以执行面部特征检测、面部运动检测、面部识别、眼动跟踪、用户心情检测、用户情绪检测、语音检测等。此类眼动跟踪可以用于确定要在显示器110上显示的信息的位置和/或要由头戴式设备100分析的视图的一部分(例如,对象)。又如,用户传感器140可以是用于跟踪生物计量特性(诸如健康和活性量度)的生物传感器。用户传感器140可以包括生物传感器,该生物传感器被配置为测量生物计量,诸如心电图(ECG)特性、皮肤电阻性以及用户的身体的其他电性质。附加地或另选地,生物传感器可以被配置为测量体温、暴露于紫外线辐射以及其他健康相关信息。
头戴式设备100可以包括电池220,该电池可以为头戴式设备100的部件进行充电和/或供电。电池220还可以对连接到头戴式设备100的部件(诸如便携式电子设备202)进行充电和/或供电,如本文中进一步讨论的。
头戴式设备100可以包括输入/输出部件226,该输入/输出部件可以包括用于将头戴式设备100连接到其他设备的任何合适的部件。合适的部件可以包括例如音频/视频插孔、数据连接器或任何附加或另选的输入/输出部件。
头戴式设备100可以包括用于使用任何合适的通信协议与一个或多个服务器或其他设备进行通信的通信电路228。例如,通信电路228可以支持Wi-Fi(例如802.11协议)、以太网、蓝牙、高频系统(例如900MHz、2.4GHz和5.6GHz通信系统)、红外、TCP/IP(例如,TCP/IP层中的每个中使用的任何协议)、HTTP、BitTorrent、FTP、RTP、RTSP、SSH、任何其他通信协议或其任意组合。通信电路228还可以包括用于发送和接收电磁信号的天线。
头戴式设备100可以包括如本文所述的麦克风230。麦克风230可以可操作地连接到处理器170,以用于声音水平的检测和检测的通信以进行进一步处理,如本文中进一步描述的。
头戴式设备100可以包括如本文所述的扬声器222。扬声器222可以可操作地连接到处理器170,以控制扬声器输出,包括声音水平,如本文进一步描述的。
头戴式设备100可以可选地连接到便携式电子设备202,该便携式电子设备可以提供某些功能。为简明起见,便携式电子设备202将不在图2中详细地描述。然而,应当理解,便携式电子设备202可以实现为包括多种特征部的多种形式,头戴式设备100可以利用其中的全部或一些特征部(例如,输入/输出、控件、处理、电池等)。便携式电子设备202可以提供手持式形状因数(例如,重量轻、可放在口袋中的小型便携式电子设备等)。尽管不限于这些,但是示例包括媒体播放器、电话(包括智能电话)、PDA、计算机等。便携式电子设备202可以包括用于向用户呈现媒体的图形部分的屏幕213。屏幕213可以用作头戴式设备100的主屏幕。
头戴式设备100可以包括操作以接收便携式电子设备202的坞站206。坞站206可以包括连接器(例如,Lightning、USB、FireWire、电源、DVI等),可以将该连接器插入便携式电子设备202的互补连接器中。坞站206可以包括用于在接合期间帮助对准连接器以及将便携式电子设备202物理耦接到头戴式设备100的特征部。例如,坞站206可以限定用于放置便携式电子设备202的腔。坞站206还可包括用于将便携式电子设备202固定在腔内的保持特征部。坞站206上的连接器可以用作便携式电子设备202和头戴式设备100之间的通信接口。
现在参见图3,多个用户可以各自佩戴具有视场的对应头戴式设备。如图3所示,在系统1内,第一用户10可以佩戴第一头戴式设备100,第二用户12可以佩戴第二头戴式设备102,并且第三用户14可以佩戴第三头戴式设备104。应当理解,系统1可以包括任何数量的用户和对应的头戴式设备。头戴式设备可以设置有任何一对头戴式设备和/或其他设备(例如,外部设备300)之间的通信链路,该通信链路用于共享数据。
第一头戴式设备100可以具有第一视场20,第二头戴式设备102可以具有第二视场22,并且第三头戴式设备104可以具有第三视场24。视场可以是相机或任何其他传感器的。视场可以至少部分地重叠,使得对象(例如,对象50)位于头戴式设备中的多于一个的视场内。例如,第一头戴式设备100可以被布置为捕获包含对象50的视场20,并且第二头戴式设备102可以被布置成捕获也包含对象50的第二视场22。第一头戴式设备100和第二头戴式设备102可以各自被布置成从不同的视角捕获对象50,使得可以从不同的头戴式设备观察到对象50的不同部分、表面、侧面和/或特征部。因此,第一头戴式设备100和第二头戴式设备102中的每个都可以捕获、处理和/或生成与对象50有关的不同的数据。在任一头戴式设备可以使用与对象50有关的此类数据的情况下,可以与该头戴式设备共享该数据。
视场20、22和24中的一个或多个被布置为使得一个视场的至少一部分不在另一视场内。因此,对象(例如,对象52)可以在头戴式设备中的一个的视场之内,但是在头戴式设备中的另一个的视场之外。因此,头戴式设备(例如,第三头戴式设备104)可以捕获、处理和/或生成关于对象的数据,并将此类数据发送到一个或多个其他头戴式设备(例如,第一头戴式设备100和/或第二头戴式设备102)。在与对象52相关的此类数据可由在其视场内不包含对象52的头戴式设备使用的情况下,数据可与该头戴式设备共享。
与用户和头戴式设备有关的数据也可以由任何一个或多个头戴式设备捕获、处理和/或生成。应当理解,用户本身可以在头戴式设备中的一个的视场内并且在头戴式设备中的另一个(包括该用户佩戴的头戴式设备)的视场外。在这种情况下,与任何给定用户有关的数据可以由除该给定用户之外的用户佩戴的头戴式设备更有效地捕获。例如,第二用户12、第三用户14、第二头戴式设备102和/或第三头戴式设备104的至少一部分可以在第一头戴式设备100的第一视场20内。因此,第一头戴式设备100可以捕获、处理和/或生成关于第二用户12、第三用户14、第二头戴式设备102和/或第三头戴式设备104的数据并将此类数据发送到一个或多个其他头戴式设备(例如,第二头戴式设备102和/或第三头戴式设备104)。在与用户有关的此类数据可以由在其视场内不包含该用户的头戴式设备使用的情况下,则该数据可以与该头戴式设备共享。
如图3中进一步所示,外部设备可以设置有至头戴式设备中的一个或多个的通信链路。外部设备300可以是被配置为接收、发送、捕获、处理和/或生成在头戴式设备之间或之中共享的数据的任何设备。外部设备可以是计算设备、电话、智能电话、可穿戴电子设备、便携式电子设备、服务器、基于云的设备或其组合。外部设备300可以与本文描述的头戴式设备中的任何一个相似的方式操作,即使在没有被用户佩戴的情况下也是如此。因此,外部设备300可以促进头戴式设备之间的通信和/或提供处理以减少头戴式设备之间的处理负荷。
数据可以由头戴式设备中的任何一个捕获,并在其他头戴式设备之间或之中共享。例如,多个头戴式设备(例如,第一头戴式设备100和第二头戴式设备102)可以捕获同一对象50的视图。每个头戴式设备所捕获的数据可不足以执行与对象50有关的进一步操作。附加地或另选地,所捕获的数据可受到每个头戴式设备的布置的限制,使得对于第一头戴式设备100和第二头戴式设备102中的每个,执行与对象50有关的进一步操作的处理要求可相对高。因此,可以共享所捕获的数据,使得第一头戴式设备100和第二头戴式设备102中的选定一个可以执行进一步处理。因为每个头戴式设备捕获不同的数据,所以它们的组合为头戴式设备中的选定一个提供了执行此类处理的更大能力(例如,对标识的更大置信度、更详细的映射等)。此外,通过将处理任务委托给头戴式设备中的选定一个并与头戴式设备中的另一个共享结果,还可以减少此类进一步操作的处理要求。附加地或另选地,可以减少头戴式设备之间或之中的冗余的方式共享处理任务的委托。附加地或另选地,外部设备300可以参与数据的捕获、处理和/或生成,使得头戴式设备可已减少处理活动。这允许头戴式设备消耗较少功率并生成较少热量。
在头戴式设备之间或之中收集及共享捕获、处理和/或生成的数据可以促进头戴式设备中的一个或多个的有效和高效的操作。虽然本文讨论了此类应用的各种示例,但应当认识到,这些示例是以举例说明而非限制的方式给出的,并且各种其他示例可利用本文所述的技术来实施。
头戴式设备可协同操作以执行对象识别。例如,头戴式设备中的一个或多个可以捕获、处理和/或生成数据,以确定对象的特性。特性可以包括头戴式设备中的一个或多个可检测到的身份、名称、类型、基准、颜色、尺寸、形状、品牌、型号或其他特征。一旦确定,就可以共享特性,并且头戴式设备中的一个或多个可以可选地经由其显示器向对应的用户提供对象的表示。此类表示可以包括与特性有关的任何信息诸如标签、文本指示、图形特征和/或其他信息。附加地或另选地,表示可包括在显示器上显示的作为物理对象的替代的虚拟对象。因此,可以用虚拟对象替换和/或增强来自物理环境的已识别对象。
头戴式设备可协同操作以执行对象映射。例如,数据可以由头戴式设备中的一个或多个捕获、处理和生成,以映射对象的轮廓。每个头戴式设备都可以从相对于对象的不同位置和取向捕获多个视图。组合数据可以包括比头戴式设备中的任一个捕获的视图多的视图。基于该共享数据,头戴式设备中的一个或多个和/或外部设备可以执行基于映射的操作(诸如三维渲染)以产生与对象对应的模型。该模型可以可选地作为虚拟对象显示在头戴式设备的一个或多个上,该虚拟对象被显示为物理对象的替代。当头戴式设备中的任一个进一步识别出对象时,可以显示基于映射的模型。
头戴式设备可协同操作以执行手势识别。例如,数据可以由头戴式设备中的一个或多个捕获、处理和生成,其中数据包括用户的捕获的视图。手势识别可以涉及对用户(例如,肢体、手部、手指等)的位置、取向和/或运动的检测。当基于从多个视角捕获的视图时,可增强此类检测。此类视角可以包括来自单独的头戴式设备的视图,该头戴式设备包括由除做出手势的用户以外的用户佩戴的头戴式设备。可以在头戴式设备和/或外部设备之间或之中共享基于这些视图的数据,以进行处理和手势识别。任何处理数据都可以与由做出手势的用户佩戴的头戴式设备共享,并且可以执行对应的动作。
现在参见图4-图6,提供了操作包括外部设备和/或多个头戴式设备的系统的方法,以实现本文所述的结果。
如图4所示,提供了一种用于操作头戴式设备以确定和共享对象的特性的方法400。应当理解,图4所示的方法400仅为示例,并且可利用比图4所示的那些步骤附加的步骤和/或更少的步骤来执行方法。应当认识到,方法400内的操作的发起、协调、执行和/或委托可以由任何头戴式设备和/或外部设备执行。
在操作402中,头戴式设备中的一个或多个捕获对象的一个或多个视图。在操作404中,头戴式设备共享对象的一个或多个视图,使得头戴式设备中的至少一个和/或外部设备具有组合数据。在操作406中,具有组合数据的选定头戴式设备和/或外部设备可以处理该数据,以基于该数据确定对象的特性。附加地或另选地,可如本文所述确定与对象相关的任何其他信息。在操作408中,选定头戴式设备和/或外部设备可以与至少一个其他头戴式设备共享特性或其他信息,该至少一个其他头戴式设备可以包括提供对象的视图的头戴式设备。
如图5所示,提供了一种用于操作头戴式设备以基于所请求的对象视图来协调数据共享的方法500。应当理解,图5所示的方法500仅为示例,并且可利用比图5所示的那些步骤附加的步骤和/或更少的步骤来执行方法。应当认识到,方法500内的操作的发起、协调、执行和/或委托可以由任何头戴式设备和/或外部设备执行。
在操作502中,头戴式设备中的一个或多个捕获对象的一个或多个视图。在操作504中,头戴式设备中的一个或多个共享与其布置相关的信息。此类信息可以包括位置、取向、运动和/或对象是否在给定头戴式设备的视图内。该布置可以相对于对象和/或另一头戴式设备。附加地或另选地,头戴式设备可以提供可被另一头戴式设备检测到的指示标识。例如,一个头戴式设备可以提供可被另一头戴式设备检测到的信号(例如,来自天线的电磁信号)。又如,一个头戴式设备可以被另一头戴式设备光学地或以其他方式检测到。布置信息可用于确定给定头戴式设备在其视图内是否具有对象。可以在有或没有捕获的视图的情况下提供布置信息。例如,第一头戴式设备可以捕获对象的视图并接收与第二头戴式设备有关的布置信息。基于该布置信息,第一头戴式设备可以确定第二头戴式设备是否以允许其捕获相同对象的视图的方式布置。在第一头戴式设备确定第二头戴式设备以允许其捕获相同对象的视图的方式布置的情况下,它可以继续从第二头戴式设备请求附加数据。例如,在操作506中,当第一头戴式设备确定其能够捕获对象的视图时,它可以从第二头戴式设备请求数据。在操作508中,第二头戴式设备捕获对象的一个或多个视图,并与第一头戴式设备共享对应的数据。操作508可以类似于上面讨论的操作404,并且方法500可以进一步包括来自方法400的其他操作,诸如操作406和408。
应当认识到,头戴式设备之间共享的数据无需同时或在任何给定时间帧内进行捕获、处理和/或生成。数据可以由第一头戴式设备(例如,由外部设备)收集,并且随后在适当时由第二头戴式设备访问。例如,第二头戴式设备可以在给定位置(例如,基于GPS数据)和/或在给定对象附近,并请求与该位置和/或对象有关的数据。此类数据(例如,映射)可以在请求时存在。例如,在较早的时间点,第一头戴式设备可以已经在相同的位置和/或对象处或附近,并且第一头戴式设备可以已经捕获、处理和/或生成与该位置和/或对象有关的数据。应当认识到,此类数据也可以基于多个头戴式设备的操作,如上面关于方法400所讨论的。可以将此类数据存储以供另一头戴式设备以后参考。例如,当第二头戴式设备请求数据时,第一头戴式设备和/或与第一头戴式设备通信的外部设备可以提供所请求的数据。然后,佩戴第二头戴式设备的用户可以具有由第一头戴式设备提供的较早数据所增强的体验。此外,第二头戴式设备可以免于先前由第一头戴式设备执行的大量处理,从而减少了功耗和热量生成。应当认识到,数据可以存储在多个头戴式设备可访问的外部设备(例如,基于云的服务器)上。头戴式设备中的任何一个都可以基于其位置和/或附近的对象以及与其对应的任何可用数据来请求和接收数据。
应当认识到,由给定头戴式设备捕获、处理和/或生成的数据稍后可以由同一头戴式设备检索。例如,在上述示例中,第一头戴式设备和第二头戴式设备在不同的时间点可以是同一设备。因此,头戴式设备可以在第一会话中捕获、处理和/或生成与位置和/或对象有关的数据。在第二会话期间返回至相同的位置和/或对象时,头戴式设备可以(例如,从外部设备)检索该数据。因此,头戴式设备可以避免重复先前执行的大量处理,从而减少了功耗和热量生成。
如图6所示,提供了一种用于操作头戴式设备以基于不具有头戴式设备中的至少一个的视图的对象来共享数据的方法600。应当理解,图6中所示的方法600仅为示例,并且可利用比图6所示的那些步骤附加的步骤和/或更少的步骤来执行方法。应当认识到,方法600内的操作的发起、协调、执行和/或委托可以由任何头戴式设备和/或外部设备执行。在操作602中,第一头戴式设备捕获对象的一个或多个视图。在操作604中,第二头戴式设备捕获不包含该对象的视图。视图内缺乏该对象可以基于第二头戴式设备的布置(例如,位置和/或取向),从视图阻挡对象的遮挡,和/或第二头戴式设备的操作。在操作606中,第一头戴式设备和/或外部设备与第二头戴式设备共享对应于对象的一个或多个视图的数据。应当认识到,如上面关于方法400所讨论的,可以通过多个头戴式设备的操作来捕获、处理和/或生成此类数据。在操作608中,第二头戴式设备可以基于数据和/或对应于对象地输出指示标识。例如,第二头戴式设备可以向用户显示或者以其他方式输出关于对象的存在、身份、位置或其他特性的通知。
可以应用上述方法以允许头戴式设备输出用户不可见的对象的表示。例如,可基于来自另一用户的数据来表示被从视图阻挡但对另一用户可见的对象。这允许用户变得知道本来对用户而言未知的对象。例如,头戴式设备可以提供警告或其他指示标识,以警示用户注意不在用户或对应的头戴式设备的视场内的对象和/或事件。
可以应用上述方法来促进基于多个头戴式设备的操作的手势识别。例如,头戴式设备可能对佩戴头戴式设备的用户所做出的手势具有有限的视图。基于用户的头部位置,此类手势可能会被部分或完全地从视图阻挡。如本文进一步讨论的,在做出手势的用户附近的其他头戴式设备可以捕获手势的视图并共享对应的数据。
因此,本公开的实施方案提供了一种头戴式设备的系统,该头戴式设备协作以处理来自各个头戴式设备的相机的视图并从不同的视角识别对象和/或识别在头戴式设备中的仅一个的视图内的对象。多个头戴式设备可以协同操作以利用其组合的感官输入和计算能力,以及其他外部设备的感官输入和计算能力,以改善感官感知、映射能力、准确性、处理工作负载和热缓解。例如,在多个头戴式设备之间共享感官输入可以通过用来自多个角度和位置的可感知数据解释和重建对象、表面和/或外部环境来补充和增强各个单元,这也减少了遮挡和不准确性。随着更详细的信息在特定时刻可用,可改善对象识别、手和身体跟踪、表面映射和/或数字重建的速度和准确性。又如,此类协作可以提供空间、表面、对象、手势和用户的更有效及更高效的映射。
为了方便起见,以下将本公开的方面的各种示例描述为条款。这些示例以举例的方式提供,并且不限制主题技术。
条款A:一种头戴式设备,所述头戴式设备包括:用于捕获包括对象的视图的相机;用于从包括附加相机的附加头戴式设备接收数据的通信元件;和处理器,所述处理器被配置为:基于由所述相机捕获的所述视图和来自所述附加头戴式设备的所述数据来确定所述对象的特性;以及将指示对象的特性的信号发送到所述附加头戴式设备。
条款B:一种头戴式设备,所述头戴式设备包括:用于捕获包括对象的视图的相机;用于从包括附加相机的附加头戴式设备接收数据的通信元件;和处理器,所述处理器被配置为:基于由所述相机捕获的所述视图和来自所述附加头戴式设备的所述数据来确定所述对象的特性;以及将指示对象的特性的信号发送到所述附加头戴式设备。
条款C:一种头戴式设备,所述头戴式设备包括:用于捕获包括对象的第一视图的第一相机;用于从包括第二相机的附加头戴式设备接收数据的通信元件;和处理器,所述处理器被配置为:确定所述附加头戴式设备的所述第二相机是否被布置成捕获所述对象的第二视图,所述第二视图与所述第一视图不同;将对所述数据的请求发送到所述附加头戴式设备,所述数据基于所述第二相机捕获的所述第二视图;以及从所述附加头戴式设备接收所述数据。
条款D:一种系统,所述系统包括:根据条款A、B或C所述的头戴式设备中的一个或多个。
上述条款中的一个或多个可包括下述特征中的一个或多个。应当注意,以下条款中的任一个可彼此以任何组合组合,并被放置到相应的独立条款中,例如,条款A、B、C或D中。
条款1:所述第一头戴式设备还包括被配置为显示对应于所述对象的所述特性的表示的显示器。
条款2:所述表示包括基于所述对象的所述特性生成的虚拟对象。
条款3:所述特性包括所述对象的身份。
条款4:一种外部设备,所述外部设备与所述第一头戴式设备和所述第二头戴式设备通信。
条款5:所述数据经由所述外部设备从所述第一头戴式设备发送到所述第二头戴式设备,并且所述信号经由所述外部设备从所述第二头戴式设备发送到所述第一头戴式设备。
条款6:所述外部设备被配置为:基于所述第一视图和所述第二视图确定所述对象的所述特性;以及将指示所述对象的附加特性的附加信号发送到所述第一头戴式设备和所述第二头戴式设备。
条款7:所述外部设备被配置为:接收包括所述第一视图的所述数据;存储包括所述第一视图的所述数据,直到所述第二相机捕获包括所述对象的所述第二视图;以及将所述数据发送到所述第二头戴式设备。
条款8:所述处理器被进一步配置为:基于所述第一视图和所述第二视图来确定所述对象的特性;以及将指示对象的特性的信号发送到所述附加头戴式设备。
条款9:所述附加头戴式设备位于第一视图内;并且确定所述第二相机被布置成捕获所述对象的所述第二视图是否基于所述第一视图。
条款10:一种传感器,所述传感器被配置为检测所述附加头戴式设备相对于所述对象的位置和取向。
条款11:所述通信元件被配置为接收所述附加头戴式设备相对于所述对象的位置和取向的指示。
条款12:所述第二视图在所述第一视图之前被捕获,并且所述数据存储在外部设备上。
条款13:所述处理器被进一步配置为将指示所述头戴式设备的位置的信号发送到所述外部设备;将对所述数据的所述请求发送到所述外部设备;并且从所述外部设备接收所述数据。
条款14:所述对象为佩戴所述头戴式设备的用户的身体的一部分。
条款15:所述处理器被进一步配置为基于所述数据来检测所述用户的手势。
条款16:通过所述第一相机和所述对象之间的遮挡而从所述第一视图阻挡所述对象。
条款17:所述指示标识包括基于所述数据生成的虚拟对象。
如上所述,本技术的一个方面可以包括收集和使用得自各种来源的数据。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如,生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他识别信息或个人信息。
本公开认识到在本实用新型技术中使用此类个人信息数据可用于使用户受益。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就广告递送服务而言,本实用新型的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一示例中,用户可以选择不为目标内容递送服务提供情绪相关数据。在另一个示例中,用户可选择限制情绪相关数据被保持的时间长度,或完全禁止基础情绪状况的开发。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户之间聚合数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本实用新型技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好,从而选择内容并将该内容递送至用户。
除非特别指出,否则以单数形式提及的元素并不意味着是唯一的,而是指一个或多个。例如,“一个”模块可指一个或多个模块。以“一个”,“一种”,“该”或“所述”为前缀的元素在没有进一步的限制的情况下不排除存在另外的相同的元素。
标题和副标题(如果有的话)仅用于方便,并不限制本实用新型。“示例性”一词用于表示用作示例或说明。在使用术语“包括”、“具有”等的意义上,此类术语旨在以类似于术语“包含”的方式是包含性的,因为在用作权利要求中的过渡词时解释为包含。诸如第一和第二等的关系术语可用于将一个实体或动作与另一个实体或动作区分开,而不一定要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。
短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一个或多个配置、主题技术、公开、本公开、其他变型等等都是为了方便,并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的,或者这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面,反之亦然,并且这与其他前述短语类似地应用。
在一系列项目之前的短语“至少一个”,用术语“和”或“或”分开项目中的任一者,将列表作为整体修改而不是列表中的每个成员。短语“至少一个”不需要选择至少一个项目;相反,该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说,短语“A、B和C中的至少一个”或“A、B或C中的至少一个”中的每个短语仅指A、仅指B或仅指C;A、B和C的任意组合;和/或A、B和C中的每一个中的至少一个。
应该理解,公开的步骤、操作或过程的具体顺序或层次是示例性方法的说明。除非另有明确说明,否则可理解的是,步骤、操作或过程的具体顺序或层次可以不同的顺序执行。步骤、操作或过程中的一些可同时执行。所附方法权利要求书(如果有的话)以示例顺序呈现各个步骤、操作或过程的元素,并不意味着限于所呈现的特定顺序或层次。这些可以串行、线性、并行或不同的顺序执行。应当理解,所描述的指令、操作和系统通常可一起集成在单个软件/硬件产品中,或者被封装到多个软件/硬件产品中。
在一个方面,术语耦接等可指代直接耦接。另一方面,术语耦接等可指间接耦接。
术语诸如顶部、底部、前部、后部、侧部、水平、竖直等是指任意的参照系,而不是指通常的重力参照系。因此,此类术语可在重力参考系中向上、向下、对角或水平延伸。
提供本公开是为了使本领域的技术人员能够实践本文所述的各个方面。在一些情况下,以框图形式示出了熟知的结构和部件,以便避免使本主题技术的概念模糊。本公开提供了本主题技术的各种示例,并且本主题技术不限于这些示例。这些方面的各种修改对于本领域技术人员将是显而易见的,并且这里描述的原理可应用于其他方面。
本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文,并且旨在被权利要求书所涵盖。此外,本文所公开的任何内容并非旨在提供给公众,而与该公开是否明确地被陈述在权利要求中无关。根据35U.S.C.§112第六段的规定,不需要解释任何权利要求元素,除非使用短语“方法用以”明确陈述了该元素,或者就方法权利要求而言,使用短语“步骤用以”陈述了该元素。
标题、背景、附图的简要说明、摘要和附图在此被结合到本公开中,并且被提供作为本公开的说明性示例,而不是作为限制性描述。认为它们不会被用来限制权利要求的范围或含义。另外,在详细描述中可看出,为了使本公开简化的目的,描述提供了例示性示例,并且各种特征在各种具体实施中被组合在一起。公开的方法不应被解释为反映所要求保护的主题需要比每个权利要求中明确记载的特征更多的特征的意图。相反,如权利要求所反映的,实用新型主题在于少于单个公开的配置或操作的所有特征。权利要求由此被并入到具体实施方式中,每个权利要求本身作为单独要求保护的主题。
权利要求不旨在限于本文所述的方面,而是要被赋予与权利要求的语言一致的全部范围,并且涵盖所有的法律等同物。尽管如此,这些权利要求都不包含不符合适用专利法要求的主题,也不应该以这种方式解释。

Claims (20)

1.一种头戴式设备,其特征在于,所述头戴式设备包括:
用于捕获包括对象的视图的相机;
用于从包括附加相机的附加头戴式设备接收数据的通信元件;和
处理器,所述处理器被配置为:
基于由所述相机捕获的所述视图和来自所述附加头戴式设备的所述数据来确定所述对象的特性;以及
将指示所述对象的所述特性的信号发送到所述附加头戴式设备。
2.根据权利要求1所述的头戴式设备,其特征在于,所述头戴式设备还包括被配置为显示对应于所述对象的所述特性的表示的显示器。
3.根据权利要求2所述的头戴式设备,其特征在于,所述表示包括基于所述对象的所述特性而生成的虚拟对象。
4.根据权利要求1所述的头戴式设备,其特征在于,所述特性包括所述对象的身份。
5.一种用于共享数据的系统,其特征在于,所述系统包括:
根据权利要求1所述的头戴式设备;
所述附加头戴式设备;和
外部设备,所述外部设备与所述头戴式设备和所述附加头戴式设备进行通信。
6.根据权利要求5所述的系统,其特征在于,所述数据经由所述外部设备从所述附加头戴式设备发送到所述头戴式设备,并且所述信号经由所述外部设备从所述头戴式设备发送到所述附加头戴式设备。
7.根据权利要求5所述的系统,其特征在于,所述外部设备被配置为:
基于所述视图和所述数据来确定所述对象的附加特性;以及
将指示所述对象的所述附加特性的附加信号发送到所述头戴式设备和所述附加头戴式设备。
8.根据权利要求5所述的系统,其特征在于,所述外部设备被配置为:
从所述附加头戴式设备接收所述数据;
存储所述数据,直到所述附加相机捕获包括所述对象的所述视图;以及
将所述数据发送到所述头戴式设备。
9.一种头戴式设备,其特征在于,所述头戴式设备包括:
用于捕获包括对象的第一视图的第一相机;
用于从包括第二相机的附加头戴式设备接收数据的通信元件;和
处理器,所述处理器被配置为:
确定所述附加头戴式设备的所述第二相机是否被布置成捕获所述对象的第二视图,所述第二视图不同于所述第一视图;
发送对所述数据的请求,所述数据基于由所述第二相机捕获的所述第二视图;以及
从所述附加头戴式设备接收所述数据。
10.根据权利要求9所述的头戴式设备,其特征在于,所述处理器被进一步配置为:
基于所述第一视图和所述第二视图来确定所述对象的特性;以及
将指示所述对象的所述特性的信号发送到所述附加头戴式设备。
11.根据权利要求9所述的头戴式设备,其特征在于:
所述附加头戴式设备位于所述第一视图内;并且
确定所述第二相机被布置成捕获所述对象的所述第二视图是否基于所述第一视图。
12.根据权利要求9所述的头戴式设备,其特征在于,还包括传感器,所述传感器被配置为检测所述附加头戴式设备相对于所述对象的位置和取向。
13.根据权利要求9所述的头戴式设备,其特征在于,所述通信元件被配置为接收对所述附加头戴式设备相对于所述对象的位置和取向的指示。
14.根据权利要求9所述的头戴式设备,其特征在于,所述第二视图在所述第一视图之前被捕获,并且所述数据存储在外部设备上。
15.根据权利要求14所述的头戴式设备,其特征在于:
所述处理器被进一步配置为将指示所述头戴式设备的位置的信号发送到所述外部设备;
将对所述数据的所述请求发送到所述外部设备;并且
从所述外部设备接收所述数据。
16.一种头戴式设备,其特征在于,所述头戴式设备包括:
用于捕获第一视图的第一相机;
用于从附加头戴式设备接收数据的通信元件,所述附加头戴式设备包括用于捕获包括不在所述第一视图中的对象的第二视图的第二相机;和
处理器,所述处理器被配置为:
从所述附加头戴式设备接收所述数据,所述数据基于所述第二视图;以及
向佩戴所述头戴式设备的用户输出对应于所述对象的指示标识。
17.根据权利要求16所述的头戴式设备,其特征在于,所述对象为佩戴所述头戴式设备的用户的身体的一部分。
18.根据权利要求17所述的头戴式设备,其特征在于,所述处理器被进一步配置为基于所述数据来检测所述用户的手势。
19.根据权利要求16所述的头戴式设备,其特征在于,通过所述第一相机和所述对象之间的遮挡而从所述第一视图阻挡所述对象。
20.根据权利要求16所述的头戴式设备,其特征在于,所述指示标识包括基于所述数据生成的虚拟对象。
CN202020579946.9U 2019-04-18 2020-04-17 头戴式设备及用于共享数据的系统 Active CN212112404U (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962836006P 2019-04-18 2019-04-18
US62/836,006 2019-04-18
US202016791861A 2020-02-14 2020-02-14
US16/791,861 2020-02-14

Publications (1)

Publication Number Publication Date
CN212112404U true CN212112404U (zh) 2020-12-08

Family

ID=70457143

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080023734.5A Pending CN113614678A (zh) 2019-04-18 2020-04-07 用于头戴式设备的共享数据和协作
CN202020579946.9U Active CN212112404U (zh) 2019-04-18 2020-04-17 头戴式设备及用于共享数据的系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080023734.5A Pending CN113614678A (zh) 2019-04-18 2020-04-07 用于头戴式设备的共享数据和协作

Country Status (4)

Country Link
US (1) US20230350633A1 (zh)
EP (1) EP3914996A1 (zh)
CN (2) CN113614678A (zh)
WO (1) WO2020214454A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010009A (zh) * 2021-02-08 2021-06-22 北京蜂巢世纪科技有限公司 对象共享方法及装置
CN113614678A (zh) * 2019-04-18 2021-11-05 苹果公司 用于头戴式设备的共享数据和协作
CN114500977A (zh) * 2022-01-22 2022-05-13 深圳市帝泰光电有限公司 视觉增强的智能穿戴设备及实现立体视觉换位的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム,インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US10430018B2 (en) * 2013-06-07 2019-10-01 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
US10007350B1 (en) * 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10685456B2 (en) * 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
CN113614678A (zh) * 2019-04-18 2021-11-05 苹果公司 用于头戴式设备的共享数据和协作

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113614678A (zh) * 2019-04-18 2021-11-05 苹果公司 用于头戴式设备的共享数据和协作
CN113010009A (zh) * 2021-02-08 2021-06-22 北京蜂巢世纪科技有限公司 对象共享方法及装置
US11875080B2 (en) 2021-02-08 2024-01-16 Beijing SuperHexa Century Technology CO. Ltd. Object sharing method and apparatus
CN114500977A (zh) * 2022-01-22 2022-05-13 深圳市帝泰光电有限公司 视觉增强的智能穿戴设备及实现立体视觉换位的方法

Also Published As

Publication number Publication date
CN113614678A (zh) 2021-11-05
EP3914996A1 (en) 2021-12-01
WO2020214454A1 (en) 2020-10-22
US20230350633A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
CN112969951A (zh) 用于头戴式设备的模块化系统
CN212112404U (zh) 头戴式设备及用于共享数据的系统
US11308686B1 (en) Captured image data in a computer-generated reality environment
US11825103B2 (en) Gaze-driven recording of video
CN213659407U (zh) 头戴式设备的冠部输入和反馈
CN112540670A (zh) 具有手指传感器的电子设备
US11175734B1 (en) Wrist tracking devices
US20230341498A1 (en) Audio-based feedback for head-mountable device
US11361735B1 (en) Head-mountable device with output for distinguishing virtual and physical objects
US11189059B2 (en) Object tracking for head-mounted devices
US20230229010A1 (en) Head-mountable device for posture detection
CN112444986A (zh) 头戴式设备
CN110488489B (zh) 用于头戴式壳体的眼睛登记
US11800231B2 (en) Head-mounted display
CN112285928B (zh) 头戴式设备
CN112241200A (zh) 头戴式设备的对象跟踪
CN112415748A (zh) 头戴式设备的颗粒控制
US11714286B1 (en) Accessory for head-mountable device
US11953690B2 (en) Head-mountable device and connector
US11763560B1 (en) Head-mounted device with feedback
US11709365B1 (en) Motor temperature sensor for head-mountable device
US11751366B1 (en) Heat dissipation for head-mountable device
US11729373B1 (en) Calibration for head-mountable devices
US20240036360A1 (en) Wear Detection
WO2023196257A1 (en) Head-mountable device for user guidance

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant