CN113260951A - 基于指距或手接近的淡入用户界面显示 - Google Patents

基于指距或手接近的淡入用户界面显示 Download PDF

Info

Publication number
CN113260951A
CN113260951A CN201980086624.0A CN201980086624A CN113260951A CN 113260951 A CN113260951 A CN 113260951A CN 201980086624 A CN201980086624 A CN 201980086624A CN 113260951 A CN113260951 A CN 113260951A
Authority
CN
China
Prior art keywords
eye
brightness level
finger
worn device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980086624.0A
Other languages
English (en)
Inventor
伊尔泰里斯·康博克
乔纳森·M.·罗德里格斯二世
谭宇江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snape Co
Original Assignee
Snape Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snape Co filed Critical Snape Co
Publication of CN113260951A publication Critical patent/CN113260951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0339Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

一种眼戴设备,包括图像显示器和耦合到所述图像显示器以控制所呈现的图像并调整所述呈现图像的亮度级设置的图像显示驱动器。所述眼戴设备包括用户输入设备,所述用户输入设备包括框架、眼戴设备腿、侧面或其组合上的输入表面,以从所述佩戴者那里接收用户输入选择。所述眼戴设备包括接近传感器以跟踪所述佩戴者的手指到所述输入表面的指距。所述眼戴设备经由所述图像显示驱动器控制所述图像显示器以将所述图像呈现给所述佩戴者。所述眼戴设备经由所述接近传感器跟踪所述佩戴者的所述手指到所述输入表面的所述指距。所述眼戴设备经由所述图像显示驱动器基于所述跟踪的指距调整所述图像显示器上所述显示的图像的亮度级设置。

Description

基于指距或手接近的淡入用户界面显示
相关申请的引用
本申请要求2018年12月27日在美国提交的名称为“基于指距或手接近的淡入用户界面显示”的临时申请62/785,486号的优先权,其内容通过引用全部结合到本申请中。
技术领域
本主题涉及可穿戴设备,例如眼戴设备,以及基于对用户输入设备(例如触摸传感器)的接近检测来调整所呈现图像的亮度级设置的技术。
背景
包括便携式眼戴设备(如智能眼镜、头饰和头戴设备)、项圈、智能手表在内的可穿戴设备和移动设备(如平板电脑、智能手机和笔记本电脑)都集成了图像显示器和摄像头。图形用户界面(GUI)是一种用户界面,其允许用户通过图形图标和视觉指示符(例如二级符号或手指触摸手势),而不是基于文本的用户界面、输入的命令标签或文本导航来与电子设备进行交互。
附图的简单说明
附图仅以例举的方式而非限制的方式示出了一个或多个实施例。在附图中,相同的附图标记表示相同或相似的元件。
图1A、1B和1C是包括接近传感器的眼戴设备硬件配置的右侧视图,该接近传感器在接近淡入系统中使用,用于随着穿戴者的手指或手越来越接近眼戴设备100上的用户输入设备(例如触摸传感器或按钮)而淡入或淡出图像显示器上呈现的图像。
图1D是图1A-C的眼戴设备示例硬件配置的左侧视图,其示出了深度捕捉摄像头的左侧可见光摄像头。
图1E和1F是眼戴设备示例硬件配置的后视图,包括两种不同类型的图像显示器。
图1G是用于接近淡入系统的眼戴设备另一示例硬件配置的左侧视图,其示出了左侧可见光摄像头和深度捕捉摄像头的深度传感器以生成深度图像。
图2A示出了图1A-B的眼戴设备的眼戴设备腿侧视图,描述了接近传感器和电容型触摸传感器示例。
图2B示出了图1A-B和2A的眼戴设备的眼戴设备腿一部分的外部侧视图。
图2C示出了图1A-B和2B的眼戴设备的部分眼戴设备腿的组件的内部侧视图,具有带有图1A-B的接近传感器、触摸传感器以及处理器的电路板的横截面视图。
图2D描述了形成于图2C的电路板上的电容阵列图案,以接收用户输入的手指皮肤表面。
图3A示出了图1C的眼戴设备的眼戴设备腿外部侧视图,描述了另一电容型触摸传感器和接近传感器。
图3B示出了图1C和3A的眼戴设备的眼戴设备腿一部分的外部侧视图。
图3C示出了图1C和3B的眼戴设备的部分眼戴设备腿的组件的内部侧视图,具有带有图1C的接近传感器、触摸传感器以及处理器的电路板的横截面视图。
图3D描述了形成于图3C的电路板上的电容阵列图案,以接收用户输入的手指皮肤表面。
图3E是用于跟踪手指指距的示例接近传感器电路,包括耦合到处理器的导电板和接近感测电路,处理器包括亮度表以淡入呈现的图像。
图3F是包括指距范围和每个相应手指范围的相关相对亮度级的可读格式亮度表。
图4A和4B示出了描述电容接近传感器示例的接近传感器的操作和电路图。
图5示出了图1A-C的眼戴设备的接近传感器的操作,描述了光电接近传感器示例。
图6示出了图1A-C的眼戴设备的接近传感器的操作,描述了超声接近传感器示例。
图7A、7B和7C示出了包括具有图1A-C、4A-B、5和6的接近传感器示例的眼戴设备的接近淡入系统的操作。
图8A描述了由深度传感器的红外摄像头捕捉的红外光作为红外图像且由可见光摄像头捕捉的可见光作为原始图像以生成三维场景的初始深度图像的示例。
图8B描述由左侧可见光摄像头捕捉的可见光作为左侧原始图像且由右侧可见光摄像头捕捉的可见光作为右侧原始图像以生成三维场景的初始深度图像的示例。
图9是示例接近淡入系统的高级功能块图,该系统包括具有接近传感器的眼戴设备、用户输入设备(例如触摸传感器或按钮)和深度捕捉摄像头;移动设备;以及经由各种网络连接的服务器系统。
图10示出了图9的接近淡入系统的移动设备的硬件配置示例,支持本文所述的接近淡入功能。
图11是可在接近淡入系统中实施以应用于图像或一系列图像的方法的流程图,所述方法处理图像的亮度级参数以改变辐射或反射光的视觉感知。
详细说明
在以下详细说明中,为了对相关教导能够有透彻的理解,通过示例的方式阐述了许多具体细节。然而,对于本领域技术人员来说显而易见的是,可以在没有这些细节的情况下实施本教导。在其它实例中,为了避免不必要地使本教导的各个方面难以理解,本文将以相对较高的水平来说明众所周知的方法、程序、组件和电路,而不阐述细节。
用于在眼戴设备上放置用户输入设备(例如各种控制按钮或触摸传感器)以例如操作摄像头和处理眼戴设备的图像显示器上图形用户界面元件的可用区域是有限的。眼戴设备等可穿戴设备的尺寸限制和形状因数会使得用户输入设备难以加入到眼戴设备中。即使加入了用户输入设备,可穿戴设备的用户(例如穿戴者)可能发现难以找到用户输入设备的位置。
在可穿戴设备中,消耗过多的电池电量是很麻烦的。图像显示器会耗尽相当多的电池电量,尤其是在高亮度级设置下驱动图像显示器时。
因此,需要帮助简化用户与可穿戴设备用户输入设备的交互,例如,通过帮助用户确定眼戴设备用户输入设备的位置。例如,当用户不与图像显示器上呈现的图像交互时,节约可穿戴设备的电池电量也是有益的。
如本文所使用的,术语“淡入”是指应用于图像或一系列图像的计算机产生的效果,其处理图像的亮度级参数以改变辐射或反射光的视觉感知。亮度是由光输出或图像的亮度引起的感觉,并且可以以发光量或其它标准测光量(例如发光能量、发光强度、照度或其它SI测光量)来测量。淡入是多方向的,并且包括响应检测到的指距接近变化将所呈现的图像或用户界面的亮度切换到较高亮度级(较亮状态)和较低亮度级(较暗状态)。
本文使用的术语“耦合”或“连接”是指任何逻辑、光学、物理或电连接等,通过这些连接,由一个系统元件产生或提供的电信号或磁信号被传递给另一个耦合或连接的元件。除非另有说明,否则耦合或连接的元件或设备不一定彼此直接连接,可由可修改、操纵或携载电信号的中间组件、元件或传播介质分离。术语“在…上”是指由元件直接支撑,或通过集成到该元件中或由该元件支撑的另一元件由该元件间接支撑。
为了说明和讨论的目的,仅以示例的方式给出了如任何附图所示的眼戴设备、相关组件以及结合有接近传感器的任何完整设备的方向。在用于接近淡入以及用户交互的操作中,眼戴设备可在适合于眼戴设备特定应用的任何其它方向上定向,例如向上、向下、向侧面或任何其它方向。此外,在本文所使用的范围内,前、后、向内、向外、朝向、左、右、横向、纵向、向上、向下、上、下、顶部、底部、侧面、水平、垂直和对角线等任何方向术语仅以示例的方式使用,且不限于任何接近传感器或如本文另外描述所构造的接近传感器组件的方向或定向。
示例的其它目的、优点和新特点将部分地在下面的说明中阐述,并且对于本领域技术人员来说,在查看下面的附图后将部分地变得显而易见,或者可以通过示例的生产或操作而获知。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
现在详细参考在附图中示出并在下面讨论的示例。
图1A-C是眼戴设备100的示例硬件配置的右侧视图,该眼戴设备100包括接近传感器116B,该接近传感器116B在接近淡入系统中用于淡入图像(例如包括图形用户界面)。该图像被呈现在安装在穿戴者眼睛前面的图像显示器上,并且随着穿戴者的手指接近用户输入设备而淡入或淡出。如图所示,用户输入设备可以包括眼戴设备100的触摸传感器113B或按钮117B。
图1A示出了位于右侧眼戴设备腿125B上的接近传感器116B和触摸传感器113B。触摸传感器113B包括用于跟踪用户输入的至少一个手指接触的输入表面181,其可以由形成框架105、眼戴设备腿125A-B或侧面170A-B基底的塑料、醋酸纤维或其他绝缘材料形成。此外,在图1A中,另一接近传感器116C和按钮117B位于右组块110B的上部,右组块110B是位于框架105和眼戴设备腿125B之间的眼戴设备的一部分,其可以支撑用户界面传感器和/或包含电子组件。图1B示出了接近传感器116B和触摸传感器113B位于右组块110B的侧面上。图1C再次示出了位于右侧眼戴设备腿125上的接近传感器116B和触摸传感器113B,但是触摸传感器113B具有细长形状的输入表面181。
如下面进一步描述的,组合的硬件和软件实施通过基于用户的手指与触摸传感器113B的触摸界面点的接近程度使图像显示器180A-B上呈现的用户界面淡入和淡出来将用户的手指引导到用于触摸传感器113B的眼戴设备100上的正确点。图像显示器180A-B的基于淡入的用户界面通过利用接近传感器116B工作以确定用户的手指是否在触摸传感器113B附近。如果接近传感器116B检测到用户的手指,则接近传感器116B确定用户离触摸传感器113B触摸点的指距范围。随着用户的手指越来越近,图像显示器180A-B上呈现的用户界面淡入,当用户的手指到达触摸点时以最亮的用户界面告终,并且随着用户的手指越来越远,用户界面淡出。
如果用户足够接近或触摸了触摸传感器113B的触摸点,那么用户界面亮度将锁定一定的时间,使得用户可与界面交互,因为他或她已在空间上定位了触摸传感器113B。在所呈现的用户界面中或由接近传感器116B检测到的非活动时段之后,如果在触摸传感器113B附近没有检测到手指,则用户界面将完全淡出,否则所呈现的用户界面将调整到与指距相关的亮度。
眼戴设备100可包括框架105、眼戴设备腿125A-B或组块110A-B上的接近传感器116B和触摸传感器113B。接近传感器116B是在没有任何物理接触的情况下跟踪指距的模拟数字设备。接近传感器116B可以包括各种扫描器或传感器阵列,包括无源电容传感器、光传感器、超声传感器、热传感器、压阻传感器、用于有源电容测量的射频(RF)传感器、微机电系统(MEMS)传感器或其组合。接近传感器116B可以包括可以形成二维直角坐标系统的单独传感器或传感器阵列(例如电容阵列、压电转换器、超声转换器等)。光电接近传感器可以包括用于测量反射光的图像传感器阵列形式的单独传感器或传感器阵列,超声接近传感器可以包括用于测量超声波以跟踪指距的超声转换器阵列形式的单独传感器或传感器阵列。
电容型接近传感器116B是可以检测几乎任何对象的存在或不存在而与材料无关的非接触设备。电容型接近传感器1163B利用电容的电特性和基于电容性接近传感器116B有源面周围电场变化的电容变化。
尽管在图1A-D中未示出,眼戴设备100还包括集成到或连接到接近传感器116B的接近感测电路。接近感测电路被配置为跟踪眼戴设备100穿戴者的手指到输入表面181的指距。包括眼戴设备100的淡入系统具有耦合到眼戴设备100并连接到接近感测电路的处理器以及处理器可访问的存储器。例如,处理器和存储器可以在眼戴设备100本身或系统的另一部分中。
触摸传感器113B包括输入表面181,输入表面181是接收来自用户手指接触的手指皮肤表面输入的触摸表面。在触摸传感器113B上输入的手势可用于处理图像显示器上显示的内容并与之交互,以及控制应用程序。
虽然触摸屏存在于平板电脑和智能手机等移动设备中,但是在眼戴设备的镜片中使用触摸屏会干扰眼戴设备100的用户的视线并且妨碍用户的观看。例如,手指触摸可弄脏光学组件180-B(例如光学层、图像显示器和镜片)并使用户的视觉模糊或妨碍用户的视觉。当用户的眼睛透过光学组件180A-B的透明部分观看时,为了避免产生模糊和低清晰度,触摸传感器113B位于右侧眼戴设备腿125B上(图1A和1C)或右组块110B上(图1B)。
触摸传感器113B可包括传感器阵列(例如,电容或电阻阵列),例如,向用户提供可变滑动功能的水平条带或垂直及水平网格或其组合。在一个示例中,触摸传感器113的电容阵列或电阻阵列是形成二维直角坐标系统以跟踪X和Y轴位置坐标的网格。在另一实例中,触摸传感器113的电容阵列或电阻阵列是直线的且形成一维直线坐标系以跟踪X轴位置坐标。替代地或附加地,触摸传感器113可以是包括图像传感器的光学型传感器,该图像传感器捕捉图像并且耦合到图像处理器以与捕捉图像的时间戳一起进行数字处理。时间戳可以由耦合的触摸感测电路添加,该耦合的触摸感测电路控制触摸传感器113B的操作并且从触摸传感器113B获取测量值。触摸感测电路使用算法从图像处理器生成的数字化图像中检测在输入表面181上的手指接触模式。然后分析所捕捉图像的亮区和暗区以跟踪手指接触并检测触摸事件,这还可以基于捕捉每个图像的时间。
触摸传感器113B可启用若干功能,例如,触摸触摸传感器113上的任何地方可增加光学组件180A-B图像显示器屏幕上项目的亮度。在触摸传感器113B上双击可以选择项目。从前向后滑动(例如,或刷)手指可以在一个方向上滑动或滚动,例如,移动到先前的视频、图像、页面或幻灯片。将手指从后向前滑动可以在相反的方向上滑动或滚动,例如,移动到先前的视频、图像、页面或幻灯片。用两个手指捏起可以提供放大功能以放大所显示图像的内容。用两个手指放开提供缩小功能以缩小所显示图像的内容。在左侧眼戴设备腿和右侧眼戴设备腿125A-B上都设置有触摸传感器113B以增加可用功能,或设置在眼戴设备100的其它组件上,且在一些示例中,两个、三个、四个或更多个触摸传感器113B可在不同位置加入眼戴设备100中。
触摸传感器113B的类型取决于预期应用。例如,当用户戴手套时,电容型触摸传感器113B的功能有限。另外,雨水可触发电容型触摸传感器113B上的错误寄存器。另一方面,电阻型触摸传感器113B需要更大的作用力,这对于将眼戴设备100戴在头上的用户可能不是最理想的。通过在眼戴设备100中设置多个触摸传感器113B,考虑到电容型和电阻型技术的限制,既可以利用电容型触摸传感器,又可以利用电阻型触摸传感器。
眼戴设备100包括具有图像显示器的右侧光学组件180B以呈现图像(例如基于左侧原始图像、经处理的左侧图像、右侧原始图像或经处理的右侧图像)。如图1A-C所示,眼戴设备100包括右侧可见光摄像头114B。眼戴设备100可包括多个可见光摄像头114A-B,其形成无源类型的深度捕捉摄像头,例如立体摄像头,其中右侧可见光摄像头114B位于右组块110B上。如图1D所示,眼戴设备100还可包括位于左组块110A上的左侧可见光摄像头114A。可替换地,在图1G的示例中,深度捕捉摄像头可以是有源类型的深度捕捉摄像头,其包括单个可见光摄像头114B和深度传感器(例如红外摄像头和红外发射器元件213)。
左侧和右侧可见光摄像头114A-B对可见光范围波长敏感。可见光摄像头114A-B中的每一个具有不同的面向前的视场,其重叠以允许生成三维深度图像,例如,右侧可见光摄像头114B具有所描述的右侧视场111B。一般来说,“视场”是场景中通过摄像头在空间中特定位置和方向可见的的部分。当图像被可见光摄像头捕捉时,视场111A-B外的对象或对象特征不被记录在原始图像(例如照片或图片)中。视场描述了可见光摄像头114A-B的图像传感器在给定场景的捕捉图像中接收给定场景电磁辐射的角度范围。视场可以表示为视锥的角度大小,即视角。视角可以水平、垂直或对角的方式测量。
在示例中,可见光摄像头114A-B的视场视角在15°到30°之间,例如24°,分辨率为480x480像素。“视场角”描述了可见光摄像头114A-B或红外摄像头的镜头可以有效成像的角度范围。通常,摄像头镜头产生的图像圈足够大以完全覆盖胶片或传感器,可能包括一些朝向边缘的渐晕。如果摄像头镜头的视场角没有充满传感器,则图像圈将是可见的,通常具有朝向边缘的强渐晕,并且有效视角将被限于视场角内。
这种可见光摄像头114A-B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)摄像头,诸如640p(例如640×480像素,总共30万像素)、720p或1080p。本文使用的术语“重叠”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重叠达30%或更多。本文使用的术语“大幅重叠”在涉及视场时是指所生成场景的原始图像或红外图像的像素矩阵重叠达50%或更多。
来自可见光摄像头114A-B的图像传感器数据与地理定位数据一起被捕捉,由图像处理器数字化,并存储在存储器中。由相应的可见光摄像头114A-B捕捉的左侧和右侧原始图像在二维空间域中,包括二维坐标系上的像素矩阵,该二维坐标系包括针对水平位置的X轴和针对垂直位置的Y轴。每个像素包括颜色属性(例如红色像素光值、绿色像素光值和/或蓝色像素光值)和位置属性(例如X位置坐标和Y位置坐标)。
为了提供立体视觉,可见光摄像头114A-B可耦合到图像处理器(图9的元件912),用于数字处理以及捕捉场景图像的时间戳。图像处理器912包括用于从可见光摄像头114A-B接收信号并将来自可见光摄像头114的那些信号处理成适于存储在存储器中的格式的电路。时间戳可以由控制可见光摄像头114A-B的操作的图像处理器912或其它处理器932添加。可见光摄像头114A-B允许深度捕捉摄像头模拟人的双眼视觉。深度捕捉摄像头提供基于来自具有相同时间戳的可见光摄像头114A-B两个捕捉图像来再现三维图像的能力。这样的三维图像允许身临其境的逼真体验,例如,用于虚拟现实或视频游戏。
对于立体视觉,在给定时刻及时捕捉场景的一对原始红、绿和蓝(RGB)图像(左侧和右侧可见光摄像头114A-B各有一个图像)。当(例如通过图9的图像处理器912)处理从左侧和右侧可见光摄像头114A-B的面向前的左侧和右侧视场111A-B捕捉的一对原始图像时,生成深度图像,用户可以在(例如移动设备的)光学组件180A-B或其他图像显示器上感知所生成的深度图像。所生成的深度图像在三维空间域中,可以包括三维位置坐标系上的顶点网格,该三维位置坐标系包括针对水平位置(例如长度)的X轴、针对垂直位置(例如高度)的Y轴和针对深度(例如距离)的Z轴。每个顶点包括位置属性(例如红色像素光值、绿色像素光值和/或蓝色像素光值)、位置属性(例如X位置坐标、Y位置坐标和Z位置坐标)、纹理属性和/或反射率属性。纹理属性量化深度图像的感知纹理,例如深度图像顶点区域中的颜色或亮度的空间排列。
图1E-F是包括两种不同类型的图像显示器的眼戴设备100示例硬件配置的后视图。眼戴设备100具有被配置为由用户穿戴的形态,在本示例中是眼镜。眼戴设备100可以采用其他形式,并且可以结合其他类型的框架,例如头戴设备、头戴式耳机或头盔。
在眼镜示例中,眼戴设备100包括框架105,框架105包括左边缘107A,左边缘107A经由适于用户鼻子的鼻梁架106连接到右边缘107B。左和右边缘107A-B包括相应的孔175A-B,其保持相应的光学元件180A-B,例如镜片和显示设备。如本文所使用的,术语“镜片”是指具有导致光会聚/发散或导致很少或不引起会聚或发散的曲曲和/或平面的透明或半透明的玻璃盖片或塑料盖片。
虽然显示为具有两个光学元件180A-B,但是眼戴设备100可以包括其他布置,例如单个光学元件,或者可以不包括任何光学元件180A-B,这取决于眼戴设备100的应用或预期用户。如进一步示出的,眼戴设备100包括邻近框架105的左侧侧面170A的左组块110A和邻近框架105的右侧侧面170B的右组块110B。组块110A-B可以在相应的侧面170A-B上集成到框架105中(如图所示),或者实现为在相应的侧面170A-B上附接到框架105的单独组件。或者,组块110A-B可集成到附接到框架105的眼戴设备腿(未示出)中。
在一个示例中,光学组件180A-B的图像显示器包括集成图像显示器。如图1E所示,光学组件180A-B包括任何适当类型的适当显示矩阵170,例如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其它此类显示器。光学组件180A-B还包括一个或多个光学层176,光学层176可以包括镜片、光学涂层、棱镜、反射镜、波导管、光条以及任何组合的其他光学组件。光学层176A-N可以包括棱镜,该棱镜具有合适的尺寸和配置并且包括用于接收来自显示矩阵的光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176A-N的棱镜在形成于左边缘107A和右边缘107A-B中的相应孔175A-B的全部或至少一部分上延伸,以允许用户在用户的眼睛通过相应左边缘和右边缘107A-B观看时看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从框架105面向上,并且显示矩阵置于棱镜上面,使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定为使得光在棱镜内被折射,并且通过光学层176A-N的棱镜的第二表面指向用户的眼睛。在这点上,光学层176A-N的棱镜的第二表面可以是凸面,以将光指向眼睛的中心。棱镜的尺寸和形状可以可选地确定为放大由显示矩阵170投影的图像,并且光穿过棱镜,使得从第二表面观看的图像在一维或多维上大于从显示矩阵170发射的图像。
在另一示例中,光学组件180A-B的图像显示设备包括如图1F所示的投影图像显示器。光学组件180A-B包括激光投影仪150,其是使用扫描镜或振镜的三色激光投影仪。在操作期间,激光投影仪150等光源设置在眼戴设备100的眼戴设备腿125A-B之一中或眼戴设备腿125A-B上。光学组件180A-B包括一个或多个光条155A-N,其跨越光学组件180A-B镜片的宽度或者跨越镜片的位于镜片前表面和后表面之间的深度而间隔开。
当由激光投影仪150投射的光子穿过光学组件180A-B的镜片时,光子遇到光条155A-N。当特定的光子遇到特定的光条时,光子要么指向用户的眼睛,要么传到下一个光条。激光投影仪150调制和光条调制的组合可以控制特定的光子或光束。在示例中,处理器通过机械、声学或电磁起始信号来控制光条155A-N。尽管被示为具有两个光学组件180A-B,但是眼戴设备100可以包括其它布置,例如单个或三个光学组件,或者光学组件180A-B可以根据眼戴设备100的应用或预期用户而采用不同的布置。
如图1E-F进一步所示,眼戴设备100包括邻近框架105的左侧侧面170A的左组块110A和邻近框架105的右侧侧面170B的右组块110B。组块110A-B可以在相应的侧面170A-B上集成到框架105中(如图所示),或者实现为在相应的侧面170A-B上附接到框架105的单独组件。可选地,组块110A-B可以集成到附接到框架105的眼戴设备腿125A-B中。如本文所使用的,组块110A-B可以包括封装被包围在封装件中的一组处理单元、摄像头、传感器等(例如对于右侧和左侧不同)的封装件。
在一个示例中,图像显示器包括第一(左侧)图像显示器和第二(右侧)图像显示器。眼戴设备100包括保持相应的第一和第二光学组件180A-B的第一和第二孔175A-B。第一光学组件180A包括第一图像显示器(例如图1E的显示矩阵170A,或1CF的光条155A-N’和投影仪150A)。第二光学组件180B包括第二图像显示器(例如图1E的显示矩阵170B,或图1F的光条155A-N"和投影仪150B)。
图1G是用于接近淡入系统的眼戴设备100的另一示例硬件配置的左侧视图。如图所示,深度捕捉摄像头包括框架105上的左侧可见光摄像头114A和深度传感器213以生成深度图像。在这里不是利用至少两个可见光摄像头114A-B来生成深度图像,而是利用单个可见光摄像头114A和深度传感器213来生成深度图像,例如深度图像。深度传感器213的红外摄像头220具有面向外的视场,该视场与左侧可见光摄像头114A大幅重叠,以获得用户的视线。如图所示,红外发射器215和红外摄像头220与左侧可见光摄像头114A都位于左边缘107A的上部。
在图1G的示例中,眼戴设备100的深度传感器213包括红外发射器215和捕捉红外图像的红外摄像头220。可见光摄像头114A-B通常包括用于阻挡红外光检测的蓝光滤镜,在示例中,红外摄像头220是可见光摄像头,例如低分辨率视频图形阵列(VGA)摄像头(例如640×480像素,总共30万像素),其中移除了蓝光滤镜。红外发射器215和红外摄像头220都位于框架105上,例如,都被示出为连接到左边缘107A的上部。如下面进一步详细描述的,框架105或左和右组块110A-B中的一个或多个包括电路板,该电路板包括红外发射器215和红外摄像头220。例如,红外发射器215和红外摄像头220可以通过焊接连接到电路板。
红外发射器215和红外摄像头220的其它布置也可以实现,包括其中红外发射器215和红外摄像头220都在右边缘107A上或者在框架105上的不同位置内的布置,例如,红外发射器215在左边缘107B上而红外摄像头220在右边缘107B上。然而,至少一个可见光摄像头114A和深度传感器213通常具有大幅重叠的视场以生成三维深度图像。在另一示例中,红外发射器215在框架105上,红外摄像头220在组块110A-B中的一个上,或者反之亦然。红外发射器215可以基本上连接在框架105、左组块110A或右组块110B上的任何地方,以在用户视力范围内发射红外图案。类似地,红外摄像头220可以基本上连接在框架105、左组块110A或右组块110B上的任何地方,以捕捉用户视力范围内三维场景的红外光发射图案中的至少一个反射变化。
红外发射器215和红外摄像头220被布置为面向外,以获得具有穿戴眼戴设备100的用户所观察对象或对象特征场景的红外图像。例如,红外发射器215和红外摄像头220被直接定位在眼睛的前面,在框架105的上部中或在框架105的任一端的组块110A-B中,具有面向前的视场,以捕捉用户正注视的场景图像,用于测量对象和对象特征的深度。
在一个示例中,深度传感器213的红外发射器215在场景的面向前视场中发射红外光照明,该红外光照明可以是近红外光或其他低能量辐射的短波长光线。可选地或附加地,深度传感器213可包括发射除红外之外的其他波长光的发射器,并且深度传感器213还包括对该波长敏感的、接收并捕捉具有该波长图像的摄像头。如上所述,眼戴设备100耦合到例如眼戴设备100本身或接近淡入系统的另一部分中的处理器和存储器。眼戴设备100或接近淡入系统随后可在三维深度图像(例如深度图像)的生成期间处理所捕捉的红外图像。
图2A示出了图1A-D的眼戴设备100的眼戴设备腿侧视图,描述了具有图1A-B的方形输入表面181的接近传感器116B和电容型触摸传感器113B的示例。如图所示,右侧眼戴设备腿125B包括接近传感器116B,并且触摸传感器113B具有输入表面181。突出脊281围绕触摸传感器113B的输入表面181以向用户指示触摸传感器113B的输入表面181外边界。突出脊281通过向用户指示其手指在触摸传感器113B上且处于处理触摸传感器113B的正确位置来使用户定向。
图2B示出了图1A-B和2A的眼戴设备100的眼戴设备腿一部分的外部侧视图。在图2A-D的电容型接近传感器116B和电容型触摸传感器113B示例中和其他触摸传感器示例中,塑料或醋酸纤维可以形成右侧眼戴设备腿125B。右侧眼戴设备腿125B经由右铰链126B连接到右组块110B。
图2C示出了图1A-B和2B的眼戴设备100的部分眼戴设备腿的组件的内部侧视图,具有带有接近传感器116B、触摸传感器113B和处理器932的电路板240的横截面视图。虽然电路板240是柔性印刷电路板(PCB),但是应当理解,电路板240在一些示例中可以是刚性的。在一些示例中,框架105或组块110A-B可包括电路板240,其包括接近传感器116B或触摸传感器113B。在一个示例中,接近传感器116B的接近感测电路325(例如参见图3E、4A-B)包括专用微处理器集成电路(IC),其被定制用于处理来自导电板320以及由微处理器用于操作的易失性存储器的传感器数据。在一些示例中,接近传感器116B的接近感测电路325和处理器932可以不是分离的组件,例如,在接近传感器116B的接近感测电路325中实施的功能和电路可以加入或集成到处理器932本身中。
包括电容阵列214的触摸传感器113B设置在柔性印刷电路板240上。触摸传感器113B可包括位于输入表面181上以接收用户输入的至少一个手指接触的电容阵列214。触摸感测电路(未示出)集成到触摸传感器113B中或连接到触摸传感器113B且连接到处理器932。触摸感测电路测量电压以跟踪输入表面181上的手指皮肤表面的图案。
图2D描述了形成于图2C的电路板上的电容阵列图案214,以接收用户输入的手指皮肤表面。触摸传感器113B的电容阵列214的图案包括由柔性印刷电路板240上的至少一种金属、氧化铟锡或其组合形成的图案化导电线路。在该示例中,导电线路是矩形铜垫。
图3A示出了图1A-D的眼戴设备100的眼戴设备腿外部侧视图,描述了具有图1C的细长形输入表面181的另一电容型触摸传感器113B以及接近传感器116B。右侧眼戴设备腿125B或右组块110B可以包括接近传感器116B和触摸传感器113B。图3B示出了图1A-D和3A的眼戴设备100的眼戴设备腿125B一部分的外部侧视图。金属可以形成右侧眼戴设备腿125B,并且塑料外层可以覆盖金属层。
图3C示出了图1A-D和3B的眼戴设备的部分眼戴设备腿的的组件的内部侧视图,具有带有接近传感器116B、触摸传感器113B和处理器932的电路板240的横截面视图。类似于图2C,触摸传感器113B设置在柔性印刷电路板240上。形成各种电连接线294以将电信号从输入表面181传送到柔性印刷电路板240。图3D描述形成于图3C的电路板240上的电容阵列图案213,以接收用户输入的手指皮肤表面。
图3E是示例接近传感器116B,用于跟踪眼戴设备100穿戴者的手指310或穿戴者的手305的指距315。如图所示,接近传感器116B包括导电板320和接近感测电路325。接近感测电路325耦合到处理器932,处理器932包括亮度表350以淡入呈现的图像700A-C。
在图3E的示例中,电容接近传感器416B被示为接近传感器116B。电容接近传感器416B包括导电板320和连接到处理器932的接近感测电路325。接近感测电路325被配置为测量电压以跟踪穿戴者的手指310到导电板320的指距315。电容接近传感器416B的接近感测电路325包括电连接到导电板320的振荡电路330,以产生具有对应于测量电压的变振幅的振荡。电容接近传感器416B的接近感测电路325还包括输出开关设备335(例如频率检测器)以将振荡转换成测量电压并将测量电压传送到处理器932。处理器932本身执行接近淡入编程945进一步将眼戴设备100配置为将测量的电压转换为跟踪的指距315。例如,模数转换器(ADC)340可以将测量的模拟电压转换成数字值,该数字值然后作为被跟踪的指距315被传送到处理器932。电容接近传感器416B可以集成到电容性触摸传感器113B中或连接到电容性触摸传感器113B,换句话说,进行逻辑连接,然而,在一些示例中,电容接近传感器416B和触摸传感器113B可以是完全分离的。
图3F是包括指距范围355A-F和每个相应手指范围355A-F的相关相对亮度级360A-F的可读格式亮度表350。如图3E所示,亮度表350包括(i)离输入表面181的一组六个指距范围355A-F,以及(ii)呈现的图像700A的一组六个亮度级360A-F。每个相应的指距范围355A-F与相应的亮度级360A-F相关联。指距范围355A-F以厘米(cm)为单位,并且根据应用,可以具有不同的校准值,以改变所描述的六个示例范围的灵敏度:(a)0-2cm(最小距离范围)、(b)2.1-4cm、(c)4.1-6cm、(d)6.1-8cm、(e)8.1-10cm和(f)大于10.1cm(最大距离范围)。以标准化(比较或相对)值示出亮度级360A-F,而不伴随SI测光单位,其中值5是最大亮态,值0是最大暗态,1至4之间的值是中间亮态。第一指距范围355A对应于最小距离范围355A,最小距离范围355A指示穿戴者的手指310与触摸传感器113B的输入表面181直接接触以处理图形用户界面。第一亮度级是最大亮态360A,其中光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977被设置为最大光输出。第六指距范围355F对应于最大距离范围355F,最大距离范围355F指示不活动,使得穿戴者不穿戴眼戴设备100或不与图形用户界面交互。第六亮度级是最大暗态360F,其中光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977被设置为最小光输出或者光学组件180A-B的图像显示器被断电。
图4A-B示出了描述电容接近传感器416B示例的图1A-C、2D和3D的接近传感器116B的操作和电路图。电容接近传感器416B跟踪眼戴设备100的穿戴者的手指310到用户输入设备(例如触摸传感器113B或按钮117B)的输入表面181的指距315。如图所示,眼戴设备100的穿戴者的手305位于电容接近传感器416B的导电板320附近。导电板320可包括单个传感器电极415A或由多个传感器电极415A-N形成的电容阵列。人的皮肤是导电的,并且提供与导电板320的独立电容元件结合的电容耦合。当手指皮肤表面466更接近电容器极板时,传感器电极415A-N具有较高的电容,而当手指皮肤表面466相对远离时,传感器电极415A-N具有较低的电容。
图4A的视图旨在给出图2A-D和3A-D的电容接近传感器416B的三个电容器以及耦合的接近感测电路325的截面视图。如图所示,电容接近传感器416B包括由电容器形成的导电板320,电容器包括电容器CA、CB和CC。导电板320可以包括一个单独的传感器电极415A或多个图案化的导电传感器电极415A-415N。应当理解,尽管仅示出了五个传感器电极,但是取决于应用,数目可以是20、100、1000等或基本上任何数目。在一个示例中,电容阵列214包括100个传感器电极,在其他示例中,100个传感器电极布置在10×10网格中。传感器电极415A-N连接到柔性印刷电路板240并设置成紧邻输入表面181。在一些示例中,传感器电极415A-N可与触摸传感器113B集成,在此情况下,传感器电极415A-N可设置于输入表面181下方。至少一个相应的电连接线将接近感测电路325连接到传感器电极415A-N。接近感测电路325测量导电板320的每个传感器电极415A-N的电容变化,以跟踪穿戴者的手指310皮肤表面466到输入表面181的指距315。在该示例中,传感器电极415A-N是由金属、铟锡氧化物或其组合中的至少一种形成的矩形图案化导电线路。
由于电容器CA、CB和CC存储电荷,将它们连接到传感器电极415A-N允许电容器跟踪手指皮肤表面466的指距315。例如,电容器CB跟踪中指的指距,而电容器CC跟踪穿戴者305的手的食指的指距。食指造成比中指更高的电容,产生更高的测量电压信号。因此,当手指皮肤表面466的食指放置在电容器CC的导电板上时,存储在电容器CC中的电荷变得较高,而手指皮肤表面466的中指之间的较大空气间隙将使电容器CB处的电荷相对较低。如图4B所示,接近感测电路325可以包括运算放大器积分器电路,其可以跟踪导电板320的电容的这些变化,并且电容变化然后可以由模数转换器(ADC)记录并且与感测电容变化时的定时数据一起存储在存储器中。
图5示出了图1A-C的眼戴设备100的接近传感器116B的操作,描述了光电接近传感器516B的示例。如图所示,光电接近传感器516B包括光学扫描器,该光学扫描器包括光源511以发射光来照明手指皮肤表面466,示为发射光551。光学扫描器还包括图像传感器512,以捕捉在手指皮肤表面466上的发射光552(示为反射光551)的反射变化的图像。光源511和图像传感器512连接到框架105、眼戴设备腿125A-B或组块110A-B。光电接近传感器116B可以使用可见光捕捉穿戴者的手305(包括穿戴者的手指310)的数字图像,尽管可以使用其他光波长(包括红外或近红外)来跟踪指距315。基于反射光552跟踪(例如测量)指距315。
眼戴设备100的处理器932执行接近淡入编程945将眼戴设备100配置为执行功能,包括经由光源511发射光551以照亮手指皮肤表面466的功能。在一个示例中,光源511可以包括例如具有发光磷光体层的发光二极管(LED)阵列,其用发射的光551照亮手指皮肤表面466。尽管在图5中示出了单个发射的光波551,但许多这样发射的光波由每个点光源511元件(例如电光转换器)例如以不同的时间间隔共同形成光源511的发射器阵列。
来自手指皮肤表面466的反射光552穿过磷光体层返回到图像传感器512的固态像素阵列。尽管图5中示出了单个反射光波552,但许多这样反射的光波被图像传感器512图像传感器阵列中的每个接收器元件(例如光电转换器)例如以不同的时间间隔接收。因此,眼戴设备100的处理器932执行接近淡入编程945将眼戴设备100配置为执行功能,包括经由图像传感器512捕捉在手指皮肤表面466上发射光552的反射变化图像的功能。基于发射光552的反射变化来跟踪指距315。在示例中,图像传感器512可以包括基于CMOS或互补电荷耦合器件(CCD)的光学成像器以捕捉手指皮肤表面466的图像。CCD是称为光位点(photo site)的光敏二极管阵列,其响应可见光子而生成电信号,有时称为光电转换器。每个光位点记录像素,即代表照射到该点的光的小点。这样的CCD器件对低亮度级相当敏感,可以生成灰度图像。共同地,亮像素和暗像素形成与指距315相关的手指皮肤表面466的图像。可生成手指皮肤表面466的倒像,其中较暗区域代表较多反射光且较亮区域代表较少反射光以跟踪指距315。可以利用接近感测电路325中的模数转换器,其处理电信号以生成与指距305相关的穿戴者的手305的数字表示。
图6示出了图1A-C的眼戴设备100的接近传感器116B的操作,描述了超声接近传感器616B的示例。如图所示,超声接近传感器616B包括超声扫描器,其具有超声发射器611和超声波发生器(未示出),超声发射器611发射超声波以撞击手指皮肤表面466,示为发射的超声波661。超声发射器611可包括压电转换器阵列,其耦合到超声波发生器,以将电信号转换为超声波,从而以适当的时间间隔生成期望的超声波661波形脉冲。超声扫描器还包括超声接收器612以捕捉在手指皮肤表面466上发射的超声波(示为反射超声波662)的反射变化,以跟踪穿戴者的手指310或穿戴者的手305的指距315。超声发射器611和超声接收器612连接到眼戴设备100的框架105、眼戴设备腿125A-B或组块110A-B。基于反射超声波662跟踪(例如测量)指距315。
超声接收器612可以包括超声转换器阵列,以检测反射超声波662的方向和强度,并将这些测量值转换为与指距315相关的电信号。超声接近传感器116B使用用于测量指距315的超声波脉冲来捕捉穿戴者的手305的数字图像。在一个示例中,超声发射器611形成超声接近传感器116B,超声发射器611是压电微机械超声转换器(PMUT)阵列,其在晶片级结合到包括CMOS信号处理电子产品的超声接收器612。
眼戴设备100的处理器932执行接近淡入编程945将眼戴设备100配置为执行功能,包括经由超声发射器611发射超声波661以撞击手指皮肤表面466的功能。在一个示例中,超声发射器611对手指皮肤表面466发射超声波661,手指皮肤表面466被放置在输入表面181上并被指距315分开。例如,包括超声能量多点源的超声发射器611压电转换器阵列通过包括输入表面181的超声发射介质发送所发射的超声波661。一些超声波662被吸收,而其它部分反弹回超声接收器612,由此计算指距315。
发射的超声波661可以是连续的,或开始和停止以产生脉冲。尽管图6示出了单个发射的超声波661,但超声发射器611的超声发射器阵列中的每个点源元件(例如超声能量的压电转换器)例如以不同的时间间隔发射许多这样的超声波。当穿戴者的手305遇到超声波661脉冲时,脉冲的一部分反射。例如,穿戴者的手指310反射一部分超声波脉冲。所反射的超声部分是构成界面的两种材料(例如输入表面181和穿戴者的手指310)之间的阻抗差的函数。可以基于这两种材料的声阻抗来计算超声反射的部分,其中声阻抗是材料对超声传播的阻力的测量值。根据该计算,跟踪指距315。
眼戴设备100的处理器932执行接近淡入编程945进一步将眼戴设备100配置为执行功能,包括经由超声接收器612捕捉在手指皮肤表面466上所发射超声波662反射变化的功能。反射超声波662的变化对于手指皮肤表面466的指距315是唯一的。超声接收器612包括传感器阵列,其检测机械应力以计算返回的反射超声波662在手指皮肤表面466上的不同点处的强度。手指皮肤表面466的多次扫描可以允许深度数据被捕捉,导致例如具有X、Y和Z位置坐标的手指皮肤表面466的非常详细的三维地图再现。超声传感器能够通过形成眼戴设备100的金属、玻璃等固体表面操作。
超声接收器612检测反射的超声波662。特别地,可以确定超声脉冲从超声发射器611行进到界面(例如穿戴者的手指310)并返回的经过时间。尽管图6示出了单个反射超声波662,但超声接收器612的超声接收器传感器阵列中的每个接收器元件(例如超声能量的超声转换器)例如以不同的时间间隔接收许多这样的超声波。所经过的时间可以用于确定发射的超声波661及其反射的超声波662脉冲所行进的距离。通过知道行进距离,可以基于与手指皮肤表面466相关联的反射波脉冲来确定穿戴者的手指310或穿戴者的手305的指距315。与手指皮肤表面466相关联的反射波662脉冲从模拟转换为表示信号强度的数字值,然后组合在表示指距315的灰度位图指纹图像中。
图7A-C示出了包括具有图1A-C、4A-B、5和6的接近传感器116B示例的眼戴设备100的接近淡入系统的操作。眼戴设备100的处理器932执行存储器934中的接近淡入编程945将眼戴设备100配置为执行功能,包括下面图7A-C中所讨论的功能。尽管图7A-C中的这些功能被说明为由眼戴设备100的处理器932实施,但图9的淡入系统900的其它组件也可以实施本文描述的任何功能,例如移动设备990、服务器系统998或淡入系统900的其他主计算机。
在图7A-C中,接近传感器116B跟踪三个指距315F、315C和315A。图7A示出了经由接近传感器116B跟踪最大指距315F。当与图3F所示亮度表350的六个指距范围355A-F进行比较时,检索与最大距离(距离范围355F)相关联的最大暗态(亮度级360F)。如图所示,作为响应,眼戴设备100光学组件180A-B的图像显示器呈现具有被设置为最大暗态(亮度级360F)的亮度级设置977的图像700A。
图7B示出了经由接近传感器116B跟踪中等指距315C。当与图3F所示亮度表350的六个指距范围355A-F进行比较时,检索与中等距离(距离范围355C)相关联的中等亮态(亮度级360C)。如图所示,作为响应,眼戴设备100光学组件180A-B的图像显示器呈现具有被设置为中等亮态(亮度级360C)的亮度级设置977的图像700B。
图7C示出了经由接近传感器116B跟踪最小指距315A。当与图3F所示亮度表350的六个指距范围355A-F进行比较时,检索与最小距离(距离范围355A)相关联的最大亮态(亮度级360A)。如图所示,作为响应,眼戴设备100光学组件180A-B的图像显示器呈现具有被设置为最大亮态(亮度级360A)的亮度级设置977的图像700C。
图8A描述了由具有左侧红外摄像头视场812的深度传感器213红外摄像头220捕捉的红外光的示例。红外摄像头220将三维场景815中红外光782发射图案的反射变化捕捉为红外图像859。如进一步示出的,可见光由具有左侧可见光摄像头视场111A的左侧可见光摄像头114A捕捉为左侧原始图像858A。基于红外图像859和左侧原始图像858A,生成三维场景715的三维深度图像。
图8B描述了由左侧可见光摄像头114A捕捉的可见光和由右侧可见光摄像头114B捕捉的可见光的示例。可见光由具有左侧可见光摄像头视场111A的左侧可见光摄像头114A捕捉为左侧原始图像858A。可见光由具有右侧可见光摄像头视场111B的右侧可见光摄像头114B捕捉为右侧原始图像858B。基于左侧原始图像858A和右侧原始图像858B,生成三维场景815的三维深度图像。
图9是示例接近淡入系统900的高级功能块图,其包括经由各种网络连接的可穿戴设备(例如眼戴设备100)、移动设备990和服务器系统998。眼戴设备100包括深度捕捉摄像头,例如可见光摄像头114A-B中的至少一个;以及深度传感器213,被示为红外发射器215和红外摄像头220。深度捕捉摄像头可替代地包括至少两个可见光摄像头114A-B(一个与左侧侧面170A相关联,另一个与右侧侧面170B相关联)。深度捕捉摄像头生成深度图像962A-H,是呈现的三维(3D)模型,是例如从原始图像858A-N和经处理(例如经矫正)的图像960A-N导出的红绿蓝(RGB)成像场景的纹理映射图像。
移动设备990可以是智能电话、平板电脑、笔记本电脑、接入点或能够使用低功率无线连接925和高速无线连接937两者与眼戴设备100连接的任何其它此类设备。移动设备990连接到服务器系统998和网络995。网络995可以包括有线和无线连接的任何组合。
眼戴设备100还包括光学组件180A-B的两个图像显示器(一个与左侧侧面170A相关联,另一个与右侧侧面170B相关联)。眼戴设备100还包括图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。光学组件180A-B的图像显示器用于向眼戴设备100的穿戴者呈现图像和视频,包括可包括图形用户界面的图像700A或图像700A-N。图像显示驱动器942耦合到光学组件180A-B的图像显示器以控制光学组件180A-B的图像显示器来呈现图像和视频(例如所呈现的图像700A),且调整所呈现的图像700A或图像700A-N的亮度级设定977。
图像显示驱动器942(见图9)命令和控制光学组件180A-B的图像显示器。图像显示驱动器942可能将图像数据直接传递到光学组件180A-B的图像显示器以供呈现,或可能必须将图像数据转换成适于传递到图像显示设备的信号或数据格式。例如,图像数据可以是根据H.264(MPEG-4第10部分)、HEVC、Theora、Dirac、RealVideo RV40、VP8、VP9等压缩格式格式化的视频数据,并且静止图像数据可以根据便携式网络组(PNG)、联合图像专家组(JPEG)、标记图像文件格式(TIFF)或可交换图像文件格式(exil)等压缩格式格式化。
如上所述,眼戴设备100包括框架105和从框架105侧面170A-B延伸的眼戴设备腿125A-B。眼戴设备100还包括用户输入设备991(例如触摸传感器113B或按钮117B),用户输入设备991包括框架105、眼戴设备腿125A-B、侧面170A-B或其组合上的输入表面181。用户输入设备991(例如触摸传感器113B或按钮117B)是为了在输入表面181上从穿戴者那里接收用户输入选择978,以处理所呈现图像700A的图形用户界面。眼戴设备100还包括接近传感器116B(接近传感器116B),以跟踪穿戴者的手指310离输入表面181的指距315。
图9所示的眼戴设备100组件位于一个或多个电路板上,例如位于边缘或眼戴设备腿中的PCB或柔性PCB上。替代地或附加地,所描述的组件可以位于眼戴设备100的组块、框架、铰链或鼻梁架中。左侧和右侧可见光摄像头114A-B可包括数字摄像头元件,例如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、镜头或可用于捕捉数据(包括具有未知对象的场景图像)的任何其它相应的可见光捕捉元件。
眼戴设备100包括存储器934,存储器934包括接近淡入编程945以执行本文针对接近淡入效果描述的功能子集或全部功能,其中基于穿戴者的指距315将亮度级设置调整为较暗或较亮设置并应用于一系列图像964的呈现图像700A-N。如图所示,存储器934还包括由左侧可见光摄像头114A捕捉的左侧原始图像858A、由右侧可见光摄像头114B捕捉的右侧原始图像858B以及由深度传感器213的红外摄像头220捕捉的红外图像859。存储器934还包括多个深度图像962A-H,一个深度图像用于由可见光摄像头114A-B捕捉的八个原始图像中的每一个。经由深度捕捉摄像头生成深度图像962A-H,且每个深度图像962A-H包括顶点963A-H的相应网格。
图11中示出了概述可在接近淡入编程945中所实施功能的流程图。存储器934还包括由用户输入设备991接收的用户输入选择978(例如按压、轻击、滚动、平移、双击或其他检测到的触摸事件等手指手势)。存储器934还包括:左侧图像视差图961A、右侧图像视差图961B、左侧经处理(例如经矫正)的图像960A和右侧经处理(例如经矫正)的图像960B(例如删除朝向镜头端部的渐晕)。如进一步所示,存储器934包括用于每个深度图像962A-H的顶点963A-H的相应网格,以及包括所呈现图像700A-N及相应所呈现图像700A-N的相关亮度级966A-N的一系列图像964。存储器还包括图3的亮度表350、亮度级设置977和各种被跟踪的指距315A-N。
如图9所示,高速电路930包括高速处理器932、存储器934和高速无线电路936。在该示例中,图像显示驱动器942耦合到高速电路930并由高速处理器932操作,以便驱动光学组件180A-B的左侧图像显示器和右侧图像显示器。高速处理器932可以是能够管理眼戴设备100所需任何通用计算系统高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936管理在高速无线连接937上传送到无线局域网(WLAN)的高速数据所需的处理资源。在某些示例中,高速处理器932执行操作系统,例如LINUX操作系统或其它这样的操作系统,并且该操作系统被存储在存储器934中以供执行。除了任何其它责任之外,执行眼戴设备100的软件架构的高速处理器932还用于管理利用高速无线电路936的数据传输。在某些示例中,高速无线电路936被配置为执行电气和电子工程师协会(IEEE)802.11通信标准,在本文中也被称为Wi-Fi。在其他示例中,可以通过高速无线电路936执行其他高速通信标准。
眼戴设备100的低功率无线电路924和高速无线电路936可包括短距离收发器(Bluetooth(蓝牙)TM)以及无线广域、局域或广域网络收发器(例如蜂窝式或WiFi)。包括经由低功率无线连接925和高速无线连接937通信的收发器的移动设备990可使用眼戴设备100的架构细节来实现,网络995的其它元件也是如此。
存储器934包括能够存储各种数据和应用的任何存储设备,其中包括由左侧和右侧可见光摄像头114A-B、红外摄像头220以及图像处理器912生成的摄像头数据,以及为了由图像显示驱动器942在光学组件180A-B的图像显示器上显示而生成的图像。虽然存储器934被示为与高速电路930集成,但是在其他示例中,存储器934可以是眼戴设备100的独立元件。在某些这样的示例中,电气布线可以提供通过包括高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其它示例中,高速处理器932可管理存储器934的寻址,使得低功率处理器922将在需要涉及存储器934的读取或写入操作的任何时间引导高速处理器932。
如图9所示,眼戴设备100的处理器932可耦合到深度捕捉摄像头(可见光摄像头114A-B;或可见光摄像头114A、红外发射器215和红外摄像头220)、图像显示驱动器942、用户输入设备991(例如触摸传感器113B或按钮117B)、接近传感器116B和存储器934。
处理器932执行存储器934中的接近淡入程序945将眼戴设备100配置为执行以下功能。首先,眼戴设备100通过图像显示驱动器942控制光学组件180A-B的图像显示器,以将图像700A呈现给穿戴者。第二,眼戴设备100经由接近传感器116B跟踪穿戴者的手指310到输入表面181的指距315。第三,眼戴设备100基于被跟踪的指距315,经由图像显示驱动器942调整光学组件180A-B的图像显示器上所呈现图像700A的亮度级设置977。
如图9和前面的图3F所示,存储器934还包括亮度表350,该亮度表350包括(i)离输入表面181的一组指距范围355A-F,以及(ii)呈现的图像700A的一组亮度级355A-F。每个相应的指距范围355A-F与相应的亮度级360A-F相关联。基于所跟踪的指距315,经由图像显示驱动器942调整呈现图像700A亮度级设置977的功能包括以下功能。首先,将跟踪的指距315与一组指距范围355A-F进行比较。第二,基于该比较,检索与被跟踪指距315落入的第一指距范围355A相关联的第一亮度级360A。第三,将亮度级设置977设置为第一指距范围355A的第一亮度级360A。
在第一示例中,第一指距范围355A对应于最小距离范围355A,最小距离范围355A指示穿戴者的手指与输入表面181直接接触以处理图形用户界面。第一亮度级是最大亮态360A,其中光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977被设置为最大光输出。经由图像显示驱动器942调整所呈现的图像700A的亮度级设置977的功能还包括:在处理时间段992(例如5至60秒)内将亮度级设置977锁定在第一亮度级360A。
在第二示例中,第一指距范围355F对应于最大距离范围355F,最大距离范围355F指示不活动,使得穿戴者不穿戴眼戴设备100或不与图形用户界面交互。第一亮度级是最大暗态360F,其中光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977被设置为最小光输出或者光学组件180A-B的图像显示器被断电。经由图像显示驱动器942调整所呈现图像700A的亮度级设置977的功能还包括:在将亮度级设置977设置为与最大距离范围355F相关联的最大暗态360F之前,检测到在非活动时间阈值993(例如60到300秒)内跟踪的指距315在最大距离范围355F内。
在第三示例中,亮度表350还包括与第二亮度级360F相关联的第二指距范围355F。第一指距范围355A小于第二指距范围355F,使得第一指距范围355A指示与第二指距范围355F相比穿戴者的手指更靠近输入表面181。第一指距范围355A的第一亮度级360A比第二亮度级360F更亮,使得第一亮度级360A指示光学组件180A-B的图像显示器上呈现的图像700A与第二亮度级350F相比具有增加的光输出。
继续第三示例,处理器932执行接近淡入编程945进一步将眼戴设备100配置为实现以下两个功能。首先,在基于所跟踪的指距315经由图像显示驱动器942调整光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977之后,眼戴设备100经由接近传感器116B来跟踪穿戴者的手指310到输入表面181的第二指距315F(参见图7A)。第二,通过实施下面的步骤,眼戴设备100基于所跟踪的第二指距315F经由图像显示驱动器942调整光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977。首先,将穿戴者的手指310与输入表面181的被跟踪的第二指距315F与一组指距范围355A-F进行比较。第二,基于该比较,检索跟踪的第二指距315F落入的第二指距范围355F的第二亮度级360F。第三,将亮度级设置977设置为第二指距范围355F的第二亮度级360F。
在第四示例中,亮度表350还包括与第三亮度级360C相关联的第三指距范围355C。第三指距范围355C大于第一指距范围355A,使得第三指距范围355C指示与第一指距范围355A相比穿戴者的手指310更远离输入表面181。第三指距范围355C的第三亮度级360C比第一亮度级360A暗,使得第三亮度级360C指示光学组件180A-B的图像显示器上呈现的图像700A与第一亮度级360A相比具有减少的光输出。
继续第四示例,处理器932执行接近淡入编程945进一步将眼戴设备100配置为实现以下两个功能。首先,在基于所跟踪的指距315经由图像显示驱动器942调整光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977之后,眼戴设备100经由接近传感器116B来跟踪穿戴者的手指310到输入表面181的第三指距315C(参见图7B)。第二,通过实施下面三个步骤,眼戴设备100基于所跟踪的第三指距315C经由图像显示驱动器942调整光学组件180A-B的图像显示器上所呈现的图像700A的亮度级设置977。首先,将穿戴者的手指310与输入表面181的被跟踪的第三指距315C与一组指距范围355A-F进行比较。第二,基于该比较,检索跟踪的第三指距315落入的第三指距范围355C的第三亮度级360C。第三,将亮度级设置977设置为第三指距范围355C的第三亮度级360C。
眼戴设备100包括在侧面170A-B上集成到框架105中或连接到框架105的组块110A-B。接近传感器116B位于框架105、眼戴设备腿125A-B或组块110A-B上。接近传感器116B包括电容接近传感器416B、光电接近传感器516B、超声接近传感器616B或感应接近传感器。用户输入设备991(例如触摸传感器113B或按钮117B)位于框架105、眼戴设备腿125A-B或组块110A-B上。用户输入设备991包括电容触摸传感器或电阻触摸传感器113B。
如图10所示,移动设备990的处理器1030可耦合到深度捕捉摄像头1070、图像显示驱动器1090、用户输入设备1091、接近传感器116B和存储器1040A。作为眼戴设备100的处理器932执行存储器934中的接近淡入编程945的结果,眼戴设备100可以执行下述的下面任何功能的全部功能或功能子集。作为移动设备990的处理器1030执行存储器1040A中接近淡入编程945的结果,移动设备990可执行下述的下面任何功能的全部功能或功能子集。可在接近淡入系统900中划分各功能,使得眼戴设备100生成原始图像858A-B,但移动设备990对原始图像858A-B执行图像处理的剩余部分。
在示例中,输入表面181由形成框架105、眼戴设备腿125A-B或侧面170A-B的基底的塑料、醋酸纤维或其他绝缘材料形成。框架105、眼戴设备腿125A-B或组块110A-B包括电路板240,电路板240包括电容接近传感器416B和电容触摸传感器113B。例如,电路板240可以是柔性印刷电路板240。电容接近传感器416B和电容触摸传感器113B设置在柔性印刷电路板240上。
在另一示例中,接近传感器116B是光电接近传感器516B。光电接近传感器516B包括发射红外光图案的红外发射器511和连接到处理器932的红外接收器512。红外接收器512被配置为测量红外光图案的反射变化,以跟踪穿戴者的手指310到输入表面181的指距315。
接近淡入系统900还包括用户输入设备991、1091,以从穿戴者那里接收用户输入选择978(例如处理所呈现7图像700A的图形用户界面)。接近淡入系统900还包括存储器934、1040A以及处理器932、1030,处理器932、1030耦合到图像显示驱动器942、1090、用户输入设备991、1091和存储器934、1040A。接近淡入系统900进一步包括存储器934、1040A中的接近淡入编程945。
移动设备990或眼戴设备100可以包括用户输入设备991、1091。基于触摸的用户输入设备1091可以作为触摸屏显示器集成到移动设备990中。在一个示例中,用户输入设备991、1091包括触摸传感器,该触摸传感器包括输入表面和耦合到输入表面以接收用户输入的至少一个手指接触的触摸传感器阵列。用户输入设备991、1091还包括集成到触摸传感器中或连接到触摸传感器并连接到处理器932、1030的触摸感测电路。触摸感测电路被配置为测量电压以跟踪输入表面181上的至少一个手指接触。
基于触摸的用户输入设备991可以集成到眼戴设备100中。如上所述,眼戴设备100包括组块110A-B,组块110A-B在眼戴设备100的侧面170A-B上集成到框架105中或连接到框架105。框架105、眼戴设备腿125A-B或组块110A-B包括电路板,该电路板包括触摸传感器。该电路板包括柔性印刷电路板。触摸传感器设置在柔性印刷电路板上。触摸传感器阵列是电容阵列或电阻阵列。电容阵列或电阻阵列包括形成二维直角坐标系统以跟踪X和Y轴位置坐标的网格。
如上所述,眼戴设备100包括框架105、连接到框架105的侧面170A-B的眼戴设备腿125A-B以及深度捕捉摄像头。深度捕捉摄像头由框架105或眼戴设备腿125A-B中的至少一个支撑。深度捕捉摄像头包括:(i)具有重叠的视场111A-B的至少两个可见光摄像头114A-B,或(ii)至少一个可见光摄像头114A或114B和深度传感器213。可以类似地构造移动设备990的深度捕捉摄像头1070。
在一个示例中,深度捕捉摄像头包括至少两个可见光摄像头114A-B,其包括捕捉左侧原始图像858A的具有左侧视场111A的左侧可见光摄像头114A和捕捉右侧原始图像858B的具有右侧视场111B的右侧可见光摄像头114B。左侧视场111A和右侧视场111B具有重叠的视场813(参见图8B)。
接近淡入系统900还包括通过网络925或937耦合到眼戴设备100的主计算机,例如移动设备990。主计算机包括用于通过网络925或937进行通信的第二网络通信接口1010或1020。第二处理器1030耦合到第二网络通信接口1010或1020。第二存储器1040A可由第二处理器1030访问。主机计算机还包括第二存储器1040A中的第二接近淡入编程945,以执行本文所述的接近淡入功能。
服务器系统998可以是作为服务或网络计算系统一部分的一个或多个计算设备,例如包括处理器、存储器和通过网络995与移动设备990和眼戴设备100通信的网络通信接口。眼戴设备100与主计算机连接。例如,眼戴设备100经由高速无线连接937与移动设备990配对,或者经由网络995与服务器系统998连接。
眼戴设备100的输出组件包括视觉组件,例如如图1E-F所描述的光学组件180A-B的左侧图像显示器和右侧图像显示器(例如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导管等显示器)。光学组件180A-B的图像显示器由图像显示驱动器942驱动。眼戴设备100的输出组件还包括声学组件(例如扬声器)、触觉组件(例如振动马达)、其它信号发生器等。眼戴设备100、移动设备990及服务器系统998的输入组件(例如用户输入设备991、1091)可包括字母数字输入组件(例如键盘、被配置为接收字母数字输入的触摸屏、光键盘或其它字母数字输入组件)、基于点的输入组件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触觉输入组件(例如物理按钮、提供触摸位置和触摸力或触摸手势的触摸屏或其它触觉输入组件)、音频输入组件(例如麦克风)等。
眼戴设备100可以可选地包括附加的外围设备元件。这样的外围设备元件可以包括生物计量传感器、附加传感器或与眼戴设备100集成的显示元件。例如,外围设备元件可包括任何I/O组件,包括输出组件、运动组件、位置组件或本文描述的任何其它此类元件。
例如,生物计量组件包括用于检测表情(例如手表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、汗液或脑电波)、识别人(例如声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件包括加速度传感器组件(例如加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。位置组件包括生成位置坐标的位置传感器组件(例如全球定位系统(GPS)接收器组件)、用于生成定位系统坐标的WiFi或Bluetooth(蓝牙)TM收发器、高度传感器组件(例如高度计或气压计,气压计用于检测可从其导出海拔高度的气压)、方向传感器组件(例如磁强计)等。还可经由低功率无线电路924或高速无线电路936利用无线连接925和937从移动设备990接收此定位系统坐标。
图10是经由图9的接近淡入系统900通信的移动设备990示例的高级功能框图。移动设备990包括用于接收用户输入选择978的用户输入设备1091(例如触摸屏显示器)。如前所述,移动设备990包括闪存1040A,其包括接近淡入编程945以执行本文所述的用于产生接近淡入功能的全部功能或功能子集。
如图所示,存储器1040A进一步包括由左侧可见光摄像头114A捕捉的左侧原始图像858A、由右侧可见光摄像头114B捕捉的右侧原始图像858B以及由深度传感器213的红外摄像头220捕捉的红外图像859。移动设备1090可以包括深度捕捉摄像头1070,该深度捕捉摄像头1070包括至少两个可见光摄像头(具有重叠视场的第一和第二可见光摄像头)或者至少一个可见光摄像头和具有大幅重叠视场的深度传感器,像眼戴设备100一样。当移动设备990包括和眼戴设备100一样的组件(例如深度捕捉摄像头)时,可经由移动设备990的深度捕捉摄像头1070捕捉左侧原始图像858A、右侧原始图像858B和红外图像859。
存储器1040A还包括多个深度图像962A-H(包括顶点963A-H的相应网格),这些深度图像是经由眼戴设备100的深度捕捉摄像头或经由移动设备990自身的深度捕捉摄像头1070生成的。图11中示出了概述可在接近淡入编程945中实施的功能的流程图。存储器1040A还包括:左侧图像视差图961A、右侧图像视差图961B、以及左侧经处理(例如矫正)的和右侧经处理(例如消除朝向镜头端部的渐晕)的图像960A-B。如进一步示出的,存储器1040A包括用户输入选择978、跟踪的指距315A-N、亮度级设置977、亮度表350、一系列图像964(包括图像700A-N和相关亮度级966A-N)。
如图所示,移动设备990包括图像显示器1080、用于控制图像显示的图像显示驱动器1090以及类似于眼戴设备100的用户输入设备1091。在图10的示例中,图像显示器1080和用户输入设备1091一起被集成到触摸屏显示器中。
可使用的触摸屏型移动设备示例包括(但不限于)智能手机、个人数字助理(PDA)、平板电脑、笔记本电脑或其它便携式设备。然而,触摸屏型设备的结构和操作是以示例的方式提供的,并且本文所述的主题技术并不希望仅限于此。为了本讨论的目的,图10提供了具有触摸屏显示器的示例移动设备990的块图图示,该触摸屏显示器用于作为用户界面(或作为部分用户界面)来显示内容并接收用户输入。
本文所讨论的焦点活动通常涉及与便携式眼戴设备100或移动设备990中所呈现图像700A-N的接近淡入和接收用户输入选择978相关的数据通信。如图10所示,移动设备990包括至少一个数字收发器(XCVR)1010,其被示为WWAN XCVR,用于经由广域无线移动通信网络进行数字无线通信。移动设备990还包括附加的数字或模拟收发器,例如用于经由NFC、VLC、DECT、ZigBee、Bluetooth(蓝牙)TM或WiFi等短距离网络通信的短距离XCVR1020。例如,短距离XCVR 1020可以采用与在无线局域网中实现一个或多个标准通信协议(例如IEEE802.11和WiMAX下的Wi-Fi标准之一)兼容类型的任何可用双向无线局域网(WLAN)收发器的形式。
为了生成用于定位移动设备990的位置坐标,移动设备990可以包括全球定位系统(GPS)接收器。可选地或附加地,移动设备990可以利用短距离XCVR 1020和WWAN XCVR 1010中的任一个或两个来生成用于定位的位置坐标。例如,基于蜂窝网络、WiFi或Bluetooth(蓝牙)TM的定位系统可以生成非常精确的位置坐标,尤其是在组合使用时。这样的位置坐标可以经由XCVR 1010、1020通过一个或多个网络连接被传送到眼戴设备。
收发器1010、1020(网络通信接口)符合现代移动网络使用的各种数字无线通信标准中的一个或多个。WWAN收发器1010的示例包括(但不限于)被配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术(包括但不限于3GPP类型2(或3GPP2)和LTE,有时被称为“4G”)进行操作的收发器。例如,收发器1010、1020提供信息的双向无线通信,该信息包括数字化音频信号、静止图像和视频信号、用于显示的网页信息以及与网络相关的输入,以及去往/来自移动设备990的用于接近淡入效果的各种类型移动消息通信。
如先前所讨论的,通过收发器1010、1020和网络进行的这些类型的若干通信涉及支持与眼戴设备100或服务器系统998进行通信以生成图像的协议和程序,例如传送左侧原始图像858A、右侧原始图像858B、红外图像859、深度图像962A-H和经处理(例如经矫正)的图像960A-B。例如,这样的通信可以经由短距离XCVR 1020通过无线连接925和937传送去往和来自眼戴设备100的分组数据,如图9所示。例如,这样的通信还可以利用IP分组数据传输通过图9所示的网络(例如因特网)995经由WWAN XCVR 1010来传送数据。WWAN XCVR 1010和短距离XCVR 1020都通过射频(RF)发送和接收放大器(未示出)连接到相关联的天线(未示出)。
移动设备990进一步包括微处理器,如CPU 1030所示,其在本文中有时称为主控制器。处理器是具有被构造和布置成执行一个或多个处理功能(通常是各种数据处理功能)元件的电路。尽管可使用离散逻辑组件,但示例是利用形成可编程CPU的组件。例如,微处理器包括一个或多个集成电路(IC)芯片,结合执行CPU功能的电子元件。例如,处理器1030可基于任何已知或可用的微处理器架构,例如使用ARM架构的精简指令集计算(RISC),如当今在移动设备和其它便携式电子设备中普遍使用的。当然,可以使用其它处理器电路来形成智能手机、笔记本电脑和平板电脑中的CPU 1030或处理器硬件。
微处理器1030通过将移动设备990配置为执行各种操作(例如根据可由处理器1030执行的指令或接近淡入编程)来充当移动设备990的可编程主控制器。例如,这样的操作可以包括移动设备的各种一般操作,以及与接近淡入编程945、眼戴设备100和服务器系统998的通信有关的操作。尽管可通过使用硬连线逻辑来配置处理器,但移动设备中的典型处理器是通过执行接近淡入编程945来配置的通用处理电路。
移动设备990包括存储器或存储设备系统,用于存储数据和接近淡入编程。在该示例中,存储器系统可以包括闪存1040A和随机存取存储器(RAM)1040B。RAM 1040B用作处理器1030所处理指令和数据的短期存储器,例如用作工作数据处理存储器。闪存1040A通常提供较长期的存储。
因此,在移动设备990的示例中,闪存1040A用于存储接近淡入编程945或处理器1030执行的指令。取决于设备的类型,移动设备990存储并运行移动操作系统,通过该移动操作系统执行特定应用,包括接近淡入编程945。接近淡入编程945等应用程序可以是在移动设备990上运行的本地应用程序、混合应用程序或网络应用程序(例如由网络浏览器执行的动态网络页面)。移动操作系统的示例包括谷歌安卓系统(Google Android)、苹果iOS(I-Phone或iPad设备)、视窗移动系统(Windows Mobile)、亚马逊Fire OS、RIM黑莓操作系统等。
应当理解,移动设备990只是接近淡入系统900中的一种类型的主计算机,并且可以利用其它布置。例如,图9所示的服务器系统等服务器系统998,在生成原始图像858A-B之后,可以经由眼戴设备100的深度捕捉摄像头来生成深度图像962A-H。
图11是可在接近淡入系统900中实施的方法流程图,以应用于图像700A或一系列图像700A-N,处理图像700A-N的亮度级参数966A-N以改变辐射或反射光的视觉感知。从块1100开始,该方法包括经由眼戴设备100的图像显示驱动器942控制光学组件180A-B的图像显示器以向眼戴设备100的穿戴者呈现图像的步骤。
现在继续到块1110,该方法还包括经由眼戴设备100的接近传感器116B跟踪穿戴者的手指310到眼戴设备100的输入表面181的指距315的步骤。继续到块1120,该方法还包括经由图像显示驱动器942基于所跟踪的指距315来调整光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977的步骤。
对于块1120,经由图像显示驱动器942基于所跟踪的指距315来调整所呈现的图像700A的亮度级设置977的具体步骤包括块1130、1140和1150中所示的步骤。如框1130所示,该方法包括将跟踪的指距315与一组指距范围355A-F进行比较。移动到框1140,该方法还包括基于该比较,检索与被跟踪指距315落入的第一指距范围355A相关联的第一亮度级360A。现在在框1150中结束,该方法还包括将亮度级设置977设置为与第一指距范围355A相关联的第一亮度级360A。
在第一示例中,第一指距范围355A对应于最小距离范围355A,最小距离范围355A指示穿戴者的手指310与输入表面181直接接触以处理图形用户界面。第一亮度级360A是最大亮态360A,其中光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977被设置为最大光输出。经由图像显示驱动器942调整所呈现的图像700A的亮度级设置977的步骤还包括:在处理时间段992(例如5至60秒)内将亮度级设置977锁定在第一亮度级360A。
在第二示例中,第一指距范围355A对应于最大距离范围355F,最大距离范围355F指示不活动,使得穿戴者不穿戴眼戴设备100或不与图形用户界面交互。第一亮度级360A是最大暗态360F,其中光学组件180A-B的图像显示器上呈现的图像700A的亮度级设置977被设置为最小光输出或者光学组件180A-B的图像显示器断电。经由图像显示驱动器942调整呈现图像700A的亮度级设置977的步骤还包括:在将亮度级设置977设置为与最大距离范围355F相关联的最大暗态360F之前,检测到在非活动时间阈值993(例如60到300秒)内跟踪的指距315在最大距离范围355F内。
如上所述,用户输入设备991可以是电容触摸传感器113B。接近传感器116B可以是电容接近传感器416B,其包括:导电板320,以及连接到处理器932的接近感测电路325。接近感测电路325可以被配置为测量电压以跟踪穿戴者的手指310到导电板320的指距315。
本文描述的用于眼戴设备100、移动设备990和服务器系统998的任何接近淡入效果功能可以体现在如前所述的一个或多个应用中。根据一些示例,“功能”、“应用”、“指令”、“指令”或“接近淡入编程”是执行在程序中所确定功能的程序。可以采用各种接近淡入编程语言来创建以面向对象的接近淡入编程语言(例如Objective-C、Java或C++)或程序接近淡入编程语言(例如C语言或汇编语言)等各种方式构造的一个或多个应用程序。在具体示例中,第三方应用程序(例如,由特定平台供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用程序)可能是在诸如IOSTM、ANDROIDTM
Figure BDA0003134503720000201
Phone或其他移动操作系统等移动操作系统上运行的移动软件。在该示例中,第三方应用可以调用由操作系统提供的API调用以帮助本文所述的功能。
因此,机器可读介质可以采用多种形式的有形存储介质。例如,非易失性存储介质包括光盘或磁盘,例如任何计算机中的任何存储设备等,例如可用于实现附图中所示的客户端设备、媒体网关、代码转换器等。易失性存储介质包括动态存储器,例如这种计算机平台的主存储器。有形的传输介质包括同轴电缆、铜线和光纤,包括构成计算机系统内总线的导线。载波传输介质可以采用电信号或电磁信号的形式,或声波或光波的形式,例如在射频(RF)和红外(IR)数据通信期间产生的声波或光波。因此,例如计算机可读介质的常见形式包括:软盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔图案的物理存储介质、RAM、PROM和EPROM、快闪EPROM、任何其他存储器芯片或盒、传输数据或指令的载波、传输这种载波波的电缆或链路,或计算机可从中读取接近淡入编程代码和/或数据的任何其它介质。许多这些形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列携带到处理器以供执行。
保护的范围仅受所附权利要求书限制。当根据本说明书和随后的申请过程进行解释时,该范围旨在并且应当被解释为与权利要求书中所使用语言的普通含义一样宽,包括所有等同结构和功能。尽管如此,权利要求无意包含不满足《专利法》第101、102或103节要求的主题,也不应以这种方式解释这些主题。特此否认对该主题的任何无意包含。
除上文所述外,任何已陈述或说明的内容均无意或不应被解释为使任何组件、步骤、特征、目的、利益、优势等捐献于公众,无论其是否在权利要求中陈述。
应当理解,除了在本文中另外阐述的特定含义之外,本文使用的术语和表达具有与这些术语和表达相对于其相应的研究领域一致的普通含义。例如第一和第二等关系术语可以仅用于区分一个实体或动作与另一个实体或动作,而不必要求或暗示这些实体或动作之间任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其他变型旨在涵盖非排他性包含,使得包括或包含元件或步骤列表的过程、方法、制品或设备不仅包括那些元件或步骤,而且可以包括未明确列出或对这种过程、方法、制品或设备固有的其它元件或步骤。前面有“a”或“an”的元件,在没有进一步限制的情况下,不排除在包括该元件的过程、方法、制品或设备中存在附加的相同元件。
除非另有说明,在本说明书(包括所附权利要求书)中提出的任何和所有测量值、值、额定值、位置、大小、尺寸和其它规格都是近似的、不精确的。这样的量旨在具有合理的范围,该范围与它们所涉及的功能以及它们所涉及的本领域中的惯例一致。例如,除非另有明确说明,否则参数值等可能与规定的数量相差±10%。
另外,在前面的具体实施方式中,可以看出,为了简化本公开,在各种示例中将各种特征组合在一起。该公开方法不应被解释为反映了要求保护的示例需要比每个权利要求中明确记载的特征更多特征的意图。相反,如以下权利要求所反映的,要保护的主题在于少于任何单个公开示例的所有特征。因此,以下权利要求在此结合到具体实施方式中,其中每个权利要求独立地作为单独要求保护的主题。
虽然上文已经描述了被认为是最佳方式和其它示例的内容,但是应当理解,可以在其中进行各种修改,可以以各种形式和示例来实现本文公开的主题,并且它们可以应用于许多应用中,本文仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念真实范围内的任何和所有修改和变化。

Claims (20)

1.一种眼戴设备,包括:
图像显示器,用于向所述眼戴设备的穿戴者呈现包括图形用户界面的图像;
图像显示驱动器,其耦合到所述图像显示器以控制所述所呈现图像且调整所述所呈现图像的亮度级设置;
框架
从所述框架的侧面延伸的眼戴设备腿;
用户输入设备,其包括在所述框架、所述眼戴设备腿、所述侧面或其组合上的输入表面,所述用户输入设备在所述输入表面上从所述穿戴者那里接收用户输入选择以处理所呈现图像的所述图形用户界面;
接近传感器,用于跟踪所述穿戴者的手指到所述输入表面的指距;
存储器;
处理器,其耦合到所述图像显示驱动器、所述用户输入设备、所述接近传感器和所述存储器
所述存储器中的接近淡入编程,其中所述处理器执行所述接近淡入编程将所述眼戴设备配置为执行功能,所述功能包括以下功能:
经由所述图像显示驱动器控制所述图像显示器以向所述穿戴者呈现所述图像;
经由所述接近传感器跟踪所述穿戴者的手指到所述输入表面的所述指距;以及
经由所述图像显示驱动器基于所述跟踪的指距来调整在所述图像显示器上所述呈现图像的所述亮度级设置。
2.如权利要求1所述的眼戴设备,其中:
所述存储器还包括亮度表,所述亮度表包括:(i)离所述输入表面的一组指距范围,以及(ii)所述呈现图像的一组亮度级,使得每个相应的指距范围与相应的亮度级相关联;以及
经由所述图像显示驱动器基于所述跟踪的指距调整所述呈现图像的所述亮度级设置的所述功能包括:
将所述跟踪的离所述输入表面的指距与所述一组指距范围进行比较;
基于所述比较,检索与所述跟踪的指距落入的第一指距范围相关联的第一亮度级;以及
将所述亮度级设置设置为所述第一指距范围的所述第一亮度级。
3.如权利要求2所述的眼戴设备,其中:
所述第一指距范围对应于最小距离范围,所述最小距离范围指示所述穿戴者的所述手指与所述输入表面直接接触以处理所述图形用户界面;
所述第一亮度级是将所述图像显示器上所述呈现的图像的所述亮度级设置设置为最大光输出的最大亮态;以及
经由所述图像显示驱动器调整所述呈现图像的所述亮度级设置的所述功能还包括:
在处理时间段内将所述亮度级设置锁定在所述第一亮度级。
4.如权利要求2所述的眼戴设备,其中:
所述第一指距范围对应于最大距离范围,所述最大距离范围指示不活动,使得所述眼戴设备没有被穿戴或所述穿戴者与所述图形用户界面没有交互;
所述第一亮度级是将所述图像显示器上所述呈现的图像的所述亮度级设置设置为最小光输出或所述图像显示器断电的最大暗态;以及
经由所述图像显示驱动器调整所述呈现图像的所述亮度级设置的所述功能还包括:
在将所述亮度级设置设置为与所述最大距离范围相关联的所述最大暗态之前,在非活动时间阈值内检测到所述跟踪的指距在所述最大距离范围内。
5.如权利要求2所述的眼戴设备,其中:
所述亮度表还包括与第二亮度级相关联的第二指距范围;
所述第一指距范围小于所述第二指距范围,使得所述第一指距范围指示与所述第二指距范围相比所述穿戴者的所述手指更靠近所述输入表面;以及
所述第一指距范围的所述第一亮度级比所述第二亮度级更亮,使得所述第一亮度级指示所述图像显示器上所述呈现的图像与所述第二亮度级相比具有增加的光输出。
6.如权利要求5所述的眼戴设备,其中:
所述处理器执行所述接近淡入编程进一步将眼戴设备配置为:
在经由所述图像显示驱动器基于所述跟踪的指距来调整所述图像显示器上所述呈现的图像的所述亮度级设置之后:经由所述接近传感器跟踪所述穿戴者的所述手指到所述输入表面的第二指距;以及
通过以下步骤经由所述图像显示驱动器基于所述跟踪的第二指距来调整所述图像显示器上所述呈现的图像的所述亮度级设置:
将所述穿戴者的所述手指到所述输入表面的所述跟踪的第二指距与所述一组指距范围进行比较;
基于所述比较,检索所述跟踪的第二指距落入所述第二指距范围的所述第二亮度级;以及
将所述亮度级设置设置为所述第二指距范围的所述第二亮度级。
7.如权利要求2所述的眼戴设备,其中:
所述亮度表还包括与第三亮度级相关联的第三指距范围;
所述第三指距范围大于所述第一指距范围,使得所述第三指距范围指示与所述第一指距范围相比所述穿戴者的所述手指更远离所述输入表面;以及
所述第三指距范围的所述第三亮度级比所述第一亮度级暗,使得所述第三亮度级指示光学组件的所述图像显示器上所述呈现的图像与所述第一亮度级相比具有减少的光输出。
8.如权利要求7所述的眼戴设备,其中:
所述处理器执行所述接近淡入编程进一步将眼戴设备配置为:
在经由所述图像显示驱动器基于所述跟踪的指距调整光学组件的所述图像显示器上所述呈现的图像的所述亮度级设置之后:经由所述接近传感器跟踪所述穿戴者的所述手指到所述输入表面的第三指距;以及
通过以下步骤经由所述图像显示驱动器基于所述跟踪的第三指距来调整光学组件的所述图像显示器上所述呈现的图像的所述亮度级设置:
将所述穿戴者的所述手指与所述输入表面的所述跟踪的第三指距与所述一组指距范围进行比较;
基于所述比较,检索所述跟踪的第三指距落入的所述第三指距范围的所述第三亮度级;以及
将所述亮度级设置设置为所述第三指距范围的所述第三亮度级。
9.如权利要求1所述的眼戴设备,还包括:
组块,所述组块在所述侧面上集成到所述框架中或连接到所述框架;
其中:
所述接近传感器位于所述框架、所述眼戴设备腿或所述组块上;
所述接近传感器包括:
电容接近传感器,
光电接近传感器,
超声接近传感器,或
感应接近传感器;
所述用户输入设备位于所述框架、所述眼戴设备腿或所述组块上;以及
所述用户输入设备包括电容触摸传感器或电阻触摸传感器。
10.如权利要求9所述的眼戴设备,其中:
所述用户输入设备是所述电容触摸传感器;
所述接近传感器是电容接近传感器,并且包括:
导电板;以及
连接到所述处理器的接近感测电路,所述接近感测电路被配置为测量电压以跟踪所述穿戴者的所述手指到所述导电板的所述指距。
11.如权利要求10所述的眼戴设备,其中:
所述电容接近传感器的所述接近感测电路包括:
振荡电路,其电连接到所述导电板以产生对应于所述测量电压的变振幅振荡;以及
输出开关设备,其将所述振荡转换为所述测量电压并将所述测量电压传送到所述处理器;以及
所述处理器执行所述接近淡入编程将所述眼戴设备进一步配置为将所述测量电压转换为所述跟踪的指距。
12.如权利要求10所述的眼戴设备,其中:
将所述电容接近传感器集成到所述电容触摸传感器中或连接到所述电容触摸传感器。
13.如权利要求10所述的眼戴设备,其中:
所述输入表面由形成所述框架、所述眼戴设备腿或所述侧面基底的塑料、醋酸纤维或另一种绝缘材料形成;以及
所述框架、所述眼戴设备腿或所述组块包括电路板,所述电路板包括电容接近传感器和电容触摸传感器。
14.如权利要求13所述的眼戴设备,其中:
所述组块包括所述电路板;
所述电路板是柔性印刷电路板;以及
所述电容接近传感器和电容触摸传感器设置在所述柔性印刷电路板上。
15.如权利要求9所述的眼戴设备,其中:
所述接近传感器是所述光电接近传感器,并且包括:
红外发射器,其发射红外光的图案;以及
连接到所述处理器的红外接收器,所述红外接收器被配置为测量所述红外光图案的反射变化,以跟踪所述穿戴者的所述手指到所述输入表面的指距。
16.一种方法,包括以下步骤:
经由眼戴设备的图像显示驱动器控制图像显示器以向所述眼戴设备的穿戴者呈现图像;
经由所述眼戴设备的接近传感器跟踪所述穿戴者的手指到所述眼戴设备的输入表面的指距;以及
经由所述图像显示驱动器基于所述跟踪的指距来调整在所述图像显示器上所述呈现的图像的亮度级设置。
17.如权利要求16所述的方法,其中:
经由所述图像显示驱动器基于所述跟踪的指距调整所述呈现图像的所述亮度级设置的所述步骤包括:
将离所述输入表面的所述跟踪的指距与一组指距范围进行比较;
基于所述比较,检索与所述跟踪的指距落入的第一指距范围相关联的第一亮度级;以及
将所述亮度级设置设置为与所述第一指距范围相关联的第一亮度级。
18.如权利要求17所述的方法,其中:
所述第一指距范围对应于最小距离范围,所述最小距离范围指示所述穿戴者的所述手指与所述输入表面直接接触以处理所述图形用户界面;
所述第一亮度级是将所述图像显示器上所述呈现的图像的所述亮度级设置设置为最大光输出的最大亮态;以及
经由所述图像显示驱动器调整所述呈现图像的所述亮度级设置的所述步骤还包括:
在处理时间段内将所述亮度级设置锁定在所述第一亮度级。
19.如权利要求17所述的方法,其中:
所述第一指距范围对应于最大距离范围,所述最大距离范围指示不活动,使得所述眼戴设备没有被穿戴或所述穿戴者与所述图形用户界面没有交互;
所述第一亮度级是将所述图像显示器上所述呈现的图像的所述亮度级设置设置为最少光输出或所述图像显示器断电的最大暗态;以及
经由所述图像显示驱动器调整所述呈现图像的所述亮度级设置的所述步骤还包括:
在将所述亮度级设置设置为与所述最大距离范围相关联的所述最大暗态之前,检测到在非活动时间阈值内所述跟踪的指距在所述最大距离范围内。
20.如权利要求16所述的方法,其中:
所述用户输入设备是电容触摸传感器;
所述接近传感器是电容接近传感器,并且包括:
导电板;以及
感测电路,连接到所述处理器,所述感测电路被配置为测量电压以跟踪所述穿戴者的所述手指到所述导电板的所述指距。
CN201980086624.0A 2018-12-27 2019-12-02 基于指距或手接近的淡入用户界面显示 Pending CN113260951A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862785486P 2018-12-27 2018-12-27
US62/785,486 2018-12-27
PCT/US2019/063998 WO2020139518A1 (en) 2018-12-27 2019-12-02 Fade-in user interface display based on finger distance or hand proximity

Publications (1)

Publication Number Publication Date
CN113260951A true CN113260951A (zh) 2021-08-13

Family

ID=68966098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086624.0A Pending CN113260951A (zh) 2018-12-27 2019-12-02 基于指距或手接近的淡入用户界面显示

Country Status (5)

Country Link
US (3) US11132977B2 (zh)
EP (1) EP3903169A1 (zh)
KR (1) KR20210104886A (zh)
CN (1) CN113260951A (zh)
WO (1) WO2020139518A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132977B2 (en) 2018-12-27 2021-09-28 Snap Inc. Fade-in user interface display based on finger distance or hand proximity
US11211001B2 (en) * 2020-05-22 2021-12-28 Huayuan Semiconductor (Shenzhen) Limited Company Display device with feedback via serial connections between distributed driver circuits
WO2024071903A1 (ko) * 2022-09-26 2024-04-04 삼성전자 주식회사 헤드 마운트 디스플레이 장치 및 그의 착용 상태 감지 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103085A (en) * 1990-09-05 1992-04-07 Zimmerman Thomas G Photoelectric proximity detector and switch
JP2005202208A (ja) * 2004-01-16 2005-07-28 Nec Corp 携帯端末および表示制御方法
US20090256814A1 (en) * 2008-04-10 2009-10-15 Lg Electronics Inc. Mobile terminal and screen control method thereof
US20110194029A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
US20110227868A1 (en) * 2010-03-17 2011-09-22 Edamak Corporation Proximity-sensing panel
US20150109218A1 (en) * 2012-08-09 2015-04-23 Panasonic Corporation Protable electronic device
US20150338924A1 (en) * 2014-05-26 2015-11-26 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
CN105259654A (zh) * 2014-07-08 2016-01-20 Lg电子株式会社 眼镜式终端及其控制方法
CN105282472A (zh) * 2015-10-22 2016-01-27 神画科技(深圳)有限公司 自动测量投影面距离的投影系统及方法
US20160026255A1 (en) * 2013-03-14 2016-01-28 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
US20160370931A1 (en) * 2015-06-17 2016-12-22 Japan Display Inc. Display device
KR20180072621A (ko) * 2018-06-12 2018-06-29 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100110368A1 (en) 2008-11-02 2010-05-06 David Chaum System and apparatus for eyeglass appliance platform
KR101824513B1 (ko) 2010-12-29 2018-02-01 삼성전자 주식회사 단말 및 단말의 밝기 제어 방법
US9330606B2 (en) 2012-06-08 2016-05-03 Apple Inc. Electronic device with display brightness control
WO2016137514A1 (en) 2015-02-27 2016-09-01 Hewlett-Packard Development Company, L.P. Detecting finger movements
US11132977B2 (en) 2018-12-27 2021-09-28 Snap Inc. Fade-in user interface display based on finger distance or hand proximity

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103085A (en) * 1990-09-05 1992-04-07 Zimmerman Thomas G Photoelectric proximity detector and switch
JP2005202208A (ja) * 2004-01-16 2005-07-28 Nec Corp 携帯端末および表示制御方法
US20090256814A1 (en) * 2008-04-10 2009-10-15 Lg Electronics Inc. Mobile terminal and screen control method thereof
US20110194029A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
US20110227868A1 (en) * 2010-03-17 2011-09-22 Edamak Corporation Proximity-sensing panel
US20150109218A1 (en) * 2012-08-09 2015-04-23 Panasonic Corporation Protable electronic device
US20160026255A1 (en) * 2013-03-14 2016-01-28 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
US20150338924A1 (en) * 2014-05-26 2015-11-26 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
CN105259654A (zh) * 2014-07-08 2016-01-20 Lg电子株式会社 眼镜式终端及其控制方法
US20160370931A1 (en) * 2015-06-17 2016-12-22 Japan Display Inc. Display device
CN105282472A (zh) * 2015-10-22 2016-01-27 神画科技(深圳)有限公司 自动测量投影面距离的投影系统及方法
KR20180072621A (ko) * 2018-06-12 2018-06-29 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법

Also Published As

Publication number Publication date
US11132977B2 (en) 2021-09-28
US11450296B2 (en) 2022-09-20
US11663992B2 (en) 2023-05-30
WO2020139518A1 (en) 2020-07-02
KR20210104886A (ko) 2021-08-25
EP3903169A1 (en) 2021-11-03
US20200211500A1 (en) 2020-07-02
US20210280155A1 (en) 2021-09-09
US20220366871A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US11169600B1 (en) Virtual object display interface between a wearable device and a mobile device
US10962809B1 (en) Eyewear device with finger activated touch sensor
US11747915B2 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US11450296B2 (en) Fade-in user interface display based on finger distance or hand proximity
KR102653796B1 (ko) 3차원 깊이 비디오들 및 이미지들에서 쇼크웨이브들의 생성
CN112771438B (zh) 利用二维输入选择对三维深度图像进行深度雕塑
CN114080800A (zh) 利用双摄像头进行连续摄像头捕捉
CN115804025A (zh) 卷帘快门相机流水线曝光时间戳误差确定
CN115735179A (zh) 增强现实眼戴器与情绪共享
US11900058B2 (en) Ring motion capture and message composition system
US20230063078A1 (en) System on a chip with simultaneous usb communications
CN116324679A (zh) 上下文相关的眼戴器遥控器
US11762202B1 (en) Ring-mounted flexible circuit remote control
US11863860B2 (en) Image capture eyewear with context-based sending
US20230350506A1 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination