CN111651045A - 动态相机或灯操作 - Google Patents
动态相机或灯操作 Download PDFInfo
- Publication number
- CN111651045A CN111651045A CN202010495864.0A CN202010495864A CN111651045A CN 111651045 A CN111651045 A CN 111651045A CN 202010495864 A CN202010495864 A CN 202010495864A CN 111651045 A CN111651045 A CN 111651045A
- Authority
- CN
- China
- Prior art keywords
- camera
- determining
- user
- occluded
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 86
- 230000003213 activating effect Effects 0.000 claims description 25
- 210000001747 pupil Anatomy 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000007958 sleep Effects 0.000 abstract description 3
- 238000009432 framing Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000005265 energy consumption Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 210000004087 cornea Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Stroboscope Apparatuses (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
本申请涉及动态相机或灯操作。计算设备的用户可通过用户眼睛的移动与计算设备交互。可使用计算机视觉算法，诸如眼睛追踪和注视检测算法，来分析由计算设备上的相机拍摄的用户的眼睛或面部的图像。在使用计算设备期间，照亮用户的一个或多个灯或对用户进行取景的相机可能被遮挡。该设备可配备有比该设备执行注视检测所需更多的灯或相机。在过配备的设备中，附加的灯或相机可保持休眠状态，直到检测到遮挡。响应于相机或灯变为被遮挡，可激活休眠灯或相机。
Description
本申请是申请日为2016年01月07日，申请号为201680004601.7，发明名称为“动态相机或灯操作”的申请的分案申请。
相关申请的交叉引用
本申请要求于2015年1月7日提交的名称为“Dynamic Camera or LightOperation”的美国临时专利申请No.62/100,721的优先权，其全部内容通过引用并入本文。
技术领域
本公开总体上涉及利用眼睛追踪的用户界面和控制，更具体地，涉及在眼睛追踪系统的使用期间调整发光二极管(LED)输出或相机输入的系统和方法。
背景技术
可使用眼睛追踪技术来确定用户的注视，所述眼睛追踪技术基于存在于用户的眼睛或面部的图像中的眼睛信息来确定用户注视的位置。不良的照明或图像质量可能导致错误的眼睛追踪。
发明内容
本申请提供了以下内容：
1)一种系统，包括：
一组光源；和
处理器，操作地耦接到所述一组光源，并且所述处理器被配置为执行操作，所述操作包括：
激活所述一组光源的子集，所述子集小于所述组；
确定来自第一光源的光没有到达用户的眼睛，所述第一光源在经激活的光源子集中；和
基于所述确定，减少从所述第一光源发出的光的量并激活所述一组光源的第二光源，所述第二光源不在所述经激活的光源子集中。
2)根据1)所述的系统，其中，所述确定来自第一光源的光没有到达用户的眼睛是基于靠近所述第一光源的近程传感器。
3)根据1)或2)所述的系统，其中，所述确定来自第一光源的光没有到达用户的眼睛包括：
将所述用户的眼睛的第一图像与所述用户的眼睛的第二图像进行比较；以及
基于所述比较，确定来自所述经激活的光源子集中的所述第一光源的反射存在于所述第一图像中并且不存在于所述第二图像中。
4)根据前述1)至3)中任一项所述的系统，其中，减少从所述第一光源发出的光的量包括：降低所述第一光源的强度。
5)根据前述1)至4)中任一项所述的系统，其中，减少从所述第一光源发出的光的量包括：降低所述第一光源的闪光频率。
6)根据前述1)至3)中任一项所述的系统，其中，减少从所述第一光源发出的光的量包括：使所述第一光源停用。
7)根据前述1)至6)中任一项所述的系统，其中，所述操作进一步包括：
确定来自经减小的所述第一光源的光到达所述用户的眼睛；以及
基于该确定，并且由机器的处理器，减少从所述第二光源发出的光的量并恢复所述第一光源。
8)一种计算机实现的方法，包括：
激活一组光源的子集，所述子集小于所述组；
将用户的眼睛的第一图像与所述用户的眼睛的第二图像进行比较；
基于所述比较，确定来自经激活的光源子集中的第一光源的反射存在于所述第一图像中并且不存在于所述第二图像中；以及
基于所述确定，减少从所述第一光源发出的光的量并激活所述一组光源的第二光源，所述第二光源不在所述经激活的光源子集中。
9)根据8)所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括：降低所述第一光源的强度。
10)根据前述8)或9)中任一项所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括：降低所述第一光源的闪光频率。
11)根据8)所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括：使所述第一光源停用。
12)根据前述8)至11)中任一项所述的计算机实现的方法，进一步包括：
基于所述第一光源识别所述第二光源。
13)根据前述8)至12)中任一项所述的计算机实现方法，进一步包括：
将用户的眼睛的第三图像与所述用户的眼睛的第四图像进行比较；
基于所述比较，确定来自经减少的所述第一光源的反射不存在于所述第三图像中并且存在于所述第四图像中；以及
基于该确定，并且由机器的处理器，减少从所述第二光源发出的光的量并恢复所述第一光源。
14)一种存储指令的机器可读存储介质，所述指令当由一个或多个处理器执行时，使所述一个或多个处理器执行根据8)至13)中任一项所述的方法。
附图说明
一些示例实施例通过示例的方式进行了说明，而非限制在附图中的示图中。
图1是根据一些示例实施例的能够进行动态相机或LED操作的示例计算设备的设备图。
图2是根据一些示例实施例的用于动态相机或LED操作的示例系统架构的框图。
图3是根据一些示例实施例的在动态眼睛追踪校准中使用的示例数据流的框图。
图4A至4B是根据一些实施例的描绘关于显示器的眼睛追踪技术的示意图。
图5是根据一些示例实施例的动态LED操作的示例过程的流程图。
图6是根据一些示例实施例的动态LED操作的示例过程的流程图。
图7是根据一些示例实施例的动态相机操作的示例过程的流程图。
图8是根据一些示例实施例的动态相机操作的示例过程的流程图。
图9是根据一些示例实施例的示例形式为计算机系统的机器的框图，在该系统中，可执行用于使机器执行本文所讨论的任何一种或多种方法的一组指令。
具体实施方式
描述了用于动态相机或LED操作的示例系统和方法。在下面的描述中，出于说明的目的，阐述了许多具体细节以便提供对示例实施例的透彻理解。但是，对于本领域的技术人员将显而易见的是，可在没有这些具体细节的情况下实践本技术。
计算设备的用户可通过用户眼睛的运动与计算设备上显示的对象和应用进行交互以及控制。可使用诸如眼睛追踪和注视检测算法的计算机视觉算法来分析由计算设备上的相机或耦接到计算设备的设备拍摄的用户的眼睛或面部的图像。然后，计算设备可使用所提取的信息来确定用户眼睛的位置和定向，并估计用户的注视位置。用户的注视位置是对用户正在看哪里的估计(例如，相对于用户的三维(3-D)空间中和用户正在看的位置)，并且可包括诸如用户视线、关注点、用户注视的汇聚深度或其任何合适的组合的信息。为了便于图像的拍摄，可使用由该设备控制的灯(例如，LED)照亮用户的面部。例如，拍摄的图像可被处理以提取与用户眼睛或面部的特征有关的信息。
在使用计算设备期间，可能发生对于注视检测器所接收的图像的质量产生影响的事件。例如，一个或多个照亮用户的灯可能会被遮挡，从而降低拍摄的用户眼睛的图像的质量。作为另一实例，拍摄用户的图像的一个或多个相机可能被遮挡，减少了可用于注视检测器的数据量。
可通过使用靠近灯或相机的近程传感器、通过靠近灯或相机的光传感器、通过分析一个或多个相机拍摄的一个或多个图像或其任何合适的组合，检测对于灯或相机的遮挡。该设备可配备有比执行眼睛追踪所需更多的灯或相机。例如，在特定设备上可能需要两个灯和一个相机来执行眼睛追踪，但是该设备可配备四个灯和两个相机。在过配备(over-equipped)的设备中，附加的灯或相机可保持休眠状态，直到检测到遮挡。例如，该系统可以检测到来自特定光源的光未到达用户的眼睛。响应于相机或灯被遮挡，可激活休眠灯或相机。以这种方式，可部分地或完全地缓解注视检测质量的损失。
图1是在眼睛追踪系统的使用期间能够促进眼睛追踪控制和调节光输出或相机输入的示例计算设备的设备图。尽管在整个说明书中描述了眼睛追踪控制，但是本领域普通技术人员将会理解该示例计算设备可被动地用于记录用户的眼睛运动，而不需要用户用眼睛控制计算设备(例如，以便于可用性研究或确定车辆中驾驶员的嗜睡水平)。眼睛追踪控制是指基于追踪用户眼睛活动来控制设备或在设备上运行的软件。例如，基于用户眼睛的位置或运动，屏幕上的对象可被移动，可输入文本，可与用户界面进行交互，等等。
计算设备可以是任何类型的计算设备，包括但不限于，智能电话、个人数字助理(PDA)、移动电话、计算平板计算机、电子阅读器、电视、笔记本计算机、桌面计算机、显示设备、头戴式显示器、虚拟现实头盔、增强现实头盔等。在一些示例实施例中，将计算设备集成或安装到交通工具(例如，汽车、船或飞机)或家用电器(例如，冰箱、电视机、游戏机等)中。在眼睛追踪控制期间，在计算设备立在或搁置在表面上时，可由用户通过一只手、双手握住计算设备而使用该计算设备，或者计算设备戴在用户头部。
计算设备可包括相机C和一个或多个LED。在图1的实例中，示出了四个LED L1至L4。出于说明的目的，本文的讨论将继续涉及LED L1至L4。但是，可使用任何适当的发光源(例如，红外(IR)激光)来代替LED L1至L4中的一个或多个。
计算设备可包括可以按照任何方式放置在计算设备内的适当位置的任何数量的LED L1至L4(例如，IR LED)。在一些示例实施例中，一个或多个LED可与一个或多个相机以如下方式同步，即，使得当一个或多个相机正在抓取帧时一个或多个LED开启，否则关闭。在一些示例实施例中，如果在预定时间段内没有检测到移动或者如果计算设备进入睡眠模式，可关闭LED。
眼睛追踪控制软件可分析相机C拍摄的图像，以提供相对于屏幕的坐标(x，y，z或x，y)，指示用户正看计算设备的显示器哪里。这些坐标可用于任何数量的应用(例如，滚动、移动对象、选择图标、玩游戏、收集数据进行分析等)。
图2是用于促进眼睛追踪控制和其校准的示例系统架构200的框图。可使用硬件模块(例如，计算设备的适当配置的中央处理单元(CPU)或CPU和计算设备的图形处理单元(GPU)的组合)来实现系统架构200中的任何一个或多个组件202至220。在一些示例实施例中，系统架构200的任何一个或多个组件202至220可包括在专用芯片上运行的软件。软件可作为后台进程运行(例如作为操作系统(OS)的一部分时、在网络浏览器中等)，并且可提供其他应用可访问的应用程序编程接口(API)204。API 204可发送警报(例如，引发事件)或使用一些其他类似的机构来将注视信息发送到其他应用。
系统架构200可被划分成不同的层。硬件层可包括可对应于相应硬件(例如，相机、红外照明等)的相机模块218和红外照明模块220。相机层可包括相机控制模块214，相机控制模块214可负责与一个或多个相机进行通信，以便进行相机操作，诸如例如启动相机、抓取图像、控制相机性能等。该层还可包括相机和光源同步模块216，其可使一个或多个相机和红外发射器同步，使得光被眼睛追踪软件控制，以便改善对用户眼睛的追踪和最小化能量消耗。在一些示例实施例中，相机层可被配置为以相机触发输出的频率使红外LED闪光。
相机层可将图像传送到眼睛追踪层。在眼睛追踪层中，眼睛检测和追踪模块208可处理图像以找到例如面部位置、眼睛区域位置、瞳孔中心、瞳孔大小、角膜反射的位置、眼角、虹膜中心、虹膜尺寸等的特征。这些特征可用于确定不同的用户度量(例如，车辆中的驾驶员的嗜睡)。此外，这些特征可由注视估计模块206在注视估计阶段中使用，注视估计模块206可负责使用由眼睛检测和追踪模块208计算的特征计算用户的关注点或视线。用户的关注点可以是用户正在看显示器上的位置、用户正在看的另一个平面上的位置、用户正在看的三维点或用户正在看的平面。注视估计模块206还可计算用户眼睛的特定特征，诸如光轴和视轴、3D空间中角膜中心和瞳孔的位置等。也可使用这些特征来计算在给定显示器或平面上的关注点。
动态控制模块210处理传感器信息以检测被遮挡的灯或相机并引起适当的反应。例如，眼睛检测和追踪模块208可确定对应于灯的闪光已经消失。动态控制模块210可通过使对应的灯停用、选择另一个已停用的灯并且经由红外照明模块220激活该另一个已停用的灯，从而对闪光的消失做出响应。作为另一实例，靠近相机的近程传感器可检测到相机已经被覆盖。响应于该传感器，动态控制模块210可选择已停用的相机并经由相机控制模块214或相机模块218激活它。
API层可用于眼睛追踪层和使用眼睛注视信息的应用202(例如，使用眼睛注视信息的OS层或游戏)之间的通信。尽管OS 212在图2中示出为介于眼睛追踪层和相机层之间，在一些示例实施例中，相对位置被反转，并且眼睛追踪层介于OS 212和相机层之间。API模块204可发送由眼睛追踪层计算的数据，诸如关注点的坐标、用户眼睛的3-D位置、瞳孔大小、眼睛之间的距离、头部朝向、头部移动等。API模块204还可接受来自应用对于眼睛追踪层的命令(例如，启动或停止眼睛追踪引擎、查询特定信息、向引擎通知用户可能看到的视觉元素的位置和大小，或任何合适的组合)。应用模块202和OS 212可连接到眼睛追踪器的API模块204，并且使用眼睛注视信息用于任何合适的目的(例如，控制应用或游戏、记录用于视觉行为研究的眼睛数据、调整屏幕上的信息的透明度或其任何合适的组合)。
图3是用于促进眼睛追踪控制和其校准的示例数据流的框图。相机和红外照明模块302可使用一个或多个相机、环境光、发射的可见光、发射的红外光或其任何合适的组合，拍摄用户的图像(例如，拍摄用户的面部或一只或两只眼睛的照片)。眼睛特征检测模块304可使用所拍摄的图像数据来检测眼睛特征(例如，眼睛的位置和定向、瞳孔、虹膜、角膜反射或其任何合适的组合)。使用检测到的眼睛特征，注视估计模块306可估计用户的关注点或视线，其然后可用于通过眼睛控制模块308来控制应用的方面。
图4A和4B是描绘关于显示器的眼睛追踪技术的示意图。在图4A中，O是坐标系XYZ的中心，L1-n是光源。在一些实施例中，一个或多个相机和一个或多个光源L1-n相对于O的位置是已知的。在一些实施例中，屏幕S相对于O的位置是已知的。在一些实施例中，一些相机参数是已知的，包括焦距，光学中心等。使用已知参数，可确定未知值。
在一些实施例中，如上所述，眼睛追踪系统内置在屏幕中或者被安装在屏幕上的特定位置。在一些其他实施例中，眼睛追踪系统的组件(例如，一个或多个相机和一个或多个光源)被集成到另一个元件(诸如汽车仪表板、头戴式显示器、虚拟现实头盔(virtualreality headset)或头盔(helmet))中。
眼睛追踪系统可捕捉关于用户的眼睛和面部特征的信息，包括瞳孔中心、瞳孔椭圆、角膜反射、眼角、面部定向等。瞳孔中心是已检测的瞳孔的中心的点。瞳孔椭圆是(圆形)瞳孔的图像中的椭圆形表示。瞳孔椭圆的偏心与用户注视的方向与相机至眼睛的线之间的角度有关。角膜反射是从角膜反射的光。当光源L和相机O之间的关系是已知的时，可使用相对于瞳孔中心测量的光源的角膜反射的位置来识别注视方向。当光源L和相机O之间的关系未知时，可使用诸如插值方法、基于交比率的方法或其任何合适的组合的非硬件校准技术来计算用户的关注点。
图4B示出了相对于原点O在3-D空间中计算的眼睛特征，使得视轴可被计算并且与显示平面相交。对于一个或多个相机和相机的固有参数,图像平面上的角膜反射的位置G可与3-D空间的光源的位置L结合使用，以计算角膜中心在3-D空间中的位置C。例如，可追踪从每个光源L经由角膜到每个相机的光线。每个光源相机对提供单独的光线并且识别角膜表面上的点。通过在这些点之间进行三角测量，可确定角膜半径和位置C。当使用更多的相机或光源时，可提高测量的精度。
瞳孔中心在图像平面上的位置p可与角膜中心在3-D空间中的位置C、眼睛和空气的光学性质以及相机的固有参数结合使用，以便计算瞳孔中心在3-D空间中的位置C。例如，相机拍摄瞳孔的图像，但角膜中心的实际位置与由所述图像直接指示的位置不同，因为瞳孔位于角膜后面，并且光线在角膜和空气之间的交界处被折射。因此，将这种折射考虑在内，来调整瞳孔中心的表象位置。
在3-D空间中瞳孔中心的位置E和角膜中心的位置C限定称为光轴的矢量。实际的视线也可称为视轴，相对于光轴具有角度偏移，称为α和β，通常水平地约为5°，垂直地约为1.5°。α和β对于每个人可能为不同的值，因此可在每个用户的基础上进行计算。
可经由校准过程来计算α和β，这可在用户与计算设备上的某些视觉元素交互时明确地或隐含地发生。
一旦视轴已知，光线可与屏幕平面相交，交点提供用户正在观看的屏幕注视坐标。也可在用户校准过程中计算其他眼睛参数(如角膜半径或瞳孔中心和角膜中心之前的距离)，以提高对于屏幕注视坐标的计算精度(由于角膜中心，因此光轴和视轴的估计更好)。否则，可使用平均值(例如角膜半径为7.8mm)。
在所述用户校准期间要校准的未知事项的总集合可包括任何未知信息，诸如眼睛参数(例如，光轴和视轴之间的偏移α和β、角膜半径Rc、瞳孔中心和角膜中心之间的距离h、折射指数n等)和硬件参数(例如，相对于眼睛追踪设备在3-D空间中的位置S的屏幕位置和定向，和屏幕尺寸(宽度w，高度h))。在校准之前已知的信息可包括光源相对于一个或多个相机L1至Ln的位置、一个或多个相机的相机参数(例如，焦距、光学中心等)等。
在一些示例实施例中，屏幕尺寸(w，h)可以是已知的或可通过软件(例如，通过操作系统API)以编程方式获得并用作现有的已知信息。在一些实施例中，一些眼睛参数可取恒定值来减小未知数的维度空间。
图5是根据一些示例实施例的动态LED操作的示例过程500的流程图。过程500的操作510至540被描述为由图2所示的组件或模块执行，作为实例而非限制。
在操作510中，使用设备上的光源子集开始眼睛追踪。例如，图1的L3和L4可由红外照明模块220启用。
在操作520中，在使用该设备期间，动态控制模块210可检测已启用的灯之一被遮挡。例如，由设备中的紧邻L3的近程传感器检测到握持设备100的用户可能将拇指放在L3上。作为另一实例，用户可能佩戴眼镜，眼镜框可能会遮挡从L3发出的光。系统可通过分析相机拍摄的图像来检测这种情况。
在操作530中，动态控制模块210减弱被遮挡的灯。继续这个例子，灯L3减弱。减弱该灯会降低功耗、减少发热或两者兼而有之。在一些示例实施例中，减弱灯L3是通过完全关闭灯L3、通过降低灯L3的强度、通过降低L3的闪光频率或其任何合适的组合来实现的。
在操作540中，动态控制模块210激活未被遮挡的光。可用的灯可被优先考虑为彼此的替代品。例如，在设备右下角的L3可具有L2(右上)作为第一替代，L4(左下)作为第二替代，以及L1(左上)作为第三替代。在这种情况下，由于L4已经开启，所以将选择L2作为被遮挡的L3的替代。如果L 2也被遮挡，则将选择L1。
在一些示例实施例中，灯被成对地或以更大的组处理。例如，灯L3和L4可形成一对，并且灯L1和L2可形成另一对。当L3或L4被遮挡时，L3和L4都被禁用，L1和L2都被启用。对于成对的灯，单独处理灯可能是退路。例如，以开启L3和L4并关闭L1和L2的配置开始，当L3被遮挡时，检查L1和L2是否都可用。如果都可用，L3和L4被禁用，L1和L2被启用。如果两对都未被遮挡(例如，L3和L2被遮挡)，则可使用单独的灯L4和L1(例如，因为L1是L3的最高优先级未遮挡替代)。
每个灯的优先级可基于多个度量(例如，每个灯的位置、设备的定向、用户相对于设备的相对定向、每个灯被阻挡的概率、追踪的质量、注视估计的精度、图像中的噪点或其任何合适的组合)计算。优先级可能会随用户使用设备而更新。例如，如果用户正在以纵向模式使用设备并将其旋转90度以在横向模式下使用，每个灯的优先级可能会更新。
监视被遮挡的灯的过程可在设备的运行期间继续，在图5中由在操作540完成后返回到操作520的控制流程表示。
图6是根据一些示例实施例的动态LED操作的实例方法的流程图。过程600的操作510至670被描述为由图2所示的组件或模块执行，作为实例而非限制。过程600的操作510至540在上面参照图5进行描述。
在操作650中，动态控制模块210确定被遮挡的灯不再被遮挡。响应于该确定，先前被遮挡的灯被重新启用(操作660)，并且其替代品被关闭(操作670)。这可能反映了更高优先级的灯的解除遮挡。例如，如果最高优先级的灯配置是使L3和L4开启，则当L3或L4被遮挡(在操作520中检测到)时，将使用不同的灯配置(在操作530和540中设置)。然后，如果L3变为解除遮挡，L3将被重新启用，并且L3的替代灯被禁用或减弱(操作650至670)。监视被遮挡或解除遮挡的灯的过程可在设备的运行期间继续，在图6中由在操作670完成后返回到操作520的控制流程表示。
光源的解除遮挡可由近程传感器确定。例如，如果由灯L3附近的近程传感器检测到用户的拇指遮挡灯L3，则近程传感器可稍后确定拇指已移开并且灯已解除遮挡。
在一些示例实施例中，通过图像分析确定减弱的光源的解除遮挡。例如，如果通过降低灯L3闪光频率来减弱灯L3，则一旦灯L3不再被阻挡，则由灯L3产生的反射离开眼睛的闪烁将与降低的闪光频率同步再次出现。因此，当闪光再现时，灯L3的闪烁频率可恢复到其正常值(例如，在操作660中)。
图7是根据一些示例实施例的动态相机操作的示例过程700的流程图。过程700的操作710至740被描述为由图2所示的组件或模块执行，作为实例而非限制。
在操作710中，使用设备上的相机子集开始眼睛追踪。例如，图1的设备1可具有屏幕上方的由相机模块218启用的相机C和当眼睛追踪开始时被禁用的屏幕下方的第二相机C2(未示出)。
在使用设备期间，在操作720中，动态控制模块210可检测到所启用的相机中的一个被遮挡。例如，由紧邻C的设备中的近程传感器检测到握持设备100的用户可能将拇指放在C上。作为另一实例，可通过比较由C拍摄的两个图像来执行被遮挡的相机的检测。当由C拍摄的第一图像显示用户的眼睛并且由C拍摄的第二图像不显示时，系统可断定相机C已被遮挡。
在操作730中，动态控制模块210减少了被遮挡的相机的功耗。继续这个例子，相机C被关闭。关闭相机会降低功耗、减少发热、降低CPU使用或其任何组合。在一些示例实施例中，遮挡的相机不是完全关闭，而是被配置为低功率模式，诸如待机，或设置为以更低的分辨率和帧速率拍摄图像，从而更快地转换到“开启”状态。
在操作740中，动态控制模块210激活非遮挡的相机。可用的相机可被优先考虑为彼此的替代品。例如，C可具有C2作为第一替代，第三相机C3(未示出)作为第二替代。在这种情况下，C2将被启用替代C，除非C2也被遮挡。
在一些示例实施例中，相机被成对地或以更大的组对待处理。上述关于图5中的配对灯的方法也可用于相机。
监视被遮挡的相机的过程可在设备的运行期间继续，在图7中由在操作740完成后返回到操作720的控制流程表示。
图8是根据一些示例实施例的动态相机操作的示例过程800的流程图。过程800的操作710至870被描述为由图2所示的组件或模块执行，作为实例而非限制。过程800的操作710至740在上面参照图7进行了描述。
在操作850中，动态控制模块210确定被遮挡的相机不再被遮挡。响应于该确定，先前被遮挡的相机被重新启用(操作860)，并且其替代品被关闭或以其它方式置于低功率模式(操作870)。这可能反映了更高优先级相机的解除遮挡。例如，如果最高优先级相机为C，则当C被遮挡(在操作720中检测到)时，将使用不同的相机配置(在操作730和740中设置)。那么，如果(例如，靠近C附近的近程传感器检测到)C变成未遮挡，C将被重新启用，并且C的替代相机被禁用(操作850至870)。监视遮挡或未遮挡相机的过程可在设备的运行期间继续，在图8中由在操作870完成后返回到操作720的控制流程表示。
由于用户相对于所述相机的定向，相机可能被遮挡。例如，用户可转他或她的头部，并且相机可能没有到用户的眼睛的视线(例如视线可能被用户的眼皮遮挡)。系统可能会在一个或多个相机提供的图像或多个图像上检测到这种情况，并且作为响应，可能关闭所述相机并开启相对于用户具有更好定向的不同相机。例如，如果设备右侧的相机被遮挡，则设备左侧的相机可能会被激活。
本文描述的方法和系统可提供优于现有方法和系统的优点。例如，即使光源或相机被遮挡，通过检测组件何时被遮挡(例如，当与触摸屏交互时由用户的手或拇指遮挡)并无缝切换到不同的组件，相机和光源的动态控制也可允许眼睛追踪会话继续。作为另一个实例，确定没有足够的非遮挡组件可用，允许自动关闭眼睛追踪功能，从而减少电池消耗。作为又一个实例，使用来自可用(即，未遮挡)的组件的组件最佳组合可改善眼睛追踪质量以及注视估计精度。
某些示例实施例在本文中被描述为包括逻辑或多个组件、模块或机构。模块可构成软件模块(例如，在机器可读介质上或传输信号中实现的代码)或硬件模块。硬件模块是能够执行某些操作并且可以以某种方式配置或布置的有形单元。在示例实施例中，计算机系统(例如，处理器或一组处理器)的一个或多个计算机系统(例如，单机、客户端或服务器计算机系统)或一个或多个硬件模块可由软件(例如，应用或应用部分)配置为操作以执行如本文所述的某些操作的硬件模块。
在各种示例实施例中，可机械地或电子地实现硬件模块。例如，硬件模块可包括永久配置的专用电路或逻辑(例如，作为特殊用途处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))来执行某些操作。硬件模块还可包括由软件临时配置以执行某些操作的可编程逻辑或电路(例如，包含在通用处理器或其他可编程处理器内)。应当理解，在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中机械地实现硬件模块的决定可由成本和特征考虑来驱动。
因此，术语“硬件模块”应被理解为包括有形实体，即物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)以便以某种方式操作或执行本文所述的某些操作的实体。考虑到其中硬件模块被临时配置(例如，编程)的实施例，每个硬件模块不需要在任何一个时间被配置或实例化。例如，在硬件模块包括使用软件配置的通用处理器的情况下，通用处理器可在不同时间被配置为相应的不同的硬件模块。因此，软件也可配置处理器，例如，以便在一个时间点构成特定的硬件模块，并在不同的时间点构成不同的硬件模块。
硬件模块可向其他硬件模块提供信息和从其他硬件模块接收信息。因此，所描述的硬件模块可被认为是通信耦接的。在同时存在多个这样的硬件模块的情况下，可通过连接硬件模块的信号传输(例如，通过适当的电路和总线)实现通信。在其中在不同时间配置或实例化多个硬件模块的示例实施例中，这种硬件模块之间的通信可例如通过存储和检索多个硬件模块具有访问的存储器结构中的信息来实现。例如，一个硬件模块可执行操作，并将该操作的输出存储在与其通信耦接的存储器设备中。然后，进一步的硬件模块可在稍后的时间访问存储器设备以检索和处理存储的输出。硬件模块还可启动与输入或输出设备的通信，并且可对资源(例如，信息集合)进行操作。
本文描述的实例方法的各种操作至少部分地由临时配置(例如通过软件)或永久配置以执行相关操作的一个或多个处理器来执行。无论是临时还是永久配置，这些处理器可构成处理器实现的模块，操作以执行一个或多个操作或功能。在一些示例实施例中，这里所指的模块可包括处理器实现的模块。
类似地，本文描述的方法可至少部分地被处理器实现。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的模块执行。某些操作的性能可分布在一个或多个处理器中，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例实施例中，处理器或多个处理器可位于单个位置(例如，在家庭环境、办公室环境中或作为服务器农场)，而在其他示例实施例中，处理器可分布在多个位置。
一个或多个处理器还可操作以支持在“云计算”环境中或作为“软件即服务”(SaaS)中的相关操作的性能。例如，至少一些操作可由一组计算机执行(作为包括处理器的机器的实例)，这些操作可经由网络(例如，因特网)和经由一个或多个适当的接口(例如API)访问。
示例实施例可在数字电子电路中实现，或者在计算机硬件、固件或者它们的组合中实现。示例实施例可使用计算机程序产品实现，例如，有形地体现在信息载体中的计算机程序，例如在用于由数据处理设备执行或控制数据处理设备的运行的机器可读介质中，例如可编程处理器、计算机或多台计算机。
计算机程序可以以任何形式的编程语言编写，包括编译或解释语言，并且它可以以任何形式部署，包括作为独立程序或作为模块、子程序或其他适合在计算环境中使用的单元。计算机程序可被部署以便在一个计算机上或在一个站点的多个计算机上执行或分布在多个站点上并由通信网络互连。
在示例实施例中，操作可由一个或多个执行计算机程序的可编程处理器进行操作，以通过对输入数据进行操作并生成输出来执行功能。方法操作也可由专用逻辑电路(例如，FPGA或ASIC)执行，并且示例实施例的装置可被实现为专用逻辑电路(例如，FPGA或ASIC)。
计算系统可包括客户端和服务器。客户端和服务器通常彼此远离，通常通过通信网络进行交互。客户端和服务器之间的关系是由于在相应的计算机上运行的计算机程序并且彼此之间具有客户端-服务器关系而产生的。在部署可编程计算系统的示例实施例中，应当理解硬件和软件架构都需要考虑。具体来说，应当理解，是否在永久配置的硬件(例如，ASIC)中、在临时配置的硬件(例如，软件和可编程处理器的组合)或者永久和临时配置的硬件的组合中实现某些功能，可能是设计选择。下面列出了在各种示例实施例中可部署的硬件(例如，机器)和软件架构。
图9是以计算机系统900为示例形式的机器的框图，在该系统中，可执行用于使机器执行本文所讨论的任何一种或多种方法的指令。在替代示例实施例中，机器作为独立设备操作或者可连接(例如，联网)到其他机器。在联网部署中，机器可在服务器-客户端网络环境中的服务器或客户机的能力下运行，或者作为对等(或分布式)网络环境中的对等机器运行。该机器可以是个人计算机(PC)、平板计算机、机顶盒(STB)、PDA、蜂窝电话、网络设备、网络路由器、交换机或网桥，或者能够执行指定该机器要采取的操作的指令(按顺序或其他)的任何机器。进一步地，虽然仅示出了一台机器，但术语“机器”也可被认为包括任何单独或共同执行一组(或多组)指令以执行本文讨论的任何一种或多种方法的机器集合。
示例计算机系统900包括经由总线908彼此通信的处理器902(例如，CPU、GPU或两者)，主存储器904和静态存储器906。计算机系统900可进一步包括视频显示设备910(例如，液晶显示器(LCD)或阴极射线管(CRT))。计算机系统900还包括字母数字输入设备912(例如，键盘)，用户界面(UI)导航设备914(例如，鼠标或触敏显示器)、磁盘驱动单元916、信号产生设备918(例如，扬声器)和网络接口设备920。
磁盘驱动单元916包括机器可读介质922，其上存储了一组或多组指令和数据结构(例如，软件)924，其体现了本文所述的任何一种或多种方法或功能或由本文所述的任何一种或多种方法或功能利用。在由计算机系统900执行期间，指令924也可完全或至少部分地驻留在主存储器904内、静态存储器906内或者处理器902内，主存储器904和处理器902也可包括机器可读介质。
虽然在示例实施例中将机器可读介质922示为单个介质，但术语“机器可读介质”可包括单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)，存储一个或多个指令或数据结构。术语“机器可读介质”也应被视为包括任何有形介质，这些介质能够存储、编码或承载由机器执行的指令并且使得机器执行本技术的任何一种或多种方法，或者能够存储、编码或承载由这些指令使用或与之相关联的数据结构。因此，术语“机器可读介质”应被视为包括，但不限于固态存储器、以及光学和磁性介质。机器可读介质的具体实例包括非易失性存储器，包括例如半导体存储器件，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存器件；诸如内部硬盘和可移动磁盘的磁盘；磁光盘；和CD-ROM和DVD ROM磁盘。
可使用传输介质进一步通过通信网络926发送或接收指令924。指令924可使用网络接口设备920和众多众所周知的传输协议(例如，HTTP)中的任何一个传输。通信网络的实例包括局域网(LAN)、广域网(WAN)、因特网、移动电话网、普通老式电话(POTS)网络和无线数据网络(例如，WiFi和WiMAX网络)。术语“传输介质”应被视为包括任何无形介质，这些无形介质能够存储、编码或承载由机器执行的指令，并且包括数字或模拟通信信号或其他无形介质以便于这种软件的通信。
虽然已经参考具体示例实施例描述了本发明的主题，但是显而易见的是，在不脱离本发明的范围的情况下，可对这些实施例进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。形成其一部分的附图通过说明而非限制的方式示出可实践主题的具体实施例。足够详细地描述所示出的示例实施例，以使本领域技术人员能够实践本文公开的教导。可利用和导出其他实施例，使得可在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，这个具体实施方式不应被认为是限制性的，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
以下列举的实例定义了本文讨论的方法、机器可读介质和系统(例如，设备)的各种示例实施例：
实施例1.一种系统，包括：
一组光源；和
处理器，操作地耦接到所述一组光源并且被配置为执行操作，所述操作包括：
激活所述一组光源的子集，所述子集小于所述组；
确定来自第一光源的光没有达到用户的眼睛，所述第一光源在经激活的所述光源子集中；和
基于所述确定，减少从所述第一光源发出的光的量并激活所述组光源的第二光源，所述第二光源不在所述经激活的光源子集中。
实例2.根据实例1所述的系统，其中，确定来自所述第一光源的光未到达所述用户的眼睛是基于靠近所述第一光源的近程传感器。
实例3.根据实例1或2所述的系统，其中，确定来自所述第一光源的光未到达所述用户的眼睛包括：
将所述用户的眼睛的第一图像与所述用户的眼睛的第二图像进行比较；以及
基于所述比较，确定来自在所述经激活的光源子集中的第一光源的反射存在于所述第一图像中但不存在于所述第二图像中。
实例4.根据实例1到3中任一个所述的系统，其中，减少从所述第一光源发出的光的量包括停用所述第一光源。
实例5.根据实例1到3中任一个所述的系统，其中，减少从所述第一光源发出的光的量包括降低所述第一光源的强度。
实例6.根据实例1、2、3或5中的任一个所述的系统，其中，减少从所述第一光源发出的光的量包括降低所述第一光源的闪光频率。
实例7.根据实例1至6中任一个所述的系统，其中，所述操作进一步包括：
确定来自经减少的第一光源的光到达所述用户的眼睛；以及
基于所述确定，减少从所述第二光源发出的光的量并恢复所述第一光源。
实例8.一种计算机实现的方法，包括：
激活一组光源的子集，所述子集小于所述组；
将用户眼睛的第一图像与所述用户眼睛的第二图像进行比较；
基于所述比较，确定来自经激活的光源子集中的第一光源的反射存在于所述第一图像但不存在于所述第二图像中；以及
基于所述确定，减少从所述第一光源发出的光的量并激活所述组光源的第二光源，所述第二光源不在经激活的光源子集中。
实例9.根据实例8所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括停用所述第一光源。
实例10.根据实例8所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括降低所述第一光源的强度。
实例11.根据实例8或实例10所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括降低所述第一光源的闪光频率。
实例12.根据实例8至11中任一个所述的计算机实现的方法，
进一步包括：
基于所述第一光源识别所述第二光源。
实例13.根据实例8至12中任一个所述的计算机实现方法，进一步包括：
将用户眼睛的第三图像与所述用户眼睛的第四图像进行比较；
基于所述比较，确定来自经减少的第一光源的反射不存在于所述第三图像中但存在于所述第四图像中；以及
基于所述确定并且由机器的处理器减少从所述第二光源发出的光的量并恢复所述第一光源。
实例14.一种存储指令的机器可读存储介质，所述指令当由一个或多个处理器执行时，使所述一个或多个处理器执行根据权利要求8至13中任一项所述的方法。
实例15.一种包括一个或多个处理器的系统，所述处理器被配置为执行根据权利要求8至13中任一项所述的方法。
实例16.一种计算机实现的方法，包括：
激活所述组光源的子集，所述子集小于所述组；
确定来自第一光源的光没有达到用户的眼睛，所述第一光源在所述经激活的光源子集中；和
基于所述确定，减少从所述第一光源发出的光的量并激活所述组光源的第二光源，所述第二光源不在所述经激活的光源子集中。
实例17.根据实例16所述的计算机实现的方法，其中，来自所述第一光源的光未到达所述用户的眼睛的确定是基于靠近所述第一光源的近程传感器。
实例18.根据实例16或17所述的计算机实现的方法，其中，确定来自所述第一光源的光未到达所述用户的眼睛包括：
将所述用户的眼睛的第一图像与所述用户的眼睛的第二图像进行比较；以及
基于所述比较，确定来自在所述经激活的光源子集中的第一光源的反射存在于所述第一图像中但不存在于所述第二图像中。
实例19.根据实例16到18中任一个所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括停用所述第一光源。
实例20.根据实例16到18中任一个所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括降低所述第一光源的强度。
实例21.根据实例16、17、18或20中的任一个所述的计算机实现的方法，其中，减少从所述第一光源发出的光的量包括降低所述第一光源的闪光频率。
实例22.根据实例16至21中任一个所述的计算机实现的方法，进一步包括：
确定来自经减小的第一光源的光到达所述用户的眼睛；以及
基于所述确定，减少从所述第二光源发出的光的量并恢复所述第一光源。
实例23.一种存储指令的机器可读存储介质，所述指令在被一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求16至22中任一项所述的方法。
实例24.一种存储指令的机器可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作，所述操作包括：
激活一组相机的子集，所述子集小于所述组；
确定来自光源的光的反射未达到第一相机，所述第一相机在经激活的相机子集中；和
基于所述确定，减少所述第一相机的能量消耗并激活所述组相机的第二相机，所述第二相机不在经激活的相机子集中。
实例25.根据实例24所述的机器可读存储介质，其中，减少所述第一相机的能量消耗包括使所述第一相机停用。
实例26.根据实例24所述的机器可读存储介质，其中，减少所述第一相机的能量消耗包括降低所述第一相机拍摄图像的频率。
实例27.根据实例24或实例26所述的机器可读存储介质，其中，减少所述第一相机的能量消耗包括降低所述第一相机拍摄的图像的分辨率。
实例28.根据实例24至27中任一个所述的机器可读存储介质，其中，确定来自光源的光的反射未到达第一相机包括：
将所述用户的眼睛的第一图像与所述用户的眼睛的第二图像进行比较；以及
基于所述比较，确定来自经激活的光源子集中第一光源的反射存在于所述第一图像中但不存于第二图像中。
实例29.根据实例24至28中任一个所述的机器可读存储介质，其中，所述来自所述光源的光的反射未到达所述第一相机的确定是基于靠近所述光源的近程传感器。
实例30.根据实例24至29中任一个所述的机器可读存储介质，其中，来自所述光源的光未到达所述第一相机的确定包括：
将由所述第一相机拍摄的第一图像与由所述第一相机拍摄的第二图像进行比较；以及
基于所述比较，确定用户的眼睛存在于所述第一图像中但不存在于所述第二图像中。
实例31.一种计算机实现的方法，包括：
激活一组相机的子集，所述子集小于所述组；
确定来自光源的光的反射未达到第一相机，所述第一相机在经激活的相机子集中；和
基于所述确定，减少所述第一相机的能量消耗并激活所述组相机的第二相机，所述第二相机不在经激活的相机子集中。
实例32.根据实例31所述的计算机实现的方法，其中，减少所述第一相机的能量消耗包括使所述第一相机停用。
实例33.根据实例31所述的计算机实现的方法，其中，减少所述第一相机的能量消耗包括降低由所述第一相机拍摄图像的频率。
实例34.根据实例31或实例33所述的计算机实现的方法，其中，减少所述第一相机的能量消耗包括降低所述第一相机拍摄的图像的分辨率。
实例35.根据实例31至34中任一个所述的计算机实现的方法，其中，确定来自光源的光的反射未到达第一相机包括：
将所述用户的眼睛的第一图像与所述用户的眼睛的第二图像进行比较；以及
基于所述比较，确定来自经激活的光源子集中第一光源的反射存在于所述第一图像中但不存于第二图像中。
实例36.根据实例31至35中任一个所述的计算机实现的方法，其中，所述来自所述光源的光的反射未到达所述第一相机的确定是基于靠近所述光源的近程传感器。
实例37.根据实例31至36中任一个所述的计算机实现的方法，其中，来自所述光源的光未到达所述第一相机的确定包括：
将由所述第一相机拍摄的第一图像与由所述第一相机拍摄的第二图像进行比较；以及
基于所述比较，确定用户的眼睛存在于所述第一图像中但不存在于所述第二图像。
实例38.一种包括一个或多个处理器的系统，所述处理器被配置成执行实例31至37中任一个所述的计算机实现的方法。
Claims (20)
1.一种方法，包括：
激活被配置为拍摄用户的眼睛的图像的第一相机，以确定所述用户的关注点；
确定所述第一相机已被遮挡，其中，所述确定包括：
确定由所述第一相机拍摄的图像是否包括所述用户的眼睛的瞳孔，以及
响应于确定所述图像不包括所述瞳孔，确定所述第一相机已被遮挡；以及
响应于确定所述第一相机已被遮挡，降低所述第一相机的功耗并且激活第二相机，所述第二相机被配置为拍摄所述用户的眼睛的图像。
2.根据权利要求1所述的方法，其中，确定所述第一相机已被遮挡还包括利用与所述第一相机相邻的近程传感器来检测遮挡。
3.根据权利要求1所述的方法，其中，确定所述第一相机已被遮挡还包括利用与所述第一相机相邻的光传感器来检测遮挡。
4.根据权利要求1所述的方法，其中，降低所述第一相机的功耗包括关闭所述第一相机。
5.根据权利要求1所述的方法，其中，降低所述第一相机的功耗包括在不完全关闭所述第一相机的情况下，将所述第一相机配置为进入低功率模式。
6.根据权利要求1所述的方法，其中，所述第一相机响应于被激活而以第一分辨率拍摄图像，并且其中，降低所述第一相机的功耗包括将所述第一相机配置为以第二分辨率拍摄图像，所述第二分辨率低于所述第一分辨率。
7.根据权利要求1所述的方法，其中，所述第一相机响应于被激活而以第一帧速率拍摄图像，并且其中，降低所述第一相机的功耗包括将所述第一相机配置为以第二帧速率拍摄图像，所述第二帧速率低于所述第一帧速率。
8.根据权利要求1所述的方法，还包括：
向包括所述第一相机和所述第二相机的一组相机中的每个相机分配相应的优先级值，所述第二相机具有所分配的优先级值中的最高优先级值。
9.根据权利要求8所述的方法，还包括：
在激活所述第二相机之后，确定所述第二相机已被遮挡；以及
响应于确定所述第二相机已被遮挡，激活所述一组相机中的被配置为拍摄所述用户的眼睛的图像的第三相机，所述第三相机被激活以具有所分配的优先级值中的第二最高优先级值。
10.根据权利要求1所述的方法，还包括：
确定所述第一相机不再被遮挡；以及
响应于确定所述第一相机不再被遮挡，重新启用所述第一相机并且降低所述第二相机的功耗。
11.一种存储计算机程序指令的非暂时性的计算机可读存储介质，所述指令在由处理器执行时使所述处理器执行包括下列的操作：
激活被配置为拍摄用户的眼睛的图像的第一相机，以确定所述用户的关注点；
确定所述第一相机已被遮挡，其中，所述确定包括：
确定由所述第一相机拍摄的图像是否包括所述用户的眼睛的瞳孔，以及
响应于确定所述图像不包括所述瞳孔，确定所述第一相机已被遮挡；以及
响应于确定所述第一相机已被遮挡，降低所述第一相机的功耗并且激活一组相机中的被配置为拍摄所述用户的眼睛的图像的第二相机。
12.根据权利要求11所述的计算机可读存储介质，其中，确定所述第一相机已被遮挡还包括利用与所述第一相机相邻的近程传感器来检测遮挡。
13.根据权利要求11所述的计算机可读存储介质，其中，确定所述第一相机已被遮挡还包括利用与所述第一相机相邻的光传感器来检测遮挡。
14.根据权利要求11所述的计算机可读存储介质，所述操作还包括：
向包括所述第一相机和所述第二相机的一组相机中的每个相机分配相应的优先级值，所述第二相机具有所分配的优先级值中的最高优先级值。
15.根据权利要求14所述的计算机可读存储介质，所述操作还包括：
在激活所述第二相机之后，确定所述第二相机已被遮挡；以及
响应于确定所述第二相机已被遮挡，激活所述一组相机中的被配置为拍摄所述用户的眼睛的图像的第三相机，所述第三相机具有所分配的优先级值中的第二最高优先级值。
16.根据权利要求11所述的计算机可读存储介质，所述操作还包括：
确定所述第一相机不再被遮挡；以及
响应于确定所述第一相机不再被遮挡，重新启用所述第一相机并且降低所述第二相机的功耗。
17.根据权利要求11所述的计算机可读存储介质，其中，降低所述第一相机的功耗包括关闭所述第一相机。
18.根据权利要求11所述的计算机可读存储介质，其中，降低所述第一相机的功耗包括在不完全关闭所述第一相机的情况下，将所述第一相机配置为进入低功率模式。
19.一种系统，包括：
处理器；和
存储计算机程序指令的非暂时性的计算机可读存储介质，所述指令在由所述处理器执行时使所述处理器执行包括下列的操作：
激活被配置为拍摄用户的眼睛的图像的第一相机，以确定所述用户的关注点；
确定所述第一相机已被遮挡，其中，所述确定包括：
确定由所述第一相机拍摄的图像是否包括所述用户的眼睛的瞳孔，以及
响应于确定所述图像不包括所述瞳孔，确定所述第一相机已被遮挡；以及
响应于确定所述第一相机已被遮挡，降低所述第一相机的功耗并且激活第二相机，所述第二相机被配置为拍摄所述用户的眼睛的图像。
20.根据权利要求19所述的系统，所述操作还包括：
确定所述第一相机不再被遮挡；以及
响应于确定所述第一相机不再被遮挡，重新启用所述第一相机并且降低所述第二相机的功耗。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562100721P | 2015-01-07 | 2015-01-07 | |
| US62/100,721 | 2015-01-07 | ||
| CN201680004601.7A CN107111373B (zh) | 2015-01-07 | 2016-01-07 | 动态相机或灯操作 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680004601.7A Division CN107111373B (zh) | 2015-01-07 | 2016-01-07 | 动态相机或灯操作 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111651045A true CN111651045A (zh) | 2020-09-11 |
Family
ID=55262775
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010495864.0A Pending CN111651045A (zh) | 2015-01-07 | 2016-01-07 | 动态相机或灯操作 |
| CN201680004601.7A Active CN107111373B (zh) | 2015-01-07 | 2016-01-07 | 动态相机或灯操作 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680004601.7A Active CN107111373B (zh) | 2015-01-07 | 2016-01-07 | 动态相机或灯操作 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10156899B2 (zh) |
| EP (2) | EP3243121B1 (zh) |
| JP (2) | JP6442062B2 (zh) |
| KR (2) | KR102200639B1 (zh) |
| CN (2) | CN111651045A (zh) |
| WO (1) | WO2016110451A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106294678B (zh) * | 2016-08-05 | 2020-06-26 | 北京光年无限科技有限公司 | 一种智能机器人的话题发起装置及方法 |
| CN106874895B (zh) | 2017-03-31 | 2019-02-05 | 北京七鑫易维信息技术有限公司 | 一种视线追踪装置及头戴式显示设备 |
| CN108399903B (zh) * | 2018-03-27 | 2020-11-27 | 京东方科技集团股份有限公司 | 一种成像位置的调节方法及装置、平视显示系统 |
| JP7438127B2 (ja) | 2018-04-19 | 2024-02-26 | シーイング マシーンズ リミテッド | 赤外線光源保護システム |
| CN109246292B (zh) * | 2018-08-17 | 2020-01-17 | 珠海格力电器股份有限公司 | 一种终端桌面图标的移动方法及装置 |
| KR102608471B1 (ko) | 2018-11-06 | 2023-12-01 | 삼성전자주식회사 | 눈 추적 방법 및 장치 |
| KR20210011556A (ko) * | 2019-07-22 | 2021-02-02 | 현대자동차주식회사 | 차량 영상 제어 장치, 그를 포함한 시스템 및 그 방법 |
| EP3771967A3 (en) | 2019-08-02 | 2021-06-02 | Canon Kabushiki Kaisha | Electronic device, control method, and computer readable medium |
| US11753036B1 (en) * | 2019-10-15 | 2023-09-12 | Zoox, Inc. | Energy consumption control systems and methods for vehicles |
| KR20210079774A (ko) | 2019-12-20 | 2021-06-30 | 삼성전자주식회사 | 시선 추적 장치를 포함하는 웨어러블 디바이스 및 그 동작 방법 |
| US11175714B2 (en) * | 2019-12-28 | 2021-11-16 | Intel Corporation | Detection of user-facing camera obstruction |
| US11503998B1 (en) | 2021-05-05 | 2022-11-22 | Innodem Neurosciences | Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases |
| CN117321537A (zh) * | 2021-05-17 | 2023-12-29 | 斯纳普公司 | 眼睛佩戴设备动态功率配置 |
| KR20230056938A (ko) | 2021-10-21 | 2023-04-28 | 한국전기연구원 | 리튬친화성 금속염을 포함하는 3차원 전극 구조체 및 그의 제조방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001025003A (ja) * | 1999-07-08 | 2001-01-26 | Canon Inc | カメラシステム及びカメラ制御方法 |
| US20060135265A1 (en) * | 2004-08-06 | 2006-06-22 | Hall Edward K | Electronic word game |
| US20100328444A1 (en) * | 2009-04-01 | 2010-12-30 | Tobii Technology Ab | Adaptive camera and illuminator eyetracker |
| US20140132508A1 (en) * | 2008-09-30 | 2014-05-15 | Apple Inc. | Electronic Devices With Gaze Detection Capabilities |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0694978A (ja) * | 1992-09-14 | 1994-04-08 | Nikon Corp | 視線検出装置 |
| US5686881A (en) | 1996-05-22 | 1997-11-11 | Ridout; John G. | Automatic phone light |
| US7091471B2 (en) * | 2004-03-15 | 2006-08-15 | Agilent Technologies, Inc. | Using eye detection for providing control and power management of electronic devices |
| US7204420B2 (en) * | 2004-08-31 | 2007-04-17 | Symbol Technologies, Inc. | Scanner and method for eliminating specular reflection |
| US7856214B2 (en) | 2007-07-31 | 2010-12-21 | Carmen Rapisarda | Motion activated cell phone lighting |
| US20090262214A1 (en) | 2008-04-20 | 2009-10-22 | Wen-Hsiung Hsieh | Automatic lighting control apparatus |
| US20120194551A1 (en) * | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses with user-action based command and control of external devices |
| JP5622431B2 (ja) * | 2010-04-21 | 2014-11-12 | オリンパス株式会社 | 頭部装着型瞳孔検出装置 |
| US9185352B1 (en) | 2010-12-22 | 2015-11-10 | Thomas Jacques | Mobile eye tracking system |
| US8885877B2 (en) * | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| US8976110B2 (en) | 2011-10-27 | 2015-03-10 | Tobii Technology Ab | Power management in an eye-tracking system |
| US9398229B2 (en) | 2012-06-18 | 2016-07-19 | Microsoft Technology Licensing, Llc | Selective illumination of a region within a field of view |
| JP5947170B2 (ja) * | 2012-09-14 | 2016-07-06 | 京セラ株式会社 | 表示装置ならびに視線入力制御プログラムおよび方法 |
| US20140168372A1 (en) * | 2012-12-17 | 2014-06-19 | Eminent Electronic Technology Corp. Ltd. | Sensing apparatus and sensing method for generating three-dimensional image information |
| US20140320665A1 (en) * | 2013-04-25 | 2014-10-30 | Bacsoft Ltd. | System for reading a meter |
| JP6175945B2 (ja) * | 2013-07-05 | 2017-08-09 | ソニー株式会社 | 視線検出装置及び視線検出方法 |
| US9466988B2 (en) * | 2014-03-08 | 2016-10-11 | Feniex Industries Inc. | Induction power transfer for auxiliary vehicle lights |
| US9329684B2 (en) * | 2014-06-02 | 2016-05-03 | Intel Corporation | Eye tracking with detection of adequacy of lighting |
-
2016
- 2016-01-07 CN CN202010495864.0A patent/CN111651045A/zh active Pending
- 2016-01-07 CN CN201680004601.7A patent/CN107111373B/zh active Active
- 2016-01-07 JP JP2017535422A patent/JP6442062B2/ja active Active
- 2016-01-07 US US14/990,448 patent/US10156899B2/en active Active
- 2016-01-07 EP EP16701905.8A patent/EP3243121B1/en active Active
- 2016-01-07 KR KR1020197009566A patent/KR102200639B1/ko active IP Right Grant
- 2016-01-07 KR KR1020177021299A patent/KR101967281B1/ko active IP Right Grant
- 2016-01-07 WO PCT/EP2016/000017 patent/WO2016110451A1/en active Application Filing
- 2016-01-07 EP EP19210475.0A patent/EP3693835A1/en active Pending
-
2018
- 2018-08-03 US US16/054,775 patent/US20180341329A1/en not_active Abandoned
- 2018-11-22 JP JP2018219318A patent/JP2019067425A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001025003A (ja) * | 1999-07-08 | 2001-01-26 | Canon Inc | カメラシステム及びカメラ制御方法 |
| US20060135265A1 (en) * | 2004-08-06 | 2006-06-22 | Hall Edward K | Electronic word game |
| US20140132508A1 (en) * | 2008-09-30 | 2014-05-15 | Apple Inc. | Electronic Devices With Gaze Detection Capabilities |
| US20100328444A1 (en) * | 2009-04-01 | 2010-12-30 | Tobii Technology Ab | Adaptive camera and illuminator eyetracker |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107111373B (zh) | 2020-06-16 |
| JP6442062B2 (ja) | 2018-12-19 |
| KR101967281B1 (ko) | 2019-04-09 |
| KR20190039344A (ko) | 2019-04-10 |
| KR102200639B1 (ko) | 2021-01-13 |
| JP2019067425A (ja) | 2019-04-25 |
| US20160195927A1 (en) | 2016-07-07 |
| WO2016110451A1 (en) | 2016-07-14 |
| JP2018506781A (ja) | 2018-03-08 |
| EP3693835A1 (en) | 2020-08-12 |
| EP3243121A1 (en) | 2017-11-15 |
| EP3243121B1 (en) | 2019-12-18 |
| CN107111373A (zh) | 2017-08-29 |
| US10156899B2 (en) | 2018-12-18 |
| US20180341329A1 (en) | 2018-11-29 |
| KR20170104516A (ko) | 2017-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107111373B (zh) | 动态相机或灯操作 | |
| KR102021320B1 (ko) | 안구 수렴에 기반한 디스플레이 가시성 | |
| CN106662917B (zh) | 眼睛跟踪校准系统和方法 | |
| US9952666B2 (en) | Systems and methods of eye tracking control on mobile device | |
| US20160139665A1 (en) | Dynamic eye tracking calibration | |
| US9791927B2 (en) | Systems and methods of eye tracking calibration | |
| CN105917292B (zh) | 利用多个光源和传感器的眼睛注视检测 | |
| US9480397B2 (en) | Gaze tracking variations using visible lights or dots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Javier Saint Agustin Lopez Inventor before: Javier Sam Agustin Lopez |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200911 |