CN1696849A - 使用眼睛检测提供对电子设备的控制和功率管理 - Google Patents

使用眼睛检测提供对电子设备的控制和功率管理 Download PDF

Info

Publication number
CN1696849A
CN1696849A CNA2005100539997A CN200510053999A CN1696849A CN 1696849 A CN1696849 A CN 1696849A CN A2005100539997 A CNA2005100539997 A CN A2005100539997A CN 200510053999 A CN200510053999 A CN 200510053999A CN 1696849 A CN1696849 A CN 1696849A
Authority
CN
China
Prior art keywords
control system
equipment
eyes
eye
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100539997A
Other languages
English (en)
Other versions
CN100524113C (zh
Inventor
约翰·斯图尔特·温斯特兰
托特·斯蒂芬·萨赫斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Publication of CN1696849A publication Critical patent/CN1696849A/zh
Application granted granted Critical
Publication of CN100524113C publication Critical patent/CN100524113C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Direct Current Feeding And Distribution (AREA)
  • Image Analysis (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明公开了一种用于设备的控制系统和控制方法。眼睛检测被用来提供受控设备的功率管理或其它操作参数的变化。该系统包括成像器和眼睛检测处理装置，它们协同检测从人眼接收的光。眼睛检测处理装置产生能够被用于确定是否存在一个或多个人或存在指定人的输出。该输出被用作在至少两个功耗状态之间切换受控设备的基础。由于非自然的眼睛眨动模式可以与特定命令相关联，所以眼睛检测也可以被用于允许人主动地调节受控设备的操作条件。

Description

使用眼睛检测提供对电子设备的控制和功率管理
技术领域
本发明一般地涉及电子设备的控制系统，更具体地，涉及使用眼睛检测来对电子设备进行控制和功率管理。
背景技术
各种各样不同类型的电子设备仅在被察看时发挥作用。这些类型的设备的例子有电视机、计算机监视器、膝上显示器、用于蜂窝电话和个人数字助理的显示器以及平板电脑显示器。
某些为方便人们使用而呈现出可视图像的电子设备(比如等离子屏幕电视机)需要相当大的功率。虽然呈现出可视图像的其它设备可能更节能，但是需要使用至少一节电池。电池一般是可充电的，但是电池充电对于用户来说经常并不方便。一些设备在能量有限因而较贵的环境中工作。所以，使功耗最小化是一项重要的产品功能。
除与功率消耗有关的考虑外，还有其它的好处，这些好处来自于将电子设备的操作限制在该操作发挥作用的时间里。一个这样的好处是，设备的使用寿命可得以延长。于是，如果比如等离子屏幕电视机的电子设备就使用小时数而言具有有限的预期寿命，那么设备在这段时间的价值可以通过恰当地调整对设备的使用而得以增加。这适用于并不包括可视显示器的低成本设备，比如光源。于是，如果在炉或壁橱内的灯仅在人们通过炉窗察看或向壁橱内部观察时才“打开”，那么该灯的使用寿命可得以延长。
已存在在适当的时间自动“打开”和/或“关闭”设备的方法。一种已知的技术是监视计算机系统输入设备的活动。于是，当在长时间内键盘或计算机鼠标没有活动时，那么计算机系统可以切换到低功率状态。然后，当计算机系统的用户移动鼠标或开始击键时，那么系统返回到它的完全工作状态。许多电视机具有“休眠”定时器，其中电视机在一段特定时间之后将自动关闭。各种已知的自动改变设备状态的技术对于它们的设计目标而言很好地发挥着作用，但是却存在限制。
电子设备的其它操作参数可以在不接触该设备的情形下被调节。例如，电视机的音量或频道可以使用遥控装置进行改变。该装置显著地增加了对设备操作参数反复进行改变的方便性。但是，可能存在遥控装置不易使用的时候，比如当忘记了遥控装置被放在何处的时候。授予Torch的美国专利No.6,163,281描述了利用眼睛运动来与设备进行通信的系统和方法。可以专门装备眼镜使其包括将光引导到眼睛的发射器，以及包括用于检测由眼睛反射的光的传感器。无线频率发送器然后将数据流发送到远处位置，比如用于控制设备的接收和处理装置。数据流可以是二进制信号，比如Morse代码。该项专利主要将传感器描述为连接到眼镜框架的单个光电池，但是也提到可以替换为传感器阵列，此时处理器访问来自阵列中每个传感器的信号以创建数据流，表示被眼睑覆盖的眼睛表面积百分比。该Torch系统和方法虽然相对于使用传统的遥控装置具有优势，但是为了获得可靠的信息却要求光学部件靠近人的眼睛。
发明内容
控制系统利用成像器和眼睛检测处理装置使得非手动地控制设备的操作参数成为可能。用于提供控制的方法可以基于仅仅检测眼睛是否存在，或基于检测特定眼睛活动，或基于这两者。
在一个实施方案中，眼睛检测处理装置的输出被连接到控制器，该控制器能够在至少两个功耗状态之间切换设备。控制器被配置来根据条件响应进行从一个功耗状态到另一个功耗状态的切换，所述条件响应包括定时因素和眼睛检测因素。对于待执行的第一可能条件响应，控制系统在经过没有检测到人眼的第一时间段后将设备从电源打开状态(power-up state)切换到较低的功耗状态。对于第二可能条件响应，当设备在较低功耗状态时，控制系统在检测到眼睛时将设备切换到电源打开状态。仅仅考虑眼睛是否存在，而不考虑人的注视角度(即，视线)。设备可以具有三个以上的功耗状态，比如电视机或其它具有显示屏的电子设备的电源打开状态、休眠状态和电源关闭状态。如果这样，那么控制器可以被编程来执行一个或多个其他自动响应，这些自动响应基于定时考虑和眼睛检测考虑事项的组合。
在另一个实施方案中，通过使用第一和第二光源可以获得关于眼睛活动和/或眼睛存在的可靠信息，其中，第一光源被放置来以第一照射角度发射光，第一照射角度实质上要比第二光源的照射角度要小。这里使用的“照射角度”是指发出的光的轴线与成像器轴线的角度。照射角度的差异对来自这两个光源并从人眼反射后的成像光提供了可检测的差异。除了成像器、两个光源以及控制器之外，控制系统还可以包括“眼睛命令”的存储装置，这些“眼睛命令”指预定眼睛眨动模式和用于改变正被控制的设备的操作参数的命令之间的相互关系。可由眼睛命令改变的操作参数可以与设备的功耗状态相关，和/或与其它方面相关，比如电视机和其它视频显示系统的音量或频道。
在第三个实施方案中，控制系统使用逐帧比较来获得关于在成像器的视场内是否存在眼睛的可靠信息。第一和第二图像数据帧被产生，然后被用来形成差分图像帧。当这两帧可区分开时，可以设计用来选择和产生这两帧的技术来提供有用的眼睛检测数据。在应用中，用于形成这两帧的技术可以是在形成这两帧中所启动的光源方面可区分的。例如，第一光源可以在产生第一帧期间被启动，第二光源可以在产生第二帧期间被启动，并且这两个光源在两个照射角度、偏振、调制特性以及波长中一个或多个方面是可区分的。这两帧可以是在时间上可区分的，比如第一和第二光源被交替启动以在获得第一帧和获得第二帧之间进行切换。或者，如果二维像素阵列的像素在光学性质(使用透镜或像素本身中的物理差异)或在像素采样的电子技术上是可区分的，那么这两帧可以是在空间上可区分的。
附图说明
图1是根据本发明的控制系统部件的框图。
图2是连接到计算机系统的图1控制系统的示意图。
图3是已被调整来包括图1控制系统的电视机屏幕、显示屏或双态窗口的主视图。
图4是已被调整来包括图1控制系统的炉的透视图。
图5是一种应用图1系统的实现方式的步骤的流程图。
图6是根据本发明使用一对用于瞳孔检测的光源的概念性视图。
图7、8和9是由图6的系统所捕获的人眼的图像。
具体实施方式
参考图1，根据本发明控制系统10的一个实施方案包括用来照射个人眼睛14的检测光源或光源12。在本发明的许多应用中，希望系统对个人的干扰达到最小。例如，当系统被用来调整电视机的功耗或其它操作参数(例如，音量和频道)时，眼睛检测优选地对于观看电视的人来说是透明的。于是，每个光源可以发射可见光光谱外的光。红外光或近红外光非常适于检测人眼的瞳孔，如下面将更全面解释的。在本系统的某些应用中，如果在不需要系统专用光源的情形下，用于检测的目标特征(人眼)反射或产生足够的检测频率的光，那么可以省略检测光源12。另一方面，某些实施方案为了使性能达到最好，需要多个光源，比如当光源被设计用来以不同的照射角度、波长、偏振和/或调制特性发射光时。
控制系统10还包括成像器16，该成像器16被放置来接收在受控设备18操作受关注位置内来自人的眼睛14或双眼的光。受控设备可以是被进行功率管理的一种设备。可替换地或者附加地，其它操作可以被自动改变。对于功率管理，根据在特定时刻或特定时间段是否存在眼睛检测(不管人的注视角度)，该设备或其部件在至少两个功耗状态之间进行切换。受控设备可以仅具有两个功耗状态。对于一个实施例，炉内的灯可以根据人是否位于察看炉内部的位置处而被启动或关闭。对于另一个实施例，电视机或其它视频显示系统可以在三个功耗状态之间切换，即电源打开状态、休眠状态和电源关闭状态。
系统10的用户可以提供“被动输入”或“主动输入”。对于被动输入，系统仅仅监视是否存在眼睛，并且因此改变至少一个操作参数。对于这些实施例而言，如果人离开房间或闭上眼睛经过一段预先选择的时间(例如，5分钟)，那么电视机可以被“关闭”；或者如果经过不同的时间段没有检测到眼睛，那么计算机系统的监视器可以切换到休眠状态。然后当检测到眼睛时，受控设备18可以返回到电源打开状态。对于主动输入，系统监视眼睛活动来检测与特定命令相关的眼睛眨动模式，以改变操作参数。于是，残疾人可以使用眨动模式来控制轮椅或其它设备。
电荷耦合器件(CCD)可以被用作成像器16的一种可能方式。如本领域所公知的，在二维元件阵列中的每个像素产生基于在该像素处所接收的光强的信号。或者，成像器可以是互补金属氧化物半导体(CMOS)成像器。通常，CMOS成像器要比CCD检测器便宜，并且有时在红外/近红外波长下提供更好的灵敏度，但是无论使用哪一类型成像器，本发明都能很好地工作。而且，还可以使用其它类型的成像器。
检测光源或源12和成像器16被连接到眼睛检测处理装置20，该处理装置20可以专用于系统10或可以是共享的处理装置，比如使用受控设备18的电路执行的系统专用软件。硬件和软件部件可以以与Haven等人的美国专利申请No.10/377,687中的描述一致的方式协作，该申请于2003年2月28日递交，题为“Apparatus and Method for Detecting Pupils”，并被转让给本发明的受让人。另一件与实施相关的共同被转让的专利申请是Fouquet等人的美国专利申请No.10/739,831，该申请于2003年12月18日递交，题为“Method and System for Wavelength-Dependent Imaging andDetection Using a Hybrid Filter”。Grace等人的美国专利No.6,082,858也是相关的，该专利描述了“Apparatus and Method of Monitoring a Subject’sEyes Using Two Different Wavelengths of Light”。这两篇专利文献中所公开的方法可以被用于监视机动车驾驶员的警觉性。
在图1中，图像信息的帧可以由成像器16产生，然后由眼睛检测处理装置20操作，从而区分眼睛14和成像器视场内其它特征。已经发现，通过基于两帧图像信息产生差分图像可以获得更高的可靠性。在这个高可靠性的实施方案中，其中图像之一是使用靠近或直接在检测器轴线上的照明(同轴成像)来获得的，而另一幅图像是使用与检测器成更大角度进行照明(离轴成像)来获得的。当对象的眼睛张开时，这两幅图像之间的差异突出了眼睛的瞳孔，因为仅仅在同轴图像中检测到来自视网膜的些许漫反射。在传统的闪光摄影中，同轴成像时强烈的瞳孔信号被称为“红眼”。其它面部和环境特征大部分被消除，留下瞳孔作为在差分图像中的主要特征。当在差分图像中没有检测到瞳孔时，则推断出在成像区域内没有人或没有人对继续操作受控设备18感兴趣(例如，与受控电视机同处一室的人睡着了)。但是，可以替换使用其它用于分辨眼睛14的技术。
眼睛检测处理装置20也被示出为与定时器22相连接。该定时器代表任何已知的能够通过眼睛检测处理装置进行基于时间的判断的设备。例如，如果受控设备18是等离子电视机，那么在确定该电视机已经没有被观看第一段预先选择的时间(例如，5分钟)时，电视机可以从其电源打开状态切换到休眠状态；在确定从切换到休眠状态已经经过了第二段时间(例如，10分钟)时，响应于此，电视机可以从休眠状态切换到关闭状态。但是，在电视机处于休眠状态时，检测到眼睛14将使电视机返回到其完全操作的电源打开状态。
系统10的定时以及其它方面都是可以由用户配置的。用户输入装置24允许进行个性化设置。在对等离子电视机的控制中，用户输入装置可以是常规的遥控元件，它允许用户改变任何设置。作为另一个实施例，如果受控设备18是计算机系统或计算机系统部件时，那么用户输入装置可以是计算机鼠标或键盘。
另一个可能的特征是，定时可以通过实施某种算法而自动调整，该算法考虑了比如切换发生的历史数据的因素。举例说明，如果某人反复地离开房间又返回的时间比第一段预先选择的时间稍长(从而受控设备18的功耗状态毫无必要地在两个功耗状态之间循环)，那么该自适应算法可以自动增加第一段时间的长度。
眼睛检测处理装置20可以被用来使得人能够进行主动控制。于是，眼睛14的许多非自然眨动模式可以与对受控设备18的控制命令相关联。四下快速眨动可以被用来“打开”和“关闭”受控设备。音量控制和其它操作参数的控制可以被结合。在图1中，这些命令可以被存储在数据库格式26内。即，数据库或其它存储格式可以被用来提供对眨动模式和命令之间预先选择的相关性进行访问。当眼睛检测处理装置20识别出特定的非自然眨动模式时，相关的命令由控制器21产生并在受控设备上实现。
实际上用于人主动控制的眨动模式是代码。这些代码可以是简单的，但是如果控制系统10要用于安全环境，那么该代码可以具有一定的复杂性。传统的Morse代码就是一种可能。用于安全应用场合的另一个可能特征是第二级眼睛识别，其中人的身份通过鉴定该人的眼睛或双眼的个性化特性而得以验证，类似于使用指纹。那么，受控设备18的主动控制可以被限制于经挑选的人或少数人。
由于许多不同理由中的任何一个理由，或多个理由的组合，受控设备18上的自动功耗调节可能都是所期望的。自动发生的断电特征节省了功率。对于用电池操作的设备，这将延长电池的充电寿命。而且，许多电视机和其它功率密集型消费电子设备可以被更严格地限制在有利于使用的那些时间中。这带来了成本和生态的好处，并且潜在地延长了设备的使用寿命。方便是提供自动功率管理的另一个可能原因。这对于提供“任务照明”的受控设备而言尤其可能，比如炉内的灯。在任务照明应用中，不是通过对受控设备本身的察看来进行确定，而是通过对区域的察看来进行确定。对于利用眨动模式的主动控制的实施方案而言，该控制不要求遥控装置能持续可用。而且，当观众睡着时自动关闭电视机并不要求该观众来启动该特征。
图2、3和4图示了应用控制系统10的实施例。在图2中，该系统被连接到计算机系统28。一种可能的情况是，“受控设备”仅仅是计算机系统的监视器，而非整个计算机系统。可替换地或者附加地，计算机的处理能力可以基于眼睛检测而被控制。控制系统10通常被结合到计算机系统中，而非如图2所示的外部部件。当用于膝上电脑时，控制系统经常将增加电池再充电间的时间。
在图3中，“受控设备”包括显示屏幕30。该显示屏幕可以是蜂窝电话或个人数字助理的一部分，或可以是更大装置，比如等离子电视机或膝上电脑的显示器。在屏幕周围的框架32内是第一光源34和第二光源36以及二维成像器38。如果该屏幕是蜂窝电话的部件，那么与用于电视机的成像器的可接受视场相比较，成像器38的视场就相对有限。同样地，在某些应用中，来自光源34和36的光与其它应用相比更加集中。在电视机应用中，光是“以广播的方式(broadcast)”来覆盖电视机屏幕的视角范围。
或者，图3可以被视为可控制的双态窗口。例如，办公室或家庭窗口的光偏振可以在状态间自动切换，这取决于是否存在将受到该切换影响的人。该自动切换有着潜在安全和健康的好处。
图4图示了炉40，该炉40具有内置灯42，以及在成像器48两侧的第一光源44和第二光源46。成像器和光源被用来确定当有人位于察看炉内部位置处的时刻。在这样的时刻，该内置灯转为其“打开”状态。另一方面，当成像器所获得的图像信息表明炉内部不在某人的视线内时，内置灯保持“关闭”。
图5是实现本发明的步骤流程的一个实施方案。在步骤50，发射检测光。如前所提到的，在某些应用中，其中不需要人工产生检测波长的光就能够进行可靠的检测，可以省略该步骤。相反，对于某些实施方案，该步骤则是关键的。
在步骤52，获取图像信息。在控制系统的成像器的采样时间生成图像信息帧。该采样时间可以是连续的，但是某些应用从非连续监视眼睛检测中获益。例如，在电池供电的设备中，每两分钟可以监视一秒钟，因此功耗降低了120倍。一种检测人眼的可能方式，如步骤54所示的，可以由一对图像帧生成差分图像。下面在参考图6、7、8和9时，将对形成用于检测眼睛的差分图像的一种方法进行更加详细地说明。
在判定步骤56中，确定在步骤54形成的差分图像是否表明在系统成像器的视场内有眼睛存在。如果差分图像不包括眼睛的迹象，那么过程前进到步骤58。当受控设备处于“关闭”，并且差分图像没有显示出眼睛时，过程仅仅循环返回到步骤52。另一方面，如果该设备是“打开”的，并且要经历功率管理控制，那么过程进行到步骤60。在这里，确定第一预定时间段是否已经届满。在前面所述的实施例中，该第一时间段可以是自从人(即，眼睛)最近一次处于察看受控设备(比如电视机)处起的5分钟期限。于是，对于步骤56的每一个肯定确定，第一定时器被重置(步骤67)。另一方面，直到自从上次重置起的时间期限已经超出，步骤56的每个否定响应和步骤58的肯定响应将导致在步骤60的否定响应，使得过程循环返回到获取图像信息的步骤52和形成新差分图像的54。但是，在第一时间段届满之后，下一次确定差分图像不包括眼睛的图像将导致功率管理系统切换受控设备的功耗状态。该自动切换可以是从“打开”状态到“关闭”状态。或者，受控设备可以具有两个以上的功耗状态，使得第二时间段是否已经届满可以是相关的。在图5的实施方案中，该过程包括两个时间段。
在步骤60每一个确定第一时间段是否已经届满的肯定响应之后都会进行类似步骤62，确定第二时间段是否已经届满。步骤60和62的组合提供了三种定时可能性。第一种可能性是，两个时间段都没有届满，使得在步骤60出现否定响应，过程循环返回到步骤52和54。第二种可能性是，第一时间段已经届满，而第二时间段尚未届满。根据这种可能性，过程前进到步骤64，自动将受控设备切换到其休眠状态。当然，如果第二时间段足够长，那么过程将继续返回到步骤64，但是该切换只会在第一次访问时发生。过程循环返回到获取图像信息的步骤52和形成差分图像的54，然后其被处理用于眼睛检测。
对于判定步骤60和62，第三种定时可能性是其中两个时间段都已经届满了。于是，受控设备将被再次切换，这一次将从它的休眠状态切换到它的关闭状态。在步骤66表示了这种第二次切换。可选择地是，如果在设备已经被关闭之后发生眼睛检测，那么控制系统可以被编程来将受控设备返回到它打开状态。这将发生在步骤67。或者，为了防止从关闭状态下的不希望切换，对于这类型的切换可以要求非自然眨动模式识别处理(步骤69和71)。
回到步骤56，如果在步骤54形成的差分图像内存在眼睛的迹象，那么定时器根据需要被重置，如步骤67所示。例如，如果受控设备是打开的，并且包括步骤60和62中所描述的第一和第二时间段，那么定时器或多个定时器被重置为零。同样在步骤67，如果设备处在休眠模式，那么它将被切换到其电源打开状态。如果本发明的应用包括主动控制，那么过程前进到检测眨动的判定步骤69。初始眨动检测可以要求比较许多差分图像。
在步骤69检测到眨动之后，在步骤71启动主动控制处理。这可以包括终止逐帧分析，而开始数据流分析。该人的眼睛或双眼在成像器视场中的位置可以被指定，并且被监视来确定眼睛动作是否与其中一种预先选择的眨动模式相匹配。眨动模式和用于改变图1受控设备18的操作参数的命令之间的相互关系被存储在数据库26中。在眼睛检测处理装置20已经识别眨动模式之后，产生输出使得控制器21向受控设备发出适当的命令。
除眨动模式和用于改变受控设备18操作参数的命令之间的相互关系外，数据库26可以包括特定眼睛14与特定人之间的相互关系。如前所述，在识别某人时，眼睛的物理特性可以被以指纹的物理特性同样的方式使用。可选地，主动控制可以被限制于数目有限的人。
已经确定，通过基于两个图像信息帧产生差分图像可以获得更大可靠性的眼睛检测，这两帧其一是使用同轴成像获得的，另一个是使用离轴成像获得的。在图6、7、8和9图示了这种方法的一个实施方案。在图6中，使用第一光源70和第二光源72照射对象68的眼睛。为了清楚地进行说明，第一光源70和第二光源72表示在检测器的两侧。但是，应该理解的是，这两个光源还可以被放置在检测器的同一侧。
获得眼睛视网膜的差分反射率的重要原理在于视网膜反射率对光源和检测器之间角度的相依性。该角度可以被称为“照射角度”。光源70和72相对于检测器74的位置选择要有其它考虑。为了成功地区分图像以产生对应于反射视网膜的点，希望视场的剩余部分在两个不同的照射角度下具有足够类似的照射分布。在应用该系统来控制电视机功耗状态的切换中，该“视场的剩余部分”可以包括对象的面部，对象的衣物以及客厅的内部。这样，希望来自单侧同轴光源的照射所产生的阴影与第二离轴光源所产生的阴影显著不同。
在图6中，第一光源70位于与检测器74的轴线80成第一照射角度76处，而第二光源72位于成第二照射角度78处。通常，较小的第一照射角度将减小视网膜回射。这里，“视网膜回射”指从眼睛后面反射并被检测器接收到的强度(即，实际光子数或等同数)。一种可能性是第一照射角度76在大约0度到3度的范围内。
通常，选择第二照射角度78的大小，使得检测器74将只检测到来自第二光源72的低视网膜回射。瞳孔周围的虹膜往往会阻止该信号，以致在选择第二照射角度78时，应当考虑在不同照射条件下的瞳孔大小。该第二角度比第一照射角度76要大。但是，第二角度应当仅仅比第一角度略大，使得除瞳孔以外，使用第二光源所捕获的图像将与使用第一光源所捕获的图像类似。因此，在一个实施方案中，第二照射角度在大约3度到15度的范围内。
第一光源70和第二光源72可以发射强度大致相等的光。但是，可能有些应用中希望光源发射不同强度的光。更可能的是，有些应用中光源被设计来发射不同波长的光，使得用于形成差分图像的原始图像可以基于波长差别而形成。光源所发射光的波长和/或照射强度被选择成使得光将不会干扰对象，并且使得对象眼睛的虹膜将不会响应光而收缩。理想的选择是使用红外或近红外光源。
在捕获要用于产生差分帧的两帧中，在对检测器74进行照射和采样来产生第二帧之前，通过照射和采样检测器可以产生第一帧。但是，这种帧形成中的时间差别可以替换成检测器像素二维阵列内像素的空间差别。例如，检测器内相邻像素可以以下面这种方式而在物理上区分，该方式允许帧差分而产生关于眼睛是否存在的有用信息。于是，如果相邻像素的信号具有可区分的偏振依赖性，一个像素可以被用作第一帧的部分，而相邻的像素被用于采样形成第二帧中。每次采样可以被编码来标识它的偏振依赖性。也可以使用在对象68的眼睛与检测器74之间合适的光学元件来允许单照明的帧形成中的空间差分。
图7图示了眼睛张开的图像，其中该图像是使用同轴光源70产生的。由于强的视网膜回射，同轴照射角度导致形成具有明亮瞳孔84的图像。
图8图示了张开眼睛82的图像，但是是使用离轴照射角度，使得瞳孔86是暗的。图7和图8的图像可以同时产生，或者可以被形成在单个检测器的连续图像信息帧中。
图9图示了由使用同轴光源70和离轴光源72所产生的两个图像数据帧之间的差异而形成的差分图像。通过取出图7和图8的图像之间的差别，当眼睛张开时，在相对暗的背景90上将保留相对明亮的点88。虽然在背景90中可能保留有眼睛其它特征的痕迹，但是该明亮的点与背景相比通常将突出。在获取形成图7和图8的图像数据期间，当眼睛闭合或接近闭合时，或当检测器74的视场内没有对象时，在差分图像中将不会有明亮的点或该明亮的点将被部分删除。于是，当人睡着时，功率管理系统可以被用来自动将电视机关闭。
图7、8和9以对象的一只眼睛为目标。应该理解的是，双眼都可以被监视。还应该理解的是，如果图像包括对象的其它特征和/或对象环境的特征，那么可以获得类似的效果。这些其它特征与眼睛的许多特征相似地将大部分被消除，从而只有明亮的点88将保留在差分图像中。
两个光源70和72的光可以以与检测器74的帧速率同步的脉冲发射。例如，如果检测器以每秒30帧的帧速率工作，那么光以每秒30个脉冲的速率发射。但是，脉冲不必连续发生。例如，如果帧速率是每秒30帧，那么4/30秒可以发射4个脉冲，而在余下的26/30秒中则没有光脉冲发射。在一秒钟的小部分期间就可能收集到足够信息，并且减小了对对象的可能干扰。
图6的光源70和72的光可以是或可以不是相同波长的。在发射波长基本相同的光的实施方案中，光源可以在不同的时间被激活。也就是说，例如，第一光源70可以发射一个脉冲，接着第二光源72发射一个脉冲，如此经过一个脉冲串(burst)长度。通常，希望光源轮流发射光脉冲，从而产生连贯的同轴和离轴的图像信息帧。例如，偶数帧可以与第一光源的脉冲相关联，而奇数帧则与第二光源的脉冲相关联。由于获取帧是快速的，所以这些图像将非常相似，减少了人为运动的影响，从而有助于找到任意两个连续帧之间差异的过程。
作为另一种基于两个连续获得的信息帧而形成差分图像的方法，图像帧可以被同时收集。如果图像数据收集是通过光学性质来分辨的，那么这是可能的，这些光学性质比如是波长、调制或偏振。例如，如果图6的第一光源70所发出的光的波长不同于第二光源72所发出的光的波长，那么几乎可以同时发射光。在一个这样的实施方案中，产生最强视网膜回射的波长由最靠近检测器74的光源使用。在常规的硅基检测器上测量时，视网膜回射信号通常在波长为800纳米(nm)时比950nm时要强。通常，更希望将更短的波长与同轴光源相关联。
也可以使用调制来区分来自两个光源的光。例如，可以应用同步(锁定或相敏)检测方法。通常，在同步检测方法中，光源(例如，激光器)通过一个“斩光器”，该斩光器对选定频率的光进行调制。对比如半导体发光二极管的某些光源进行直接电调制也是可以的。斩光器在选定频率下调制的同步输出被输入到锁定放大器中。由检测器74所接收的信号也被输入到锁定放大器中。该锁定放大器将斩光器的同步输出与光学上检测到的信号相混合。使用(在选定频率附近的)窄带滤波器，生成大致为选定频率的信号。于是，该信号可以从经不同选定频率调制的信号以及未调制的信号中被区分出来。
当光由光源70和72几乎同时发出时，同轴和离轴帧将几乎同时被检测器74或一对波长选择性检测器获得。于是，人为的运动影响能够得以消除，并且检测器上的任何定时限制得以放宽。而且，在连续的测量周期之间的定时可以变得不再重要。这允许连续测量周期之间的时间在不损害处理可靠性的情形下得以增加。例如，可以每秒一次地获得图像，而不是每秒钟四次。通过增加测量周期所实现的好处包括增强对所捕获图像的敏感性、降低图像处理要求、更低的成本以及减少对对象的照射。
使用两个光源70和72的不同波长，使用各种方法可以获取同轴和离轴帧。一些这样的方法包括使用体光学设备，而其它使用具有基于像素的滤波器的传感器。
偏振是另一种用于分离两个信号的基础。在一个实施方案中，第一光源70发射在一个方向上偏振的光，而第二光源72发射在正交方向上偏振的光。通常，这要使用两个检测器，而不是图6所示的单个检测器74。合适的偏振器可以放置在检测器前面，或者可以使用偏振分束器。
尽管图6-9图示了一种可能的放置各种系统部件的实施方案以及一种可能的眼睛检测处理的实施方案，但是在不偏离本发明的情况下可以进行修改。在本申请的基础上可以对该方法和系统进行修改，从而使得本发明所提供的好处最大化。

Claims (55)

1.一种用于设备的控制系统，包括：
成像器以及眼睛检测处理装置，所述眼睛检测处理装置用于检测由所述成像器从人眼接收的光，并被配置来产生表示检测所述人眼的检测结果的输出；以及
控制器，所述控制器能够响应所述眼睛检测处理装置的所述输出而在多个功耗状态之间切换所述设备，并被配置来执行第一条件响应和第二条件响应中至少一个，其中：
(a)所述第一条件响应是在经过没有检测到人眼的第一时间段后，所述设备从电源打开状态被切换到较低功耗状态；以及
(b)所述第二条件响应是在检测到人眼时，所述设备被切换到所述电源打开状态。
2.根据权利要求1的控制系统，其中，所述控制器被配置来执行所述第一和第二条件响应两者。
3.根据权利要求1的控制系统，其中，所述设备具有至少三个所述功耗状态，包括电源关闭状态、休眠状态和所述电源打开状态；其中，所述控制器被设定来在经过所述没有检测到人眼的第一时间段后将所述设备从所述电源打开状态切换到所述休眠状态。
4.根据权利要求3的控制系统，其中，所述控制器还被设定来在经过没有检测到人眼的第二时间段后将所述设备从所述休眠状态切换到所述电源关闭状态。
5.根据权利要求4的控制系统，其中，所述控制器被配置来在检测到人眼时将所述设备从所述休眠状态切换到所述电源打开状态。
6.根据权利要求3的控制系统，其中，所述控制器还被配置来在检测到人眼时将所述设备从所述电源关闭状态切换到所述电源打开状态。
7.根据权利要求1的控制系统，其中，所述控制器使得用户能够调节所述第一时间段。
8.根据权利要求1的控制系统，其中，所述控制器包括控制算法，所述控制算法基于包括所述控制器进行切换的历史数据在内的因素而自适应地调节所述第一时间段。
9.根据权利要求1的控制系统，还包括第一光源和第二光源，用于为检测所述人眼而被监视的区域的照明，所述第一光源被放置来以相对于所述成像器的轴线成第一照射角度而发射光，所述第二光源被放置来以相对于所述轴线成第二照射角度而发射光，所述第二照射角度实质上大于所述第一照射角度。
10.根据权利要求9的控制系统，其中，所述成像器是被控制来产生图像信息帧的二维像素阵列，所述眼睛检测处理装置包括编程来产生表示两个所述图像信息帧之间差异的差分图像帧，所述差分图像帧是用于识别在至少一个所述帧中的所述人眼的基础。
11.根据权利要求1的控制系统，其中，所述控制器被连接到包括显示屏的电子设备，所述电子设备是具有所述多个功耗状态的设备，所述成像器相对于正被控制的所述设备位于固定位置处。
12.根据权利要求11的控制系统，其中，所述电子设备是计算机系统和视频显示系统中的一种。
13.根据权利要求1的控制系统，其中，所述控制器还被配置来响应检测到预定的眼睛眨动模式而在所述功耗状态之间切换所述设备，所述模式由所述控制器解译为命令。
14.根据权利要求13的控制系统，其中，所述控制器被连接来为特定区域的照明提供切换。
15.根据权利要求13的控制系统，其中，所述预定眼睛眨动模式包括由所述控制器解译来触发在“打开”状态和“关闭”状态之间进行切换的模式。
16.根据权利要求1的控制系统，还包括特定命令与预定眼睛眨动模式之间相互关系的存储装置，所述命令包括与在所述功耗状态之间的所述切换无关的设备调节命令，所述眼睛检测处理装置能够识别所述模式，并且所述控制器被配置来在识别到所述模式时就执行所述命令。
17.根据权利要求16的控制系统，其中，所述眼睛检测处理装置被编程使得使用至少一个图像信息帧来检测眼睛闭合，以及使得检测到所述眼睛闭合会触发从依靠帧分析的眼睛识别到依靠图像数据流分析的眨动模式检测的转变。
18.根据权利要求1的控制系统，还包括至少一种被存储的在特定人与针对所述特定人的眼睛的图像信息之间的相互关系，其中所述眼睛检测处理装置的操作依赖于对人的识别。
19.根据权利要求1的控制系统，其中，所述成像器以非连续的方式被采样，采样频率被选择来节约电池电荷。
20.根据权利要求1的控制系统，还包括用来照射所述成像器的视场的第一和第二光源，所述眼睛检测处理装置被配置来基于所述第一光源的反射光以及所述第二光源的反射光之间的差异来识别所述人眼的瞳孔。
21.一种用于操作设备的控制系统，包括；
控制器，所述控制器能够响应特别针对眼睛的检测来改变所述设备的操作参数；以及
眼睛检测器，所述眼睛检测器被连接到所述控制器以输出指示所述特别针对眼睛的检测的信号，并且包括：
(a)用于从所述眼睛接收反射光的成像器；
(b)第一光源，其被放置来以相对于所述成像器成第一照射角度发射第一光；和
(c)第二光源，其被放置来以相对于所述成像器成第二照射角度发射第二光，所述第二照射角度实质上比所述第一照射角度要大，其中，利用在所述成像器接收的经反射的所述第一光和经反射的所述第二光之间的差异，所述眼睛是可检测的。
22.根据权利要求21的控制系统，其中，所述成像器相对于所述设备放置成使得所述成像器的视场捕获到具有到所述设备的视线的人，所述成像器相对于所述设备位于固定的位置。
23.根据权利要求22的控制系统，其中，所述设备是电视机，并且由所述控制器改变的所述操作参数包括频道设置以及音量设置中至少一种。
24.根据权利要求21的控制系统，其中，所述第一照射角度是从0到3度，所述第二照射角度是从3到15度。
25.根据权利要求21的控制系统，其中，所述眼睛检测器包括处理器，所述处理器被配置来基于所述经反射的第一光和所述经反射的第二光之间的所述差异来识别瞳孔。
26.根据权利要求21的控制系统，其中，所述眼睛检测器还包括预先选择的眨动模式和操作命令之间相互关系的存储装置，所述处理器和控制器被编程来检测每个所述眨动模式的发生，并且在每个所述模式发生时就产生相关联的操作命令，所述操作命令专用于改变所述设备的所述操作参数。
27.根据权利要求21的控制系统，其中，所述成像器和所述第一和第二光源被控制来产生连续的图像帧，在这些图像帧中，在所述第一光源被启动时，获取第一图像帧，在所述第二光源被启动时，获取第二图像帧。
28.根据权利要求21的控制系统，其中，所述眼睛检测器还包括特定人和针对所述特定人眼睛的图像信息之间的至少一种相互关系的存储装置，其中，所述控制器响应对每个所述特定人的识别，使所述设备的所述操作参数能够变化。
29.一种用于设备的控制系统，包括：
控制器，所述控制器能够响应特别针对眼睛的检测来改变所述设备的操作参数；以及
眼睛检测器，所述眼睛检测器被连接到所述控制器以输出指示所述特别针对眼睛的检测的信号，并且包括：
(a)用于从所述眼睛接收光的成像器；和
(b)眼睛检测处理装置，所述眼睛检测处理装置被配置来由所述成像器获取的图像信息形成第一和第二帧，并且产生指示所述第一和第二帧之间差异的差分图像帧，所述差分图像帧表明是否有眼睛存在。
30.根据权利要求29的控制系统，其中，所述眼睛检测处理装置包括数据采样电路，用于以不同的采样时间访问所述成像器的数据来产生所述第一和第二帧。
31.根据权利要求29的控制系统，其中，所述眼睛检测处理装置包括数据采样和处理电路，其中，所述第一和第二帧是通过分离在单次采样所述成像器中获取的像素图像数据而形成的，所述成像器是二维的像素阵列。
32.根据权利要求31的控制系统，其中，用于形成所述第一帧的像素图像数据是从那些与对眼睛成像的第一反射率特性相关联的所述成像器的所述像素获得的数据，所述第二帧是由从那些与不同于所述第一反射率特性的第二反射率特性相关联的所述成像器的所述像素获得的像素图像数据形成的。
33.根据权利要求29的控制系统，其中，所述眼睛检测器还包括被排序的第一和第二光源，使得所述第一帧是在启动所述第一光源期间获得的，所述第二帧是在启动所述第二光源期间获得的。
34.根据权利要求29的控制系统，其中，所述眼睛检测器还包括第一和第二光源，所述第一光源相对于所述成像器的轴线成第一照射角度，所述第二光源相对于所述轴线成第二照射角度，所述第二照射角度实质上大于所述第一照射角度。
35.根据权利要求29的控制系统，其中，所述眼睛检测器还包括第一和第二光源，所述第一光源所发射的光的波长不同于所述第二光源所发射的光的波长。
36.根据权利要求29的控制系统，其中，所述眼睛检测器还包括第一和第二光源，所述第一光源所发射的光的偏振不同于所述第二光源所发射的光的偏振。
37.根据权利要求29的控制系统，其中，所述眼睛检测器还包括第一和第二光源，其中，来自所述第一和第二光源中至少一个的光被调制来使得在反射到所述成像器之后由所述第一光源发射的所述光能够与所述第二光源发射的光相区分。
38.根据权利要求29的控制系统，其中，所述控制器和眼睛检测器被集成到正被控制的所述设备中。
39.根据权利要求38的控制系统，其中，正被控制的所述设备包括显示屏。
40.根据权利要求39的控制系统，其中，正被控制的所述设备是电视机，所述操作参数包括音量设置、频道设置以及功耗状态选择中至少一个。
41.根据权利要求29的控制系统，还包括在眨动模式和用于改变所述操作参数的命令之间相互关系的存储装置，所述眼睛检测器响应对其中一个所述眨动模式的识别来产生其中一个所述命令。
42.根据权利要求41的控制系统，其中，所述眼睛检测器被编程成利用帧分析来检测人的所述眨动模式的其中一种的可能开始，并且作为对检测到所述可能开始的响应而切换到数据流分析。
43.根据权利要求29的控制系统，其中，所述眼睛检测器还包括在特定人和针对所述特定人眼睛的图像信息之间的至少一种相互关系的存储装置，其中，所述控制器响应对每个所述特定人的识别，使所述设备的所述操作参数能够变化。
44.一种用于控制设备的方法，包括：
检测接收到从眼睛反射的光的发生；
基于第一条件响应和第二条件响应中至少一个使所述设备在多个功耗状态之间切换，其中：
(a)所述第一条件响应是在经过没有检测到人眼的第一时间段后，使所述设备从电源打开状态切换到较低的功耗状态；以及
(b)所述第二条件响应是在检测到眼睛时，使所述设备切换到所述电源打开状态。
45.根据权利要求44的方法，其中，所述第一和第二条件响应都被实施。
46.根据权利要求44的方法，其中，所述设备具有至少三个所述功耗状态，这包括电源关闭状态、休眠状态和所述电源打开状态，所述第一条件响应的所述较低功耗状态是所述休眠状态。
47.根据权利要求46的方法，还包括当检测到期间没有检测到眼睛的第二时间段经过后，就响应此检测结果将所述设备从所述休眠状态切换到所述电源关闭状态。
48.根据权利要求47的方法，其中，所述第二条件响应是在检测到眼睛时，所述设备从所述休眠状态被切换到所述电源打开状态。
49.根据权利要求44的方法，包括：
通过对至少一只眼睛成像来识别预定的眼睛眨动模式；
将每个所述模式与用于改变所述设备操作参数的命令相关联；以及
基于所述识别来改变所述设备的所述操作参数。
50.根据权利要求49的方法，其中，所述预定的眼睛眨动模式被与命令相关联，来改变当前的所述功耗状态、音量设置和频道设置中至少一个。
51.根据权利要求44的方法，还包括：
识别特定人和所检测到的眼睛之间的相互关系；
基于对所述相互关系的识别而限制所述设备的改变。
52.一种控制设备的方法，包括：
放置检测器，使其具有与所述设备的操作相关的视场；
通过连续的方式或定时方式中的一种启动第一光源来照射所述视场，所述第一光源被放置来提供相对于所述检测器的轴线成第一照射角度；
通过连续的方式或定时方式中的一种启动第二光源来照射所述视场，所述第二光源被放置来提供相对于所述轴线成第二照射角度，所述第二照射角度实质上大于所述第一照射角度；
在所述视场内检测眼睛；以及
响应所述检测来改变所述设备的操作参数。
53.根据权利要求52的方法，其中，所述设备是视频显示系统，并且其中改变所述操作参数包括改变频道设置、音量设置以及当前功耗状态中至少一个的设置。
54.根据权利要求52的方法，其中，所述照射形成0到3度范围内的所述第一照射角度，以及形成3到15度范围内的所述第二照射角度。
55.根据权利要求52的方法，还包括：
通过对至少一只眼睛成像来识别预定的眼睛眨动模式；
将每个所述模式与用于改变所述设备操作参数的命令相关联；以及
基于所述识别改变所述设备的所述操作参数。
CNB2005100539997A 2004-03-15 2005-03-15 使用眼睛检测提供对电子设备的控制和功率管理 Active CN100524113C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/801,014 US7091471B2 (en) 2004-03-15 2004-03-15 Using eye detection for providing control and power management of electronic devices
US10/801,014 2004-03-15

Publications (2)

Publication Number Publication Date
CN1696849A true CN1696849A (zh) 2005-11-16
CN100524113C CN100524113C (zh) 2009-08-05

Family

ID=34920813

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100539997A Active CN100524113C (zh) 2004-03-15 2005-03-15 使用眼睛检测提供对电子设备的控制和功率管理

Country Status (6)

Country Link
US (1) US7091471B2 (zh)
JP (1) JP4808420B2 (zh)
KR (1) KR101162770B1 (zh)
CN (1) CN100524113C (zh)
DE (1) DE102004063566A1 (zh)
TW (1) TWI345700B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114142B (zh) * 2006-07-24 2010-07-28 夏普株式会社 成像设备及其电源控制方法、电源控制系统和电源控制设备
CN102231255A (zh) * 2008-09-16 2011-11-02 联想(北京)有限公司 节能显示器、电子设备以及节能显示方法
CN103220583A (zh) * 2013-03-28 2013-07-24 四川长虹电器股份有限公司 基于智能电视的检测用户疲劳度的系统及方法
CN103281064A (zh) * 2013-04-19 2013-09-04 四川长虹电器股份有限公司 一种实现家电节能的方法及装置
CN103294178A (zh) * 2012-02-29 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN103760945A (zh) * 2013-12-31 2014-04-30 青岛歌尔声学科技有限公司 一种可穿戴设备的功率控制方法和装置
CN104094591A (zh) * 2012-02-07 2014-10-08 夏普株式会社 图像显示装置
CN104662600A (zh) * 2012-06-25 2015-05-27 亚马逊技术公司 使用注视确定与装置输入
CN104678578A (zh) * 2013-12-03 2015-06-03 富泰华工业（深圳）有限公司 可控制电子装置的眼镜及电子装置控制方法
CN104685445A (zh) * 2012-09-28 2015-06-03 Lg电子株式会社 便携式装置及其控制方法
CN104750240A (zh) * 2013-12-27 2015-07-01 由田新技股份有限公司 基于眼部开合状态的密码输入方法及应用其的保全装置
CN105009031A (zh) * 2013-02-19 2015-10-28 微软公司 上下文知晓增强现实对象命令
CN105068646A (zh) * 2015-08-05 2015-11-18 广东欧珀移动通信有限公司 终端的控制方法和系统
CN105353872A (zh) * 2015-10-28 2016-02-24 广东欧珀移动通信有限公司 控制信号发送方法及控制信号发送装置
CN105373720A (zh) * 2015-10-28 2016-03-02 广东欧珀移动通信有限公司 一种应用于移动终端的模块控制方法及装置
CN106265006A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种主视眼的矫正方法及移动终端
CN107169403A (zh) * 2016-03-07 2017-09-15 欧姆龙汽车电子株式会社 面部图像处理装置

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167201B2 (en) * 2003-04-28 2007-01-23 Hewlett-Packard Development Company, L.P. Device incorporating eye-start capability
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
JP4280652B2 (ja) * 2004-02-04 2009-06-17 キヤノン株式会社 電子ファインダを有する撮像装置
JP4284538B2 (ja) * 2004-10-19 2009-06-24 ソニー株式会社 再生装置および再生方法
US7430365B2 (en) * 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
US20060279745A1 (en) * 2005-06-13 2006-12-14 Wenstrand John S Color imaging system for locating retroreflectors
US8645985B2 (en) * 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
JP4528976B2 (ja) * 2006-03-31 2010-08-25 国立大学法人静岡大学 瞳孔検出装置及び方法
EP2076871A4 (en) * 2006-09-22 2015-09-16 Eyelock Inc COMPACT BIOMETRIC DETECTION SYSTEM AND CORRESPONDING METHOD
JP2008125619A (ja) * 2006-11-17 2008-06-05 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法
JP2008132160A (ja) * 2006-11-28 2008-06-12 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
KR101159830B1 (ko) 2007-03-05 2012-06-26 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법
JP5045212B2 (ja) * 2007-04-25 2012-10-10 株式会社デンソー 顔画像撮像装置
TW200938176A (en) * 2008-03-05 2009-09-16 Coretronic Corp Eyeball locating method and system
JP2009239476A (ja) * 2008-03-26 2009-10-15 Nec Electronics Corp 出力制御システム及びその制御方法
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP5288606B2 (ja) * 2008-10-22 2013-09-11 パナソニック株式会社 照明システム
US20100107184A1 (en) * 2008-10-23 2010-04-29 Peter Rae Shintani TV with eye detection
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
DE102009010263B4 (de) 2009-02-24 2011-01-20 Reiner Kunz Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
TWI408545B (zh) * 2009-03-16 2013-09-11 Compal Communications Inc 可攜式電子設備及其省電方法
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
EP2263530A1 (en) * 2009-06-16 2010-12-22 Koninklijke Philips Electronics N.V. Intelligent power-saving device
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
TWI540422B (zh) * 2010-02-03 2016-07-01 勝德國際研發股份有限公司 節能裝置、節能系統及節能方法
CN101866215B (zh) * 2010-04-20 2013-10-16 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
CN103081449B (zh) 2010-09-13 2015-09-09 Lg电子株式会社 移动终端及其操作控制方法
GB2487983A (en) * 2011-02-14 2012-08-15 Infrared Security Solutions Ltd Thermal imaging device with head position sensing
US9081416B2 (en) 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
JP5953714B2 (ja) * 2011-11-24 2016-07-20 セイコーエプソン株式会社 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法
CN102183902B (zh) * 2011-04-08 2013-08-07 北京大学深圳研究生院 一种自适应门控电源控制器
CN102761645B (zh) * 2011-04-26 2016-05-18 富泰华工业（深圳）有限公司 电子设备及其控制方法
KR20140041570A (ko) 2011-06-24 2014-04-04 톰슨 라이센싱 사용자의 눈 이동으로 동작가능한 컴퓨터 장치 및 컴퓨터 장치를 동작하는 방법
KR101824413B1 (ko) 2011-08-30 2018-02-02 삼성전자주식회사 휴대단말기의 동작 모드 제어 방법 및 장치
US8976110B2 (en) 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
EP3200046A1 (en) 2011-10-27 2017-08-02 Tobii Technology AB Power management in an eye-tracking system
US9654768B2 (en) 2011-12-23 2017-05-16 Thomson Licensing Computer device with power-consumption management and method for managing power consumption of computer device
US9075453B2 (en) * 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
TW201335802A (zh) * 2012-02-20 2013-09-01 Pixart Imaging Inc 光學導航裝置
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
KR101349406B1 (ko) * 2012-05-15 2014-01-09 엘지이노텍 주식회사 디스플레이장치 및 이의 절전 방법
US9007308B2 (en) * 2012-08-03 2015-04-14 Google Inc. Adaptive keyboard lighting
KR101424553B1 (ko) * 2012-08-22 2014-07-31 삼성전자 주식회사 자기 공명 영상 장치 및 그 제어 방법
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
DE102013003047A1 (de) 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit
US10216266B2 (en) 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US9671864B2 (en) 2013-03-21 2017-06-06 Chian Chiu Li System and methods for providing information
EP2790126B1 (en) * 2013-04-08 2016-06-01 Cogisen SRL Method for gaze tracking
KR102108839B1 (ko) 2013-06-12 2020-05-29 삼성전자주식회사 불휘발성 메모리 장치를 포함하는 사용자 장치 및 그것의 데이터 쓰기 방법
KR102305578B1 (ko) * 2013-08-23 2021-09-27 삼성전자 주식회사 단말의 모드 변경 방법 및 장치
US9652024B2 (en) 2013-08-23 2017-05-16 Samsung Electronics Co., Ltd. Mode switching method and apparatus of terminal
US9374872B2 (en) 2013-08-30 2016-06-21 Universal Display Corporation Intelligent dimming lighting
WO2015060869A1 (en) * 2013-10-25 2015-04-30 Intel Corporation Dynamic optimization of light source power
CN106132284B (zh) * 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
KR101855196B1 (ko) * 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출
US9390649B2 (en) 2013-11-27 2016-07-12 Universal Display Corporation Ruggedized wearable display
CN105814584B (zh) * 2013-12-09 2019-03-08 Smi创新传感技术有限公司 用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备
US10667007B2 (en) * 2014-01-22 2020-05-26 Lenovo (Singapore) Pte. Ltd. Automated video content display control using eye detection
KR101866362B1 (ko) * 2014-04-28 2018-06-12 삼성전자주식회사 자기 공명 영상 장치 및 그 제어 방법
US9465981B2 (en) 2014-05-09 2016-10-11 Barron Associates, Inc. System and method for communication
KR102232249B1 (ko) * 2014-10-31 2021-03-29 삼성디스플레이 주식회사 표시 장치
JP6504788B2 (ja) * 2014-11-12 2019-04-24 国立大学法人静岡大学 瞳孔検出用光源装置の制御方法
US10477019B2 (en) * 2014-12-17 2019-11-12 Avaya Inc. Contact center administration via text stream interaction
EP3693835A1 (en) * 2015-01-07 2020-08-12 Facebook Technologies, LLC Dynamic camera or light operation
CN105025175A (zh) * 2015-07-30 2015-11-04 宋遂群 显示装置及显示控制方法
KR101752798B1 (ko) * 2015-09-10 2017-07-11 엘지전자 주식회사 차량 및 그 제어방법
US20170177088A1 (en) * 2015-12-21 2017-06-22 Sap Se Two-step gesture recognition for fine-grain control of wearable applications
US10545092B2 (en) 2016-11-07 2020-01-28 Alarm.Com Incorporated Automated optical device monitoring
US11323665B2 (en) 2017-03-31 2022-05-03 Ecolink Intelligent Technology, Inc. Method and apparatus for interaction with an intelligent personal assistant
CN108134959A (zh) * 2017-08-23 2018-06-08 张柯 基于睡眠状态检测的智能家居播放控制系统
US10768697B2 (en) 2017-11-02 2020-09-08 Chian Chiu Li System and method for providing information
US11283980B2 (en) * 2017-11-09 2022-03-22 Satellite Lab, LLC System and method for recording, as a single cinematic sequence of frames, images of a scene illuminated with two different lighting schemes by timing alternate actuation of the lighting schemes within pairs of adjacent frames to minimize visual motion artifacts between images captured therein
JP7219041B2 (ja) * 2018-10-05 2023-02-07 現代自動車株式会社 注視検出装置及びその輻輳制御方法
US11593725B2 (en) 2019-04-16 2023-02-28 At&T Intellectual Property I, L.P. Gaze-based workflow adaptation
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
DE102020201287A1 (de) * 2020-02-03 2021-08-05 BSH Hausgeräte GmbH Verfahren zum Betreiben eines Haushaltsgeräts, Computerprogrammprodukt und Anordnung umfassend ein Haushaltsgerät und eine externe Bedieneinrichtung
CN112419666B (zh) * 2020-10-19 2022-06-14 钱继华 一种基于升降控制的智能居住服务方法及其系统
US11080516B1 (en) * 2020-12-30 2021-08-03 EyeVerify, Inc. Spoof detection based on red-eye effects
US11762458B2 (en) 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
US11573620B2 (en) 2021-04-20 2023-02-07 Chian Chiu Li Systems and methods for providing information and performing task
US20230050526A1 (en) * 2021-08-10 2023-02-16 International Business Machines Corporation Internet of things configuration using eye-based controls

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247410A (ja) * 1985-12-04 1987-10-28 Aisin Seiki Co Ltd 電気装置の付勢制御装置
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JPH08138024A (ja) * 1994-11-04 1996-05-31 Konica Corp 画像の向き判定方法
JP3697286B2 (ja) * 1995-03-24 2005-09-21 株式会社東芝 状態監視装置
US5835083A (en) * 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
JP2917953B2 (ja) * 1997-02-05 1999-07-12 日本電気株式会社 視点位置検出装置
JPH11242733A (ja) * 1998-02-24 1999-09-07 Sanyo Electric Co Ltd 省電力制御装置
CA2372376C (en) 1998-04-29 2007-11-20 Carnegie Mellon University Apparatus and method of monitoring a subject's eyes using two different wavelengths of light
US6636763B1 (en) 1998-12-10 2003-10-21 Andrew Junker Brain-body actuated system
US6259084B1 (en) * 1999-09-02 2001-07-10 Hewlett Packard Company System and method for improved scanning accuracy through noise reduction and pulse timing
JP3858534B2 (ja) * 1999-09-28 2006-12-13 日産自動車株式会社 眼の状態検出装置
US20030108334A1 (en) * 2001-12-06 2003-06-12 Koninklijke Philips Elecronics N.V. Adaptive environment system and method of providing an adaptive environment
US7298871B2 (en) * 2002-06-07 2007-11-20 Koninklijke Philips Electronics N.V. System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114142B (zh) * 2006-07-24 2010-07-28 夏普株式会社 成像设备及其电源控制方法、电源控制系统和电源控制设备
CN102231255A (zh) * 2008-09-16 2011-11-02 联想(北京)有限公司 节能显示器、电子设备以及节能显示方法
CN102231255B (zh) * 2008-09-16 2015-09-23 联想(北京)有限公司 节能显示器以及电子设备
CN104094591A (zh) * 2012-02-07 2014-10-08 夏普株式会社 图像显示装置
CN103294178A (zh) * 2012-02-29 2013-09-11 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN104662600B (zh) * 2012-06-25 2018-02-16 亚马逊技术公司 使用注视确定与装置输入
CN104662600A (zh) * 2012-06-25 2015-05-27 亚马逊技术公司 使用注视确定与装置输入
CN104685445A (zh) * 2012-09-28 2015-06-03 Lg电子株式会社 便携式装置及其控制方法
CN104685445B (zh) * 2012-09-28 2018-07-03 Lg 电子株式会社 便携式装置及其控制方法
CN105009031B (zh) * 2013-02-19 2017-12-15 微软技术许可有限责任公司 增强现实设备以及在其上操作用户界面的方法
CN105009031A (zh) * 2013-02-19 2015-10-28 微软公司 上下文知晓增强现实对象命令
US10705602B2 (en) 2013-02-19 2020-07-07 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
CN103220583A (zh) * 2013-03-28 2013-07-24 四川长虹电器股份有限公司 基于智能电视的检测用户疲劳度的系统及方法
CN103281064B (zh) * 2013-04-19 2016-08-24 四川长虹电器股份有限公司 一种实现家电节能的方法及装置
CN103281064A (zh) * 2013-04-19 2013-09-04 四川长虹电器股份有限公司 一种实现家电节能的方法及装置
CN104678578A (zh) * 2013-12-03 2015-06-03 富泰华工业（深圳）有限公司 可控制电子装置的眼镜及电子装置控制方法
CN104750240B (zh) * 2013-12-27 2018-02-02 由田新技股份有限公司 基于眼部开合状态的密码输入方法及应用其的保全装置
CN104750240A (zh) * 2013-12-27 2015-07-01 由田新技股份有限公司 基于眼部开合状态的密码输入方法及应用其的保全装置
CN103760945A (zh) * 2013-12-31 2014-04-30 青岛歌尔声学科技有限公司 一种可穿戴设备的功率控制方法和装置
CN105068646A (zh) * 2015-08-05 2015-11-18 广东欧珀移动通信有限公司 终端的控制方法和系统
CN105068646B (zh) * 2015-08-05 2017-11-10 广东欧珀移动通信有限公司 终端的控制方法和系统
CN105353872A (zh) * 2015-10-28 2016-02-24 广东欧珀移动通信有限公司 控制信号发送方法及控制信号发送装置
CN108415572A (zh) * 2015-10-28 2018-08-17 广东欧珀移动通信有限公司 应用于移动终端的模块控制方法、装置及存储介质
CN105373720A (zh) * 2015-10-28 2016-03-02 广东欧珀移动通信有限公司 一种应用于移动终端的模块控制方法及装置
CN107169403A (zh) * 2016-03-07 2017-09-15 欧姆龙汽车电子株式会社 面部图像处理装置
CN107169403B (zh) * 2016-03-07 2021-10-22 欧姆龙株式会社 面部图像处理装置
CN106265006A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种主视眼的矫正方法及移动终端
CN106265006B (zh) * 2016-07-29 2019-05-17 维沃移动通信有限公司 一种主视眼的矫正装置的控制方法及移动终端

Also Published As

Publication number Publication date
US20050199783A1 (en) 2005-09-15
KR20060043617A (ko) 2006-05-15
JP4808420B2 (ja) 2011-11-02
JP2005269891A (ja) 2005-09-29
TW200530798A (en) 2005-09-16
US7091471B2 (en) 2006-08-15
TWI345700B (en) 2011-07-21
CN100524113C (zh) 2009-08-05
KR101162770B1 (ko) 2012-07-04
DE102004063566A1 (de) 2005-10-13

Similar Documents

Publication Publication Date Title
CN100524113C (zh) 使用眼睛检测提供对电子设备的控制和功率管理
CN104573667B (zh) 一种提高移动终端的虹膜图像质量的虹膜识别装置
US9836639B2 (en) Systems and methods of light modulation in eye tracking devices
US9961258B2 (en) Illumination system synchronized with image sensor
KR100939856B1 (ko) 개인인증방법 및 개인인증장치
WO2015113479A1 (zh) 一种具有人机交互机制的移动终端虹膜识别装置和方法
US20160299357A1 (en) Contact lens and storage medium
CN106952252B (zh) 一种基于三光谱的皮肤成像系统
US20100070988A1 (en) Systems and methods for measuring an audience
SG191310A1 (en) Systems and methods for face authentication or recognition using spectrally and/or temporally filtered flash illumination
JP2005062990A (ja) 虹彩認証装置
US11843760B2 (en) Timing mechanism to derive non-contaminated video stream using RGB-IR sensor with structured light
CN109076176A (zh) 眼睛位置检测装置和方法、带滚动快门驱动系统的图像传感器的成像装置及其照明控制方法
CN108124144A (zh) 一种投影控制方法和装置
JPH10162146A (ja) 個人識別装置
CN111132599B (zh) 具有减少的反射的图像获取
EP3304247A1 (en) Biometric authentication device
JP2008021072A (ja) 撮影システム、撮影装置およびそれを用いた照合装置ならびに撮影方法
CN114079709B (zh) 用于卷帘式快门传感器的驱动器机构以获取结构光图案
KR100647298B1 (ko) 빛 반사를 고려한 영상 처리 장치와 방법 및 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
CN213518287U (zh) 识别装置、电子设备、智能门锁及智能门
CN209625240U (zh) 一种静脉识别身份认证装置及系统
KR20200107167A (ko) 자연광 환경에서 적외선을 이용하여 얼굴 인식이 가능한 이미지를 생성할 수 있는 얼굴인식장치 및 그 인식방법
JP5703120B2 (ja) テレビジョン視聴支援装置
JP7445207B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: AVAGO TECHNOLOGIES GENERAL IP

Free format text: FORMER OWNER: ANJELEN SCI. + TECH. INC.

Effective date: 20080620

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20080620

Address after: Singapore Singapore

Applicant after: Avago Technologies General IP (Singapore) Pte. Ltd.

Address before: American California

Applicant before: Anjelen Sci. & Tech. Inc.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: WEICHUANG ZITONG CO., LTD.

Free format text: FORMER OWNER: AVAGO TECHNOLOGIES IP PRIVATE CO.

Effective date: 20111206

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; TO: TAIWAN, CHINA

TR01 Transfer of patent right

Effective date of registration: 20111206

Address after: Taiwan Province, New Taipei City

Patentee after: Weichuang Zitong Co., Ltd.

Address before: Singapore, Singapore

Patentee before: AVAGO TECHNOLOGIES GENERAL IP (SINGAPORE) PTE.LTD.