CN101272727A - 用于控制外部单元的装置 - Google Patents

用于控制外部单元的装置 Download PDF

Info

Publication number
CN101272727A
CN101272727A CNA2006800357968A CN200680035796A CN101272727A CN 101272727 A CN101272727 A CN 101272727A CN A2006800357968 A CNA2006800357968 A CN A2006800357968A CN 200680035796 A CN200680035796 A CN 200680035796A CN 101272727 A CN101272727 A CN 101272727A
Authority
CN
China
Prior art keywords
user
eyeball
external unit
click
muscle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800357968A
Other languages
English (en)
Other versions
CN101272727B (zh
Inventor
埃里克·伦德斯特伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Penny AB
Original Assignee
Penny AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Penny AB filed Critical Penny AB
Publication of CN101272727A publication Critical patent/CN101272727A/zh
Application granted granted Critical
Publication of CN101272727B publication Critical patent/CN101272727B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4519—Muscles

Abstract

一种用于控制由点击指令控制的外部单元的装置，包括：便携式头部安装框架(24)；安装在所述头部安装框架上的点击指令检测器(30a－b)，其适于感测用户面部中至少一块肌肉的张力变化以便检测用户何时提供了点击指令；以及点击指令传送器，其适于将与检测到的点击指令相关的信息传输至外部单元。

Description

用于控制外部单元的装置
技术领域
本发明涉及一种用于控制由点击指令控制的外部单元的装置。这种装置适于在用户发出指令时生成对应于点击鼠标或点击按钮的点击指令并将该点击指令发送至外部单元。举例来说，按钮是图形用户界面上的软按钮。
背景技术
本领域公知的是，通过眼球运动和眨眼来控制光标以及在显示屏上巡航从而控制计算机光标。这种系统对于例如有肌肉缺陷的人或者需要空出手来做别的事情而非控制鼠标或键盘的人来说比较有用，比如说飞行员。
在Ed Taylor，Tribune于2005年1月22日发表于互联网上的文章“Hands-free tracking”中，公开了一种硬件和软件系统，该硬件和软件系统使用户能够通过眼球运动和眨眼来控制计算机光标，该文章的链接如下：http://www.eastvalleytribune.com/index.php？sty＝35151。此系统提出的目的是取代计算机鼠标。此系统包括两个安装在计算机显示器侧边上的红外线模块、置于键盘上以跟踪用户眼球运动的摄像机以及使系统工作的软件。低功率的红外线照到用户的眼球上并产生由红外摄像机摄取的反射光。用户能够通过在屏幕上移动他的/她的眼球来控制光标的移动并能够通过眨眼来执行等同于点击鼠标的操作。该系统使得残疾人能够进行诸如在线读书或发送邮件之类的操作。
采用眨眼来发出点击指令的缺点是，难以将有意的眨眼和无意的眨眼区分开来。为了能够区分旨在发出点击指令的眨眼和无意的眨眼，必须使有意的眨眼比无意的眨眼持续时间长。然而，当闭眼时间很长时，会出现焦点无意识地从选定目标上飘离的情况，从而用户没能将焦点定位在他的当前任务上。
WO2004045399公开了一种用于检测和跟踪眼球和注视角度的方法和设备。当检测眼球的位置和注视角度时，在显示器周围设置光传感器和光源，并采用计算和控制单元。所述光源之一绕传感器设置并包括内部和外部元件。只有当内部元件发光时，捕获的图像中才会获得强而光亮的视觉效果，这导致简单的对瞳孔的检测，从而安全地确定注视方向。例如，这种系统可用于观测或确定显示器或显示屏上的用户正在注视的位置。
发明内容
本发明的一个目的是提供一种用于点击控制的外部单元的改进的装置，该装置使用户无需用手就可以产生一个点击指令。
本发明的另一个目的是为无法使用手或双手忙于其它事务的人提供一种进一步有助于使用计算机或设置有图形界面的其它电子设备的装置。
该目的通过权利要求1中限定的装置来实现。
依据本发明，该装置包括：便携式头部安装框架；点击指令检测器，其安装在头部安装框架上并且适于感测用户面部至少一块肌肉的张力变化以便检测用户何时提供了点击指令；以及点击指令传送器，其适于将关于检测到的点击指令的信息传输至外部单元。
外部单元是例如计算机、便携式PC、掌上导航仪、移动电话、电视机、CD播放机、微波炉、或其它任何与用户交互作用的电子设备。头部安装框架是例如一副眼镜、一个头盔或面罩。本发明使用户可以通过面部肌肉的张力变化来控制外部单元。
点击指令等同于点击鼠标或按压按钮，但不同于通过按压鼠标装置或外部单元上的按钮来发出点击指令，用户通过张紧其面部某一块特定肌肉来发出点击指令。安装在头部安装框架上的点击指令检测器监测特定肌肉的张力。相应地，无需用手即可控制外部单元。如果外部单元设置有具有光标的图形用户界面，则该装置使用户能够采用点击输入法，即通过将光标移动到屏幕上具体位置处代表某一数据目标的图标上并提供点击指令从而执行用户指令或进行选择。可以将点击指令检测器安装在待监测的肌肉附近，从而改善点击指令检测的效果。因此，用户通过张紧选定的肌肉来提供点击指令。前述的焦点从选定目标上无意识漂离从而用户没能将焦点定位在当前任务上的缺点在本发明中得以克服。本发明的另一个优点是可以远距离控制外部单元并且用户在提供点击指令时无需注视该装置。
依据本发明的一个实施例，点击指令检测器适于感测用户的颞颥(temporal lobe)-也称为颞部中至少一块肌肉的张力变化。因此，用户通过张紧颞颥中选定的一块肌肉来提供点击指令。该肌肉的位置使得易于检测。
依据本发明的一个实施例，点击指令检测器包括：第一传感器，其适于感测左面部上至少一块肌肉的变化以便检测用户何时提供了左点击指令；以及第二传感器，其适于感测右面部上至少一块肌肉的变化以便检测用户何时提供了右点击指令。左点击指令等同于点击鼠标左键，右点击指令等同于点击鼠标右键。因此，通过张紧面部两侧的肌肉，用户能够容易地提供左和右点击指令。
依据本发明的一个实施例，点击指令检测器适于检测某一阀值以上的张力变化。优选地，该阀值是可调节的。本实施例使得可以调节提供点击指令所需的张力变化量，以避免由于例如用户咀嚼时的微小的张力变化而无意间发出点击指令。
依据本发明的一个实施例，外部单元是由眼球运动和点击指令控制的外部单元，并且该装置包括：眼球跟踪器单元，其安装在头部安装框架上并且适于监测用户眼球运动；以及眼球位置传送器，其适于将关于用户眼球运动的信息传输至外部单元。如果外部单元设置有具有光标的图形用户界面，则可通过跟踪眼球运动来控制光标。用户可将该装置佩戴在他的/她的头上。通过在头部安装装置上安装眼球跟踪器，便可将监视器定位在靠近眼球处，眼球跟踪器将会跟随头的运动，从而改善监控眼球移动的效果。例如，这种装置用于控制例如计算机的图形用户界面上的由眼球运动控制的光标的运动。
依据本发明的一个实施例，眼球跟踪器包括热装置，该热装置适于检测至少一只眼球的不同部分的温度并据此检测该眼球的瞳孔的运动。优选地，此热装置包括适于检测来自用户至少一只眼球的红外线辐射的红外摄像机单元。该方法提供了一种简单且准确地测量用户瞳孔移动的措施。该方法是用户友好型，因为其不会对用户产生任何副作用。该实施例的另一个优点是眼球测量独立于周围的光线条件，这意味着不需要额外的光源。本实施例使得可以在微弱光线下-甚至在黑暗中测量瞳孔的运动。
依据本发明的一个实施例，红外摄像机单元包括适于检测来自一只眼球的红外线辐射的第一红外摄像机、以及适于检测来自另一只眼球的红外线辐射的第二红外摄像机。采用独立的红外摄像机来检测每只眼球，可改善检测眼球运动的效果并且可以提供立体影像。由于眼球为拱形，所以采用一个以上的摄像机来检测每一只眼球也是有利的。例如，为了提高测量质量，采用两个摄像机来检测每一只眼球。
依据本发明的一个实施例，红外摄像机是诸如CCD摄像机或CMOS摄像机之类的数码摄像机。这种摄像机可通过商业渠道购得。它们质量轻、体积小，从而可佩戴在用户头部并可置于靠近用户眼球的部位。此外，这种摄像机的功耗较小，从而使其适用于由电池供电。
依据本发明的实施例，该装置包括具有存储装置的控制单元，存储装置包括一个或多个眼球模型，所述模型包括眼球不同部分的温度的参考值，并且控制单元适于将参考值与从眼球接收到的温度值对比，并据此确定用户瞳孔的位置。优选地，所述模型是3D模型。
依据本发明的一个实施例，该装置还包括：适于从外部单元接收图像信号的接收器；以及适于基于接收到的图像信号在用户面前生成图像的图像生成器，并且来自外部单元的图像信号包括对应于外部单元的图形用户界面的信号，该图形用户界面具有由眼球运动控制的光标。本实施例的一个优点是可远距离控制外部单元。用户无需靠近外部单元，甚至不用看向外部单元即可控制它。
优选地，接收到的图像还包括一定内容。例如，图像信号包括文本文档并且图形用户界面包括图标和用于编辑文档的菜单。本实施例使得外部单元的屏幕可以显示于用户面前，而与外部单元的位置无关。同时当屏幕显示于用户面前时，用户可通过他的/她的眼球在屏幕上巡航，并且优选地通过面部的选定肌肉来控制屏幕上的元素和提供指令。相应地，可以不通过双手来操作外部单元。可以用这种装置替代传统的键盘、显示屏和鼠标。例如，该装置可用于移动电话的致电、文档的撰写和编辑、程序代码的编写和互联网冲浪。
依据本发明的一个实施例，图像生成器包括适于将用户界面的图像投射到用户视网膜上的投影器。由于图像被投射到用户的视网膜上，故无需显示屏。或者，头部安装框架可设置有安装在用户面前的屏幕，此时图像可以显示在该屏幕上。
依据本发明的一个实施例，接收器包括适于在其一端接收图像信号的光纤，并且投影器包括设置在光纤另一端的微型屏幕。如今，微型屏幕的尺寸在mm甚至μm级别。优选地，微型屏幕是C-MOS微型屏幕。由于采用C-MOS微型屏幕，故无需使用额外光源。从微型屏幕发出的光足以将图像发送得较远。采用光纤便省却了光和电磁间的转换装置。采用光纤的另一个优点是降低了朝向用户头部的辐射。采用光纤的再一个优点是可以避免外部系统对图像信号的干扰。
依据本发明的一个实施例，投影器还包括：设置成将图像反射大约90°的反射镜或棱镜；以及设置成使图像穿过眼球的瞳孔并将放大后的图像投射到用户视网膜上的凸透镜。这是一个简单的解决方案，只需要少数部件。
依据本发明的一个实施例，头部安装框架设计成眼镜框。对用户而言，眼镜框易于携带，尤其是当用户已需要佩戴眼镜来矫正视力缺陷时。依据本发明的一个实施例，眼镜框包括前部件和两个弓形件，并且眼球跟踪器安装在眼镜框的前部件处，而点击指令传送器安装在眼镜框的弓形件处。优选地，图像生成器安装在眼镜框的前部件处。这种装置方便用户携带并且看上去不会显得突兀。如果点击指令检测器包括用于检测左和右点击指令的两个传感器，则特别适合将左指令传感器安装在左弓形件上而将右指令传感器安装在右弓形件上。
依据本发明的一个实施例，该装置设置有麦克风，并且该装置适于将信号从麦克风传输至外部单元。优选地，该装置还设置有头戴式受话器。因此，该装置可进一步用作通讯工具。这一点在外部单元为移动电话时尤为有利。
依据本发明的一个实施例，该装置设置有摄像机，该摄像机设置成摄取用户的外部景象，并且该装置适于将来自摄像机的信号传输至外部单元。这点在与应用类似装置的其它用户或应用计算机单元的用户进行实时通讯的过程中是有利的，所述计算机单元通过无线电通讯装置与依据本发明的装置连接起来。图像可被记录、传输或直接发送给其它用户以便向他们显示当下发生的事情或已经发生的事情。该实施例使得可以在无需用手的情况下拍摄影像。
本申请文件中用到的术语包括是用于规范所提及的申明特征或单元。然而，该术语并不排除一个或多个提出的或附加的特征、整体、步骤、单元、或其组集。
附图说明
现在通过描述本发明的不同实施例并参照附图对本发明进行更详尽的解释。
图1A示出外部单元和依据本发明的第一实施例的装置的方框图，该装置包括头部装置和在头部装置与外部单元之间转换信号的调制器。
图1B示出外部单元和依据本发明的第二实施例的装置的方框图。
图1C示出外部单元和依据本发明的第三实施例的装置的方框图。
图2示出调制器的更多细节。
图3示出头部装置的更多细节。
图4示出头部装置的替代性实施例。
图5示出佩戴着依据本发明的实施例的装置的用户。
图6示出俯视的图像投影器的示例。
图7示出侧视的图7中示出的图像投影器的光路。
图8示出投射到用户的视网膜上并在用户面前显示的屏幕图像。
图9示出用于感测用户面部肌肉的张力变化的传感器的示例。
图10示出俯视的用于眼球跟踪器单元的摄像机示例。
图11示出名为翼外肌的肌肉，该肌肉适用于提供点击指令。
图12a-b示出用于感测用户面部肌肉的张力变化的传感器的另一种示例。
具体实施方式
下面描述本发明的一个实施例，该实施例提供如下各种功能：图形用户界面的显示、眼球跟踪、以及点击指令检测，上述功能都集成在单个头部安装装置中。所使用的技术是采用眼球跟踪系统的平视显示器(HUD)中的近眼技术。然而，依据本发明，也可单独实施所述功能，或者以其它组合方式来实施。例如，可以获得仅带有眼球跟踪功能的头部安装装置、仅带有点击检测功能的头部安装装置、仅带有眼球跟踪和显示功能的头部安装装置、仅带有眼球跟踪和点击检测功能的头部安装装置以及仅带有显示和点击检测功能的头部安装装置。
图1A示出外部单元1和依据本发明的第一实施例的装置2，装置2与外部单元2交互作用。外部单元是诸如计算机、移动电话或便携式PC之类带有图形显示屏的电子设备，该图形显示屏用于显示控制该设备并与用户交互作用的图形用户界面。然而，外部单元也可以是诸如微波炉、CD播放机或电视机之类的电子设备，其提供其它类型的用于控制该设备的用户界面，例如按键。本发明适用于各类用户控制的设备。优选地，外部单元1包括：生成器，其用于生成包括控制外部单元的光标和图形元素的图形界面；传送器，其用于给装置2传输图像信号，所述图像信号包括对应于图形用户界面的信号；接收器，其用于从装置2接收包括有关用户眼球运动和点击指令的信息的信号；以及控制单元，其用于响应于接收到的点击指令来控制外部单元1。图形生成器适于响应于接收到的眼球运动来移动光标。
装置2适于远程控制外部单元1并与外部单元1交互作用。装置2包括设计成佩戴于用户头部的头部安装部件4、以及用于在头部安装部件4和外部单元1之间转换信号的调制器5。优选地，调制器5设计成附连到用户的躯体或头部。然而，也可以将调制器5放置在靠近用户的邻近区域。头部安装部件4优选地具有一副眼镜的形状，但是其也可具有头盔或面罩的形状。在本发明的一个实施例中，调制器单元5与眼球跟踪器、点击指令检测器和图像生成器一起集成在便携式头部安装框架中。
在该实施例中，头部安装部件4具有如下功能：在用户面前显示图像，该图像显示外部单元的图形用户界面；检测用户眼球的运动；检测用户通过张紧选定的面部肌肉提供的点击指令。优选地，外部单元的图形用户界面具有眼球运动控制的光标。从而用户可通过他的/她的眼球来控制显示界面上的元素并通过张紧面部的肌肉来提供点击指令。相应地，用户无需用手就可远程控制外部单元。调制器单元5将用户眼球的运动和检测到的点击指令传送至外部单元1，同时从外部单元接收包括对应于图形用户界面的信号的图像信号。
在该实施例中，外部单元1和调制器5彼此间以无线方式连接。调制器5和头部安装部件4之间通过同轴电缆或光纤彼此实体连接。
图1B示出外部单元和依据本发明的第二实施例的装置的方框图。在该实施例中，外部单元1和调制器5通过同轴电缆彼此实体连接。调制器5和头部安装部件4之间通过同轴电缆或光纤彼此实体连接。该实施例的优点是该装置不易被干扰。
图1C示出外部单元和依据本发明的第三实施例的装置的方框图。在该实施例中，外部单元1和调制器5彼此以无线方式连接，而调制器5和头部安装部件4彼此也以无线方式连接。外部单元1和调制器5之间的信号例如通过如蓝牙或超宽带(UWB)来传输。
图2示出调制器5的更多细节。调制器5适于与外部单元1及头部安装部件4通讯。调制器5包括电池形式的电源7、中央处理器(CPU)8、包括ROM和RAM存储器的存储装置9、超大规模集成电路板(VLSI-board)10以及点击检测单元12。为了与外部单元通讯，调制器包括用于将信号传输至外部单元的传送器14、用于接收来自外部单元的信号的接收器16以及天线18。为了与头部安装装置4通讯，调制器包括将图像信号从外部单元传输至头部安装单元4的图像信号传送器20、用于从头部安装部件4接收对应于检测到的眼球运动的信号的接收器21、以及用于在调制器和头部安装部件之间通讯点击检测信号的传送器/接收器22。点击检测单元的功能将在下文解释。超大规模集成电路板10的功能是负责外部单元和头部安装部件4之间的通讯。超大规模集成电路板10包括用于将来自头部安装装置4的信号转换为用于外部单元1的适当格式的装置。
在将图像信号传输至头部安装单元之前，所述信号被转换为适当的格式，例如转换为电磁脉冲或光脉冲。对应于检测到的眼球运动的信号作为电磁脉冲被接收。点击传送器/接收器将电磁脉冲通讯传输至头部安装部件4并从头部安装部件4通讯接收电磁脉冲。调制器单元5和头部安装部件4之间的通讯既可以是无线方式也可以是通过一根或多根电缆的实体方式。
图3示出头部安装部件4的一个示例。头部安装部件4包括优选地构形为眼镜框的便携式头部安装框架24。便携式头部安装框架24设置有眼球跟踪器单元，眼球跟踪器单元包括适于检测来自用户一只眼球的红外线辐射的第一红外摄像机26a以及适于检测来自用户另一只眼球的红外线辐射的第二红外摄像机26b。因此，红外摄像机26a朝向用户的一只眼球，而另一摄像机26b朝向用户的另一只眼球。或者，便携式框架24可设置有2个以上的红外摄像机，例如设置四个红外摄像机，其中两个适于检测一只眼球的眼球运动而另外两个适于检测另一只眼球。从而增大可检测到的用户眼球运动的范围。便携式框架24设置有两根光纤28a、28b，用于将来自摄像机26a-b的信号传输至调制器单元。
为了检测眼球的运动，需检测瞳孔的运动。广为人知的事实是，眼球的不同部位具有独立于外界条件的不同温度。通过红外摄像机，即可测量出眼球不同部位的温度。从而可将瞳孔的位置与眼球其它部位区分开来，进而拍摄瞳孔运动的影像。调制器5的存储装置9设置有包括一个或多个包含眼球所有部分的完整眼球的模型的数据库，上述眼球的部分可能影响眼球如何面对外来方向的红外线辐射。眼球模型构形为多面三维图像。该图像中的每个面具有自身的值，该值反映出当其表面可见时能量从该部分沿何种路径放射、其与周围物体相关的温度、其在眼球中的作用以及其对直接照射的反应。通过软件控制单元，将基于从红外摄像机接收到的图像计算出的值与来自所存储的三维模型的参考值进行比较。基于参考值和来自红外摄像机的计算出的值之间的比较，即可计算出瞳孔的运动。
红外摄像机是一种测量仪器，其可在不接触物体的情况下检测到来自物体的红外线辐射并将其转换成电信号。为了减小摄像机的尺寸和重量，优选地采用基于CCD技术或CMOS技术的数码摄像机。CCD技术和CMOS技术在Ir.H.J.M.Veendrick的题为“Deep-submicron CMOS Ics”1998 ISBN 9055761281的书中第4和5章有更详细的描述。这些技术非常适用于红外摄像机。借助数码摄像机技术，就可设计出比采用模拟技术设计出的摄像机小很多的摄像机。来自红外摄像机26a-b的图像信号通过光纤28a、28b传输到传送器29a-b，传送器29a-b将所述图像转换成电磁信号并将所述电磁信号传输至调制器单元5。
摄像机26a-b定位在光纤28a-b的一端并且包括图像芯片。图像芯片由多个充电的感光像素组成，从而当带电粒子被照射时，像素可从带电粒子处生成并存储电荷。每个像素的电荷量与照射该像素的光子数直接相关。电荷通过相邻像素中的电压变化来读取，从而电荷能持续通过传感器输出。电荷被转化为电压并随后按照自身的强度值被数字化。对每个像素实施上述操作以便能够生成眼球的电子图像。
便携式头部安装框架24还设置有点击指令检测器单元，点击指令检测器单元适于感测用户面部的至少一块肌肉的张力变化，以便检测用户何时提供了点击指令。点击指令检测器单元包括：第一传感器30a，其适于感测左面部至少一块肌肉的张力变化从而检测用户何时提供了左点击指令；以及第二传感器30b，其适于感测右面部至少一块肌肉的张力变化从而检测用户何时提供了右点击指令。便携式框架24设置有适于在点击指令传感器30a-b和两个接触装置34a-b之间传输信号的两根光纤32a-b。优选地，检测位于用户眼睛和耳朵之间区域内的肌肉的张力变化。更优选地，检测位于用户颞颥中的肌肉的张力变化。更多有关合适肌肉的内容将结合图10进行描述。为了发出点击指令，用户必须张紧被检测的肌肉。点击指令传感器的更多细节将结合图9进行描述。
便携式头部安装框架24还包括投影器单元，投影器单元适于将外部单元的用户界面的图像投射到用户的视网膜上，以便使用户可通过眼球移动和肌肉张力变化来控制外部单元。投影器单元包括适于将图像投射到用户的一只眼球上的第一图像投影器36a以及适于将图像投射到用户的另一只眼球上的第二图像投影器36b。来自调制器单元5的图像信号由头部安装部件4通过接触构件38a-b接收，并且所述信号通过光纤40a-b传输到所述投影器。下文将结合图6和7更详细地描述投影器。
优选地，头部安装框架24设计成包括前部件42、左弓形件44、以及右弓形件45的眼镜框。包括红外摄像机26a-b的眼球跟踪器单元安装在眼镜框的前部件42处，左点击指令检测器30a安装在左弓形件44上，右点击指令检测器30b安装在眼镜框的右弓形件45上。为了能够检测所选肌肉的张力变化，点击指令检测器30ab应当安装成使得检测器的至少一部分与待检测肌肉接触。因此，选择与一副眼镜的弓形件自然接触的肌肉是特别有利的。图像投影器36a-b安装在镜框的前部件42上。
便携式框架24是中空的，以便容纳必要的电子元件，例如用于点击指令检测、图像投影以及眼球运动检测的光纤和电子元件。便携式框架24例如由塑料或金属制成，但是其优选地由塑料基复合材料制成。与很多其它材料相比，当今的复合材料具有抗冲击、廉价和轻质的优点。
图4示出头部安装部件4的另一实施例。图4所示的头部安装部件包括与图3所示的实施例中相同的元件。然而，该头部安装部件还包括：摄像机50，其沿与红外摄像机26a-b相反的方向朝外定向；以及全球定位系统(GPS)(未示出)，借助该全球定位系统用户可为自身和其它用户在世界地图上定位。摄像机50沿视界远离用户的方向定位，从而可读取周围环境的信息。因此，用户无需用手即可拍摄影像。此外，该头部安装部件还设置有到麦克风51a-b和耳机52a-b(用户可选择麦克风应当放置在哪一侧)的连接，麦克风51a-b和耳机52a-b通过调制器单元5连接到外部单元。麦克风连接51a-b和耳机52a-b为用户提供了一个头戴式通话器，使用户可与外部单元通讯。当外部单元为电话或移动电话时，此举尤为有用。也可以利用麦克风51为外部单元提供声音指令。在替代性实施例中，根据该装置即将应用的场合，便携式头部安装框架24可设置有摄像机、GPS功能、麦克风或头戴式受话器。
图5示出佩戴头部安装部件4的用户。外部单元的图形屏幕的图像投射到用户的视网膜上。用户感觉到在他面前的空中悬挂着一幅大的屏幕。该屏幕上显示有外部单元的内容和图形用户界面。图形单元界面上带有光标56，光标56由用户眼球的运动来控制。光标位于用户当时注视的点位。为了移动光标，用户移动他的眼球并注视新的点位，光标即移向该新的点位。为了提供点击指令，用户必须张紧面部选定的肌肉，例如用户颞颥中的肌肉。为了提供左点击指令，用户张紧左面部上的一块肌肉，而为了提供右点击指令，用户张紧右面部上的一块肌肉。头部安装部件4包括框架24和一副镜片58。镜片58的功能是减少来自周围环境的光线，从而用户可通过镜片看到投射的图像。镜片58将阻止来自外部的光线并使来自内部的光线透过。
图6示出图像投影器36a-b的示例。投影器的目的是将图像投射到用户的视网膜上。为了能将图像投射到视网膜上，投影器必须具有基于微型部件的特殊设计，所述微型部件按顺序置于具有真空内部的壳体60内。来自调制器单元5的图像信号被转换成光信号，光信号在适用于传输可见光的光纤40a-b中传输。用于将信号传输到投影器的光纤40a-b例如适于发送RGB图像。在光纤40a-b的另一端安装有微型屏幕62。来自光纤的光信号撞击微型屏幕并且该光信号被转换成电磁脉冲。微型屏幕62例如是CCD屏幕。采用CCD屏幕的优点是其设置有自己的光源。替代性地，可采用同轴电缆来代替光纤40a-b。
微型屏幕62的主要作用是将来自光纤的光信号转化成将要显示给用户的真实图像。如果外部单元设置有图形屏幕，则当显示给用户的图像与显示在图形屏幕上的图像相同时是有利的。借助现代化的微缩技术，可生产很小(μm)的屏幕。采用很小的屏幕非常重要，否则会导致用户将其佩戴在头上时感到不适。可用于微型屏幕的技术是互补金属氧化物半导体技术(CMOS)、高温多晶硅技术(HTPS)、数字光处理技术(DLP)或硅基液晶技术(LCOS)。
图像投影器36包括五棱镜形式的反射器64。五棱镜64包括两个反射面65。反射面65上覆盖有例如铝的反射膜。采用五棱镜的优点是当图像在棱镜内折射时不会沿任一方向反射或翻转。这意味着通过光纤发送到微型屏幕的图像能够在沿正确路径回转的情况下被发送。来自微型屏幕的光被引导进棱镜，并且当所述光碰到棱镜中的反射面65时该信号折射90°。
此外，投影器36包括双凸面透镜(bio-convex lens)66，双凸面透镜66设置成使图像穿过用户的瞳孔并使得在用户的视网膜上投射出放大的图像。
图7示出穿过透镜66的光路。通过采用两个不同的聚焦点68、70，即可实现图像的放大。图像信号在72处穿过瞳孔并且在74处显示放大的图像。来自五棱镜64的图像碰到双凸面透镜66的上边缘。通过引导图像穿过双凸面透镜的上边缘，光以这种角度折射：使得图像能够容易地沿用户视网膜的方向转动，而不会引起图像平面的任何扭曲。当图像穿过双凸面透镜后，图像会直接朝用户视网膜投射，并且图像被放大。用户会感觉到自由悬挂在面前空中的图像，同时能够看到周围环境，如图8所示。
图9示出用于感测用户颞颥表面中的肌肉张力变化的传感器30a-b的示例，传感器30a-b适于安装在便携式头部安装框架24中。光纤32a形成传感器30a的一部分，并且光纤32a适于在其一端接收一系列光脉冲。光纤的另一端设置有标准具的薄膜80。薄的标准具膜80是透明的，因而允许光脉冲通过并以较低的频率从光纤输出。传感器30a还包括具有真空内部的壳体80。该壳体80设计成与用户头部的一部分接触，该部分包含用于感应测量的选定肌肉。壳体80设置有例如聚氨酯塑料制成的窗84，窗84适于与待感测的肌肉实体接触。或者，用同轴电缆替代光纤32a，并且用电气开关替代膜80。
传感器30a包括用于反射光脉冲的反射器86以及用于将反射器86紧固到壳体82和光纤32a的紧固装置88。反射器86包括第一部分86a，第一部分86a设置成能够在开启位置和关闭位置之间移动，在开启位置光脉冲被允许传出光纤32，而在关闭位置光脉冲被反射，并且白光在光纤的端部发散，所述光纤向调制器单元发送脉冲告知已经进行了感测。第一部分86a的尺寸对应于光纤端部，并且在关闭位置时第一部分86a适于用作光纤端部的盖。反射器86包括第二部分86b，第二部分86b与窗84相接触，从而当用户张紧与该窗接触的肌肉时第二部分86b会受到影响；相应地使第一反射器部分86在开启位置和关闭位置之间移动。
调制器单元5的点击检测单元12提供一系列光脉冲，所述光脉冲通过调制器的传送器22和头部安装部件的接触装置34a-b传输到头部安装部件4。光纤32a持续地从调制器单元5接收光脉冲。当与窗84接触的肌肉处于松弛状态时，第一反射器部分86a位于开启位置并且光脉冲被允许从光纤传输出去。当用户张紧与窗84接触的肌肉时，第一反射器部分86a移至关闭位置，从而改变光脉冲的强度。然后光脉冲的强度变化通过光纤反应并传回调制器单元5。点击检测单元12包括适于检测反射光脉冲的光脉冲检测器。当检测到反射光脉冲时，则意味着用户已提供了点击指令。调制器单元通知外部单元点击指令已被检测到。调制器单元还根据该点击指令是由左面部或右面部上的肌肉提供而通知外部单元该点击指令是左点击指令还是右点击指令。这种信息以与诸如鼠标之类的传统点击装置上的左右按钮相同的方式提供。
为了使点击指令传感器正常工作并且只检测用于点击指令的信号，优选地在外部单元中安装软件，该软件的工作方式与计算机的普通鼠标设置软件的工作方式相同。首次使用该系统的用户需根据自身的身体状况和特殊需求来对系统进行规范设置。用户还可进行其它设置，例如右按钮点击将发出何种具体指令。对于专门设计的系统用户而言，仅有简单的左、右点击指令是不够的。相反，他们可能想要对左、右传感器专门设定某些具体指令。对每一具体用户来说，其所有的设置均保存在闪存中。
另一种可能性是让用户调节传感器30的灵敏度，以便避免例如咀嚼过程中无意的肌肉张紧被作为点击指令检测出来。避免无意识的点击指令的一个可行途径是通过时间设定。用户可借助软件计时器来测量完成一个选择前肌肉张紧的时间，从而具体设定他的/她的点击指令的特定灵敏度。点击指令检测器不再判断是否有点击指令发出，相反点击指令检测器提供连续信号，此信号随后被处理以便判断是否有点击指令发出或只是由用户进行的诸如如咀嚼、谈话或发笑之类的普通动作引起的正常张紧。调节点击指令检测的灵敏度的另一途径是将张力变化的检测对准某一具体肌肉，以便防止正常动作过程中使用的其它肌肉的影响。通过将传感器安置在靠近用户耳朵前上部的左弓形件和右弓形件中，就可以使得用户在进食(咀嚼)时使用点击指令检测器。
图10示出摄像机装置26a-b的示例。摄像机的作用是记录用户瞳孔的位置，然后用所记录的位置在外部单元的图形用户界面中移动鼠标和/或巡航。为了能够记录眼球瞳孔的位置，摄像机必须具有基于微型部件的特殊设计，前述微型部件按顺序集成在具有真空内部的壳体90内。摄像机装置通过安置在光纤28a端部的CCD摄像机92来记录眼球不同部分的温度。或者，采用同轴电缆来替代光纤28a。
CCD摄像机的主要作用是记录瞳孔的位置并将其发送至调制器进行管理。通过采用中波红外线(MIR)的波长可以记录眼球不同部分的情况，即便用户处于完全黑暗的环境或者譬如因火情引起的浓烟而无法看到眼球的另一位置。
图11示出名为翼外肌的肌肉100，其适用于左和右点击指令传感器30a-b的鼠标控制单元中的感测。由于该肌肉较宽，故可将鼠标控制单元的传感器放置在靠近耳朵处，从而在一面使用整个装置一面自然咀嚼-即进食的过程中获得尽可能低的张力。为了能够使用点击指令传感器并且能够在左或右按钮间选择，用户必须能够将颚从一侧移向另一侧，同时将下颌骨推向上颚。点击指令传感器与蝶骨的颞颥表面上的翼外肌实体接触。翼外肌用于降低下颌骨、打开颚并帮助翼内肌将颚从一侧移向另一侧。
咬嚼/咀嚼是利用牙齿将食物撕碎和/或压碎的过程。它是消化的第一步。通过咀嚼，食物被软化、加温，并且唾液中的酶开始将食物中的碳水化合物降解。咬嚼的实现归功于强健的肌肉、咀嚼肌、颞肌以及实现精密控制的小块肌肉。它们使下颌对着上颚移动并使得能够将较硬的食物压碎。人类的下颌与颞下颌关节相连，颞下颌关节可实现前后和从一侧到另一侧的运动。
将咬嚼(咀嚼)的肌肉用于点击指令检测器需要仔细计算的位置设置。点击指令检测器主要利用咀嚼时使用的肌肉群中一块肌肉。归功于强健的肌肉、咀嚼肌、颞肌以及实现精密控制的小块肌肉。它们使下颌对着上颚移动并使得能够将较硬的食物压碎。咀嚼食物是一种复杂的技术，肌肉需要足够强健才能破碎食物的坚硬部分，还需要足够灵巧以免伤到舌头，并且还需要对口腔进行彻底的清理。所有咬嚼的肌肉(除了茎突咽肌)均由下颌神经支配(V3)，下颌神经是主要传递面部感应的三叉神经的旁支。颞肌是附连到颞窝(位于颅骨侧面)的肌肉，并且颞肌连接到下颌的冠状突。它用于关闭颚，并向内拉动下颌(使它后移)。咀嚼肌起始于颧弓处并插入下颌的侧表面处。上述技术在Ir.H.J.M.Veendrick的题为“Deep-submicron CMOS Ics”1998ISBN 9055761281的书中第4和5章有更详尽的描述。
翼外肌是具有两个头的咀嚼肌。上头起始于蝶骨的颞下面，而下头位于翼突外侧板的侧表面上；二者都嵌到下颌的踝状突下的翼肌凹。它用于降低下颌、张开颚、并帮助翼内肌将颚从一侧移向另一侧(咬嚼)。它由从下颌神经到翼外肌的神经支配。
蝶骨(楔骨)是位于颅骨基部及颞颥和基枕骨前方的骨头。它有点像展开双翼的蝴蝶，并且分为中间部分或本体、从本体两侧向外展开的两个大翼和两个小翼、以及从它下面突出的两个翼突。
每一侧的翼外肌是作用于颞下颌关节上的肌肉之一。
它源自两个头：
上头：蝶骨的大翼的颞下面，
下头：翼突外侧板的侧表面。
它向上、沿侧部和后部穿伸从而插入两个部位：
下颌的颈部的内表面，
颞下颌关节的内关节软骨。
翼外肌由下颌神经(CN V)的前股分支神经支配。
单独动作时，翼外肌用于使下颌向中间运动。联合动作时，两块肌肉用于使下颌压下和前伸。此外，当嘴张开时，它们向前拉动关节软骨。
上头：蝶骨的大翼的侧表面，
下头：翼突外侧板的侧表面，
插在一起：下颌踝状突的颈部，颞下颌关节(TMJ)的关节盘，
动作时：使下颌偏向收缩的相反侧(咀嚼时)、通过突出下颌(下头)使嘴张开、关闭下颌(上头)，
血液：翼外肌动脉，
神经：翼外肌神经。
图12a-b示出用于监测面部翼外肌的张力变化的光敏传感器的示例，该光敏传感器可以替代安装在眼镜框的右弓形件45上的点击指令传感器。该传感器能够执行与图9中采用的点击指令传感器相同的功能。通过采用发光二极管(LED)101，光点被传输至用户的颞肌102。通过用一维摄像机103记录通过双凸面透镜104的光点，即可检测出上述肌肉是否张紧。图12a示出正常状态，即肌肉松弛并且没有做出选择的状态。正常状态意味着摄像机103检测到来自LED的光。
图12b示出如何利用LED 101和摄像机来作出选择。颞肌102的张紧使LED照到颞肌上的暴露部分发生移动。当摄像机103未检测到来自LED的光时，向调制器内的点击检测单元12发出信号，从而发出点击指令。
在依据本发明的装置的基本型式中，所有电缆均为同轴电缆并且未采用任何光纤来传输任何类型的信号。与采用红外摄像机不同，采用在可见光范围内操作的摄像机。通过红外线照射眼球，以检测瞳孔的位置从而实现眼球跟踪。点击传感器是简单的模型，包括简单的开关型切换器，其根据肌肉张紧或松弛来开启或闭合。
在依据本发明的装置的扩展型式中，该装置包括耳机和麦克风，从而使用户可与其它用户进行通讯。
在依据本发明的装置的扩展型式中，采用光纤来传输眼镜框内的不同单元间的各种数据。上述红外技术用于检测眼球的运动。该装置还包括用于为周边环境拍照或拍摄影像的摄像机以及一个内置的全球定位系统(GPS)。
本发明不仅仅局限于所公开的实施例，而是可以在所附权利要求的范围内进行改型和变型。例如，用于感测肌肉的张力变化的传感器可包括基于附连到光纤的法布里-珀罗(Fabry-Perot)腔的系统。外部压力能使其某一壁偏斜，即使腔内的膜偏斜。通过光纤的光进入该腔。当该腔的深度发生变化时，该腔内的光干涉条件也发生变化。反射光的强度变化便能够被相对的光纤端部处的光检测器检测到。

Claims (19)

1.一种用于控制由点击指令控制的外部单元的装置，其特征在于所述装置包括：
便携式头部安装框架(24)，
点击指令检测器(30a-b)，其安装在所述头部安装框架上并且适于感测用户面部中至少一块肌肉的张力变化以便检测用户何时提供了点击指令，以及
点击指令传送器(14)，其适于将与检测到的点击指令相关的信息传输至所述外部单元。
2.根据权利要求1所述的装置，其中，所述点击指令检测器(30a-b)适于感测用户的颞颥中至少一块肌肉的张力变化。
3.根据权利要求1或2所述的装置，其中，所述点击指令检测器包括：第一传感器(30a)，其适于感测左面部上至少一块肌肉的张力变化，以便检测用户何时提供了左点击指令；以及第二传感器(30b)，其适于感测右面部上至少一块肌肉的张力变化，以便检测用户何时提供了右点击指令。
4.根据前述任一项权利要求所述的装置，其中，所述点击指令检测器(30a-b)适于检测大于阀值的张力变化。
5.根据前述任一项权利要求所述的装置，其中，所述外部单元(1)是由眼球运动和点击指令控制的外部单元，并且所述装置包括：
眼球跟踪器单元(26a-b)，其安装在所述头部安装框架(24)上并且适于监测用户的眼球运动；以及
眼球位置传送器(14)，其适于将与用户眼球运动相关的信息传输至所述外部单元。
6.根据权利要求5所述的装置，其中，所述眼球跟踪器单元(26a-b)适于检测至少一只眼球的不同部分的温度并据此检测所述眼球的瞳孔的运动。
7.根据权利要求6所述的装置，其中，所述眼球跟踪器单元(26a-b)包括适于检测来自用户的至少一只眼球的红外线辐射的红外摄像机。
8.根据权利要求7所述的装置，其中，所述眼球跟踪器单元包括适于检测来自一只眼球的红外线辐射的第一红外摄像机(26a)、以及适于检测来自另一只眼球的红外线辐射的第二红外摄像机(26b)。
9.根据权利要求6或7所述的装置，其中，所述红外摄像机(26a-b)是诸如CCD摄像机或CMOS摄像机之类的数码摄像机。
10.根据权利要求5-9中任一项所述的装置，其中，所述装置包括具有存储装置(9)的控制单元(5)，所述存储装置(9)包括一个或多个眼球模型，所述模型包括眼球不同部分的温度的参考值，并且所述控制单元适于比较所述参考值与从眼球接收到的温度值并据此确定用户瞳孔的位置。
11.根据前述任一项权利要求所述的装置，其中，所述装置还包括：
接收器(16)，其适于接收来自所述外部单元(1)的图像信号；以及
图像生成器(36a-b)，其适于根据所述接收到的图像信号在用户面前生成图像，并且所述来自外部单元的图像信号包括对应于所述外部单元的图形用户界面的信号，所述图形用户界面具有由眼球运动控制的光标。
12.根据权利要求11所述的装置，其中，所述图像生成器(36a-b)包括适于将所述用户界面的图像投射到用户视网膜上的投影器。
13.根据权利要求12所述的装置，其中，所述接收器包括适于在其一端接收所述图像信号的光纤(40a-b)，并且所述投影器包括设置在所述光纤另一端的微型屏幕(62)。
14.根据权利要求12或13所述的装置，其中，所述投影器还包括设置成将所述图像反射大约90°的反射器或棱镜(65)、以及设置成使所述图像穿过眼球的瞳孔并将所述图像放大投射到眼球的视网膜上的凸透镜(66)。
15.根据前述任一项权利要求所述的装置，其中，所述头部安装框架(24)设计成眼镜框。
16.根据权利要求5和15所述的装置，其中，所述眼镜框包括前部件(42)和两个弓形件(44、45)，并且所述眼球跟踪器单元(26a-b)安装在所述眼镜框的前部件处，并且所述点击指令检测器(30a-b)安装在所述眼镜框的弓形件处。
17.根据权利要求11和16所述的装置，其中，所述图像生成器(36a-b)安装在所述眼镜框的前部件(42)处。
18.根据前述任一项权利要求所述的装置，其中，所述装置设置有麦克风(51)，并且所述装置适于将来自所述麦克风的信号传输至所述外部单元。
19.根据前述任一项权利要求所述的装置，其中，所述装置设置有摄像机(50)，所述摄像机(50)设置成摄取用户的外部景象，并且所述装置适于将来自所述摄像机的信号传输至所述外部单元。
CN2006800357968A 2005-09-27 2006-09-21 用于控制外部单元的装置 Expired - Fee Related CN101272727B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
SE0502116-7 2005-09-27
SE0502116 2005-09-27
US72433005P 2005-10-06 2005-10-06
US60/724,330 2005-10-06
PCT/SE2006/050346 WO2007037751A1 (en) 2005-09-27 2006-09-21 A device for controlling an external unit

Publications (2)

Publication Number Publication Date
CN101272727A true CN101272727A (zh) 2008-09-24
CN101272727B CN101272727B (zh) 2011-09-07

Family

ID=40006288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800357968A Expired - Fee Related CN101272727B (zh) 2005-09-27 2006-09-21 用于控制外部单元的装置

Country Status (6)

Country Link
US (1) US8587514B2 (zh)
EP (1) EP1928296B1 (zh)
CN (1) CN101272727B (zh)
AT (1) ATE507762T1 (zh)
DE (1) DE602006021760D1 (zh)
WO (1) WO2007037751A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500012A (zh) * 2013-10-17 2014-01-08 中国科学技术大学 头戴式眼动数据获取装置
CN104238726A (zh) * 2013-06-17 2014-12-24 腾讯科技（深圳）有限公司 智能眼镜控制方法、装置及一种智能眼镜
CN104238120A (zh) * 2013-12-04 2014-12-24 全蕊 智能眼镜及控制方法
CN104460955A (zh) * 2013-09-16 2015-03-25 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
CN104635357A (zh) * 2015-03-07 2015-05-20 黄燕云 一种智能眼镜
CN104750220A (zh) * 2011-07-20 2015-07-01 谷歌公司 确定可穿戴设备是否在使用中
CN105334965A (zh) * 2015-11-26 2016-02-17 北京京东尚科信息技术有限公司 头戴装置、舌套、面部遥控装置以及面部遥控方法
CN105718167A (zh) * 2016-01-21 2016-06-29 陈佩珊 一种基于智能眼镜镜腿触摸的图标迁移实现方法及系统
CN105739851A (zh) * 2016-01-21 2016-07-06 陈佩珊 一种基于智能眼镜语音识别的图标迁移实现方法及系统
CN106201284A (zh) * 2015-04-29 2016-12-07 由田新技股份有限公司 用户界面同步系统、方法
CN107440675A (zh) * 2016-06-01 2017-12-08 清弘生医股份有限公司 可穿戴式眼温监测装置及其系统
WO2018040078A1 (zh) * 2016-09-05 2018-03-08 清弘生医股份有限公司 可穿戴式眼温监测装置及其系统
CN108204790A (zh) * 2017-11-20 2018-06-26 国网山东省电力公司泰安供电公司 一种基于三维模型的测量装置和方法
CN108508607A (zh) * 2018-03-30 2018-09-07 京东方科技集团股份有限公司 车载显示设备
CN109446947A (zh) * 2011-06-10 2019-03-08 亚马逊技术公司 视频中的增强的脸部识别
CN110662129A (zh) * 2019-09-26 2020-01-07 联想(北京)有限公司 一种控制方法及电子设备

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070152076A1 (en) * 2004-12-13 2007-07-05 Chiang Kuo C Monitoring system with a wireless transmitting/receiving module
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
WO2009022924A1 (en) * 2007-08-15 2009-02-19 William Bryan Woodard Image generation system
NZ560457A (en) 2007-08-15 2010-02-26 William Bryan Woodard Image generation system
KR101590331B1 (ko) * 2009-01-20 2016-02-01 삼성전자 주식회사 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
CN101998081A (zh) * 2010-10-18 2011-03-30 冠捷显示科技（厦门）有限公司 利用眼睛进行电视屏幕菜单选择的实现方法
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
US9265415B1 (en) * 2012-01-06 2016-02-23 Google Inc. Input detection
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US8922481B1 (en) * 2012-03-16 2014-12-30 Google Inc. Content annotation
US8907867B2 (en) 2012-03-21 2014-12-09 Google Inc. Don and doff sensing using capacitive sensors
US10469916B1 (en) 2012-03-23 2019-11-05 Google Llc Providing media content to a wearable device
US20130257832A1 (en) * 2012-03-30 2013-10-03 Exelis, Inc. Image pickoff apparatus system and method
JP6060512B2 (ja) 2012-04-02 2017-01-18 セイコーエプソン株式会社 頭部装着型表示装置
US9201512B1 (en) 2012-04-02 2015-12-01 Google Inc. Proximity sensing for input detection
US9128522B2 (en) 2012-04-02 2015-09-08 Google Inc. Wink gesture input for a head-mountable device
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
CN103777351A (zh) * 2012-10-26 2014-05-07 鸿富锦精密工业（深圳）有限公司 多媒体眼镜
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9116926B2 (en) * 2012-12-20 2015-08-25 Google Inc. Sharing photos
US9571726B2 (en) 2012-12-20 2017-02-14 Google Inc. Generating attention information from photos
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US20160030764A1 (en) * 2013-03-15 2016-02-04 Allan C. Entis Non-tactile sensory substitution device
US10353460B2 (en) * 2014-01-29 2019-07-16 Tarek A Shazly Eye and head tracking device
CN104090384A (zh) * 2014-06-30 2014-10-08 广东九联科技股份有限公司 一种眨眼监控的眼镜及其方法
DE102014109734A1 (de) * 2014-07-11 2016-01-14 Miele & Cie. Kg Verfahren zum Betreiben einer mit einem Haushaltsgerät koppelbaren Datenbrille, Verfahren zum Betreiben eines mit einer Datenbrille koppelbaren Haushaltsgeräts, Datenbrille, Haushaltsgerät sowie System zum Ansteuern eines Haushaltsgeräts
CN107072524B (zh) * 2014-11-19 2018-11-30 夏普株式会社 眼球运动检测装置
IL248721A0 (en) * 2016-11-03 2017-02-28 Khoury Elias An accessory for providing hands-free computer input
WO2018094284A1 (en) * 2016-11-18 2018-05-24 Child Mind Institute, Inc. Thermal sensor position detecting device
CN109965843B (zh) * 2019-03-14 2022-05-24 华南师范大学 一种基于滤波传像的眼动系统
KR20190106926A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 전자 기기
US20210321876A1 (en) * 2020-04-21 2021-10-21 Ehsan Zare Bidaki System and method for imaging, segmentation, temporal and spatial tracking, and analysis of visible and infrared images of ocular surface and eye adnexa
US11553313B2 (en) 2020-07-02 2023-01-10 Hourglass Medical Llc Clench activated switch system
WO2022173558A1 (en) 2021-02-12 2022-08-18 Hourglass Medical Llc Clench-control accessory for head-worn devices

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7801616A (en) * 1978-02-13 1979-08-15 Tno Eye switch for dumb person - has LED as IR transmitter and phototransistors as detectors
IL87813A (en) * 1987-09-21 1993-08-18 Udden Measuring light intensity variations
GB2265003B (en) 1989-04-26 1993-12-01 Glynn Christopher J Device for use in real-time monitoring of human or animal bodily functions
EP0468340A3 (en) 1990-07-24 1992-12-16 Biocontrol Systems, Inc. Eye directed controller
US5474082A (en) 1993-01-06 1995-12-12 Junker; Andrew Brain-body actuated system
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
US5923398A (en) * 1995-06-15 1999-07-13 Enlightened Technologies, Inc. Interactive light field for non-visual stimulation
US6001065A (en) * 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
JPH09114543A (ja) 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
WO1999005988A2 (en) * 1997-07-30 1999-02-11 Applied Science Laboratories An eye tracker using an off-axis, ring illumination source
US6083251A (en) * 1997-11-13 2000-07-04 Shindo; Kohei Eye treatment method and apparatus
DE29818783U1 (de) * 1998-10-22 1999-04-22 Hoch Gerhard Dipl Phys Vorrichtung zur Implementierung einer intraoralen, myofunktionellen Schnittstelle an den Personal Computer
US6636763B1 (en) * 1998-12-10 2003-10-21 Andrew Junker Brain-body actuated system
US6647368B2 (en) * 2001-03-30 2003-11-11 Think-A-Move, Ltd. Sensor pair for detecting changes within a human ear and producing a signal corresponding to thought, movement, biological function and/or speech
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
GB2396421A (en) * 2002-12-16 2004-06-23 Orange Personal Comm Serv Ltd Head-worn device measuring brain and facial muscle activity
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US7369951B2 (en) 2004-02-27 2008-05-06 Board Of Trustees Of Michigan State University Digital, self-calibrating proximity switch
US20060252978A1 (en) * 2005-05-09 2006-11-09 Vesely Michael A Biofeedback eyewear system
TWI351265B (en) * 2007-11-06 2011-11-01 Asustek Comp Inc Input device with physiological measuring module

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446947B (zh) * 2011-06-10 2020-07-17 亚马逊技术公司 视频中的增强的脸部识别
CN109446947A (zh) * 2011-06-10 2019-03-08 亚马逊技术公司 视频中的增强的脸部识别
CN104750220A (zh) * 2011-07-20 2015-07-01 谷歌公司 确定可穿戴设备是否在使用中
CN104238726B (zh) * 2013-06-17 2017-07-18 腾讯科技（深圳）有限公司 智能眼镜控制方法、装置及一种智能眼镜
CN104238726A (zh) * 2013-06-17 2014-12-24 腾讯科技（深圳）有限公司 智能眼镜控制方法、装置及一种智能眼镜
CN104460955B (zh) * 2013-09-16 2018-08-10 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
CN104460955A (zh) * 2013-09-16 2015-03-25 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
CN103500012A (zh) * 2013-10-17 2014-01-08 中国科学技术大学 头戴式眼动数据获取装置
CN104238120A (zh) * 2013-12-04 2014-12-24 全蕊 智能眼镜及控制方法
CN104635357A (zh) * 2015-03-07 2015-05-20 黄燕云 一种智能眼镜
CN106201284A (zh) * 2015-04-29 2016-12-07 由田新技股份有限公司 用户界面同步系统、方法
CN106201284B (zh) * 2015-04-29 2020-03-24 由田新技股份有限公司 用户界面同步系统、方法
CN105334965A (zh) * 2015-11-26 2016-02-17 北京京东尚科信息技术有限公司 头戴装置、舌套、面部遥控装置以及面部遥控方法
CN105334965B (zh) * 2015-11-26 2018-09-25 北京京东尚科信息技术有限公司 头戴装置、舌套、面部遥控装置以及面部遥控方法
CN105739851A (zh) * 2016-01-21 2016-07-06 陈佩珊 一种基于智能眼镜语音识别的图标迁移实现方法及系统
CN105718167A (zh) * 2016-01-21 2016-06-29 陈佩珊 一种基于智能眼镜镜腿触摸的图标迁移实现方法及系统
CN107440675A (zh) * 2016-06-01 2017-12-08 清弘生医股份有限公司 可穿戴式眼温监测装置及其系统
WO2018040078A1 (zh) * 2016-09-05 2018-03-08 清弘生医股份有限公司 可穿戴式眼温监测装置及其系统
CN108204790A (zh) * 2017-11-20 2018-06-26 国网山东省电力公司泰安供电公司 一种基于三维模型的测量装置和方法
CN108204790B (zh) * 2017-11-20 2021-08-24 国网山东省电力公司泰安供电公司 一种基于三维模型的测量装置和方法
CN108508607A (zh) * 2018-03-30 2018-09-07 京东方科技集团股份有限公司 车载显示设备
CN110662129A (zh) * 2019-09-26 2020-01-07 联想(北京)有限公司 一种控制方法及电子设备

Also Published As

Publication number Publication date
EP1928296B1 (en) 2011-05-04
DE602006021760D1 (de) 2011-06-16
US20100295769A1 (en) 2010-11-25
US8587514B2 (en) 2013-11-19
EP1928296A1 (en) 2008-06-11
ATE507762T1 (de) 2011-05-15
CN101272727B (zh) 2011-09-07
WO2007037751A1 (en) 2007-04-05
EP1928296A4 (en) 2010-01-06

Similar Documents

Publication Publication Date Title
CN101272727B (zh) 用于控制外部单元的装置
JP5036177B2 (ja) 情報表示装置
US10375283B2 (en) Portable eye tracking device
US10342428B2 (en) Monitoring pulse transmissions using radar
CN103442629B (zh) 通过设定数据速率确定双眼的至少一个参数的方法和光学测量装置
CN104076512B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US6549231B1 (en) Image recording apparatus
US20120314045A1 (en) Wearable systems for audio, visual and gaze monitoring
US20170108918A1 (en) Second Screen Devices Utilizing Data from Ear Worn Device System and Method
CN105446474B (zh) 可穿戴智能设备及其交互的方法、可穿戴智能设备系统
CN105900141A (zh) 将闪光映射到光源
CN103033936A (zh) 具有虹膜扫描剖析的头戴式显示器
CN109923499A (zh) 便携式眼睛追踪装置
RU2006138622A (ru) Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
JP5119357B2 (ja) 情報表示装置
CN104281266A (zh) 头戴式显示设备
JP7271909B2 (ja) 表示装置、及び、表示装置の制御方法
JP2003230539A (ja) 視線検出装置
CN204347750U (zh) 头戴式显示设备
CN219439904U (zh) 一种头戴式避障设备及避障系统
US11789544B2 (en) Systems and methods for communicating recognition-model uncertainty to users
CN113672080B (zh) 以近接感测器侦测眨眼的方法及系统
CN113376868A (zh) 智能眼镜
TW202318180A (zh) 用於對於使用者的通信模型不確定性之系統和方法
WO2016121049A1 (ja) 情報表示端末および情報表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110907

Termination date: 20190921