CN103782255A - 交通工具娱乐系统的眼动追踪控制 - Google Patents

交通工具娱乐系统的眼动追踪控制 Download PDF

Info

Publication number
CN103782255A
CN103782255A CN201280043910.7A CN201280043910A CN103782255A CN 103782255 A CN103782255 A CN 103782255A CN 201280043910 A CN201280043910 A CN 201280043910A CN 103782255 A CN103782255 A CN 103782255A
Authority
CN
China
Prior art keywords
user
eyes
processor
display surface
optical transmitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280043910.7A
Other languages
English (en)
Other versions
CN103782255B (zh
Inventor
克里斯托弗·K·蒙德拉贡
布雷特·布利切尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Avionics Inc
Original Assignee
Thales Avionics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Avionics Inc filed Critical Thales Avionics Inc
Publication of CN103782255A publication Critical patent/CN103782255A/zh
Application granted granted Critical
Publication of CN103782255B publication Critical patent/CN103782255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0027—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part
    • B60N2/0028—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part of a body part, e.g. of an arm or a leg
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D11/00—Passenger or crew accommodation; Flight-deck installations not otherwise provided for
    • B64D11/0015—Arrangements for entertainment or communications, e.g. radio, television
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种机上娱乐系统，包括一朝向一用户座椅的视频显示单元，该视频显示单元包括一显示表面，对坐在该用户座椅上的用户显示影像，一光发射器照明该用户的眼睛，一相机输出含有经照明的该眼睛的反射的一视频信号，一处理器处理该视频信号而判断该眼睛朝向该显示表面的一览视位置，并响应于经判断的该览视位置而控制至少一个对于影像如何显示在该显示表面的功能。

Description

交通工具娱乐系统的眼动追踪控制
相关申请的交互参照
本申请主张2011年9月9日的美国专利临时申请案号61/532875的优先权，其全文内容为经结合而作为参考。
技术领域
本发明涉及一种电子娱乐系统，特别是涉及一种控制娱乐系统的人机接口。
背景技术
本节所述的处理方式为可被施行，但并非必定为先前已经被想出或实施的处理方式。因此，若非经本文所指出，本节中所包含的该些处理方式并不应被认定为先前技术，且不应被承认为先前技术。
自1995年起，自动化比划动作（gesture）辨识即成为大量研究的主题。手势辨识的一个目的乃是为了对机器的控制，如Freeman等人在案名为“手部比划动作机器的控制系统”的美国专利第5594469号中所述。Freeman等人所使用的处理方式为通过一空间中的手部比划动作使一显示在屏幕上的手部图标在一显示在屏幕上的机器控制图标的上部而动作。该手部图标移动该机器控制图标而作动机器的控制。
在案名为“手部比划动作的控制系统”的Freeman的美国专利第6002908号中，系使用一相机而光学侦测一手部比划动作，并依据该手部的水平与垂直位置、该手部的长度与宽度、以及该手部的指向，而转换成一数字表示。
在案名为“复数相机的控制系统”的Hildreth等人的美国专利第7058204号中，描述一种多相机的技术，藉此使一人员能够通过一手指的指示动作而控制一画面。
更最近的研究包括了通过追踪一用户为在何处览视一显示设备而控制一人机接口。举例而言，在案名为“眼睛可控制的屏幕指针”的Richardson等人的美国专利第6373961号，揭示一追踪眼睛动作而控制一屏幕指针的系统。
人机接口的比划动作与眼睛控制对相对于各种实体接口具有其优势，该各种实体接口包含像是：触控屏幕显示器、切换开关、鼠标装置、键盘、以及控制电子系统的键盘。实体接口需置于一人员方便触及的位置。当要将实体接口用于一公共环境时，该系统会产生卫生学方面的问题，而可能变成不干净或对用户缺乏吸引力。此外，实体接口易受损耗，以致减少其使用寿命并增加维修成本。尤有甚者，有可能由于对实体接口的破坏而造成误用以及损害。
发明内容
本发明的某些实施例系关于一视频显示单元，该视频显示单元包括一显示表面、一光发射器、一相机，以及一处理器。该显示表面对一用户显示影像。该光发射器经配置而在该用户面对该视频显示单元而坐时，照明该用户的眼睛。该相机经配置而输出包含来自经照明的该眼睛的反射的视频信号。该处理器经配置而处理该视频信号，以判断该眼睛所指向的该显示表面的一览视位置，并控制至少一个对于影像如何响应于该经判断的览视位置而显示在该显示表面的功能。
在某些进一步的实施例中，该处理器为侦测相对于该相机的该用户的脸部的一位置，并控制该相机角度致动器以转动该相机朝向该用户的脸部。一用户可通过以至少一阈值的选择停驻时间看着一显示的标记及/或通过以至少一阈值的眨眼时间看着该标记后眨眼而选择该标记。显示的用户可选择标记的尺寸可响应于下列而被控制：该用户的尝试选择的预设准确度、该用户所休息的座椅后背的后仰角度的经侦测的一角度、至该用户眼睛的所侦测距离，及/或表示该视频显示单元正在处于振动的一振动讯号。复数个光发射器可彼此相隔分离而沿着该视频显示单元的多个侧边而建构，并可依序地脉动（pulsed）以使该处理器得以响应于该数组中哪个该光发射器为产生最亮的眼睛反射而判断该显示表面上的该览视位置。
其他进一步的实施例系关于一机上娱乐系统，该机上娱乐系统包括一视频显示单元，面朝一用户座椅。该术语“机上（in-flight）”系定义为包括当一飞行器为在地面时为“操作中（in-operation）”的意涵。该视频显示单元包括一显示表面，该显示表面为对于坐在该用户座椅上的用户而显示影像。一光发射器，为照明该用户的眼睛。一相机，为输出包含有自该经照明的眼睛的反射物的一视频信号。一处理器，为处理该视频信号而判断该眼睛被导引至的该显示表面上的一览视位置，并控制用为使影像响应于该所判断的览视位置而显示在该显示表面的功能。
其他根据本发明实施例的视频显示单元、机上娱乐系统、以及方法，对于具备本领域习知技艺者而言，在搭配参照下列图式及实施方式说明后，将更为清楚。本发明是要使所有此些加入的视频显示单元、机上娱乐系统、以及方法皆包括在本文、本发明的范围中，并受所述的申请专利范围所保护。此外，本发明是要使所有在此所揭示的实施例为可分别地被实施或以任何方式及/或组合而合并实施。
附图说明
图式系经提供以进一步理解本发明，且经并列于本文并构成本发明的一部分，以描绘出本发明的特定数个非限制实施例。在图式中：
图1为显示根据本发明的实施例而配置的具有一眼动控制人机接口的一智能型视频显示单元。
图2为显示可包括于图1中的智能型视频显示单元并根据本发明实施例设置而操作的组件的一方块图。
图3、4为显示根据本发明的实施例的智能型视频显示单元的一处理器电路经执行以控制一相机角度致动器以转动该相机为朝向一用户的脸部的操作与方法的流程图。
图5至图8显示该智能型视频显示单元的一处理器电路执行的操作与方法流程图，该些操作与方法根据本发明部分实施例，对应于追踪准确度、一椅背表面的后仰角度、与该用户眼睛的距离及/或该视频显示单元的振动而控制该显示设备上的用户可选择标记的大小。
图9显示另一个具有一眼部控制人机接口的智能型视频显示单元，该视频显示单元包括多数个光发器的水平与垂直数组，根据本发明部分实施例而判断一用户的览视位置。
图10至图12显示该智能型视频显示单元的一处理器电路所执行的操作与方法流程图，其根据本发明部分实施例，以依序地脉动该些光发射器而在对于该相机产生最亮的眼部反射的每一个水平与垂直数组中识别出该光发射器中的一个，并回应于该经识别的光发射器而判断该显示设备上的该览视位置。
图13显示一成对的眼动追踪控制相机的方块图，根据本发明的部分实施例，该一成对的眼动追踪控制相机朝向彼此而提供一经缩窄的重迭视野，该重迭视野定义一用户眼动追踪空间。
图14显示一成对的眼动追踪控制相机的方块图，根据本发明的部分实施例，该成对的眼动追踪控制相机系近接地相隔，并相互倾斜开而提供一经缩窄的重迭视野，该重迭视野定义一用户眼动追踪空间。
图15显示一成对的眼动追踪控制相机的方块图，根据本发明的部分实施例，该一成对的眼动追踪控制相机具有一受限制的对焦深度，以提供一用户眼动追踪空间。
具体实施方式
下列实施方式说明揭示本发明的多种非限制性范例实施例。本发明能以多种形式而实施，且不应被诠释为仅限于在此所述的实施例。
本发明的多个实施例为源于：在使用为椅背式视频显示单元一部份的触控屏幕接口，会有不易于控制机上娱乐（In-Flight Entertainment，IFE）系统的现今状况。当触控屏幕为设置于头等舱或商务舱的椅背内时，该触控屏幕接口会距离相面对的用户太远而不便触及。此外，设置于经济舱椅背的触控屏幕接口，在用户座椅后仰时也不便触及。
为解决该些以及其他问题，本发明的多个实施例为相关于提供一种智能型视频显示单元（Smart Video Display Unit，SVDU），该智能型视频显示单元系经配置为通过追踪坐在靠近该智能型视频显示单元的用户的眼睛而予以控制。该智能型视频显示单元更可经配置而响应于通过追踪该用户的眼睛所定义出的选择，而控制该飞行器内的其他定义的构件/系统（例如控制头顶灯及/或在一飞行器内呼叫一空服员）。
图1显示具有一显示表面104的一智能型视频显示单元100，该显示表面104经配置而对一用户显示影像，更显示多数个用户可选择标记，供一用户能够选择而控制至少一个对于影像如何显示在该显示表面的功能及/或控制其他定义的构件/系统。该智能型视频显示单元100具有一眼动追踪接口，该眼动追踪接口能判断一用户的眼睛看向该显示表面104上的一览视位置，并能响应于该定义的览视位置而从该些用户可选择标记中识别一用户的选择。
该眼动追踪接口包括至少一个眼动追踪相机102与至少一光发射器110。该光发射器110系经配置而照明一面朝该智能型视频显示单元100而坐的用户的该眼睛120。
在某些实施例中，该光发射器110可为一红外线（IR）光发射器，该红外线光发射器较一可见光发射器更能提供下列优点，包括：1）可直接照向一人员的眼睛而不产生滋扰、2）能不干扰一变暗的交通工具环境而使用、3）提供来自眼睛瞳孔的高度反射、4）更易于自其他交通工具环境内的环境光源而被区别、以及5）该红外线光发射器能增加强度以针对该机舱内部的亮光或阳光而进行补偿。
该光发射器110的发射亮度可经控制（例如，通过该处理器200）而响应于侦测出高强度的背景亮度（例如经由来自该相机102的该视频信号而侦测）而增加，以及回应于侦测出低强度的背景亮度而减少。因此，举例而言，当一用户的脸部被阳光照亮（经由该视频信号而侦测），该光发射器110能经控制而朝该用户的脸部输出较亮（较高的照明输出）的光而补偿阳光的影响（例如，在该视频信号内消除眼睛与该脸部的关联），并从而达成准确追踪该用户的眼睛。
该发射出的红外线光系反射于该人员的眼睛而（例如，反射于角膜与水晶体）回送至该眼动追踪相机102。该眼动追踪相机102及相关的电路能在该显示表面104上识别出该人员所览视的一位置，并能识别出何时该用户以满足一定义的标记选择条件而览视该显示的标记的其中一个（例如，显示的按钮、图标、文字、选单项目等）。一用户对不同的标记的选择会使该智能型视频显示单元100执行一对应差别功能，其控制影像如何显示在该显示表面104上及/或控制一飞行器或另一交通工具内的其他定义的构件/系统。
虽然本文的该些实施例系主要描述于一飞行器的机舱内的一机上娱乐系统的内容，本发明并不限于该内容。反之，该些实施例可应用于其他类型的娱乐系统，例如，可用于列车、汽车、巴士、家庭、邮轮、商用/军用运输机或其他环境中。另外，虽然多个实施例系以单一个相机102而描述，本发明并不限于此，并可使用任何数量的相机。
示例智能型视频显示单元的方块图：
图2系显示可包括于一智能型视频显示单元的示例构件的方块图，例如图1中的该智能型视频显示单元100。参照图2，该智能型视频显示单元100包括一处理器200、含有功能模块212的内存装置210、眼动追踪相机102、含有该显示表面104的一显示设备220（例如一液晶显示器，其可包括一触控接口）、一音频接口240，及/或一有线或无线网络接口230。该智能型视频显示单元100更可包括一实体接口242（例如切换开关、控制转轮、按钮、数字键盘、键盘等），其能由一用户操控而控制该智能型视频显示单元100以及该飞行器内的定义的构件/系统）。
该处理器200包括一个或多个数据处理电路，例如一个一般用途及/或特定用途处理器（例如、微处理器及/或数字信号处理器）。该处理器200系经配置而执行来自该内存装置210中的功能模块212的计算机程序指示，该内存装置在下列描述为一计算机可读取媒体，执行本说明书对于一个或多个实施例所述的部分或全部的方法与操作。
该处理器200可通过该网络接口230而接收音乐、视频、游戏、数据，以及应用程序，该处理器200处理上述项目以在该显示设备220上显示上述项目，及/或通过该音频接口240而输出为音频至例如，一连接于该用户座椅的扶手上的耳机组。该音乐、视频、音乐、数据，及应用程序可自一连接网络的媒体服务器而接收，该媒体服务器系经配置而响应于该用户通过选择显示标记而产生的随选需求，该显示标记的选择可通过该处理器200追踪该用户的览视位置而识别。
该内存装置210可包含一用户可选择标记与相关功能命令的数据库。一用户对不同的该些用户可选择标记的选择可使该处理器200执行一对应相异的函数，而控制影像如何在该显示表面104上显示。
如上所述，该一个以上光发射器110-1至110-n会照明坐在该智能型视频显示单元100前方的该用户的眼睛。该眼动追踪相机102会输出含有侦测自受照明眼睛的反射的一视频信号。该处理器200会处理该视频信号，以判断该眼睛所朝向的该显示表面104上的一位置。该处理器200可通过追踪该相机102接收自该眼睛的反射中的光的波动角度，而判断该览视位置。更具体而言，随着该用户览视显示在该显示表面104上的一已知位置的目标标记，该处理器200可执行一校准程序而判断基线波动角度，并产生该经侦测角度与该显示表面104上的览视位置之间的功能关系。该处理器200然后可随着该用户览视该显示表面104上的其他位置而追踪该波动角度，并使用所产生的该功能关系而判断（例如，自该校准的角度与位置而推断）该对应的览视位置。
该处理器200亦能通过判断该用户以符合选择的一定义条件的方式览视该位置，而识别一用户欲选择一定义的位置，例如复数个显示的标记（例如，显示的按钮、图标、文字、字符串等）中的其中一个。
虽然眼动追踪相机102在图2中系显示为内置于该智能型视频显示单元100，亦可单独装设而通讯连接于该智能型视频显示单元100。一单独装设的眼动追踪相机102可包括经配置而预分析该视频信号的一内部协处理器280经配置，举例而言，识别该视频信号内的物体，以产生供予该主处理器300使用的物体位置信息，以追踪一用户眼睛的方向及/或动作，以及控制该智能型视频显示单元100及/或该交通工具内的其他定义的系统的功能。该协处理器280可另外经配置而追踪该视频信号内的一用户眼睛的方向或动作，以产生可供予该主要处理器200使用的眼动追踪信息，以控制该智能型视频显示单元100及/或该交通工具内的其他定义的系统的功能。该协处理器280可因此执行图3至15的一个以上图式中所描述的一个以上的操作，而自该主要处理器300卸除至少部分该眼动追踪的处理负担。
该智能型视频显示单元100可包括另一个经配置而提供网络摄影机通讯的相机290，例如用于坐在同一飞行器中的用户之间的视频会议，及/或自一用户的智能型视频显示单元100通过一交通工具外的通讯联机（例如，一飞行器与地面/卫星接收器站台）而与位于该飞行器/交通工具之外的另一个通讯装置通讯。该相机290可为一传统RGB网络摄影机，并可并入一个以上的该眼动追踪相机102中。
响应于追踪用户眼睛而选择功能：
该处理器200可被编程而判断一用户正以一种以上符合选择定义功能的多个定义条件的方式而览视该显示表面104。
例如，该处理器200能通过判断该览视位置对应该第一个用户可选择标记的一位置至少一阈值的选择停驻时间，而侦测该用户已选择显示在该显示表面104的复数个用户可选择标记的第一个。因此，一用户可通过直视该第一标记至少一阈值的选择停驻时间而选择该标记。该处理器200通过执行相关于该第一标记的功能而响应于该选择。
该处理器200可自该视频信号的处理而响应于判断该用户的眼睛系为览视该第一标记，然后保持阖眼一阈值的眨眼时间，而可另外地或额外地侦测该用户已选择该些用户可选择标记的第一个。因此，一用户可通过览视该第一标记然后阖眼一阈值的眨眼时间，而选择该第一标记。该处理器200通过执行相关于该第一标记的功能而响应于该选择。
该处理器200可组合直视与眨眼的功能而作为选择条件，以使一用户能通过直视该第一标计至少一阈值的选择停驻时间然后阖眼一阈值的眨眼时间，而选择该第一标计。
该处理器200可执行其他操作而判断一用户正览视一显示的标记或该显示表面104的其他定义的区域，表示应执行一想要的功能的选择，以控制该智能型视频显示单元100及/或其他定义的构件/系统。
一用户可通过眼睛动作控制的该智能型视频显示单元100及/或其他定义的构件/系统的多个功能，包括但不限于下列功能：
1）在显示的多个选单项目中进行选择；
2）在显示的多个影片或其他多个媒体节目中进行选择；
3）在多个应用程序中进行选择；
4）控制音频音量；
5）控制一选择的影片或其他媒体的播放、暂停、快转/倒转；
6）控制该智能型视频显示单元100所执行的一游戏或其他应用程序；
7）控制座椅致动器功能（例如，座椅后仰角度、按摩致动器、脚歇板位置等）；
8）控制拉窗的位置（例如开启/关闭拉窗）；
9）控制该座椅的头顶灯；
10）控制用户服务功能；及/或
11）触发对空服员的请求/反应的通讯；
在某些实施例中，一用户可通过以相关于该智能型视频显示单元100的该显示表面104的一对应的方向移动眼睛，而以一定义的方向从头到尾地卷动一显示的选单项目列表。该用户可通过直视该特定选单项目一阈值的选择停驻时间及/或在览视该特定选单项目的该位置之后保持阖眼一阈值的眨眼时间，而选择该特定的显示的选单项目。
该处理器200可移动显示在该显示表面104上的一追踪该眼睛要看的位置的光标，并可在该眼睛停驻在一该标记上一阈值的时间时、该眼睛在览视该标记的该位置之后保持阖眼一阈值的眨眼时间时、该眼睛在览视该标记的该位置之后眨眼速度超过一阈值的眨眼频率时、以及/或该眼睛在览视该标记的该位置之后以一定义的姿态规则移动时（例如，移动该眼睛而在该标记上画出一钩型标记或移动该眼睛而画出一圆圈包围该标记），得以选择显示在该显示表面104上的一标记。该用户可从而通过移动眼睛而驾驭该光标到该想要的标记，然后通过在该标记上停驻至少一阈值的选择停驻时间、维持阖眼该阈值的眨眼时间、比该阈值的眨眼频率更快地眨眼、及/或在该标记上或相对于该标记而画出一姿态规则，而选择该想要的标记。
在某些其它实施例中，该处理器200系经配置以通过观测一用户眼睛的动作及/或该眼睛保持阖眼的时间，而识别一用户的一活动程度或敏捷度。该处理器200可，例如，判断一用户维持阖眼及/或相对无运动至少一阈值的时间。另外地或附加地，该处理器可判断该眼睛正在览视该显示表面104之外（不在该显示表面104）的位置。对应于该判断，该处理器200能够在该用户为睡眠中、休息中、或览视其他地方达一足够时间而表示该用户目前并没有兴趣使用该智能型视频显示单元100时，实行适当的睡眠操作。该经触发的睡眠操作可包括：关闭及/或调暗该显示设备220的背光（能够延长该显示设备220的寿命）、关闭及/或调暗该座椅的头顶灯、关闭邻近的一拉窗、暂停该用户随选而在该显示表面104上播放的一影片或其他媒体、将一通过该音频接口140输出的音频调为静音、及/或通知一空服员该用户正在睡眠中（例如，通过该网络接口230而对一空服员终端传送一睡眠/休息中的状态消息）。哪一个或多个睡眠操作为被触发，可依据该用户是否为睡眠中或为不览视开智能型视频显示单元100而能判断。
该处理器200可相似地判断该用户已清醒及/或不再览视该显示表面104以外的它处，而览视该显示表面104达一足够的时间，表示该用户想要使用该智能型视频显示单元100，而能反应地实行清醒操作。该经触发的清醒操作可包括：开启/调亮该坐位的头顶灯（当该头顶灯在睡眠操作前为开启者）、开启邻近的一拉窗（当该拉窗在睡眠操作前为开启者）、自先前暂停的位置继续播放一影片或其他媒体、停止一音频输出的静音、通知一空服员该用户已清醒/警觉（例如，对一空服员终端传送一清醒/警觉中的状态消息）。
该处理器200可对应于该处理器200侦测到该视频信号中具有超过一阈值的照明，会干扰对于该显示表面上的该览视位置的该判断，而对坐在一飞行器内的一用户座椅上的该用户显示一关闭头顶灯及/或关闭一侧边拉窗的提示。
自动地驱动相机转向眼睛：
该相机102判断该眼睛览视方向的能力以及进行此判断的准确度，有赖于该相机102能观测该眼睛的程度为何。当该相机102的视野的一中心线与该角膜的一主要面为接近垂直时，该相机102可具有追踪该眼睛的方向的最大准确度。然而，用户之间可能有显著的高度差异（例如，高挑的成人相对于幼小的儿童），该些用户的眼睛与该相机102之间的相对位置，亦有对应的差别。此外，在飞行器与部分其他交通工具的应用中，该用户的坐位可后仰，而造成该眼睛的位置与角度的变动，视该用户所休息的一椅背表面的该倾斜角度而定。
虽然图1中的该智能型视频显示单元100系绘示为单一个相机102位于该显示表面104下方并透过沿着该机壳的一中下部位的一开口而观测，该相机102可置于任何其他位置，例如沿着该机壳的一中上部位。此外，复数个相机102可相隔分离而围绕该显示表面104，如本文后续所述。可使用一单一广视角相机而览视一较宽的、可包含该用户的脸部与眼睛的区域。该单一广视角相机可避免需要将角度致动器282包括于系统中。
该智能型视频显示单元100可包括一相机角度致动器282，其经配置而操作以驱动该相机102朝向一用户的脸部，且该致动器可经控制而补偿用户及/或一用户座椅不同的后仰角度之间的高度差。该相机角度致动器282能连接至该相机102并转动该相机102的一览视角度相对于该显示表面104。
图3显示该处理器200可执行以驱动该相机102朝向一用户的脸部的操作与方法的流程图。该处理器200能经配置而处理来自该相机102的视频信号，而侦测（方块300）该用户的脸部（例如，或该用户的眼睛）相对于该相机102的一位置，并控制（方块302）该相机角度致动器282而转动该相机102朝向该用户的脸部，更具体而言，朝向该用户的眼睛。该处理器200然后可进一步更准确地追踪（方块304）该用户眼睛的方向，因该相机102已经调整角度而可更佳地观测该眼睛。
该处理器200可执行一校准程序而驱动该相机102朝向该用户的脸部，如图4中的该流程图所示的该些操作与方法。该处理器200能使复数个目标标记显示（方块400）在该显示表面104的至少两个相对的角落区域，并处理来自该相机102的视频信号而侦测（方块402）该眼睛正览视该些目标标记中的一第一标记，并反应地判断对于该眼睛的一第一角度。该处理器200更能处理该视频信号而侦测（方块404）该眼睛正览视位于该第一目标标记相对侧角落区域中的该些目标标记中的一第二个标记，并反应地判断对于该眼睛的一第二角度。该处理器200然后能响应于该第一与第二角度而判断（方块406）该用户的眼睛，并控制（方块408）该相机致动器而转动该相机120朝向该用户眼睛的该位置。
控制用户可选择标记的大小：
如上所述，该眼睛与显示表面104之间的距离与相对角度能实质地改变，因为，例如，不同用户之间的高度变化及/或一椅背表面的倾斜角度（例如，飞行器中的头等舱座椅的后仰）。该智能型视频显示单元100所能判断该用户所览视的该显示表面104上的一位置的准确度，可随该显示表面104与眼睛之间的偏差距离增加及/或随该眼睛相对于该显示表面104的倾斜角度增加而减少。于是，在该用户为平均身高并休息于一未后仰的座椅时可被准确地以一用户的眼睛选择，而具有一特定尺寸（例如，一高度值、一宽度值、及/或一字符高度及/或宽度）的用户可选择标记，在该用户为较平均身高高或矮许多及/或该用户部分地/完全地使该座椅后仰时，可能会变得太小而不易被准确地选择。
因此，该智能型视频显示单元100能经配置而对应于一个或多个定义条件的发生，而动态地调整显示在该智能型视频显示单元100上的用户可选择标记的大小。
在本发明的一实施例中，该智能型视频显示单元100对应于经判断的该用户所尝试选择的一准确度，而调整该显示的用户可选择标记的大小。图5显示该处理器200可对应于经判断的准确度而执行的相关调整该标记大小的操作与方法的一流程图。该处理器200能以不小于一经定义的最小尺寸值而显示（方块500）在该显示表面104上。该处理器200能经由该用户对于至少一个该些用户可选择标记的复数个选择尝试而判断（方块502）该侦测准确度。该处理器能对应于该经判断的侦测准确度而控制（方块504）该定义的最小尺寸值。
可依据一用户还原或者取消该处理器200先前所判断，对于一用户可选择标记的一明显的用户选择的频率或次数，及/或该经判断的用户览视该显示屏幕104的位置系落在目前显示的用户可选择标记之外但邻近的频率，而判断该侦测准确度。该处理器200能因此在该用户系经判断为在一阈值时间内以一频率阈值取消先前判断的选择时及/或该经判断用户览视了接近但并非在一用户可选择标记之内的位置时，增加所有显示的该些用户可选择标记的该最小尺寸。
在另一个实施例中，该智能型视频显示单元100随该用户的座椅后仰而放大所有显示的该些用户可选择标记的最小尺寸，并随该用户座椅调回一非后仰位置，而复原该最小尺寸至一默认值。图6显示该处理器200响应于该用户座椅的一经侦测的倾斜角度而调整该标记的大小的可执行的操作与方法的一流程图。该处理器200能以不小于一定义的最小尺寸值而在该显示表面104上显示（方块600）该些用户可选择标记。该处理器200能接收（方块602）识别该用户所休息的一椅背表面的一后仰角度的信息，并能响应于该椅背表面的后仰角度而控制（方块604）该定义的最小尺寸值。
可用于判断与该用户眼睛的距离的另一个方法可包括：侦测该用户的脸部相对于其他背景物体例如机舱设施（例如天花板标志、扶手等）及/或其他用户的位置、以及识别该用户脸部与该其他背景物体之间的相关动作。
可用于判断与该用户眼睛的距离的另一个方法可包括一时差测距（time-of-flight）技术。例如，该红外线光发射器110能朝向该用户发射经调控的红外线光，而该处理器200能使用时差测距技术而判断与一视野内的物体的距离。该时差测距技术依据已知的光速，通过测量该相机102与该相机102的视野内的物体之间的一光讯号的来回时差而解析距离。在一实施例中，该光发射器110能脉动而照明该相机102的视野，并以该处理器200所判断的来自经照明的该些物体的反射的时差测距，而判断与该些物体的距离。在另一个实施例中，一较窄的光源（例如雷射）可通过控制于处理器200，而逐点地扫描（例如：光栅扫描）该相机102的视野。如上所述，该些操作的一个或多个。
在另一个实施例中，该智能型视频显示单元100响应于该侦测到的该用户眼睛之间的距离的变化而调整该些用户可选标记的大小。图7显示该处理器200可执行的调整该些标记大小的相关操作与方法的一流程图。该处理器200能以不小于一定义的最小尺寸值而在该显示表面104上显示（方块700）该用户可选择标记。该用户的眼睛之间的距离可在校准步骤期间而被侦测（方块702）。该处理器200能处理该视频信号而判断（方块704）该用户眼睛之间的距离，并能响应于该用户眼睛之间的距离而控制（706）该定义的最小尺寸值。通过重复该操作方块704-706直到满足（方块708）一定义的条件，该标记能响应于该用户的脸部朝向与远离该相机102的动作而被动态地控制。
在一飞行器或其他交通工具的环境中，该用户可能会经历振动或其他乱流，而造成手部伸展的移动相对地难以控制。在一飞行器经历乱流时，举例而言，一用户可能无法稳定地览视该显示表面104上用户所想要使该处理器200选择而操作的一选单项目。
在一个实施例中，该智能型视频显示单元100响应于侦测到该智能型视频显示单元100的一阈值的振动而放大所有显示的该些用户可选择标记。据此，当一飞行器遭遇乱流，该些标记可被放大以利于该用户的选择，并减少随该用户被该乱流移动而侦测错误的可能性。图8显示该处理器200可响应于乱流而执行的调整该些标记大小的操作与方法的一流程图。一加速度侦测器270（图2）能产生一加速度讯号，其指出该智能型视频显示单元100所经历的振动的一幅度。该处理器200能在该加速度讯号指出少于一阈值的振动程度时，以不少于一定义的最小尺寸大小的值而在该显示表面104上显示（方块802）该用户可选择标记。相对地，当该加速度讯号指出超过该阈值的振动，该处理器200能响应于该振动讯号而控制（方块804）该定义的最小尺寸值。
依序地脉动复数个光发射器而判断览视位置
某些其它实施例系针对依序地脉动（扫描）一个或多个该光发射器110的数组而判断该眼睛所针对的该显示表面104上的该览视位置。图9显示另一个具有一眼睛控制人机接口的智能型视频显示单元100，该眼睛控制人机接口包括水平与垂直数组的光发射器，以根据某些实施例而判断一用户的览视位置。虽然本文已描述一对水平数组与一对垂直数组，该些操作与方法可代以使用单一个光发射器110数组而判断该用户的览视位置，或可使用多个水平数组的组合而判断该用户的览视位置、多个组合而判断该用户的览视位置、或一个以上水平数组的组合与一个以上的垂直数组的组合而判断该用户的览视位置。此外，该些数组的每一个皆可包括任何数量的光发射器110。
参照图9及图10中的该些操作，复数个红外线光发射器110-B1至110-Bn系为在显示表面104的下方相隔分离并水平地建构而横跨于该智能型视频显示单元100，而形成（方块1000）一底部水平数组。其他复数个该些红外线光发射器110-L1至110-Ln系为相隔分离并垂直地沿着该智能型视频显示单元100建构于该显示表面104的左侧形成（方块1002）一左垂直数组。该处理器200系经配置而依序脉动（方块1004）该些红外线光发射器中的不同者，并处理该视频信号而识别出该底部水平数组的该些光发射器中产生一最亮的眼部反射的一个及识别出该左侧垂直数组的该些光发射器中产生一最亮的眼部反射的一个，以及回应于该经识别的该底部水平数组与该左侧垂直数组中产生最亮的眼部反射的其中一个红外线光发射器，而判断（方块1006）该显示表面104上的该览视位置。
例如，如图9所示，该处理器200能脉动（开启然后关闭）该第一红外线光发射器110-L1并处理来自于该相机102的该视频信号而测量来自该眼睛120的该反射的该亮度。该处理器200然后脉动（开启然后关闭）该第二红外线光发射器110-L2并处理来自于该相机102的该视频信号而测量来自该眼睛120的该反射的该亮度。该处理器200能依序地重复该脉动程序而测量其他红外线光发射器110-L3至110-Ln，然后比较该些测量结果而识别该左侧垂直数组中的哪一个红外线光发射器产生出该最亮的的眼睛的反射。该处理器200然后能对该红外线光发射器110-B1至110-Bn执行后续的脉动与测量程序而识别该底部水平数组中的哪一个红外线光发射器产生出该最亮的的眼睛的反射。该处理器200能响应于该些经识别的该底部水平数组与该左侧垂直数组中产生最亮的眼部反射的红外线光发射器，而判断该显示表面104上的该览视位置。
该处理器200能以任何顺序脉动该些红外线光发射器。并能响应于判断该眼睛相对于该显示表面104的一位置，而略过（不脉动）一个或多个该红外线光发射器，以免浪费时间与处理资源来脉动该些对该用户眼睛而言，位于太外围而不足以提供有用反射的红外线光发射器。
如上所述，任何数量的该些光发射器（例如，红外线光发射器）的垂直与水平数组皆可使用。参照图11中的该流程图的该些操作与方法，复数个红外线光发射器110-B1至110-Bn系为相隔分离并水平地横跨该智能型视频显示单元100，在显示表面104的下方而建构，以形成（方块1100）一底部水平数组。复数个红外线光发射器110-T1至110-Tn系为相隔分离并水平地横跨该智能型视频显示单元100，在显示表面104的顶部而建构，以形成（方块1102）一顶部水平数组，其在与该底部水平数组相对的该显示表面104的一侧上相隔分离而建构。
复数个该些红外线光发射器110-L1至110-Ln系为相隔分离并垂直地沿着该智能型视频显示单元100建构于该显示表面104的左侧形成（方块1104）一左垂直数组。复数个该些红外线光发射器110-R1至110-Rn系为相隔分离并垂直地沿着该智能型视频显示单元100建构于该显示表面104的右侧形成（方块1002）一右垂直数组，在与该左垂直数组相对的该显示表面104的一侧上相隔分离而建构。
该处理器200依序地脉动（方块1408）该些红外线光发射器中的不同者，并处理该视频信号而识别出该底部水平数组的该些光发射器中产生一最亮的眼部反射的一个、识别出该顶部水平数组的该些光发射器中产生一最亮的眼部反射的一个、识别出该左侧垂直数组的该些光发射器中产生一最亮的眼部反射的一个、以及识别出该右侧垂直数组的该些光发射器中产生一最亮的眼部反射的一个。该处理器20响应于该些经识别的该底部水平数组、该顶部水平数组、该左侧垂直数组以及该右侧垂直数组中产生最亮的眼部反射的红外线光发射器，而判断（方块1410）该用户的眼睛在该显示表面104上的该览视位置。
该处理器可依据该眼睛位于多远的距离而编组不同的将同时脉动的光发射器。因此，例如，该处理器200可随该眼睛移得较远而在同一数组中点亮较多盏灯。
参照图12中的该些范例操作与方法，该处理器200能处理（方块1200）该视频信号而估算自该显示表面104至该眼睛的一偏差距离。该处理器200对应于该偏差距离而选择（方块1202）一水平数组中的数个光发射器作为一群组而同时脉动。该处理器200亦对应于该偏差距离而选择（方块1204）一垂直数组中的数个光发射器作为一群组而同时脉动。该视频信号系经处理（方块1206）而识别该水平数组中的哪一个光发射器群组产生一最亮的眼睛的反射，以及识别该垂直数组中的哪一个光发射器群组产生一最亮的的眼睛的反射。该显示表面104上的该览视位置系响应于该水平数组中与该垂直数组中，该些经识别产生最亮的眼部反射的光发射器群组而判断（方块1208）。
该处理器200从而能回应于一增加的偏差距离而在该水平数组中选择较多数量的光发射器，作为一群组而同时脉动，并能响应于一增加的偏差距离而在该垂直数组中选择较多数量的光发射器，作为一群组而同时脉动。该些光发射器的群组能增加朝向该用户眼睛的该光发射器的该亮度，而补偿该眼睛所增加的距离。
控制眼动追踪空间
当该智能型视频显示单元100使用在一飞行器环境中并安装在面向人员的椅背时，该人员的头部实际上被限制在该人员的身体与该智能型视频显示单元100之间的一相对狭窄的空间。据此，通过设置该智能型视频显示单元100以忽略在该空间之外的脸部与其他物体可提供特定的优势，以避免将下列误解为一眼睛动作：邻座用户的动作、目标用户背后的用户、服务邻座用户的一空服员及/或沿着邻近走道或横跨邻近排走动的用户的动作。
相距分离的眼动追踪相机为朝向彼此而倾斜
图13显示该相机102-a与102-b的一方块图，该相机102-a与102-b以一横跨于该智能型视频显示单元100的一正面的距离1300而相距分离。该相机102-a与102-b系分别以角度1302与1304朝向彼此而倾斜，提供缩窄的重迭视野，分别为视野1303与视野1305。该处理器200系经连接以接收来自该相机102-a与102-b的影像，且系经配置以识别在一眼动追踪空间1310内的眼睛动作，该眼动追踪空间1310系位于该用户与该智能型视频显示单元100之间，并系由该相机102-a与102-b的经缩窄的重迭视野所定义。当执行操作与方法而识别该显示表面104上的该览视位置时，该处理器200可忽略仅在该相机102-a与102-b的其中一个视野内而非两者的重迭视野内所发生的动作。
该相机102-a与102-b之间的距离1300系经选择以控制该眼动追踪空间1310的大小为适于由坐在该智能型视频显示单元100前方的一用户所使用（例如，当该用户系坐在与该智能型视频显示单元100相距2至10英呎的距离）。该距离1300系进一步经选择而限制该眼动追踪空间1310的大小，以避免过度重迭于其他用于控制邻座的智能型视频显示单元的眼动追踪空间，并忽略沿着任何邻近的走道所产生的动作。因为该相机102-a与102-b系为朝向彼此而倾斜，该距离1300可将该相机102-a与102-b定位于接近该智能型视频显示单元100的相对两侧，然而该相102-a与102-b仍可使用其他距离而相距，并对应调整该倾斜角度1302与1304而对于该眼动追踪空间1310提供一期望大小。
相距分离且相互向外倾斜的眼动追踪相机
图14显示该一成对的相机102-a与102-b的一方块图，该成对的相机以一横跨于该智能型视频显示单元100的一正面的距离1400而彼此近接地相距。该相机102-a与102-b系分别以角度1402与1404而相互向外倾斜，提供经缩窄的重迭视野，分别为视野1403与视野1405。该处理器200系经连接以接收来自该相机102-a与102-b的影像，且系经配置以识别由一用户在一眼动追踪空间1410内的眼睛动作，该眼动追踪空间1410系位于该用户与该智能型视频显示单元100之间，并系由该相机102-a与102-b的经缩窄的重迭视野所定义。当执行操作与方法识别该显示表面104上的该览视位置时，该处理器200可忽略仅在该相机102-a与102-b的其中一个视野内而非两者的重迭视野内所发生的动作。
该相机102-a与102-b之间的距离500系经选择以控制该眼动追踪空间1410的大小为适于由坐在该智能型视频显示单元100前方的一用户所使用，同时亦限制该眼动追踪空间1410的大小，以避免过度重迭于其他用于控制邻座的智能型视频显示单元的眼动追踪空间，并忽略沿着任何邻近的走道所产生的动作。因为该相机102-a与102-b系为相互向外而倾斜，该距离1400应为较小，且远小于图13中朝向彼此倾斜的该相机102-a与102-b之间的距离1400。举例而言，该距离1400可将该相机102-a与102-b定位于彼此紧邻，或使该相机102-a与102-b相距于4英吋以内。该相机102-a与102-b之间可使用其他距离而相距，并对应调整该倾斜角度1402与1404而对于该眼动追踪空间1410提供一期望大小。
控制该眼动追踪相机的对焦深度
图15显示一成对的该相机102-a与102-b的方块图，该相机102-a与102-b系沿着该智能型视频显示单元100的正面而配置，以提供部分重迭的视野，分别为视野1503与视野1505。该相机102-a与102-b的该焦点1500的范围/深度系经控制而提供一眼动追踪空间1510的一所要的大小。该处理器200可使用得自该相机102-a与102-b的视频信号的范围信息，而追踪位于该相机102-a与102-b的一阈值的距离之内的物体（前景物体），同时忽略该阈值距离之外的物体（背景物体）。
在另一实施例中，该焦点1500的深度可通过使用该相机102-a与102-b上的一个以上的镜头而控制，或使用限制一物体可被置于多远的距离，而该距离同时系以该相机102-a与102-b所输出的视频影像的一锐利度阈值而定义（例如，物体边缘具有一阈值的锐利度、边缘不可模糊多于一定义的像素数量等）的其他技术而控制。
该处理器200系经连接而自该相机102-a与102-b接收视频影像，并经配置而识别位于该眼动追踪空间1510内的眼睛动作。该眼动追踪空间1510系通过该些重迭视野1503与1505所定义，并更由该相机102-a与102-b的焦点1500的限制范围/深度内的焦点内物体的一范围所定义。在执行操作与方法以识别该显示表面104上的该览视位置时，该处理器200可忽略仅在该相机102-a与102-b中的其中一个而非两者的视野中所发生的动作，并更可忽略虽然位于该相机102-a与102-b两者的视野中，但与该相机102-a与102-b相距超越一阈值距离的物体动作。
眼动追踪控制、比划动作控制以及声音辨识的组合
虽然多个实施例系以使用眼动追踪控制操作一智能型显示器或其它定义的交通工具内的系统/装置为内容而描述，该眼动追踪控制可与多种其他控制型态组合。
举例而言，眼动追踪控制能与手部比划动作控制组合，藉此该相机102以及处理器200及/或280能够经配置而追踪一用户眼睛动作，亦可追踪该用户所移动的一个或多个其他物体。该处理器200及/或280能响应于匹配该经追踪的动作与定义的动作规则等而在已知命令的数据库中进行选择。
因此，举例而言，一用户可移动一或两个手部/手指而在该显示设备220上显示的多种选单中进行导览，并可通过直视一项目一阈值的时间而选择该项目。另外地，该用户可移动眼睛而在该显示设备220上显示的多种选单中进行导览，并可通过以一经定义的方式移动一或两个手部/手指选择该项目（例如，该处理器200/280的已知规则）而确认该选择。
在一进一步或其他的实施例中，眼动追踪控制能以声音辨识控制组合，藉此该音频接口240能接收一语音讯号（例如，麦克风讯号），而该处理器200能经配置而辨识来自该用户的语音命令。该处理器200能响应于匹配该用户的语音规则与该数据库中相关于该个别命令的定义语音规则，而在已知语音命令的数据库中进行选择。
因此，举例而言，一用户可说出各种命令而在该显示设备220上显示的多种选单中进行导览，并可通过直视一项目至少一阈值的时间而选择该项目。另外地，该用户可移动眼睛而在该显示设备220上显示的多种选单中进行导览，并可通过以说出一经定义的命令（例如，“选择”、“好”及/或“是”）而确认该选择。
该系统可经配置而接收及响应于此种眼动控制、比划动作控制以及语音控制，而对用户提供更多元化且自然的操作。此外，该些用户从而拥有更多弹性，而能够依据个人偏好及/或其他考虑而选择一个以上的控制选项。
其他实施例及定义
在上述本发明的多个实施例中，应理解的是本文所使用的术语系仅用于描述特定实施例，而非作为限制本发明的用途。若无另外定义，本文所使用的所有术语（包括技术性与科学性术语）皆具有本发明所属技术领域具有通常知识者所一般理解的相同意义。进一步应理解者，如一般使用的辞典中所定义的术语，应被解读为具有与其在本文语境及相关领域的意义一致的意义，而非以一典型化或过度正式的意义而在本文被解读。
当一组件被描述为“连接”、“耦合”、“响应于”其他节点，或相似的其他描述者，该组件为能够直接连接、耦合、响应于该其他组件或可存在中介的组件。相对地，当一组件被描述为“直接地连接”、“直接地耦合”、“直接地响应于”其他组件，或相似的其他描述者，则不存在中介的组件。相同的编号，一律表示相同的组件。此外，本文所使用“连接”、“耦合”、“响应于”或相似的其他描述者，可包括无线的连接、耦合或回应于。如本文所使用，单数型态“一”、“一个”以及“该”系包括复数形态，除非在文中另有明确说明。习知的功能或构造可能不会被详述，以利维持本文精简及/或清晰。所述“及/或”则包括该一个或多个相关表列项目的任何以及所有组合。
如本文所使用“包含”、“包括”、“具有”或相似的其他描述者，系为开放性的，并包括一个或多个所表述的特征、整体、组件、步骤、构件或功能，但并不排除加入或存在一个或多个特征、整体、组件、步骤、构件或功能或其组合。
本文所述范例实施例参照于计算机实施的方法、装置（系统及/或装置）及/或计算机程序产品的方块图及/或流程图。应理解的是，方块图及/或流程图中的方块以及方块图及/或流程图中的方块组合，可通过计算机程序指令而实施，并以一个以上的计算机执行。该些计算机程序指令可提供予以一一般用途计算机电路、特殊用途计算机电路及/或其他可编程的数据处理电路的一处理器，而产生一机器，以使该些指令，通过该计算机的处理器及/或其他可编程数据处理装置而执行，转换并控制晶体管，储存数值于内存位置，以及其他此类电路中的硬件以实施该方块图及/或流程图中的方块所指定的该功能/动作，并从而建立技术（功能性）及/或结构用于实施该方块图及/或流程图中的方块所指定的该功能/动作。
该些计算机程序指令亦可被储存在一实体计算机可读取媒体，该媒体可操控一计算机或其他可编程数据处理装置以特定方式运作，已使储存在该计算机可读取媒体中的指令产生一制造物品包括实施该方块图及/或流程图中的方块所指定的该功能/动作的指令。
一实体、非瞬时的计算机可读取媒体可包括一电子、磁性、光学、电磁或半导体数据储存系统、设备或装置。计算机可读取媒体的更具体范例可包括下列：一便携计算机磁盘、一随机存取内存（RAM）电路、一只读存储器（ROM）电路、一可擦除只读存储器（EPROM或闪存）电路、一可携式只读光盘、以及一可携式数字视频光盘只读存储器（DVD/BlueRay）。
该些计算机程序指令亦可被加载至一计算机及/或其他可编程数据处理设备，以使系列操作步骤执行于该计算机及/或其他可编程设备上，以产生一以计算机实施的方法，以使在该计算机或其他可编程设备上执行的该指令提供用于实施在方块图及/或流程图方块或方块中所指定的功能/运作的步骤。据此，本发明的实施例可在一处理器上例如一数字信号处理器所执行的硬件及/或软件（包括固件、常驻软件、微代码等）中实施，该硬件及/或软件可统称为“电路”、“一模块”或其他名称。
应注意的是，在部分另外的实施例中，该方块中所注明的该功能/动作的发生，可不同于该流程图中所注明的顺序。举例而言，连续显示的两个方块可实际上系实质同时地执行，或该些方块有时可以相反顺序而执行，视所包含的功能性/运作而定。此外，该流程图及/或方块图的一给定的方块的功能可被分割为复数个方块以及/或者，该多个流程图及/或多个方块图的两个以上方块的功能性可至少部分地整合。最后，其他方块可加入/插入于所显示的多个方块之间。此外，虽然部分图标在通讯路径尚包括有箭头以显示通讯的一主要方向，应理解的是该通讯可以与该些描述箭头相反的方向而发生。
本文搭配上述说明与该些图标，揭示了多个实施例。应理解的是，巨细靡遗地描述该些实施例的组合及次组合将会流于赘述而混淆。缘此，本文包括该些图标，应被解读为用于构成一完整书面说明，说明多个实施例的多种范例组合与次组合，以及进行与使用该些组合的方式与方法，并应支持所有该种组合或次组合的请求项。
该些实施例可进行多种变动及修改，而不会实质地偏离本发明的原则。所有此类变动及修改在此皆预期被包括在本发明的范围中。

Claims (20)

1.一种视频显示单元，包含：
一显示表面，经配置而对一用户显示影像；
一光发射器，经配置而在该用户面对该视频显示单元而坐时，照明该用户的眼睛；
一相机，经配置而输出包含来自经照明的该眼睛的一视频信号；以及
一处理器，经配置而处理该视频信号，以判断该眼睛所指向的该显示表面上的一览视位置，且响应于该所判断的览视位置而控制该些影像如何显示在该显示表面的至少一个功能位置而显示于该显示表面的功能。
2.根据权利要求1所述的视频显示单元，其特征在于，更包含：
一相机角度致动器，经配置而转动该相机相对于该显示表面的一览视角度；
其中该处理器更经配置而处理该视频信号，以侦测相对于该相机的该用户的脸部的一位置，并控制该相机角度致动器将该相机转向该用户的脸部。
3.根据权利要求1所述的视频显示单元，其特征在于，该处理器更经配置而：
在该显示表面的至少两个相对角落区域显示目标标记；
处理该视频信号，以侦测何时该眼睛为览视一第一个目标标记，并响应地判断一对于该眼睛的第一角度；
处理该视频信号，以侦测何时该眼睛为览视第二个目标标记，该第二个目标标记为相对于该第一目标标记的该显示表面的一相反角落区域中，并响应地判断一对于该眼睛的第二角度；
使用该第一角度及该第二角度而判断该眼睛的一位置；以及
控制该相机角度致动器以将该相机转向该眼睛的该位置。
4.根据权利要求1所述的视频显示单元，其特征在于，该处理器更经配置而：
在该显示表面显示复数个用户可选择标记，其中用户对于该用户可选择标记中选择不同的标记将使得该处理器执行用以控制影像如何显示在该显示表面的一对应相异的函数差别功能，
响应于判断出该览视位置为对应于第一个该用户可选择标记的位置一段至少一阈值的选择停驻时间，而侦测出该用户已经选择一第一个的该用户可选择标记。
5.根据权利要求4所述的视频显示单元，其特征在于，该处理器更经配置而：
在该先前判断到的览视位置为对应于该第一个该用户可选择标记的该位置时，响应于由该视频信号的处理而进一步判断出的该用户的眼睛眨眼了至少一阈值的眨眼时间且仍为闭眼，而侦测该用户已选择该第一个的该用户可选择标记。
6.根据权利要求4所述的视频显示单元，其特征在于，该处理器更经配置而：
以不小于一定义的最小尺寸值而在该显示表面上显示该用户可选择标记；
在多数个用户对于至少一个的该用户可选择标记的尝试的选择中，判断出一侦测准确度；以及
回应于经判断的该侦测准确度而控制该定义的最小尺寸值。
7.根据权利要求4所述的视频显示单元，其特征在于，该处理器更经配置而：
以不小于一定义的最小尺寸值而在该显示表面上显示该用户可选择标记；
接收用以识别该用户为休息在一椅背表面的一后仰角度的信息；以及
回应于该椅背表面的该后仰角度而控制该定义的最小尺寸值。
8.根据权利要求4所述的视频显示单元，其特征在于，该处理器更经配置而：
以不小于一定义的最小尺寸值而在该显示表面上显示该用户可选择标记；
处理该视频信号以判断该用户的眼睛之间的距离；以及
响应于该用户的眼睛之间的距离而控制该定义的最小尺寸值。
9.根据权利要求4所述的视频显示单元，其特征在于：
更包含一加速度传感器，该加速度传感器为用以产生一表示该视频显示单元所经历的一振动量的振动讯号，及
其中该处理器更经配置而：
以不小于一定义的最小尺寸值而在该显示表面上显示该用户可选择标记；以及
响应于该振动讯号而控制该定义的最小尺寸值。
10.根据权利要求1所述的视频显示单元，其特征在于，更包含：
复数个光发射器，相隔分离且水平横跨于该视频显示单元而建构以形成一水平数组；及
复数个光发射器，相隔分离且沿着该视频显示单元而建构以形成一垂直数组；
其中该处理器更经配置而依序地脉动不同个的多数个该光发射器并处理该视频信号以识别出在产生最亮的眼部反射的该水平数组中的光发射器的一个，且识别出在产生最亮的眼部反射的该垂直数组中的光发射器的一个，以及回应于经识别在该水平数组与该垂直数组中产生最亮的眼部反射的该光发射器，而判断该显示表面上的该览视位置。
11.根据权利要求10所述的视频显示单元，其特征在于：
该光发射器的水平数组系紧邻该显示区域的一底部表面而建构；以及
该光发射器的垂直数组系紧邻该显示区域的一侧边表面而建构。
12.根据权利要求10所述的视频显示单元，其特征在于，该水平数组包含一第一水平阵例，而该垂直数组包含一第一垂直数组，并更包含：
复数个光发射器，相隔分离且水平横跨于该视频显示单元水平建构而形成一第二水平数组，该第二水平数组为相隔分离于该第一水平数组的一相反侧；及
复数个光发射器，相隔分离且沿着该视频显示单元垂直建构而形成一第二垂直数组，该第二垂直数组为相隔分离于该第一垂直数组的一相反侧；
其中该处理器更经配置而依序地脉动不同个的多数个该光发射器并处理该视频信号以识别出在产生最亮眼部反射的该第一水平数组中的光发射器的一个、识别出在产生最亮眼部反射的该第二水平数组中的光发射器的一个、识别出在产生最亮眼部反射的该第一垂直数组中的光发射器的一个、识别出在产生最亮眼部反射的该第二垂直数组中的光发射器的一个，以及回应于经识别在该第一水平数组、该第二水平数组、该第一垂直数组以及该第二垂直数组中产生最亮的眼部反射的该光发射器，而判断该显示表面上的该览视位置。
13.根据权利要求10所述的视频显示单元，其特征在于：
该处理器更经配置而处理该视频信号以自该显示表面估算该眼睛的一偏差距离，并对应于该偏差距离而进一步判断该显示表面上的该览视位置。
14.根据权利要求10所述的视频显示单元，其特征在于，该处理器更经配置而：
处理该视频信号以自该显示表面估算该眼睛的一偏差距离；
在该水平数组内选择数个该光发射器以响应于该偏差距离而同时地作为一群组而脉动；
在该垂直数组内选择数个该光发射器以响应于该偏差距离而同时地作为一群组而脉动；以及
处理该视频信号以识别在该水平数组中的哪个光发器群组产生一最亮的眼部反射、识别该垂直数组中的哪个光发器群组产生一最亮的眼部反射，并回应于在该水平与垂直数组中产生最亮的眼部反射的该光发射器的经识别的该群组，而判断该显示表面上的该览视位置。
15.根据权利要求14所述的视频显示单元，其特征在于：
该处理器更经配置而在该水平数组内选择更多个该光发射器以响应于一经增加的偏差距离而同时地作为一群组而脉动，及在该垂直数组内选择更多个该光发射器而响应于一经增加的偏差距离而同时地作为一群组而脉动。
16.根据权利要求1所述的视频显示单元，其特征在于：
该处理器更经配置而响应于该处理器侦测出干扰于在该显示表面上的该览视位置的该判断为超过一阈值，而对于坐在一飞行器内的一用户座椅上的该用户显示一提示，以关闭头顶灯且/或闭合一侧拉窗。
17.一种机上娱乐系统，包含：
一视频显示单元，面朝向一用户座椅，该视频显示单元包含：
一显示表面，经配置而对坐在该用户座椅上的用户显示影像；
一光发射器，经配置而照明该用户的眼睛；
一相机，经配置而输出包含来自经照明的该眼睛的反射的一视频信号；以及
一处理器，经配置而处理该视频信号以判断该眼睛所指向的该显示表面上的一览视位置，且响应于该所判断的览视位置而控制对于影像如何显示在该显示表面的至少一个功能。
18.根据权利要求17所述的机上娱乐系统，其特征在于，更包含：
一相机角度致动器，经配置而转动该相机相对于该显示表面的一览视角度；
其中该处理器更经配置而处理该视频信号以侦测相对于该相机的该用户的脸部的一位置，并控制该相机角度致动器将该相机转向该用户的脸部。
19.根据权利要求17所述的机上娱乐系统，其特征在于，该处理器更经配置而：
在该显示表面显示复数个用户可选择标记，其中用户对于该用户可选择标记中选择不同的标记将使得该处理器执行用以控制影像如何显示在该显示表面的一对应相异的函数，其中该用户可选择标记以一不小于一定义的最小尺寸值而显示在该显示表面；
响应于判断该览视位置为对应于该第一个用户可选择标记的位置一段至少一阈值的选择停驻时间，而侦测出该用户已经选择一第一个的该用户可选择标记；
处理该视频信号以判断该显示表面与该用户眼睛之间的一偏差距离；以及
回应于该偏差距离而控制该定义的最小尺寸值。
20.根据权利要求17所述的机上娱乐系统，其特征在于，更包含：
复数个光发射器，相隔分离且水平横跨于该视频显示单元水平而建构以形成一水平数组；及
复数个光发射器，相隔分离且沿着该视频显示单元而垂直建构以形成一垂直数组；
其中该处理器更经配置而依序地脉动不同个的多数个光发射器并处理该视频信号以识别出在产生最亮眼部反射的该水平数组中的光发射器的一个，且识别出在产生最亮眼部反射的该垂直数组中的光发射器的一个，以及回应于该经识别在该水平与垂直数组中产生最亮的眼部反射的该光发射器，而判断该显示表面上的该览视位置。
CN201280043910.7A 2011-09-09 2012-09-06 交通工具娱乐系统的眼动追踪控制 Active CN103782255B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161532875P 2011-09-09 2011-09-09
US61/532875 2011-09-09
US61/532,875 2011-09-09
PCT/US2012/053954 WO2013036632A1 (en) 2011-09-09 2012-09-06 Eye tracking control of vehicle entertainment systems

Publications (2)

Publication Number Publication Date
CN103782255A true CN103782255A (zh) 2014-05-07
CN103782255B CN103782255B (zh) 2016-09-28

Family

ID=47829382

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280043910.7A Active CN103782255B (zh) 2011-09-09 2012-09-06 交通工具娱乐系统的眼动追踪控制
CN201280043859.XA Active CN103842941B (zh) 2011-09-09 2012-09-06 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280043859.XA Active CN103842941B (zh) 2011-09-09 2012-09-06 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制

Country Status (3)

Country Link
US (2) US9037354B2 (zh)
CN (2) CN103782255B (zh)
WO (2) WO2013036621A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078404A (zh) * 2015-09-02 2015-11-25 北京津发科技股份有限公司 基于激光算法的全自动眼动追踪测距定标仪及其使用方法
CN106200679A (zh) * 2016-09-21 2016-12-07 中国人民解放军国防科学技术大学 基于多模态自然交互的单操作员多无人机混合主动控制方法
WO2017206526A1 (zh) * 2016-06-03 2017-12-07 京东方科技集团股份有限公司 显示基板、显示面板
CN112262068A (zh) * 2018-06-12 2021-01-22 矢崎总业株式会社 车辆控制系统

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
US10146320B2 (en) 2007-10-29 2018-12-04 The Boeing Company Aircraft having gesture-based control for an onboard passenger service unit
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8892792B2 (en) * 2011-09-12 2014-11-18 Intheairnet, Llc Distributed media system
WO2013058985A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
WO2013066601A1 (en) 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
DE102012000201A1 (de) * 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012000274A1 (de) 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US11493998B2 (en) * 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
DE102012203457A1 (de) * 2012-03-05 2013-09-05 E.G.O. Elektro-Gerätebau GmbH Kamera-Modul zur Bediengestenerkennung und Haushaltsgerät
HK1160574A2 (en) * 2012-04-13 2012-07-13 King Hei Francis Kwong Secure electronic payment system and process
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
US9165535B2 (en) * 2012-09-27 2015-10-20 Google Inc. System and method for determining a zoom factor of content displayed on a display device
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
DK2728893T3 (da) * 2012-11-05 2020-06-29 Accenture Global Services Ltd Styring af en datastrøm
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
JP6007377B2 (ja) * 2012-11-14 2016-10-12 ピーアンドダブリューソリューションズ株式会社 座席レイアウト表示装置、方法及びプログラム
TWI542970B (zh) * 2012-11-22 2016-07-21 鴻海精密工業股份有限公司 顯示器螢幕角度調整系統及方法
KR20140073730A (ko) * 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US11021269B2 (en) 2013-01-31 2021-06-01 Bombardier Inc. System and method for representing a location of a fault in an aircraft cabin
US9205914B1 (en) 2013-01-31 2015-12-08 Bombardier Inc. Distributed architecture for a system and a method of operation of the system incorporating a graphical user interface controlling functions in a vehicle cabin
US9650141B2 (en) 2013-01-31 2017-05-16 Bombardier Inc. System and a method of operation of the system incorporating a graphical user interface in a bulkhead of a vehicle cabin
US10222766B2 (en) 2013-01-31 2019-03-05 Bombardier Inc. System and method of operation of the system incorporating a graphical user interface on a mobile computing device for a member of a flight crew in a vehicle cabin
US10452243B2 (en) 2013-01-31 2019-10-22 Bombardier Inc. System and method of operation of the system incorporating a graphical user interface in a side ledge of a vehicle cabin
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US20140218528A1 (en) * 2013-02-01 2014-08-07 Honda Motor Co., Ltd. Three-Dimensional Sound Human Machine Interface, Navigation, And Warning Systems In A Vehicle
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
GB2511868B (en) 2013-03-15 2020-07-15 Tobii Ab Eye/gaze tracker and method of tracking the position of an eye and/or a gaze point of a subject
JP6207238B2 (ja) * 2013-05-31 2017-10-04 富士通テン株式会社 車両用装置、通信システム、及び、アプリケーションの実行方法
WO2014201347A1 (en) 2013-06-14 2014-12-18 Intercontinental Great Brands Llc Interactive video games
US10137363B2 (en) 2013-06-20 2018-11-27 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
US20160162039A1 (en) * 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
KR102087967B1 (ko) 2013-07-30 2020-04-16 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US10089786B2 (en) 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
EP2857276B1 (en) * 2013-08-20 2018-12-12 Harman International Industries, Incorporated Driver assistance system
US9807196B2 (en) 2013-09-17 2017-10-31 Toyota Motor Sales, U.S.A. Automated social network interaction system for a vehicle
US20150081133A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Sales, U.S.A., Inc. Gesture-based system enabling children to control some vehicle functions in a vehicle
US9902266B2 (en) 2013-09-17 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with personal convenience reminders
US9760698B2 (en) 2013-09-17 2017-09-12 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US9400564B2 (en) 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
US9430046B2 (en) 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
US9558787B2 (en) * 2014-01-29 2017-01-31 Google Inc. Media application backgrounding
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9524142B2 (en) * 2014-03-25 2016-12-20 Honeywell International Inc. System and method for providing, gesture control of audio information
US10466657B2 (en) 2014-04-03 2019-11-05 Honda Motor Co., Ltd. Systems and methods for global adaptation of an implicit gesture control system
US9342797B2 (en) 2014-04-03 2016-05-17 Honda Motor Co., Ltd. Systems and methods for the detection of implicit gestures
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
US10936050B2 (en) 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
CN104111730B (zh) * 2014-07-07 2017-11-07 联想(北京)有限公司 一种控制方法及电子设备
KR20170091083A (ko) * 2014-07-22 2017-08-08 나브디, 인크. 컴팩트한 헤드 업 디스플레이 시스템
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
JP6507532B2 (ja) * 2014-09-05 2019-05-08 オムロンヘルスケア株式会社 動作情報測定装置、ゲーム制御プログラム、動作情報測定プログラム
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
JP6330611B2 (ja) * 2014-10-09 2018-05-30 トヨタ車体株式会社 ウィンドウ表示装置
US10156906B2 (en) 2014-10-13 2018-12-18 Honda Motor Co., Ltd. Systems and methods for distinguishing gestures
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller
DE102014118387A1 (de) * 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
JP6514889B2 (ja) * 2014-12-19 2019-05-15 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9563270B2 (en) * 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
US10425459B2 (en) * 2015-03-27 2019-09-24 Intel Corporation Technologies for a seamless data streaming experience
US9788118B2 (en) 2015-03-27 2017-10-10 Thales Avionics, Inc. Spatial systems including eye tracking capabilities and related methods
EP3281149A4 (en) * 2015-04-08 2018-11-14 ControlRad Systems, Inc. Devices and methods for monitoring gaze
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9852355B2 (en) * 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
CN104950902B (zh) * 2015-06-10 2017-09-22 杨珊珊 多旋翼飞行器的控制方法及多旋翼飞行器
CN106331464B (zh) 2015-06-30 2019-10-15 北京智谷睿拓技术服务有限公司 拍摄控制方法、拍摄控制装置及用户设备
CN106293046B (zh) * 2015-06-30 2020-03-17 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106293045B (zh) * 2015-06-30 2019-09-10 北京智谷睿拓技术服务有限公司 显示控制方法、显示控制装置及用户设备
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US20170053175A1 (en) * 2015-08-17 2017-02-23 Facetec, Inc. System and method for validating three-dimensional objects
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105677089A (zh) * 2015-12-31 2016-06-15 京东方科技集团股份有限公司 一种触控显示器、触控显示装置及其亮度调节方法
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
WO2017120248A1 (en) 2016-01-04 2017-07-13 Harman International Industries, Incorporated Off-axis gaze tracking in in-vehicle computing systems
US9864559B2 (en) * 2016-03-29 2018-01-09 Panasonic Avionics Corporation Virtual window display system
US20170289605A1 (en) * 2016-04-04 2017-10-05 Nigel Greig Ife system
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
KR101852675B1 (ko) 2016-05-25 2018-06-04 연세대학교 산학협력단 차량의 장치들을 제어하기 위한 장치 및 방법
JP6443393B2 (ja) * 2016-06-01 2018-12-26 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
US11017901B2 (en) 2016-08-02 2021-05-25 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
CN106598218B (zh) * 2016-11-09 2019-07-02 广州酷狗计算机科技有限公司 一种音频播放的控制方法和装置
US10757451B2 (en) * 2017-02-16 2020-08-25 Thales Avionics, Inc. User centric service and content curation through in-flight entertainment system
DE102017103825B4 (de) 2017-02-24 2021-08-05 Dr. Schneider Kunststoffwerke Gmbh Vorrichtung zum Steuern eines Luftausströmers
WO2018175931A1 (en) 2017-03-24 2018-09-27 Systems And Software Enterprises, Llc Pivoting internal display unit with fixed screen
US20180335776A1 (en) * 2017-05-16 2018-11-22 GM Global Technology Operations LLC Systems and methods for selecting driving modes in autonomous vehicles
WO2018237172A1 (en) * 2017-06-21 2018-12-27 Quantum Interface, Llc SYSTEMS, APPARATUSES, INTERFACES AND METHODS FOR VIRTUAL CONTROL CONSTRUCTIONS, OCULAR MOTION OBJECT CONTROL DEVICES, AND VIRTUAL TRAINING
DE102017216837A1 (de) 2017-09-22 2019-03-28 Audi Ag Gestik- und Mimiksteuerung für ein Fahrzeug
DE102017009353A1 (de) * 2017-10-09 2019-04-11 Daimler Ag Varfahran zur Ansteuerung von Fahrzeugfunktion
CN108090446A (zh) * 2017-12-18 2018-05-29 大陆汽车投资（上海）有限公司 基于人脸识别的车辆智能响应方法
KR102041965B1 (ko) * 2017-12-26 2019-11-27 엘지전자 주식회사 차량에 구비된 디스플레이 장치
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、系统及移动终端
US11301087B2 (en) * 2018-03-14 2022-04-12 Maxell, Ltd. Personal digital assistant
US10449895B2 (en) * 2018-03-20 2019-10-22 Rockwell Collins, Inc. Object tracking illumination system
CN108694383B (zh) * 2018-05-14 2024-07-12 京东方科技集团股份有限公司 一种手势识别装置及其控制方法、显示装置
DE102018214976A1 (de) * 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Steuerung einer Multimedia-Einrichtung sowie Computerprogramm und Einrichtung dazu
DE102018133175A1 (de) * 2018-12-20 2020-06-25 Airbus Operations Gmbh Überwachungssystem für ein Flugzeug zur Kontrolle des sicheren Ladens von tragbaren elektrischen Geräten
US11287140B2 (en) 2019-01-04 2022-03-29 Whirlpool Corporation Cooking appliance with an imaging device
US11022322B2 (en) 2019-01-04 2021-06-01 Whirlpool Corporation Cooking appliance with an imaging device
CN111746796B (zh) * 2019-03-29 2024-04-26 B/E航空公司 提供用于交通工具乘客的姿态参考的装置和方法
US11046327B2 (en) 2019-04-09 2021-06-29 Fotonation Limited System for performing eye detection and/or tracking
US10948986B2 (en) 2019-04-09 2021-03-16 Fotonation Limited System for performing eye detection and/or tracking
US11365007B2 (en) * 2019-10-24 2022-06-21 Panasonic Avionics Corporation Systems and methods for providing a wake-up user interface for a night mode on transportation vehicles
US11615542B2 (en) * 2019-11-14 2023-03-28 Panasonic Avionics Corporation Automatic perspective correction for in-flight entertainment (IFE) monitors
US11729432B2 (en) * 2019-11-19 2023-08-15 Thales Avionics, Inc. Inflight entertainment system using video object recognition to monitor seat areas and generate flight crew notifications
US11254316B2 (en) * 2020-01-24 2022-02-22 Ford Global Technologies, Llc Driver distraction detection
US11144129B2 (en) * 2020-03-04 2021-10-12 Panasonic Avionics Corporation Depth sensing infrared input device and associated methods thereof
DE102020106021A1 (de) 2020-03-05 2021-09-09 Gestigon Gmbh Verfahren und system zum betreiben eines auswahlmenüs einer grafischen benutzeroberfläche basierend auf dem erfassen einer rotierenden freiraumgeste
EP4137914A4 (en) * 2020-04-30 2023-05-24 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR IN-AIR GESTURE-BASED CONTROL, AND SYSTEM
US11617941B2 (en) * 2020-09-01 2023-04-04 GM Global Technology Operations LLC Environment interactive system providing augmented reality for in-vehicle infotainment and entertainment
US11509833B2 (en) 2021-03-04 2022-11-22 Ford Global Technologies, Llc Illumination control for vehicle sensors
US11907433B2 (en) * 2021-06-21 2024-02-20 Goodrich Corporation Gesture-based systems and methods for aircraft cabin light control
WO2023172253A1 (en) * 2022-03-08 2023-09-14 Viasat, Inc. Use of sensed passenger parameters for management and control of media in a transport craft
EP4336317A1 (en) * 2022-09-09 2024-03-13 Goodrich Lighting Systems, Inc. Gesture controlled interface for in-flight users
US20240085986A1 (en) * 2022-09-09 2024-03-14 Goodrich Lighting Systems, Inc. Gesture controlled interface for in-flight users
EP4421614A1 (en) * 2023-02-27 2024-08-28 Bayerische Motoren Werke Aktiengesellschaft Data processing device and method for providing a video to a passenger of a vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1209553A1 (en) * 1998-02-20 2002-05-29 Thomas E. Hutchinson Eye-gaze direction detector
EP1517549A2 (en) * 2003-08-27 2005-03-23 Matsushita Electric Industrial Co., Ltd. Video displaying system
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
EP1657614A1 (de) * 2004-11-11 2006-05-17 HTS High Technology Systems AG Beleuchtungssteuerung
US20060278808A1 (en) * 2005-05-05 2006-12-14 Hick Robert L Closed Loop Daylight Harvesting Light Control System Having Auto-Calibration
US20070268246A1 (en) * 2006-05-17 2007-11-22 Edward Craig Hyatt Electronic equipment with screen pan and zoom functions using motion
CN101563959A (zh) * 2006-12-22 2009-10-21 皇家飞利浦电子股份有限公司 用于控制光源的装置
US20110123183A1 (en) * 2008-04-04 2011-05-26 Eth Zurich Spatially adaptive photographic flash unit

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5701058A (en) 1996-01-04 1997-12-23 Honeywell Inc. Method of semiautomatic ambient light sensor calibration in an automatic control system
US6373961B1 (en) 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7190825B2 (en) 2001-08-17 2007-03-13 Geo-Rae Co., Ltd. Portable communication device for stereoscopic image display and transmission
US7176899B2 (en) 2002-01-31 2007-02-13 Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho Display screen operation device
US20080129707A1 (en) 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
US7777718B2 (en) 2006-12-06 2010-08-17 The Boeing Company Flight portal
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US20090109036A1 (en) 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
US7878586B2 (en) * 2007-10-29 2011-02-01 The Boeing Company System and method for an anticipatory passenger cabin
GB2459707B (en) * 2008-05-01 2010-08-11 Sony Computer Entertainment Inc Media recorder, audio visual entertainment system and method
KR101652535B1 (ko) 2008-06-18 2016-08-30 오블롱 인더스트리즈, 인크 차량 인터페이스를 위한 제스처 기반 제어 시스템
US7810926B2 (en) * 2009-02-15 2010-10-12 International Business Machines Corporation Lateral gaze angle estimation using relative eye separation
WO2010141403A1 (en) 2009-06-01 2010-12-09 Dynavox Systems, Llc Separately portable device for implementing eye gaze control of a speech generation device
US9551590B2 (en) 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US20110099588A1 (en) 2009-10-23 2011-04-28 Commonwealth Intellectual Property Holdings, Inc. Systems and methods for in-flight resource management
US20110148930A1 (en) 2009-12-18 2011-06-23 International Business Machines Corporation Automatic adjustment of a display parameter based on viewer distance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1209553A1 (en) * 1998-02-20 2002-05-29 Thomas E. Hutchinson Eye-gaze direction detector
CN1725976A (zh) * 2002-11-21 2006-01-25 托比伊科技公司 用于检测和跟踪眼睛及其注视方向的方法和装置
EP1517549A2 (en) * 2003-08-27 2005-03-23 Matsushita Electric Industrial Co., Ltd. Video displaying system
EP1657614A1 (de) * 2004-11-11 2006-05-17 HTS High Technology Systems AG Beleuchtungssteuerung
US20060278808A1 (en) * 2005-05-05 2006-12-14 Hick Robert L Closed Loop Daylight Harvesting Light Control System Having Auto-Calibration
US20070268246A1 (en) * 2006-05-17 2007-11-22 Edward Craig Hyatt Electronic equipment with screen pan and zoom functions using motion
CN101563959A (zh) * 2006-12-22 2009-10-21 皇家飞利浦电子股份有限公司 用于控制光源的装置
US20110123183A1 (en) * 2008-04-04 2011-05-26 Eth Zurich Spatially adaptive photographic flash unit

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078404A (zh) * 2015-09-02 2015-11-25 北京津发科技股份有限公司 基于激光算法的全自动眼动追踪测距定标仪及其使用方法
WO2017206526A1 (zh) * 2016-06-03 2017-12-07 京东方科技集团股份有限公司 显示基板、显示面板
US10607524B2 (en) 2016-06-03 2020-03-31 Boe Technology Group Co., Ltd. Display substrate and display panel
CN106200679A (zh) * 2016-09-21 2016-12-07 中国人民解放军国防科学技术大学 基于多模态自然交互的单操作员多无人机混合主动控制方法
CN106200679B (zh) * 2016-09-21 2019-01-29 中国人民解放军国防科学技术大学 基于多模态自然交互的单操作员多无人机混合主动控制方法
CN112262068A (zh) * 2018-06-12 2021-01-22 矢崎总业株式会社 车辆控制系统
CN112262068B (zh) * 2018-06-12 2024-01-09 矢崎总业株式会社 车辆控制系统

Also Published As

Publication number Publication date
CN103782255B (zh) 2016-09-28
WO2013036621A1 (en) 2013-03-14
US8928585B2 (en) 2015-01-06
US9037354B2 (en) 2015-05-19
WO2013036632A1 (en) 2013-03-14
CN103842941B (zh) 2016-12-07
US20130066526A1 (en) 2013-03-14
CN103842941A (zh) 2014-06-04
US20130063340A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
CN103782255A (zh) 交通工具娱乐系统的眼动追踪控制
US11231777B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
US9342610B2 (en) Portals: registered objects as virtualized, personalized displays
US11630315B2 (en) Measuring content brightness in head worn computing
CN105009031B (zh) 增强现实设备以及在其上操作用户界面的方法
CN112181152B (zh) 基于mr眼镜的广告推送管理方法、设备及应用
US11720167B2 (en) Artificial reality triggered by physical object
CN112507799A (zh) 基于眼动注视点引导的图像识别方法、mr眼镜及介质
KR20220115981A (ko) 자세-기반 가상 공간 구성
US9292085B2 (en) Configuring an interaction zone within an augmented reality environment
US9645394B2 (en) Configured virtual environments
US10019962B2 (en) Context adaptive user interface for augmented reality display
KR101935061B1 (ko) 증강 현실 디스플레이를 위한 이해 및 의도-기반 컨텐트
US20130249410A1 (en) Dynamic lighting based on activity type
US11762952B2 (en) Artificial reality application lifecycle
US8411907B2 (en) Device function modification method and system
WO2015109145A9 (en) See-through computer display systems
EP3095026A1 (en) See-through computer display systems
US20210327146A1 (en) Virtual anchoring systems and methods for extended reality
EP2904767A2 (en) Information processing device, display control method, and program
US11403936B2 (en) Hygienic device interaction in retail environments
CN118176474A (zh) 用于经由人工现实设备与物理设备进行交互的方法和系统
US20220197382A1 (en) Partial Passthrough in Virtual Reality
KR20210057478A (ko) 인공 지능 장치
US20230325046A1 (en) Activating a Snap Point in an Artificial Reality Environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant