CN101943982A - 基于被跟踪的眼睛运动的图像操作 - Google Patents

基于被跟踪的眼睛运动的图像操作 Download PDF

Info

Publication number
CN101943982A
CN101943982A CN200910139915.XA CN200910139915A CN101943982A CN 101943982 A CN101943982 A CN 101943982A CN 200910139915 A CN200910139915 A CN 200910139915A CN 101943982 A CN101943982 A CN 101943982A
Authority
CN
China
Prior art keywords
image
district
observation
data point
observation district
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910139915.XA
Other languages
English (en)
Other versions
CN101943982B (zh
Inventor
袁晓如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN200910139915.XA priority Critical patent/CN101943982B/zh
Priority to US12/567,684 priority patent/US8564533B2/en
Priority to JP2012515330A priority patent/JP5507679B2/ja
Priority to PCT/CN2010/073009 priority patent/WO2011003303A1/en
Priority to KR1020127000676A priority patent/KR101350526B1/ko
Publication of CN101943982A publication Critical patent/CN101943982A/zh
Application granted granted Critical
Publication of CN101943982B publication Critical patent/CN101943982B/zh
Priority to US14/024,015 priority patent/US8797261B2/en
Priority to US14/311,443 priority patent/US9081414B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开涉及基于观察者的被跟踪的眼睛运动来控制和操纵显示设备上的对象的图像。当根据初始视图而显示该对象时，跟踪并处理该观察者的眼睛运动，以便确定观察者的关注或注视在该图像上的焦点。此后，修正所显示的图像以提供该对象上观察者最感兴趣的部分的更好视图。这通过观察区内对象的空间定位、对象的视角、以及对象的观察方向中的至少一个来实现。

Description

基于被跟踪的眼睛运动的图像操作
技术领域
本公开涉及图像处理的方法、系统和计算机程序。
背景技术
许多计算机应用(application)利用计算机图形向用户显示对象(object)的图像。举例而言，可以在应用中采用计算机图形来显示实际对象(例如，房子或汽车)的计算机生成的模型。同样，可以在计算机应用中建模并显示更多抽象对象(例如，球形的世界地图)。可以在二维空间中定义这些对象，或者将这些对象定义为三维模型，其随后被呈现(render)到二维观察区(例如计算机屏幕)上。
此外，计算机应用可以提供用户接口，其允许用户修改在显示的图像中的对象的视图，以便提供更好的观察体验。用户接口可以包括例如鼠标或键盘的某些输入设备，这些输入设备由用户操纵以使得更容易观察所显示的对象的不同部分。然而，身体残疾的人会发现难以使用这些类型的输入设备操纵图像。
发明内容
在本公开中描述了一种方法，包括步骤：使显示设备在预定义的观察区中显示对象的第一图像；获得表示被跟踪的眼睛注视(gaze)关于该观察区的位置的数据；处理所获得的数据，以确定该第一图像的修正；以及，使该显示设备显示包括该修正的该对象的第二图像。根据此方法，关于下列至少一个而对该第一图像进行修正：该对象的观察方向、该对象的视角、以及该对象关于该观察区的空间位置。
根据本公开，可以在包含于计算机可读介质中的计算机程序的指导下，由计算设备执行前述方法或其任何部分。
此外，本公开描述了一个系统。该系统包括显示设备，用于在二维观察区中显示图像。该系统还包括一个或多个计算机处理器，其被编程以：使该显示设备在预定义的观察区中显示对象的第一图像；获得表示被跟踪的眼睛注视关于该观察区的位置；处理所获得的数据，以确定关于下列至少一个而对该第一图像的修正：该对象的观察方向、该对象的视角、以及该对象关于该观察区的空间位置。还可以对一个或多个计算机处理器进行编程，以使该显示设备显示包括该修正的该对象的第二图像。
上文是概括，因此必要地包含简化、概要以及细节的省略；因此，本领域技术人员将理解，该概括仅是说明性的，而非意在以任何方式进行限制。这里描述的设备和/或处理器和/或其它主题的其它方面、特征和优点将在这里阐述的教导中变得显而易见。提供该概括以引入简化形式的概念选择，该概念将进一步在下面的具体实施方式中描述。此概括非意在识别所请求保护的主题的关键特征或本质特征，也非意在被用作帮助确定所请求保护的主题的范围。
附图说明
依据结合附图的下列描述和所附的权利要求书，本公开的上述及其它特征将变得更加明显。理解到这些附图仅描绘根据本公开的一些实施例，从而不被认为限制其范围，将通过使用附图、利用附加的特征和细节来描述本公开。
图1是图示根据示例实施例被安排为基于被跟踪的眼睛注视而显示和修正图像的系统的框图；
图2图示了根据示例实施例的、可以实施图1的系统的环境；
图3A是图示根据示例实施例的、被安排为根据被跟踪的眼睛注视而修正显示图像的计算设备的结构示例的框图；
图3B是图示根据示例实施例的、被安排为跟踪眼睛注视的眼睛跟踪设备的结构示例的框图；
图4A-4E是图示根据示例实施例的用于基于被跟踪的眼睛注视修正显示图像的方法的流程图；
图5A和5B图示了对显示对象的空间位置的修正的示例；
图6A-6D图示了对显示对象的视角的修正的示例；以及
图7A和7B图示了对在三维空间中定义了表面的对象的观察方向的修正的示例。
具体实施方式
在下面详细的说明书中，参考形成该说明书一部分的附图。在附图中，类似的符号通常标识类似的组件，除非上下文做出不同的表示。在详细的说明书、附图和权利要求书中描述的说明性实施例不意在进行限制。在不违背这里给出的主题的精神和范围的情况下，可以采用其它实施例，并且可以进行其它改变。将易于理解，可以以多种不同的结构安排、替代、组合以及设计在这里一般描述并且在附图中图示的本公开的各个方面，明确预料了所有这些方面，并且这些方面构成了本公开的一部分。
尤其对于与基于被跟踪的观察者的眼睛运动而控制和操纵显示设备上的对象图像相关的方法、设备、计算机程序和系统而提出本公开。具体地，因为根据初始视图而显示对象，所以跟踪并分析观察者的眼睛运动，以便确定观察者在图像上关注或注视的焦点。此后，可以修正所显示的图像以提供观察者最感兴趣的对象的一部分的更好视图。这可以通过修正对象在观察区内的空间定位、对象的视角或对象的观察方向来实现。
例如，被跟踪的观察者的注视可以使对象的被注视部分移动至观察区的中心，从而修正对象在观察区中的空间定位。此外，如果观察者的注视针对于图像的集中部分，则可以对图像的此部分执行放大，从而改变视角。另一方面，如果被跟踪的注视指示注视位置宽散，则可以执行缩小以增大对象的视角。
此外，根据示例实施例，所显示的图像可以是三维模型，并且同样，可以在三维空间中用几何学定义对象的表面，例如，使用(x，y，z)坐标。在这样的实施例中，可以将被跟踪的注视转化为三维空间，以便确定由观察者观看的对象的特定表面区域。因此，通过旋转对象，可以改变观察方向以面对此表面区域。
图1是图示根据示例实施例被安排为基于被跟踪的眼睛注视而显示和修正图像的系统100的框图。如图1中所示，系统100可以包括眼睛跟踪设备110、通信地连接于眼睛跟踪设备110的计算设备120、以及由计算设备120控制的显示设备130。
即使将眼睛跟踪设备110、计算设备120以及显示设备130图示为图1中的单独单元，这也非意在进行限制。虽然可以将眼睛跟踪设备110和计算设备120实施为单独的硬件装置，但是还可以预料到可以将眼睛跟踪设备110和计算设备120集成到一个装置中。此外，眼睛跟踪设备110具有某些处理能力，来执行在下面关于计算设备120而描述的某些功能。
以类似的方式，可以在一个实施例中将显示设备130实施为独立设备，或者可以将该显示设备130与计算设备120和/或眼睛跟踪设备110集成在相同装置中(例如，将该显示设备130与计算设备120集成在笔记本或膝上型计算机中)。可以在TOBII TECHNOLOGY AB制造的T60/T120眼睛跟踪器中找到集成到显示设备130中的眼睛跟踪设备110的示例。
图2图示了可以实施图1的系统的环境。具体地，该图示出了显示设备130的观察区220、观察者注视观察区220的眼睛200、以及在某种意义上被置于检测观察者的眼睛200的移动的眼睛跟踪设备110的透视图。如上所述，即使将眼睛跟踪设备110图示为图2中的独立设备，其也可以可替换地被集成到显示设备130和/或计算设备120中。
眼睛跟踪设备110可以是当前市场上可得到的多种类型的眼睛跟踪设备的任何类型。同样，眼睛跟踪设备110可以利用用于执行对眼睛运动的检测和记录的不同操作原理。作为示例，由TOBII TECHNOLOGY AB提供的眼睛跟踪器之一可以用作图1和图2中图示的眼睛跟踪设备110。同样，眼睛跟踪设备110可以利用光源(例如，一系列发光二极管)向每个观察者发射红外或近红外光，以及利用被配置为检测从观察者的眼睛200的角膜反射的红外或近红外光的图案(pattern)的图像传感器，类似于TOBII T/X系列眼睛跟踪器。这样的眼睛跟踪设备110可以利用一个或多个处理器来执行用于识别来自观察者的眼睛200的反射图案、基于所识别的反射图案而检测眼睛200的注视方向的处理，并且将所检测的注视方向算术变换为表示观察区220上的注视位置的数据点(例如，x和y坐标)。眼睛跟踪设备110可以根据例如50-60Hz的预定采样速率(虽然一些眼睛跟踪器能够达到120Hz的采样速率)来生成这些数据点。此外，可以在眼睛跟踪设备110中执行校准，以便获知特定观察者的眼睛200的特征，从而便于在准确辨识来自该观察者的眼睛200的反射图案中的图像处理。
然而，预料到可以使用本领域已知的其它类型的眼睛跟踪设备110。例如，这样的眼睛跟踪设备110不需要通过检测和处理红外或近红外光来操作。预料到可以将眼睛跟踪设备110配置为感测并处理可见光谱中的光信号。
此外，将显示设备130的观察区220图示为二维图像平面。例如，观察区220可以表示计算机监视器的屏幕。或者，如果显示设备130是计算机/视频投影机，则观察区220可以表示在其上投影图像的屏幕(或其它平整表面)。然而，上文并非意在限制显示设备130和观察区220。例如，预料到还可以使用将图像投影到三维观察区(例如，全息图像)上的显示设备130。
再次参考图2，将对象210的图像示出为显示在观察区220中。根据图2的特定示例，将对象210在观察区220上呈现为圆形，在空间上将其中心置于观察区220的坐标(X0，Y0)。在此特定示例中，对象210可以被二维地定义为圆，或者可替换地，可以在三维空间中定义该对象210为球体。如果在三维空间中定义对象210(例如，作为三维模型的一部分)，则图像可以包含一些附加成像效果(未示出)，以强调例如采光和阴影的三维特性。
下面将结合图4A-4E，提供用于呈现并修正对象210的图像的处理示例的更加详细的描述。
在此公开中的术语“图像”的使用非意在限制为特定文件类型或数据格式。相反，此公开中使用的术语“图像”可以包括来自任何图像文件类型或数据格式(JPEG、BMP等)、任何图形呈现的文档(例如，网页或HTML文档)、计算机辅助设计(CAD)应用、扫描的照片或文档(例如，以PDF格式)、或任何其它类型的计算机生成图像的内容。此外，在此公开中使用的术语“修正(modification)”可以(但不是必须)指对用于在显示区中呈现对象210的基本图像数据的修正。
图3A是图示被安排为用于根据被跟踪的眼睛注视而修正显示图像的示例计算设备120的框图。在非常基本的结构301中，计算设备120通常包括一个或多个处理器310和系统存储器320。存储器总线330可以用于在处理器310与系统存储器320之间通信。
取决于期望的结构，处理器310可以为包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或它们的任何组合的任何类型。处理器310可以包括一个或更多级别的高速缓存(例如级别1高速缓存器311和级别2高速缓存器312)、处理器内核313、以及寄存器314。处理器内核313可以包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理内核(DSP内核)、或它们的任何组合。存储器控制器315可以与处理器310一起使用，或者在一些实施中，存储器控制器315可以是处理器310内部的一部分。
取决于期望的结构，系统存储器320可以为包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如，ROM、闪存等)或它们的任何组合的任何类型。系统存储器320通常包括操作系统321、一个或多个应用322以及程序数据324。应用322可以包括图像修正算法323，其被安排为处理从眼睛跟踪设备110获得的数据点，并且确定对所显示的对象210的图像的一个或多个适当修正。程序数据324可以包括数据325，其定义某些变量参数(例如，用户定义的参数)和/或用于修正对象210的图像的某些规则。通过虚线301中的这些组件，在图3A中图示了在此描述的基本结构。
下面将结合图4A-4E，更加详细地描述涉及基本结构301中的图像修正算法324的示例实施例。
再次参考图3A，计算设备120可以具有附加特征或功能、以及附加接口，以便于在基本结构301和任何所需设备和接口之间的通信。例如，总线/接口控制器340可以用于经由存储设备接口总线341来便于基本结构301和一个或多个数据存储设备350之间的通信。数据存储设备350可以为可移动存储设备351、不可移动存储设备352或它们的组合。可移动存储设备和不可移动存储设备的示例包括例如软盘驱动器和硬盘驱动器(HDD)的磁盘设备、例如光盘(CD)驱动器或数字通用盘(DVD)驱动器的光盘驱动器、固态硬盘(SSD)和磁带驱动器来命名一些。示例计算机存储介质可以包括以任何用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的方法或技术实施的易失性和非易失性、可移动和不可移动介质。
系统存储器320、可移动存储设备351和不可移动存储设备352是计算机存储介质的所有示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光存储设备、磁卡带、磁带、磁盘存储设备或其它磁性存储设备、或任何其它可以用于存储所期望的信息并且可以由计算设备120访问的介质。任何这样的计算机存储介质可以是设备120的一部分。
计算设备120还可以包括接口总线342，用于便于经由总线/接口控制器340从各种接口设备(例如，输出接口、外设接口以及通信接口)到基本结构301的通信。示例输出设备360包括可被配置为经由一个或多个A/V端口363与显示设备130通信的图形处理单元361、以及可被配置为经由一个或多个A/V端口363与扬声器通信的音频处理单元362。示例外设接口370包括串行接口控制器371或并行接口控制器372，其可被配置为经由一个或多个I/O端口373与诸如输入设备(例如，键盘、鼠标、笔、声音输入设备、触摸输入设备等)或其它外设设备(例如，打印机、扫描仪等)的外部设备通信。示例通信设备380包括网络控制器381，其可以被安排为便于经由一个或多个通信端口382、通过网络通信而与一个或多个其它计算设备390的通信。通信连接是通信介质的一个示例。通常可以通过计算机可读指令、数据结构、程序模块、或例如载波或其它传输机制的调制的数据信号中的其它数据来实现通信介质，并且通信介质包括任何信息传递介质。“调制的数据信号”可以是具有以对信号中的信息进行编码这样的方式所设置或改变的一个或多个特性的信号。通过举例而非限制，通信介质可以包括例如有线网络或直接有线连接的有线介质、以及例如声音、射频(RF)、红外(IF)和其它无线介质的无线介质。这里使用的术语“计算机可读介质”可以包括存储介质和通信介质二者。
根据示例实施例，可以将眼睛跟踪设备110配置为计算设备120的外围输入设备。根据这样的实施例，计算设备120可以经由I/O端口373从眼睛跟踪设备110接收数据点。在可替换实施例中，计算设备120可以经由通信端口382与眼睛跟踪设备110通信。用于建立计算设备120与眼睛跟踪设备110之间的通信的其它选择也是可能的，例如，将眼睛跟踪设备110实施为计算设备120中的一个或多个功能单元，其经由接口总线342与基本结构301通信。
可以将计算设备120实施为小型便携式(或移动)电子设备的一部分，该小型便携式(或移动)电子设备例如是移动电话、个人数字助理(PDA)、个人媒体播放设备、无线网络浏览设备、个人头戴式耳机设备、专用设备、或包括任何上述功能的混合设备。还可以将计算设备120实施为包括膝上型计算机和非膝上型计算机结构两者的个人计算机。此外，如先前描述的，可以将计算设备120与眼睛跟踪设备110集成，或者可以将计算设备120实施为眼睛跟踪设备110的一部分。
根据示例实施例，眼睛跟踪设备110可以包括具有与图3A中图示的计算设备120相同或类似结构的处理能力。这被示出在图3B中，其中眼睛跟踪设备110具有与图3A的计算设备120类似的结构，主要差异为图3B的眼睛跟踪设备110还包括传感器395，用于检测来自指示观察者的眼睛注视的观察环境(例如，红外或红外反射图案)的信号。如图3B中所示，传感器395可以将这样的信号经由I/O端口373传送至(多个)处理器310，从而(多个)处理器采用必要的算法来将所检测的信号变换为数据点。
图4A-4E是图示用于基于被跟踪的眼睛注视来修正对象210的图像的方法示例的流程图。根据示例实施例，图4A-4E的流程图中描述的处理可以对应于在计算设备120中实施的应用322的图像处理算法323。然而，眼睛跟踪设备110中的任何(多个)处理器还可能被配置为执行在这些流程图中图示的步骤或处理的至少一些。
图4A图示了根据示例实施例的用于修正对象210的图像的方法的高级流程图。如步骤S40中所示，最初控制显示设备130在观察区220中显示对象210的图像。在此步骤中，可以选择对象210的任意视图来显示。或者，可以基于现有技术而自动选择步骤S40中最初显示的对象210的视图。
例如，如果在三维空间中用几何学来定义对象210，则可以使用网格显著性方法来选择步骤S40中的对象的初始视图。此方法被描述于Lee等人的“Mesh Saliency(网格显著性)，”ACM Transactions on Graphics，Proceedings of ACM SIGGRAPH 2006，pp.659-666中，其内容通过引用被合并于此。具体地，网格显著性方法基于对象210的几何形状(尤其是曲率)，对于对象210的三维网格的不同区域确定重要性或显著性的测定。根据此方法，将认为几何学上不同于其周围区域的区域具有比几何学上类似于其周围的区域更强的显著性或对观察者的吸引。根据网格显著性方法，可以使用为不同区域定义的显著性来计算针对对象210的各种可能视点的显著性值，从而将具有最大显著性值的视点认为是显示对象210的“最佳”视点。
然而，可以使用用于建立三维对象210的初始视点的其它处理，其包括视点熵方法。
此外，即使将对象210定义为二维图像，也存在用于基于各个区域的色彩和/或亮度而计算这样的对象的区域的显著性的已知方法。可以通过选择适当空间定位(例如，观察区220的中心)和扩大级别，在步骤S40的初始呈现中强调二维对象210的最显著区域。
再次参考图4A，在最初显示了对象210的图像之后，步骤S42从眼睛跟踪设备110获得被跟踪的眼睛注视的数据点。如上所述，可以将眼睛跟踪设备110配置为将这些数据点计算为观察者的眼睛200的注视位置关于观察区220的坐标(例如，x和y坐标)。眼睛跟踪设备110可以根据预定采样率而跟踪眼睛运动，以便对每个采样间隔记录数据点。例如，在每个采样间隔，眼睛跟踪设备110可以检测观察者的眼睛200的注视方向，并且执行任何必要计算以将注视方向转化为显示设备130的观察区220上的相应注视点。
然而，应当注意，眼睛跟踪设备110或许不总能在采样间隔期间获得可用数据点。例如，观察者的眼睛200或许在某些采样间隔期间眨眼或从观察区220转开。根据示例实施例，眼睛跟踪设备110或计算设备120可以包括滤除不能用的或无意义的数据点的一些功能。
如此公开中先前描述的，显示设备130的观察区220可以表示用于观察对象210的图像的二维平面。因此，由眼睛跟踪设备110获得的每个数据点可以包括代表二维平面中的特定点的笛卡尔x和y坐标。然而，数据点的格式并不重要。例如，数据点可以对应于不同的坐标系统(例如，极坐标)，或者使用用于识别观察区220内的具体位置或像素位置的一些其它惯例。
再次参考图4A，步骤S44分析由眼睛跟踪设备110获得的数据点，以便确定对对象210的显示图像的修正。具体地，分析数据点以确定观察者将他/她的注视聚焦在观察区220(或者尤其是其中显示对象210)的哪个区域上。可以使用这样的信息来确定显示的对象210的哪部分受到观察者最多的关注，从而可以修正图像以更清晰地显示那部分。此外，可以从观察者在观察区220上将他/她的注视所聚焦的位置推断出观察者操纵或控制图像的意图。
根据示例实施例，可以通过对所获得的数据点应用不同规则来执行步骤S44，以便确定应当修正对象210的当前视图的哪方面(例如，观察方向、视角、或观察区220内的空间位置)。例如，可以将这样的规则编程到应用322中，作为图3A中图示的图像修正算法323的一部分。或者，程序数据324可以包括定义这些规则的数据325，从而允许在不必修正应用程序322的情况下改变规则。
下面将结合图4B-4E描述根据步骤S44的用于分析数据点并确定修正的处理示例的更加详细的描述。
再次参考图4A，步骤S46控制显示设备130用根据步骤S44中所进行的确定而修正的图像取代对象210的当前显示的图像。此后，处理可以返回至步骤S42，以跟踪观察者关于所修正的图像的注视，并且基于被跟踪的眼睛注视而确定对图像的进一步修正。应当注意，对步骤S44的执行或许不总导致确定应当修正图像。在这样的例子中，步骤S46可以简单地使显示设备130在将处理返回至步骤S42之前继续显示相同图像。
根据一个示例实施例，可以以预定时间段(或预定采样间隔数量)的周期重复图4A的步骤S42-S46。换句话说，在每个周期(例如，每两秒)期间，分析一组新数据点以确定是否应当对所显示的图像进行修正、以及应当对所显示的图像进行何种类型的修正。此外，观察者或许能够经由任何不同类型的输入设备(例如，计算机键盘、电子鼠标、或声音/注视激活控制)输入参数到计算设备120中，以便定义每个周期的时间段。
然而，根据可替换示例实施例，可以根据跨越预定时间段的“移动窗口”来分析所跟踪的眼睛注视的数据点。例如，当从眼睛跟踪设备110获得每个数据点时，步骤S44可以分析对于最后n个采样间隔(n等于在预定时间段期间出现的采样间隔数量)所获得的数据点，以便确定是否应当对图像进行修正、以及应当对图像进行何种类型的修正。同样，例如通过经由输入设备输入这样的参数到计算设备120中，可允许观察者定义对应于移动窗口的时间段。
此外，可以根据不同预定时间段来分析数据点，以分别实现不同类型的图像修正。例如，为了实现图像的放大，会需要观察者在比用于实现对象210移位所必需的更长时间段内将他/她的注视聚焦在观察区220的特定位置。此外，预料到观察者可以通过将一个或多个定义这样的(多个)时间段的参数输入到计算设备120中来定义这样的时间段。
图4B是图示用以实施图4B中的分析数据点以确定对图像的修正的步骤S44的算法的流程图。应当注意，图4B仅仅图示了示例实施例，而非意在限制。不必遵循特定步骤顺序。同样，不必执行图4B中的所有步骤。例如，如果不期望实施相应类型的图像修正(移位、缩放或旋转)，则可以省略步骤S442、S444和S448的任何步骤。
根据图4B，步骤S440在特定时间段内将从眼睛跟踪设备110获得的数据点映射到显示设备130的观察区220中定义的一组区域。根据从各个像素位置起始的任意粒度级别，可以定义观察区220的区域。此外，这些区域可以取决于被显示的特定对象210。举例而言，在该映射中定义的观察区220的每个区域对应于对象210的特定特征。
再次参考图4B，步骤S442分析数据点的映射，以确定是否应当通过移动或移位在其中显示的对象210而修正当前图像。步骤S444分析该映射，以便确定是否应当通过执行放大或缩小操作来修正图像。此外，如果在三维空间中用几何学定义对象210(步骤S446)，则步骤S448分析该映射以确定是否应当旋转对象210。
图4C是图示用于实施图4B中步骤S442的分析的处理示例的流程图。具体地，此处理可以应用用于确定是否应当通过移位对象来修正当前图像的规则的下列示例：如果数据点的映射表示观察者对图像中对象210的还未在观察区220的中心的特定部分最感兴趣，则应当通过将对象210的该部分移动至观察区220的中心而修正图像。
参考图4C，步骤S4420基于映射(即，被映射了大部分数据点的区域)来确定观察区220中接受最高程度眼睛关注的区域。举例而言，步骤S4420可以简单地选择被映射了大多数数据点的区域。或者，步骤S4420可以在进行此确定时应用附加准则，例如，通过要求将某一数量或百分比的数据点映射到该区域。
在图4C的步骤S4422中，判断所确定的区域是否已经处于观察区220的中心。如果答案是“是”，则确定不必通过移位对象210来修正图像，因为观察者所感兴趣的对象210的该部分处于观察区220的中心。然而，如果答案是“否”，则处理进行至步骤S4424，在其中，将观察区的所确定区域映射到对象210的相应部分(即，观察者所感兴趣的部分)。因此，步骤S4426确定图像修正应当包括移动图像，从而对象210的相应部分被移动至观察区的中心。
图5A和5B图示了根据图4C的处理而修正所显示的对象210相对于观察区220的空间位置的示例。在图5A和图5B中，图示了人作为观察区220中显示的对象210。
根据图5A的示例，观察者的注视在特定时间段内集中在区域500(在人的躯干处)。因此，不同的“x”符号图示了数据点至观察区220的相应区域的映射(注意，图5A是简化的示例，并且不必代表在实际实施中被映射的数据点数量)。因此，图5A示出了确定修正图像，从而将人210的躯干移动至观察区的中心。
关于图5B的示例，这示出了人210已经被显示在观察区220中，从而使得躯干位于中心。然而，图5B示出了观察者的眼睛200的注视集中于人210的头部中的区域500。因此，可以基于数据点的映射(“x”)而确定头部是观察者对人210最感兴趣的部分。因此，图5B示出了通过将头部移动至观察区220的中心而修正人210的空间位置。
图4D是图示用于实施图4B中步骤S444的分析的处理示例的流程图。具体地，此处理应用一些规则，这些规则表示：取决于在预定时间段内接受观察者的眼睛关注的观察区220的范围而实现放大和缩小修正。
根据这些规则，大范围(例如，注视位置的宽散)将导致缩小。相反，小范围(注视位置的全部或大部分彼此非常接近)将导致放大。
参考图4D，步骤S4440基于数据点的映射来确定观察区220上的眼睛关注范围。此步骤可以分析在预定时间段(例如，两秒)上采样的一系列数据点。基于此分析，可以将眼睛关注范围确定为观察区220中被映射了预定密集度的数据点的范围。可以将此预定密集度定义为在该时间段期间由眼睛跟踪设备110采样的可用数据点的某一百分比，或者简单地定义为数据点的特定数量。
根据图4D的步骤S4442，判断眼睛关注范围是否小于第一预定范围。如果答案是“是”，则确定观察者的意图是放大对象210，从而，根据步骤S4444，应当通过执行放大操作来修正图像。
基于数据点的映射，可以将这种放大集中到对象210中接受最高程度眼睛关注的区域500。或者，尤其如果图4C的处理已经将区域500移动至观察区220的中心，则可以将该放大集中到图像的中心。同样，放大操作可以导致对所显示对象210的扩大。
再次参考图4D，如果步骤S4442确定眼睛关注范围不小于第一预定范围，则步骤S4446判断眼睛关注范围是否大于第二预定范围。如果答案是“是”，则确定观察者的意图是看对象210的更宽视图，从而，根据步骤S4448而对图像执行缩小操作。此缩小会导致所显示的对象210的收缩。相反，如果步骤S4446判断眼睛关注范围不大于第二预定范围，则确定既不需要放大也不需要缩小。
应当注意，图4D中的步骤S4442-S4448的顺序不重要。可以修改处理以改变这些步骤的顺序，例如，在确定是否放大之前确定是否缩小。同样，不必关于放大和缩小两者进行确定。例如，如果仅仅向观察者提供放大功能，则可以将图4D修改为省略S4446和S4448。相反，如果仅仅提供缩小功能，则可以省略步骤S4442和S4444。
此外，根据示例实施例，可以由观察者经由输入设备来定义为缩放目的而采用的第一预定范围和/或第二预定范围。然而，根据可选实施例，可以根据视角或高度/宽度参数来定义第一和第二预定范围。
首先考虑将第一和第二预定范围分别定义为预定视角的示例实施例。在这样的实施例中，在进行步骤S4442和S4446的比较之前，可以将眼睛关注范围转化为相应视角，假设已知观察者的眼睛200与观察区220之间的距离。例如，通过眼睛跟踪设备110中采用的图像处理技术，这样的距离可以是可确定的。此外，相对于观察者对应于整个观察区220的视角，可以建立对应于第一和第二预定范围的视角。
此实施例的具体示例如下。如果观察者对整个观察区220的视角是30度，则当用户在2秒的时段内将他/她的眼睛关注范围缩小到5度或更小的视角时，图4D的处理可以确定要执行放大操作。或者，当观察者的眼睛关注范围已经在2秒的时段内增加到大于25度的视角时，处理可以确定应当执行缩小操作。
现在考虑根据各组高度和宽度参数来定义第一和第二预定范围的可替换示例实施例。同样，在执行对图4D中的步骤S4442与S4446的比较之前，也可以将眼睛关注范围转化为垂直和水平方向上的相应长度。同样，可以设计步骤S4442和S4446的每一个为将眼睛关注段的最大长度(垂直或水平)与预定范围的相应高度或宽度参数比较。例如，如果眼睛关注范围的水平长度长于垂直长度，那么水平长度将分别与第一和第二预定范围的宽度参数比较。相反，如果眼睛关注范围的垂直长度长于水平长度，则垂直长度将分别与第一和第二预定范围的高度参数比较。此外，在此实施例中，可以相对于显示设备130的整个观察区220的高度和宽度来建立第一和第二预定范围中的每一个的高度和宽度参数。
此可替换实施例的具体示例如下。当观察者的眼睛关注范围的最大长度(垂直或水平)在2秒的时段内短于观察区220的相应高度/宽度参数的1/6时，图4D的处理可以确定应当执行放大操作。或者，当用户的眼睛观注范围的最大长度(垂直或水平)在2秒的时段内长于屏幕的相应边长的2/3时，该处理可以确定要执行缩小操作。
在图4D的处理中，可以由观察者通过使用输入设备来设置下列参数中的任何一个：测量观察者的眼睛关注范围的时间段、放大和缩小操作的缩放比率、以及对应于第一和第二预定范围的任何阈值参数。或者，例如，通过在计算设备120中实施的训练处理，可以自动确定任何或全部的前述参数。
图6A和6B图示了如何根据图4C的处理中执行的缩放操作修正观察者对所显示的对象210的视角。具体地，在图6A和6B中，图示了观察者的眼睛注视的原点为点600(这是简化，因为每个眼睛200的注视发起于稍有不同的点)。如这些附图中所示，视角(“AOV”)基于对象210(图示为圆形或球形)的扩大(缩放)级别。作为比较，图6A和6B示出了对象210上的较小扩大(缩放)级别比较大扩大(缩放)级别导致更小的视角(“AOV”)。因此，清楚的是，根据缩放操作而收缩或扩大图像中的对象210导致该对象210的修正的视角。
图6C图示了根据放大操作修正图像的示例，如由图4D的处理所确定的。在图6C的示例中，在预定长度的时间内，将被跟踪的眼睛注视的数据点集中在对象210的区域500。虚线示出了确定的观察者眼睛关注范围，其被定义为视角。图6C示出了此眼睛关注范围小于图4D的第一预定范围，其导致图像的放大。
图6D图示了根据缩小操作而修正图像的示例，如由图4D的处理所确定的。在图6D中，在预定长度的时间内，被跟踪的眼睛注视的数据点穿过观察区220而分散在区域500中。此附图的虚线示出了被定义为视角的眼睛关注范围。图6D示出了眼睛关注范围大于图4D的第二预定范围，其导致图像的缩小。
图4E是图示了用于实施图4B中的步骤S448的分析的处理示例的流程图。当在三维坐标空间中(例如，根据x、y和z轴)用几何学定义对象210的表面、从而可以根据不同观察方向而显示时，图4E的处理可适用。例如，计算设备120可以控制显示设备130显示对象210的三维模型(或者对象210为其一部分的三维模型)。
具体地，图4E的处理定义了用于通过改变所显示对象210的观察方向(即，通过旋转)来确定对当前图像的修正的规则。请注意，图4E非意在进行限制。因此，可以改变其中的不同步骤的顺序，并且可以省略一些步骤，以实施用于旋转对象210的期望规则。
参考图4E，步骤S4480基于图4B的步骤S440中的数据点的映射，确定观察区220的哪个区域在某一长度时间内接受最高程度的眼睛关注。具体地，步骤S4480可以选择观察区220中映射了大多数数据点的区域作为确定的区域。然后，步骤S4481判断所确定的区域是否位于所显示对象210的边界的外部。如果答案是“是”，则步骤S4482指示应当通过向所确定的区域旋转对象210来修正图像。
因此，作为规则，当观察者在预定长度时间内注视观察区220的边界上的一个位置时，这被图4E的处理解释为观察者具有在相应方向上旋转对象210的意图。
再次参考图4E，步骤S4483利用逆投影(unprojection)处理来将映射的数据点转化为在其中定义了对象表面的三维空间。基本上，每个数据点定义从观察者的眼睛200到观察区220的观察射线。步骤S4483的逆投影处理计算这样的观察射线与三维空间中定义的对象210的表面的相交(interception)。这可以通过将每个数据点的x、y坐标与逆投影矩阵相乘来实现，得到对象210的三维表面上的相应点的x、y、z坐标。例如，可以作为用于在显示设备130的二维图像平面(屏幕)上呈现对象210的三维表面的投影矩阵的逆，来计算逆投影矩阵。另外注意，开放图形库(OpenGL)提供了用于直接在二维数据点上应用逆投影处理的函数。
因此，在步骤S4483中，将一组数据点转化为对象的三维表面上的一组眼睛关注点。这些眼睛关注点可以用于确定对象表面的哪个区域是观察者最感兴趣的，如将在下面更详细讨论的。
根据示例实施例，可以将眼睛跟踪设备110配置为将步骤S4483的逆投影处理应用到采样的数据点，并且将所得的眼睛关注点传送到计算设备120，用于进一步确定如何修正图像。然而，在可替换实施例中，计算设备120可以被编程为对从眼睛跟踪设备110接收的数据点执行逆投影处理。
再次参考图4E，步骤S4484使用眼睛关注点来确定三维对象表面的多个定义区域中哪个具有最高程度的显著性或重要性。
对象210的表面可以基于表面的几何形状而划分为多个区域。举例而言，如果根据多边形网格而在三维空间中定义对象210，则可以根据这样的网格的面(face)而定义表面区域。然而，不需要基于这样的网格定义表面区域。可以基于对象210的可感知的重要特征或其它准则而对表面划分区域。
根据示例实施例，步骤S4484可以简单地通过将眼睛关注点映射到它们相应的表面区域、并且选择具有最多数量的眼睛关注点的表面区域，确定最显著的表面区域。
在可替换实施例中，可以将涉及显著性的其它因素与映射的眼睛关注点结合来确定最显著的表面区域。举例而言，可以基于Lee等人的“Mesh Saliency(网格显著性)”，ACM Transactions on Graphics，Proceedings of ACM SIGGRAPH 2006，pp.659-666(其内容通过引用被合并于此)中描述的网格显著性方法，初步对每个表面区域分配显著性值。网格显著性方法基于三维网格的不同区域的相对几何形状(特别是曲率)来计算该三维网格的不同区域的显著性。使用网格显著性方法，在几何形状上独特于其周围区域的对象210的表面区域将被分配比几何形状上类似于它们周围区域的表面区域将被分配的初步显著性值更高的初步显著性值。随后可以将这些初步显著性值与基于其中映射的眼睛关注点数量而分配给相应表面区域的“权重”相结合。具体地，可以对每个表面区域分配在0与1之间的权重，从而具有较高数量的眼睛关注点的表面区域具有较接近1的权重，而具有较低数量的眼睛关注点的表面区域具有较接近0的权重。对于每个表面区域，可以将所分配的权重和初步显著性值相乘。然后，可以将对应于最高相乘结果的表面区域选择为对象210的最显著的表面区域。
当然，可以将眼睛关注点与其它参数相结合，或者以其它方式使用眼睛关注点，以根据步骤S4484确定对象210的最显著的表面区域。
再次参考图4E，在步骤S4485中，判断图像的当前观察方向是否已经面向在步骤S4484中确定的最显著区域。如果否，则步骤S4486确定要通过旋转对象210来修正当前图像，从而使其观察方向面向被确定为最显著的表面区域。同样，修正对象210的观察方向以提供最显著表面区域的更好视图。
图7A和图7B图示了根据图4E的处理来修正对象的观察方向的示例。在图7A和图7B中，将人的头部图示为观察区220中显示的对象210。
具体地，图7A图示了对应于人脸的表面区域700被确定为人的头部210的最显著表面区域的情形。因此，通过旋转人的头部210来修正图像，从而根据图4E的步骤S4485，观察方向直接向着人脸。
关于图7B，这图示了观察者向观察区220中左手边与人的头部210相邻的区域710聚焦他/她的注视的情形。因此，通过向左旋转人的头部210来修正图像，从而根据图4E的步骤S4482而改变观察方向。如图7B中所示，此功能还可以用于修正观察方向以面向更加显著的表面区域，如类似地图7A中所示。
在用硬件和软件实施系统的各方面之间几乎没有差别；硬件或软件的使用通常为代表成本对效率权衡的设计选择(但不总是，因为在某些情形中，在硬件与软件之间的选择可变得很显著)。存在不同的手段(vehicle)，通过其可以实现这里描述的处理和/或系统和/或其它技术(例如，硬件、软件和/或固件)，并且优选的手段将随采用处理和/或系统和/或其它技术的情形而变化。例如，如果一个实施方式确定速度和准确性是极为重要的，则该实施方式可以主要选择硬件和/或固件手段；如果灵活性是极为重要的，则该实施方式可主要选择软件实现；或者，仍再次可替换地，该实施方式可以选择硬件、软件和/或固件的一些结合。
上述详细说明已经使用框图、流程图和/或示例而描述了设备和/或处理的不同实施例。在如这样的框图、流程图和/或示例包含一个或多个功能和/或操作的范围内，本领域技术人员将理解，可以通过宽范围的硬件、软件、固件、或实质上它们的任何组合，分别地和/或共同地实施这种框图、流程图或示例中的每个功能和/或操作。在一个实施例中，可以经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它集成形式来实施这里描述的主题的若干部分。然而，本领域技术人员将认识到：可以完整地或部分地在集成电路中等效地实现这里公开的实施例的一些方面，作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)、作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)、作为固件、或作为实质上它们的任何组合；以及依据此公开，针对软件和/或固件设计电路和/或编写代码在本领域技术人员中是公知的。另外，本领域技术人员将理解，这里描述的主题的机制能够被发布为(distribute)各种形式的程序产品，以及这里描述的主题的说明性实施例不管用以实际上进行发布的特定类型的信号承载介质而适用。信号承载介质的示例包括但不限于下列：可记录类型介质，例如软盘、硬盘驱动器、光盘(CD)、数字视频盘(DVD)、数字带、计算机存储器等；以及传送类型介质，例如，数字和/或模拟通信介质(例如，光纤、波导、有线通信链路、无线通信链路等)。
本领域技术人员将认识到，在本领域中通常以这里提出的方式描述设备和/或处理，并且之后通常使用工程实践来将这种描述的设备和/或处理集成到数据处理系统中。就是说，可以经由合理数量的实验而将这里描述的设备和/或处理的至少一部分集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统通常包括下列中的一个或多个：系统单元机架、视频显示设备、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统、驱动器、图形用户界面和应用程序的计算实体、一个或多个诸如触摸垫或屏幕的交互设备、和/或包括反馈环和控制电机的控制系统(例如，用于感测位置和/或速率的反馈、用于移动和/或调节组件和/或数量的控制电机)。可以利用任何合适的商业上可获得的组件来实现典型的数据处理系统，例如典型地在数据计算/通信和/或网络计算/通信系统中发现的那些商业上可获得的组件。
这里描述的主题有时说明了不同的其它组件中包含的不同组件、或与不同其它组件连接的不同组件。要理解，这种描绘的体系结构仅仅是示例，实际上可以实施实现相同功能的许多其它体系结构。在概念意义上，对用以实现相同功能的组件的任何安排是有效地“关联”，从而实现期望的功能。因此，不考虑体系结构或中间的组件，这里结合实现特定功能的任何两个组件可以被看作为彼此“相关联”，从而实现期望的功能。同样，如此关联的任何两个组件也可以被看作为彼此“可操作连接”或“可操作耦接”，以实现期望功能，并且，能够如此关联的任何两个组件也可以被看作为彼此“可操作地可耦接”，以实现期望的功能。可操作地可耦接的具体示例包括但不限于物理上可成对的(mateable)和/或物理上交互的组件、和/或可无线交互的和/或无线交互的组件、和/或逻辑上交互的和/或逻辑上可交互的组件。
关于这里实质上任何复数和/或单数术语的使用，本领域技术人员可以随着适合于情境和/或应用而从复数转化到单数、和/或从单数转化到复数。为了清楚起见，这里明确提出不同的单数/复数置换。
本领域技术人员将理解，通常这里使用的术语、以及尤其是在所附权利要求书(例如，所附权利要求书的主体)中使用的术语通常意指为“开放”术语(例如，术语“包括”应当解释为“包括但不限于”，术语“具有”应当解释为“具有至少”，术语“包含”应当解释为“包含但不限于”，等等)。本领域技术人员应进一步理解，如果计划了引入的权利要求特征(recitation)的具体数量，则将在权利要求中明确地叙述这种意图，并且，在不存在这种叙述时则不存在这种意图。例如，作为帮助理解，下列所附权利要求可包含通过引语“至少一个”和“一个或多个”的使用来引入权利要求的特征。然而，即使当相同权利要求包括引语“一个或多个”或“至少一个”以及诸如“一”或“一个”的不定冠词时，也不应将这种短语的使用解释为：暗示通过不定冠词“一”或“一个”对权利要求特征的引入，将任何包含这种引入的权利要求特征的特定权利要求限制于仅包含一个这种特征的公开(例如，“一”和/或“一个”通常应当被解释为是指“至少一个”或“一个或多个”)；对于用于引入权利要求特征的定冠词的使用，也是如此。另外，即使明确叙述了具体数量的被引入的权利要求特征，本领域技术人员也将认识到，通常应当将这种叙述解释为是指至少所叙述的数量(例如，对于“两个特征”的无限定叙述而无其他修饰语，通常意味着至少两个特征、或两个或多个特征)。在使用类似于“A、B或C等中至少一个”的惯例的这些实例中，通常这种造句在某种意义上意在使本领域技术人员理解该惯例(例如，“具有A、B或C中至少一个的系统”包括但不限于仅具有A的、仅具有B的、仅具有C的、具有A和B一起的、具有A和C一起的、具有B和C一起的、和/或具有A、B和C一起的等等的系统)。本领域技术人员将进一步理解的是，实质上表示两个或多个可选术语的任何转折词和/或短语(无论在说明书、权利要求书或附图中)应当被理解为预期了包括术语中之一、术语中任一、或两个术语的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
虽然这里已经公开了各个方面和实施例，但是其它方面和实施例对于本领域中技术人员是显而易见的。依据所附权利要求书所指示的真实范围和精神，这里公开的不同方面和实施例是为了说明性的目的，而非意在进行限制。

Claims (20)

1.一种方法，包括：
使显示设备在预定义的观察区中显示对象的第一图像；
获得表示被跟踪的眼睛注视关于所述观察区的位置的数据；
处理所获得的数据，以确定关于下列至少一个而对所述第一图像的修正：所述对象的观察方向、所述对象的视角、以及所述对象关于所述观察区的空间位置；以及
使所述显示设备显示包括所述修正的所述对象的第二图像。
2.如权利要求1所述的方法，还包括：
当显示所述第一图像时，以规则的采样间隔跟踪所述眼睛注视；以及
在相应采样间隔获得被跟踪的眼睛注视的数据点，所述数据点的至少一个表示在所述观察区内的检测到的所述眼睛注视的位置。
3.如权利要求2所述的方法，还包括：
分析所述数据点，以基于被跟踪的眼睛注视来识别对应于高程度的眼睛关注的所述对象的区域；以及
通过移动所述对象来修正所述第一图像，使得在所述第二图像中，所述对象的所识别区域被移动至所述观察区的不同位置。
4.如权利要求3所述的方法，其中，所述修正步骤将所述对象的所识别区域移动至所述观察区的中心。
5.如权利要求2所述的方法，还包括：
分析在预定时间段期间获得的所述数据点；
确定预定密集度的所分析数据点所位于的所述观察区的范围；
当确定的范围小于第一预定范围时，修正所述第一图像，使得在所述第二图像中，根据放大操作来扩大所述对象；以及
当确定的范围大于第二预定范围时，修正所述第一图像，使得在所述第二图像中，根据缩小操作来收缩所述对象。
6.如权利要求5所述的方法，其中，分别根据预定视角来定义所述第一和第二预定范围。
7.如权利要求6所述的方法，还包括：
基于被跟踪的眼睛注视来计算整个观察区的视角，
其中相对于所计算的整个观察区的视角，建立所述第一和第二预定范围。
8.如权利要求5所述的方法，其中，根据第一组高度和宽度参数来定义所述第一预定范围，根据第二组高度和宽度参数来定义所述第二预定范围。
9.如权利要求2所述的方法，其中，在所述观察区上三维地显示所述对象的表面，所述方法还包括：
通过应用逆投影处理以将所获得的数据点的至少一个转化为所述对象的三维显示表面上的点，识别所述对象的表面上的眼睛关注点；以及
基于所识别的眼睛关注点来确定对所述第一图像的修正。
10.如权利要求9所述的方法，还包括：
将所识别的眼睛关注点映射到所述对象的多个表面区域；以及
基于所述映射来确定具有高程度显著性的表面区域；以及
其中，基于所确定的表面区域来确定对所述第一图像的修正。
11.如权利要求10所述的方法，还包括：
通过旋转所述对象来修正所述第一图像，使得在所述第二图像中，所述对象的观察方向面向所确定的表面区域。
12.如权利要求10所述的方法，其中，通过将逆投影矩阵与二维注视位置的坐标相乘来应用所述逆投影处理，其中基于用于将所述对象的表面投影到所述观察区上的投影矩阵来计算所述逆投影矩阵。
13.如权利要求2所述的方法，其中，在所述观察区上三维地显示所述对象的表面，所述方法还包括：
基于所获得的数据点来将眼睛关注的程度映射到所述观察区的多个区域；以及
当具有最高程度的眼睛关注的所述观察区的区域在所显示的对象外部时，通过向具有最高程度眼睛关注的所述观察区的区域旋转所述对象来修正所述第一图像。
14.一种计算机可读介质，在其上包含计算机程序，当执行所述计算机程序时，所述计算机程序使计算机执行下列步骤：
使显示设备在预定义的观察区中显示对象的第一图像；
获得表示被跟踪的眼睛注视关于所述观察区的位置的数据；
处理所获得的数据，以确定关于下列至少一个而对所述第一图像的修正：所述对象的观察方向、所述对象的视角、以及所述对象关于所述观察区的空间位置；以及
使所述显示设备显示包括所述修正的所述对象的第二图像。
15.如权利要求14所述的计算机可读介质，所述程序使所述计算机进一步执行下列步骤：
当显示所述第一图像时，以规则的采样间隔跟踪所述眼睛注视；以及
在相应采样间隔获得被跟踪的眼睛注视的数据点，所述数据点的每个表示在所述观察区内的检测到的所述眼睛注视的位置。
16.如权利要求15所述的计算机可读介质，所述计算机程序使所述计算机进一步执行下列步骤：
分析所述数据点，以基于被跟踪的眼睛注视而识别对应于高程度的眼睛关注的所述对象的区域；以及
通过移动所述对象来修正所述第一图像，使得在所述第二图像中，所述对象的所确定区域被移动至所述观察区的中心。
17.如权利要求15所述的计算机可读介质，所述计算机程序使所述计算机进一步执行下列步骤：
分析在预定时间段期间获得的所述数据点；
确定预定密集度的所分析数据点所位于的所述观察区的范围；
如果确定的范围在第一预定范围内，则修正所述第一图像，使得在所述第二图像中，根据放大操作来扩大所述对象；以及
如果确定的范围延伸超过第二预定范围，则修正所述第一图像，使得在所述第二图像中，根据缩小操作来收缩所述对象。
18.一种系统，包括：
显示设备，被配置为在二维观察区上显示图像；以及
一个或多个计算机处理器，可操作连接至所述显示设备，所述一个或多个计算机处理器被编程为：
使所述显示设备在预定义的观察区中显示对象的第一图像；
获得表示被跟踪的眼睛注视关于所述观察区的位置的数据；
处理所获得的数据，以确定关于下列至少一个而对所述第一图像的修正：所述对象的观察方向、所述对象的视角、以及所述对象关于所述观察区的空间位置；以及
使所述显示设备显示包括所述修正的所述对象的第二图像。
19.如权利要求18所述的系统，所述一个或多个计算机处理器还被编程为：
当显示所述第一图像时，以规则的采样间隔跟踪所述眼睛注视；以及
在相应采样间隔获得被跟踪的眼睛注视的数据点，所述数据点的至少一个表示在所述观察区内的检测到的所述眼睛注视的位置。
20.如权利要求19所述的系统，其中，在所述观察区上三维地显示所述对象的表面，所述一个或多个计算机处理器进一步被编程为：
通过应用逆投影处理以将所获得的数据点的每个转化为所述三维空间内的点，识别所述对象的表面上的眼睛关注点；以及
基于所识别的眼睛关注点来确定对所述第一图像的修正。
CN200910139915.XA 2009-07-10 2009-07-10 基于被跟踪的眼睛运动的图像操作 Active CN101943982B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN200910139915.XA CN101943982B (zh) 2009-07-10 2009-07-10 基于被跟踪的眼睛运动的图像操作
US12/567,684 US8564533B2 (en) 2009-07-10 2009-09-25 Image manipulation based on tracked eye movement
PCT/CN2010/073009 WO2011003303A1 (en) 2009-07-10 2010-05-20 Image manipulation based on tracked eye movement
KR1020127000676A KR101350526B1 (ko) 2009-07-10 2010-05-20 추적된 시선 움직임에 기초한 이미지 조작
JP2012515330A JP5507679B2 (ja) 2009-07-10 2010-05-20 追跡される目の動きに基づく画像操作
US14/024,015 US8797261B2 (en) 2009-07-10 2013-09-11 Image manipulation based on tracked eye movement
US14/311,443 US9081414B2 (en) 2009-07-10 2014-06-23 Image manipulation based on tracked eye movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910139915.XA CN101943982B (zh) 2009-07-10 2009-07-10 基于被跟踪的眼睛运动的图像操作

Publications (2)

Publication Number Publication Date
CN101943982A true CN101943982A (zh) 2011-01-12
CN101943982B CN101943982B (zh) 2012-12-12

Family

ID=43427062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910139915.XA Active CN101943982B (zh) 2009-07-10 2009-07-10 基于被跟踪的眼睛运动的图像操作

Country Status (5)

Country Link
US (3) US8564533B2 (zh)
JP (1) JP5507679B2 (zh)
KR (1) KR101350526B1 (zh)
CN (1) CN101943982B (zh)
WO (1) WO2011003303A1 (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221881A (zh) * 2011-05-20 2011-10-19 北京航空航天大学 基于仿生代理与视线追踪兴趣区域分析的人机交互方法
CN102799262A (zh) * 2011-04-08 2012-11-28 索尼电脑娱乐公司 用于确定输入语音的相关性的装置和方法
CN102981609A (zh) * 2011-08-02 2013-03-20 联发科技股份有限公司 执行显示控制的方法及装置
CN102981662A (zh) * 2011-09-05 2013-03-20 宏碁股份有限公司 手持装置和调整位置信息方法
CN103049081A (zh) * 2012-12-05 2013-04-17 上海量明科技发展有限公司 开启对象视觉触发的方法、客户端及系统
CN103164155A (zh) * 2011-12-12 2013-06-19 索尼爱立信移动通信日本株式会社 显示处理装置
CN103376554A (zh) * 2012-04-24 2013-10-30 联想(北京)有限公司 手持电子设备和显示方法
CN103475893A (zh) * 2013-09-13 2013-12-25 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103472912A (zh) * 2013-08-18 2013-12-25 苏州量跃信息科技有限公司 眼部充能触发的方法及系统
CN103499886A (zh) * 2013-09-30 2014-01-08 北京智谷睿拓技术服务有限公司 成像装置和方法
CN103499885A (zh) * 2013-09-30 2014-01-08 北京智谷睿拓技术服务有限公司 成像装置和方法
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN103703438A (zh) * 2011-04-08 2014-04-02 亚马逊技术公司 基于注视的内容显示器
CN103765374A (zh) * 2011-09-08 2014-04-30 英特尔公司 交互式屏幕观看
CN103761652A (zh) * 2013-11-30 2014-04-30 北京智谷睿拓技术服务有限公司 防伪方法及防伪装置
CN103869946A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种显示控制方法和电子设备
CN103914150A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 摄像头控制方法和装置
CN103959205A (zh) * 2012-01-23 2014-07-30 三菱电机株式会社 信息显示装置
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN104704818A (zh) * 2013-06-19 2015-06-10 松下知识产权经营株式会社 图像显示装置和图像显示方法
CN104853668A (zh) * 2012-09-27 2015-08-19 感官运动仪器创新传感器有限公司 用于眼睛和注视搜索的基于平铺图像的头部位置扫描
CN104871236A (zh) * 2012-12-21 2015-08-26 索尼公司 显示控制设备和记录介质
WO2016008354A1 (en) * 2014-07-14 2016-01-21 Huawei Technologies Co., Ltd. System and method for display enhancement
CN105301778A (zh) * 2015-12-08 2016-02-03 北京小鸟看看科技有限公司 三维操控装置、头戴式装置及三维操控方法
CN105321149A (zh) * 2014-07-30 2016-02-10 联想（新加坡）私人有限公司 自动缩放数据
CN105955471A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
CN106462743A (zh) * 2014-05-09 2017-02-22 谷歌公司 用于向安全移动通信使用眼睛信号的系统和方法
CN107105215A (zh) * 2017-03-28 2017-08-29 联想(北京)有限公司 呈现图像的方法和显示系统
CN107533375A (zh) * 2015-06-29 2018-01-02 埃西勒国际通用光学公司 场景图像分析模块
CN107870708A (zh) * 2016-09-27 2018-04-03 富士施乐株式会社 图像显示装置、图像形成装置和图像显示方法
CN108139814A (zh) * 2017-01-10 2018-06-08 深圳市柔宇科技有限公司 显示内容的调整方法、系统及头戴式显示设备
CN108136258A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 基于跟踪眼部运动来调整图像帧
CN109683716A (zh) * 2013-06-11 2019-04-26 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN109844784A (zh) * 2016-09-22 2019-06-04 亚马逊技术有限公司 用于引导人类执行的库存任务的自适应过程
CN110110677A (zh) * 2014-03-10 2019-08-09 高通股份有限公司 摄影图像中的眨眼和转移注视避免
CN110520824A (zh) * 2017-04-14 2019-11-29 奇跃公司 多模式眼睛跟踪
WO2020020172A1 (zh) * 2018-07-26 2020-01-30 中兴通讯股份有限公司 一种调整多媒体信息的输出参数的方法、终端和存储介质
CN110799926A (zh) * 2017-06-30 2020-02-14 托比股份公司 用于在虚拟世界环境中显示图像的系统和方法
CN111754750A (zh) * 2014-11-17 2020-10-09 洋马动力科技有限公司 远程控制作业机用显示设备、显示系统以及作业机
WO2021190433A1 (zh) * 2020-03-24 2021-09-30 华为技术有限公司 更新物体识别模型的方法和装置
US11487355B2 (en) 2018-05-31 2022-11-01 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
JP2010176170A (ja) * 2009-01-27 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
CN101840265B (zh) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 视觉感知装置及其控制方法
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101644015B1 (ko) * 2009-11-27 2016-08-01 삼성전자주식회사 시스템과 다수 사용자 간의 대화 인터페이스 장치
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
JP2012123513A (ja) * 2010-12-07 2012-06-28 Sony Corp 情報処理装置、および情報処理システム
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
CN103282847B (zh) * 2010-12-22 2016-09-07 Abb研究有限公司 带有眼睛追踪系统的用于监视工业系统的方法和系统
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US20130057553A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Font Management
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US8942434B1 (en) 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US9746918B2 (en) 2012-01-26 2017-08-29 Umoove Services Ltd. Eye tracking
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
WO2013168171A1 (en) 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
KR20130143320A (ko) * 2012-06-21 2013-12-31 한국전자통신연구원 시선 추적을 이용한 번역 인터페이스 장치 및 방법
US9854159B2 (en) 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US20140125581A1 (en) * 2012-11-02 2014-05-08 Anil Roy Chitkara Individual Task Refocus Device
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR101354321B1 (ko) * 2012-11-27 2014-02-05 현대자동차주식회사 눈동자의 움직임을 이용한 명령 입력 장치 및 그 방법
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
USD745875S1 (en) * 2012-12-13 2015-12-22 Symantec Corporation Display device with graphical user interface
US9116926B2 (en) 2012-12-20 2015-08-25 Google Inc. Sharing photos
US9224036B2 (en) 2012-12-20 2015-12-29 Google Inc. Generating static scenes
US9571726B2 (en) * 2012-12-20 2017-02-14 Google Inc. Generating attention information from photos
US9141191B2 (en) 2012-12-20 2015-09-22 Google Inc. Capturing photos without a camera
US9842511B2 (en) * 2012-12-20 2017-12-12 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for facilitating attention to a task
US10359841B2 (en) 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US9216133B2 (en) 2013-01-16 2015-12-22 Elwha Llc Using a 3D display to train a weak eye
DE102013001327B4 (de) * 2013-01-26 2017-12-14 Audi Ag Verfahren und Anzeigesystem zum blickrichtungsabhängigen Skalieren einer Darstellung
JP2014157466A (ja) * 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140247210A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
KR102281233B1 (ko) * 2013-03-14 2021-07-23 삼성전자 주식회사 화면 제어 방법 및 장치
JP2014182452A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 情報処理装置及びプログラム
KR102081930B1 (ko) 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
CN103513879B (zh) * 2013-04-26 2017-10-24 展讯通信（上海）有限公司 触控设备及其显示控制方法及装置
US20140340639A1 (en) * 2013-05-06 2014-11-20 Langbourne Rust Research Inc. Method and system for determining the relative gaze-attracting power of visual stimuli
US10635167B2 (en) * 2013-05-30 2020-04-28 Umoove Services Ltd. Smooth pursuit gaze tracking
US9965062B2 (en) 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US9096129B2 (en) * 2013-07-29 2015-08-04 Freescale Semiconductor, Inc. Method and system for facilitating viewing of information in a machine
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US10055016B2 (en) * 2013-09-16 2018-08-21 Lg Electronics Inc. Image display apparatus and method for operating the same
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
WO2015048030A1 (en) * 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using visible lights or dots
US9781360B2 (en) 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
WO2015048026A1 (en) 2013-09-24 2015-04-02 Sony Computer Entertainment Inc. Gaze tracking variations using dynamic lighting position
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
US9430040B2 (en) * 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
EP2894852A1 (en) * 2014-01-14 2015-07-15 Alcatel Lucent Process for increasing the quality of experience for users that watch on their terminals a high definition video stream
EP3129962A1 (en) * 2014-04-07 2017-02-15 Cubic Corporation Systems and methods for queue management
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
JP6445784B2 (ja) * 2014-05-16 2018-12-26 キヤノン株式会社 画像診断支援装置、その処理方法及びプログラム
US10409361B2 (en) * 2014-06-03 2019-09-10 Otoy, Inc. Generating and providing immersive experiences to users isolated from external stimuli
US9958947B2 (en) 2014-06-25 2018-05-01 Comcast Cable Communications, Llc Ocular focus sharing for digital content
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US20160042172A1 (en) * 2014-08-06 2016-02-11 Samsung Electronics Co., Ltd. Method and apparatus for unlocking devices
AU2015305512A1 (en) * 2014-08-22 2017-03-16 Brien Holden Vision Diagnostics Systems, methods and devices for monitoring eye movement to test a visual field
KR102325684B1 (ko) * 2014-09-23 2021-11-12 주식회사 비주얼캠프 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing
WO2016112531A1 (en) 2015-01-16 2016-07-21 Hewlett-Packard Development Company, L.P. User gaze detection
US9959658B2 (en) * 2015-02-26 2018-05-01 Rovi Guides, Inc. Methods and systems for generating holographic animations
DE102015204283A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung der Blickrichtung einer Person
US10043281B2 (en) 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
DE102015212454A1 (de) 2015-07-02 2017-01-05 Bode Chemie Gmbh Pflegeunterstützungsgerät und Verfahren zur Pflegeunterstützung
EP4090034A1 (en) * 2015-08-07 2022-11-16 Apple Inc. System and method for displaying a stream of images
US10397546B2 (en) 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
JP2017091327A (ja) * 2015-11-12 2017-05-25 富士通株式会社 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
JP2019514639A (ja) 2016-04-20 2019-06-06 ミエー インク 非真直の管セグメント内を移動するように構成された自律的な重力支援式電動レーサ車
US11137884B2 (en) * 2016-06-14 2021-10-05 International Business Machines Corporation Modifying an appearance of a GUI to improve GUI usability
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
WO2018039482A1 (en) * 2016-08-24 2018-03-01 Raduchel William J Network-enabled graphics processing module
KR102650215B1 (ko) * 2016-10-18 2024-03-21 삼성전자주식회사 영상 처리 방법 및 장치
US10552690B2 (en) 2016-11-04 2020-02-04 X Development Llc Intuitive occluded object indicator
CN106683152B (zh) * 2016-11-16 2019-09-20 腾讯科技（深圳）有限公司 三维视觉效果模拟方法及装置
US10558264B1 (en) * 2016-12-21 2020-02-11 X Development Llc Multi-view display with viewer detection
US10110802B2 (en) * 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
WO2018132446A1 (en) * 2017-01-10 2018-07-19 Biostream Technologies, Llc Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality
US11430084B2 (en) 2018-09-05 2022-08-30 Toyota Research Institute, Inc. Systems and methods for saliency-based sampling layer for neural networks
KR102233481B1 (ko) * 2018-10-18 2021-03-29 주식회사 토비스 화면 제어 방법 및 표시 장치
KR20210009458A (ko) 2019-07-16 2021-01-27 삼성전자주식회사 객체 검출 방법 및 객체 검출 장치
CN110809188B (zh) * 2019-12-03 2020-12-25 珠海格力电器股份有限公司 视频内容的识别方法、装置、存储介质及电子设备
US11275495B2 (en) * 2020-01-28 2022-03-15 Dell Products L.P. Customizable user interface element visuals for an information handling system
US11509816B2 (en) * 2020-02-05 2022-11-22 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, and control method of image processing apparatus
US11640200B2 (en) * 2020-03-23 2023-05-02 The Regents Of The University Of California Gaze-contingent screen magnification control
JP2021189211A (ja) * 2020-05-26 2021-12-13 キヤノン株式会社 電子機器
KR20220020107A (ko) 2020-08-11 2022-02-18 주식회사 케이티 컨텐츠를 렌더링하는 장치, 서버 및 방법
TWI746184B (zh) 2020-09-25 2021-11-11 宏碁股份有限公司 利用視線方向調整顯示模式的顯示裝置及其操作方法
JP2022113973A (ja) * 2021-01-26 2022-08-05 セイコーエプソン株式会社 表示方法、表示装置、及び、プログラム
JP2022171084A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
TW202301083A (zh) * 2021-06-28 2023-01-01 見臻科技股份有限公司 提供精準眼動追蹤之光學系統和相關方法
WO2023191306A1 (ko) * 2022-03-28 2023-10-05 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
KR102443797B1 (ko) 2022-03-30 2022-09-16 쉐어잇 주식회사 시선 추적을 통한 공간 이미지 추천 장치 및 방법
US11775061B1 (en) * 2022-04-22 2023-10-03 Microsoft Technology Licensing, Llc Detecting computer input based upon gaze tracking with manually triggered content enlargement
WO2023214598A1 (ko) * 2022-05-03 2023-11-09 엘지전자 주식회사 플로팅 이미지를 표시하는 전자 기기
CN116880702B (zh) * 2023-09-08 2024-01-05 深圳市江元科技(集团)有限公司 一种感应式车载媒体的控制方法、系统和存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058004B2 (ja) * 1994-03-23 2000-07-04 キヤノン株式会社 目視制御画像表示装置
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JPH10320109A (ja) 1997-05-19 1998-12-04 Canon Inc 表示装置、拡大表示支援方法、および音声化支援方法
JP2000010722A (ja) 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP3899241B2 (ja) 2001-06-13 2007-03-28 シャープ株式会社 画像表示システム、画像表示方法、プログラムおよび記録媒体
US9063633B2 (en) * 2006-03-30 2015-06-23 Arjuna Indraeswaran Rajasingham Virtual navigation system for virtual and real spaces
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication
WO2005010739A1 (en) 2003-07-29 2005-02-03 Philips Intellectual Property & Standards Gmbh System and method for controlling the display of an image
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
EP1943583B1 (en) * 2005-10-28 2019-04-10 Tobii AB Eye tracker with visual feedback
SE529156C2 (sv) 2005-10-28 2007-05-15 Tobii Technology Ab Ögonföljare med visuell återkoppling
CN101336089A (zh) 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
JP2009530731A (ja) 2006-03-23 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像操作の眼球追跡制御のためのホットスポット
US20090110245A1 (en) * 2007-10-30 2009-04-30 Karl Ola Thorn System and method for rendering and selecting a discrete portion of a digital image for manipulation
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US8350726B2 (en) * 2009-05-19 2013-01-08 Honeywell International Inc. Gaze-based touchdown point selection system and method
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作

Cited By (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703438A (zh) * 2011-04-08 2014-04-02 亚马逊技术公司 基于注视的内容显示器
CN103703438B (zh) * 2011-04-08 2018-10-16 亚马逊技术公司 基于注视的内容显示器
CN102799262B (zh) * 2011-04-08 2016-12-14 索尼电脑娱乐公司 用于确定输入语音的相关性的装置和方法
CN102799262A (zh) * 2011-04-08 2012-11-28 索尼电脑娱乐公司 用于确定输入语音的相关性的装置和方法
CN102221881A (zh) * 2011-05-20 2011-10-19 北京航空航天大学 基于仿生代理与视线追踪兴趣区域分析的人机交互方法
CN102981609A (zh) * 2011-08-02 2013-03-20 联发科技股份有限公司 执行显示控制的方法及装置
CN102981662A (zh) * 2011-09-05 2013-03-20 宏碁股份有限公司 手持装置和调整位置信息方法
CN103765374A (zh) * 2011-09-08 2014-04-30 英特尔公司 交互式屏幕观看
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN103164155B (zh) * 2011-12-12 2018-09-07 索尼移动通信株式会社 显示处理装置
CN103164155A (zh) * 2011-12-12 2013-06-19 索尼爱立信移动通信日本株式会社 显示处理装置
US10296205B2 (en) 2011-12-12 2019-05-21 Sony Corporation User interface for controlling a display scale of an image
CN103959205A (zh) * 2012-01-23 2014-07-30 三菱电机株式会社 信息显示装置
CN103959205B (zh) * 2012-01-23 2016-10-26 三菱电机株式会社 信息显示装置
US9639745B2 (en) 2012-03-22 2017-05-02 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for evaluating results of gaze detection
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN104321785B (zh) * 2012-03-22 2018-01-09 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN103376554A (zh) * 2012-04-24 2013-10-30 联想(北京)有限公司 手持电子设备和显示方法
CN104685541B (zh) * 2012-09-17 2019-03-05 Smi创新传感技术有限公司 用于确定三维对象上注视点的方法和装置
US10223808B2 (en) 2012-09-17 2019-03-05 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Method and an apparatus for determining a gaze point on a three-dimensional object
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
US10699439B2 (en) 2012-09-17 2020-06-30 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US11676302B2 (en) 2012-09-17 2023-06-13 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US11948332B2 (en) 2012-09-17 2024-04-02 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
CN104853668A (zh) * 2012-09-27 2015-08-19 感官运动仪器创新传感器有限公司 用于眼睛和注视搜索的基于平铺图像的头部位置扫描
CN104853668B (zh) * 2012-09-27 2017-06-13 感官运动仪器创新传感器有限公司 用于眼睛和注视搜索的基于平铺图像的头部位置扫描
CN103049081B (zh) * 2012-12-05 2017-05-24 上海量明科技发展有限公司 开启对象视觉触发的方法、客户端及系统
CN103049081A (zh) * 2012-12-05 2013-04-17 上海量明科技发展有限公司 开启对象视觉触发的方法、客户端及系统
CN103869946A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种显示控制方法和电子设备
CN104871236B (zh) * 2012-12-21 2018-02-02 索尼公司 显示控制设备和方法
CN104871236A (zh) * 2012-12-21 2015-08-26 索尼公司 显示控制设备和记录介质
CN109683716A (zh) * 2013-06-11 2019-04-26 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
US11366516B2 (en) 2013-06-11 2022-06-21 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN109739361B (zh) * 2013-06-11 2022-04-26 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
US11194388B2 (en) 2013-06-11 2021-12-07 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN109683716B (zh) * 2013-06-11 2021-10-22 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN109739361A (zh) * 2013-06-11 2019-05-10 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
US9916690B2 (en) 2013-06-19 2018-03-13 Panasonic Intellectual Property Management Co., Ltd. Correction of displayed images for users with vision abnormalities
CN104704818B (zh) * 2013-06-19 2018-08-31 松下知识产权经营株式会社 图像显示装置和图像显示方法
CN104704818A (zh) * 2013-06-19 2015-06-10 松下知识产权经营株式会社 图像显示装置和图像显示方法
CN103472912B (zh) * 2013-08-18 2018-03-23 苏州量跃信息科技有限公司 眼部充能触发的方法及系统
CN103472912A (zh) * 2013-08-18 2013-12-25 苏州量跃信息科技有限公司 眼部充能触发的方法及系统
CN103475893A (zh) * 2013-09-13 2013-12-25 北京智谷睿拓技术服务有限公司 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103499885A (zh) * 2013-09-30 2014-01-08 北京智谷睿拓技术服务有限公司 成像装置和方法
US9961257B2 (en) 2013-09-30 2018-05-01 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging to facilitate object gaze
CN103499886A (zh) * 2013-09-30 2014-01-08 北京智谷睿拓技术服务有限公司 成像装置和方法
CN103499886B (zh) * 2013-09-30 2015-07-08 北京智谷睿拓技术服务有限公司 成像装置和方法
WO2015043274A1 (en) * 2013-09-30 2015-04-02 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging to facilitate object observation
US10271722B2 (en) 2013-09-30 2019-04-30 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging to facilitate object observation
CN103761652A (zh) * 2013-11-30 2014-04-30 北京智谷睿拓技术服务有限公司 防伪方法及防伪装置
CN103645806B (zh) * 2013-12-24 2016-09-14 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN103645806A (zh) * 2013-12-24 2014-03-19 惠州Tcl移动通信有限公司 一种基于眼球追踪的商品浏览方法及系统
CN110110677A (zh) * 2014-03-10 2019-08-09 高通股份有限公司 摄影图像中的眨眼和转移注视避免
CN103914150A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 摄像头控制方法和装置
CN106462743A (zh) * 2014-05-09 2017-02-22 谷歌公司 用于向安全移动通信使用眼睛信号的系统和方法
CN107077593A (zh) * 2014-07-14 2017-08-18 华为技术有限公司 用于显示屏增强的系统和方法
WO2016008354A1 (en) * 2014-07-14 2016-01-21 Huawei Technologies Co., Ltd. System and method for display enhancement
CN105321149A (zh) * 2014-07-30 2016-02-10 联想（新加坡）私人有限公司 自动缩放数据
CN111754750A (zh) * 2014-11-17 2020-10-09 洋马动力科技有限公司 远程控制作业机用显示设备、显示系统以及作业机
CN111754750B (zh) * 2014-11-17 2022-03-01 洋马动力科技有限公司 远程控制作业机用显示设备、显示系统以及作业机
CN107533375A (zh) * 2015-06-29 2018-01-02 埃西勒国际通用光学公司 场景图像分析模块
CN108136258A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 基于跟踪眼部运动来调整图像帧
CN108136258B (zh) * 2015-10-28 2020-11-24 微软技术许可有限责任公司 基于跟踪眼部运动来调整图像帧的方法、系统及头戴式设备
CN105301778A (zh) * 2015-12-08 2016-02-03 北京小鸟看看科技有限公司 三维操控装置、头戴式装置及三维操控方法
CN105955471A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
CN109844784B (zh) * 2016-09-22 2023-10-31 亚马逊技术有限公司 用于引导人类执行的库存任务的自适应过程
CN109844784A (zh) * 2016-09-22 2019-06-04 亚马逊技术有限公司 用于引导人类执行的库存任务的自适应过程
CN107870708A (zh) * 2016-09-27 2018-04-03 富士施乐株式会社 图像显示装置、图像形成装置和图像显示方法
CN108139814A (zh) * 2017-01-10 2018-06-08 深圳市柔宇科技有限公司 显示内容的调整方法、系统及头戴式显示设备
CN107105215A (zh) * 2017-03-28 2017-08-29 联想(北京)有限公司 呈现图像的方法和显示系统
CN107105215B (zh) * 2017-03-28 2020-02-21 联想(北京)有限公司 呈现图像的方法和显示系统
CN110520824A (zh) * 2017-04-14 2019-11-29 奇跃公司 多模式眼睛跟踪
CN110520824B (zh) * 2017-04-14 2023-11-24 奇跃公司 多模式眼睛跟踪
CN110799926A (zh) * 2017-06-30 2020-02-14 托比股份公司 用于在虚拟世界环境中显示图像的系统和方法
CN110799926B (zh) * 2017-06-30 2024-05-24 托比股份公司 用于在虚拟世界环境中显示图像的系统和方法
US11487355B2 (en) 2018-05-31 2022-11-01 Sony Corporation Information processing apparatus and information processing method
CN110764608B (zh) * 2018-07-26 2023-01-03 中兴通讯股份有限公司 一种调整多媒体信息的输出参数的方法、终端和存储介质
CN110764608A (zh) * 2018-07-26 2020-02-07 中兴通讯股份有限公司 一种调整多媒体信息的输出参数的方法、终端和存储介质
WO2020020172A1 (zh) * 2018-07-26 2020-01-30 中兴通讯股份有限公司 一种调整多媒体信息的输出参数的方法、终端和存储介质
WO2021190433A1 (zh) * 2020-03-24 2021-09-30 华为技术有限公司 更新物体识别模型的方法和装置

Also Published As

Publication number Publication date
KR20120027507A (ko) 2012-03-21
CN101943982B (zh) 2012-12-12
WO2011003303A1 (en) 2011-01-13
US20110006978A1 (en) 2011-01-13
US8797261B2 (en) 2014-08-05
US9081414B2 (en) 2015-07-14
US20140306883A1 (en) 2014-10-16
US20140028549A1 (en) 2014-01-30
US8564533B2 (en) 2013-10-22
JP2012530305A (ja) 2012-11-29
KR101350526B1 (ko) 2014-01-10
JP5507679B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
CN101943982B (zh) 基于被跟踪的眼睛运动的图像操作
Biocca et al. Attention funnel: omnidirectional 3D cursor for mobile augmented reality platforms
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
Zhou et al. Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR
Steinicke et al. Analyses of human sensitivity to redirected walking
US10203837B2 (en) Multi-depth-interval refocusing method and apparatus and electronic device
Song et al. GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application
JP6615988B2 (ja) 多次元画像空間を通したナビゲーション
CN103314391A (zh) 基于自然姿势的用户接口方法及系统
EP3074954A1 (en) Method and system for constructing a virtual image anchored onto a real-world object
Ritsos et al. Standards for augmented reality: A user experience perspective
Pietroszek et al. Smartcasting: a discount 3D interaction technique for public displays
Shim et al. Gesture-based interactive augmented reality content authoring system using HMD
CN104094193A (zh) 移动设备上的全3d交互
Chen et al. Urbanrama: Navigating cities in virtual reality
US20120304128A1 (en) Three-dimensional menu system using manual operation tools
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
Renner et al. AR-glasses-based attention guiding for complex environments: Requirements, classification and evaluation
Herman et al. Multi-touch querying on data physicalizations in immersive AR
Chung et al. VRCAT: VR collision alarming technique for user safety
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
Zocco et al. Touchless interaction for command and control in military operations
CN106774886A (zh) 视线跟踪界面中的缩放效果
RE Low cost augmented reality for industrial problems
US20230319426A1 (en) Traveling in time and space continuum

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant