CN101379456B - 在计算机系统中图形反馈的产生 - Google Patents
在计算机系统中图形反馈的产生 Download PDFInfo
- Publication number
- CN101379456B CN101379456B CN2007800040755A CN200780004075A CN101379456B CN 101379456 B CN101379456 B CN 101379456B CN 2007800040755 A CN2007800040755 A CN 2007800040755A CN 200780004075 A CN200780004075 A CN 200780004075A CN 101379456 B CN101379456 B CN 101379456B
- Authority
- CN
- China
- Prior art keywords
- initial period
- data
- display
- fixation point
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 21
- 230000014509 gene expression Effects 0.000 claims description 18
- 230000000977 initiatory effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 10
- 230000002349 favourable effect Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及计算机系统的控制，计算机系统包括数据处理单元(110)、显示器(120)以及适合于记录相对于显示器(120)的用户(140)的凝视点(PG)的眼跟踪器(130)。数据处理单元(110)适合于在显示器(120)上表现图形信息(GR[S，FB])，该图形信息包括反映输进单元(110)的用户(140)命令的反馈数据(FB)。数据处理单元(110)适合于表现反馈数据(FB)，以便在最初阶段期间反馈数据(FB)基于凝视点(PG)的绝对位置而产生。系统的成像设备(135a，135b)也适合于记录表示用户(140)的身体部分(145)的运动(MR)的图像数据(DBODY)，且适合于将图像数据(DBODY)的表示发送给数据处理单元(110)。因此，在最初阶段之后的阶段期间，数据(FB)改为基于图像数据(DB0DY)而产生。
Description
技术领域
本发明通常涉及表示响应于输入计算机系统的用户命令而表示图形反馈的信息的表示。
发明背景及现有技术
人机交互通过图形用户接口(GUI)已被彻底改变。即，接口提供用于以极大地超过任何现有信道的带宽给用户表现信息的有效装置。这些年以来，可表示信息的速度进一步通过彩色屏幕、放大的显示器、智能图形对象(如弹出视窗)、视窗标签、菜单、工具栏以及声音而增加。然而在这期间，输入设备基本上保持不变，即，键盘和指示设备(如鼠标、轨迹球或触摸板)。在最近几年，各种手写设备已经被引入(如以指示笔或图形笔的形式)。然而，虽然输出带宽增加了好几倍，输入与前述相同实质上改变。结果，人机交互中出现了通信带宽的严重不对称。为了对此进行补偿并使数据输入更有效和用户易使用，提出了各种各样的解决方案。
美国5367315号描述了用于根据用户的眼睛和头部运动控制计算机屏幕上的光标移动的方法和装置。系统通过操作指定键或开关来启动。其后，用户可通过以与传统鼠标一样的方式移动眼睛和头部来将光标定位在屏幕上的任何点。特别地，红外检测器在已定义的活动区内确定用户头部的相对位置，以便屏幕上光标的位置依赖于活动区内头部的位置。用户的眼睛在这里主要用作光反射器以确定眼睛位置的变化，并因而间接展示活动区内头部定位的变化。因此，眼睛/头部位置与光标位置之间的关系被建立。
美国6215471号公开了视觉指针方法和装置，其中，用户通过视觉上可识别的特征例如面部特征的对应的旋转和移动来控制屏幕上指针的移动。而且，通过更改可变的视觉特征例如闭眼，用户可以产生表示鼠标点击以及类似功能的控制信号。与上面的解决方案类似，在视觉上可识别的特征的定位和屏幕上指针位置之间也存在紧密的关系。
美国6,204,828号展示了用于帮助操作员在屏幕上定位光标的计算机驱动系统。在这里，系统计算屏幕上操作员的凝视位置，并将光标初始放置在由这个位置标识的凝视区域内。机械输入设备如鼠标或键盘接着用于控制光标从初始位置到屏幕上的预期目标位置。
上面的前两个解决方案是有问题的，因为通过使用这些策略，对可能是残疾人的用户可能很难控制他/她的头部或者以足够高的准确度凝视以定位光标在屏幕上的期望的位置。而且，即使用户能以非常高的准确度控制他/她的身体，当分别记录眼睛/头部位置和凝视点时，跟踪设备中的各种不完善可能引入测量误差，使得它变得更困难或者至少疲劳而不能获得预期的结果。最后一个解决方案是在这方面的改善，因为在这里当操作机械输入设备时，用户可以补偿在凝视位置的任何误差。然而，这样的机械设备的操作与其它问题相关联，例如与疲劳、反复的过度疲劳伤害等有关。而且，机械输入设备例如传统鼠标相对慢且需要在桌面上或在设备表面上(在膝上型电脑的情况)的一定的操作空间。有时，没有这样的空间可用，或提供所需要的空间是有问题的。
发明内容
本发明的目的因而是提供一种解决方案，其减轻上述问题并因而提供给用户易使用的和在人体工程学上恰当的装置来以高准确度以及以高效的方式控制计算机系统。
根据本发明的一个方面，其目的通过开头描述的用于显示信息的计算机系统来实现，其中，系统包括至少一个成像设备，其适合于记录表示身体部分的运动的图像数据。所述至少一个成像设备适合于将图像数据的表示发送给数据处理单元，数据处理单元又适合于以下述方式表现(present)反馈数据：在最初阶段期间，数据基于凝视点的绝对位置产生；以及在最初阶段随后的阶段期间，数据基于图像数据产生。
本系统由于其迅速的响应和非常直观的用户界面是有利的。在最初阶段，反馈数据可以表现在相对非常接近显示区域处，用户的凝视实际上指向该显示区域。所提出的随后阶段允许用户通过移动选择的身体部分对反馈数据进行相对于初始位置的精确定位，因而产生反映相对运动的控制命令。这根据所使用的身体部分提供了高灵活性和大自由度。
根据本发明的这个方面的优选实施方案，数据处理单元适合于接收用户产生的开始命令，并响应于开始命令的接收而启动最初阶段。因此，得到了响应于凝视点而表现的反馈数据的明确定时。这又增强了用户界面的质量。根据实现和用户偏好，开始命令可通过启动机械输入构件、发出语音命令，通过在极限驻留时间期间在显示器的特定区域内定位凝视点，或者通过按照预先定义的运动序列例如所谓的扫视移动凝视点来产生。
根据本发明的这个方面的另一优选实施方案，数据处理单元适合于启动在最初阶段的预定持续时间之后的随后阶段。最初阶段通常可相对短，比方说1到2秒(或者甚至实质上更少)。此后，如果随后的阶段自动开始可能是有利的。
根据本发明的这个方面的可选实施方案，数据处理单元改为适合于接收用户产生的触发命令，并响应于接收的触发命令而启动随后的阶段。因此，用户可以及时选择当他/她考虑适合于响应于所述身体部分的运动而开始控制反馈数据时的时刻。例如，系统可优选地包括适合于接收具有下列形式的用户产生的触发命令的装置：机械输入构件的启动、语音命令、在极限驻留时间期间在显示器的特定区域内凝视点的定位或者由凝视点(例如扫视)完成的预先定义的运动序列。也就是说，从而能够进一步改善用户与系统交互的效率。
根据本发明的这个方面的又一优选实施方案，反馈数据表示图形指针。而且，数据处理单元适合于在最初阶段期间将显示器上的指针定位在由凝视点反映的开始位置，例如，在离凝视点的估计位置的特定距离处。在随后的阶段期间，数据处理单元适合于响应于表示运动的身体部分的图像数据而从开始位置移动指针。优选地，数据处理单元适合于将图像数据解译为表示图形指针从开始位置按以下方式的相对重新定位：身体部分的特定运动引起图形指针的预先确定的重新定位。因此，通过在观察显示器时移动身体部分，用户可控制指针从开始位置逐渐移动，如他/她所期望的。
根据本发明的这个方面的另一优选实施方案，数据处理单元适合于使显示器在随后的阶段期间响应于图像数据而重复更新所表现的反馈数据。因此，例如，上面提到的逐渐的重新定位是便利的。
根据本发明的这个方面的进一步的优选实施方案，至少一个成像设备包括在眼跟踪器中。因此，成像设备和眼跟踪器可使用共同的摄像机单元。当然，这对于成本效率和设计的紧凑性是有利的。
根据本发明的这个方面的另一优选实施方案，图形信息包括表示非反馈数据的第一部分和表示反馈数据的第二部分。而且，数据处理单元适合于在显示器上的确定位置表现第二部分，其中确定位置的定位取决于第一部分的内容。这意味着反馈数据的状态可适合于当前的屏幕内容，以及该内容和反馈数据之间的位置相互关系。例如，具有图形指针形式的反馈数据当位于可操作的GUI对象之上或附近时可具有第一外观以及/或状态，并且当位于没有包含这样的对象的显示区域内时具有第二外观以及/或状态。
根据本发明的另一方面，其目的通过最初描述的方法来实现，其中，表示身体部分的运动的图像数据被记录。反馈数据被表现，以便在最初阶段期间基于凝视点的绝对位置而产生反馈数据。在最初阶段的随后阶段期间，反馈数据改为基于所述图像数据而产生。
参考提出的计算机系统，从上文的讨论中，本方法和其优选实施方案的优点是明显的。
根据本发明的进一步的方面，其目的通过计算机程序来实现，所述计算机程序直接装入计算机的内部存储器，并包括用于在所述程序在计算机上运行时控制以上提出的方法的软件。
根据本发明的另一方面，其目的通过其上记录有程序的计算机可读介质来实现，其中程序用来控制计算机来执行上面提出的方法。
通常，通过本发明可得到的一个附带的效果是，在随后阶段期间产生的基于图像的数据可用于自动校准眼跟踪器。即，通过研究该数据，可获得关于应如何调节眼跟踪器的结论，以便最小化由眼跟踪器记录的凝视点和用户的估计的实际凝视点之间的任何误差。
从下列描述以及附属的权利要求，本发明的进一步的优点、有利特征以及应用将是明显的。
附图的简述
现在通过作为例子被公开的优选实施方案并参考附图来更严密地解释本发明。
图1示出与所提出的计算机系统进行交互作用的用户的概略图；
图2示出根据本发明的优选实施方案的图1中的显示器的细节图；
图3通过流程图说明根据本发明用于控制计算机系统的一般方法。
本发明的优选实施方式的描述
图1示出根据本发明的一般使用情况的概略图。这里用户140通过眼运动和特定身体部分的运动来控制计算机系统。
系统包括数据处理单元110、显示器120以及眼跟踪器130，该眼跟踪器集成在显示器120中(如图所示)或为独立的单元。眼跟踪器130适合于记录相对于显示器120的用户140的凝视点PG。为了此目的，眼跟踪器130优选地安装有一个或多个成像设备135a和135b。如果眼跟踪器130还包括或者关联于用于向用户140发射例如在红外或近红外光谱内的光的一个或多个光源135c和135d通常是有利的。眼跟踪器130适合于产生描述凝视点PG的眼跟踪数据DEYE，并将该数据DEYE发送给数据处理单元110。
数据处理单元110适合于发送图形信息GR[S，FB]以在显示器120上表现。根据本发明，信息GR[S，FB]的至少一些表示响应于进入数据处理单元110的用户命令而产生的反馈数据FB。这些命令基于凝视点PG或用户140的身体部分145的运动MR而产生。系统可被校准为检测基本上任何身体部分145的运动MR。然而优选地，身体部分是视觉上比较明显的，例如鼻子、嘴巴、整个头部、手、下臂等。选择成对的眼(即，包括用户140的双眼的图像部分)来表示身体部分145是有利的，眼睛相对于身体部分145是固定的(例如头)。即，在这种情况下，被优化来记录与眼相关的各个特征的眼跟踪器130可用来检测所述身体局部145的运动。
在任何情况下，系统包括成像设备，其适合于记录表示身体部分145的运动MR的图像数据DBODY。如上面提到的，此成像设备可与包括在眼跟踪器130中的一个或多个设备135a和/或135b相同。成像设备还适合于将图像数据DBOBY的表示发送给数据处理单元110。根据成像设备的处理能力，这意味着单元110接收原始图像数据本质上如成像设备记录的)或图像数据的处理版本。在后面的情况中，成像设备给数据处理单元110提供包括相关的位置/时间信息、运动矢量等的信号。
数据处理单元110适合于接收眼跟踪数据DEYE以及图像数据DBODY的表示。基于该数据，单元110表现反馈数据FB，以便在最初阶段期间，数据FB基于凝视点PG的绝对位置而产生；且在最初阶段之后的阶段期间，数据FB基于图像数据DBODY而产生。优选地，数据处理单元110包括或者关联于存储器单元115，其适合于存储用于控制单元110以执行这个过程的软件。
现在到图2，我们看到图1中显示器120的更为详细的图。自然地，反馈数据FB可表示很多不同形式的图形信息，如GUI的加亮、所谓的小程序(applet)的启动等。
根据本发明的一个实施方案，反馈数据FB表示图形指针210。在此实施方案中，数据处理单元110适合于在最初阶段期间将显示器120上的指针210定位在由凝视点PG限定的开始位置LS。(即，显示区域，眼跟踪器130估计将指向该显示区域的用户的凝视)。因此，在开始位置LS的指针210可覆盖凝视点PG，或在具有相对于凝视点PG的特定位置的位置。
在图2中说明的实施例中，显示器120也以主要对象220的形式显示图形，该主要对象又分别包括第一和第二屏幕上按钮221和222。这里，我们假设用户140打算启动第二屏幕上按钮222，且因此有兴趣在此图形对象上移动指针210。因此，实际的凝视点可定位在主要对象220的中心(即，大约在PG)。
为了在期望的位置放置指针210，在随后的阶段期间，用户140将特定的身体部分例如他/她的头部145移动MR。成像设备记录此运动MR，并产生对应的图像数据DBODY，其表示被发送到数据处理单元110。此单元110又使反馈数据FB在显示器120上表现，使得指针210从开始位置LS移动(即，指针210响应于图像数据DBODY而移动)。
根据本发明的一个优选实施方案，数据处理单元适合于将图像数据DBODY的表示解译为表示图形指针210从开始位置LS按以下方式的相对重新定位dR：身体部分145的特定运动MR引起图形指针210的预先确定的重新定位。即，从肌肉运动的观点来看，这对用户140是非常直观的运动过程。当然，在这里，运动MR和重新定位dR之间的任何关系都是可想象的。在很多时候，完全的线性关系可能是希望有的。然而，在其它应用中非线性关系可能更有效。在任何情况下，如果身体部分145的一般的向右运动使指针210在显示器上向右移动，而身体部分145的一般的向左运动使指针210在显示器上向左移动等是有利的。自然地，数据处理单元110也可适合于区分更复杂的运动MR，以便指针210可响应于身体部分运动而在显示器120上在任意方向移动。
而且，如果数据处理单元110适合于使显示器120在随后阶段期间响应于图像数据DBODY而重复更新所表示的反馈数据FB是有利的。优选地，这样的更新以相对高的频率如每秒10至30次执行。由此，反馈数据FB可描述呈现为响应于运动MR而连续移动的图形指针210。
根据本发明的一个优选实施方案，图形信息GR[S，FB]包括表示非反馈数据的第一部分S和表示反馈数据FB的第二部分。参考图2中示出的例子，主要对象220、第一屏幕上按钮221和第二屏幕上按钮222可组成包括在第一部分S中的数据，而指针210包括在第二部分FB中。在本实施方案中，数据处理单元110适合于使包括在第二数据部分中的反馈数据(FB)表现在显示器120上的确定位置，其中确定位置的定位取决于第一部分S的内容。
例如，当定位在屏幕上按钮221或222的任一个之上时，反馈数据FB可表示指针210，以便当指针放置在这里时这些按钮可以通过产生确定命令而被操作。然而，每当定位在文本窗上时，反馈数据FB可改为表示该窗的加亮。自然地，根据本发明，可提出视觉引导信息的许多可选形式。反馈数据的类型或特征可取决于第一部分S的内容。因此，当在文本窗上定位时，反馈数据FB可表示光标符号；而当定位在其它类型的可操作的GUI对象之上或足够近时，反馈数据FB可表示指针或类似的图形符号。
而且，凝视点PG和反馈数据FB的定位之间的关系可以是非线性的。例如，显示器120上的一个或多个GUI对象可与“重力场”相关联。这可暗示如果凝视点PG没有位于任何GUI对象上，然而在离第一GUI对象的特定距离内，则反馈数据FB(例如以图形指针210的形式)表现在第一GUI对象处。
根据本发明的一个实施方案，上面提到的最初阶段由用户140手工启动。因此，数据处理单元110适合于接收用户产生的开始命令。单元110还适合于响应于这样的开始命令的接收而启动最初阶段。本系统包括至少一个装置，其适合于接收开始命令。优选地，开始命令通过启动机械输入构件(例如键、按钮、开关、踏板等)、发出语音命令、在极限驻留时间期间将凝视点PG定位在显示器120(例如，接近于指针210的当前位置，或在可选的可操作的GUI对象之上)的特定区域内、和/或根据预定的运动序列(例如，来自/到特定GUI对象的扫视)移动凝视点PG来产生。
通常，优选地，最初阶段比较短，即，具有大约为0，1到2秒的持续时间。非常短的最初阶段可能是优选的，因为当时反馈数据FB被理解为响应于到用户140的凝视所指向的地方而“即时地”出现。在许多应用中，如果在最初阶段完成之后自动开始随后的阶段是进一步希望有的。为了这个目的，根据本发明的一个实施方案，数据处理单元110适合于在最初阶段开始之后的预定时间启动随后的阶段。
例如，用户140可通过按下与数据处理单元110关联的键盘上的指定键来启动最初阶段。与压下键有关，用户140他/她的凝视点PG放置于显示器120上的期望位置。此后不久，接着是随后的阶段(自动地)，且在这个阶段期间，用户140通过他/她的身体部分运动MR来控制数据处理单元110。接着，当反馈数据FB指示已经得到期望的输入状态时，用户140释放指定的键以结束随后的阶段。
根据本发明的另一实施方案，随后阶段被手工启动。因此，数据处理单元110适合于接收用户产生的触发命令，响应于这样的触发命令的接收而启动随后的阶段。优选地，触发命令通过启动机械输入构件(例如键、按钮、开关、踏板等)、发出语音命令、在极限驻留时间期间将凝视点PG定位在显示器120(例如，接近于指针210的当前位置，或在可选的可操作的GUI对象之上)的特定区域内、和/或根据预定的运动序列(例如，来自/到特定GUI对象的扫视)移动凝视点PG来产生。因此，系统包括至少一个装置，其适合于以这些形式中的至少一个接收触发命令。
值得注意的是，根据本发明，在最初阶段期间用户140的凝视点PG实际上不需要定位在显示器120上。相反地，在这阶段期间，凝视点PG可指向所谓的屏外(off-screen)按钮，即，由显示器120之外(例如在显示框上)的区域表示的与软件有关的控制装置。这样的屏外按钮的启动可使反馈数据FB(比方说，以下拉列表的形式)表现在显示器120上(优选地接近于由凝视点PG识别的屏外按钮)。因此，在随后阶段期间，用户140可通过进行合适的身体部分运动MR来在下拉列表中导航。屏外按钮是期望有的，因为它们有效地利用荧屏表面。
为了总结，现在参考图3中的流程图来描述根据本发明控制计算机系统的一般方法。
初始步骤310检查是否已收到开始命令。优选地，根据上面已经讨论的，该命令是用户产生的。如果没有收到这样的命令，则过程循环回并停留在步骤310，否则步骤320跟随。步骤320在显示器上表现反馈数据，以便反馈数据基于相对于显示器的用户凝视点的绝对位置而产生。
结果，步骤330检查用于启动随后阶段的条件是否满足。如上面提到的，在开始步骤320中执行的最初阶段之后或当接收到触发命令时，此条件可由预先确定的时间间隔表示。在任何情况下，如果条件不满足，则过程循环回到步骤320。否则，步骤340跟随，其表示基于表示用户的特定身体部分的运动的图像数据而产生的反馈数据。
此后，步骤350检查是否满足停止标准。如果表示停止标准的满足的停止信号由用户手工产生是非常有利的。即，只有用户知道什么时候完成响应于他/她的身体部分的运动而被控制的确定操作。因此，停止信号可通过启动机械输入构件(例如键、按钮、开关、踏板等)、发出语音命令、在极限驻留时间期间将凝视点PG定位在显示器120(例如，接近于指针210的当前位置，或在可选的可操作的GUI对象之上)的特定区域内、根据预定的运动序列(例如，来自/到特定GUI对象的扫视)移动凝视点PG、和/或释放指定的键来产生。
如果在步骤350中发现满足停止标准，则过程循环回到步骤310。否则，过程循环回到步骤340。自然地，与停止标准的满足有关，数据处理单元可适合于执行例如与通过上述过程选择并可能启动的可操作的GUI对象有关的一个或多个操作。
上面参考图3描述的所有的过程步骤以及步骤的任何子序列可通过编程的计算机装置来控制。而且，虽然上面参考附图描述的本发明的实施方案包括计算机装置和在计算机装置执行的过程，本发明因而也延伸到计算机程序，尤其是在载体上或内适合于将本发明付诸实践的计算机程序。程序可以是以源代码、目标代码、代码中间源和目标码的形式例如以以部分编译的形式、或者以适合于用在根据本发明的过程的实现中的任何其它形式。程序可为操作系统的一部分，或为独立的应用。载体可以是能够携带程序的任何实体或设备。例如，载体可包括存储介质例如闪存、ROM(只读存储器)例如CD(光盘)或半导体ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电擦除可编程只读存储器)、或磁记录介质例如软盘或硬盘。进一步地，载体可以是可传输的载体，例如电或光信号，其可通过电缆或光缆或者通过无线电或通过其它装置传输。当程序嵌入可由电缆或其它设备或装置直接传输的信号时，载体可由这样的电缆或设备或装置组成。可选地，载体可以是嵌入程序的集成电路，集成电路适合于执行或用于执行相关的过程。
术语“包括/包含”当用在本说明书中时被采用来指定规定的特征、完整物、步骤或部件的存在。然而，此术语不排除一个或多个附加的特征、完整物、步骤或部件或其中的组的存在或添加。
对本说明书中的任何现有技术的参考不是也不应被看作在澳大利亚所参考的现有技术形成共有的一般知识的一部分的确认或任何建议。
本发明没有被限制到附图中所描述的实施方案，但可在权利要求的范围内自由地改变。
Claims (21)
1.一种计算机系统，其包括数据处理单元(110)、显示器(120)以及适合于记录相对于所述显示器(120)的用户(140)的凝视点(PG)的眼跟踪器(130)，数据处理单元(110)适合于将图形信息(GR[S，FB])表现在所述显示器(120)上，所述图形信息(GR[S，FB])包括基于所述凝视点(PG)以及所述用户(140)的身体部分(145)的运动(MR)而产生的反馈数据(FB)，所述计算机系统特征在于所述系统包括至少一个成像设备(135a，135b)，所述成像设备适合于记录表示运动(MR)的图像数据(DBODY)并将所述图像数据(DBODY)的表示发送给所述数据处理单元(110)，以及所述数据处理单元(110)适合于表现所述反馈数据(FB)，以便：
在最初阶段期间，所述反馈数据(FB)基于所述凝视点(PG)的绝对位置而产生，以及
在所述最初阶段随后的阶段期间，所述反馈数据(FB)基于所述图像数据(DBODY)而产生。
2.根据权利要求1所述的计算机系统，其特征在于所述数据处理单元(110)适合于：
接收用户产生的开始命令，以及
响应所述开始命令的接收而启动所述最初阶段。
3.根据权利要求2所述的计算机系统，其特征在于所述系统包括适合于接收具有下列项中的至少一种形式的所述开始命令的至少一个装置：
机械输入构件的启动、语音命令、在极限驻留时间期间在所述显示器(120)的特定区域内所述凝视点(PG)的定位以及所述凝视点(PG)的预定的运动序列。
4.根据前述权利要求中任一项所述的计算机系统，其特征在于所述数据处理单元(110)适合于在所述最初阶段的预先确定的持续时间之后启动所述最初阶段随后的阶段。
5.根据权利要求1至3中的任一项所述的计算机系统，其特征在于所述数据处理单元(110)适合于：
接收用户产生的触发命令，以及
响应所述触发命令的接收而启动所述最初阶段随后的阶段。
6.根据权利要求5所述的计算机系统，其特征在于所述系统包括适合于接收具有下列项中至少一种形式的所述触发命令的至少一个装置：
机械输入构件的启动、语音命令、在极限驻留时间期间在所述显示器(120)的特定区域内所述凝视点(PG)的定位以及所述凝视点(PG)的预定的运动序列。
7.根据权利要求1所述的计算机系统，其特征在于所述反馈数据(FB)表示图形指针(210)，并且所述数据处理单元(110)适合于：
在所述最初阶段期间，将所述显示器(120)上的所述图形指针(210)定位在由所述凝视点(PG)反映的开始位置(LS)，以及
在所述最初阶段随后的阶段期间，响应于所述图像数据(DBODY)而从所述开始位置(LS)移动所述图形指针(210)。
8.根据权利要求7所述的计算机系统，其特征在于所述数据处理单元(110)适合于解译所述图像数据(DBODY)以便按以下方式表示所述图形指针(210)从所述开始位置(LS)的相对重新定位(dR)：所述身体部分(145)的运动(MR)引起所述图形指针(210)的预先确定的重新定位。
9.根据权利要求7或8中的任一项所述的计算机系统，其特征在于所述数据处理单元(110)适合于使所述显示器(120)在所述最初阶段随后的阶段期间响应于所述图像数据(DBODY)而重复更新被表现的反馈数据(FB)。
10.根据权利要求1所述的计算机系统，其特征在于所述至少一个成像设备(135a，135b)包括在所述眼跟踪器(130)中。
11.根据权利要求1所述的计算机系统，其特征在于所述图形信息(GR[S，FB])包括表示非反馈数据的第一部分(S)和表示所述反馈数据的第二部分(FB)，以及所述数据处理单元(110)适合于在所述显示器(120)上的确定位置表现所述第二部分(FB)，所述确定位置的定位取决于所述第一部分(S)的内容。
12.一种控制计算机系统的方法，所述计算机系统包括数据处理单元(110)、显示器(120)以及适合于记录相对于所述显示器(120)的用户(140)的凝视点(PG)的眼跟踪器(130)，所述方法包括在所述显示器(120)上表现图形信息(GR[S，FB])，所述图形信息(GR[S，FB])包括基于所述凝视点(PG)以及所述用户(140)的身体部分(145)的运动(MR)而产生的反馈数据(FB)，所述方法的特征在于：
记录表示所述运动(MR)的图像数据(DBODY)，以及
表现所述反馈数据(FB)，以便在最初阶段期间所述反馈数据(FB)基于所述凝视点(PG)的绝对位置而产生，以及在所述最初阶段随后的阶段期间所述反馈数据(FB)基于所述图像数据(DBODY)而产生。
13.根据权利要求12所述的方法，其特征在于：
接收用户产生的开始命令，以及
响应于所述开始命令的接收而启动所述最初阶段。
14.根据权利要求13所述的方法，其特征在于接收具有下列项中至少一种形式的所述开始命令：
机械输入构件的启动、语音命令、在极限驻留时间期间在所述显示器(120)的特定区域内所述凝视点(PG)的定位以及所述凝视点(PG)的预定的运动序列。
15.根据权利要求12到14中的任一项所述的方法，其特征在于在所述最初阶段的预先确定的持续时间之后启动所述最初阶段随后的阶段。
16.根据权利要求12所述的方法，其特征在于：
接收用户产生的触发命令，以及
响应所述触发命令的接收而启动所述最初阶段随后的阶段。
17.根据权利要求16所述的方法，其特征在于接收具有下列项中至少一种形式的所述触发命令：
机械输入构件的启动、语音命令、在极限驻留时间期间在所述显示器(120)的特定区域内所述凝视点(PG)的定位以及所述凝视点(PG)的预定的运动序列。
18.根据权利要求12所述的方法，其特征在于所述反馈数据(FB)表示图形指针(210)，以及所述方法包括：
在所述最初阶段期间，将所述显示器(120)上的所述图形指针(210)定位在开始位置(LS)，所述开始位置(LS)由所述凝视点(PG)反映，以及
在所述最初阶段随后的阶段期间，响应于所述图像数据(DBODY)而从所述开始位置(LS)移动所述图形指针(210)。
19.根据权利要求18所述的方法，其特征在于解译所述图像数据(DBODY)以便表示所述图形指针(210)从所述开始位置(LS)的相对重新定位(dR)，使得所述身体部分(145)的运动(MR)引起所述图形指针(210)的预先确定的重新定位。
20.根据权利要求18或19中的任一项所述的方法，其特征在于在所述最初阶段随后的阶段期间响应于所述图像数据(DBODY)而表现在所述显示器(120)上表现的反馈数据(FB)的重复更新。
21.根据权利要求12所述的方法，其特征在于所述图形信息(GR[S，FB])包括表示非反馈数据的第一部分(S)以及表示所述反馈数据的第二部分(FB)，所述方法包括在所述显示器(120)上的确定位置表现所述第二部分(FB)，所述确定位置的定位取决于所述第一部分(S)的内容。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE06002083 | 2006-02-01 | ||
| SE0600208-3 | 2006-02-01 | ||
| SE0600208A SE529599C2 (sv) | 2006-02-01 | 2006-02-01 | Alstring av grafisk returinformation i ett datorsystem |
| US76471206P | 2006-02-02 | 2006-02-02 | |
| US60/764,712 | 2006-02-02 | ||
| PCT/SE2007/050024 WO2007089198A1 (en) | 2006-02-01 | 2007-01-17 | Generation of graphical feedback in a computer system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101379456A CN101379456A (zh) | 2009-03-04 |
| CN101379456B true CN101379456B (zh) | 2010-08-25 |
Family
ID=38421136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007800040755A Active CN101379456B (zh) | 2006-02-01 | 2007-01-17 | 在计算机系统中图形反馈的产生 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN101379456B (zh) |
| SE (1) | SE529599C2 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| US9170666B2 (en) | 2010-02-25 | 2015-10-27 | Hewlett-Packard Development Company, L.P. | Representative image |
| CN102270035A (zh) * | 2010-06-04 | 2011-12-07 | 三星电子株式会社 | 以非触摸方式来选择和操作对象的设备和方法 |
| WO2011158511A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
| US20120257035A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| TWI488070B (zh) * | 2012-12-07 | 2015-06-11 | Pixart Imaging Inc | 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置 |
| CN103869958B (zh) * | 2012-12-18 | 2017-07-04 | 原相科技股份有限公司 | 电子装置控制方法以及电子装置 |
| US9147248B2 (en) * | 2012-12-21 | 2015-09-29 | Tobii Technology Ab | Hardware calibration of eye tracker |
| US20140258942A1 (en) * | 2013-03-05 | 2014-09-11 | Intel Corporation | Interaction of multiple perceptual sensing inputs |
| US20150169048A1 (en) * | 2013-12-18 | 2015-06-18 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to present information on device based on eye tracking |
| US9310886B2 (en) * | 2014-02-13 | 2016-04-12 | Lenovo (Singapore) Pte. Ltd. | Transient message display control |
| EP3156879A1 (en) * | 2015-10-14 | 2017-04-19 | Ecole Nationale de l'Aviation Civile | Historical representation in gaze tracking interface |
| CN109219789A (zh) * | 2016-05-04 | 2019-01-15 | 深圳脑穿越科技有限公司 | 虚拟现实的显示方法、装置及终端 |
| DE102019117097A1 (de) * | 2019-06-25 | 2020-12-31 | Kiefel Gmbh | Vorrichtung und verfahren zur prozesszeitoptimierung einer produktionsmaschine |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1230718A (zh) * | 1998-03-30 | 1999-10-06 | 惠普公司 | 适于计算机系统的“视眼”鼠标器 |
| US6204828B1 (en) * | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
| EP1335270A1 (en) * | 1998-10-30 | 2003-08-13 | AMD Industries LLC | Non-manual control of a medical image display station |
-
2006
- 2006-02-01 SE SE0600208A patent/SE529599C2/sv not_active IP Right Cessation
-
2007
- 2007-01-17 CN CN2007800040755A patent/CN101379456B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1230718A (zh) * | 1998-03-30 | 1999-10-06 | 惠普公司 | 适于计算机系统的“视眼”鼠标器 |
| US6204828B1 (en) * | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
| EP1335270A1 (en) * | 1998-10-30 | 2003-08-13 | AMD Industries LLC | Non-manual control of a medical image display station |
Also Published As
| Publication number | Publication date |
|---|---|
| SE0600208L (sv) | 2007-08-02 |
| SE529599C2 (sv) | 2007-10-02 |
| CN101379456A (zh) | 2009-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101379456B (zh) | 在计算机系统中图形反馈的产生 | |
| CN100458665C (zh) | 基于眼跟踪控制计算机装置的装置、方法及计算机程序 | |
| JP7153810B2 (ja) | 電子デバイス上の手書き入力 | |
| US7849421B2 (en) | Virtual mouse driving apparatus and method using two-handed gestures | |
| CN103052937B (zh) | 用于调整显示内容的方法和系统 | |
| CN101180599A (zh) | 用户界面系统 | |
| KR101811909B1 (ko) | 제스처 인식을 위한 장치 및 방법 | |
| US9891822B2 (en) | Input device and method for providing character input interface using a character selection gesture upon an arrangement of a central item and peripheral items | |
| EP2543971B1 (en) | A method for an electronic device | |
| US7443386B2 (en) | Mobile phone and method | |
| JP6039248B2 (ja) | 情報処理装置およびその制御方法 | |
| US20160231811A1 (en) | Generation of graphical feedback in a computer system | |
| US20170068322A1 (en) | Gesture recognition control device | |
| CN104641316A (zh) | 光标移动设备 | |
| US20060262102A1 (en) | Apparatus and method for displaying input window | |
| CN105487793A (zh) | 便携式超声用户界面和资源管理系统及方法 | |
| CN106687889A (zh) | 显示器便捷式文本输入和编辑 | |
| US10019134B2 (en) | Edit processing apparatus and storage medium | |
| US7342586B2 (en) | System and method for creating and playing a tweening animation using a graphic directional indicator | |
| TW201820083A (zh) | 虛擬實境或擴增實境的方法、裝置以及非暫態電腦可讀取媒體 | |
| US7170503B2 (en) | Layer editing method and apparatus in a pen computing system | |
| EP3022641B1 (en) | Gesture-based control of electronic devices | |
| WO2019036103A1 (en) | GENERATION OF PROXIMAL MENUS | |
| CN114995731B (zh) | 一种画板的显示控制方法、系统及画板 | |
| CN100362454C (zh) | 基于交互的计算机接口方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Swedish Tankard Patentee after: Tobey Co. Address before: Swedish Tankard Patentee before: Tobii Technology AB |