CN109313501A - 具有眼动跟踪单元的操作装置和用于校准操作装置的眼动跟踪单元的方法 - Google Patents

Abstract

本发明涉及一种用于校准操作装置（15）的眼动跟踪单元（19）的方法，其中借助于该操作装置（15）根据至少一个用户输入来控制至少一个设备，而且其中在该方法中通过该操作装置（15）的控制单元，在该操作装置（15）的至少一个预先确定的使用步骤（29）中，分别显示至少一个图形元件（33），而且借助于该眼动跟踪单元（19）来确定关于观察屏幕（18）的用户的至少一个视向说明（21）。本发明规定：从至少一个被显示的元件（33）中确定光学上突显的元件（33），用户为了成功地执行使用步骤（29）而必须用眼睛聚焦该光学上突显的元件，而且根据该光学上突显的元件（33）在屏幕（18）上的显示位置并且根据至少一个视向说明（21）来产生用于校准该眼动跟踪单元（19）的校准数据（28）。

Description

具有眼动跟踪单元的操作装置和用于校准操作装置的眼动跟 踪单元的方法

技术领域

本发明涉及一种用于校准操作装置的眼动跟踪单元的方法。借助于该操作装置，可以根据至少一个用户输入来控制至少一个设备。用于操作该至少一个设备的操作装置也属于本发明。该操作装置尤其被设置用于机动车。

背景技术

借助于眼动跟踪单元，可以检测用户的视向。这样，例如可以识别出：用户刚好聚焦或看着屏幕上的哪个元件。这种眼动跟踪单元例如从US 2015/0278599 A1中公知。其中也描述了：眼动跟踪单元必须被校准，以便根据眼动跟踪单元的视向说明可以准确地计算在屏幕上被观察或聚焦的视点的坐标。

用于校准机动车的操作装置的眼动跟踪单元的方法例如从DE 10 2014 008 852A1公知。据此，用户必须观察屏幕，而他的眼睛借助于眼动跟踪系统来拍摄。在此期间，在屏幕上显示图形对象、例如十字形。出发点是：用户用眼睛来聚焦该图形对象，使得所聚焦的区域的坐标已知。因此，在此期间借助于眼动跟踪系统来确定的视向说明可以被映射或变换到已知的坐标上。

从WO 2014/020323 A1公知，通过如下方式来找出用户当前在屏幕上聚集的点：在屏幕上示出鼠标指针，用户必须用计算机鼠标来操作该鼠标指针。如果用户在计算机鼠标上点击按键，则出发点是：他在该时刻看着屏幕上的鼠标指针。因此出发点是：由眼动跟踪单元提供的视向说明在该时刻与鼠标指针的位置一致。

在Perra等人的学术著作（David Perra, Rohit Kumar Gupta, Jan-MichealFrahm, “Adaptive Eye-Camera Calibration for Head-Worn Devices”, CVPR – IEEEConference on Computer Vision and Pattern Recognition, 2015年）中，针对戴在头上的摄像机描述了：如何在周围环境的摄像机图像中可以识别出用户概率高地聚焦的光学上突显的元件。

通常，执行对眼动跟踪单元的用户校准，其方式是用户必须在短时间内按顺序观察一系列所限定的校准点。在这段时间期间，眼动跟踪单元探测用户的视向并且产生相对应的视向说明。这些视向说明可以与校准点的已知的坐标进行比较，以便从中提供或产生用于补偿区别的校准数据。

通过呈现所限定的校准点来进行主动校准的该解决方案花费时间并且在立即开始真正的系统交互、也就是说使用操作装置来操作至少一个设备方面妨碍用户。

发明内容

本发明所基于的任务在于：以低的时间花费来执行对用户装置的眼动跟踪单元的校准。

该任务通过专利独立权利要求的主题来解决。本发明的有利的扩展方案通过专利从属权利要求、如下的描述以及附图来公开。

通过本发明，提供了一种用于校准操作装置的眼动跟踪单元的方法。借助于该操作装置，可以根据至少一个用户输入来控制至少一个设备。通过校准，使变换规定或者用于分配眼动跟踪单元的视向说明的分配函数与屏幕（Display）的坐标适配或匹配，该分配函数与用户的当前的眼睛位置或者视向有关。因此，在眼动跟踪单元被校准的情况下，所提及的用户输入可通过视向来实现。

在该方法中，通过操作装置的控制单元，在该操作装置的至少一个预先确定的使用步骤中，分别在屏幕上显示至少一个图形元件。

该使用步骤例如可以规定：用户在屏幕上进行用户输入。相对应地，为了接收至少一个用户输入来操作该至少一个设备，例如可以显示图形操作元件，作为图形元件。除此之外或替选于此，该使用步骤也可在于：用户检测或观察所显示的信息。相对应地，该至少一个图形元件也可包括至少一个输出元件，该至少一个输出元件描述了该至少一个设备的设备状态、例如马达的当前转速。替选于此或者除此之外，该使用步骤可在于：用户获得信息，例如使媒体内容被显示。这种媒体内容例如可以是图像或照片或视频。相对应地，该至少一个图形元件可以是用于输出媒体内容的至少一个媒体元件。

在至少一个使用步骤期间，也借助于眼动跟踪单元来确定或产生关于观察屏幕的用户的至少一个视向说明。换言之，通过眼动跟踪单元描述了用户的视线对准哪里。相对应地，视向说明例如可以是在屏幕上的通过眼动跟踪单元所确定的观察点的坐标或者可以是视向向量。

对于校准来说，对实际观察的区域或者实际观察的位置的说明、即例如校准点的坐标也属于所确定的视向说明。通过已知用户刚好在操作装置上实施哪个使用步骤，一般可以确定：用户刚好至少以预先确定的最小概率观察哪个图形元件。在按照本发明的方法中，确定用户实际观察的该位置，其方式是根据至少一个被显示的元件来规定光学上显眼或明显或突显的元件，该光学上显眼或明显或突显的元件满足预先确定的突显标准，而且用户必须用眼睛聚焦该光学上显眼或明显或突显的元件，用于成功地执行使用步骤。图形元件什么时候突显也可与图形周围环境有关。通常，“光学上突显”这里应该是指：该图形元件吸引用户的视线，因为该图形元件提供视觉刺激和/或对于用户来说目前在内容上重要和/或令人感兴趣。

接着，根据光学上突显的元件在屏幕上的显示位置并且根据该至少一个视向说明，产生校准数据，用于校准眼动跟踪单元。如果视向说明例如分别是向量或坐标，则校准数据例如可以规定修正向量，未经校准的视向说明与该修正向量相结合，以便经此获得经校准的或者经修正的视向说明。也可以规定：适配变换（如其本身从现有技术公知的那样，以便根据眼动跟踪单元的传感器数据来计算视向说明）的至少一个参数，使得一方面至少一个视向说明与另一方面光学上突显的元件的显示位置的差别被最小化。

通过按照本发明的方法得到如下优点：用户可以在至少一个预先确定的使用步骤中使用该操作装置，而在此期间产生所需的校准数据，用来校准眼动跟踪单元。因此，该操作装置直接供使用。

可选的扩展方案也属于本发明，通过所述可选的扩展方案的特征得到额外的优点。

本发明的多个扩展方案都涉及突显标准、也就是说可以如何从多个被显示的图形元件中确定光学上突显的元件的问题。

这样可以规定：显示多个图形元件，例如在教程的框架下用于描述不同的设备状态的多个输出元件或者例如用于描述该操作装置的多个媒体元件。在此，这样显示所述多个图形元件，使得一些图形元件暂时模糊地和/或变暗地和/或只以灰度来显示，而且只有唯一一个图形元件在该使用步骤期间清晰地和/或不变地明亮地和/或有颜色地和/或通过标记元件在光学上被标记并且借此在光学上突显地被呈现。在因此只有唯一一个图形元件清晰地/明亮地/有颜色地/带标记地来呈现而其余的一个或多个图形元件与通常的呈现相比暂时模糊地/变暗地/以灰度来呈现的情况下，出发点应该是：用户将感觉一个元件在光学上突显并且聚焦一个元件。因此，利用人的感知反射，以便将人的注意力或人的焦点或视线转向或吸引到预先确定的图形元件上。

除此之外或者替选于此，在多个被显示的图形元件的情况下可以规定：所述多个被显示的图形元件随时间一个接一个显现地和/或一个被显示的图形元件目前以其大小和/或形状和/或位置和/或方位的相应的动画变化地来显示。通过使图形元件一个接一个显现，出发点应该是：相应最后显现的元件被用户感觉是光学上突显的并且用视线来聚焦。通过使图形元件有动画，该图形元件同样有光学上突显的效果。通过在这种情况下改变该图形元件的大小，可以有针对性地控制用户将视线焦点保持在其之内的区域。这样，变小或变大的元件可以有针对性地引导用户的焦点。通过改变位置，可以产生如下视向说明的序列，所述视向说明描述了在屏幕的显示区上的轨迹。如果用于改变位置的空间不足，则通过改变图形元件的方位、即例如通过旋转，同样可以实现移动或动画。

从多个图形元件中确定光学上突显的元件的另一可能性在于：确定所显示的元件中的哪个元件具有最大的、根据突显标准确定的突显值，而且具有最大的突显值的元件被规定为光学上突显的元件。为了确定突显值，例如可以针对每个图形元件分别确定如下特征参量：沿着其存在预先确定的最小对比度的对比棱边的数目和/或长度；用于存在于图形元件中的色彩对比度的本身公知的量度；用于在图形元件与该图形元件的相邻的周围环境之间的色彩对比度的本身公知的量度。图形元件的相应的特性对突显值有哪些影响可以通过测试人员的简单的试验来确定，其方式是例如测试人员按照所感觉到的突显性来排列多个图形元件的顺序，所述多个图形元件在至少一个特征参量（例如对比度、形状）的值方面有区别。通过确定突显值，得到如下优点：即使该使用步骤的固定的流程不存在，也可以从多个被显示的图形元件中确定光学上突显的元件。例如，在观察媒体内容、诸如图像或照片或视频的情况下，如果通过至少一个媒体元件分别显示这种媒体内容而且应该在该媒体内容之内确定光学上突显的元件，则情况可以如此。

如果预先给定该使用步骤的流程、即已知所要操作的或所要观察的图形元件的顺序，则例如当已经探测到或识别出之前的光学上突显的元件已经被用户操作和/或观察到时，相应下一个所要操作的和/或所要观察的图形元件可以事先分别被规定为光学上突显的元件。接着，下一个元件是光学上突显的，因为用户用视线主动地搜寻所述下一个元件。

特别优选的是：目前只显示唯一一个图形元件，接着该图形元件被规定为光学上突显的元件。这尤其是针对如下情况来规定：只显示唯一一个操作元件，用来接收用户输入。例如，如果在使用步骤中用户应该在操作装置处登录或登记，而且为此例如必须在触摸屏（触敏屏幕）上用手指来使滑块移动，则可以规定这一点。

与其中用户必须一个接一个地聚焦多个图形元件的使用步骤的预先给定的流程相关联地，必须识别出：用户已经在什么时候观察完某一图形元件并且更换到下一个图形元件。在即使只显示唯一一个图形元件的另一情况下，用户从一开始和/或不连续地或者持续地也以他的视线凝视或聚焦该光学上突显的元件。为了确定属于凝视或聚焦该光学上突显的元件的时间间隔的那些视向说明，优选地规定：依据该眼动跟踪单元的至少一个视向说明，识别用户的视线在具有预先确定的区域大小的聚焦区之内超过预先确定的最小时长的停留。因此，如果通过眼动跟踪单元一个接一个地产生的视向说明稍微变化，使得所述视向说明的所有坐标都位于具有预先确定的区域大小的聚焦区之内，而且该状态持续至少一个预先确定的最小时长，则在识别出该停留时，根据在该停留期间已经确定的视向说明来产生校准数据。这里，出发点可以是：用户已经聚焦一个图形元件。

在此，所基于的是，该光学上突显的元件已经被聚焦。如果涉及已经被显示的唯一一个图形元件，则该图形元件可能概率高地被选择。也可以将最接近聚焦区的被显示的图形元件规定为光学上突显的元件，这是突显标准的另一实施方式。

但是，在这种情况下也可能发生：用户在该停留期间观察位于屏幕旁边的对象。为了保证总而言之在屏幕上有一个元件被聚焦，可以做如下规定。依据预先确定的起始校准数据或者初始校准数据或者默认校准数据，可以计算至少一个目前被校准的视向说明。只有至少一个这种视向说明被用于产生最后的配置数据，所述配置数据对应于如下坐标，所述坐标满足预先确定的合理性检查标准。在这种情况下出发点是：默认校准数据低于预先确定的最大偏差并且因此在如下点上示出已借助于所述默认校准数据产生的坐标，所述点具有比距屏幕上实际聚焦的点的预先确定的最大距离小的距离。接着，例如可以规定：以所描述的方式，选择最接近所述坐标的那个图形元件，作为光学上突显的元件。

现在，合理性检查标准可以指明：如果基于默认校准数据来确定的距每个所显示的图形元件的距离大于预先确定的最小距离，则所述视向说明不应该被使用或者是不合理的。

因此，在该停留期间所确定的视向说明描述了由多个被聚焦的点构成的点云。接着，借助于最小二乘法或者借助于RANSAC算法，例如可以从中产生或计算单个的修正向量，作为校准数据。

如果从眼动跟踪单元中接收多个视向说明，则合理性检查标准可包括：在更换和/或移动光学上突显的元件时，所有被认为合理的视向说明的坐标都必须对应于相对位置变化，也就是说只选择相对应的视向说明。通过移动光学上突显的元件，得到相应的连续的呈现之间的相对位置变化。因此，例如可以呈现由至少两个不同的光学上突显的元件构成的序列，所述至少两个不同的光学上突显的元件在屏幕上具有不同的位置。如果用户用眼睛跟踪这些光学上突显的元件，则只选择如下这种视向说明，所述视向说明描述了屏幕上的如下坐标，所述坐标相对地对应于光学上突显的元件之间的更换，即所述坐标描述了相同的相对位置变化，如其通过光学上突显的元件的更换而得到的那样。如果移动单个的光学上突显的元件，则只选择如下这种视向说明，所述视向说明描述了屏幕上的如下坐标，所述坐标描述了相对位置变化、也就是说对应于光学上突显的元件的移动，即描述了该移动。当然，在这种情况下由于缺少最终校准而可能得到偏位或偏移，该偏位或偏移接着可以借助于所产生的校准数据来补偿。

如果屏幕是触摸屏而且用户触摸该屏幕，则同样可以安全性高地以如下情况为出发点：用户在此已将视线对准触摸位置。如果借助于这种触摸屏将至少一个用户说明识别为触摸事件，则优选地在所识别出的触摸事件的情况下，将分别在该触摸事件之前和/或期间和/或之后产生的视向说明用于校准数据。除此之外或替选于此，基于被触摸的图形元件的屏幕坐标和/或触摸事件的触摸坐标来产生校准数据。换言之，根据该触摸事件及其在屏幕上的坐标或由于该触摸事件而被触摸的图形元件的坐标，可以直接预先给定针对视向或在屏幕上被聚焦的区域的相应的额定说明，也就是说可以限定校准点。还可以使用所有如下那些视向说明，所述视向说明与该触摸事件相关联，即在该触摸事件之前和/或之后在预先确定的时间间隔之内或者在预先确定的时长之内确定的视向说明以及在该触摸事件期间确定的视向说明。

为了有针对性地呈现光学上突显的元件来接收触摸事件，可以显示用于输入按键操纵的操作区、即例如图形用户界面（GUI–Graphical User Interface）的所谓的按钮和/或用于接收字符串的键盘。接着，如果触摸该操作区，即因此得到触摸事件，则可以基于操作区或者键盘的相应的按键的相应的坐标来产生校准数据。

也可以显示用于输入擦拭手势的滑动元件，作为图形操作元件。在这种情况下，沿着移动线来实现该擦拭手势。相对应地，可以接收描述沿着该移动线的移动走向的多个视向说明，并且将其用于产生校准数据。出发点是：用户在对屏幕实施擦拭手势时用眼睛或者用视线跟踪他的手指或者用来实施该擦拭手势的其它输入对象。接着，例如也可以基于所提及的合理性检查标准，该合理性检查标准说明：只使用如下这种视向说明，所述视向说明对应于擦拭手势的移动或移动走向。

与媒体元件的显示相关联地可以规定：显示具有用于该操作装置和/或该至少一个设备的操作规程的视频，作为媒体元件。即显示或展现针对该操作装置的所谓的教程。在至少一个时间点，规定目前显示在该视频中显示的并且通过语音输出来解释的和/或在该视频中光学上突出的图形元件，作为相应的光学上突显的元件。即例如如果刚好解释机动车的组合仪表的转速表，则出发点可以是：用户用视线聚焦在视频中示出的转速显示。

该方法可以规定在一个单个的使用步骤或者在多个使用步骤产生校准数据。如果相继执行多个使用步骤，则可以规定：分别产生校准数据并且利用每个使用步骤的校准数据对眼动跟踪单元反复进行校准，即逐步地接连多次校准。经此，有利地防止了：在校准数据有错误地产生的情况下，使用眼动跟踪单元变得不可能。可以规定：保持在一个使用步骤中反复适配的校准数据的变化小于预先确定的最大值，即限制一个单个的使用步骤的校准数据的影响。例如，通过反复校准也可以实现：在更换用户之后，使眼动跟踪单元反复地与新的用户适配。也可以规定：首先停止该操作装置借助于眼动跟踪单元的操作并且只有在预先确定的数目个使用步骤以及借此校准步骤之后来开启该操作装置借助于眼动跟踪单元的操作。替选于预先确定的数目个校准步骤，也可以规定：确定校准数据的在一个校准步骤之后得到的变化，并且如果由于一个校准步骤而引起的变化小于预先确定的最大值，则开启该操作。接着，出发点可以是：该眼动跟踪单元与用户足够精确地匹配。

为了执行按照本发明的方法，提供一种按照本发明的用于机动车的操作装置，该操作装置具有眼动跟踪单元、屏幕以及控制单元。该控制单元被构造为执行按照本发明的方法的实施方式。为此，该控制单元可具有至少一个微处理器和/或至少一个微控制器。该控制单元还可具有程序代码，该程序代码被设立为执行按照本发明的方法的实施方式。该程序代码可存储在该控制单元的数据存储器中。

附图说明

在下文描述了本发明的一个实施例。为此：

图1示出了机动车的示意图，该机动车具有按照本发明的操作装置的实施方式；

图2示出了显示内容的示意图，该显示内容属于操作装置的使用步骤而且同时被用于按照本发明的方法的一个实施方式来产生校准数据；而

图3示出了另一使用步骤的显示内容的示意图，该显示内容同时被用于按照本发明的方法的另一实施方式来产生校准数据。

具体实施方式

在下文阐述的实施例是本发明的一个优选的实施方式。在该实施例中，实施方式的所描述的组成部分分别是本发明的各个要彼此无关地考虑的特征，所述特征也分别彼此无关地对本发明进行扩展而且借此也能单独地或者以不同于所示出的组合的其它组合被视为本发明的组成部分。

此外，所描述的实施方式也能通过本发明的已经描述的特征中的其它特征来补充。

在这些附图中，功能相同的要素配备有相同的附图标记。

图1从鸟瞰视角示出了机动车10的部分视图，该机动车例如可以是汽车、尤其是载客车或者载货车。为了指明方向，在机动车10中，示出了前轮11、驾驶员座椅12、方向盘13和中控台14。

在机动车10中可提供操作装置15，借助于该操作装置可操作机动车10的至少一个设备16。操作装置15例如可以是机动车10的信息娱乐系统（信息-娱乐系统）的组成部分。该至少一个设备16例如可以是收音机和/或电话和/或导航系统和/或空调装置和/或视频和/或音频文件的媒体播放设备。该操作装置15可具有控制单元17、触摸屏18和眼动跟踪单元19。触摸屏18是屏幕。触摸屏18例如可以布置在机动车的中控台14中。替代触摸屏，也可以提供例如平视显示器（Head-up-Display）或者非触敏屏。

眼动跟踪单元19的检测区20例如可对准驾驶员座椅12，使得可以检测驾驶员的视向。触摸屏18和眼动跟踪单元19可以分别以从现有技术公知的方式来设计。在运行时，眼动跟踪单元19可以产生视向说明21并且将视向说明21输出给控制单元17。控制单元17可以将图形数据22输出给触摸屏18，用于控制显示内容23。控制单元17还可以从触摸屏18接收触摸数据24，所述触摸数据可以将触摸事件25的坐标写在触摸屏18上。触摸事件25例如可以是用户、例如驾驶员的手指触摸该触摸屏18的显示区。

为了依据视向说明21可以识别出用户已经将他的视线对准显示内容23上的哪个部分或者哪里，通过控制单元17来规定变换或映射26，该变换或映射将视向说明21转换成坐标27，所述坐标27描述了用户的视线的视向向量与触摸屏18的显示区上的显示内容23的交点。为此，该变换26必须借助于配置数据28来适配，如这本身从现有技术公知的那样。不过，控制单元17不在单独的校准方法或者校准步骤中执行校准，对于该单独的校准方法来说，用户不能将操作装置18用于其它使用目的。作为替代，操作装置15的使用步骤附加地被用于产生校准数据28。

在图2中，这依据使用步骤29来示出，该使用步骤规定了所谓的解锁，其中用户必须借助于操作对象30、例如他的手指来在触摸屏18上实施沿着移动轨道32的擦拭手势31，以便例如使操作装置15的操作菜单显示在触摸屏18上。通过控制单元17，在触摸屏18上向用户显示图形元件33，作为方向。图形元件33是操作元件，用户必须用操作对象30来触摸该操作元件并且沿着移动轨道32来拉动该操作元件。经此，该用户隐含地实施擦拭手势31。在此做出如下假设：用户在该时刻也将其视线聚焦于所实施的移动。因此，在实际识别出的并且通过视向说明21来用信号通知的焦点与所估计的以触摸屏18上的元件33的位置或坐标的形式的焦点之间可以进行适配。同样，可以向用户显示某些操作区或者按钮或者滑动条（未示出），用于进行操纵。这里也能假设：用户在实施操作动作的瞬间将他的焦点聚焦在相应的交互元件、也就是说图形操作元件上。基于此来构造地，在实际上的用户焦点（对准相应的图形元件33）与正好由眼动跟踪单元所确定的视向说明21之间的偏移或偏差在技术上可以被计算并且借助于配置数据28来补偿。

一般来说，该方案可涉及图形用户界面GUI的任意的图形元件。在一个优选的最优的应用中，在屏幕上只显示一个单个的元件（参见图2）。

如果操作装置15依据视向在某一点上或在有限的范围之内的停留来识别用户焦点，则这里在假设用户正好看着唯一一个被显示的元件的情况下，焦点与该元件的位置之间的差别可以直接并且借助于校准数据28来适配或补偿。

在此，基于临近触摸事件25和/或在触摸事件25之后识别出的视点来进行计算和适配。接着，借助于本身从现有技术公知的数学方法，将这些视点校准到所显示的图形元件的固定的位置上。

因此，在该操作装置的情况下，在该用户实施确定的操作流程或者使用步骤29的同时，向用户隐藏地并且不能感知到地执行校准。

但是，因为不能排除用户有时也看着所希望的并且被显示的区域之外，所以优选地对测量值进行合理性检查。还可以优化该方法，其方式是首先将所展现的元件呈现得很小，而然后将这些元件缩放到预先确定的最终的大小。对滑动条的操作甚至允许分析沿着清楚地限定的线或移动轨道32（滑动条走向）的用户焦点。一方面，这提供了更准确的结果，因为测量值首先集中于小得多的区域，而另一方面这也提高了用户看着元件33的概率，因为更多动画需要他的注意力。

在图3中阐明了另一实施方式，其中向用户隐藏地并且不能感知到地执行主动校准。为此，在图3中在时间t上在三个连续的时间步骤T1、T2、T3分别阐明触摸屏18的显示内容23，而使用具有教程的视频作为媒体元件，该视频向用户解释例如目标系统。该视频可以任意地、与应用情况适配地来构建。这样，例如可以解释基于镶嵌图案设计的GUI应用。在系统首次启动的情况下，用户首先获得教程，在该教程中向该用户展现操作装置的可能性。GUI界面首先没有被显示，而是逐渐在时间步骤T1、T2、T3中被构造。镶嵌图案以任意的顺序来渐显而且用几句话以声音方式来介绍。用户在相应新的镶嵌图案34渐显时看着该相应新的镶嵌图案34是非常可能的。如果在这段时间记录眼动跟踪单元的测量值作为视向说明21，则可以依据所述视向说明结合镶嵌图案位置来适配默认校准或者标准校准35。

因为这里也不能排除用户有时也不看镶嵌图案，所以必须对测量值进行合理性检查。这是可能的，因为借助于默认校准35虽然不能确定视线在GUI的显示内容23上的绝对位置，但是可以确定彼此间的相对位置。如果例如两个被展现的镶嵌图案34并排了，则所记录的视向说明21的视线数据也必须并排。不合理的值可以被丢弃并且在校准时被忽略。

还可以优化所介绍的方法，其方式是首先将所展现的镶嵌图案呈现得很小，而在短时间后将这些镶嵌图案缩放到最终的大小。一方面，这提供了更准确的结果，因为测量值首先集中于小得多的区域，而另一方面这也提高了用户看着镶嵌图案的概率，因为更多动画需要他的注意力。

同样，通过使已经被看到的镶嵌图案34渐隐和/或变暗，可以减少用户的注意力不集中并且将该用户的注意力转向到当前展现的镶嵌图案。在图3中，这通过对已经在先前的时间步骤T1、T2显示的镶嵌图案34的虚线呈现来阐明。

替代在系统启动时GUI的完全空的显示内容23（该GUI逐渐才被填充），该GUI也可以在开始时就已经完整地存在，但是具有变暗的和/或模糊的内容。当前展现的镶嵌图案会被突出并且紧接着重新变暗。

在该操作装置运行期间，可以连续地进行校准和重新校准，而用户在程序使用方面没有被妨碍。为此，所观察到的具有显示内容23的界面可以被分析并且有关引人注目的点被检查。这或者可以在运行期间自动地被执行，或者可以在已知显示内容23的图示的情况下事先被执行。在使用步骤（例如图2中的使用步骤29）的程序流程中，用户的注意力将集中于这样确定的点。在所限定的时间间隔内，收集视线数据作为视向说明21，并且将视线数据表现为点云.确定如下变换，该变换将该点云误差最小地匹配或者映射到之前确定的点上。该变换可以直接用于眼动跟踪单元的默认校准35的校准修正。此外，在运行时，如果例如结构被改变或者用户被更换，则该校准可以动态地被适配，因为该校准在程序使用期间持续地运行。

因此，操作装置15避免了主动的用户校准，该主动的用户校准通常被认为是干扰。此外，眼动跟踪单元19优选地不是在开始时仅仅被校准一次（接着，这在没有重新校准的情况下不再允许设置或使用更换），而是自适应地与变化的情况适配。这样，该系统可以在更换用户时自适应地来适配。

典型地，GUI包含如下区域，所述区域被用户越来越多地注视到并且也被凝视一段时间。这例如可以是按钮或滑动条。这些特征被定义为兴趣点（注意力点）并且在准备阶段被规定。在进一步的过程中，这些点在已知它们的显示位置的情况下被用作校准点。如上面描述的那样，用户如所希望的那样不强制用他的视线来操作GUI，而是例如也用输入对象30来操作GUI。在操作期间，收集视线数据作为视向说明21，并且如上面描述的那样将视线数据匹配或映射到所限定的校准点或兴趣点，以便对默认校准35进行修正。为此，例如可以使用最小二乘法或者例如可以使用RANSAC算法。

同样可能的是，在使内容可视化时、诸如在观看照片或视频时执行校准，其中在准备阶段已经不能提取特征或兴趣点。在这种情况下，会借助于图像处理基于突显标准来提取兴趣点。

总体上，该示例示出了：通过本发明如何可以提供自动的眼睛跟踪校准。

附图标记列表

10 机动车

11 前轮

12 驾驶员座椅

13 方向盘

14 中控台

15 操作装置

16 设备

17 控制单元

18 触摸屏

19 眼动跟踪单元

20 检测区

21 视向说明

22 图形数据

23 显示内容

24 触摸数据

25 触摸事件

26 变换

27 坐标

28 校准数据

29 使用步骤

30 输入对象

31 擦拭手势

32 移动轨道

33 元件

34 镶嵌图案

35 默认校准。

Claims (15)

1.用于校准操作装置（15）的眼动跟踪单元（19）的方法，其中借助于所述操作装置（15）根据至少一个用户输入来控制至少一个设备，而且其中在所述方法中通过所述操作装置（15）的控制单元，在所述操作装置（15）的至少一个预先确定的使用步骤（29）中，分别：

- 在屏幕（18）上显示用于接收所述至少一个用户输入的至少一个图形操作元件和/或用于描述至少一个被控制的设备的设备状态的至少一个输出元件和/或用于描述事实情况的至少一个媒体元件，使得在所述使用步骤（29）期间显示至少一个图形元件（33）；而且

- 借助于所述眼动跟踪单元（19）来确定关于观察所述屏幕（18）的用户的至少一个视向说明（21），

其特征在于，

从至少一个被显示的元件（33）中确定光学上突显的元件（33），所述光学上突显的元件满足预先确定的突显标准而且用户为了成功地执行所述使用步骤（29）而必须用眼睛聚焦所述光学上突显的元件，而且根据所述光学上突显的元件（33）在所述屏幕（18）上的显示位置并且根据所述至少一个视向说明（21）来产生用于校准所述眼动跟踪单元（19）的校准数据（28）。

2.根据权利要求1所述的方法，其中显示多个图形元件（33），所述多个图形元件中的一个或一些图形元件暂时模糊地和/或变暗地和/或只以灰度来呈现，而只有唯一一个图形元件在所述使用步骤（29）期间清晰地和/或不变地明亮地和/或有颜色地和/或通过标记元件在光学上被标记并且经此在光学上突显地被呈现。

3.根据上述权利要求之一所述的方法，其中显示多个图形元件（33），而且所述多个图形元件随时间一个接一个显现地被显示和/或一个图形元件目前以其大小和/或形状和/或位置和/或方位的相应的动画变化地被显示。

4.根据上述权利要求之一所述的方法，其中显示多个图形元件（33），并且确定所显示的元件（33）中的哪个元件具有最大的、根据突显标准所确定的突显值，而且将具有最大的突显值的元件（33）规定为光学上突显的元件（33）。

5.根据上述权利要求之一所述的方法，其中在预先给定使用步骤（29）的流程的情况下，相应下一个所要操作的和/或所要观察的图形元件（33）事先被规定为光学上突显的元件（33）。

6.根据权利要求1所述的方法，其中只显示唯一一个图形元件（33）、尤其是用于接收所述至少一个用户输入的操作元件，而且将所述唯一一个图形元件（33）规定为光学上突显的元件（33）。

7.根据上述权利要求之一所述的方法，其中依据所述至少一个视向说明（21）来识别用户的视线在具有预先确定的区域大小的聚焦区之内超过预先确定的最小时长的停留，而且在识别出所述停留时，根据在所述停留期间已经确定的视向说明（21）来产生所述校准数据（28）。

8.根据上述权利要求之一所述的方法，其中依据预先确定的默认校准数据（35）来计算至少一个目前被校准的视向说明，而且只有至少一个这种视向说明（21）被用于产生对应于如下坐标（27）的校准数据（28），所述坐标满足预先确定的合理性检查标准。

9.根据权利要求8所述的方法，其中接收多个视向说明（21）而且所述合理性检查标准包括：在更换和/或移动所述光学上突显的元件（33）时，所有被选择的视向说明（21）的坐标（27）都必须对应于相对位置变化。

10.根据上述权利要求之一所述的方法，其中所述屏幕（18）被设计为触摸屏而且借助于所述屏幕（18）来将所述至少一个用户输入识别为触摸事件（25），而且在所识别出的触摸事件（25）的情况下，基于分别在所述触摸事件（25）之前和/或期间和/或之后产生的视向说明（21）和/或被触摸的图形元件（33）在所述屏幕（18）上的坐标（27）和/或所述触摸事件（25）的触摸坐标来产生所述校准数据（28）。

11.根据权利要求10所述的方法，其中显示用于输入按键操纵的操作区和/或用于接收字符串的键盘。

12.根据权利要求10或11所述的方法，其中显示用于输入沿着移动线的擦拭手势（31）的滑动元件，作为图形操作元件，而且接收描述沿着所述移动线的移动走向的多个视向说明（21）并且将所述描述沿着所述移动线的移动走向的多个视向说明（21）用于产生所述校准数据（28）。

13.根据上述权利要求之一所述的方法，其中显示具有用于所述操作装置（15）和/或所述至少一个设备的操作规程的视频，作为媒体元件，而且在至少一个时间点，规定目前显示在所述视频中显示的并且通过语音输出来解释的和/或在所述视频中光学上突出的图形元件（33），作为相应的光学上突显的元件（33）。

14.根据上述权利要求之一所述的方法，其中相继执行多个使用步骤（29），而且分别产生校准数据（28）并且利用每个使用步骤（29）的校准数据（28）对所述眼动跟踪单元（19）反复进行校准。

15.机动车（10）的操作装置（15），所述操作装置具有眼动跟踪单元（19）、屏幕（18）和控制单元，所述控制单元被设立为执行根据上述权利要求之一所述的方法。