CN101356421A

CN101356421A - 处理数据以确定视觉场景中视觉模式的方法

Info

Publication number: CN101356421A
Application number: CN200680027037.7A
Authority: CN
Inventors: A-L·斯达福尼
Original assignee: Airbus SAS
Current assignee: Airbus SAS
Priority date: 2005-07-25
Filing date: 2006-07-25
Publication date: 2009-01-28
Anticipated expiration: 2026-07-25
Also published as: RU2008106937A; BRPI0615546A2; FR2888968B1; JP5166263B2; FR2888968A1; CN101356421B; CA2615280C; EP1915591B1; JP2009503666A; RU2425331C2; WO2007012747A1; CA2615280A1; ATE545846T1; EP1915591A1

Abstract

本发明涉及一种处理表示用户(12)和其工作环境(14)之间的交互的数据的方法，其特征在于包括以下步骤：当用户与工作环境的至少一个接口元件交互时，获取(E1)表示随着时间用户视线在构成其工作环境的一部分的视觉场景的视觉元素上的位置的数据，这些数据的获取是由一个测眼设备执行的，处理(E3)由此获取的数据以确定包含一个视觉元素序列并随着时间重复多次的至少一个视觉模式。

Description

处理数据以确定视觉场景中视觉模式的方法

技术领域

本发明涉及一种处理表示用户和其工作环境之间的交互的数据的方法和系统。

背景技术

在不同的领域(航空，宇宙空间，汽车，航海……)，驾驶航空、宇宙空间、陆地或海洋交通工具的用户与其交通工具上的环境的交互在人类方面和机器方面被特别加以研究，以便改善例如驾驶员与车载环境(仪表板……)之间的接口或驾驶程序(例如，飞机中的飞行程序)。

因此出于对用户的舒适和安全考虑，以及同样地出于对被输送的乘客的安全的考虑，这些研究旨在改善该接口的人机适应性。

人们致力于例如改善交通工具上的仪表板接口元件(例如，飞机中的驾驶和导航仪器)，以便其向驾驶员提供更多信息，以更符合人机工程学的方式表示的信息、更为可靠的信息，以使得驾驶员尽可能少的疲劳和紧张。

在研究驾驶员-交通工具上的环境的交互、或更为广泛地说，用户-工作环境的交互的背景下，拥有全新的方法研究这一交互将是有用的。

发明内容

为此，本发明提出一种处理表示用户和其工作环境的交互的数据的方法，其特征在于包括以下步骤：

-当用户与工作环境的至少一个接口元件交互时，获取表示随着时间用户视线在构成其工作环境的一视觉场景的视觉元素上的位置的数据，这些数据的获取是由一个测眼设备进行的，

-处理因此获取的数据以确定包含一个视觉元素序列并随着时间重复几次的至少一个视觉模式(motif visuel)。

因此确定一个或几个视觉模式，它们在基于从用户(例如一个驾驶员)采集的测眼数据的基础上的情景(scénario)中重复，该用户与在该情景中使用的工作环境(例如一个交通工具)的至少一个接口元件进行交互。

视觉场景的视觉元素例如是工作环境的接口元件(例如，交通工具上的仪表板的接口元件)、多个这样的元件的区域和/或同一接口元件的不同区域和/或由这些接口元件提供的视觉信息(静态的和/或动态的)。

对于一个航空器的驾驶员，视觉元素还可以包括外部显示器。

本发明确定的这个或这些视觉模式提供极有价值的信息，例如，它能被用于：

-验证交通工具现有的使用程序(例如，飞机中的飞行程序)；

-若同样的模式在大部分用户处得以确定则推荐该使用方式；

-对用户进行评估；

-揭示例如舱内仪表板和交通工具的仪器的接口元件的使用方式，以及从外部视觉场景(滑行道，航线信标，存在的交通工具，行人，等)中获取信息的方式；

-更好掌握用其他评估用户-接口元件的交互和交通工具总体环境元素的方法得到的结果。

将注意到这数据定性处理能够以确定任意的视觉模式或特定的视觉模式的单个命令执行。

同样有可能的是执行用于确定具有一个或多个满足至少一个预定标准的视觉元素的视觉模式的定性处理。

因此，例如，我们可以在一个航空器的导航仪器中寻找包括作为视觉元素的航空器未来轨迹终点的视觉模式。

根据一项特征，本方法包括一个对获取的数据进行统计处理的预先步骤，并且用于确定至少一个视觉模式的数据处理步骤根据该统计处理步骤的结果执行。

这个统计处理可以在获取的测眼数据中进行分类，并且因此可简化数据定性处理，因为后者是在已被统计处理(定量处理)的获取数据上执行。

定性处理因此使得计算时间缩短且计算量减小。

根据一项特征，获取的数据的统计处理步骤随着时间提供用户注视过的某些视觉元素的出现次数。

以此方式根据视觉元素的重要性和/或对用户而言的兴趣点执行视觉元素分类。

根据一项特征，旨在确定至少一个视觉模式的数据处理从出现次数最高的视觉元素开始执行。

统计处理可以确定情景中最受用户关注的视觉场景视觉元素或为其工作环境，例如他的交通工具，定义的使用方式。

同样可能的是从对应于另一标准的视觉元素开始进行数据处理。

根据一项特征，数据获取步骤提供与用户随着时间注视的至少某些视觉元素相关的用户视觉行为数据。

考虑到在数据定性处理时用户的视觉行为，由于更大量信息的载体，可以得到一个更为精细的视觉模式。

事实上我们知道用户用何种方式观看这些视觉元素，换而言之用注视、扫视或视线追踪。因此可能的是把(测眼仪存储的)用户视觉行为用作用于确定给定视觉元素相对于另一个视觉元素的重要性的标准。

根据一项特征，数据获取步骤在给定时间间隔期间执行。

数据在情景或用户工作环境，例如他的交通工具的使用方式或一个电脑显示屏展开期间的一段观察时期被采集。

根据一项特征，数据获取步骤在一个与使用用户工作环境的给定程序(例如，交通工具，显示屏或手提电话的使用方式)运行有关的情景范围内被执行。

我们因此把用户(例如驾驶员)置于一个给定状态，以便根据一个眼睛测量分析评价他与其工作环境(例如交通工具上的仪表板)的一个或多个接口元件的交互。

根据一项特征，用户是一个与交通工具上的仪表板的接口元件交互的交通工具驾驶员。例如，当我们为一架飞机驾驶舱建模并且测眼数据从建立的模型采集时，视觉模式的确定可被用于验证/完善该模型。

根据一项特征，交通工具是机动车。

本发明同样旨在提供一种用于处理表示用户和其工作环境之间的交互的数据的系统，其特征在于包括：

--当用户和工作环境的至少一个接口元件交互时，用于获取表示随着时间用户视线在构成其工作环境的视觉场景的视觉元素上的位置的测眼数据的获取设备，

-用于处理由此获取的数据以确定包含一个视觉元素序列并随着时间重复多次的至少一个视觉模式的装置。

本系统与以上关于方法的描述同样的方面和优势因此不在此重述。

附图说明

其他特征和优势将在随后仅仅作为非限制性例子并参考附图的描述过程中更加明显，其中：

-图1表示根据本发明的数据处理方法的算法；

-图2是表示根据本发明的数据处理系统的一个示意图；

-图3是表示图2中所示的测眼仪16的一个示意图；

-图4是一个可视化屏幕的例子，它将作为前图实现的例子的基础；

-图5是一个作为出现在图4显示屏上的事件类型的函数的表示出现次数的柱状图；

-图6以示意图的方式描绘视觉模式的检测；

-图7在图4的显示屏上示意示出图6中检测的视觉模式；

-图8以示意方式示出视觉模式(无视觉行为)的检测；

-图9在图4的显示屏上示意示出图8中检测的视觉模式；

-图10以示意方式以相关视觉行为示出视觉模式的检测；

-图11在图4的显示屏上示意示出图10中检测到的视觉模式。

具体实施方式

本发明在航空器驾驶舱中具有特别意义的应用是通过获取和处理测眼数据来评价驾驶员(用户)和一个或几个舱内仪器(工作环境)的视觉交互。

根据本发明本方法的通常算法以三个主要步骤被表示在图1中。

在第一步骤E1过程中，我们通过一台测眼设备进行测眼数据的获取，该测眼设备将在后面参考图2和图3作详细叙述，。

这些数据表示当驾驶员与飞机驾驶舱的一个或几个接口元件交互时，驾驶员视线(视觉路线)在构成驾驶员工作环境的视觉场景视觉元素上随着时间的位置。

尤为特别的是，这些数据的获取将可以跟随浏览一个或几个驾驶舱舱内仪器的驾驶员视线并且标识引起驾驶员注意的视觉元素。我们将在后面详细叙述一个例子，其中测眼数据表示浏览同一舱内仪器的不同视觉元素的驾驶员视线的位置。

图1的算法包括第二步骤E2，在该过程中人们进行先前获取的测眼数据的定量处理。

有时可被忽略的这一步骤可以通过例如以柱状图形式提供被驾驶员随着时间看过的某些视觉元素、甚至所有视觉元素的出现次数，进行测眼数据的统计处理。

因此，例如，该统计处理可以确定驾驶员已看过飞机空中轨道56次而该轨道在地面的投影15次。

这一处理，例如，由一个由荷兰瓦赫宁根市Noldus InformationTechnology BV公司发行的被称为“The Observer”(观察者)”的统计分类软件执行。

若需关于该软件更为详尽的信息，可参考网站www.noldus.com。

我们在软件中输入已记录的测眼数据以及实验记录，即驾驶员注视的视觉场景视觉元素以及表示为例如注视、扫视或视线跟随的他的视觉行为。

然而将注意到，在随后的数据处理中驾驶员视觉行为的考虑并不总是必须的。

将注意到，在步骤E2时，被提供给定量处理模块的视觉元素和行为同样可以来源于一个根据飞机驾驶舱建立的认知模型。

图1的算法包括随后的第三步骤E3，数据定性处理，该数据或者是未经过步骤E2定量处理的获取的测眼数据，或者是在步骤E2中被定量处理的获取的测眼数据。

数据定性处理根据一个或一组已选择的预定标准，构成视觉场景的视觉元素序列的一个或多个视觉模式，这些模式在指定的时间间隔(观察期间)中以同样的方式重复数次。

因此可能的是，当不事先执行定量处理时，尽力获取在指定时间间隔期间产生的所有视觉模式，而不考虑特定的标准。

然而可能的是，确定包括一个或多个指定视觉元素的这个或这些视觉模式，以便例如在设计过程中评价提供给驾驶员的关于一个仪器的信息的用途。

当考虑到统计处理步骤E2的结果时，同样可以确定包括给定视觉元素的一个或多个视觉模式，该给定视觉元素例如是一个与飞机轨迹在地面的投影有关的视觉元素。

我们同样可以搜索包括具有统计意义的视觉元素的视觉模式。

因此，例如可以搜索包括随着时间以最大次数出现(最大出现次数)的视觉元素或符合此定义的前二或前三个视觉元素的视觉模式。

同样可以选择搜索包括具有另一种统计意义，例如那些最不常被驾驶员看的视觉元素，的视觉模式。

步骤E3的定性处理可由前面提及的Noldus公司发行的被命名为“Theme”的软件执行。

该软件特别依靠一种事件序列的搜索算法，它开始于在一个指定的时间间隔期间搜索一个特别的第一事件。

该软件随后预计，在该指定时间间隔期间搜索紧随第一事件并且在第一事件出现后的指定时间内产生的第二事件的出现(我们因此定义第二时间间隔小于第一时间间隔)。

一旦标识一组第一事件和在第二时间间隔期间产生的第二事件，我们则同样着手搜索第三事件在第一时间间隔期间的出现并且它同样在第二事件出现后的指定时间(第三时间间隔)内在第二事件之后出现。

我们因此用重复的方式来标识事件序列。

为了更广泛的信息，读者可以参考Magnus S.Magnusson的题为“发现行为中隐藏的时间模式：T-模式和它们的检测(Discovering hidden time patterns in behavior：T-patterns andtheir detection)”的文章，Behavior ResearchMethods，Instruments&Computers(行为研究方法、仪器及计算机)2000，32(I)，93-I 10，第93-110页，。

用有益的方式，我们把步骤E2的定性处理执行成几个子步骤：

1、搜索包括一个来自于统计处理的视觉元素N(N＝1，2，3……)的视觉模式；同时这一搜索在一个单个元素上进行；

2、当取得这些模式时，执行以下定性处理：

a)考虑与视觉行为有关的数据(丰富数据库)，

b)在第一步骤中被标识的并且包括元素N的视觉模式中，考虑视觉行为以便仅搜索由元素N、M和R组成的合适的模式，而其他的模式则例如被看作意义不大。

图1算法的不同步骤由数据处理装置(中央处理单元)协同数据获取以及数据存储装置(数据库，存储器……)执行。

如图2和3所示，测眼设备10可以记录驾驶员视线在视觉场景上的位置12，因此可以跟随驾驶员视线在驾驶舱接口元件，如舱内仪器14以及外部显示器上浏览的不同的视觉元素。该仪器将在后面参照图4加以描述。

测眼设备10包括一个模拟装置16，即测眼仪，它记录驾驶员眼睛的移动并向上面参考图1描述的处理装置17提供测眼数据。

测眼仪包括显示在图3上的几个部件，即，一个记录眼睛移动的摄像机18，一个向眼睛发射红外射线的红外源20和一个记录驾驶员所见到的视觉场景的摄像机22。

因此，由摄像机18获取的记录眼睛移动的视频数据和由摄像机22获取的记录驾驶员所见的视觉场景的视频数据被一个视频数据处理单元24叠加在一起，并且驾驶员视线的实时位置由一个在进行记录时驾驶员所看到的视觉场景中移动的指针26表示出(例如，一个圆圈或一个十字针)。

使用单独的测眼仪，虽然对外部显示器足够了，但如果希望记录驾驶员视觉路线特别精细的细节，例如阅读文本或从例如仪器14的显示屏上的特定区域上获取信息，则不能提供足够的精度。

因此，为测眼仪关联一个磁场发生器28以带来最大精度(图2)。

磁场发生器28被用作在三维空间中的参照以捕获驾驶员头部关于构成其真实环境的不同表面和平面的坐标的位置。在这一点上，相关表面和平面是对应于构成关注区域的驾驶舱显示屏和控制板的表面和平面，关注区域可被分解成关注区和子区，如我们之前在每一接口元件看到的。对应不同表面和平面的坐标被测量并存储在驾驶员环境的3D模型中。

为了分析驾驶员头部12的移动，因此求助于磁场发生器28以及一个借助一个飞行帽32固定在驾驶员头部的接收器30和与前述模拟装置16(测眼仪)相结合的元件，可获得用户视线在一个如在舱内仪表14上所示的视觉场景的视觉元素上的位置的最大精度。

更为特别的是，固定在驾驶员头部的接收器30提供头部在三维模型中的准确位置。

此头部接收器30和记录场景的摄像机22之间的距离，以及头部接收器30和驾驶员双眼12之间的距离随后被引入三维模型中。前述第一段距离的参数对于执行关于场景的摄像机校准是必需的而第二段距离对校准模拟装置(测眼仪)是必需的。

我们将注意到，通过结合由驾驶员头部位置提供的数据以及其视线位置提供的数据旨在带来最大精确度的驾驶舱中前述测眼设备10的调整(图2)考虑到驾驶舱几何学研究和驾驶员姿势的研究12。

在进行驾驶舱几何学研究时，申请人注意到为了在驾驶舱中的一个载体上安置磁场发生器28，应该要保证发生器28和任何金属表面之间的距离要足够大以便把可能与测眼设备生成的磁干扰减至最小。

此外，当在驾驶舱内部配置构成测眼设备10的不同部件时，申请人证实磁场生成器28和驾驶员头部位置接收器30之间的距离应该严格小于驾驶员头部位置接收器30和任何金属表面之间的距离，这仍然是为了尽可能减少磁干扰。

应该注意驾驶员姿势研究12可定义其移动量的极限且因此定义头部接收器和磁场源之间的距离。

得益于测眼设备10，有可能非常精确地记录构成驾驶员观看如在仪表14上展示的航空视觉场景特定元素(驾驶舱面仪表和外部视觉资料)的方式特征的诸如注视、扫视和视线跟随的眼睛移动(驾驶员的视觉行为)。

构成测眼设备10的元素，即模拟装置16，磁场发生器28和带有头部接收器30的一个飞行帽32，可从SensoMotoric InstrumentsGmbH，Warthestrasse 21，D-14513 Teltow，Allemagne公司获得。

需要更多信息，读者可访问网站www.smi.de

图2和图3上所示的舱内仪器14以在图4上详细显示的可视屏幕的形式表示。

图4的显示屏40表示一个三维合成图像以使航空器的位置以及该航空器在其中活动的环境可视化。

这一合成图象根据航空器外部的一个视点建立并且在位于航空器驾驶舱内的可视化屏幕40上显示该合成图象可以改善驾驶员所具有的对该航空器实际状况的意识。

该可视化屏幕可以是一个特定的显示屏或是一个已经存在于航空器上的显示屏，例如舱内仪器的导航屏幕ND(盎格鲁撒克逊术语是“Navigation Display”)。

在该合成图象中，多个图形元素或符号被使用：一个符号42表示航空器(飞机符号)并指出其位置，一个表示44描绘航空器在上方活动的地面，在航空器符号42和它在地面44上的垂直投影之间的编号46的一条参考垂线和一个表示航空器未来轨迹的符号48。

符号42被固定在三维图象中并当驾驶员的视线停驻在可视化显示屏40上时为驾驶员提供一个持久且直接的参考。

地面44是可移动并因此展示航空器模型四周的地形。

符号42表示航空器在倾斜、俯仰和蛇形飞行时的真实姿态。这些信息被定性地转到随着这三个轴倾斜的这一符号上。

三维合成图象还包括一个表示垂线46和地面44相交的符号50以便能够使航空器在地面上的垂直投影可视化(飞机符号在地面的投影)。

此外我们将注意到垂线46包含由位于这条垂线上的水平刻度52A组成的刻度尺52(桅帆刻度(échelle de perroquet))，用于标明航空器下预定距离。

作为信息，在显示屏40上还有一个表示航空器未来轨迹48在地面44上垂直投影(投影于地面的轨迹)的符号54、在位于表示航空器未来轨迹的符号48上的点58和对应于这些点的在地面上的垂直投影60之间许多垂线56(轨迹的支撑垂线)。

例如，对应于航空器在不同的时间或距离间隔中预计位置的点58。

我们将注意到合成图象还包含一个表示在水平线64之上的航向刻度尺62。

此外，合成图象包含补充信息，它们例如被显示在预置在三维显示上方的可视化显示屏上的一个显示栏66中。这些补充信息尤其可以对应于通常显示在一个导航显示屏ND上的汇报信息如风(风向和风力)、航空器速度、下一路点……

需要关于图4所示合成图象的更多细节，读者可以参考欧洲专利申请EP1 460 384。

我们现在将借助例子描述图1算法的分别关于图2和图3所示测眼设备采集的数据的定量处理和定性处理的步骤E2和E3，用于观看展示在图4所示的舱内仪器上的情景的驾驶员。

根据该考虑的情景，驾驶员被置于一个与对应于接近山区的阶段的飞行程序的运行相关的情景环境中。

在对应于该情景的展现期间的指定时间间隔，驾驶员观看在眼前图4所示类型的合成图象上展现的情景，而测眼仪器记录驾驶员眼睛在合成图象上的移动。

这一时间间隔的持续时间，例如，等于15分钟。

通过向数据定量处理软件提供所考虑场景以及出现在涉及到的舱内仪器的合成图象上的不同视觉元素或事件，可以进行对测眼设备10获取的测眼数据进行统计分析并且这一统计分析的结果以表示17个所指出的事件的每一个出现次数的柱状图形式被绘在图5上。

这些事件的每一个对应于在驾驶员眼前展开的视觉场景的视觉元素及在视觉场景中吸引其视线的视觉元素。

这一处理使更有意义的统计元素和那些较无意义的统计元素都显示出来，并且特别是指出了最受驾驶员关注的元素，换而言之在视觉场景展开时被驾驶员看作最为重要的元素，是轨迹的终点，因为它在观察时间间隔期间出现34次。

对应右边洼地顶点的视觉元素是对于驾驶员来说根据重要性顺序位于第二位的事件，因为它在观察期间出现21次。

与这前两个元素一致的重要性是根据在涉及的情景中飞机被假定在合成图象上位于所示飞机轨迹右边洼地的一个山区降落的事实来解释的。

根据该统计处理的结果带，还证实数字16和17的视觉元素或事件以相同的出现次数排列于最后位置并分别涉及飞机符号在地面的投影和左边中部顶点。

在进行驾驶员眼睛所视的视觉场景的视觉元素的统计分析之后，我们转到图1的步骤E3以对以统计方式预先处理过的数据进行一个定性处理。

因此搜索在观察时间间隔中以相同的方式重复至少一次的由视觉场景的视觉元素构成的序列(视觉模式)。

在具有统计信息特别是驾驶员对该事件的重视性信息的情况下，可以根据检测的对于某些视觉元素的重视性进行对这些由视觉元素构成的系列或序列(视觉模式)的搜索。

还可以搜索一个或几个视觉模式，涉及满足不同于所考虑的视觉元素重要性、例如在获取信息过程中颜色的恰当性的另一标准的视觉元素。

在数据定性处理时(其结果绘于图6和图7上)，并没有考虑驾驶员的视觉行为而且确定的视觉模式因此被看作是简单模式。

因此，在图6上显示了不同的视觉元素或事件，它们应该在搜索的一个视觉模式或一组视觉模式中找到。

涉及到下列元素：

-轨迹支撑垂线，

-轨迹终点，

-左边洼地顶点，

-地面投影轨迹，

-飞机符号。

这些成对的元素对应于上面提到的定性处理软件发现的子模式。

将注意到首先用定性处理软件搜索包括轨迹终点的视觉元素。而后，所述处理使得检测在观察期间关于轨迹支撑垂线的事件以及关于轨迹终点的事件的连续出现，作为补充限制，在发生关于轨迹支撑垂线的事件后足够小的给定时间间隔期间发生关于轨迹终点的事件，。

在图6右边部分，在彼此上下排列的平行线100，102，104，106，108上用点表示了涉及的事件对照每一条线相对于时间刻度尺110的出现，该时间刻度尺110用点以十分之一秒表示。

因此，数据定性处理使同样重复三次的同一个视觉模式出现，其由附图标记112，114，116标识，其中关于轨迹支撑垂线的第一事件被紧接着关于轨迹终点的第二事件。

同样地，数据定性处理进行到以相同的方式具有编号4和5的、分别关于地面投影轨迹和飞机符号的两个事件，并允许在涉及的观察期间标识同一视觉模式，该视觉模式以附图标记118，120，122重复三次，其中连续出现地面投影轨迹和飞机符号。

接续在轨迹支撑垂线和轨迹终点(1和2)之后且在关于地面投影轨迹和飞机符号(4和5)的连续事件之前，加入应作为第三元素出现的关于左边洼地顶点的最后事件，数据定性处理可确定以同样的方式重复两次、标识为124和126的视觉模式。这一模式对应于一个由驾驶员在给定观察期间观看两次的视觉元素构成的序列或系列。

图7示出图4所示类型的显示屏并且它表示在驾驶员观看的情景展开时飞机的合成图象。

表示在图7屏幕40上的合成图象使随着时间迅速生成的图6的视觉模式124显示出来，正如我们能够根据图6的时间刻度110对它进行判断。

因此，在此模式中驾驶员观看的第一事件或视觉元素是表示位于屏幕底部的轨迹支撑垂线的1号元素。

被注视的第二元素是飞机轨迹终点，第三个对应于左边洼地顶点，随后驾驶员的视线放在地面投影轨迹(元素4)以便最终回到飞机符号(元素5)。

因此确定的视觉模式长度为5，因为它涉及场景中的5个视觉元素；而该视觉模式的级，即等级数，是3。

一个视觉模式的等级对应于该模式中的子模式的嵌套数目且被表示如下：

级1：(a，b)

级2：(a(b，c))

级3：(a(b(c，d)))

其中(x，y)表示一个级1的模式。

可注意到，视觉元素1和2构成级1的视觉子模式，元素4和5也是同样，且由两元素4和5构成的视觉子模式与视觉元素3相结合构成级2的视觉模式。

这样一个视觉模式的确定可以例如标识在培训未来驾驶员时应该加以考虑的重要方面。

应该注意，在上面提供的实现例子中跟随了驾驶员在同一可视化屏幕上的视觉路线，但同样可以以类似的方式向驾驶员展示一个要求他观看两个或两个以上舱内显示器/仪器的情景。

因此可能的是，在证实驾驶员的视线从一个显示器到另一个不停来回移动之后，进行一个汇集被驾驶员在连续视觉来回移动过程中看过的元素或视觉事件的新显示器的设计。

我们现在将描述另一个实施例，参照图8至图11用比较的方式展示不考虑驾驶员的视觉行为和考虑驾驶员视觉行为时所获得的结果。

在此例中，我们考虑了以下视觉模式：

-轨迹支撑垂线，

-轨迹终点，

-桅帆刻度尺。

包含这些视觉元素的视觉模式已由定性处理软件在搜索根据事先的统计处理结果选出的、包含轨迹终点元素的模式时找到。

以前述参照图6相同的方式，一条临时线对照每一个视觉元素或事件被表示出，并且根据时间刻度110表示了在相应线130，132，134上这些事件中的每一个的出现。

数据定性处理首先被应用于介入关于轨迹支撑垂线和轨迹终点的两个事件的数据，以便搜索包含这两个连续元素的视觉模式。

数据定性处理因此可以确定同一视觉模式的三次出现136，138和140，如图8所示。

在数据定性处理中，随后加入桅帆刻度事件，这可以标识同一视觉模式的两次出现142和144，每一个由以下事件或视觉元素的时间系列构成：

-轨迹支撑垂线，

-轨迹终点，和

-桅帆刻度

随后在图9的可视化屏幕40上表示联系驾驶员在观察时间间隔期间注视的连续的选定的视觉元素的视觉模式142。

视觉模式142在144的时间以岔开的(décalée)方式一模一样地生成。

可以证实，确定的视觉模式长度为3且级别为2，具有一个级1的视觉子模式(视觉模式136)，它以独立的方式出现一次(在模式142之外)。

在这个质量分析第一步骤中，没有考虑在处理时对应于驾驶员视觉行为的测眼数据，它使得可以找到上面所述的简单视觉模式。

在第二步骤中，加入对应于驾驶员视觉行为(可以对应于例如视线扫视、长时间注视或短时间注视)的数据，且搜索包含之前找到的视觉模式视觉元素的视觉模式。

在图10中，再现应用于数据的定性处理结果，这些数据是关于之前找到的模式的元素的事件。这些元素是轨迹支撑垂线、轨迹终点和桅帆刻度。

通过检测包含前述视觉元素的视觉模式并考虑驾驶员的视觉行为，更大数量的信息被获得，如图10的左边部分作为例证，它标识每一个都受相关视觉行为影响的以下视觉元素或事件：

-聚焦-长时间注视

-轨迹支撑垂线-扫视

-轨迹-扫视

-轨迹-短时间注视

-轨迹终点-短时间注视

-桅帆刻度-扫视

数据库充满表示驾驶员视觉行为的数据，定性处理可确定更为复杂的、插入到这些元素-行为组(例如轨迹-扫视组)的模式中的模式。

用同样的方法进行参照前图已描述的内容，数据定性处理软件搜索包含前两个视觉元素的视觉模式，即聚焦-长注视和轨迹支撑垂线-扫视，用于标识同一视觉模式150，152和154，以及用于最终确定对应于随着时间同样地生成的同一模式的两次出现156和158。

因此确定的复杂视觉模式以结构的方式连接图10所示的六个视觉元素或事件。

视觉模式156仅以数字的形式被描绘在图11上，每一个数字表示一个视觉元素以便不使示意图繁琐。

圈标明注视，而方形标明扫视。

因此确定的视觉模式长度为6，级为3，且随着时间自我完全重复两次(图10的模式156和158)。

在复杂视觉模式内标识的视觉子模式152，至于它，自我重复三次(150，152，154)。

加上关于驾驶员视觉行为的视觉数据，因此得到有更为丰富信息的视觉模式。驾驶员的视觉行为此外可以确定对这个或那个视觉元素有兴趣(长时间注视)或无兴趣。

可以减少绘于图6至图11中的对驾驶员-驾驶舱接口元件、这些接口元件使用程序(例如，飞行程序……)的可能的改善实施例中确定的不同视觉模式，或我们可以利用它来教授驾驶员自己培训使用驾驶舱的接口元件。

作为例子，通过确定一个或几个表征驾驶员对仪器的使用的视觉模式，本发明可以确定位于驾驶员头部上方高处的显示系统(盎格鲁撒克逊语是“Head Up Display”)何时应被用于优化使用。本发明还可以确定这样一个显示系统在一个具体类型的交通工具上是否被驾驶员实际使用。

在另一例子中，本发明可考虑驾驶员在思想上建立一个其交通工具在空间中位置的三维视觉表示，而且这仅仅是在舱内仪器提供的二维信息库的基础上。

本发明因此可以用作设计一个提供该交通工具在空间中位置的三维视觉表示的新仪器的基础。

本发明在确定舱内仪表板的接口元件提供的真实有用信息方面尤其具有优势。

事实上，得益于对测眼数据的获取和定性处理，本发明可以为用户把必要的信息从不是特别有用或多余的信息中分离出来。

此外，本发明被应用于其他用户-工作环境组中，例如与一个舱内仪表板交互的汽车、火车或轮船驾驶员，或者是与一台电脑(键盘、显示屏……)进行交互使其执行的计算机软件用户，甚至是一个使用其移动电话的用户……

本发明因此可以通过确定反映由用户对交通工具、计算机、移动电话……接口元件的使用的视觉模式，评估用户-工作环境交互，并且由此例如在用户工作岗位人体工程学方面采取行动。

Claims

1.一种处理表示用户(12)和其工作环境(14)之间的交互的数据的方法，其特征在于包括以下步骤：

当用户和工作环境的至少一个接口元件交互时，获取(E1)表示随着时间用户视线在构成其工作环境的一部分的视觉场景的视觉元素上的位置的数据，这些数据的获取由测眼设备执行，

处理(E3)由此获取的数据以确定包含一个视觉元素序列并随着时间重复多次的至少一个视觉模式。

2.根据权利要求1所述的方法，其特征在于所述至少一个视觉模式的至少一个视觉元素满足至少一个预定标准。

3.根据权利要求1或2所述的方法，其特征在于包括一个对所述获取的数据进行统计处理的预先步骤(E2)，并且所述用于确定至少一个视觉模式的数据处理步骤根据该统计处理步骤的结果执行。

4.根据权利要求3所述的方法，其特征在于所述获取的数据的统计处理步骤提供用户随着时间观看至少一些视觉元素的发生次数。

5.根据权利要求4所述的方法，其特征在于所述用于确定至少一个视觉模式的数据处理从发生次数最高的视觉元素开始执行。

6.根据权利要求1至5中任一项所述的方法，其特征在于所述数据获取步骤提供关于与用户随着时间观看的至少一些视觉元素相关联的用户视觉行为的数据。

7.根据权利要求1至6中任一项所述的方法，其特征在于所述数据获取步骤在给定时间间隔期间执行。

8.根据权利要求1至7中任一项所述的方法，其特征在于所述数据获取步骤在一个与使用用户工作环境的给定程序的运行相关联的情景范围内执行。

9.根据权利要求1至8中任一项所述的方法，其特征在于所述用户是与交通工具的车载仪表板接口元件交互的交通工具驾驶员。

10.根据权利要求9所述的方法，其特征在于所述交通工具是飞机。

11.根据权利要求9所述的方法，其特征在于所述交通工具是机动车。

12.一种用于处理表示用户(12)和其工作环境(14)之间的交互的数据的系统，其特征在于包括：

当用户和工作环境的至少一个接口元件交互时，用于获取表示随着时间用户视线在构成其工作环境的一部分的视觉场景的视觉元素上的位置的测眼数据的获取设备(10)，

用于处理由此获取的数据以确定包含一个视觉元素序列并随着时间重复多次的至少一个视觉模式的装置(17)。