JP2009503666A - 視覚シーンにおける視覚モチーフの決定のためのデータ処理方法 - Google Patents

Abstract

本発明はユーザ(12)とその仕事環境（14）の間の相互作用を表わすデータ処理方法に関し、以下のステップを有することを特徴を持つ。―ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、仕事環境を構成する視覚シーンの視覚要素にユーザが視線を注ぐ期間の位置を表わすデータを、眼球運動測定装置を使って取得するステップ（Ｅ１）と、―視覚要素のシーケンスを含み、前記期間複数回繰り返す、少なくとも１の視覚モチーフを決定するために取得されたデータを処理するステップ（Ｅ３）。
【選択図】図１

Description

本発明は、ユーザとその仕事環境との間の相互作用を表わすデータ処理方法とシステムに関する。

種々の分野（航空業界、宇宙業界、自動車業界、船舶業界等々）において、航空機、宇宙機、自動車、又は船舶を操縦するユーザ（操縦者ともいう）と搬送手段（乗り物とも言う）上の仕事環境との間の相互作用について、例えば、操縦者と乗り物上の環境（計器パネル等）との間のインターフェース又は操縦方法（例えば、航空機の飛行方法）を改良するために、具体的に人間の側面、機械の側面について研究されている。

操縦者の安心と安全のために及び乗客の安全のために、このインターフェースのergonomie（労働科学）を改善するために研究が行われている。

例えば、操縦者により多くの情報を提供するために、乗り物上のテーブルのインターフェースの構成要素を改良するよう努力されている（例えば、計器、航空機の航行装置）。これら情報は、操縦者のために、より人間工学的に表示され、より信頼性高く、出来るだけ疲労を少なく、ストレスを少なくなるように生成される。

乗り物上の操縦者と環境の相互作用（又は、より一般的に労働に関する操縦者と環境の相互作用）の研究において、新規な方法でこの相互作用を研究することは有用である。

このために、本発明は、ユーザ（操縦者ともいう)とその仕事環境の間の相互作用を表わすデータ処理方法を対象とし、以下のステップを有することを特徴にもつ。
―操縦者と少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、仕事環境を構成する視覚シーンの視覚要素に操縦者が視線を注ぐ期間の位置を表わすデータを、眼球運動測定装置を使って取得するステップと、
―視覚要素のシーケンスを含み、前記期間複数回繰り返す、少なくとも１の視覚モチーフを決定するために取得されたデータを処理するステップ。

仕事環境（例えば乗り物）を使用する期間、前記仕事環境の少なくとも１のインターフェースの構成要素と相互作用を持つ操縦者（例えばパイロット）について収集された眼球運動データから、シナリオの期間に繰り返される１又は複数の視覚モチーフが決定される。

視覚シーンの視覚要素とは、例えば、仕事環境のインターフェースの構成要素（例えば、乗り物ボードのテーブルのインターフェースの構成要素）、これら複数要素の複数ゾーン、及び/又は、同一インターフェースの構成要素の異なる複数ゾーン、及び/又は、前記インターフェースの構成要素が提供する視覚情報(静的又は動的)である。

航空機パイロットにとって、視覚要素は外部視界を含めることができる。

本発明により決定される１つ又は複数の視覚モチーフは、例えば以下のために使用し得る高い価値のある情報を提供する。
―乗り物の既存の使用方法（例えば、飛行機の飛行方法）を有効化すること；
―同一モチーフを複数の操縦者(ユーザ)が決定する場合に使用方法を提案すること；
―操縦者(ユーザ)を評価すること；
―インターフェースの構成要素、例えば、ダッシュボードの計器、乗り物、外部視覚シーンに関する情報（タクシー路、道路信号、存在する車両、通行人等）の取得装置の使用方法を発見すること；
―インターフェースと一般車両の環境のユーザ−要素の相互作用の他の評価方法を使って取得した結果を理解すること。

本データの品質処理は視覚モチーフ全てを又は、特定の視覚モチーフを決定するために実施される。

又、少なくとも１の所定の基準を満たす１又は複数の視覚要素を持つ視覚モチーフを決定するために品質処理を実施することは可能である。

例えば、航空機の航行計器において、視覚要素として、航空機の今後の飛行経路の最終点を含む視覚モチーフをサーチすることができる。

本発明の特徴によれば、本発明の方法は取得データの統計処理の予備的ステップを含む。又、少なくとも１の視覚モチーフを決定するためのデータ処理ステップは、統計処理ステップの結果に基づいて実行される。

この統計処理により、取得された眼球運動測定データの分類を行い、データの品質処理を容易にすることができる。なぜなら、後者は統計時に処理された取得データについて実行されるからである（品質処理）。

従って、品質処理は計算時間を短縮し、計算量を減少させる。

本発明の特徴によれば、取得データの統計処理ステップは、操縦者(ユーザ)が見る幾つかの視覚要素の生起数を与える。

このようにして、その重要性に基づいて及び/又は操縦者(ユーザ)のために視覚要素が分類される。

本発明の特徴によれば、少なくとも１の視覚モチーフを決定するために、データ処理はその生起数が最も高い視覚要素から実行される。

統計処理により、シナリオの中で又は仕事環境（例えば、自分の乗り物）のために定義される使用方法において、操縦者(ユーザ)が見る視覚シーンの視覚要素を決定することができる。

又、別の基準に対応する視覚要素からデータ処理を行うことが可能である。

本発明の特徴によれば、データ取得ステップは、少なくとも幾つかの操縦者(ユーザ)が所定期間に見る視覚要素に関係する操縦者(ユーザ)の目の動きのデータを提供する。

データの品質処理を行うときに操縦者(ユーザ)の目の動きを考慮して、より精度の高い視覚モチーフを作成する。

操縦者(ユーザ)がこれこれの視覚要素を実際にどのような仕方で見ているか知っている。つまり、固定視する、流し見る、又は追いかけて見る、である。従って、別の視覚要素に対する所定の視覚要素の重要性を決定するための基準として、操縦者の目の動きを使うことは可能である（眼球動作測定器により記録されて）。

本発明の特徴によれば、データ取得ステップは所定のインターバルで実行される。

データがシナリオの期間又はユーザの仕事環境（例えば、乗り物、又パソコンの表示画面）の使用期間に亘って収集される。

本発明の特徴によれば、データ取得ステップはユーザの仕事環境の使用（例えば、乗り物の使用方法、ディスプレイ又は携帯電話の使用方法）の手順の展開に関係するシナリオの枠組内で実行される。

所定の状況に操縦者（例えば、パイロット）を配置して、眼球運動解析を行って、操縦者の仕事環境（例えば、乗り物のダッシュボード）の１又は複数のインターフェースの構成要素との相互作用を評価する。

本発明の特徴によれば、操縦者（ユーザ）は乗り物のパイロットであり、乗り物のダッシュボードの計器と相互作用を行う。例えば、飛行機のコックピットをモデル化し、眼球測定データが作成された前記モデルから収集されるときに、視覚モチーフの決定はモデルを評価するために使われる。

本発明の特徴によれば、乗り物は自動車である。

また、本発明は、ユーザとその仕事環境との間の相互作用を表わすデータの処理システムを対象とするもので、次のものを有している。
―眼球運動測定データの取得装置（10）。該眼球運動測定データは、ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、所定期間の間の自分の仕事環境の１部分をなす視覚シーンの視覚要素に対するユーザの視線の位置を表わす。
―視覚要素シーケンスを含む少なくとも１の視覚モチーフを決定するために、所定期間に複数回繰り返される取得されたデータの処理手段（17）。

本発明のシステムは方法に関して上記の特徴と利点を示すが、繰り返して述べない。

他の特徴と利点は以下に説明する。以下の説明は単に例示であって、これに限定されるものではない。説明は図面を参照して行う。
―図１は、本発明によるデータ処理プロセスのアルゴリズムである。
―図２は、本発明によるデータ処理システムの模式図である。
―図３は、図２の眼球運動測定メータの模式図である。
―図４は、図１−４の実施例の基礎となるスクリーンの実例である。
―図５は、図４のディスプレイに表われる現象のタイプに基づく生成数を表わすヒストグラムである。

―図６は、視覚モチーフ検知を概略的に示す。
―図７は、ディスプレイ上で図６上に検知された視覚モチーフを模式的に示す。
―図８は、視覚モチーフの検知を模式的に表わす。
―図９は、図８上で検知された視覚モチーフの図４のディスプレイ上の模式図である。
―図10は、関係する目の動きと共に視覚モチーフ検知を模式的に示す。
―図11は、図10上で検知された視覚モチーフの図４のディスプレイ上の模式図である。

本発明は航空機のコックピットへの特に重要な応用に関するものであり、パイロット（操縦者）と１又は複数のボード計器（仕事環境）との間の視覚的相互作用を評価する。

本発明の方法の一般的アルゴリズムは、図１に示される主な３ステップである。

第１ステップE１の間に、眼球運動測定装置による眼球運動測定データの取得が行われる。眼球運動測定装置は図２と図３を参照して後に説明する。

これらデータは視覚シーンの視覚要素についてパイロットの視線（視線の走行）の位置を表わす。前記視覚シーンは、１又は複数の航空機コックピットのインターフェースの構成要素とパイロットとの相互作用がある時の、パイロットの仕事環境の１部分である。

特に、データ取得により、１又は複数のコックピットのボード計器を見るパイロットの視線に追従し、パイロットの注意をひいた視覚要素を識別することができる。後で、眼球運動測定データが同一ボード計器の種々の視覚要素を見るパイロットの視線位置を表わす例について詳述する。

図１のアルゴリズムは第２ステップE２を含む。Ｅ２の間では、前以って取得した眼球運動測定データの量的処理が行われる。

このステップはしばしば無視されるが、このステップにより眼球運動測定データの統計的処理を実行することができ、例えば、ヒストグラムの形で、パイロットが見た若干数の視覚要素の生起数、又、全視覚要素の生起数が出力される。

例えば、該統計的処理によりパイロットは空中における航空機の航跡を５６回、この構成の地上への投影を１５回見たと決定できる。

この処理は例えば、“The observer”と呼ばれている統計分類プログラムにより実行される。“The observer”はオランダのWageningenのNoldus Information Technology BV社により頒布されている。

このプログラムに関する広範な情報についてはｗｅｂサイトwww.Noldus.comを参照されたい。

このプログラムの入力の際に、登録されている眼球運動測定データ及び実験的プロトコルが提供される。即ち、パイロットが観察する視覚的シーンの視覚要素及び、例えば、固定視する、流し見る、又は追跡して見る等のパイロットの目の動きである。

しかし、続くデータ処理において、パイロットの目の動きを考慮することは、常に必要である訳ではないことに留意すべきである。

ステップＥ２において、視覚要素と‘量的処理モジュールから提供された目の動き（comportements）’とは航空機コックピットから作成される認識モデルから生成できることに留意すべきである。

図１のアルゴリズムは、データの質的処理の第３ステップＥ３を含んでいる。データは、ステップＥ２の量的処理なしで取得された眼球運動測定データであったり、ステップＥ２の大量に取得され、処理された眼球運動測定データであったりする。

データの質的処理により、選択した所定の１の又は複数の基準に基づいて、１又は複数の視覚モチーフを決定することができる。前記視覚モチーフは視覚的シーンの視覚要素のシーケンスで構成されている。モチーフは所定期間（観察期間）に亘って複数回同じことを繰り返す。

予め量的処理を行わない場合には、特定の基準を考慮せずに、所定期間に生成する全視覚要素を取得することが可能である。

しかし、例えば、設計時に計器についてパイロットに提供する情報の有用性を評価するために、１の又は複数の視覚要素を含む１又は複数の視覚モチーフを決定することができる。

統計処理ステップＥ２の結果を考慮するときには、例えば、航空機の進路の地上への投影に関する視覚要素のような、所定の視覚要素を含む１又は複数の視覚モチーフを決定することが可能である。

又、統計的意味を持つ視覚要素を含む視覚モチーフをサーチすることができる。

例えば、多数回に亘って出現する現象（多数回生起）又は、この定義に対応する２又は３の初回の視覚要素をサーチすることができる。

例えば、パイロットが滅多に観察することが無いもののよう、別の統計的意味を持つ視覚要素を含む視覚モチーフをサーチすることを選択することもできる。

ステップＥ３の質的処理が“Theme”と呼ばれているプログラムにより実行される。これは前記Noldus社により頒布されている。

このプログラムは、特に、事象シーケンスサーチアルゴリズムに基づいている。所定期間に、まず、特に最初の事象をサーチする。

このプログラムはこの期間に第１事象に引き続き、第１事象の出現の所定時間後生成する第２事象の出現をサーチするように予定している（第１期間より短い第２期間が定義される）。

第１と第２の事象は第２インターバルの内部で生成されるが、該第１と第２の事象の組が識別されると直ぐに、第２事象の出現後、所定時間後第２事象の後（第３インターバル）に、第１インターバルに第３事象が出現するのをサーチする。

事象のシーケンスを識別するために繰り返し、処理が行われる。

より広い情報を得るためには、論文"Discovering hidden time patterns in behavior: T-patterns and their detection" de Magnus S. Magnusson, Behavior Research Methods, Instruments & Computers 2000, 32(I), 93-I 10, pp. 93-110.”を参照することができる。

ステップＥ２の質的処理を、以下の複数サブステップで行うことが好ましい。
１．統計処理から得られた視覚要素Ｎ（Ｎ＝１，２、３…）を含む視覚モチーフをサー チするステップ；このサーチは単一要素について同時に行われる；
２．これらモチーフが入手されたときに、次の質的処理が行われる。
ａ）目の動きに関係するデータを考慮するステップ（データベースの拡大）
ｂ）第１ステップで識別されたＮの要素を含む視覚モチーフの間で、目の動きを考慮 し、要素Ｎ，Ｍ，Ｒからなる関係モチーフだけをサーチするステップ。別のモチ ーフは例えば重要ではないと見做される。

図１のアルゴリズムの種々のステップは、これらのデータの取得・蓄積手段（データベース、メモリ）と一緒にデータ処理手段（中央処理ユニット）により実行される。

図２及び３を参照すると、眼球運動測定装置10により視覚シーンに対するパイロットの視線位置を記憶することが可能になる。コックピットのインターフェースの構成要素に対するパイロットが見る種々の視覚要素（例えばボード14の計器及び外部視界）を追跡することが可能になる。該計器については図４を参照しながら後で説明する。

眼球運動測定装置10はアナログ装置16（即ち眼球運動測定メータ）を有している。該装置はパイロットの目の動きを記憶し、処理手段17に眼球運動測定データを送る。該処理手段については図１を参照する際に説明した。

眼球運動測定メータは図３に示す複数の機能ブロックを有している。即ち、目の動きを記録するカメラ18、目に赤外線を発射する赤外線源20、及び、パイロットが観察する視覚シーンを記憶するカメラ22である。

次に、カメラ18が取得したビデオデータは目の動きを記録し、カメラ22が取得したビデオデータはパイロットが見た視覚シーンを記録するものであるが、これらビデオデータはビデオデータ処理ユニットで重畳される。そしてリアルタイムでパイロットの視線位置がポインタ26（例えば、円又は十字で）により示される。該ポインタは、記憶処理が行われるときにパイロットが観察した視覚シーンの上を移動する。

眼球運動測定メータの使用は外部視界には対して十分であるが、パイロットの動く視線の特に終点を詳細に記憶させようとする場合は、十分に正確に記憶できない。例えば、テキストの読み取り、計器14のスクリーンの特別な領域についての情報の取得である。

磁場発生器28を眼球運動測定メータに関係付け、精度が最大になるようにした（図２）。

磁場発生器28を３次元空間における基準軸とし、種々の表面の座標、パイロットの実環境をなす平面に対するパイロットの頭部位置を把握する。この意味で、関係する表面と平面はスクリーン、コックピットのコマンドパネルに対応している。該スクリーン、コックピットは関心領域であり、各インターフェースの構成要素に対し予め観察して、ゾーンとサブゾーンに分割することができる。これら種々の表面・平面に対応する座標は、測定されパイロットの環境の３Ｄモデルに記憶される。

パイロットの頭部の動きを解析するために、磁場発生器28、レセプタ30を使う。該レセプタはカスク（兜）32を介してパイロットの頭部に固定される。これらはアナログ装置16（眼球運動測定メータ）に接続され、ボード計器14に現れる視覚シーンの視覚要素に対する操縦者の視線位置を最も正確に得ることができる。

特に、レセプタ30はパイロットの頭部に固定されているが、該レセプタは正確な頭部位置を３次元モデルに与える。

頭部レセプタ30とカメラ２２（シーンを記憶する）との間の距離、並びに、頭部レセプタ30とパイロットの目との間の距離が３次元モデルに入力される。最初の距離は、シーンに対するカメラのキャリブレーションに必要であり、第２の距離はアナログ装置（眼球運動測定メータ）をキャリブレートするのに必要である。

前記の通り、パイロットの頭部位置のデータとパイロットの視線位置のデータの組合せにより精度が最大になるように前記眼球運動測定装置10（図２）をコックピットに適合させるには、コックピットの幾何学的研究及びパイロットの姿勢の研究を行う必要があることに留意すべきである。

コックピットの幾何学的研究をする際に、出願人（Ｄemanderesse）は、コックピット内の台に磁場発生器28を設置するためには、発生器28と全金属表面との間の距離は十分大きく、磁気干渉（眼球運動測定装置とともに生成する）を最小にする必要があることに気がついた。

更に、コックピットの中心で眼球運動測定装置10を構成する種々の機能ブロックの構成に関して、出願人は磁場発生器28とレセプタ30（パイロットの頭部位置の）との間の距離はパイロットの頭部位置のレセプタ30と全金属表面との間の距離より厳密に小さくなければならないことを検証した。それは磁気干渉を最大限小さくするためである。

パイロットの姿勢の研究によりパイロットの運動量の限界と頭部のレセプタと磁力源との距離を決定することができることに留意すべきである。

眼球運動測定装置10の構成要素（即ち、アナログ装置16、磁場発生器28、頭部を受容するカスク（兜）32）はドイツのSensoMotoric Instruments GmbH社, Warthestrasse 21 , D-14513 Teltow, Allemagne.から入手可能である。
詳細な情報はwebサイトwww.smi.deを参照されたい。

図２，３のボード計器14は、図４で表示画面の形で更に詳細に示される。

図４の画面40は３次元合成画像を表わし、航空機の位置及び同航空機の環境を視覚化している。

この合成画像は航空機の外部視点に基づいて作成されている。又、航空機のコックピットに設置されているスクリーン上に合成画像を表示することにより、同航空機の状況についてのパイロットの心を改善することが可能になる。

スクリーンは特製スクリーンであってもよいし、航空機に既に備え付けられているスクリーンであってもよい。例えばボードNDの計器航行スクリーンのような("Navigation Display")ものであってもよい。

この合成画像では、複数の象徴的要素又はシンボルが使われている：シンボル42（航空機シンボル）は航空機を表わし、航空機の位置を示す。表示44は航空機の航路の地上部分を示し、航空機シンボル42とその地上44への投影との間の参照用垂直線46及び航跡48は航空機の今後の進路を示している。

シンボル42は３次元画像に固定され、パイロットの視線が表示画面40に向けられたときに、パイロットに永続的及び即時の参照情報を提供する。

地面44は可動であって、航空機模型の回りに土地の起伏が展開している。

シンボル42は横揺れ、縦揺れ、曲がりくねり状態の航空機の実際の高度を表わしている。これら情報は３軸に沿って傾くシンボルの上に質的に反映される。

航空機の地上への垂直投影を視覚化するため（航空機のシンボルの地上への投影）、３次元の合成画像は、垂直線46及び地面44の交叉で表わされるシンボル50を含んでいる。

更に、垂直線46は梯子52（オウムの梯子：echelle de perroquet））を有していることに留意すべきである。該梯子は、航空機の下で予め決められた距離を示すように、垂直線上に設けられる水平基準線52Aから構成されている。

表示画面上に情報として道筋54がある。この道筋は今後の航空機進路の地上44への垂直投影（地上への投影航路）と、航空機の今後の進路を表わす線48の上にある複数点58の間の複数の垂直線56（航路の垂直線）及び、地上へのこれらの点に対応する垂直投影60を表わしている。

例えば、複数点58は種々の時間間隔、距離間隔の航空機の位置に対応する。

又、合成画像は水平線64の上に表わされている方位角の目盛62を有している。

他方、合成画像は補足情報を持っている。これらは、例えば、表示画面上で、３次元表示の上部にある表示領域66に表示される。これら補足情報は、風（方向、風力）、航空機速度、進路の次の地点のような航行表示画面上に表示される情報に対応する。

図４に示される合成画像に関する、より詳細な事項については、EP特許願 EP1460384を参照されたい。

実施例を使って、図１のアルゴリズムのステップＥ２とＥ３を説明する。該アルゴリズムは、図４で示すボード計器上で展開するシナリオを見ているパイロットに対する、図２と図３に示す眼球運動測定装置を使って収集したデータの量的処理と質的処理に関するものである。

対象となるシナリオによると、パイロットは、山岳地方に近い地域の飛行手順に関連するシナリオの展開の中に置かれている。

パイロットは、図４で表わされる合成画像に視線を注ぎ、シナリオが展開するのを見ている。眼球運動測定装置は、シナリオが展開する期間に対応する所与の期間、パイロットの目の動きを合成画像上に記録する。

この期間は例えば、１５分の期間である。

データの量的処理プログラムに、シナリオ並びに、ボード計器の合成画像上に現れる種々の視覚要素即ち事象を提供することにより（図１のステップＥ２）、眼球運動測定装置10が取得した眼球運動測定データを統計的に解析することが可能になる。この統計的解析結果は図５にヒストグラムの形で示される。ヒストグラムは１７の事象それぞれの出現回数を表わしている。

各事象は、パイロットの視線の下で展開する及びパイロットが見る視覚シーンの視覚要素に対応している。

この処理は重要な統計要素及び重要でない統計要素を浮かびあがらせる。特に視覚シーンが展開する時にパイロットが最もよく見た要素、即ち、パイロットが最も重要であると考えた要素は進路の終点である、何故ならそれが観察期間に３４回出現したからである。

奥右手の山頂に対応する視覚要素はパイロットが重要と考える順で第２位の事象である。何故なら観察期間21回出現しているからである。

これら最初の２要素に与えられた重要性は、シナリオにおいて、航空機が合成画像の中の山岳地方の航空機進路に対し奥右手に着陸すると想定されている事実を説明するものである。

統計処理の結果に基づいて、番号16,17の視覚要素即ち事象は同一生起数で最後の位置にある。これらは、それぞれ航空機シンボルの地上への投影及び、中央から左の山頂に関するものである。

パイロットが視線を注いだ視覚シーンの視覚要素の統計解析を行った後、図１のステップＥ３に進む、即ち、統計的手法で予め処理されたデータの質的処理を実行する。

視覚シーンの視覚要素の構造化されたシーケンスをサーチする。これは、観察期間同一の仕方で少なくとも１回繰り返すものである（視覚モチーフ）。

統計情報、特にパイロットが事象に対して与えた重要性に関する情報を処理する範囲内で、若干数の視覚要素について検出された重要性からこれらシーケンス、即ち、（視覚モチーフの）視覚要素の構造化された連続をサーチすることができる。

同様に、例えば、情報の取得における色の適合性等、視覚要素の重要性以外の基準を満たす視覚要素に訴える１又は複数の視覚モチーフをサーチすることが可能である。

データの質的処理を行って図６，７に示す結果を得たときに、パイロットの目の動きについて考慮されなかった。決定された視覚モチーフは単純なモチーフと考えられる。

図６には、種々の視覚要素即ち、事象が示されている。これらはサーチされた視覚モチーフに存在している。即ち、次の要素である。
―進路の垂直線、
―進路の終点、
―奥左の山頂、
―進路の地上への投影、
―航空機シンボル。

対になる要素は、前記の質的処理プログラムにより見出されるサブモチーフに対応する。

最初に、質的処理プログラムを使って、進路の終点を含む視覚要素をサーチすべきである。次に、前記処理により、観察期間に、進路の垂直線に関係する事象の監視に比較して十分に短い時間間隔での進路終点に関係する事象の監視を行って、進路の垂直線に関係する連続事象及び進路終点に関係する事象の連続的出現を検出することができる。

図６の右の図において、平行線100、102、104、106,108上に、複数点で各線に関する事象の出現を示した。横軸は時間軸110で、目盛は1/10秒を表わす。

こうして、データの質的処理は、３回同じことを繰り返す視覚モチーフを出現させる。参照番号112、114、116で同定している。この中で、進路の垂直線に関係する第１事象は進路終点に関連する第２事象に直接続いている。

同様にして、データの質的処理は、番号４，５の２事象と同一の仕方で処理される。これら２事象は地上に投影された航路及び航空機シンボルに関係するものである。前記処理により、観察期間に亘って、３回繰り返しを行う（参照番号118、120、122で同定される）同一視覚モチーフを同定することができる。その中で、地上へ投影される航路と航空機シンボルが連続して出現している。

進路の垂直線と進路終点（１と２）の後であって、地上に投影された航路に関係する連続事象と航空機シンボル（4と5）の前で、奥左の山頂に関係する最後の事象（第３事象として出現する）を追加することにより、データの質的処理により同一の仕方で２回繰返しを行う視覚モチーフ（参照番号124と126で同定される）を決定することができる。同モチーフは観察期間内にパイロットが２回見た視覚要素の構造化されたシーケンス又は連続に対応する。

図７に、図４で示したタイプの表示画面を示した。同図はパイロットが見たシナリオの展開時の航空機の合成画像を示している。

図７の表示画面40上に示されている合成画像は、図６の視覚モチーフ124を表わす。図６の時間軸110によって判断できるように、それは迅速に生成される。

このように、第１事象即ちパイロットがモチーフの中で見る視覚要素は、表示画面の奥にある進路の垂直線を表わす番号１の要素である。

パイロットが見る第２番目の要素は、航空機の進路の終点である。第３番目は奥左の山頂に対応する。次にパイロットの視線は地上へ投影された航路に注がれ（要素４）、最後に航空機シンボル（要素５）に戻る。

このように決定された視覚モチーフは長さ５である。何故なら、それはシーンの５の視覚要素を意味しているからである。即ち、階級レベル数は３である。

視覚モチーフの階級レベルは、このモチーフにおけるサブモチーフの数に対応し、次のように表わされる。
レベル１：（ａ，ｂ）
レベル２：（ａ（b、c））
レベル３：（ａ（ｂ（ｃ、ｄ）））、
但し、（ｘ、ｙ）はレベル１のモチーフを表わす。

視覚要素１と２は、レベル１の視覚サブモチーフを形成し、要素４と５も同様であり、視覚要素３に組合せられる２つの要素４と５で構成されるサブモチーフはレベル２の視覚モチーフを形成することに留意すべきである。

視覚モチーフの決定により、例えば、パイロット候補の研修の際に考慮すべき重要な側面を特定することができる。

前記した実施例において、画面上でパイロットの視線の動きを追ったが、同様な方法で、パイロットに２又は２以上のボード表示/計器を見るのに必要なシナリオを提示しながら処理を進めることができる。

パイロットの視線は、１の表示から別の表示への間断ない往復を行っていることを同様な方法で確かめた後で、前記間断ない往復の間にパイロットが見ている複数の視覚要素又は事象を結合する新規表示の概念を検討することができる。

次に図８乃至１１を参照しながら、パイロットの目の動きを考慮しない場合に及びパイロットの目の動きを考慮する場合に得られる結果を比較手法で示しながら、実施例を説明する。

この実施例においては、次の視覚モチーフを検討した。
―進路の垂直線、
―進路の終点、
―オウムの梯子（横木）。
これら視覚要素を含む視覚モチーフは、予め行った統計処理の結果から選択されるモチーフ（進路の終点要素を含む）をサーチしたときに、質的処理のプログラムにより見出された。

図６を参照して説明した方法と同じ方法で、各視覚要素即ち事象の向かいに時間軸が表わされている。線130、132、134上のこれら各事象の出現が時間軸に従って示されている。

最初に、視覚モチーフをサーチするために、進路の垂直線及び進路終点の２つの事象に関係するデータに質的処理が加えられる。

データの質的処理により、図８に示される同一視覚モチーフの３つの生起事象136,138,140を決めることができる。

データの質的処理において、オウムの梯子（横木）が追加される。これにより同一視覚モチーフの２つの生起事象142と144を識別することができる。前記の２つの生起事象は連続する事象即ち、次の視覚要素から構成されている。
―進路の垂直線、
―進路の終点、
―オウムの梯子（横木）。

次に、図９のスクリーン上で、視覚モチーフ142が表示されている。これは観察期間にパイロットが見る視覚要素を結びつけている。

視覚モチーフ142と同一のものが所定時間を置いて生成される（視覚モチーフ144）。

決定された視覚モチーフは長さ３で、レベル２である。レベル１（視覚モチーフ136）の視覚サブモチーフを伴っており、同一の方法で１回出現する（モチーフ142以外に）。

質的解析の第１ステップにおいては、処理時に、パイロットの目の動きに対応する眼球運動測定データを考慮しなかった。これにより、前記した単純な視覚モチーフを見つけることができた。

第２ステップにおいて、パイロットの目の動きに対応するデータ（例えば、視線の走査、長期間又は短期間の視線の固定に対応する）が追加され、前段階で見つけた視覚モチーフの視覚要素を含む視覚モチーフをサーチする。

図１０上で、予め見つけられたモチーフの視覚要素に関係する事象のデータに行った質的処理の結果が再生成された。これら要素は進路の垂直線、進路の終点、オウムの梯子（横木）である。

前記の視覚要素を含む視覚モチーフを検出して、パイロットの目の動きを考慮すると、多くの情報が得られる。視覚要素、即ち、関連する目の動きにより影響をうける次の事象を同定する図１０の左部分である。
―ズーム−長時間の固定、
―進路の垂直線-走査、
―進路-走査、
―進路-短時間の固定、
―進路の終点-短時間の固定、
―止まり木-走査。

データベースにはパイロットの目の動きを表わすデータが蓄積されているので、質的処理により、例えば、進路-走査の組のような要素-動きの組のモチーフに挿入しながら、より複雑なモチーフを決めることができる。

前記図面を参照しながら説明されたものと同じ方法で処理を行い、データの質的処理プログラムは２つの最初の視覚要素（即ち、ズーム-長時間固定及び、進路-走査の垂直線）を含む視覚モチーフをサーチし、最終的に２つの生起事象156及び158（同一なものとして再生成されるモチーフに対応する）を決定した。

こうして決められた複雑な視覚モチーフは、構造化された方法で図１０に示される６つの視覚要素即ち事象を結びつける。

視覚モチーフ156が、図１１に示されている。図を単純にするために各視覚要素は数字で示されている。

丸マークは固定を意味し、四角マークは走査を意味する。

決められた視覚モチーフは長さ６で、レベル３である。期間内に２回再生されている（図10のモチーフ156と158）。

複雑な視覚モチーフの内部で同定される視覚サブモチーフ152は、３回再生される（図10のモチーフ150、152、154）。

パイロットの目の動きに関係する視覚データを追加すると、情報量の多い視覚モチーフが得られる。パイロットの目の動きにより、関心度（長時間固定）又は関心の無さ又は視覚要素の不存在を決定することができる。

図６乃至１１２で説明した実施例において決定した種々の視覚モチーフからパイロット−コックピットインターフェースの構成要素に対する改善、これらインターフェースの構成要素の使用方法（他、飛行方法）の改善を導くことができる。又はパイロットにコックピットのインターフェースの構成要素に対する研修を行うことができる。

例示として、パイロットによる装置の利用を特徴とする１又は複数の視覚モチーフを決定すれば、本発明により、パイロットの頭部の上で高いところに配置される表示システム（("Head Up Display")を最適に使用するために、どの時点で使用するかを決定することができる。また、本発明により、このような表示装置を実際に特定の乗り物のパイロットが使用するかどうかを決定することができる。

別の実施例において、本発明により、ボード計器により提供される２次元の情報に基づいて、パイロットが空間における自分の乗り物の位置の３次元視覚表示を頭の中で構成する報告を行うことが可能になる。

本発明は空間における乗り物の位置の３次元視覚表示を提供する新規な装置を設計するために役立ち得る。

本発明は特に、ダッシュボードのインターフェースの構成要素により提供される実際に有用な情報を決定するために有利である。

実際、眼球運動測定データの取得と質的処理のお陰で、本発明は、操縦者に必要な情報を、特に有用でない又は冗長な情報から分離することが可能になる。

なお、本発明は、自動車、電車又は船舶の操縦者、又はコンピュータ（表示画面、キー）と相互に関係するプログラムのユーザ、更には携帯電話のユーザ等、別の操縦者-仕事環境の組に適用することができる。

乗り物、コンピュータ、携帯電話のインターフェースの構成要素のユーザによる使用を反映する視覚モチーフを決めると、本発明により、ユーザ−仕事環境の相互作用を評価し、従って、例えばユーザの仕事位置のergonomie(仕事科学)に関して対応することができる。

本発明によるデータ処理プロセスのアルゴリズムである。 本発明によるデータ処理システムの模式図である。 図２の眼球運動測定メータの模式図である。 図１−４の実施例の基礎となるスクリーンの実例である。 図４のディスプレイに表われる現象のタイプに基づく生成数を表わすヒストグラムである。 視覚モチーフ検知の模式図である。 ディスプレイ上で図６上に検知された視覚モチーフを模式的に示す画像である。 視覚モチーフの検知の模式図である。 図８上で検知された視覚モチーフの図４のディスプレイ上の模式図である。 関係する目の動きと共に視覚モチーフを検知する模式図である。 図10上で検知された視覚モチーフの図４のディスプレイ上の模式図である。

Claims (12)

1. ユーザ(12)とその仕事環境（14）の間の相互作用を表わすデータ処理方法であって、以下のステップを有することを特徴にもつデータ処理方法。
   ―ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、仕事環境を構成する視覚シーンの視覚要素にユーザが視線を注ぐ期間の位置を表わすデータを、眼球運動測定装置を使って取得するステップ（Ｅ１）と、
   ―視覚要素のシーケンスを含み、前記期間複数回繰り返す、少なくとも１の視覚モチーフを決定するために取得されたデータを処理するステップ（Ｅ３）。
2. 少なくとも１の視覚モチーフの少なくとも１の視覚要素は少なくとも１の所定の基準を満たすことを特徴とする請求項１に記載の方法。
3. 取得データの統計処理の予備的ステップを含み、少なくとも１の視覚モチーフを決定するためのデータ処理ステップが統計処理ステップの結果に基づいて実行されることを特徴とする請求項1又は２に記載の方法。
4. 取得データの統計処理ステップは、操作者(ユーザ)が見る少なくとも幾つかの視覚要素の生起数を与えることを特徴とする請求項３に記載の方法。
5. 少なくとも１の視覚モチーフを決定するために、データ処理がその生起数が最も高い視覚要素から実行されることを特徴とする請求項４に記載の方法。
6. データ取得ステップは、少なくとも数人のユーザが所定期間に見る視覚要素に関係するユーザの目の動きのデータを提供することを特徴とする請求項1乃至５の何れか１項に記載の方法。
7. データ取得ステップは所定のインターバルで実行されることを特徴とする請求項1乃至６の何れか１項に記載の方法。
8. データ取得ステップはユーザの仕事環境の使用の手順の展開に関係するシナリオの枠組内で実行されることを特徴とする請求項1乃至７の何れか１項に記載の方法。
9. ユーザは、乗り物のダッシュボードの計器のインターフェースの構成要素と相互作用を行う乗り物のパイロットであることを特徴とする請求項1乃至８の何れか１項に記載の方法。
10. 乗り物は飛行機であることを特徴とする請求項９に記載の方法。
11. 乗り物は自動車であることを特徴とする請求項９に記載の方法。
12. ユーザ（12）とその仕事環境（14）との間の相互作用を表わすデータの処理システムであって、次のものを有する処理システム。
    ―眼球運動測定データの取得装置（10）、
    該眼球運動測定データは、ユーザと少なくとも１の仕事環境のインターフェースの構成要素との間に相互作用がある時、所定期間の間の自分の仕事環境の１部分をなす視覚シーンの視覚要素に対するユーザの視線の位置を表わす、
    ―視覚要素シーケンスを含む少なくとも１の視覚モチーフを決定するために、所定期間に複数回繰り返される取得されたデータの処理手段（17）。

Images