JP2012141988A - 視標追跡人間機械相互作用制御システムのためのシステム準備スイッチ - Google Patents

Abstract

【課題】視覚制御インターフェイスを作動させる、詳細には、車両において視標追跡システムを使用して視覚制御インターフェイスを作動させるためのシステム及び方法の提供。
【解決手段】本発明は、人間機械相互作用制御システムの中の視標追跡システムの制御部を作動及び停止するために、スイッチが使用される。システムは、車両の運転者（又は操作者）が制御部を作動又は停止するためにスイッチの選択を用いてシステムに信号を送ることを許可し、それによって、所望の時には機能的な指示を運転者に提供するが、それ以外では目立たない状態を保つ。
【選択図】図５

Description

本発明は、視覚制御インターフェイスを作動させるシステム及び方法に関し、詳細には、車両において視標追跡システムを使用して視覚制御インターフェイスを作動させることに関する。

視標追跡技術システムは、主として、運転者の注視状態の検出及び警報に使用される。例えば、車道から外れた運転者の注視を検出し、十分な時間の長さが過ぎると、システムは、不安全運転状況が存在していること、即ち、道路を見ていないことを運転者に気付かせる警報を発し得る。

参照により本明細書に組み込まれる、米国特許第６，９２６，４２９号明細書の図１に図示したように、視標追跡の装置は、処理プラットフォーム５２に入力を提供するＩＲセンサー／カメラ５０、ＩＲセンサー／カメラ５０の近くに配置される環状ＩＲ照明器５４及びＩＲ照明器からの放射線を非球面鏡４０の上に反射するＩＲ鏡５６を備えたヘッドアップディスプレイ（ＨＵＤ）システムの従来式の要素を含んでいる。非球面鏡４０は、次に、ＩＲ反射強化面５８を有し得るフロントガラス４２の上に放射線を反射する。放射線は、面５８に反射して、運転者の目６０及び顔（図１で図示せず）に浴びせられる。運転者の目及び顔の結果的に生じる画像は、面５８、非球面鏡４０、ＩＲ鏡５６の順に反射して、ＩＲセンサー／カメラ５０に受け取られる。センサー／カメラ５０からの信号は、処理プラットフォーム５２の中の処理及び制御回路構成へ送られ、下文で説明されるように使用され、システムＩＲセンサー／カメラ５０の他の要素を更に制御する処理及び制御回路構成は、電子パンチルト（Electric pan tilt）を含み、頭及び目の動きを相殺することが可能である。照明源が非侵入型のものであれば、ＩＲ以外の他の照明源が提供されてもよい。システム１０は、可動部品を有していない。

視標追跡技術における近年の開発によって、システムにおいてユーザーインターフェイスの制御に視標追跡を使用することが可能になった。例えば、視標追跡を使用して、様々な制御機構を介して作動させることが可能な、音響機器プリセットスイッチを目が注視していることを判別してもよい。しかしながら、制御システム用の現下の視標追跡システムは、運転者の注意を散漫にし、苛立たせる可能性があり、更に、それらのシステムが運転者の目を継続的に監視する（即ち、常にオン状態になっている）ときに、運転者の意図的な「注視」を頻繁に読み違える場合がある。車両に適用されるこのような従来式のシステムは、圧倒的に、運転者の監視に焦点を合わせるものである。これらのシステムのアルゴリズムは、運転者の注視を見極めることに焦点を合わせ、運転者の状況の様々な態様を推論する傾向がある。システムは、これらの後に、行動を推論し、調整を行う及び／又は警報を提供する。

参照により本明細書に組み込まれる、米国特許出願公開第２００６／０２５９２０６号明細書は、車両操作者監視システムを開示しており、ここでは、車両操作者の一連の眼球のプロファイルが収集されている。プロファイルの分析は、車両操作者について実施され、分析は、車両システムの状態を維持又は調整するために車両システムに適用される。図２を参照すると、車両１０の客室１２は、一連の眼球プロファイルの監視及び収集、並びに、収集されたデータ分析の車両システムへの適用を遂行するためにビデオ撮像カメラを有する車両操作者注意度画像化システムを装備した状態で示されている。

米国特許第６，９２６，４２９号明細書 米国特許出願公開第２００６／０２５９２０６号明細書

本発明は、視覚制御インターフェイスを作動させるシステム及び方法に関し、詳細には、車両において視標追跡システムを使用して視覚制御インターフェイスを作動させることに関する。

本発明の１実施形態では、車両における視覚制御インターフェイスは、車両の操作者の目の動きを追跡する視標追跡システムと、視標追跡システムの少なくとも１つの部分を作動及び停止するための入力を含んでいる。

本発明の別の実施形態では、車両におけるインターフェイスの視覚制御のための方法は、視標追跡システムを用いて、車両の操作者の目の動きを追跡することと、入力を使用して視標追跡システムの少なくとも１つの部分を作動／停止することとを含んでいる。

本発明の１つの態様では、視標追跡システムは、監視部と制御部とを備えている。

本発明の別の態様では、視覚制御インターフェイスは、視標追跡システムによって追跡された目の動きに対応するデータを記憶するデータベースと、ネットワークとデータベースを能動的に接続するように構成されたネットワークインターフェイスと、視標追跡システムによって追跡され、データベースに記憶されたデータを処理するプロセッサとを含んでいる。

本発明の更に別の態様では、監視部は、目の動きと関連付けられる情報を取得するために操作者の目を監視し、作動時に、制御部は、車両の操作者が取得した目の動きに基づいて視覚制御インターフェイス上の項目を選択することを許可し、停止状態では、車両の操作者が視覚制御インターフェイス上の項目を選択することを阻止している。

本発明のもう１つの別の態様では、入力の選択は、制御部を作動／停止させ、監視部は、制御部の作動状態及び停止状態の間、操作者の目を継続的に監視している。

本発明の別の態様では、制御部は、プリセットルール（preset rule）によって決定されるように自動的に作動／停止される。

本発明のもう１つの別の態様では、視覚制御インターフェイス上に現れる項目は、車両の装置及び機能のうちの少なくとも１つに対応しており、視覚制御インターフェイスは、ヘッドアップディスプレイ、ナビゲーションディスプレイ、テレビディスプレイ、ダッシュボードディスプレイ、計器盤ディスプレイ、鏡ディスプレイ及びモニターのうちの少なくとも１つである。

本発明の更に別の態様では、入力は、作動状態又は停止状態のうちの１つを示すような対応する指示器を含み又は有する。

本発明の別の態様では、入力は、スイッチ、ボタン及び音声制御のうちの少なくとも１つである。

本発明者の更に別の態様では、ネットワークは、インターネット、イントラネット、ＷＡＮ、ＬＡＮ、電気通信網及びワールドワイドウェブのうちの少なくとも１つである。

本発明は、以下に述べる詳細な説明、添付の特許請求の範囲及び添付図面により、より十分に理解されるであろう。

先行技術による視標追跡システムを示す図である。 先行技術による視標追跡システムによって監視されている車両操作者を示す図である。 本発明の実施形態による例示的な「システム準備」スイッチを示す図である。 本発明の１実施形態による視標追跡を使用する制御インターフェイス上の項目の例示的な選択を示す図である。 本発明の１実施形態によるシステムの例示的なブロック図である。

視覚制御インターフェイスを作動させるための、厳密には、車両において視標追跡システムを使用して視覚制御インターフェイスを作動させるためのシステム及び方法を提供する。

人間機械相互作用制御システムの中の視標追跡システムの制御部を作動及び停止するために、スイッチ（例えば、「システム準備」スイッチ）が使用されている。システム１は、車両１０の運転者（又は操作者）が、制御部を作動又は停止するためにシステム１に信号を送ることを許可しており、それによって、所望の時には機能的な支持を運転者に提供しているが、それ以外では目立たない状態を保っている。スイッチ１００は、例えば、半導体スイッチ又は機械式スイッチ、音声制御又は他の方法を含むどのような入力であってもよい。さらに、本発明は、スイッチそれ自体に特定的に限定されるものではなく、ボタンであっても、又は本発明の文脈の中のオン／オフの機能性を提供することができるどのようなインターフェイス又は入力であってもよい。より詳細に図面を参照しながら下で説明されるように、車両の運転者が制御インターフェイスの制御に視標追跡を使用しようとするとき、車両の中のスイッチ１１８は、システムを作動させるように選択され、それによって、注視の検出及び制御機構が作動される。運転者が制御作動順序を完了する（例えば、制御インターフェイスを制御するために視標追跡を使用して完了する）と、別の信号（又は第１の信号の消滅）が、制御部のための視標追跡を控えめな「停止」状態へ戻す。本発明で採用される視標追跡技術は、当業者であれば容易に理解される、当該技術で公知のどのような視標追跡技術であってもよいものと理解されたい。同様に、視標追跡及び注視の間に取得される当該データの使用を適用するに当たって、当該技術のどのような公知の技法を用いてもよい。

図３は、本発明の実施形態による例示的な「システム準備」スイッチを図示している。本発明の１つの実施形態によれば、車両１０の運転者（又は操作者）は、例えば、図示したように、車両１０のステアリングホイール１０２の上に位置する「システム準備」スイッチ１００の選択によって視標追跡システム１１６の制御部を作動／停止し得る。しかしながら、本発明は、このような特定の実施形態に限定されるものではなく、当業者に周知のどのような方法を使用して視標追跡システムの制御部を作動／停止してもよい。スイッチの代わりに、例えば、システムが視標追跡システムの制御部を有効化し、それによって、運転者がインターフェイスを制御することができるようにする能力は、音声命令、車両内の何れかの場所、例えば、ダッシュボード上又は制御インターフェイス（タッチスクリーン又はその他）上等の何れかの場所に位置するボタンの選択によって作動／停止されても、或るルール又は一連のルール（例えば、車両の速度、時刻等）に基づいて、又は例えば、視標追跡システムの作動又は停止を指示する運転者の目の特定の順序又は動きによって、自動的に作動／停止されてもよい。

図４は、本発明の１つの実施形態による視標追跡を使用する制御インターフェイス上で項目を例示的に選択した状態を図示している。作動状態では、車両の運転者（又は車両内の乗員）は、自身の（彼／彼女の）目１１２を使用して車両内の視覚制御インターフェイス１０４を制御することができる。視覚制御インターフェイス１０４は、図示した実施形態において、３つの選択可能な項目、即ち、音響機器１０６、ナビゲーション１０８及び電話１１０を示している。これらの項目は、実質的に例示的なものであり、視覚制御インターフェイスが当該実施形態に制限されるものではないものと理解されたい。むしろ、本発明の視標追跡システムは、運転者がその中で当該インターフェイスを見る、どのような制御インターフェイスを操作するためにも使用することができ、当該インターフェイスには、ダッシュボード、ヘッドアップディスプレイ、鏡上の光学像等上のインターフェイスが含まれる。具体的には、車両の視標追跡システム１１６は、運転者が視覚制御インターフェイス１０４上に表示される選択可能項目１０６、１０８、１１０のそれぞれを制御することを許可している。例えば、運転者が自身の目１１２の焦点をディスプレイ（インターフェイス）上に現れる項目に合わせると、視標追跡システムは、その項目を強調表示又は選択状態にし、それによって、表示項目と関連付けられる装置又は機能を有効にすることができる。選択が完了すると、運転者は、視標追跡システムの制御部を「停止」モードへ戻し得る。このシステムを使用することで、運転者は、不必要な運転者の注意散漫性を増すこと無く運転中に両手を使用し続けることができる。更に、制御部を停止することができるので、視標追跡システムは、視覚制御インターフェイス上の項目を誤って解釈することはない又は他の方法で図らずも作動させることはない。しかしながら、他方で、視標追跡システムは、運転者の目を監視し、当業者であれば容易に理解される方法でシステム１へのフィードバックを提供することを実行し続ける。

図５は、本発明の１つの実施形態によるシステムの例示的なブロック図を示している。システム１２５は、例えば、プロセッサ１１４、視標追跡システム１１６、スイッチ１１８、運転者１２０、データベース１２２及びワールドワイドウェブ（又は何らかの他の型のネットワーク）１２４を含んでいる。先に説明したように、少なくとも監視部と制御部を含む視標追跡システム１１６は、当該技術で使用される且つ当業者であれば容易に理解されるどのようなシステムであってもよい。プロセッサ１１４は、当業者であれば容易に理解されるようなどのようなプロセッサであってもよい。データベース１２２は、視標追跡システム１１６によって運転者の目を監視する間に取得される情報に加えて、プロセッサ１１４が当該データ及び情報に基づいて結果及び事象を評価、監視及び判定するために使用することができるどのような他の情報も記憶している。或いは、又は更に、ワールドワイドウェブ１２４又はデータベース１２２及びプロセッサ１１４に接続される任意の他のネットワークを介してデータにアクセスし、データの提供が行われてもよい。更に、データベース１２２及びネットワーク接続は、車両の中又は外側に位置していて、有線又は無線のどちらかでアクセス可能であってもよい。

作動中、視標追跡システム１１６は、以下のように使用されてもよい。注目すべきことは、本発明の１つの実施形態における視標追跡システム１１６は、２つの別々の機能、監視と制御に分けられている点である。視標追跡システム１１６は、継続的に運転者の目１１２を監視して情報をプロセッサ１１４に中継しており、プロセッサは、監視情報に基づいて適宜対応している。他方で、視標追跡システム１１６の制御機能は、制御機能性の機能性を許可するため又は許可しない目的で、運転者によって動作可能なように選択され得る及び選択され得ない。更に具体的には、車両の中へ進入すると、システム１は、作動状態になる（又は他の方法で作動状態になるまで停止状態のままである）。システム１の作動は、視標追跡システム１１６の監視及び制御部の作動を含んでいる。運転者が視標追跡システム１１６の制御部を停止する（又は作動する）ことを所望するのであれば、彼／彼女は、スイッチ１１８を選択し得る。制御部を作動状態から停止状態へ変えるスイッチ１１８の選択は、制御部を「オフ」状態にするので、その結果、運転者の目の監視は続けられるが、運転者が視覚制御インターフェイス１０４上の項目を動作可能に選択する能力は実現し得なくなる。他方で、制御部を停止状態から作動状態へ変えるスイッチ１１８の選択は、制御部を「オン」状態にするので、その結果、運転者の目の監視は続けられ、制御部は、有効化され、これによって、運転者が自身の（彼／彼女の）目を使用して視覚制御インターフェイス１０４上に現れる項目を能動的に選択することが許可されるようになる。

以上、本発明を関連法的基準に従って説明してきたので、説明は、実質的に制限を課すものではなく、むしろ例示的なものである。当業者には自明のものであろう開示された実施形態の変形及び修正は、本発明の範囲の中に含まれるものである。従って、本発明に付与される法的保護の範囲は、以下に示す特許請求の範囲を検討することによってのみ判別することができる。

１０ 車両
１００ スイッチ
１０２ ステアリングホイール
１０４ インターフェイス
１０６ 音響機器
１０８ ナビゲーション
１１０ 電話
１１２ 目
１１４ プロセッサ
１１６ 指標追跡システム
１１８ スイッチ
１２０ 運転者
１２２ データベース
１２４ ワールドワイドウェブ
１２５ システム

Claims (20)

1. 車両における視覚制御インターフェイスであって、
   前記車両の操作者の目の動きを追跡する視標追跡システムと、
   前記視標追跡システムの少なくとも１つの部分を作動及び停止するための入力と、を備えている視覚制御インターフェイス。
2. 前記視標追跡システムは、監視部と制御部とを備えている、請求項１に記載の視覚制御インターフェイス。
3. 前記視標追跡システムによって追跡された目の動きに対応するデータを記憶するデータベースと、
   ネットワークと前記データベースを能動的に接続するように構成されたネットワークインターフェイスと、
   前記視標追跡システムによって追跡され、かつ前記データベースに記憶された前記データを処理するプロセッサと、を更に備えている、請求項１に記載の視覚制御インターフェイス。
4. 前記監視部は、目の動きと関連付けられた情報を取得するために前記操作者の目を監視し、
   作動状態時に、前記制御部は、前記車両の前記操作者が前記取得した目の動きに基づいて前記視覚制御インターフェイス上の項目を選択することを許可し、前記停止状態時に、前記車両の前記操作者が前記視覚制御インターフェイス上の項目を選択することを阻止する、請求項２に記載の視覚制御インターフェイス。
5. 前記入力の選択は、前記制御部を作動／停止させ、前記監視部は、前記制御部の前記作動状態及び停止状態の間、前記操作者の前記目を継続的に監視する、請求項４に記載の視覚制御インターフェイス。
6. 前記制御部は、プリセットルールによって決定されたように自動的に作動／停止される、請求項４に記載の視覚制御インターフェイス。
7. 前記視覚制御インターフェイス上に現れる項目は、前記車両の装置及び機能のうちの少なくとも１つに対応しており、
   前記視覚制御インターフェイスは、ヘッドアップディスプレイ、ナビゲーションディスプレイ、テレビディスプレイ、ダッシュボードディスプレイ、計器盤ディスプレイ、鏡ディスプレイ及びモニターのうちの少なくとも１つである、請求項４に記載の視覚制御インターフェイス。
8. 前記入力は、前記作動状態又は停止状態のうちの１つを示すような対応する指示器を含み又は有する、請求項２に記載の視覚制御インターフェイス。
9. 前記入力は、スイッチ、ボタン及び音声制御のうちの少なくとも１つである、請求項２に記載の視覚制御インターフェイス。
10. 前記ネットワークは、インターネット、イントラネット、ＷＡＮ、ＬＡＮ、電気通信網及びワールドワイドウェブのうちの少なくとも１つである、請求項３に記載の視覚制御インターフェイス。
11. 車両におけるインターフェイスの視覚制御のための方法であって、
    視標追跡システムを用いて、前記車両の操作者の目の動きを追跡することと、
    入力を使用して前記視標追跡システムの少なくとも１つの部分を作動／停止することと、を含む方法。
12. 前記視標追跡システムは、監視部と制御部とを備えている、請求項１１に記載の方法。
13. 前記視標追跡システムによって追跡された目の動きに対応するデータをデータベースの中に記憶することと、
    ネットワークインターフェイスを使用してネットワークと前記データベースを能動的に接続することと、
    前記視標追跡システムによって追跡され、前記データベースに記憶された前記データを処理することと、を更に備えている、請求項１１に記載の方法。
14. 前記監視部は、目の動きと関連付けられる情報を取得するために前記操作者の目を監視し、
    前記制御部は、作動状態時に、前記車両の前記操作者が前記取得した目の動きに基づいて前記視覚制御インターフェイス上の項目を選択することを許可し、前記停止状態時に、前記車両の前記操作者が前記視覚制御インターフェイス上の項目を選択することを阻止する、請求項１２に記載の方法。
15. 前記入力の選択は、前記制御部を作動／停止させ、前記監視部は、前記制御部の前記作動状態及び停止状態の間、前記操作者の前記目を継続的に監視する、請求項１４に記載の方法。
16. 前記制御部は、プリセットルールによって決定されたように自動的に作動／停止される、請求項１４に記載の方法。
17. 前記視覚制御インターフェイス上に現れる項目は、前記車両の装置及び機能のうちの少なくとも１つに対応しており、
    前記視覚制御インターフェイスは、ヘッドアップディスプレイ、ナビゲーションディスプレイ、テレビディスプレイ、ダッシュボードディスプレイ、計器盤ディスプレイ、鏡ディスプレイ及びモニターのうちの少なくとも１つである、請求項１４に記載の方法。
18. 前記入力は、前記作動状態又は停止状態のうちの１つを示すような対応する指示器を含み又は有する、請求項１２に記載の方法。
19. 前記入力は、スイッチ、ボタン、音声制御のうちの少なくとも１つである、請求項１２に記載の方法。
20. 前記ネットワークは、インターネット、イントラネット、ＷＡＮ、ＬＡＮ、電気通信網及びワールドワイドウェブのうちの少なくとも１つである、請求項１３に記載の方法。

Images