JP2015125783A - 注視追跡のためのシステムおよび方法 - Google Patents

Abstract

【課題】注視追跡のためのシステムおよび方法を提供する。【解決手段】システムは、第一の機能または第二の機能のいずれかに向けられた、ユーザに関連する注視を検出するための追跡デバイスと、コントローラとを含む。コントローラは、第一の機能に向けられた注視の検出に基づいて、動作モードを第一のファンクションに関連付け、そして第二の機能に向けられた注視の検出に基づいて、動作モードを第二のファンクションに関連付けるように構成される。【選択図】図３

Description

〔優先権主張〕
本特許出願は、２０１３年１２月２６日に出願され、現在係属中の「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｇａｚｅ Ｔｒａｃｋｉｎｇ」と題された米国仮特許出願第６１／９２１，０１５号の優先権を主張するものである。本特許出願は、米国特許出願第６１／９２１，０１５号の詳細な説明全体を包含する。

スマートデバイス内のある機能についてのユーザ入力制御は、特定のファンクションに割り当てられ、特定のファンクションを異なるファンクションに再び割り当てるにはユーザの入力が必要となる。例えば、スマートフォンでは音量を上げ下げできる音量ボタンを使用して、与えられた着信音の音量を変える、またはメディアプレーヤーアプリケーションからの音楽の現在の再生音量を変えることができる。ユーザは、機能のファンクションを変えるために、接触または音声命令を通じてアプリケーションと相互作用する必要がある。

同様に、車両内の種々の機能は、それ特有の特定のファンクションもしくはスイッチ、ボタンまたはユーザインターフェースを通じて制御および調節される。例えば、ラジオの音量は、音量押しボタンまたは回転つまみによって調節され、その一方で、空調装置は、別の回転つまみまたは押しボタンによって調節される。また、場合によっては、ユーザは、ユーザインターフェース上のさまざまなメニューを通じて種々の機能を制御し、かつバーチャルな押しボタンまたは他の入力を有するタッチスクリーン上において特定の機能を選択し、そして機能を調節できることもある。スマートデバイスと同様に、双方の場合において、ユーザは、アプリケーション物理的入力と相互作用して機能を制御および調節する。

そのような物理的相互作用、例えば、多くの機能を調節するための種々のメニューを通すスクロールは、運転中のユーザにとってますます困難となってきた。さらに、そのような物理的相互作用は、ある機能を制御および調節するために複数のつまみまたはボタンの間を切り替えることに加えて、機能を調節するために複数のインターフェースまたはメニューの間を切り替える必要があり、道路上の運転者の気を散らす結果となってきた。

本開示の態様は、車両の機能を調節するための注視追跡システム、および注視追跡を用いて車両内の機能を調節するための方法を提供する。注視追跡システムは、追跡デバイス、コントローラ、ユーザインターフェース、および入力デバイスを活用する。

一態様では、注視追跡システムは、一定時間後の、車両内の機能に向けられたユーザの眼の運動および方向を検出するための追跡デバイスを含むことができる。追跡デバイスは、コントローラに通信可能に接続できる。コントローラは、ユーザの眼の運動および方向を示す出力信号を追跡デバイスから受信し、さらに、センサの出力に基づいて機能を制御および調節するように構成できる。注視追跡システムは、ユーザインターフェースをさらに含むことができる。これは、コントローラに通信可能に接続し、選択された機能を調節および制御するための画像を表示するように構成される。また、注視追跡システムは、選択された機能をユーザの好みに調節するように構成された入力デバイスを含むことができる。

別の態様では、注視追跡を利用した車両内の機能を調節する方法は、追跡デバイスによってユーザの焦点の運動および方向を検出することを含む。ユーザの焦点の運動および方向を検出した後、コントローラは、ユーザの焦点に基づいて、制御されるべき特定された機能としてその機能を起動する。方法は、入力デバイスを使用して、ユーザの焦点に従い起動した機能を調節することをさらに含む。

本開示の態様は、さまざまな利点を与える。例えば、ユーザは、もはや、ユーザが制御を所望するメニューまたは機能を起動するために、物理的な入力制御と相互作用する必要がない。ユーザは、もはや、車両内の単一の機能または複数の機能を制御するために、複数の物理的な入力制御と相互作用しなくてもよい。代わりに、ユーザは、車両内の複数の機能を制御するために、単一の入力デバイスのみを使用すればよい。さらに、ユーザは、機能を制御および調節するために複数の入力制御を利用することを試みる間の運転中の気の散りがより少なくなる。

本開示の他の利点は、添付図面に関連して考慮されたときに以下の詳細な説明を参照してよりよく理解されるのと同じように、容易に認められる。

本開示による、車両内の機能を調節するための注視追跡システムを利用するユーザの図示の例である。 本開示による注視追跡システムのブロック図の例である。 本開示による、注視追跡を利用した車両内の機能を調節するための方法のフローチャートの例である。 車両内に実装された、図２に論じた注視追跡システムの例示の実施を図示する。 車両内に実装された、図２に論じた注視追跡システムの例示の実施を図示する。 車両内に実装された、図２に論じた注視追跡システムの例示の実施を図示する。

本開示の詳細な例を本明細書に提供する。しかしながら、開示した例が、単なる例示であり、さまざまなかつ代替的な形態において具体化できることが理解されるべきである。これらの例は、本開示のすべての可能性がある形態を図示および記述することは意図しない。むしろ、本明細書に使用する用語は、制限的ではなく説明的な用語であり、本開示の本質および範囲から逸することなく、さまざまな変化を為せることが理解される。

本明細書に開示する態様は、車両の機能を調節するための注視追跡システムおよび方法、ならびに注視追跡を活用した車両内の機能を調節するための方法を提供する。注視追跡システムは、追跡デバイス、コントローラ、グラフィカルユーザインターフェース２６、および入力デバイスを利用する。

図１は、本開示による、車両１６内の機能１４を調節するための注視追跡システム１２を利用するユーザ１０の図示である。図１に示すように、ユーザ１０は、温度制御装置などの機能１４を起動して、特に、装置の温度およびファン回転速度を調節できる。ユーザ１０は、機能１４に焦点を合わせるまたはそれを見ることによって、一定時間の間、機能１４、例えば機能「Ａ」１４を制御できる。ユーザ１０が一定時間、温度を調節するための制御であり得る機能「Ａ」１４を見ると、注視追跡システム１２は、ユーザ１０が温度の調節を所望していることを認識できる。そして、システム１２によって、ユーザ１０は、図１に示すようなトグルスイッチなどの入力デバイス２０を使用して、選択された機能１４を制御できる。

図１では、機能「Ａ」１４を二つの異なる位置に示す。注視追跡システム１２は、注視に関連するＸおよびＹ座標を用いて、注視が方向付けられた所の正確な位置を認識できる。そして、注視が方向付けられた正確な箇所を三角測量できる。

また、機能は、第一の機能として組み込むことができる。例えば、注視追跡システム１２は、ユーザがラジオを見ていることを認識し、次にユーザが見ているラジオの部分（すなわち、曲選択、音量、低音または高音設定など）を三角測量できる。それ故に、機能の検出は、単独の方向における概略の区域に限定されない。

さらに、二つの機能を示す。しかしながら、実装される機能の数は二つに限定されない。

入力デバイス２０またはトグルスイッチは、上下ファンクションを有することができる。また、入力デバイス２０またはトグルスイッチのファンクションは、ユーザ１０が焦点を合わせた視覚ターゲットまたは機能１４に応じて変わることができる。

例えば、ユーザ１０が温度に関する機能「Ａ」１４を見ている場合には、トグルスイッチによって温度を調節できる。あるいは、ユーザが機能「Ｂ」を見ており、温度制御装置のファン回転速度の調節を所望している場合には、トグルスイッチによってファン回転速度を調節できる。また、ユーザ１０は、最初に、トグルスイッチを使用して車両１６の温度を調節するための機能「Ａ」１４に焦点を合わせて車両１６の温度を調節した後、機能「Ｂ」を見てファン回転速度を調節できる。ユーザ１０は、機能「Ｂ」に焦点を合わせると、もはや、機能「Ｂ」、すなわち温度制御モジュールのファン回転速度を調節するようにここでは構成され得るトグルスイッチを使用して車両１６の温度を変えることはできない。

図２に関して、本開示による注視追跡システム１２のブロック図を提供する。注視追跡システム１２は、一定時間後の、車両１６内の機能１４に向けられたユーザ１０の眼の運動または方向を検出するための追跡デバイス２２を含むことができる。

一例では、追跡デバイス２２はセンサでもよい。具体的には、センサは、赤外線センサまたはユーザ１０の眼の運動を追従するように構成された別のセンサでもよい。また、センサは、ユーザ１０の眼の各々を追跡する複数個のセンサでもよい。例えば、センサは、その各々が個々にユーザ１０の眼の一つを追跡できる、またはユーザ１０の眼の両方の運動を同時に追跡できる二つの赤外線センサを含むことができる。複数個のセンサを使用することによって、ユーザ１０の眼の運動または方向の追跡に関する精度を保証できる。

追跡デバイス２２は、センサの種類を限定しない。別の例では、追跡デバイス２２は、これらに限定されないが、カメラ、複数個のカメラ、またはセンサとカメラとを組み合わせたものでもよい。

注視追跡システム１２は、コントローラ２４も含むことができる。コントローラ２４は、追跡デバイス２２に通信可能に接続できる。追跡デバイス２２は、コントローラ２４との有線または無線接続を有することができる。コントローラ２４は、ランダムアクセスメモリ（ＲＡＭ）もしくはリードオンリーメモリ（ＲＯＭ）などの記憶装置、処理リソース、マイクロコントローラ、中央処理装置（ＣＰＵ）またはコントローラ２４の管理を可能にするハードウェアもしくはソフトウェア制御論理の任意の組み合わせを有することができる。

また、コントローラ２４は、キーボード、マウス、ポインタ、タッチコントローラおよび表示装置などのさまざまな入力および出力（Ｉ／Ｏ）デバイスに加えて、外部リソースと通信するための通信ポートの一以上の無線、有線またはそれらの任意の組み合わせを含むことができる。コントローラ２４は、一以上のバスも含むことができる。これは、さまざまなハードウェアコンポーネント間の管理情報の通信を伝達するように働き、有線通信データバス、無線ネットワーク通信、またはそれらの任意の組み合わせを使用して通信できる。コントローラ２４は、ユーザ１０の眼の運動および方向を示す出力信号を追跡デバイス２２から受信するように構成できる。

図２のコントローラ２４は、センサの出力に基づいて機能１４を制御および調節するようにも構成できる。換言すると、コントローラ２４は、ユーザ１０の眼の方向に基づいて、車両１６内の機能１４を制御および調節できる。例えば、ユーザ１０がラジオの音量に焦点を合わせていることをセンサが検出した場合には、コントローラ２４は、ユーザ１０がラジオの音量に焦点を合わせていることを認識し、ユーザ１０の好みに基づいてラジオの音量を制御および調節するように構成できる。コントローラ２４は、ユーザ１０の焦点に基づいて機能１４を自動的に制御および調節するためのハードウェア、ソフトウェア、またはハードウェアとソフトウェアとを組み合わせたものを使用できる。

注視追跡システム１２は、コントローラ２４に通信可能に接続されたグラフィカルユーザインターフェース２６（しかしながら、これに限定されない）も含むことができる。グラフィカルユーザインターフェース２６は、車両１６内の種々の機能１４の種々のメニューを表示するように構成できる。例えば、これらに限定されないが、ラジオ、衛星ラジオ、ＭＰ３、空調設備、ＧＰＳおよび電話などを表示する。グラフィカルユーザインターフェース２６は、種々の機能１４を選択するためのタッチスクリーンおよび押しボタンを有することができる。また、グラフィカルユーザインターフェース２６は、ユーザ１０が焦点を合わせている機能１４をユーザ１０に視覚的に表示するように構成できる。例えば、ユーザ１０が車両１６内の温度計に焦点を合わせている場合には、グラフィカルユーザインターフェース２６は、バーチャルな温度計を表示できる。あるいは、グラフィカルユーザインターフェース２６は、温度計を調節および制御するための画面を表示できる。換言すると、グラフィカルユーザインターフェース２６は、車両１６内の現在の温度を表示し、車両１６を調節するための温度計を表示できる。

図２は、入力デバイス２０をさらに含む。入力デバイス２０は、コントローラ２４に通信可能に接続し、センサによって検出されたユーザ１０の注視に基づいて選択された機能１４を制御するように構成できる。入力デバイス２０は、車両１６内の任意の機能１４にも通信可能に接続できる。入力デバイス２０は、有線接続または無線接続を有することができる。具体的には、入力デバイス２０は、これらに限定されないが、上下、左右またはそれらの両方に動く性能を有するトグルスイッチ、押しボタン、タッチスクリーン、音声命令またはジェスチャ制御によるものでもよい。一例では、入力デバイス２０は、ユーザ１０が温度計を見ているときには、上下に動いて車両１６内の温度を変えることができるトグルスイッチである。トグルスイッチが上に動くと温度は上昇する。同様に、トグルスイッチが下に動くと温度は下がる。また、トグルスイッチは、使用中、グラフィカルユーザインターフェース２６に通信可能に接続し、そこに表示されてもよい。

さらに、ユーザ１０が彼らの焦点または注視を既定の機能１４に変化させるたびに、トグルスイッチのファンクションは変化できる。換言すると、トグルスイッチは、多機能であり得、車両１６内の機能１４のすべて、いくつかまたは一つに関して使用できる。例えば、図１に論じたように、ユーザ１０が、最初に（機能１４の）「Ａ」に焦点を合わせた場合には、トグルスイッチは、第一のファンクション（すなわち、温度）の調節を可能にするように構成できる。一定時間後、ユーザ１０は、彼または彼女の注視を変えて、機能「Ｂ」を注視できる。それに応じて、トグルスイッチは、第二のファンクション（すなわち、音量）に関係づけられることができる。

ユーザ１０は、追跡デバイス２２がユーザ１０の眼の運動または方向を検出している間のうちの一定時間、特定の機能１４に焦点を合わせることができる。追跡デバイス２２は、（所定時間、ユーザ１０が機能を注視していることに基づいて）検出を示す信号を出力し、コントローラ２４は、ユーザ１０の眼の方向に基づいて、ユーザ１０が制御を所望している機能１４を決定する。コントローラ２４が機能１４を決定した後、ユーザ１０は、グラフィカルユーザインターフェース２６上の機能１４を視覚的に視認してもよいし、しなくてもよい。そして、ユーザ１０は、入力デバイス２０を利用して機能１４のファンクションを制御および調節できる。また、ユーザ１０は、システム１２がユーザ１０の眼の運動を検出できる一定時間、機能１４の第二のポイント（すなわち、「Ｂ）に焦点を合わせることができる。ユーザ１０の焦点に基づいて、コントローラ２４は、入力デバイス２０を利用して第二の機能１４を制御および調節するように構成できる。

例えば、ユーザ１０は、ユーザ１０の焦点が追跡デバイス２２によって検出された後、少しの間、車両１６のステレオシステムに自身の目の焦点を合わせることができる。その後、コントローラ２４は、ユーザ１０がステレオシステムに焦点を合わせていることを認識し、グラフィカルユーザインターフェース２６上に、トグルスイッチなどの入力デバイス２０を利用してユーザ１０が選択できる種々のファンクションを表示できる。ユーザ１０は、トグルスイッチを使用して種々の歌曲をスクロールし、ユーザ１０が再生を所望する歌曲を選択する。ユーザ１０は、歌曲を選択した後、音楽再生中に音楽の音量の増減を所望できる。そのようなものとして、ユーザ１０は、ステレオシステムの音量制御を注視し、入力デバイス２０を使用して彼らの好みの音量に調節できる。

図３に関して、本開示による、注視追跡を利用した車両内の機能を調節するための方法３００のフローチャートが提供される。方法は、追跡デバイスによって、一定時間後のユーザの焦点の運動および方向を検出すること（１００）を含む。追跡デバイスは、センサ、具体的には赤外線センサまたは複数個のセンサでもよい。あるいは、追跡デバイスは、一つのカメラまたは複数個のカメラでもよい。追跡デバイスは、センサとカメラとを組み合わせたものでもよい。追跡デバイスは、車両の前方部のどこにでも位置付けできる。

ユーザの焦点の運動および方向を追跡デバイスによって検出した後、コントローラは、ユーザの焦点に基づいて、制御されるべき機能を自動的に起動する（１０２）。例えば、ユーザがユーザインターフェース内のＧＰＳメニューに焦点を合わせた場合には、コントローラは、ユーザが制御を所望する機能としてＧＰＳメニューを自動的に起動する。また、起動された機能は、ユーザインターフェース上に表示され、ユーザが制御および調節する機能をユーザに視覚的に示すことができる（１０４）。

方法は、入力デバイスを使用して、ユーザの焦点に従い起動した機能を調節すること（１０６）をさらに含む。入力デバイスは、これらに限定されないが、トグルスイッチ、押しボタン、タッチスクリーン、音声命令またはジェスチャでもよい。入力デバイスは、ユーザの届く範囲内のどこにでも配置できる。例えば、押しボタンまたはトグルスイッチなどの入力デバイスは、起動した機能を調節するためにユーザが容易にアクセス可能な、車両の肘掛けの近くまたはハンドルに位置付けることができる。また、入力デバイスによって、ユーザは、一つのデバイスのみを利用して車両内のすべての機能を調節できる。換言すると、入力デバイスは、車両内の種々の機能に共通した多機能なものである。例えば、ユーザは、入力デバイスを使用して車両内のラジオを制御および調節し、その後、同じ入力デバイスを使用して、車両内のユーザの焦点に基づいて、車両内の空調設備または温度を調節できる。

図４Ａ、図４Ｂおよび図４Ｃは、車両４００内に実装された、先に論じた注視追跡システムの例示の実施を図示する。車両４００は、（先に論じたグラフィカルユーザインターフェース２６を表示しても、しなくてもよい）表示部４５０、ラジオ４１０、フロントガラス４２０およびＨＶＡＣユニット４３０を含む。車両４００には、入力デバイス２０に接続されたトグルスイッチ４４０が位置付けられてもよい。先に説明したように、トグルスイッチ４４０は、先に論じた注視仮縫い（ｔａｃｋｉｎｇ）システムおよび車両の構成要素に関連するさまざまな態様を制御するように構成できる。それ故に、トグルスイッチ４４０は、音量、熱またはＧＰＳに関連する表示を調節するように構成できる。

さらに、当業者は、実施の好みに基づいて図４に示す例を変更できる。それ故に、注視追跡システムとともにそれに取り付けられたモジュールおよび電子システムを、実施者の好みに基づいて顧客に供給できる。

また、注視追跡システムには、表示部４５０およびトグルスイッチ４４０の両方が実装される。さまざまな実施形態では、注視追跡システムには、表示部４５０またはトグルスイッチ４４０のいずれかのみを実装してもよい。

図４Ａを参照すると、ユーザ１０はラジオ４１０を注視している。本明細書に開示する態様を活用すると、追跡デバイス２２が、ユーザ１０がラジオ４１０を注視していることを検出できる（すなわち、頭部の角度回転または彼の眼が見ている箇所を検出する）。一例では、注視追跡システムは、トグルスイッチ４４０を（入力デバイス２０を通じて）ラジオ４１０に関連するファンクションに結び付けるように構成できる。例えば、トグルスイッチ４４０は、音量を上げ下げし、歌曲を選択し、そしてラジオ放送局を切り替えるように構成できる。

図４Ｂを参照すると、ユーザ１０はここではフロントガラス４２０を注視する。本明細書に描写する例では、表示部４５０は、ここではＧＰＳに関連するファンクションを表示するように構成できる。さらに、トグルスイッチ４４０も、ＧＰＳを操作し、それと相互作用するように構成できる。図４Ｂに示す例において、一実施形態では、フロントガラスに向けられた注視の検出は、所定時間の経過後に行なうことができる。

図４Ｂを参照すると、ユーザは、ここではＨＶＡＣユニット４３０を注視する。従って、表示部４５０、トグルスイッチ４４０、または表示部４５０およびトグルスイッチ４４０の両方を、ＨＶＡＣユニット４３０を操作し、それと相互作用するように構成できる。

前述の例では車両内のシステムを記述した。しかしながら、当業者は、さまざまなファンクションを制御するための単独の入力機構を共用する他のシステムにおいても前述の態様を実施できる。

本開示の例を図示して記述したが、これらの例が本開示のすべての可能性がある形態を図示および記述することは意図しない。むしろ、本明細書に使用する用語は、制限的ではなく説明的な用語であり、本開示の本質および範囲から逸することなく、さまざまな変化を為せることが理解される。また、機能およびさまざまな実行される実施形態を組み合わせて、本開示のさらなる例を形成できる。

Claims (16)

1. 第一の機能または第二の機能のいずれかに向けられた、ユーザに関連する注視を検出するための追跡デバイスと、
   第一の機能に向けられた前記注視の検出に基づいて、動作モードを第一のファンクションに関連付け、前記第二の機能に向けられた前記注視の検出に基づいて、前記動作モードを第二のファンクションに関連付けるコントローラと
   を備えた、注視追跡のためのシステム。
2. 前記コントローラが、前記追跡デバイスが前記第一の機能から前記第二の機能への前記ユーザの注視の切り替えを検出したことに基づいて、前記関連付けられた動作モードを前記第一のファンクションから前記第二のファンクションに切り替えるようにさらに構成された、請求項１に記載のシステム。
3. 前記コントローラが、少なくとも一定時間にわたり生じた前記ユーザの注視に応じて、前記関連付けられたモードを切り替える、請求項２に記載のシステム。
4. 前記第一のファンクションおよび前記第二のファンクションが、娯楽システム、ＨＶＡＣシステム、ＧＰＳシステム、ウィンドウ制御システムのうちの二つである、請求項２に記載のシステム。
5. 入力デバイスをさらに備えており、前記動作モードが、前記検出した注視に基づいて前記入力デバイスを通じて制御される、請求項１に記載のシステム。
6. 前記動作モードが、前記検出した注視に基づいて特定のグラフィカルユーザインターフェースに関連付けられる、請求項１に記載のシステム。
7. 前記動作モードが、前記検出した注視に基づいて特定のグラフィカルユーザインターフェースに関連付けられる、請求項５に記載のシステム。
8. 前記入力デバイスがトグルスイッチに連結される、請求項５に記載のシステム。
9. 第一の機能または第二の機能のいずれかに向けられたユーザの焦点を検出するステップと、
   前記第一の機能に向けられた前記ユーザの焦点の検出に基づいて、第一のファンクションに関連する動作モードを起動し、前記第二の機能に向けられた前記ユーザの焦点の検出に基づいて、第二のファンクションに関連する前記動作モードを起動するステップと
   を含む、注視追跡のための方法。
10. 前記追跡デバイスが前記第一の機能から前記第二の機能への前記ユーザの注視の切り替えを検出したことに基づいて、前記関連付けられた動作モードを前記第一のファンクションから前記第二のファンクションに切り替えるステップをさらに含む、請求項９に記載の方法。
11. 少なくとも一定時間、生じた前記第二の機能に向けられた前記ユーザの注視に応じて、前記関連付けられたモードを切り替えることをさらに含む、請求項９に記載の方法。
12. 前記第一のファンクションおよび前記第二のファンクションが、娯楽システム、ＨＶＡＣシステム、ＧＰＳシステム、ウィンドウ制御システムのうちの二つである、請求項９に記載の方法。
13. 前記動作モードを、前記検出した注視に基づいて入力デバイスを通じて制御することをさらに含む、請求項９に記載の方法。
14. 前記動作モードが、前記検出した注視に基づいて特定のグラフィカルユーザインターフェースに関連付けられる、請求項９に記載の方法。
15. 前記動作モードが、前記検出した注視に基づいて特定のグラフィカルユーザインターフェースにも関連付けられる、請求項１３に記載の方法。
16. 前記入力デバイスがトグルスイッチに結合される、請求項１４に記載の方法。