JP2021166058A - 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム - Google Patents

Abstract

【課題】車両にジェスチャー・ベースの入力システムを組み込み、かつ、車両運転の主要な業務から運転者などのユーザの気を散らされないやり方でフィードバックをもたらすシステム及び方法を提供する。【解決手段】車両システムを制御するための触覚フィードバック・システム１００は、触覚アクチュエータ１１０、ジェスチャー検出器６０、コントローラ１０６及び複数の車両システム１１２を含む。ジェスチャー検出器は、車両の運転者または乗客の運動を捕捉して、車両の運転者または乗客が行ったジェスチャーを表すデータを出力する。コントローラは、ジェスチャー検出器からジェスチャーを表す信号を受け取り、検出されたジェスチャーに基づいて触覚効果を選択し、選択した触覚効果を与える信号を触覚アクチュエータに送り、選択した触覚効果と整合した特定の動作を遂行させる信号を、車両システムのうちの１つに対して送る。【選択図】図４

Description

本発明は、一般に、ジェスチャー・ベースの車両用入力システムに関し、より詳細には、車両システムを制御するためのジェスチャー・ベースの入力システムに関するものであって、ジェスチャー・ベースの入力を確認するためにユーザに対して触覚効果を与えるための触覚フィードバックを含む。

車両には、乗員を支援し、楽しませ、かつ／または快適な環境をもたらすための技術が追加され続けている。たとえば、限定するためではなく、全地球測位システム（ＧＰＳ）を用いるナビゲーション・システム、環境調節または温度調節のシステム（ＨＶＡＣ制御など）、ラジオ、ＣＤプレーヤ、補助デバイス・プレーヤ、ビデオ画面、ＤＶＤプレーヤ、電話システム、および他の類似のシステムが、しばしば車両に組み込まれている。これらのシステムの制御は、それだけではないが、つまみ、ボタン、ダイヤル、およびタッチスクリーンなど、様々な形態でもたらされる。タッチスクリーンには、ますます多くの制御システムが組み込まれている。運転者は、これらの制御を使用するのに道路から眼を離さなければならず、危険である。物理的入力の代替として、画面に表示された仮想ボタンおよび仮想スライダを利用しているタッチスクリーン・デバイスの使用が増加するのに伴って、これは特に問題となることがある。ユーザは、１本または２本以上の指で、画面上の仮想のボタン、スライダ、スクローラなどに触れること、および／またはその他の方法で操作したりすることにより、そのようなデバイスとほとんど独占的に相互に接続し得る。仮想ボタン、仮想スライドなどの間には、大抵の場合、物理的区別または「感触の」区別がないので、ユーザは、たとえば、物理的なボタンまたはつまみに対して可能であった、仮想ボタンの位置を「感じ取ること」ができない。さらに、画面上のグラフィック・ディスプレイが、操作に応答して視覚フィードバックをもたらすので、運転者は、道路ではなく画面を注視するようにさらに誘惑される。

最近の開発により、車両システムのうちのいくつかについては音声制御システムが可能になった。しかしながら、特に音声指令を受け取るためのマイクロフォンが音声指令を正確に受け付けない、または理解しない状況では、音声制御システムは、車両の中の乗客を混乱させる。これによって、ユーザが指令を繰り返したり、しばしば叫んだりすることになり、それによって車内の他の乗客の邪魔をする。さらに、車両の娯楽システムおよび道路騒音などの周囲の騒音が、指令を受け取るマイクロフォンの妨げになる可能性がある。

コンピュータシステムがユーザのジェスチャーまたは手の運動に反応することができるジェスチャー・ベースのインターフェースにおいて、最近いくつかの進化があった。しかしながら、ジェスチャー・ベースの指令がシステムによって適切に解釈されたことを確認するために、運転者が表示画面または他のデバイスを注視する傾向があるため、車両におけるジェスチャー・ベースのインターフェースは、運転者の気散じの問題を緩和しない可能性がある。さらに、システムが偶発的に起動するのを防止する必要がある。したがって、車両にジェスチャー・ベースの入力システムを組み込んで、運転者などのユーザが、主要な業務である車両運転から気を散らすことのないやり方でフィードバックを与えるのが望ましいであろう。

本発明の実施形態が対象とする、車両システムを制御するためのシステムは、触覚アクチュエータ、ジェスチャー検出デバイス、コントローラ、および複数の車両システムを含む。ジェスチャー検出デバイスは、車両の運転者または乗客の運動を捕捉して、車両の運転者または乗客が行ったジェスチャーを表すデータを出力する。ジェスチャー検出デバイスに結合されているコントローラが、ジェスチャー検出デバイスからジェスチャーを表す信号を受け取る。コントローラは、触覚アクチュエータに結合されており、検出されたジェスチャーに基づいて触覚効果を選択して、選択された触覚効果をもたらす信号を触覚アクチュエータに送る。コントローラは、車両システムにも結合されており、検出されたジェスチャーに基づき、車両システムのうちの１つに対して、特定の動作を遂行させる信号を送る。車両システムの特定の動作は、選択された触覚効果と整合したものである。

これも本発明の実施形態が対象とする、車両システムを制御するためのシステムは、触覚アクチュエータ、ジェスチャー検出デバイス、音声検出デバイス、コントローラ、および複数の車両システムを含む。ジェスチャー検出デバイスは、車両の運転者または乗客の運動を捕捉して、車両の運転者または乗客が行ったジェスチャーを表すデータを出力する。音声検出デバイスは、車両の運転者または乗客からの音声指令を検出して、音声指令を表すデータをコントローラに出力する。コントローラは、ジェスチャー検出デバイスおよび音声検出デバイスに結合されており、ジェスチャー検出デバイスからのジェスチャーを示す信号および音声検出デバイスからの音声指令を示す信号を受け取る。コントローラは、触覚アクチュエータに結合されており、検出されたジェスチャーまたは検出された音声指令に基づいて触覚効果を選択して、選択された触覚効果をもたらす信号を触覚アクチュエータに送る。コントローラは、車両システムにも結合されており、検出されたジェスチャーまたは検出された音声指令に基づいて、車両システムのうちの１つに対して、特定の動作を遂行させる信号を送る。車両システムの特定の動作は、選択された触覚効果と整合したものである。

本発明のジェスチャー・ベースの入力システムおよび触覚フィードバック・システムの一実施形態を示す様々なシステムを有する車両の概略図である。 図１の車両のシートのうちの１つの概略図である。 図１の車両の運転席と助手席の間の中心コンソールおよび肘掛けの概略図である。 本発明のジェスチャー・ベース入力システムおよび触覚フィードバック・システムの一実施形態のブロック図である。 車両の表示デバイスの概略図である。 本発明の、ジェスチャーおよび音声ベースの入力システムおよび触覚フィードバック・システムの一実施形態のブロック図である。

本発明の前述の特徴および利点ならびに他の特徴および利点が、添付図面に示されるような実施形態の以下の説明から明らかになるであろう。本明細書に組み込まれて本明細書の一部分を形成する添付図面は、本発明の原理について説明するとともに、当業者が本発明を製作して利用することを可能にするのにさらに役立つものである。図面は原寸に比例しない。

次に、図を参照しながら本発明の特定の実施形態が説明され、類似の参照番号は同一の要素または機能的に類似の要素を示す。以下の詳細な説明は、本質的に単なる例示であり、本発明または本発明の用途および利用法を限定するようには意図されていない。本発明の実施形態の説明は、車両の中のジェスチャー・ベース入力システムおよび触覚フィードバック・システムの文脈におけるものであるが、本発明は、本発明が有益であると見なされるいかなる他の用途にも使用され得る。さらに、先の技術分野、背景技術、発明の概要、または以下の詳細な説明において示される、表現される、または示唆されるいかなる理論によっても束縛されるような意図はない。

図１は車両Ｖの内部の概略図である。車両内部のいくつかの典型的な特徴を、図１〜図３に関して説明する。車両Ｖに含まれる運転席１０は、頭受け１２、背もたれ１４、およびシート基部１６を含む。助手席２０は、同様に、頭受け２２、背もたれ２４、およびシート基部２６を含む。運転席側の後部座席３０は、頭受け３２、背もたれ３４、およびシート基部３６を含み、助手席側の後部座席４０は、頭受け４２、背もたれ４４、およびシート基部４６を含む。当業者なら、車両Ｖは、（図１に示されたように）より多くのシートまたはより少ないシートを含み得ることを認識するであろう。さらに、すべてのシートが、本明細書で説明された特徴をすべて含む必要があるわけではない。たとえば、限定するためではなく、頭受けはなくてもよい。車両Ｖは、当技術分野で知られているように、ステアリング・ホイール１８、および運転席１０と助手席側前座席２０の間に配設された肘掛け２８を含む。

車両Ｖは、運転席１０と助手席２０の間の前部ダッシュに配設された電子制御および表示のシステム５０も含み得る。電子制御および表示のシステム５０は、システムの制御および表示の機能に使用することができるように、それだけではないが、ラジオ、ナビゲーション・システム、車両の温度調節システム、ブルートゥース・システム、ＤＶＤプレーヤなどの補助システム、ＣＤプレーヤおよび携帯電話、情報システム、および当業者に既知の他のシステムなどの従来の制御および表示のシステムに類似のものでよい。運転席側後部の制御および表示のシステム３８は、運転席の頭受け１２に取り付けられて、運転席側の後部座席３０に面してよい。同様に、助手席側後部の制御および表示のシステム４８は、助手席の頭受け２２に取り付けられて、助手席側の後部座席４０に面してよい。制御および表示のシステム３８、４８は、それだけではないが、後部温度調節システム、ＤＶＤプレーヤおよびＣＤプレーヤなどの後部娯楽システム、ブルートゥース・システム、および当業者に既知の他のシステムなど、システムの機能を制御し、かつ表示するための従来の制御および表示のシステムを含み得る。

制御および表示のシステム５０は、運転者および／または乗客の運動を検出するように構成されたカメラまたは他のジェスチャー入力検出器６０を含み得る。同様に、制御および表示のシステム３８、４８は、以下でより詳細に説明されるように、それぞれ後部座席３０、４０の乗客の動きを検出するためのカメラまたは他のジェスチャー入力検出器３９、４９を含み得る。カメラ６０、３９、４９は、それぞれの制御および表示のシステム５０、３８、４８と関連して示されているが、本開示はそのような実施形態に限定されない。その代わりに、以下で詳細に説明されるように、運転者および乗客のジェスチャーが検出されて使用され得る任意のやり方が用いられてよい。たとえば、限定するためではなく、車両Ｖの内部にあるいくつかのカメラは、車両内部の全体の動きを追跡してよい。そのような一群のカメラは、乗客の手および指の動きのような詳細を含む、乗客のそれぞれの位置、配向、および運動を検出することができる。本実施形態で使用されるカメラは、光学的検出用に使用されるモーション・キャプチャ・カメラでよい。しかしながら、当業者なら、それだけではないが、赤外線カメラ、ＲＦＩＤカメラ、および電磁式カメラなど、他のタイプのカメラまたは検出システムが使用され得ることを理解するであろう。ゲームで動きの検出および処理のために使用されているＸＢＯＸ Ｋｉｎｅｃｔ（商標）または類似のシステムなどのシステムが使用され得ることが当業者には理解されよう。

図２は、図１の運転席１０のさらなる詳細を示す。特に、運転席１０は、運転席１０の各部に１つまたは複数の触覚アクチュエータ１１０を含み得る。図２に示された実施形態では、頭受け１２、背もたれ１４、およびシート基部１６には、触覚アクチュエータ１１０が組み込まれている。しかしながら、運転席１０において触覚アクチュエータ１１０が組み込まれる位置は、より多くてもより少なくてもよいことが当業者には理解されよう。以下でより詳細に説明されるように、触覚アクチュエータ１１０は、ジェスチャー・ベースの入力システムとともに使用される。さらに、図２には、運転席１０に組み込まれた触覚アクチュエータ１１０が示されているが、触覚アクチュエータは、助手席２０、運転席側の後部座席３０、および助手席側の後部座席４０にも組み込まれてよく、より詳細には、頭受け２２、３２、４２、背もたれ２４、３４、４４、およびシート基部２６、３６、４６のそれぞれに組み込まれてよい。

図３は、運転席１０と助手席２０の間に配設された肘掛け２８および中心コンソール２９の一部分を示す。肘掛け２８には、触覚アクチュエータ１１０が組み込まれてもよい。さらに、中心コンソール２９は、カメラまたは他のジェスチャー入力検出器６２を含み得る。ジェスチャー入力検出器６２は、中心コンソール２９で使用される状況では、カメラ６０の代わりになり得る。さらに、カメラまたはジェスチャー入力検出器６２が含み得るのは限定された視界であるため、ユーザは、カメラ６２の近傍でジェスチャーをしなければならない。ユーザの意図的でない運動は、車両システムを制御するためのジェスチャーとして検出されることがないので、そのような状況は望ましいものであり得る。また、カメラまたはジェスチャー入力検出器６２を表示システム５０から分離すると、ユーザは、表示器を見ることとジェスチャーとを区別するように心理的に訓練され得る。したがって、運転者は、表示器５０を見るのでなく道路から眼を離さない可能性が高くなり、このことは、以下でより詳細に説明される触覚フィードバック・システムによって支援されることになる。

触覚アクチュエータ１１０は、車両Ｖの他の共通の接触面に設けられてもよい。たとえば、限定するためではなく、図１に示されるように、ステアリング・ホイール１８は触覚アクチュエータ１１０を含み得る。さらに、ドアの肘掛け、後部乗客席の間の肘掛け、シートベルト、および車両の床などの他の面は、触覚アクチュエータ１１０を含み得る。さらに、触覚アクチュエータは、車両Ｖの運転者または乗客によって着用可能な物体または品目の中に設けられてもよい。たとえば、限定するためではなく、触覚アクチュエータ１１０は、運転者または乗客が触覚効果を直接感じられるように着用する、手袋、帽子、ネックレス、腕輪または腕飾り、および他の類似の品目の中に設けられてよい。

一実施形態では、触覚アクチュエータ１１０は、シート１０、２０、３０、４０の各部分、肘掛け２８、ステアリング・ホイール１８、または着用可能な物体など、たとえばアクチュエータ１１０が配置されている物体の振動を生成する振動触覚デバイスでよい。他のタイプの触覚フィードバックが提供されてもよい。たとえば、限定するためではなく、触覚アクチュエータ１１０は、ユーザに静電気摩擦または超音波摩擦を与えてもよい。ユーザには、筋肉感覚フィードバック（たとえば能動的で抵抗性の力フィードバック）、変形、および／または手ざわりなどの他のタイプの触覚フィードバックを含む、他のタイプの触覚フィードバックが生成されて与えられ得る。図１〜図３に示されるように、異なるユーザに触覚効果を与えるために、または、以下でより詳細に説明されるように、異なる事象を表わすために、複数の触覚アクチュエータが、車両Ｖの異なる領域に組み込まれてよい。触覚アクチュエータ１１０は、電磁電動機、偏心した質量を電動機で動かす偏心回転質量アクチュエータ（「ＥＲＭ」）、ばねに取り付けられた質量が前後に駆動される直線状共振アクチュエータ（「ＬＲＡ」）、形状記憶合金、信号に応答して変形する電気活性ポリマー、剛性を変化させるメカニズム、振動触覚アクチュエータ、慣性アクチュエータ、圧電アクチュエータ、可動磁石アクチュエータ、または他の適切なタイプの駆動デバイスを含み得る。

図４は、ジェスチャー・ベース入力および触覚フィードバック・システム１００の一実施形態のブロック図と、システム１００を使用するための流れ図とを示す。特に、ジェスチャー入力ブロック１０２は、運転者などの車両のユーザによるジェスチャーを表す。そのようなジェスチャーは、ユーザによる手および／または指のジェスチャーであると企図されている。他のジェスチャーも用いられてよい。ジェスチャーはユーザによって行われると、カメラまたは他のジェスチャー検出器６０は、ユーザのジェスチャーを検出する。上記で説明されたように、ジェスチャー検出器６０は、単一のカメラ、複数のカメラ、またはユーザの位置、配向、および動きを検出するように構成された他のデバイスでよい。

カメラまたはジェスチャー検出器６０は、ジェスチャーを検出したとき、ジェスチャー入力コントローラ／変換器１０４に信号を送る。ジェスチャー入力コントローラ／変換器１０４は、カメラ信号をジェスチャー信号に変換して、この信号をコンピュータ／コントローラ１０６に伝送する。たとえば、限定するためではなく、カメラ６０は、検出された手／指の位置、運動の速度／方向、およびユーザの手／指の位置、配向、および動きに関する他のデータの形式でデータを供給してよい。ジェスチャー入力コントローラ／変換器１０４は、このデータを、可能性のあるジェスチャーの表から特定のジェスチャーに変換する。たとえば、限定するためではなく、可能なジェスチャーには、特定の方向に手を振ること、上下左右への指の動き、手／指の回転、指でつまむこと／つままないこと、急速に手を振ること、カメラに向かう指の動き、および当業者に既知の他のジェスチャーが含まれ得る。必要に応じて、精巧なジェスチャー検出システムが、たとえば、人さし指の動きを、動きによって小指の動きから区別するように、個々の指を検出してよい。しかしながら、以下でより詳細に説明されるように、相互通信型触覚フィードバック・システムを用いると、運動の小さな変化を認識したり、小さな変化の間を区別したりする必要のないシステムが可能になる。したがって、それほど高価でないジェスチャー認識システムが、相互通信型触覚フィードバック・システムと組み合わせて使用され得る。

ジェスチャー入力コントローラ／変換器１０４がデータを変換した後、ジェスチャー信号がコンピュータ／コントローラ１０６に送られる。当業者なら、ジェスチャー入力コントローラ／変換器１０４をコンピュータ／コントローラ１０６と結合してもよいことを理解するであろう。図４に示される実施形態では、コンピュータ／コントローラ１０６は、ジェスチャー信号を受け取ったとき、このデータを処理して、３つの異なるデバイスに信号を供給する。特に、コンピュータ／コントローラ１０６は、触覚の表１０８から選択された触覚効果とジェスチャー信号を照合する。たとえば、限定するためではなく、触覚効果が全般的に振動性の効果であれば、特定の振動性の効果が、度合い、大きさ、周波数、および／または持続時間に関して選択される。さらに、ジェスチャー・ベースの入力システムが複数のユーザからの入力を許容する場合、コンピュータ／コントローラ１０６は、触覚効果を伝えるべきユーザを選択する。さらに、一実施形態では、個人ユーザ向けに異なる触覚アクチュエータ１１０が選択されてよい。たとえば、限定するためではなく、運転席１０の頭受け１２の触覚アクチュエータ１１０の活性化は、運転席１０のシート基部１６の触覚アクチュエータ１１０の活性化とは異なるフィードバックの意味を有し得る。本質的には、コンピュータ／コントローラ１０６は、信号を送るべき触覚アクチュエータ１１０を選択する。したがって、コンピュータ／コントローラ１０６は、触覚の表１０８からの特定の触覚効果と、効果を適用する特定の触覚アクチュエータ１１０とを選択する。次いで、選択された触覚効果のための信号が、選択された触覚アクチュエータ１１０に送られる。

同時に、コンピュータ／コントローラ１０６は、表示器５０に信号を送って、採用する動作を示す。たとえば、限定するためではなく、ユーザがアイコン（たとえばラジオ、ナビゲーション、温度調節など）を選択すると、コンピュータ／コントローラ１０６は、選択されたアイコンを強調するための信号を表示器５０に送る。さらに、選択されたアイコンと関連した何らかのサブメニューが示されることになる。たとえば、限定するためではなく、図５は、主メニュー５２およびサブメニュー５４を有する例示的表示器を示す。以下でより詳細に説明されるように、ジェスチャーは、図５に示されるような主メニュー５２上の温度調節アイコンを選択するものと解釈されてよい。そのような選択に伴って、図５に示されるように、コンピュータ／コントローラ１０６は、温度調節アイコンを強調する信号を表示器に送る。温度調節アイコンが選択されると、温度調節と関連したサブメニュー５４が出現する。同様に、主メニュー５２上の他のアイコンのうちのどれかが選択されると、その主メニューと関連したサブメニューが出現することになる。

さらに、ユーザのジェスチャーを特定のシステムの制御に用いる場合には、コンピュータ／コントローラ１０６は、車両システム１１２に対して、選択された制御を遂行するための信号も送る。たとえば、限定するためではなく、主メニュー５２の温度調節アイコンが選択されたとき、運転席側の温度を上昇させるジェスチャーが、前述のようにカメラ６０によって認識されて処理されると、コンピュータ／コントローラ１０６は、たとえば車両の温度調節システムに対して、運転席側の通気孔を通じて送風される高温の空気を増加させる信号を送る。別の例では、主メニュー５２からラジオ・アイコンが選択されて、音量を増加するための特定のジェスチャーが認識されると、コンピュータ／コントローラ１０６は、ラジオ制御システム１１２に対して音量を増加する信号を送る。そのような信号は、ＣＤプレーヤ、ナビゲーション・システム、電話、ＤＶＤプレーヤ、ゲームシステム、または他の車両システムもしくはサブシステム、または車両システムに結合された補助システムなどの他の車両制御システム１１２に送られることになる。さらに、表示器５０は、他の車両システムとは別個に識別されているが、表示器５０は車両システムのうちの１つであって、別個に識別される必要性はないことを、当業者なら認識するであろう。アイコンの強調などのいくつかの動作がもたらすのは、表示器に対する作用のみであるが、他の動作は、他の車両システムに対する作用のみ、または他の車両システムに対する作用と表示器に対する作用の両方、のいずれかをもたらすので、表示器５０は、この説明では便宜上別個に識別される。

したがって、上記で説明された触覚フィードバックは、ジェスチャー・ベースの入力に基づいて採用される作用を確認する、または説明するために用いることができる。以下の表１に要約され、図５に示されるシステムなどのシステムに関して説明される一例では、車両Ｖの運転者のジェスチャーは、カメラ６０によって監視される。以下の例は、運転者のジェスチャーと、運転者が感じる、以下で説明される特定の触覚効果に関して説明されるが、当業者なら、類似のジェスチャーが車両の中の乗客によって行われてよく、そのようなジェスチャーがカメラ６０または他のカメラによって検出されてよく、触覚効果がジェスチャーをしている乗客に与えられ得ることを理解するであろう。もちろん、当業者なら、いくつかの実施形態では、車両の運転者のみが触覚フィードバックを感知し、乗客は、道路から眼を離してもよいので、音声または視覚などの他のタイプのフィードバックを受け取り得ることを認識するであろう。しかしながら、乗客にとって、ゲームシステムまたはビデオシステムなどの車両の中の娯楽システムと相互作用しているときには、触覚効果によって経験が向上するのが望ましいはずである。

表１に関して論じられる特定の例では、運転者が手／指を振ってシステムを起動する。したがって、コンピュータ／コントローラ１０６は、表１０８から短時間振動の触覚効果を選択するための信号を送り、選択した信号を、運転席１０のものなど、運転者と関連した触覚アクチュエータ１１０に送る。運転者は、短時間振動を感じると、指または手で主メニュー５２にわたってたどり始めてよい。運転者が指／手を動かしているとき、表示器５０上のポインタがスクリーンにわたって移動していることを、軽い連続振動によって運転者に知らせる。ポインタが主メニュー５２上の温度調節アイコンなどの選択可能な領域に達すると、振動の強度が中間の連続振動へと引き上げられる。運転者は、指でつまみ取ることによってアイコンを選択することができる。コンピュータ／コントローラ１０６は、ジェスチャーを認識すると、触覚効果の表１０８から複数の短時間振動を選択するための信号を送り、運転者と関連した触覚アクチュエータ１１０に対して、そのような振動のための信号を送ることになる。同時に、信号が表示器５０に送られて、温度調節アイコンが強調され、表示器には、図５に示されるように、サブメニュー５４上に温度調節サブメニューの選択肢が表示される。ユーザは、触覚効果によって、アイコンが選択されたことを知ることができる。運転者が表示器５０を注視する必要性をさらに回避するために、運転者がシステムを活性化したとき、表示器５０が常に特定のアイコンから始まってもよい。これによって、ユーザは、アイコンが選択される順番に慣れることができる。たとえば、表示器５０が常にラジオ・アイコンから始まるなら、運転者には、４番目に中間強度の連続振動を感じたとき、ポインタが温度調節アイコン上にあることが分かる。どの特定のアイコンが選択されているか運転者が認識することを可能にする、他の多くの変形形態が可能である。たとえば、限定するためではなく、各アイコンは、特定の効果または運転者が効果を感じる位置などによって、それ自体の触覚効果を伴って示され得る。たとえば、限定するためではなく、ラジオ・アイコンが選択されたとき、触覚効果は、運転席１０の頭受け１２の触覚アクチュエータ１１０によって伝えられてよく、温度調節アイコンが選択されたときには、触覚効果は、運転席１０のシート基部１４の触覚アクチュエータによって伝えられてよい。もちろん、制御されるシステムの数に依拠して、他の変形形態が必要になることもあるであろう。たとえば、限定するためではなく、音声と関連した各アイコンは、頭受け１２の触覚アクチュエータ１１０に伝えられる触覚効果に関連付けられてよく、１回の振動をラジオとし、２回の振動をＣＤプレーヤとし、３回の振動を電話とするなど、それぞれが独自の触覚効果を有する。同様に、温度調節アイコンの選択が、シート基部１２に１回の振動をもたらしてよく、ナビゲーション・アイコンの選択が、シート基部１４に２回の振動をもたらしてよい。同様に、すべての触覚効果が単一の触覚アクチュエータによって伝えられる場合、アイコンを区別するために触覚効果の変化を使用することが可能であろう。
前述のように、主メニュー５２からアイコンが選択されて、選択されたシステムに関するサブメニュー５４が出現すると、運転者は、サブメニュー５４上に表示されているような選択したシステムを制御するためのさらなるジェスチャーをしてよい。したがって、図５および表１に与えられた例では、運転者は、温度調節アイコンを選択すると、主メニュー５２に関して上記で説明されたのと同様に、サブメニュー５４の上部のバーに沿って指を動かして項目を選択してよく、適切な触覚効果が与えられる。たとえば、限定するためではなく、運転者は、サブメニュー５４の上部のバーで「自動」を選択すると、回転式ダイヤルまたはつまみと同様に、手を時計回りに回転させて温度を上昇させたり、反時計回りに回転させて温度を低下させたりしてよい。カメラ６０がそのようなジェスチャーを認識すると、コンピュータ／コントローラ１０６は、触覚効果表１０８から大きさが増加する連続振動の触覚効果を選択する信号を送り、そのような効果に関する信号が、運転者と関連した触覚アクチュエータ１１０に送られ、運転者が効果を感じる。同時に、温度スライドにおける上向矢印を強調し、かつ示された温度設定を上昇させるために、信号が表示器５０に送られる。また、温度を選択された値に設定するために、車両温度調節システムに信号が送られる。

当業者なら、上記の説明および表の１が与えるのは、使用可能なジェスチャーおよび触覚効果のタイプの例のみであることを認識するであろう。類似の手のジェスチャーおよび触覚効果が、他の車両システムを制御するのに用いられ得る。さらに、異なるジェスチャーおよび触覚効果が用いられ得る。ジェスチャー識別および触覚効果フィードバック・システムの所望の目的は、表示器の方へ手を伸ばしたり、表示器を注視したりして、運転者が気を散らすことのないように、また、所望の操作がジェスチャー指令に応答して行われ、運転者または乗客が快適であるように、運転者または乗客のために、簡単な方法で、十分な触覚効果フィードバックを伴って車両システムを制御することを可能にすることである。さらに、そのような触覚フィードバックを与えることは、運転者および／または乗客の経験を高めるために用いられてよい。

さらに、上記で説明された実施形態は、触覚効果フィードバックを伴うジェスチャー・ベースの入力システムに関連するものであるが、当業者なら、高度なジェスチャーを検出するのは高くつく可能性があることを認識するであろう。したがって、図６および以下の表２は、上記の実施形態のように、触覚効果フィードバックが指令を確認するのに用いられる、ジェスチャー・ベースの入力と音声入力が組み合わされた実施形態を示す。特に、図６は、ジェスチャーおよび音声ベースの入力ならびにフィードバックのシステム２００の一実施形態のブロック図と、システム２００を使用するための流れ図とを示す。

図６では、ジェスチャー入力ブロック２０２は、運転者などの車両のユーザによるジェスチャーを表す。そのようなジェスチャーは、ユーザによる手および／または指のジェスチャーであると企図されている。他のジェスチャーも用いられてよい。ジェスチャーがユーザによって行われていると、カメラまたは他のジェスチャー検出器６０は、ユーザのジェスチャーを検出する。上記で説明されたように、ジェスチャー検出器６０は、単一のカメラ、複数のカメラ、またはユーザの位置、配向、および運動を検出するように構成された他のデバイスでよい。

同様に、ボイス／音声入力ブロック２１４は、運転者などの車両のユーザによって行われる音響または音声の指令を表す。そのようなボイス指令は、たとえば以下で表２に示される簡単なボイス指令であるように企図されている。他のボイス指令も用いられてよい。音声入力検出器またはマイクロフォン６４が、音声／ボイス指令を検出する。マイクロフォン６４は、図１に示されるようにカメラ６０に隣接して、または当業者に知られているように、車両Ｖの他のどこかに配置されてよい。

カメラまたはジェスチャー検出器６０は、ジェスチャーを検出したとき、ジェスチャー入力コントローラ／変換器２０４に信号を送る。ジェスチャー入力コントローラ／変換器２０４は、カメラ信号をジェスチャー信号に変換して、コンピュータ／コントローラ２０６に信号を伝送する。たとえば、限定するためではなく、カメラ６０は、検出された手／指の位置、運動の速度／方向、およびユーザの手／指の位置、配向、および動きに関する他のデータの形式でデータを供給してよい。ジェスチャー入力コントローラ／変換器２０４は、このデータを、可能性のあるジェスチャーの表から特定のジェスチャーに変換する。たとえば、限定するためではなく、可能なジェスチャーには、特定の方向に手を振ること、上下左右への指の動き、手／指の回転、指でつまむこと／つままないこと、急速に手を振ること、カメラに向かう、またはカメラから遠ざかる指の動き、および当業者に既知の他のジェスチャーが含まれ得る。必要に応じて、精巧なジェスチャー検出システムが、たとえば、人さし指の動きを、動きによって小指の動きから区別するように、個々の指を検出してよい。しかしながら、以下でより詳細に説明されるように、相互通信型触覚フィードバック・システムを用いると、運動の小さな変化を認識したり、小さな変化の間を区別したりする必要のないシステムが可能になる。したがって、それほど高価でないジェスチャー認識システムが、相互通信型触覚フィードバック・システムと組み合わせて使用され得る。

同様に、マイクロフォン６４は、音声を検出したとき、音声入力コントローラ／変換器２１８に信号を送る。音声入力コントローラ／変換器２１８は、ボイス信号を、ボイス指令を表すデータ信号に変換して、コンピュータ／コントローラ２０６に伝送する。

ジェスチャー入力コントローラ／変換器２０４および／または音声入力コントローラ／変換器２１８がデータを変換した後、信号がコンピュータ／コントローラ２０６に送られる。当業者なら、ジェスチャー入力コントローラ／変換器２０４、音声入力コントローラ／変換器２１８、およびコンピュータ／コントローラ２０６は、本発明から逸脱することなく組み合わされ得ることを認識するであろう。図６に示される実施形態では、コンピュータ／コントローラ２０６は、ジェスチャー信号または音声信号を受け取ったとき、このデータを処理して、３つの異なるデバイスに信号を供給する。具体的には、コンピュータ／コントローラ２０６は、触覚の表２０８から選択される触覚効果にジェスチャー信号または音声信号を照合する。たとえば、限定するためではなく、触覚効果が全般的に振動性の効果であれば、特定の振動性の効果が、度合い、大きさ、周波数、および／または持続時間に関して選択される。さらに、ジェスチャーおよび音声ベースの入力システムが複数のユーザからの入力を許容する場合、コンピュータ／コントローラ２０６は、触覚効果を伝えるべきユーザを選択する。さらに、一実施形態では、個人ユーザ向けに異なる触覚アクチュエータ１１０が選択されてよい。たとえば、限定するためではなく、運転席１０の頭受け１２の触覚アクチュエータ１１０の活性化は、運転席１０のシート基部１６の触覚アクチュエータ１１０の活性化とは異なるフィードバックの意味を有し得る。本質的には、コンピュータ／コントローラ２０６は、信号を送るべき触覚アクチュエータ１１０を選択する。したがって、コンピュータ／コントローラ２０６は、触覚の表２０８からの特定の触覚効果と、効果を適用する特定の触覚アクチュエータ１１０とを選択する。次いで、選択された触覚効果のための信号が、選択された触覚アクチュエータ１１０に送られる。

同時に、コンピュータ／コントローラ２０６は、表示器５０に信号を送って、行われている動作を示す。たとえば、限定するためではなく、ユーザがアイコン（たとえばラジオ、ナビゲーション、温度調節など）を選択すると、コンピュータ／コントローラ２０６は、選択されたアイコンを強調するための信号を表示器５０に送る。さらに、選択されたアイコンと関連した何らかのサブメニューが示されることになる。たとえば、限定するためではなく、図５は、主メニュー５２およびサブメニュー５４を有する例示的表示器を示す。ジェスチャーまたはボイス指令を用いるなどして、主メニュー５２上で温度調節アイコンが選択されると、図５に示されるように、コンピュータ／コントローラ２０６は、温度調節アイコンを強調するための信号を表示器５０に送る。温度調節アイコンが選択されると、温度調節と関連したサブメニュー５４が出現する。同様に、主メニュー５２上の他のアイコンのうちのどれかが選択されると、その主メニューと関連したサブメニューが出現することになる。

さらに、ユーザのジェスチャーまたは音声指令を特定のシステムの制御に用いる場合には、コンピュータ／コントローラ２０６は、車両システム２１２に対して、選択された制御を遂行するための信号も送る。たとえば、限定するためではなく、主メニュー５２の温度調節アイコンが選択されたとき、運転席側の温度を上昇させるためにジェスチャーまたは音声指令が用いられ、カメラ６０／マイクロフォン６４によって認識されて、前述のように処理されると、コンピュータ／コントローラ２０６は、たとえば車両の温度調節システムに対して、運転席側の通気孔を通じて送風される高温の空気を増加させる信号を送る。別の例では、主メニュー５２からラジオ・アイコンが選択されて、音量を増加するための特定のジェスチャーまたは音声指令が与えられると、コンピュータ／コントローラ２０６は、ラジオ制御システム２１２に対して音量を増加する信号を送る。そのような信号は、ＣＤプレーヤ、ナビゲーション・システム、電話、ＤＶＤプレーヤ、ゲームシステム、または他の車両システムもしくはサブシステム、または車両システムに結合された補助システムなどの他の車両制御システム２１２に送られることになる。さらに、表示器５０は、他の車両システムとは別個に識別されているが、表示器５０は車両システムのうちの１つであって、別個に識別される必要性はないことを、当業者なら認識するであろう。アイコンの強調などのいくつかの動作がもたらすのは、表示器に対する作用のみであるが、他の動作は、他の車両システムに対する作用のみ、または他の車両システムに対する作用と表示器に対する作用の両方、のいずれかをもたらすので、表示器５０は、この説明では便宜上分かれて識別される。

したがって、上記で説明された触覚フィードバックは、ジェスチャー・ベースの入力に基づいて採用される作用を確認する、または説明するために用いることができる。以下の表２に要約され、図５に示されるシステムなどのシステムに関して説明される一例では、車両Ｖの運転者は、カメラ６０によって監視されるジェスチャーをするとともに、マイクロフォン６４によって受け取られるボイス指令を与える。以下の例は、運転者のジェスチャーおよびボイス指令と、以下で説明される特定の触覚効果とに関して説明されるが、当業者なら、類似のジェスチャーおよびボイス指令が車両の中の乗客によって行われてよく、そのようなジェスチャーおよびボイス指令がカメラ６０／マイクロフォン６４または他のカメラ／マイクロフォンによって検出されてよく、触覚効果が、ジェスチャー／ボイス指令を与えているユーザに提供され得ることを認識するであろう。もちろん、当業者なら、いくつかの実施形態では、車両の運転者のみが触覚フィードバックを感知し、乗客は、道路から眼を離してもよいので、音声または視覚などの他のタイプのフィードバックを受け取り得ることを認識するであろう。しかしながら、乗客にとって、ゲームシステムまたはビデオシステムなどの車両の中の娯楽システムと相互作用しているときには、触覚効果によって経験が向上するのが望ましいはずである。

ジェスチャー・ベースの入力、音声ベースの入力、および触覚効果フィードバックを組み合わせる特定の例において、表２は、様々な車両システムを制御するための様々な手のジェスチャーおよびボイス指令と、そのような動作と関連した触覚効果とを示す。表２は、図５に示す例示的表示器５０に関して説明することになる。したがって、運転者は、表１に関して上記で説明されたように、手または指を振ってシステムを活性化してよい。したがって、コンピュータ／コントローラ２０６は、表２０８から短時間振動の触覚効果を選択するための信号を送り、選択した信号を、運転席１０のものなど、運転者と関連した触覚アクチュエータ１１０に送る。運転者は、短時間振動を感じると、指または手を動かして主メニュー５２にわたってたどり始めてよい。運転者が指／手を動かしているとき、表２の「基本的ナビゲーション」に示されるように、運転者の手／指が主メニュー５２の中のアイコンの上にくると、軽い連続振動で運転者に知らせる。次いで、運転者は、表２に示されるように、「選択」または「はい」などのボイス指令を与えることによってアイコンを選択することができる。コンピュータ／コントローラ２０６は、ボイス指令を認識すると、触覚効果表から短時間振動を選択するための信号を送り、運転者と関連した触覚アクチュエータ１１０に対して、そのような振動のための信号を送ることになる。同時に、信号が表示器５０に送られて、温度調節アイコンが強調され、表示器には、図５に示されるように、サブメニュー５４上に温度調節サブメニューの選択肢が表示される。運転者は、触覚効果によって、アイコンが選択されたことを知ることができる。前述のように、所望のアイコンが選択されたことに運転者が気付いていることを確認するのに、主メニュー５２上の、各車両システムと関連した異なる触覚効果など、触覚フィードバックのためのいくつかの選択肢が用いられ得る。

前述のように、主メニュー５２からアイコンが選択されて、選択されたシステムに関するサブメニュー５４が出現すると、運転者は、サブメニュー５４上に表示されている選択したシステムを制御するためのさらなるジェスチャーをしてよい。したがって、図５および表２に与えられた例では、運転者は、温度調節アイコンを選択すると、主メニュー５２に関して上記で説明されたのと同様に、サブメニュー５４の上部のバーに沿って指を動かして項目を選択してよく、適切な触覚効果が与えられる。たとえば、限定するためではなく、運転者がサブメニュー５４の上部のバーに沿ってアイコンの上で手／指を移動させるとき、表２の「基本的ナビゲーション」機能が用いられる。したがって、運転者の手／指が「自動」アイコンの上にとどまると、触覚アクチュエータ１１０から軽い連続振動が感じられる。さらに、運転者は、前述のように「選択」または「はい」のボイス指令によって「自動」アイコンを選択し得る。コンピュータ／コントローラ２０６は、ボイス指令を認識すると、短時間振動用の信号を触覚アクチュエータ１１０に送り、「自動」アイコンを強調するための信号を表示器５０に送る。

サブメニューが選択されているとき、次いで、運転者はサブメニューの中の他の作業を遂行することができる。たとえば、運転者は、図５の運転者側の温度読取り値７２の上で指を移動することができる。運転者は、軽い連続振動などの触覚効果によって、温度が選択されていることを確認する。次いで、表２の「値の変更、直接入力、テキスト入力」の行に示されるように、運転者は、「７４」などのボイス指令によって運転席側の温度の値を変化させることができる。したがって、コンピュータ／コントローラ２０６は、短時間振動用の信号を触覚アクチュエータ１１０に送り、示された運転席側の温度設定を「７２」から「７４」へ変更する信号を表示器５０に送り、温度調節システムに信号を送って、車両ＨＶＡＣシステムによって運転席側に７４度の温度をもたらす。

表２は、運転者が、ジェスチャーおよび音声入力と触覚効果フィードバックとの組合せを、表示器５０を注視する必要なく、様々な車両機能の選択および制御を比較的簡単に行なうのに用いることができる様子を示す。特定のサブメニュー選択が上記で説明されているが、コンピュータ／コントローラ２０６によって指令が処理されたとのフィードバックをもたらす状況で、表２に示されている対応する触覚効果が、主メニュー５２上のラジオ・アイコンを選択して局を変える、または音量を上げたり下げたりするボイス指令を用いることなどして、他の車両システムが表２に説明されるように制御され得ることを、当業者なら認識するであろう。

表３に関して以下で説明される別の実施形態では、前席の乗客と後席の乗客の間の相互作用が触覚フィードバック・システムに組み込まれる。図４または図６に示される実施形態は、表３に示される応答を実行するのに用いることができる。

前述のように、ジェスチャー、指令、および表１〜３に関して説明された特定の触覚効果は、単なる例である。当業者なら、本発明の範囲および内容から外れずに、特定のジェスチャー、指令、およびもたらされる触覚効果の無限の変化を企図することができる。

したがって、様々な実施形態が上記で説明されているが、本発明の説明および具体例としてのみ提示されており、限定するためではないことを理解されたい。当業者には、本発明の趣旨および範囲から逸脱することなく、形態および詳細における様々な変更形態を製作し得ることが明らかであろう。したがって、本発明の幅広さおよび範囲は、前述の例示的実施形態のうちのいかなるものによっても限定されるべきではなく、添付の特許請求の範囲およびそれらの等価物によってのみ定義されるべきである。本明細書で論じられた各実施形態の特徴および本明細書で引用された各参照の特徴は、任意の他の実施形態の特徴と組み合わせて用いられ得ることも理解されよう。本明細書で論じられたすべての特許および刊行物は、それらの全体が参照によって本明細書に組み込まれる。

Claims (23)

1. 複数の車両システムのうちの１つまたは複数を制御するためのシステムであって、
   車両の運転者または乗客に触覚フィードバックを与えるように構成された触覚アクチュエータと、
   前記車両の内部に配設されたジェスチャー検出デバイスであって、前記車両の運転者または乗客の運動を捕捉して、前記車両の運転者または乗客が行ったジェスチャーを表すデータを出力するように構成されているジェスチャー検出デバイスと、
   前記ジェスチャー検出デバイスに結合され、前記ジェスチャー検出デバイスから前記ジェスチャーを表す信号を受け取るように構成されているコントローラであって、触覚効果フィードバック・システムおよび前記複数の車両システムに結合されているコントローラとを備え、
   前記コントローラは、前記ジェスチャーを表す信号に基づいて、効果表から触覚効果を選択するための信号を送り、前記触覚アクチュエータに対して、前記選択された触覚効果を与えるための信号を送るように構成されており、
   前記コントローラは、前記ジェスチャーを表す前記信号に基づいて、前記複数の車両システムのうちの少なくとも１つに対して、特定の動作を遂行させるための信号を送るようにさらに構成されており、前記車両システムの前記特定の動作は、前記選択された触覚効果と整合するものであるシステム。
2. 前記車両システムは表示器であって、前記コントローラから前記表示器への前記信号は前記表示器上のアイコンを強調する、請求項１に記載のシステム。
3. 前記コントローラは、前記複数の車両システムのうちの第２のものに対して、特定の動作を遂行させるための信号を送るようにさらに構成されており、前記複数の車両システムの第２のものの前記特定の動作は、前記表示器および前記触覚効果の特定の動作と整合するものである、請求項２に記載のシステム。
4. 前記複数の車両システムは、表示器、ラジオ、ＣＤプレーヤ、温度調節システム、ナビゲーション・システム、ブルートゥース・システム、および補助デバイス・システムから成るグループから選択されたものである、請求項１に記載のシステム。
5. 前記触覚アクチュエータは、電磁モータ・アクチュエータ、偏心回転質量、直線状共振アクチュエータ、形状記憶合金アクチュエータ、電気活性高分子アクチュエータ、振動触覚アクチュエータ、慣性アクチュエータ、圧電アクチュエータ、および可動磁石アクチュエータから成るグループから選択されたものである、請求項１に記載のシステム。
6. 前記触覚アクチュエータは、前記車両の内部の部分に結合されている、請求項１に記載のシステム。
7. 前記触覚アクチュエータは、シート、ステアリング・ホイール、肘掛け、ドアの肘掛け、またはシートベルトのうちの少なくとも１つに結合されている、請求項６に記載のシステム。
8. 前記触覚アクチュエータは、前記車両の運転者または乗客によって着用可能な物体に結合されている、請求項１に記載のシステム。
9. 前記車両の運転者または乗客によって着用可能な前記物体は、手袋、帽子、腕輪、または腕飾りのうちの少なくとも１つである、請求項８に記載のシステム。
10. 前記ジェスチャー検出デバイスは少なくとも１つのカメラである、請求項１に記載のシステム。
11. 前記車両の内部に配設され、前記車両の運転者または乗客のボイス指令を受け取って前記ボイス指令を表すデータを出力するように構成されている音声検出デバイスをさらに備え、
    前記コントローラは、前記音声検出デバイスに結合され、前記音声検出デバイスから前記ボイス指令を表す信号を受け取るように構成されており、
    前記コントローラは、前記ボイス指令を表す前記信号に基づいて、前記効果表から触覚効果を選択するための信号を送り、前記触覚アクチュエータに対して、前記選択された触覚効果を与えるための信号を送るように構成されており、
    前記コントローラは、前記ボイス指令を表す前記信号に基づいて、前記複数の車両システムのうちの前記少なくとも１つに対して、特定の動作を遂行させるための信号を送るようにさらに構成されており、前記車両システムの前記特定の動作は、前記選択された触覚効果と整合するものである、請求項１に記載のシステム。
12. 前記音声検出デバイスはマイクロフォンを備える、請求項１１に記載のシステム。
13. 複数の車両システムのうちの１つまたは複数を制御する方法であって、
    前記車両の運転者または乗客の動きを追跡して、ジェスチャーの表から、前記運転者または乗客のジェスチャーを検出するステップと、
    前記検出されたジェスチャーに基づいて、効果の表から触覚効果を選択するステップと、
    触覚アクチュエータによって前記運転者または乗客に前記触覚効果を与えるステップと、
    前記検出されたジェスチャーに基づき、前記複数の車両システムのうちの少なくとも１つを制御して、特定の動作を遂行するステップであって、複数の車両システムのうちの前記少なくとも１つの前記特定の動作は、前記選択された触覚効果と整合するものであるステップとを含む方法。
14. 前記車両システムは表示器であり、前記特定の動作は、前記検出されたジェスチャーに基づいて前記表示器上のアイコンを強調するものである、請求項１３に記載の方法。
15. 前記複数の車両システムのうちの少なくとも第２のものを制御して特定の動作を遂行するステップであって、前記複数の車両システムの第２のものの前記特定の動作は、前記表示器および前記触覚効果の前記特定の動作と整合するものであるステップをさらに含む、請求項１４に記載の方法。
16. 前記複数の車両システムは、表示器、ラジオ、ＣＤプレーヤ、温度調節システム、ナビゲーション・システム、ブルートゥース・システム、および補助デバイス・システムから成るグループから選択された複数の車両システムを含む、請求項１３に記載の方法。
17. 前記触覚アクチュエータは、電磁モータ・アクチュエータ、偏心回転質量、直線状共振アクチュエータ、形状記憶合金アクチュエータ、電気活性高分子アクチュエータ、振動触覚アクチュエータ、慣性アクチュエータ、圧電アクチュエータ、および可動磁石アクチュエータから成るグループから選択されたものである、請求項１３に記載の方法。
18. 前記触覚アクチュエータは前記車両の内部に結合されている、請求項１３に記載の方法。
19. 前記触覚アクチュエータは、シート、ステアリング・ホイール、肘掛け、ドアの肘掛け、またはシートベルトのうちの少なくとも１つに結合されている、請求項１８に記載の方法。
20. 前記触覚アクチュエータは、前記運転者または乗客によって着用可能な物体に結合されている、請求項１３に記載の方法。
21. 前記運転者または乗客の運動を追跡する前記ステップはカメラによって遂行される、請求項１３に記載の方法。
22. 前記車両内の音声を検出して、前記車両の運転者または乗客からのボイス指令を検出するステップと、
    前記検出されたボイス指令に基づいて、効果の表から触覚効果を選択するステップと、
    前記触覚アクチュエータによって前記触覚効果を与えるステップと、
    前記検出されたボイス指令に基づき、前記複数の車両システムのうちの少なくとも１つを制御して、特定の動作を遂行するステップであって、複数の車両システムのうちの前記少なくとも１つの前記特定の動作は、前記選択された触覚効果と整合するものであるステップとをさらに含む、請求項１３に記載の方法。
23. 前記車両内の音声を検出する前記ステップはマイクロフォンによって遂行される、請求項２２に記載の方法。

Images