JP2015125778A - ジェスチャベース制御システムのための平面場アクティブ化のシステムおよび方法 - Google Patents

ジェスチャベース制御システムのための平面場アクティブ化のシステムおよび方法 Download PDF

Info

Publication number
JP2015125778A
JP2015125778A JP2014261826A JP2014261826A JP2015125778A JP 2015125778 A JP2015125778 A JP 2015125778A JP 2014261826 A JP2014261826 A JP 2014261826A JP 2014261826 A JP2014261826 A JP 2014261826A JP 2015125778 A JP2015125778 A JP 2015125778A
Authority
JP
Japan
Prior art keywords
space
gesture
user
vehicle
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014261826A
Other languages
English (en)
Inventor
エイ ナガラ ウェス
A Nagara Wes
エイ ナガラ ウェス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visteon Global Technologies Inc
Original Assignee
Visteon Global Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visteon Global Technologies Inc filed Critical Visteon Global Technologies Inc
Publication of JP2015125778A publication Critical patent/JP2015125778A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】電子システムのジェスチャベース制御のためのシステムおよび方法が本明細書で提供される。【解決手段】本システムは、ジェスチャベース入力を認識するための認識装置;ジェスチャベース入力が存在する空間の部分を検出するための空間検出器;ならびに空間の部分およびジェスチャベース入力を電子システムと関連付けられた事前定義された動作と相互に関連付けるための相関器を含む。【選択図】図1

Description

関連出願の相互参照
本米国特許出願は、現在係属中の、2013年12月26日に出願された「System and Method of Plane Field Activation for a Gesture−Based Control System」という名称の米国特許出願第61/920,983号に対する優先権を主張する。本特許出願は、米国特許出願第61/920,983号の詳細な説明全体を包含する。
過去および現在の技術は、通常、車両および他のユーザー電子機器の両方において、ある機能を作動させるためにボタンまたは画面との物理的接触を必要とする。しかし、技術の使用をユーザーにとってさらに容易にしようとして、製造業者は、物理的接触を除外するためのマン・マシン・インタフェースまたはジェスチャベース制御システムの研究および開発を開始した。
ジェスチャベース制御システムは、ユーザーが、タッチスクリーンまたはプッシュボタンなどの、物理インタフェースとやりとりする必要なく、異なる機構とやりとりすることを可能にする。技術が進歩するにつれて、ジェスチャベース制御が現実のものとなり、自動車制御ならびに、コンピュータ、タブレット、ビデオゲーム、およびスマートフォンなどの、スマートデバイスの両方において、何年にもわたってますます普及してきている。
現在のところ、自動車制御およびスマートデバイスの両方におけるジェスチャベース制御システムは、使用が限定されている。通常、これらのシステムは、ある機能を実行するために、センサーまたはカメラおよびコントローラを利用する。センサーまたはカメラは、車両ユーザーインタフェースの前、またはハンドルの前などの、センサーまたはカメラが配置される所定の領域内でジェスチャを検出し得る。かかる領域は、通常、車両内で事前にプログラムされている。さらに、センサーまたはカメラは、車両の製造業者によって予め決められているジェスチャも検出し得る。言い換えれば、ユーザーの手のある方向での一振りなどのあるジェスチャは、空調のスイッチオンまたは調整などの、ある機能に対応する。加えて、かかるジェスチャは、ある所定の領域に対応し得る。例えば、ユーザーが車両内の温度を調整したい場合、ユーザーは、車両内の空調装置の前などの所定の領域でのユーザーの手の一振りなどの、温度を調整するための所定のジェスチャを実行する。
かかるジェスチャベース制御システムは、ユーザーに、調整または、彼ら自身のジェスチャおよびジェスチャが実行されるべき彼ら自身の領域を定義する創造性の余地をほとんど残していない。加えて、かかるシステムは、ユーザーの身体能力に基づき、かかるジェスチャを実行するか、またはかかる領域に達することができない可能性がある、あるユーザーにとっては助けとならない可能性がある。その上、かかる所定のジェスチャまたは領域はユーザーにとって直感的または自然でない可能性がある。
本開示の態様は、平面場アクティブ化(plane field activation)のためのシステムおよびジェスチャベース制御のために平面をアクティブ化するための方法を提供する。
平面場アクティブ化システムは、ユーザーがジェスチャを実行するときに、ユーザーの手および指を検出するように構成されたジェスチャ検出装置を含み得る。ジェスチャ認識装置は、車両キャビンなどの、どこにでも配置され得る。変換モジュールは、実行されたジェスチャを示す信号をジェスチャ認識装置から受信するために、ジェスチャ認識装置に通信的に接続され得る。変換モジュールは、信号を読取り可能な一連のデータに変換する。システムは、実行されたジェスチャを選択された機構又は機能および、車両内の空間内の選択ポイントと相互に関連付けるように構成され得る、変換モジュールに通信的に接続された相関モジュールも含み得る。相関モジュールは、空間内の選択されたポイントおよび対応する機構又は機能およびジェスチャをメモリ内に格納する電子制御装置に通信的に接続され得る。電子制御装置は、車両内の機構又は機能を制御および調整するようにも構成され得る。加えて、システムは、空間内のポイント、機構又は機能、および所望のジェスチャを選択するために利用され得るユーザーインタフェースを含み得る。
ジェスチャベース制御のために車両内の空間内のポイントを定義するための方法は、ユーザーインタフェースを介して平面場アクティブ化モードを作動させることを含む。平面場アクティブ化モードが作動されると、機構又は機能を作動させるための空間内のポイントが、ジェスチャ認識装置を使用して選択され得る。方法は、ユーザーインタフェースを介して空間内の選択されたポイントに対応する機構又は機能を選択することも含む。ジェスチャは、ユーザーインタフェースを同様に採用して、空間内の選択されたポイントおよび選択された機構又は機能に対応するように選択され得る。
本明細書で開示される態様は、様々な利点を提供する。例えば、ユーザーは、彼らが、車両の特定の機構又は機能を制御するためにジェスチャを実行し得る領域を定義し得る。ユーザーは、特定の機構又は機能を制御するためのジェスチャを定義し得る。両方は、ユーザーがより快適になることを可能にし得る。さらに、本明細書で開示する態様は、ユーザーが、車両の特定の機構を制御するためのジェスチャを実行するために、より直感的であり得る。その上、ユーザーは、インタフェースを制御するために、もはや機構と物理的に接触する必要がない。
本開示の他の利点は、添付の図と関連して考慮される場合、同様のものが以下の詳細な説明を参照することにより、より良く理解されるので、容易に理解されるであろう。
本開示による平面場アクティブ化システムのブロック図である。 本開示による平面場アクティブ化システムの図である。 本開示による平面場アクティブ化システムの別の図である。 本開示による平面場アクティブ化システムの別の図である。 本開示による平面場アクティブ化システムの別の図である。 本開示による平面場アクティブ化システムの別の図である。 本開示によるジェスチャベース制御のために平面を選択するための方法の流れ図である。
本明細書では、本開示の詳細な例が提供されるが、開示する例は例示に過ぎず、様々な形式および代替形式で実施され得ることが理解されるべきである。これらの例が、本開示の考えられる全ての形式を示して、説明することは意図しない。むしろ、本明細書で使用する語は、制限ではなく記述の語であり、様々な変更が、本開示の精神および範囲から逸脱することなく、行われ得ることを理解されたい。
本明細書で開示する態様は、平面場アクティブ化システムおよび、車両キャビン内でジェスチャベース制御システム用に空間内のポイントを選択するための方法を提供する。
図1に関して、本開示による平面場アクティブ化システム10のブロック図が提供される。平面場アクティブ化システム10は、ジェスチャ認識装置12を有し得る。ジェスチャ認識装置12は、センサーであり得るが、それに限定されない。センサーは、ユーザーの手および指を検出するように構成され得る。センサーは、赤外線センサーであり得る。ジェスチャ認識装置12は、ドライバーおよび乗客のジェスチャを検出するために、車両キャビンの前方領域内に配置され得る。
例えば、ジェスチャ認識装置12またはセンサーは、車両制御パネル、ユーザーインタフェース、または車両ダッシュボード内に配置され得る。代替として、ジェスチャ認識装置12は、キャビンの後方領域内に位置する乗客のジェスチャも検出するために、車両キャビン全体に配置された複数のセンサーを含み得る。例えば、ジェスチャ認識装置12は、後部座席に座っている乗客の使用のために、車両の後方領域内の空調装置内に配置され得る。
ジェスチャ認識装置12はまた、車両キャビンの内側ルーフ内にパネルで取り付けられ得る。代替として、ジェスチャ認識装置12は、ドライバーおよび乗客のジェスチャを検出するための、カメラまたは車両キャビン全体に配置された複数のカメラであり得る。
変換器14は、ジェスチャ認識装置12に通信的に接続され得る。変換器14は、ユーザーが実行している特定のジェスチャを示す信号を受信するように構成され得る。追加として、変換器14は、ジェスチャ認識装置12から受信した信号を読取り可能な一連のデータまたはコマンドに翻訳または変換するように構成され得る。変換器14は、ジェスチャ認識装置12によって検出されたジェスチャに基づき、信号をデータに変換するためのルックアップテーブルを利用し得る。ルックアップテーブルは、製造業者、開発者によって事前にプログラムされ得るか、または平面場アクティブ化モードを作動させて、車両の空間内の特定のポイントまたはゾーンに対応するジェスチャを選択する際に、ユーザーによってプログラムされ得る。
空間検出器15も、認識されたジェスチャに関連付けられた空間内のポイントを検出するために提供される。ジェスチャ認識装置12は、カメラまたは画像捕捉装置の前の事前定義された空間を認識するように構成され得る。
平面場アクティブ化システム10は、相関器16も含み得る。相関器16は、変換器14および空間検出器15に通信的に接続され得る。相関器16は、変換器14によって生成された、ユーザーによって実行されたジェスチャを示す第2の信号、および空間検出器15によって検出された空間内のポイントを受信するように構成され得る。相関器16は、車両内の機構を制御するために選択された空間内のポイント、制御するために選択された機構、および車両内の機構を制御するために使用されるジェスチャを相互に関連付けるようにも構成され得る。相関器16は、選択された空間内のポイントおよび使用されたジェスチャを関連付けるためにルックアップテーブルを利用し得る。ルックアップテーブルは、製造業者または開発者によって事前にプログラムされ得る。代替として、ルックアップテーブルは、平面場アクティブ化モードを作動させて、空間内のポイントおよびその空間内のポイントに関連付けられたジェスチャを選択する際に、車両のユーザーによってプログラムされ得る。相関器16は、そうでなければ、選択された空間内のポイントおよび対応するジェスチャに関連したデータまたは情報を格納し得る。
電子制御装置(ECU)18は、相関器16に通信的に接続され得る。ECU18は、ランダムアクセスメモリ(RAM)または読取り専用メモリ(ROM)などのメモリ記憶、処理リソースまたはマイクロコントローラまたは中央処理装置(CPU)またはECU18の管理を可能にするためのハードウェアもしくはソフトウェア制御ロジックの任意の組合せを有し得る。追加として、ECU18は、外部リソースならびに、キーボード、マウス、ポインタ、タッチコントローラ、およびディスプレイ装置などの、様々な入力および出力(I/O)装置と通信するために、1つまたは複数の無線、有線またはそれらの組合せの通信ポートを含み得る。ECU18は、様々なハードウェア構成要素間で管理情報の伝達を送信するために動作可能な1つまたは複数のバスも含み得、有線通信データバス、無線ネットワーク通信、またはそれらの任意の組合せを使用して通信できる。ECU 18は、選択された空間内のポイントをメモリ内に格納するように構成され得る。追加として、ECU18は、対応するジェスチャまたは関連付けられたジェスチャおよびそのジェスチャによって制御されるように選択された機構をメモリ内に格納するように構成され得る。ECU18は、機構内の機構も制御し得る。
平面場アクティブ化システム10は、ユーザーインタフェース20も有し得る。ユーザーインタフェース20は、ユーザーがその中でやりとりするシステム10のモジュールであり得る。ユーザーインタフェース20は、液晶ディスプレイ、容量性タッチスクリーン、または抵抗膜方式タッチスクリーンなどの第1のディスプレイ、およびスマートボタンなどの第2のディスプレイ26を含み得る。ユーザーインタフェース20は、平面場アクティブ化モードを作動させるために使用され得るジェスチャ認識装置12または第2のジェスチャ認識装置をさらに含み得る。追加として、ユーザーインタフェース20は、音声認識中または電話使用のために使用され得るマイクロホンを有し得る。
ユーザーインタフェース20は、機構のジェスチャベース制御用に車両内の空間内のポイントを定義するため、平面場アクティブ化モードを作動させるために使用され得る。平面場アクティブ化モードは、プッシュボタン、タッチスクリーン、音声コマンド、または平面場アクティブ化モードを作動させるために車両内に事前にプログラムされているか、もしくはユーザーによってプログラムされているジェスチャによって作動され得る。例えば、車両内のユーザーは、平面場アクティブ化モードを作動させるユーザーインタフェース内のプッシュボタンを押し得、ユーザーは次いで、機構を制御することを欲する空間内のポイントを選択し得る。
平面場アクティブ化モードが作動されると、空間内のポイントがユーザーインタフェース20を介して選択され得る。空間内のポイントは、車両の異なる機構を制御するためのジェスチャを実行するための車両内のxyzポイント、2次元平面、3次元物体、または別の空間もしくは領域を含み得る。ユーザーインタフェース20は、空間内のポイントに対応する機構およびジェスチャを選択するためにも使用され得る。例えば、ユーザーまたは開発者は、車両内の温度を制御するために空調装置の前の空間内のポイントを選択し得る。ユーザーは、プッシュボタン、タッチスクリーン、音声コマンドを介して、またはゾーンの位置を身体的なジェスチャで示すことによる、所定のゾーンの選択、または空間内のポイントの境界の実際の設定などの1つもしくは複数の入力により空間内のポイントを選択し得る。
追加として、ユーザーインタフェース20は、空間内の選択されたポイントの画像を、空間内のそのポイントの境界をユーザーに示すために、第1のディスプレイ上に表示し得る。第1のディスプレイ上の画像は、ユーザーの手が車両キャビン内のどこにあるかに基づき変化し得る。例えば、インタフェースは、ユーザーが、その中で自分の手を上下に振ることによりステレオシステムのボリュームを制御し得る、ハンドルの前の3次元ボックスを表示し得る。ユーザーが手をそのボックスの外側に移動させると、ディスプレイ上の画像が変化してメニュー設定に戻り得るか、またはユーザーの手が現在置かれている平面を示し得る。第2のディスプレイも、空間内のポイントの境界を示すために使用され得る。例えば、第2のディスプレイは、ユーザーの手が空間内のポイントの境界内にある場合に照明し得る。代替として、ユーザーインタフェース20は、空間内の選択されたポイントの境界をユーザーに示すために、可聴フィードバックを生成し得る。
平面場アクティブ化システム10は、投影装置22も含み得る。投影装置22は、ECU18に通信的に接続され得、空間内のポイントのホログラムまたは3次元仮想物体をユーザーに投影するように構成され得る。ホログラムまたは仮想物体は、ユーザーの手が車両キャビン内のどこに置かれているかに応じて変わり得る。例えば、投影装置22は、ユーザーが車両内で選択している可能性があるハンドルの前などの、空間28内のポイント内に3次元ボックスを表示し得る。ユーザーはすると、空間28内のポイントを見ることができ、自分の手をボックスに入れたり出したりし得る。
図2〜図6に関して、本開示による平面場アクティブ化システム10のいくつかの図が示されている。具体的には、各図は、ユーザーインタフェース20および空間内の様々な選択されたポイントを示す。前述のように、ユーザーインタフェース20は、第1のディスプレイ24および第2のディスプレイ26を含み得る。第1のディスプレイ24は、液晶ディスプレイ、容量性タッチスクリーン、または抵抗膜方式タッチスクリーンであり得る。第1のディスプレイ24は、選択された空間28内のポイントを表示するように構成され得る。第2のディスプレイ26は、様々な機能を有し得るスマートボタンであり得る。スマートボタンは、タッチスクリーンまたはプッシュボタンであり得る。スマートボタンは、空間28内のポイント、選択された機構、およびジェスチャを設定するように構成され得る。追加として、スマートボタンは、空間28内のポイントの境界をユーザーに示し得る。例えば、ユーザーに、彼らの手が空間28内のポイントの内側にあるか外側にあるかを示すために、スマートボタンは、ユーザーの手が選択された空間28内のポイントの内側にある場合に照明し得るか、またはスマートボタンは、ユーザーの手が選択された空間28内のポイントの外側に出る場合に照明し得る。
図2〜図6は、ジェスチャベース制御のために選択される空間28内のポイントならびに空間内の複数のポイントも提供する。図2は、ジェスチャベース制御のための空間28内の選択されたポイントとして3次元ボックスを形成する複数の平面を示す。具体的には、6つの平面が3次元ボックスを形成する(3つの平面は図示せず)。矢印で示すように、ユーザーがジェスチャで指し示し得る第1の平面があり得る。加えて、ユーザーがジェスチャで指し示し得る第2の平面があり得る。個々の平面は、前述した空間28内のポイントであり得る。
代替として、6つの平面は、前述のように、空間28内のポイントを一緒に形成し得る。例えば、図2に示すボックスは、車両内のファン回転速度を制御するために選択されているかもしれない。ユーザーの手がボックス内にある場合、ユーザーはファン回転速度を制御し得る。ユーザーの手がボックスの外側にある場合、ユーザーはジェスチャを使用してファン回転速度を制御し得ない。空間28内のかかるポイントは、3次元ボックスに限定されない。代わりに、形状内のポイントは、図3に示すように、2つの平面間に配置された円筒形状を有し得る。同様に、前述のように、ユーザーの手が円筒内にある場合、ユーザーは所望の機構を制御し得る。
追加として、図4に示すように、各々が異なる機構を表すように構成されている、複数の2次元平面または3次元図形があり得る。機構「A」を制御する空間28内の第1のゾーンまたはポイント、機構「B」を制御する空間28内の第2のゾーンまたはポイント、および機構「C」を制御する空間28内の第3のゾーンまたはポイントがあり得る。別のゾーンは、平面間の空間およびタッチスクリーンまたは他の要素からXの距離であり得る。例えば、第1のゾーンに対する3次元ボックスは、車両内の温度を制御し得る。第2のゾーンに対する3次元ボックスは、ラジオを制御し、第3のゾーンに対する3次元ボックスは、車両内の電話を制御し得る。ユーザーが彼らの手を各ゾーンを通過して移動させると、そのゾーンに対応する機構を制御する能力を有するであろう。
その上、前述のように、ユーザーインタフェース20内の第2のディスプレイ26またはスマートボタンは、ユーザーの手が各ゾーンを通過するとき、ユーザーがどのゾーン内にいるかを示すために、色が変化し得る。例えば、第1のゾーンが赤色に対応する場合、ユーザーの手が第1のゾーンを通過すると、第2のディスプレイ26は赤く照明し得る。加えて、第2のゾーンが青色に対応する場合、ユーザーの手が第1のゾーンから第2のゾーンに移動すると、第2のディスプレイ26は青く照明し得る。
図5は、車両キャビン内の複数の空間内の3次元ポイントまたはゾーンの別の例である。各ゾーンは、異なる機構を制御するように構成され得る。例えば、空間内の第1の3次元ポイントは、車両内の温度を制御するように構成され得、空間内の第2の3次元ポイントは、車両内のファン回転速度を制御するように構成され得、そして、空間内の第3の3次元ポイントは、車両内のステレオシステムのボリュームを制御するように構成され得る。具体的には、3次元物体内の平面は、x回複製できるか、または異なる3次元物体もしくは平面と組み合わせることができる。その上、複数の3次元ゾーンは、互いに積み重ねられるか、または隣接して配置され得る。図5は、具体的に、6つの3次元ボックスを示す。しかし、空間内の複数の3次元ポイントすなわちゾーンは、3次元ボックスまたは同一の形状に限定されない。
図6に示すように、各々が異なる機構を制御するように構成されている、複数の3次元円筒および3次元ボックスがある。言い換えれば、3次元物体内の平面は、x回複製できるか、または異なる3次元物体もしくは平面と組み合わせることができる。作動中、ユーザーの手または指が下側の3次元物体または平面から高レベルに移動すると、可聴フィードバックまたは、色を照らす第2のディスプレイ26などの他のフィードバックが、道路から目をそらす必要なく、メニューが変更されたことをユーザーに通知するために提供される。追加として、空間28内のポイントまたは平面が選択され得るか、または定義され得るのとちょうど同様に、手を無視するために意図された穴が選択され得るか、または定義され得る。言い換えれば、車両内のゾーンまたは領域が定義されないまま残され得、ジェスチャによって機構を制御するように構成されないであろう。例えば、ユーザーは意図的に、車両内でシフトレバーまたは変速レバー付近のゾーンを機構を制御するためには設定しない可能性がある。従って、ユーザーがギアを変えるためにシフトレバーに手を伸ばす場合、車両内のどの機構も変更または調整されない。
追加として、複数の3次元物体は、ドライバーおよび乗客の手が届く車両の前方への配置に制限されない可能性がある。単一の物体もしくは平面または複数の物体が、車両内の様々な機構を制御するために、他の乗客が座り得る車両の後方において選択され得る。機構は、車両の後方に固有であり得る。例えば、ユーザーは、車両の後方のボリュームを車両の前方とは異なるボリュームに調整するために、車両の後方における空間内のポイントを選択することが可能であり得る。車両の後方にいるユーザーは、平面場アクティブ化モードを作動させる際に、車両の前方と同じ方法を採用し得る。
図7は、ジェスチャベース制御100のために車両内の空間内のポイントを選択するための方法の流れ図である。図7の方法は、車両内の平面場アクティブ化モードをユーザーインタフェース102を介して作動させることを含む。そのユーザーインタフェースは、図1〜図6で説明したユーザーインタフェースと同様であり得る。平面場アクティブ化モードのトリガーは、ユーザーが、車両内の異なる機構を制御するためのジェスチャを実行するために彼ら自身の空間内のポイント、平面もしくは空間をプログラムするか、または設定することを欲することを、車両が認識するのを可能にする。
ユーザーインタフェースは、各々が個々に平面場アクティブ化モードをトリガーし得る単一の入力または様々な入力を有し得る。例えば、平面場アクティブ化モードは、ユーザーインタフェース内のプッシュボタンによって作動され得る。平面場アクティブ化モードは、ユーザーインタフェース内のタッチスクリーンによって作動され得る。タッチスクリーンは、液晶ディスプレイ、容量性タッチスクリーン、または抵抗膜方式タッチスクリーンであり得るが、それらに限定されない。代替として、平面場アクティブ化モードは、ユーザーインタフェースを介し、音声コマンドによって作動され得る。前述のように、ユーザーインタフェースは、ユーザー音声コマンドを受信するためのマイクロホンを有し得る。マイクロホンは、他の目的も有し得る。追加として、平面場アクティブ化モードは、ユーザーによってプログラムされたジェスチャによって作動され得る。ジェスチャは、ユーザーによってプログラムされ得るか、または車両内に事前にプログラムされ得る。
本方法は、ジェスチャ認識装置104を使用して機構を作動させるために空間内のポイントを選択することをさらに含む。空間内のポイントは、車両キャビン内のゾーンであり得る。ゾーンは、製造業者によって予め決定され得る。代替として、領域はユーザーによってプログラムされ得る。空間内のポイントは、2次元平面であり得る。また、空間内のポイントは、3次元形状または物体であり得る。機構は、空調、GPS、ラジオ、電話、および任意の機構に関してユーザーインタフェース上に表示されるメニューなどであるが、それらに限定されず、車両内の任意の機構であり得る。ジェスチャ認識装置に関して、ジェスチャ認識装置はユーザーの手を検出するため、およびユーザーの手のジェスチャを解釈するために構成されたセンサーであり得る。ジェスチャ認識装置は、ユーザーインタフェース内に配置され得る。ジェスチャ認識装置は、そうでなければ、車両キャビン内のどこかに配置され得る。加えて、ジェスチャ認識装置は、複数のセンサーまたはセンサーのネットワークであり得、それらは互いにやりとりし得る。ジェスチャ認識装置は、そうでなければ、カメラ、複数のカメラ、またはカメラのネットワークであり得る。
空間内のポイントが選択されると、空間内のポイントがユーザーに対して表示され得る。空間内のポイントは、ユーザーインタフェース内の画面上に表示され得る。他方、空間内のポイントは、投影装置によって生成されたホログラムまたは3次元投影として表示され得る。表示された空間内のポイントは、空間内のポイントの境界をユーザーに示す。表示された空間内のポイントに基づき、ユーザーは空間内のポイントの境界を調整(すなわち、拡張または縮小)し得る。ユーザーは、空間内のポイントを選択するための前述した方法により、境界を調整し得る。
本方法は、空間内の選択されたポイントを電子制御装置(ECU)のメモリ内に格納することをさらに含む。空間内の選択されたポイントをメモリ内に格納すると、選択された空間内のポイントに対応する機構が選択され得る。機構は、ユーザーインタフェースを介して選択され得る。前述と同様に、空間内のポイントを選択する方法に関して、機構は、プッシュボタン、タッチスクリーン、音声コマンドまたは車両内にプログラムされたジェスチャによって選択され得る。ジェスチャは、ユーザーによって事前にプログラムされ得るか、または製造業者によって事前に設定され得る。空間内の選択されたポイントに対応する選択された機構は、ECUのメモリ内に格納され得る。
本方法は、ECUのメモリ内で、空間内の選択されたポイントおよび選択された機構に対応するジェスチャを選択することをさらに含む。ジェスチャは、製造業者によって車両内に事前に設定され得るか、またはジェスチャは、ユーザーによって所望される任意のジェスチャにプログラムされ得る。ユーザーは次いで、空間内のポイントが彼らの要求ごとに定義されていることを判断するために、対応する機構およびジェスチャを有する空間内のポイントをテストし得る。加えて、空間内の第2のポイントまたはユーザーが所望するだけ多くの空間内のポイントが、図1〜図6に関して前述したように、第2の機構および第2のジェスチャに対してインタフェースを介して選択され得る。
追加として、システムおよび方法は、特定のジェスチャを使用して特定の機構を制御するために、空間内の特定のポイントを一度選択することだけに制限されない。代わりに、システムおよび方法は、各々がいつでも変更されることを可能にする。例えば、ユーザーは、彼らの手を左から右に動かすことにより、車両内の温度を制御するために空調装置の前の3次元ボックスを選択している可能性がある。ユーザーは、ユーザーインタフェースを使用して、空調装置の前のその同じ3次元ボックスを再選択し、ファン回転速度を制御するために機構を変更して、彼らの手を上下させるジェスチャに変更し得る。
本開示の例が示されて説明されているが、これらの例は本開示の考えられる全ての形を示して説明することを意図していない。むしろ、本明細書で使用される語は、制限ではなく記述の語であり、様々な変更が本開示の精神および範囲から逸脱することなく行われ得ることを理解されたい。追加として、機構および様々な実装する実施形態は、本開示のさらなる例を形成するために組み合わされ得る。

Claims (13)

  1. 電子システムのジェスチャベース制御のためのシステムであって、
    ジェスチャベース入力を認識するための認識装置と、
    前記ジェスチャベース入力が存在する空間の部分を検出するための空間検出器と、
    前記空間の前記部分および前記ジェスチャベース入力を前記電子システムと関連付けられた事前定義された動作と相互に関連付けるための相関器と、
    を含む、電子システムのジェスチャベース制御のためのシステム。
  2. 前記認識装置が前記空間を監視するように構成され、前記空間の前記部分が前記空間のさらに小さいサブセットである、請求項1に記載のシステム。
  3. 前記空間検出器が前記空間の第2の部分を検出し、
    前記相関器が前記空間の前記第2の部分および前記ジェスチャベース入力を第2の事前定義された動作と相互に関連付ける、請求項2に記載のシステム。
  4. 前記空間検出器が、前記ジェスチャベース入力が存在する空間の第3の部分を検出するように構成され、前記空間の第3の部分が意図的な穴であり、
    前記相関器が、前記第3の部分内で検出されていることに応答して、前記検出されたジェスチャベース入力を無視するように構成されている、請求項2に記載のシステム。
  5. 前記部分が第1の形状にされた多角形によって画定され、前記第2の部分が第2の形状にされた多角形によって画定され、前記形状にされた多角形および前記第2の形状にされた多角形が互いに異なる、請求項3に記載のシステム。
  6. 前記空間の検出を有効化/無効化にするために関与するように構成されたアクティブ化ボタンをさらに含む、請求項3に記載のシステム。
  7. 前記部分から前記第2の部分への変更の検出に応答して、前記電子システムが通知を示すように構成されている、請求項3に記載のシステム。
  8. 前記通知が可聴音である、請求項7に記載のシステム。
  9. 前記空間の部分が、前記電子システムのユーザーによって構成可能である、請求項1に記載のシステム。
  10. 前記事前定義された機能が、前記電子システムのユーザーによって構成可能である、請求項1に記載のシステム。
  11. 電子システムのジェスチャベース制御のための方法であって、
    機構を作動させるために定義されるべき空間内の部分を選択するステップと、
    前記電子システムと関連付けられた機構を、空間内の前記選択された部分に対応するように選択するステップと、を含み、
    前記空間の部分が、前記ジェスチャベース制御に関連付けられたジェスチャベース入力の検出に対応するように構成される、
    電子システムのジェスチャベース制御のための方法。
  12. 空間内の第2の部分が、空間内の前記部分に隣接して規定され、
    前記部分および前記第2の部分が、前記ジェスチャベース制御によって検出可能であるエリア全体よりも小さい、請求項11に記載の方法。
  13. 空間内の第3の部分が、空間内の前記部分に隣接して規定され、
    前記空間内の第3の部分が、前記電子システムと関連付けられた任意の機構を制御しないように構成されている、請求項11に記載の方法。
JP2014261826A 2013-12-26 2014-12-25 ジェスチャベース制御システムのための平面場アクティブ化のシステムおよび方法 Pending JP2015125778A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361920983P 2013-12-26 2013-12-26
US61/920,983 2013-12-26
US14/550,540 2014-11-21
US14/550,540 US20150185858A1 (en) 2013-12-26 2014-11-21 System and method of plane field activation for a gesture-based control system

Publications (1)

Publication Number Publication Date
JP2015125778A true JP2015125778A (ja) 2015-07-06

Family

ID=53481688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014261826A Pending JP2015125778A (ja) 2013-12-26 2014-12-25 ジェスチャベース制御システムのための平面場アクティブ化のシステムおよび方法

Country Status (2)

Country Link
US (1) US20150185858A1 (ja)
JP (1) JP2015125778A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018023001A (ja) * 2016-08-03 2018-02-08 ソフトバンク株式会社 機器制御装置
KR20180126707A (ko) * 2017-05-18 2018-11-28 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
KR102274334B1 (ko) * 2021-03-29 2021-07-08 (주)복서 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템
JP7378677B1 (ja) * 2022-10-13 2023-11-13 三菱電機株式会社 インタフェースシステム、制御装置、及び操作支援方法
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
CN106610716B (zh) 2015-10-21 2019-08-27 华为技术有限公司 一种手势识别方法和装置
EP3409553B1 (en) * 2017-06-01 2021-08-04 Honda Research Institute Europe GmbH System and method for automated execution of a maneuver or behavior of a system
KR20200050235A (ko) 2018-11-01 2020-05-11 삼성전자주식회사 전자 장치 및 그의 지능형 인터랙션 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
JP2006285370A (ja) * 2005-03-31 2006-10-19 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置及びハンドパターン操作方法
WO2007088942A1 (ja) * 2006-02-03 2007-08-09 Matsushita Electric Industrial Co., Ltd. 入力装置、及びその方法
JP2010534895A (ja) * 2007-07-27 2010-11-11 ジェスチャー テック,インコーポレイテッド 高度なカメラをベースとした入力
JP2011192081A (ja) * 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法
JP2012058884A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、および情報処理方法
JP2012121386A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置
JP2013086750A (ja) * 2011-10-21 2013-05-13 Suzuki Motor Corp 車両の入力装置
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US20100214243A1 (en) * 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
US9436276B2 (en) * 2009-02-25 2016-09-06 Microsoft Technology Licensing, Llc Second-person avatars
US20140058584A1 (en) * 2009-03-18 2014-02-27 Robert Bosch Gmbh System And Method For Multimodal Interaction With Reduced Distraction In Operating Vehicles
US8942428B2 (en) * 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US20110221666A1 (en) * 2009-11-24 2011-09-15 Not Yet Assigned Methods and Apparatus For Gesture Recognition Mode Control
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US20120110517A1 (en) * 2010-10-29 2012-05-03 Honeywell International Inc. Method and apparatus for gesture recognition
KR101758163B1 (ko) * 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
US8959459B2 (en) * 2011-06-15 2015-02-17 Wms Gaming Inc. Gesture sensing enhancement system for a wagering game
US9547438B2 (en) * 2011-06-21 2017-01-17 Empire Technology Development Llc Gesture based user interface for augmented reality
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
KR101542986B1 (ko) * 2013-12-19 2015-08-07 현대자동차 주식회사 홀로그램을 이용한 제스처 인식 시스템 및 그 제어 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134090A (ja) * 1997-10-30 1999-05-21 Tokai Rika Co Ltd 操作信号出力装置
JP2006285370A (ja) * 2005-03-31 2006-10-19 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置及びハンドパターン操作方法
WO2007088942A1 (ja) * 2006-02-03 2007-08-09 Matsushita Electric Industrial Co., Ltd. 入力装置、及びその方法
JP2010534895A (ja) * 2007-07-27 2010-11-11 ジェスチャー テック,インコーポレイテッド 高度なカメラをベースとした入力
JP2011192081A (ja) * 2010-03-15 2011-09-29 Canon Inc 情報処理装置及びその制御方法
JP2012058884A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、および情報処理方法
JP2012121386A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 車載装置
JP2013086750A (ja) * 2011-10-21 2013-05-13 Suzuki Motor Corp 車両の入力装置
WO2013151614A1 (en) * 2012-04-02 2013-10-10 Google Inc. Gesture-based automotive controls

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018023001A (ja) * 2016-08-03 2018-02-08 ソフトバンク株式会社 機器制御装置
KR20180126707A (ko) * 2017-05-18 2018-11-28 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
KR102395288B1 (ko) * 2017-05-18 2022-05-09 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
KR102274334B1 (ko) * 2021-03-29 2021-07-08 (주)복서 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템
JP7378677B1 (ja) * 2022-10-13 2023-11-13 三菱電機株式会社 インタフェースシステム、制御装置、及び操作支援方法
WO2024079831A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェースシステム、制御装置、及び操作支援方法

Also Published As

Publication number Publication date
US20150185858A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
JP2015125778A (ja) ジェスチャベース制御システムのための平面場アクティブ化のシステムおよび方法
CN110045825B (zh) 用于车辆交互控制的手势识别系统
JP6882388B2 (ja) 圧力応答式タッチスクリーンの検出タッチ位置と関連する入力区域の固定装置及び方法
EP3000013B1 (en) Interactive multi-touch remote control
US9858702B2 (en) Device and method for signalling a successful gesture input
US9550419B2 (en) System and method for providing an augmented reality vehicle interface
JP6114996B2 (ja) 注視追跡のためのシステムおよび方法
US9593765B2 (en) Smart touch type electronic auto shift lever
US9008856B2 (en) Configurable vehicle console
JP5644962B2 (ja) 操作装置
US9560387B2 (en) Interface for wireless data transmission in a motor vehicle, and computer program product
US10019155B2 (en) Touch control panel for vehicle control system
JP2016538780A (ja) 車両の機能を遠隔制御する方法及び装置
KR20150062317A (ko) 자동차의 통합 멀티미디어 장치
US20160085332A1 (en) Touch sensitive holographic display system and method of using the display system
US11119576B2 (en) User interface and method for contactlessly operating a hardware operating element in a 3-D gesture mode
CN103906646A (zh) 用于尤其在机动车内提供图形用户界面的方法和装置
WO2011077307A1 (en) Handling tactile inputs
EP3040811B1 (en) Vehicle control system and operating method
JP2012059085A (ja) 車載用情報装置
US11061511B2 (en) Operating device and method for detecting a user selection of at least one operating function of the operating device
US11221735B2 (en) Vehicular control unit
US11301059B2 (en) Gesture recognition system having origin resetting means
US11315335B1 (en) Mixed-reality interaction with touch device
KR101655165B1 (ko) 노브 조작성 평가 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170302

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170417

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170802