JP2014527245A - ユーザフィードバックを伴うジェスチャベースのユーザインターフェイス - Google Patents

Abstract

システムは、利用者が非接触ユーザインターフェイスによりシステムの機能を制御する当該非接触ユーザインターフェイスを有する。非接触ユーザインターフェイスは、検出器サブシステム及びユーザフィードバックサブシステムを有する。非接触ユーザインターフェイスには、注意喚起モードと制御モードがある。注意喚起モードでは、検出器サブシステムが注意喚起範囲内で利用者の存在を検出することに応答して目に見える肯定応答を利用者に与えるための表示装置をユーザフィードバックサブシステムが有する。非接触ユーザインターフェイスは、検出器サブシステムが利用者の初期化ジェスチャを検出することに応答して注意喚起モードから制御モードに移行する。制御モードでは、検出器サブシステムが利用者の制御ジェスチャを検出することに応答して非接触ユーザインターフェイスが機能を制御する。目に見える肯定応答は利用者の動きをミラーリングするように作成される。

Description

本発明は、非接触ユーザインターフェイスとの非接触対話によりシステムの機能を制御する利用者向けに構成された、非接触ユーザインターフェイスを有するシステムに関する。本発明は、かかるシステム上で使用するように構成されるコンピュータ可読媒体上のソフトウェアを制御するための、かかるシステムで使用するためのユーザインターフェイス、及びシステムとの非接触対話によりかかるシステムの機能を利用者が制御できるようにする方法に更に関する。

ユーザインターフェイスは人間−機械対話分野で良く知られている。システム、例えば器具、機械システム、計算システム、電子システム等のユーザインターフェイスは、人間が運転使用中のシステムを操作又は制御できるようにするように、又は運転使用のためにシステムを構成できるようにするように設計される。本明細書の全体を通して使用される「システム」という用語は、工業用途又は専門用途の機器、オフィス用途又はビジネス用途の機器、医療機器、家庭内用途の機器、家電機器等を対象として含むように意図される。

特定の種類のユーザインターフェイスは非接触ユーザインターフェイスであり、その操作は、非接触ユーザインターフェイスと触覚接触していない利用者の運動又は動きを検出することに基づく。当技術分野で知られているかかる非接触ユーザインターフェイスの例は、ジェスチャベースのユーザインターフェイス及び運動追跡ユーザインターフェイスである。

ジェスチャベースのユーザインターフェイスは、任意の身体動作、典型的には利用者の顔や利用者の手によって生じる人間のジェスチャを解釈する。例えば、その全てがKoninklijke Philips Electronics N.V.に譲渡され、参照により本明細書に援用される、米国特許出願公開第20030095154号「ジェスチャベースのユーザインターフェイス用の方法及び機器」、米国特許出願公開第20070124694号「ディスプレイ上のコンテンツウィンドウの位置、大きさ、及び／又はコンテンツを定めるジェスチャ」、米国特許出願公開第20080253519号「医療装置の自動制御」、米国特許出願公開第20100162177号「対話型娯楽システム及びその操作方法」を参照されたい。

運動追跡ユーザインターフェイスは、客体、例えば利用者の頭や利用者の手に持たれたスタイラスの動きを追跡する。運動追跡ユーザインターフェイスは、客体の動きを表示装置の画面上に表示されたポインタの動きに変換し、画面の特定の区域内にポインタがあることを特定のコマンドとして解釈する。例えば、Apple, Inc.に譲渡され、参照により本明細書に援用される米国特許出願公開第20090153474号「運動追跡ユーザインターフェイス」を参照されたい。

その動作が利用者の運動又は動きの検出に基づく非接触ユーザインターフェイスの動作は、典型的には例えば１つ若しくは複数のビデオカメラ、１つ若しくは複数の光センサ、又は１つ若しくは複数の超音波センサによって捕捉されるユーザ入力のパターン認識に基づく。

非接触ユーザインターフェイスは、利用者と非接触ユーザインターフェイスの表面との物理的接触を必要としない。その結果、非接触ユーザインターフェイスは、利用者と表面との物理的接触を必要とするユーザインターフェイスよりも磨耗、物理的損傷、又は表面への汚れの蓄積に強い傾向がある。物理的接触が必要とされないので、非接触ユーザインターフェイスは操作者の観点からより衛生的でもある。

本発明者らは、非接触ユーザインターフェイスの既知の典型的な実装形態には幾つかの欠点があることを認識している。或る欠点は、非接触ユーザインターフェイスとのユーザ対話が誤検出、検出漏れ、及び入力エラーを引き起こす場合があることに関する。誤検出は、システムに特定のユーザ入力を与える特定のジェスチャとして利用者の意図しない動きが解釈される場合に生じる。検出漏れは、システムに特定のユーザ入力を与える特定のジェスチャとして利用者の意図的な動きが解釈され損なう場合に生じる。解釈エラーは、利用者の意図的な動きが間違って解釈され、システムへの誤ったユーザ入力にマップされる場合に生じる。別の欠点は、システムがジェスチャに応答しないように思われる場合、利用者はしばらくの間不確実な状態に置かれる場合があることに関する。利用者は電源が故障したのか、又はシステムが故障したのか等、疑問に思う可能性さえある。

本発明者らによれば、システムが誤検出応答、検出漏れ応答、間違った応答、又は応答を一切返さない場合、そのような非接触ユーザインターフェイスを有するシステムの利用者は何が上手く行かなかったのかを理解するためにシステムの現状の確認を概して求めることを研究が示している。

そのユーザ入力がジェスチャ認識に基づく既知のシステムは、システムの現在の動作又は状態を追跡するために更に同時に使用される表示装置の画面上に、ユーザインターフェイスが実際に感知し又は捕捉している内容の表現を慨して提示する。従って表示装置は、システムの現在の動作を第１のウィンドウ内に提示するだけでなく、感知され又は捕捉されているユーザ入力を第２のウィンドウ内に提示するデュアルモードオペレーションで使用される。かかるデュアルモード構成には幾つかの不利点がある。第１の不利点は、デュアルモード構成が画面面積を必要とすることである。つまりデュアルモード構成は、第１のウィンドウ及び第２のウィンドウのそれぞれにおいて有意の視覚的フィードバックを利用者に与えるために十分大きいように、画面の最小サイズに対して制約を課す。利用者は２つの情報源、つまり表示装置の同じ画面上に同時に提示される第１のウィンドウ及び第２のウィンドウに同時に注意を払わなければならないので、第２の不利点はデュアルモード構成の人間工学的側面に関する。利用者はシステムの現在の動作を制御すること、及びシステムへの現在のユーザ入力を確認することを繰り返し頭の中で切り替えなければならないので、２つのウィンドウを使用することは混乱を招くと考えられる。専門家であれば、戦闘機などのプロフェッショナル装置と対話するときこれを直感的に行うように訓練され得るが、日常的な消費者製品の利用者にとってこの取組みはあまり魅力的でない。

本発明者らは、ジェスチャベースの非接触ユーザインターフェイスを有するシステムを提案し、この非接触ユーザインターフェイスは利用者とシステムとの間の対話をより人間工学的な方法で視覚化する。より詳細には、本発明者らは非接触ユーザインターフェイスを有するシステムを提案する。非接触ユーザインターフェイスは、非接触ユーザインターフェイスとの非接触対話によりシステムの機能を利用者が制御するように構成される。非接触ユーザインターフェイスは、検出器サブシステム及びユーザフィードバックサブシステムを有する。非接触ユーザインターフェイスは、注意喚起モード又は制御モードで動作するように構成される。注意喚起モードでは、検出器サブシステムが所定の注意喚起範囲内で利用者の存在を検出することに応答して、非接触ユーザインターフェイスがユーザフィードバックサブシステムを制御して利用者に肯定応答（acknowledgement）を与えるように構成される。非接触ユーザインターフェイスは、検出器サブシステムが所定の注意喚起範囲内で利用者によって行われる所定の初期化ジェスチャを検出することに応答して注意喚起モードから制御モードに移行するように構成される。制御モードでは、検出器サブシステムが所定の注意喚起範囲内で行われる利用者の所定の制御ジェスチャを検出することに応答して、機能を制御するように非接触ユーザインターフェイスが構成される。

本発明のシステムは、機器や装置などの地理的に集中したエンティティとして実装されても良い。或いは本発明のシステムは、空間的に分散され、例えばローカルエリアネットワーク（ＬＡＮ）やインターネットなどのデータネットワークを介して通信するエンティティを有する地理的に分散されたシステムである。

本文の中で使用されるとき、「機能」という用語は、運転使用中のシステムの機能を特徴付ける１つ又は複数の特性を指す。この１つ又は複数の特性は、所定の制御ジェスチャによって制御することができる。例えば本システムは、再生されている音声の強度（音量）、音声機能のステレオの実装形態で再生されている音声の方向特徴、再生されている音声の高音域又は低音域のレベル、再生されている音声の項目であり、かかる項目の複数から成るプレイリストから選択されている項目、現在受信している無線チャネル等の特性のうちの１つ又は複数を有する音声機能を含む。別の例として、本システムは、表示装置上で再生されている画像の輝度、表示装置上で再生されている画像内のコントラスト、再生されている画像の色彩調整、表示装置の画面の一部分の中で再生されている画像の解像度、再生されている映像の項目であり、かかる映像項目のプレイリストから選択されている項目、表示されており、事前に記憶されている画像の集合から選択されている画像、現在受信しているテレビチャネル等の特性のうちの１つ又は複数を有する映像機能を含む。別の例として、本システムは目覚しライト、食卓を照らすランプ、救急サービスの車両に搭載される探照灯などのランプを含む。このランプは、オン状態とオフ状態、発せられる光の明るさ、発せられる光の向き、発せられる光の色温度、発せられる光の焦点等の特性のうちの１つ又は複数を有する。更に別の例として、本システムは台所用レンジや電子レンジなどの家庭電化製品を含む。家庭電化製品の動作は、発生させる熱の強度、予め設定された熱を発生させる期間の長さ、熱を発生させるために選択される複数のバーナ又は複数のコイルの特定のもの等の特性のうちの１つ又は複数を有する。上記の例は非接触ユーザインターフェイスの応用分野を例示したに過ぎず、システムの種類に関しても、非接触ユーザインターフェイスによって制御可能な特性に関しても、応用例の包括的な一覧として解釈されるべきではない。

非接触ユーザインターフェイスが注意喚起モードで動作している場合、検出器サブシステムが所定の注意喚起範囲内で利用者の存在を検出することに応答して、ユーザフィードバックサブシステムが利用者に肯定応答を与える。つまり、利用者又は利用者の体の一部が検出器サブシステムの注意喚起範囲内に来た場合、ユーザフィードバックサブシステムは利用者の存在が検出されていることをその利用者に通知する。肯定応答は利用者へのフィードバックの役割を果たし、検出器サブシステムが利用者を認めたこと、及び利用者が現在注意喚起範囲内にいることをその利用者に気付かせる。利用者又は利用者の体部位が注意喚起範囲内にある場合、非接触ユーザインターフェイスは利用者の所定の初期化ジェスチャに応答して、制御モードに移行する。制御モードでは、非接触ユーザインターフェイスとの非接触対話により、システムの機能の制御権が利用者に与えられる。制御モードでは、非接触ユーザインターフェイスが所定の制御ジェスチャに従ってシステムの機能を制御することにより所定の制御ジェスチャに応答する。

上記で具体的に述べたように、非接触ユーザインターフェイスの動作は、検出器サブシステムが所定の初期化ジェスチャを検出することに応答して注意喚起モードから制御モードに移行する。所定の初期化ジェスチャは、例えば利用者が非接触ユーザインターフェイスに対して自分の手を所定の時間、例えば数秒にわたり安定した状態で維持することを含む。別の例として、所定の初期化ジェスチャは、利用者が非接触ユーザインターフェイスの前で所定の閾値を上回る頻度で自分の手を振ることを含む。更に別の例として、所定の初期化ジェスチャは、三次元空間内の或る経路（又は軌道）に沿った利用者の手の動きであり、その経路は１つ又は複数の所定の空間特性を有する。

ジェスチャとは、利用者の手、肩、頭、又は体の位置の意図的な動きである。例えば利用者の手の実際の動きは、或る基準位置に対して手の位置を変えること、或る基準方向に対して手の向きを変えること、及び或る基準形状に対して手の形を変えることを含む。従って実際のところ、実際の動きは動きを特徴付ける次元のそれぞれにおいて例えば数ミリの精度で厳密に繰り返すことはできない。従って、本文の中で使用されるとき、「所定の初期化ジェスチャ」という表現は、所定の初期化ジェスチャを表すものとして検出器サブシステムによって全て解釈される複数のジェスチャのうちの特定の種類を指す。例えば、利用者の手の重心、及び三次元空間内で利用者の手の重心を横断する有向路によって特徴付けられるジェスチャを検討されたい。検出器サブシステムは、有向路の空間ベクトル主成分を突き止めるように構成されても良い。有向路は、経路の開始位置と経路の現在位置とを繋ぐ三次元ベクトルによって表され得る。利用者がジェスチャを行う間、三次元ベクトルは変化する。空間ベクトル主成分は、最も大きい絶対値を有する３つのベクトル成分のうちの特定のベクトル成分である。空間主成分の大きさが所定の大きさの範囲内にある場合、そのジェスチャは所定の初期化ジェスチャであるものとして解釈される。検出された実際のジェスチャが所定の初期化ジェスチャとして解釈されるべきかどうかを判定するために代わりの手順が実施されても良い。「所定の制御ジェスチャ」の特徴にも同様の考慮事項が当てはまる。ジェスチャベースのユーザインターフェイスは当技術分野で良く知られており、異なるジェスチャ形式の異なるユーザ入力を区別するように機能する。ジェスチャの区別については当技術分野で知られており、よって本文で更に詳しく扱うことはない。

本システムの一実施形態では、ユーザフィードバックサブシステムが、所定の制御ジェスチャに応答して、機能の状態の変化についての制御フィードバックを利用者に与えるように構成される。

従って利用者は、自らが検出されていることを知らせるための肯定応答を非接触ユーザインターフェイスの注意喚起モードにおけるフィードバックとして受け取る。注意喚起モードではジェスチャ制御が無効にされる。所定の初期化ジェスチャに基づき、非接触ユーザインターフェイスが制御モードに移行し、制御モードではジェスチャ制御が有効にされる。制御モードでは、所定の制御ジェスチャによって引き起こされる機能の状態の変化についての制御フィードバックを利用者が受け取る。制御フィードバックは、例えば摺動部、文字盤、レバー、若しくは他の馴染みの物理制御装置、又は選択可能な選択項目のメニューを表すグラフィックオブジェクトを含む。グラフィック表現は表示装置上に表示され、利用者によって行われる所定の制御ジェスチャに同期して変えられる。従ってグラフィックオブジェクトの変更は、行われている所定の制御ジェスチャの時間的特性をミラーリングする。つまりユーザフィードバックサブシステムは、注意喚起範囲内で利用者を追跡する検出器サブシステムの制御下で、制御フィードバックを動的に調節するように構成される。そのため、ユーザフィードバックサブシステムは、利用者の所定の制御ジェスチャの追跡を例えば視覚的に又は聴覚的に確認するためのフィードバックを利用者に与える。同時に、システムの機能が所定の制御ジェスチャと同期的に制御される。フィードバックは利用者の所定の制御ジェスチャをミラーリングし、それによりシステムが利用者と連絡を取っているという利用者の印象を強くする。

本システムの一実施形態では、ユーザフィードバックサブシステムが、注意喚起範囲内で利用者を追跡する検出器サブシステムの制御下で、肯定応答を動的に調節するように構成される。

上記で具体的に述べたように、非接触ユーザインターフェイスが注意喚起モードで動作している場合、検出器サブシステムが所定の注意喚起範囲内で利用者の存在を検出することに応答して、ユーザフィードバックサブシステムが利用者に肯定応答を与える。つまり、利用者又は利用者の体の一部が検出器サブシステムの注意喚起範囲内に来た場合、ユーザフィードバックサブシステムは利用者の存在が検出されていることをその利用者に通知する。

利用者への肯定応答フィードバックは様々な方法で実施され得る。例えば、ユーザフィードバックシステムは、検出器サブシステムが注意喚起範囲内で利用者の存在を検出したときに点滅又は点灯し始める小型ライト、例えば有色ＬＥＤを含む。別の例として、ユーザフィードバックシステムは、リップル効果を作り出すために繰り返し選択的にオン／オフされるずらりと並んだ小型ランプ、例えば複数のＬＥＤの配列を含む。

ＬＥＤを繰り返しオン／オフする形式の肯定応答は、利用者の動きに依拠して動的に調節できるものとすることができる。検出器サブシステムは注意喚起範囲内で利用者を追跡し、利用者の動きを検出された通りに反映するようにＬＥＤの挙動を調節する。上述のリップル効果は、利用者が注意喚起範囲内に入ることが検出された方向、及び／又は注意喚起範囲内で動くことが検出された方向の主成分を反映する方向特性を有し得る。複数のＬＥＤの配列は、利用者の動きをミラーリングするように利用者の動きと同期してＬＥＤをオン／オフさせるように制御される。

別の例として、ユーザフィードバックシステムが表示装置を含む。この表示装置は、例えば運転使用中のシステムの機能に関する視覚情報を利用者に与える役割を果たす。システムが家庭用の集中暖房システム又は空調システムを含む場合、例えば現在の周囲温度、周囲空気の現在の相対湿度、暖房システム又は空調システムがアイドル状態にあるか電力を消費しているかに関するグラフィック形式の情報を利用者に伝えるために表示装置が使用される。システムが時計を含む場合、例えば文字盤及び動く針を有するアナログ時計のグラフィック表現によって、又は時間及び分の数字表現を有するデジタル時計のグラフィック表現によって現在時刻を利用者に伝えるために、表示装置がシステムの運転使用中に使用される。従って表示装置は、意味内容を有する情報をシステムの運転使用中に利用者に伝える。検出器サブシステムが利用者の存在を検出すると、システムの運転使用中に表示装置上に表示される情報が、利用者の存在が検出されていることをその利用者に通知するための専用の指示によって置換されるように非接触ユーザインターフェイスがシステムを制御する。置換は様々な方法で行われ得る。例えば、その専用の指示がフェードインしながら、システムの運転使用中に表示される情報がフェードアウトする。別の例として、システムの運転使用中に表示される情報が指示へとモーフィングされる。クロスフェーディング又はモーフィング操作は、非接触ユーザインターフェイスの或る状態から次の状態へと、利用者の注目を円滑に、即ち唐突にではなく移す。このように注目を円滑に移すことは、前の状態から自然に生じる新たな状態を利用者に直感的に受け入れさせる。従ってクロスフェーディング又はモーフィングは、本発明の中の非接触ユーザインターフェイスの人間工学的な、使い勝手の良さに関係する側面を改善することに貢献する。

その後、システムの運転使用中に表示装置上に表示される情報が、利用者の動きと同期して動くグラフィック粒子の一群へとフェーディング又はモーフィングされる。利用者の動きをミラーリングすることは、利用者が注意喚起範囲内で検出されているという利用者の印象を強くする働きをする。

ミラーリングには、利用者が一般に気付かない利用者に対する更なる心理的効果があり得る。心理学の分野で使用されるとき、「ミラーリング」という用語は、個人が別の個人のジェスチャ、身体言語、表情、又は自然言語を真似する個人間の社会的相互作用を言う。ミラーリングは、典型的にはカップル及び親しい友人の間で認められる。通常、人は自分のミラーイメージを容易に受け入れ、その結果、話し相手の人物をミラーリングすることは一般にその人物を相手に対してよりリラックスさせ、より気楽にする。機器又はシステムが利用者の動きをミラーリングする場合、利用者がその機器又はシステムに対して好意的な感情をもつ可能性がより高い。従って、表示装置上のグラフィックオブジェクトにより利用者の動きをミラーリングすることは、システムを使い勝手が良いものとして利用者に認識させる傾向があり、システムに対してより好意的な感情を利用者にもたせる傾向がある。従って、注意喚起モード並びに制御モードにある非接触ユーザインターフェイスのミラーリング機能は、利用者によるシステムの受け入れを容易に加速する人間工学的特徴と見なすことができる。

従って、本発明の非接触ユーザインターフェイスが注意喚起モードにある場合、非接触ユーザインターフェイスは、所定の注意喚起範囲内の利用者又は例えば利用者の手や足を検出する検出器サブシステムに応答する。非接触ユーザインターフェイスは、ユーザフィードバックサブシステム内の表示装置を制御し、利用者の存在が気付かれていることの肯定応答を利用者に表示する。この肯定応答は抽象的でも形象的でも良い。例えば、利用者の存在が検出される前、表示装置が空白であり又はスイッチが切られていると仮定する。所定の範囲内で利用者を検出すると、表示装置が肯定応答をグラフィックオブジェクト、例えば人間の手のグラフィック表現、無定形の粒子の一群のグラフィック表現、「こんにちは」という言葉の文字等として表示するために始動される。その後、ユーザフィードバックサブシステムが、利用者と調和して動くようにグラフィックオブジェクトを制御する。別の例として、利用者の存在が検出される前に表示装置がインジケータを表示していたと仮定する。例えばインジケータは、現在時刻を示す時計のグラフィック表現、現在の周囲温度を示す温度計のグラフィック表現、又は現在表現されている音声の一部のグラフィック表現等を含む。所定の範囲内で利用者を検出すると、ユーザフィードバックサブシステムが表示装置を制御し、インジケータのグラフィック表現を別の客体のグラフィック表現、例えば人間の手のグラフィック表現、無定形の粒子の一群のグラフィック表現、又は「こんにちは」という言葉等のグラフィック表現形式の肯定応答にモーフィングする。非接触ユーザインターフェイスは、連続的方法且つ利用者と同期されて動くようにこの他のグラフィックオブジェクトを制御する。

本発明のシステムの更なる実施形態では、システムが追加のユーザインターフェイスを有する。追加のユーザインターフェイスは、追加のユーザインターフェイスとの物理的接触によりシステムの更なる機能を利用者が制御するように構成される。検出器サブシステムは、利用者が所定の方法で追加のユーザインターフェイスに接近することを検出すると、非接触ユーザインターフェイスにより利用者が機能を制御することを非活性化するように機能する。

この更なる実施形態では、システムが非接触ユーザインターフェイスだけでなく追加のユーザインターフェイスにより利用者によって制御されるように構成される。追加のユーザインターフェイスは、利用者が追加のユーザインターフェイスに物理的に接触することを必要とする。追加のユーザインターフェイスは、例えば１つ若しくは複数のボタン、１つ若しくは複数の文字盤、１つ若しくは複数の摺動部、１つ若しくは複数のレバー、及び／又はタッチスクリーンを含む。最初に述べたシステムの機能は非接触ユーザインターフェイスにより利用者によって制御可能であり、システムの追加の機能は追加のユーザインターフェイスにより利用者によって制御可能である。最初に述べた機能は追加の機能と異なっても良い。或いは最初に述べた機能は追加の機能と同じでも良い。

追加のユーザインターフェイスに接近する前に利用者が所定の初期化ジェスチャを注意喚起範囲内で行っていない場合、非接触ユーザインターフェイスは制御モードに移行していないので、所定の注意喚起範囲内での利用者のジェスチャ又は他の動きが意図しない機能の制御を引き起こすことはない。追加のユーザインターフェイスに接近する前に利用者が非接触ユーザインターフェイスを制御モードに移行させた場合、非接触ユーザインターフェイスは所定の注意喚起範囲内での利用者の動き及びジェスチャを追跡することになる。その結果、非接触ユーザインターフェイスは追加のユーザインターフェイスに手を伸ばす利用者の動きを所定の制御ジェスチャとして解釈することができ、利用者の意図とは逆に機能を制御し始める。そのため、非接触ユーザインターフェイスが制御モードにある間、検出器サブシステムが追加のユーザインターフェイスの制御オプションに手を伸ばす利用者を検出する場合、非接触ユーザインターフェイスによる意図しない機能の制御を防ぐために検出器サブシステムが制御モードを非活性化する。

追加のユーザインターフェイス内の制御オプションに手を伸ばす利用者を検出するために、検出器サブシステムは様々な方法で構成され得る。例えば先に述べたように、利用者の動き又はジェスチャを所定の注意喚起範囲内の有向路として検討されたい。有向路を表すベクトルのベクトル主成分が利用者から追加のユーザインターフェイスの方向にあり、このベクトル主成分の変化率が或る瞬間に所定の閾値の大きさを上回る場合、検出器サブシステムは、利用者が追加のユーザインターフェイスに手を伸ばしているのだとその動き又はジェスチャを解釈する。

追加のユーザインターフェイス内の制御オプションに手を伸ばす利用者の動きに応答して、非接触ユーザインターフェイスが既に機能を制御し始めたと仮定する。利用者が追加のユーザインターフェイスを実際に触り又は追加のユーザインターフェイスと実際に対話するとき、非接触ユーザインターフェイスが、好ましくは機能を制御し始める前に機能が有した状態に機能をリセットするように構成される。

非接触ユーザインターフェイスにより利用者によって制御され得る１つ又は複数の機能を有するシステムを検討されたい。所定の制御ジェスチャのうちのそれぞれのどの有向路も、好ましくは利用者から追加のユーザインターフェイスへの方向にベクトル成分を有さない。所定の制御ジェスチャの特定のものの有向路がこの方向に沿ったベクトル主成分を有する場合、非接触ユーザインターフェイスは、この特定の所定の制御ジェスチャに関連する機能が重大な機能でないような方法で好ましくは構成される。本明細書で使用するとき、「重大な機能」という表現は、その意図しない制御がシステムの損害、利用者を驚かせること、又は利用者を動揺させることにつながらない機能を指す。例えば、システムによって再生される音声の音量調節を含む機能を検討されたい。この場合、所定の「音量を上げる」ジェスチャの有向路が、利用者から追加のコントロールへのベクトル成分を欠くことが好ましい。

上記の本発明は、商業的に利用され得るエンティティとしてのシステムに関する。本発明は、例えばサーバ、パーソナルコンピュータ、携帯電話などのデータ処理システム上で実行される制御ソフトウェアとして商業的に利用されても良い。制御ソフトウェアは、ソリッドステートメモリ、磁気ディスク、光学ディスクなどのコンピュータ可読媒体の中に記憶されるものとして提供されても良い。制御ソフトウェアは、インターネットなどのデータネットワークによるファイルダウンロードとして市販されても良い。

従って本発明は、非接触ユーザインターフェイスを有するシステム上で使用するように構成されるコンピュータ可読媒体上の制御ソフトウェアにも関する。非接触ユーザインターフェイスは、非接触ユーザインターフェイスとの非接触対話によりシステムの機能を利用者が制御するように構成される。非接触ユーザインターフェイスは、検出器サブシステム及びユーザフィードバックサブシステムを有する。制御ソフトウェアは、注意喚起モードで非接触ユーザインターフェイスの動作を実施するための第１の命令と、制御モードで非接触ユーザインターフェイスの動作を実施するための第２の命令とを有する。第１の命令は、検出器サブシステムが所定の注意喚起範囲内で利用者の存在を検出することに応答して、ユーザフィードバックサブシステムを制御して利用者に肯定応答を与えるための第３の命令を含む。第１の命令は、検出器サブシステムが所定の注意喚起範囲内で利用者によって行われる所定の初期化ジェスチャを検出することに応答して、非接触ユーザインターフェイスを注意喚起モードから制御モードに移行させるための第４の命令を含む。第２の命令は、検出器サブシステムが所定の注意喚起範囲内で行われる利用者の所定の制御ジェスチャを検出することに応答して、機能を制御するための第５の命令を含む。

制御ソフトウェアの一実施形態では、第２の命令が、所定の制御ジェスチャに応答して、機能の状態の変化についての制御フィードバックを利用者に与えるようにユーザフィードバックサブシステムを制御するための第６の命令を含む。

制御ソフトウェアの更なる実施形態では、第１の命令が、注意喚起範囲内で利用者を追跡する検出器サブシステムの制御下で肯定応答を動的に調節するようにユーザフィードバックサブシステムを制御するための第７の命令を含む。

制御ソフトウェアの更なる実施形態では、第２の命令が、注意喚起範囲内で利用者を追跡する検出器サブシステムの制御下で制御フィードバックを動的に調節するようにユーザフィードバックサブシステムを制御するための第９の命令を含む。

制御ソフトウェアの更なる実施形態では、システムが追加のユーザインターフェイスを有する。追加のユーザインターフェイスは、追加のユーザインターフェイスとの物理的接触によりシステムの更なる機能を利用者が制御するように構成される。第２の命令は、所定の方法で追加のユーザインターフェイスに接近する利用者を検出器サブシステムが検出するとき、非接触ユーザインターフェイスにより利用者が機能を制御することを非活性化するための第１０の命令を含む。

本発明は、サービス又は方法として商業的に利用されても良い。従って本発明は、システムとの非接触対話によりシステムの機能を利用者が制御できるようにする方法にも関する。この方法には注意喚起モードプロセスと、制御モードプロセスとがある。この方法は、注意喚起モードプロセスにおいて、所定の注意喚起範囲内で利用者の存在を検出することに応答して、利用者に肯定応答を与えるステップを含む。この方法は、所定の注意喚起範囲内で利用者によって行われる所定の初期化ジェスチャを検出することに応答して、注意喚起モードプロセスから制御モードプロセスに移行するステップを更に含む。この方法は、制御モードプロセスにおいて、所定の注意喚起範囲内で行われる利用者の所定の制御ジェスチャを検出することに応答して機能を制御するステップも含む。

この方法の一実施形態では、制御モードプロセスが、所定の制御ジェスチャに応答して、機能の状態の変化についての制御フィードバックを利用者に与えるステップを含む。

この方法の更なる実施形態では、注意喚起モードプロセスが、注意喚起範囲内で利用者を追跡するステップの制御下で肯定応答を動的に調節するステップを含む。

この方法の更なる実施形態では、制御モードプロセスが、注意喚起範囲内で利用者を追跡するステップの制御下で制御フィードバックを動的に調節するステップを含む。

この方法の更なる実施形態では、システムが追加のユーザインターフェイスを有する。追加のユーザインターフェイスは、追加のユーザインターフェイスとの物理的接触によりシステムの更なる機能を利用者が制御するように構成される。この方法は、所定の方法で追加のユーザインターフェイスに接近する利用者を検出するとき、非接触対話による機能の制御を非活性化するステップを含む。

本発明は、制御可能な機能を有するシステム用のコンポーネントとして商業的に利用されても良い。従って本発明は、システムで使用するためのユーザインターフェイスにも関し、ユーザインターフェイスは、非接触ユーザインターフェイスとの非接触対話によりシステムの機能を利用者が制御するように構成される非接触ユーザインターフェイスを含む。非接触ユーザインターフェイスは、検出器サブシステム及びユーザフィードバックサブシステムを有する。非接触ユーザインターフェイスは、注意喚起モード及び制御モードのうちの一方で動作するように構成される。注意喚起モードでは、検出器サブシステムが所定の注意喚起範囲内で利用者の存在を検出することに応答して、非接触ユーザインターフェイスがユーザフィードバックサブシステムを制御して利用者に肯定応答を与えるように構成される。非接触ユーザインターフェイスは、検出器サブシステムが所定の注意喚起範囲内で利用者によって行われる所定の初期化ジェスチャを検出することに応答して注意喚起モードから制御モードに移行するように構成される。制御モードでは、検出器サブシステムが所定の注意喚起範囲内で行われる利用者の所定の制御ジェスチャを検出することに応答して、機能を制御するように非接触ユーザインターフェイスが構成される。

このユーザインターフェイスの一実施形態では、ユーザフィードバックサブシステムが、所定の制御ジェスチャに応答して、機能の状態の変化についての制御フィードバックを利用者に与えるように構成される。

このユーザインターフェイスの更なる実施形態では、ユーザフィードバックサブシステムが、注意喚起範囲内で利用者を追跡する検出器サブシステムの制御下で、肯定応答を動的に調節するように構成される。

このユーザインターフェイスの更なる実施形態では、ユーザフィードバックサブシステムが、注意喚起範囲内で利用者を追跡する検出器サブシステムの制御下で、制御フィードバックを動的に調節するように構成される。

このユーザインターフェイスの更なる実施形態では、ユーザインターフェイスが追加のユーザインターフェイスを有する。追加のユーザインターフェイスは、追加のユーザインターフェイスとの物理的接触によりシステムの更なる機能を利用者が制御するように構成される。検出器サブシステムは、利用者が所定の方法で追加のユーザインターフェイスに接近することを検出すると、非接触ユーザインターフェイスにより利用者が機能を制御することを非活性化するように機能する。

本発明は例として及び添付図面に関して更に詳細に説明される。

本発明内のシステムのブロック図である。 本発明のシステム内の検出器サブシステムの動作を示す図である。 本発明のシステム内の検出器サブシステムの動作を示す図である。 本発明のシステム内の検出器サブシステムの動作を示す図である。 本発明の方法を示すプロセス図である。 ユーザフィードバックサブシステムからの肯定応答のグラフィック表現を示す。 ユーザフィードバックサブシステムからの肯定応答のグラフィック表現を示す。 ユーザフィードバックサブシステムからの肯定応答のグラフィック表現を示す。 ユーザフィードバックサブシステムからの肯定応答のグラフィック表現を示す。 ユーザフィードバックサブシステムからの制御フィードバックのグラフィック表現を示す。 ユーザフィードバックサブシステムからの制御フィードバックのグラフィック表現を示す。

図面を通して、類似の又は対応する特徴が同じ参照番号によって示される。

図１は、本発明内のシステム１００の図である。かかるシステム１００の例は、家庭用娯楽システム、目覚まし時計、テレビ受像機、パーソナルコンピュータなどの家電システム、携帯電話やリモコン装置などの携帯端末、電子レンジ、台所用レンジ、洗濯機などの家庭用電気器具、飲料、飴、他の食品用の自動販売機、切符販売機等である。

システム１００には、機能を調節し、活性化又は非活性化する機能を選択するために利用者によって制御され得る機能がある。かかる機能の例は上記で論じられている。

システム１００は、非接触ユーザインターフェイス１０２及び制御サブシステム１０４を有する。

非接触ユーザインターフェイス１０２は、例えばシステム１００の機能を調節し又は選択することにより運転使用目的でシステム１００を設定するために、システム１００の利用者がシステム１００と対話できるようにする。利用者はジェスチャによって非接触ユーザインターフェイス１０２と対話する。利用者のジェスチャは非接触ユーザインターフェイス１０２によって捕捉され、システム１００へのユーザ入力を形成する。非接触ユーザインターフェイス１０２は入力を処理し、制御サブシステム１０４に供給される制御出力を生成する。制御サブシステム１０４は非接触ユーザインターフェイス１０２から制御出力を受け取り、それに応じて機能を制御する。

非接触ユーザインターフェイス１０２は、検出器サブシステム１０６、データ処理サブシステム１０８、及びユーザフィードバックサブシステム１１０を含む。

検出器サブシステム１０６は、検出器の注意喚起範囲内の利用者又は利用者の手や頭などの体の一部の存在を検出するように構成される。検出器サブシステム１０６は、検出器の注意喚起範囲内にあるとき、利用者又は利用者の手や頭等を追跡するようにも構成される。

注意喚起範囲内の利用者又は他の客体の近接度を検出する様々な技法の何れかを使用することにより、又はそれらの技法の組合せを使用することにより、利用者の近接度の検出が実施され得る。例えば、知られている第１の近接度検出技術は、赤外線センサによって受け取られる体熱を感知することに基づく。別の例として、知られている第２の近接度検出技術は、検出器が超音波パルスを送り、注意喚起範囲内の利用者又は他の客体からの反射を測定することに基づく。更に別の例として、知られている第３の近接度検出技術は、利用者又は客体が１つ若しくは複数の光ビーム又はレーザビームを遮ることに基づく。なお別の例として、第４の近接度検出技術は、検出器と近くの利用者又は客体との間の静電結合によって引き起こされる静電容量の変化を感知することに基づく。更に別の例として、第５の近接度検出技術は、所定の空間を調査するビデオカメラによって捕捉される画像を分析することに基づく。

注意喚起範囲内の利用者又は他の客体の動きを検出するための様々な技法の何れかを使用することにより、又はそれらの運動検出技法の組合せを使用することにより、注意喚起範囲内の利用者又は利用者の体の一部の動きの検出が実施され得る。動きは、検出器サブシステム１０６に対する利用者若しくは客体の全体的な位置の変化、及び／又は検出器サブシステムに対する利用者若しくは客体の向きの変化とすることができる。運動検出は、例えば上記の近接度検出技法の何れかによって検出される近接度の変化率を分析することに基づく。検出される近接度の変化率は、検出器サブシステム１０６から離れる若しくは検出器サブシステム１０６に近づく動き、検出器サブシステム１０６に対して左から右への若しくはその逆の動き、及び／又は検出器サブシステム１０６に対して上向きの若しくは下向きの動き等を示し得る。

近接度検出器及び運動検出器は当技術分野で良く知られている。従って、かかる検出器を作成し又は使用するための実装技術について本明細書では更に詳細には論じない。

検出器サブシステム１０６は、注意喚起範囲内で捕捉される利用者の動きを表す検出器の出力を生成する。検出器サブシステム１０６は、検出器の出力をデータ処理サブシステム１０８に供給する。データ処理サブシステム１０８は受け取った検出器の出力を処理し、上記のようにフィードバック出力をユーザフィードバックサブシステム１１０に供給し、制御出力を制御サブシステム１０４に供給する。

ユーザフィードバックサブシステム１１０は、データ処理サブシステム１０８からフィードバック出力を受け取る。受け取られるフィードバック出力は、検出器サブシステム１０６によって捕捉される利用者の動きを表す。ユーザフィードバックサブシステム１１０は、フィードバック出力を表す、従って検出器サブシステム１０６によって捕捉される非接触ユーザインターフェイス１０２とのユーザ対話を表すフィードバックを利用者に与える役割を果たす。利用者へのフィードバックは、典型的には視覚フィードバック及び／又は可聴フィードバックを含む。

制御サブシステム１０４は、非接触ユーザインターフェイス１０２から制御出力を受け取る。制御出力は、非接触ユーザインターフェイス１０２とのユーザ対話を示す。制御サブシステム１０４は、受け取られる制御出力に従って機能を制御する。

非接触ユーザインターフェイス１０２には、注意喚起モードと制御モードがある。注意喚起モードでは、検出器サブシステム１０６が所定の注意喚起範囲内で利用者の存在を検出した場合、ユーザフィードバックサブシステムが利用者に肯定応答を与える。注意喚起モードでは、検出器サブシステム１０６によって捕捉される利用者のジェスチャは、制御サブシステム１０４が制御出力を受け取ることをもたらさない。従って、注意喚起範囲内で利用者がジェスチャを行うことによりシステム１００の機能を制御することはできない。

検出器サブシステム１０６が、注意喚起範囲内で行われ且つ非接触ユーザインターフェイス１０２が注意喚起モードにある間に行われる利用者の所定の初期化ジェスチャを検出する場合、非接触ユーザインターフェイス１０２は注意喚起モードから制御モードに移行する。制御モードでは、所定の注意喚起範囲内で行われる利用者の所定の制御ジェスチャを検出器サブシステム１０６が検出することに応答して、非接触ユーザインターフェイス１０２が制御サブシステム１０４によって機能を制御する。

システム１００は、追加のユーザインターフェイス１１２も有する。追加のユーザインターフェイス１１２は、追加のユーザインターフェイス１１２との物理的接触によりシステム１００の更なる機能を利用者が制御できるようにする。例えば、追加のユーザインターフェイス１１２は、１つ又は複数の物理ボタン、物理摺動部、若しくは文字盤、又はタッチスクリーンを含む。追加の機能と最初に述べた機能とは、必ずしもそうである必要はないが同じ機能とすることができる。検出器サブシステム１０６は、利用者が所定の方法で追加のユーザインターフェイス１１２に接近することを検出すると、非接触ユーザインターフェイス１０２の制御モードを非活性化し又は無効にする。先に説明したように、これらの状況で制御モードを無効にすることは、利用者が追加のユーザインターフェイス１１２に手を伸ばすことを非接触ユーザインターフェイス１０２が所定の制御ジェスチャとして解釈することに応答して、機能が意図せず制御されるのを防ぐ。

図２、図３、及び図４は、システム１００内の検出器サブシステム１０６の動作を示す図である。

図２の略図は、利用者の環境内に配置され、利用者に面する検出器サブシステム１０６の第１の実施形態を示す。検出器サブシステム１０６の第１の実施形態は、利用者が環境の一部分２０２の中に入る又はいる場合にのみ利用者の動きに応答する。本明細書ではこの一部分が「注意喚起範囲」と呼ばれる。非接触ユーザインターフェイス１０２は、利用者が注意喚起範囲２０２内に完全に又は一部分だけいる場合、認識されていることを利用者に知らせるために利用者に肯定応答を与える。利用者が注意喚起範囲２０２内で所定の初期化ジェスチャを行う場合、非接触ユーザインターフェイス１０２は注意喚起モードから制御モードに移行する。制御モードでは、注意喚起範囲内で行われる場合、非接触ユーザインターフェイス１０２が利用者の所定の制御ジェスチャに、システム１００の機能を調節し又は他の方法で制御することによって応答する。注意喚起範囲２０２は概略的に示されているに過ぎない。注意喚起範囲２０２の実際の空間的形状及び寸法は、とりわけ検出器サブシステム１０６を実装するのに使用される技法に依存する。図２の略図は、運転使用中、検出器サブシステム１０６に面しているときに検出器サブシステム１０６からおおよそ利用者の方向に突出する軸２０４を中心として注意喚起範囲２０２を示す。

図３の略図は、検出器サブシステム１０６の第２の実施形態を示す。第２の実施形態では、注意喚起範囲２０２が、遠距離制御区域３０２及び近距離制御区域３０４を有する。形容詞「遠距離」及び「近距離」は、検出器サブシステム１０６から測定される距離を修飾する。近距離制御区域３０４は、遠距離制御区域３０２と検出器サブシステム１０６との間にある。非接触ユーザインターフェイス１０２が制御モードにあると仮定する。利用者が第１の所定の制御ジェスチャを遠距離制御区域３０２内で行う場合、非接触ユーザインターフェイス１０２は、検出器サブシステム１０６によって捕捉される第１の所定の制御ジェスチャに従ってシステム１００の第１の機能を制御することによって応答する。第１の所定の制御ジェスチャとは異なる第２の所定の制御ジェスチャを利用者が遠距離制御区域３０２内で行う場合、非接触ユーザインターフェイス１０２は応答しない。利用者が第２の所定の制御ジェスチャを近距離制御区域３０４内で行う場合、非接触ユーザインターフェイス１０２は、検出器サブシステム１０６によって捕捉される第２の所定の制御ジェスチャに従ってシステム１００の第２の機能を制御することによって応答する。

より広くは、非接触ユーザインターフェイス１０２は、注意喚起範囲２０２内の異なる制御区域、例えば第１の制御区域３０２及び第２の制御区域３０４内で行われる異なる所定の制御ジェスチャに対して異なるように応答するように構成される。或いは、非接触ユーザインターフェイス１０２は、注意喚起範囲２０２内の異なる制御区域の中で行われる同じ所定の制御ジェスチャに対して異なるように応答するように構成される。図４の略図は、このより概括的な構成を示す。

図４の略図では、注意喚起範囲２０２（ここでは別途図示されていない）が利用者と検出器サブシステム１０６との間に複数の制御区域を含む。複数の制御区域は、デカルト座標系４０２に関して以下のように説明される空間的配置を有する。デカルト座標系４０２はＸ軸、Ｙ軸、及びＺ軸を有する。検出器サブシステム１０６は、正のＸ軸に平行な方向を向く。

利用者がＸ軸に沿って検出器サブシステム１０６に接近する場合、その利用者はまず第１の制御区域４０４に入る。検出器サブシステム１０６上への第１の制御区域４０４のＸ軸に沿った投影は、検出器サブシステム１０６と完全に重なり合う。つまり、検出器サブシステム１０６は、第１の制御区域４０４の上半分で行われる第１の所定の制御ジェスチャ（Ｚは正である）、第１の制御区域４０４の下半分で行われる同じ第１の所定の制御ジェスチャ（Ｚは負である）、第１の制御区域４０４の左半分で行われる同じ第１の所定の制御ジェスチャ（Ｙは負である）、及び第１の制御区域４０４の右半分で行われる同じ第１の所定の制御ジェスチャ（Ｙは正である）を区別しない。

利用者がＸ軸に沿って検出器サブシステム１０６に接近し続ける場合、その利用者は第１の制御区域４０４を出て第２の制御区域４０６（Ｙは負である）又は第３の制御区域４０８（Ｙは正である）に入る。検出器サブシステム１０６上への第２の制御区域４０６のＸ軸に沿った投影は、検出器サブシステム１０６の左側としか重なり合わない。検出器サブシステム１０６上への第３の制御区域４０８のＸ軸に沿った投影は、検出器サブシステム１０６の右側としか重なり合わない。つまり、第２の制御区域４０６内で行われる所定の制御ジェスチャが第３の制御区域４０８内で行われる場合、同じ所定の制御ジェスチャに対する応答とは異なる非接触ユーザインターフェイス１０２の応答をもたらし、逆の場合も同様である。

利用者がＸ軸に沿って検出器サブシステム１０６に接近し続ける場合、その利用者は第２の制御区域４０６又は第３の制御区域４０８を出る。

利用者が第２の制御区域４０６を出る場合、その利用者は第４の制御区域４１０又は第５の制御区域４１２に入る。第４の制御区域４１０は、Ｚが正でＹが負であることを特徴とする。第５の制御区域４１２は、Ｚが負でＹも負であることを特徴とする。

利用者が第３の制御区域４０８を出る場合、その利用者は第６の制御区域４１４又は第７の制御区域４１６に入る。第６の制御区域４１４は、Ｚが正でＹも正であることを特徴とする。第７の制御区域４１６は、Ｚが負でＹが正であることを特徴とする。

従って、第４の制御区域４１０、第５の制御区域４１２、第６の制御区域４１４、及び第７の制御区域４１６のうちの特定の１つの中で行われる所定の制御ジェスチャが、第４の制御区域４１０、第５の制御区域４１２、第６の制御区域４１４、及び第７の制御区域４１６のうちの別の区域内で行われる場合、同じ所定の制御ジェスチャに対する応答とは異なる非接触ユーザインターフェイス１０２の応答をもたらす。

利用者が検出器サブシステム１０６に近づけば近づくほど、検出器サブシステム１０６による所定の制御ジェスチャの経路捕捉がより正確になり、所定の制御ジェスチャの２つ以上の異なる経路間の区別がより明確になる。従って、検出器サブシステム１０６により近い制御区域は、検出器サブシステム１０６からより離れている制御区域よりも小さくすることができる。

図５は、本発明の方法を示すプロセス５００の図である。ここではユーザフィードバックサブシステム１１０が表示装置（図１には不図示）を有すると仮定する。ユーザフィードバックサブシステム１１０は、利用者が注意喚起範囲２０２に入ると肯定応答を表示装置によりグラフィック形式で与える。ユーザフィードバックサブシステム１１０は、所定の制御ジェスチャに応答して、機能の状態の変化についての制御フィードバックも利用者に与える。

最初のステップ５０２で、システム１００の電源がオンにされる。非接触ユーザインターフェイス１０２は運転使用の準備が整う。

第２のステップ５０４で、利用者が注意喚起範囲２０２内にいるかどうかを検出器サブシステム１０６が確認する。利用者が注意喚起範囲２０２内にいない場合、検出器サブシステム１０６は利用者が注意喚起範囲２０２に入ったかどうかを確認し続ける。利用者が注意喚起範囲２０２に入っている場合、このプロセスは第３のステップ５０６に続く。

第３のステップ５０６では、ユーザフィードバックサブシステム１１０が表示装置を制御し、利用者が注意喚起範囲２０２内で検出されていることをその利用者に知らせるために、肯定応答をグラフィックオブジェクト形式で表示する。検出器サブシステム１０６は、利用者の動きを追跡し続ける。ユーザフィードバックサブシステム１１０は、注意喚起範囲２０２内での利用者の動きに依拠して表示装置上のグラフィックオブジェクトを動的に制御する。

第４のステップ５０８で、利用者が注意喚起範囲２０２を出たかどうかを非接触ユーザインターフェイス１０２が確認する。利用者が注意喚起範囲２０２を出ていると第４のステップ５０８で判定される場合、このプロセス５００は第５のステップ５１０に進む。

第５のステップ５１０で、非接触ユーザインターフェイス１０２が、利用者の追跡及び表示装置上へのグラフィックオブジェクトの表示を終了する。第５のステップ５１０の後、プロセス５００は第２のステップ５０４に戻る。

注意喚起範囲２０２は、検出器サブシステム１０６の空間環境であり、利用者のジェスチャの存在が非接触ユーザインターフェイス１０２の動作に影響する。注意喚起モードでは、肯定応答がユーザフィードバックサブシステム１１０により利用者に与えられる。制御モードでは、所定の制御ジェスチャに応答して関連機能が制御され、ユーザフィードバックサブシステムが捕捉ジェスチャについてのフィードバックを利用者に与える。注意喚起範囲２０２は、検出器サブシステム１０６のちょうど物理的境界から始まっても良く、検出器サブシステム１０６から離れて延在する。検出器サブシステム１０６の物理的境界は、例えば検出器サブシステム１０６に収容される運動センサや位置センサなどのハードウェアコンポーネントの物理的境界を含む。或いは、システム１００が追加のユーザインターフェイス１１２を含む場合、注意喚起区間２０２と検出器サブシステム１０６の物理的境界との間に不感帯が意図的に実装されても良い。検出器サブシステム１０６が不感帯の中で利用者又は利用者の体の一部（例えば利用者の手）の存在を検出する場合、この存在は、利用者が追加のユーザインターフェイス１１２と対話しようとしていると解釈される。非接触ユーザインターフェイス１０２は、不感帯の中の利用者又は利用者の体の一部の存在を、利用者が注意喚起範囲２０２を去ったものとして解釈する。プロセス５００は第５のステップ５１０に従い、利用者の追跡及び表示装置上へのグラフィックオブジェクトの表示を終了する。

利用者が注意喚起範囲２０２の外に出ていないと第４のステップ５０８で判定される場合、プロセス５００は第６のステップ５１２に進む。

第６のステップ５１２では、利用者が所定の初期化ジェスチャを行ったかどうかが判定される。利用者が所定の初期化ジェスチャを行っていないと第６のステップ５１２で判定される場合、プロセス５００は第３のステップ５０６に戻る。利用者が所定の初期化ジェスチャを行っていると第６のステップ５１２で判定される場合、プロセス５００は第７のステップ５１４に続く。

第７のステップ５１４で、検出器サブシステム１０６が注意喚起範囲内の複数の制御区域のうちの該当するものを突き止める。複数の制御区域がある注意喚起範囲の例は、上記で論じた図３及び図４の図面内で与えられている。注意喚起範囲２０２内に単一の制御区域しかない場合、第７のステップ５１４はプロセス５００にない。第７のステップ５１４の後、このプロセスは第８のステップ５１６に続く。

第８のステップ５１６では、ユーザフィードバックサブシステム１１０が表示装置を制御して制御表現、即ち該当する制御区域に関連する機能の制御性についての表現を表示する。例えば機能が音量又はランプの輝度の調節を含む場合、制御表現は音量又は輝度が取り得る大小の範囲を示す等分目盛を含む。等分目盛上では、音量又は輝度の現在の大小がグラフィカルに示される。等分目盛上で音量又は輝度を調節するためだけでなくグラフィカルに示される現在の大小を調節するために、関連する所定の制御ジェスチャが機能する。別の例として、機能が、情報コンテンツの複数の項目の特定のものを選択することを含む。項目はプレイリスト内に又は電子番組ガイド（ＥＰＧ）内に表示され得る。制御表現は、現在選択されている項目を示す強調表示と共に、プレイリスト、ＥＰＧ、又はその一部を含む。新たな項目を選択するためだけでなく、新たに選択される項目に一致するように制御表現内の強調表示の位置を調節するために、関連する所定の制御ジェスチャが機能する。第８のステップ５１６の後、このプロセスは第９のステップ５１８に続く。

第９のステップ５１８では、第７のステップ５１４で突き止められた現在の制御区域に該当する所定の制御ジェスチャとして利用者の動きが解釈されるかどうかを非接触ユーザインターフェイス１０２が判定する。利用者の動きが該当する所定の制御ジェスチャとして解釈できないと第９のステップ５１８で判定される場合、プロセス５００は第１０のステップ５２０に進む。

第１０のステップ５２０では、利用者が注意喚起範囲２０２から出たかどうかが判定される。利用者が注意喚起範囲２０２から出たと第１０のステップ５２０で判定される場合、プロセス５００は第５のステップ５１０に戻る。利用者が注意喚起範囲２０２を去っていないと第１０のステップ５２０で判定される場合、プロセス５００は第７のステップ５１４に戻る。

利用者の動きが該当する所定の制御ジェスチャとして解釈されると第９のステップ５１８で判定される場合、プロセス５００は第１１のステップ５２２に進む。

第１１のステップ５２２では、利用者の動きの時間的及び空間的特性に従って機能が制御される。検出器サブシステム１０６によって捕捉される実際の動きが、該当する所定の制御ジェスチャ上にマップされる。先に述べたように、ジェスチャとは、例えば利用者の手の位置の意図的な動きである。利用者の手の実際の動きは、或る基準位置に対して手の位置を変えること、或る基準方向に対して手の向きを変えること、及び或る基準形状に対して手の形を変えることによって特徴付けられる。実際のところ、実際の動きは動きを特徴付ける次元のそれぞれにおいて例えば数ミリの精度で繰り返すことはできない。従って検出器サブシステム１０６によって捕捉される実際のジェスチャは、該当する制御区域に適用される１つ又は複数の所定の制御ジェスチャと比較される。該当する特定の所定の制御ジェスチャとの比較が、所定の許容差の範囲内の規模のずれを見せる場合、実際のジェスチャは該当する特定の所定の制御ジェスチャと同等であるものとして扱われる。

第８のステップ５１６で、ユーザフィードバックサブシステム１１０がグラフィックオブジェクト形式の制御表現を表示装置上に生成したことを思い出されたい。第１１のステップ５２２では、ユーザフィードバックサブシステム１１０が更に、表示された制御表現を利用者の動きの時間的及び空間的特性に従って制御し、それにより現在制御されている機能に対する利用者のジェスチャの効果についての視覚的フィードバックを利用者に与える。

機能の制御及び表示された制御表現の制御は、機能の調節又は制御が終了されても良いと第１２のステップ５２４で判定されるまで続けられる。終了は、例えば該当する制御区域から利用者が退去する場合、又は該当する制御区域の外に利用者が自らの手を出す場合に確認される。或いは利用者は、制御が停止されるべきだと非接触ユーザインターフェイス１０２によって解釈される所定の停止ジェスチャにより、現在の制御を終了することができる。利用者が制御を止めたと第１２のステップ５２４で判定される場合、このプロセスは第１０のステップ５２０に戻る。

図６、図７、図８、及び図９は、非接触ユーザインターフェイス１０２の注意喚起モードでのユーザフィードバックサブシステム１１０からの肯定応答のグラフィック表現の例を示す。ユーザフィードバックサブシステム１１０は表示装置６０２を含む。電源がオンであり利用者が注意喚起範囲２０２を超えている、システム１００の運転使用、即ちシステムの動作状態を検討されたい。この動作状態では、コンテンツ情報、即ち利用者が表示装置６０２を見る場合にその利用者にとって意味的に重要である情報を利用者に表示するように表示装置６０２が制御される。図６〜図９の例では、コンテンツ情報はアナログ時計を表すグラフィックオブジェクト６０４形式にある。グラフィックオブジェクト６０４内の時計の針は、現在時刻を示すように制御される。

図６では、利用者が手６０６によって表されている。手６０６は、検出器サブシステム１０６の注意喚起範囲２０２の外側にある。表示装置６０２はアナログ時計６０４を表している。

図７では、手６０６が注意喚起範囲２０２に入っている。検出器サブシステム１０６が手６０６を検出し、非接触ユーザインターフェイス１０２が注意喚起モードに入る。注意喚起モードでは、ユーザフィードバックサブシステム１１０が表示装置６０２を制御し、手６０６の検出時にアナログ時計のグラフィックオブジェクト６０４を粒子の一群７０２へとモーフィングする。

粒子の一群７０２を検討することに関し、コンピュータ生成グラフィックスの分野で知られているように、粒子アニメーションは典型的には比較的単純な抽象的描写からどちらかと言えば複雑なグラフィックス構造を作成するために適用される。このどちらかと言えば複雑なグラフィックス構造は、ほどほどの計算能力を使用して、感知できるほどに説得力のある方法で動的に変化するように作成され得る。更なる背景については、例えば“Particle Animation and rendering Using Data Parallel Computing”, Karl Sims, Computer Graphics, Vol.24(4), Aug. 1990, pp. 405-413、又は“Modeling Surfaces of Arbitrary Topology with Dynamic Particles”, Richard Szeliski et al., 1993 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Proceedings CVPR '93, pp. 82-87を参照されたい。

表示装置６０２上に利用者の手６０６を表すグラフィックオブジェクトを作成するために、粒子アニメーションが図６〜図９の例で使用されている。ここでのグラフィックオブジェクトは粒子７０２の集まりである。これらの粒子は、検出サブシステム１０６によって捕捉される手６０６の実際の動きをミラーリングするように、その位置を動的に変えるよう個々に制御される。上記で論じたように、グラフィックオブジェクトによる利用者の動きのミラーリングはシステム１００の使い勝手の良さに貢献する。このグラフィックオブジェクトを粒子アニメーションによって実装することには、利用者の手であろうと、利用者の足であろうと、又はシステムを髭で（即ち自身の髭によって）制御しようとする場合はサンタクロースの髭であろうと、検出器サブシステム１０６によって注意喚起範囲２０２内で捕捉される実在する任意の客体の形状及び動きが、非接触ユーザインターフェイス１０２により説得力のある方法で模倣され得るという利点がある。

図８では、手６０６が注意喚起範囲２０２に入り、検出サブシステム１０６が手６０６の動きを追跡している。粒子の一群７０２に手６０６の動きをミラーリングさせるように、ユーザフィードバックサブシステム１１０が表示装置６０２を制御する。

図９では、手６０６が検出器サブシステム１０６により近づいており、粒子の一群７０２が図８にあるよりも表示装置６０２の画面面積のより広い部分を占めており、手６０６の現在の動きをミラーリングしている。

図７、図８、及び図９の略図内に図示する状態の何れかに達したときに利用者が自らの手６０６を注意喚起範囲２０２の外に移動する場合、ユーザフィードバックサブシステム１１０が、粒子の一群７０２を図６の略図内のアナログ時計６０４へと再びモーフィングする。

図１０及び図１１は、非接触ユーザインターフェイス１０２が制御モードにある場合のユーザフィードバックサブシステム１１０の動作を示す略図である。ユーザフィードバックサブシステム１１０は、制御フィードバックを利用者に与えるように動作する。

利用者の手６０６が制御区域に入り、システム１００の第１の機能が第１の所定の制御ジェスチャによって制御され、システム１００の第２の機能が第２の所定の制御ジェスチャによって制御されると仮定する。手６０６の実際の動きが図４のデカルト座標系４０２のＹ軸にほぼ沿ったベクトル主成分を有する場合、非接触ユーザインターフェイス１０２は手６０６の実際の動きを第１の所定の制御ジェスチャであるものとして解釈する。手６０６の実際の動きが図４のデカルト座標系４０２のＺ軸に沿ったベクトル主成分を有する場合、非接触ユーザインターフェイス１０２は手６０６の実際の動きを第２の所定の制御ジェスチャであるものとして解釈する。

図１０の略図に示されているように、第１の機能の制御表現は、複数の四角形の水平な配列を含む第１のグラフィックオブジェクト１００２である。四角形のそれぞれは、非接触ユーザインターフェイス１０２の制御モードで第１の機能が設定可能なそれぞれの大小、レベル、又は状態に相当する。時点ｔ＝Ｔ１において、手６０６が関連する制御区域に入ったと仮定する。時点ｔ＝Ｔ１まで、第１の機能は配列の３番目の四角形に対応する状態を有していた。水平な配列の３番目の四角形は強調表示されている。自分の手６０６が関連する制御区域内にある間、利用者は自身の手６０６を正のＹ軸方向に動かし始める。検出器サブシステム１０６がこの動きを追跡する。検出器の出力は、Ｙ軸に沿った正の方向の手６０６の動きに従い、第１の機能の状態を制御サブシステム１０４によって変えさせる。検出器の出力は更に、追跡される手６０６の動きに従い、ユーザフィードバックサブシステム１１０に第１のグラフィックオブジェクト１００２を変えさせる。時点ｔ＝Ｔ１＋ΔＴでは、強調表示が３番目の四角形からなくなり、水平な配列の４番目の四角形が強調表示されている。時点ｔ＝Ｔ１＋３ΔＴでは、強調表示が４番目の四角形からなくなり、水平な配列の７番目の四角形が強調表示されている。意図する最終状態を通り過ぎたことを利用者が認識したらしく、利用者がＹ軸に沿った負の方向に自分の手６０６を戻す。時点ｔ＝Ｔ１＋７ΔＴでは、強調表示が７番目の四角形からなくなり、水平な配列の６番目の四角形が強調表示されている。

図１１の略図に示されているように、第２の機能の制御表現は、垂直の摺動部１１０４を含む第２のグラフィックオブジェクト１１０２である。摺動部１１０４のそれぞれの垂直位置は、非接触ユーザインターフェイス１０２の制御モードで第２の機能が設定され得るそれぞれのレベルに対応する。時点ｔ＝Ｔ１において、手６０６が関連する制御区域に入ったと仮定する。時点ｔ＝Ｔ１まで、第２の機能はｔ＝Ｔ１に示す摺動部１１０４の位置に対応するレベルを有していた。自分の手６０６が関連する制御区域内にある間、利用者は自身の手６０６を正のＺ軸方向に動かし始める。検出器サブシステム１０６がこの動きを追跡する。検出器の出力は、Ｚ軸に沿った正の方向の手６０６の動きに従い、第２の機能の状態を制御サブシステム１０４によって変えさせる。検出器の出力は更に、追跡される手６０６の動きに従い、ユーザフィードバックサブシステム１１０に第２のグラフィックオブジェクト１１０２を変えさせる。時点ｔ＝Ｔ１＋ΔＴでは、摺動部１１０４がより高い垂直レベルまで動いている。時点ｔ＝Ｔ１＋ΔＴにおけるこのより高いレベルは、時点ｔ＝Ｔ１＋ΔＴにおいて手６０６があると考えられる垂直位置に対応する。時点ｔ＝Ｔ１＋５ΔＴでは、摺動部１１０４が更に高い垂直レベルまで動いている。時点ｔ＝Ｔ１＋５ΔＴにおけるこの更に高いレベルは、時点ｔ＝Ｔ１＋５ΔＴにおいて手６０６があると考えられる垂直位置に対応する。

非接触ユーザインターフェイス１０２の注意喚起モードから制御モードへの移行は、利用者の動きをミラーリングする肯定応答の表示（上記の例では粒子の一群７０２）が、利用者のジェスチャをミラーリングする制御フィードバック（上記の例では第１のグラフィックオブジェクト１００２又は第２のグラフィックオブジェクト１１０２）の表示に移行することと共に生じる。肯定応答の表示と制御フィードバックの表示との間の移行及びその逆の移行は、ここでもクロスフェード技法又はモーフィング技法を使用して実施され得る。

第１のグラフィックオブジェクト１００２と第２のグラフィックオブジェクト１１０２は、表示装置６０２上に同時に表示されても良いことに留意されたい。それら両方のグラフィック表現（即ち第１のグラフィックオブジェクト１００２及び第２のグラフィックオブジェクト１１０２）が同時に表示されている場合に第１の機能又は第２の機能が制御されるように、非接触ユーザインターフェイス１０２は、利用者の実際のジェスチャをこの例ではジェスチャのベクトル主成分に基づいて区別する。これにより、利用者が第１の機能の状態を制御することを意図する実際のジェスチャが第２の機能の状態に影響を与えるのを防ぎ、その逆も同様である。

Claims (20)

1. 非接触ユーザインターフェイスとの非接触対話によりシステムの機能を利用者が制御する非接触ユーザインターフェイスを有するシステムであって、
   前記非接触ユーザインターフェイスが検出器サブシステム及びユーザフィードバックサブシステムを有し、
   前記非接触ユーザインターフェイスが注意喚起モード及び制御モードのうちの一方で動作し、
   前記注意喚起モードでは、前記検出器サブシステムが所定の注意喚起範囲内で前記利用者の存在を検出することに応答して、前記非接触ユーザインターフェイスが前記ユーザフィードバックサブシステムを制御して前記利用者に肯定応答を与え、
   前記非接触ユーザインターフェイスは、前記検出器サブシステムが前記所定の注意喚起範囲内で前記利用者によって行われる所定の初期化ジェスチャを検出することに応答して前記注意喚起モードから前記制御モードに移行し、
   前記制御モードでは、前記検出器サブシステムが前記所定の注意喚起範囲内で行われる前記利用者の所定の制御ジェスチャを検出することに応答して、前記非接触ユーザインターフェイスが前記機能を制御する、システム。
2. 前記ユーザフィードバックサブシステムが、前記所定の制御ジェスチャに応答して、前記機能の状態の変化についての制御フィードバックを前記利用者に与える、請求項１に記載のシステム。
3. 前記ユーザフィードバックサブシステムが、前記注意喚起範囲内で前記利用者を追跡する前記検出器サブシステムの制御下で前記肯定応答を動的に調節する、請求項１に記載のシステム。
4. 前記ユーザフィードバックサブシステムが、前記注意喚起範囲内で前記利用者を追跡する前記検出器サブシステムの制御下で前記制御フィードバックを動的に調節する、請求項２に記載のシステム。
5. 前記システムが追加のユーザインターフェイスを有し、
   前記追加のユーザインターフェイスとの物理的接触により前記システムの更なる機能を前記利用者が制御し、
   前記検出器サブシステムは、前記利用者が所定の方法で前記追加のユーザインターフェイスに接近することを検出すると、前記非接触ユーザインターフェイスにより前記利用者が前記機能を制御することを非活性化する、
   請求項１に記載のシステム。
6. 非接触ユーザインターフェイスを有するシステム上で使用するコンピュータ可読媒体上の制御ソフトウェアであって、
   前記非接触ユーザインターフェイスとの非接触対話により前記システムの機能を利用者が制御し、
   前記非接触ユーザインターフェイスが検出器サブシステム及びユーザフィードバックサブシステムを有し、
   前記制御ソフトウェアが、注意喚起モードで前記非接触ユーザインターフェイスの動作を実施するための第１の命令を有し、
   前記制御ソフトウェアが、制御モードで前記非接触ユーザインターフェイスの動作を実施するための第２の命令を有し、
   前記第１の命令は、前記検出器サブシステムが所定の注意喚起範囲内で前記利用者の存在を検出することに応答して、前記ユーザフィードバックサブシステムを制御して前記利用者に肯定応答を与えるための第３の命令を含み、
   前記第１の命令は、前記検出器サブシステムが前記所定の注意喚起範囲内で前記利用者によって行われる所定の初期化ジェスチャを検出することに応答して、前記非接触ユーザインターフェイスを前記注意喚起モードから前記制御モードに移行させるための第４の命令を含み、
   前記第２の命令は、前記検出器サブシステムが前記所定の注意喚起範囲内で行われる前記利用者の所定の制御ジェスチャを検出することに応答して、前記機能を制御するための第５の命令を含む、
   制御ソフトウェア。
7. 前記第２の命令が、前記所定の制御ジェスチャに応答して、前記機能の状態の変化についての制御フィードバックを前記利用者に与えるように前記ユーザフィードバックサブシステムを制御するための第６の命令を含む、請求項６に記載の制御ソフトウェア。
8. 前記第１の命令が、前記注意喚起範囲内で前記利用者を追跡する前記検出器サブシステムの制御下で前記肯定応答を動的に調節するように前記ユーザフィードバックサブシステムを制御するための第７の命令を含む、請求項６に記載の制御ソフトウェア。
9. 前記第２の命令が、前記注意喚起範囲内で前記利用者を追跡する前記検出器サブシステムの制御下で前記制御フィードバックを動的に調節するように前記ユーザフィードバックサブシステムを制御するための第９の命令を含む、請求項７に記載の制御ソフトウェア。
10. 前記システムが追加のユーザインターフェイスを有し、
    前記追加のユーザインターフェイスとの物理的接触により前記システムの更なる機能を前記利用者が制御し、
    前記第２の命令が、所定の方法で前記追加のユーザインターフェイスに接近する前記利用者を前記検出器サブシステムが検出するとき、前記非接触ユーザインターフェイスにより前記利用者が前記機能を制御することを非活性化するための第１０の命令を含む、
    請求項６に記載の制御ソフトウェア。
11. システムとの非接触対話により前記システムの機能を利用者が制御できるようにする方法であって、
    前記方法には注意喚起モードプロセスと制御モードプロセスがあり、
    前記注意喚起モードプロセスにおいて、所定の注意喚起範囲内で前記利用者の存在を検出することに応答して、前記利用者に肯定応答を与えるステップと、
    前記所定の注意喚起範囲内で前記利用者によって行われる所定の初期化ジェスチャを検出することに応答して、前記注意喚起モードプロセスから前記制御モードプロセスに移行するステップと、
    前記制御モードプロセスにおいて、前記所定の注意喚起範囲内で行われる前記利用者の所定の制御ジェスチャを検出することに応答して前記機能を制御するステップと
    を含む、方法。
12. 前記制御モードプロセスが、前記所定の制御ジェスチャに応答して、前記機能の状態の変化についての制御フィードバックを前記利用者に与えるステップを含む、請求項１１に記載の方法。
13. 前記注意喚起モードプロセスが、前記注意喚起範囲内で前記利用者を追跡するステップの制御下で前記肯定応答を動的に調節するステップを含む、請求項１１に記載の方法。
14. 前記制御モードプロセスが、前記注意喚起範囲内で前記利用者を追跡するステップの制御下で前記制御フィードバックを動的に調節するステップを含む、請求項１２に記載の方法。
15. 前記システムが追加のユーザインターフェイスを有し、
    前記追加のユーザインターフェイスとの物理的接触により前記システムの更なる機能を前記利用者が制御し、
    前記方法が、所定の方法で前記追加のユーザインターフェイスに接近する前記利用者を検出するとき、前記非接触対話による前記機能の前記制御を非活性化するステップを含む、
    請求項１１に記載の方法。
16. システムで使用するためのユーザインターフェイスであって、前記ユーザインターフェイスは、非接触ユーザインターフェイスとの非接触対話により前記システムの機能を利用者が制御する非接触ユーザインターフェイスを含み、
    前記非接触ユーザインターフェイスが検出器サブシステム及びユーザフィードバックサブシステムを有し、
    前記非接触ユーザインターフェイスが注意喚起モード及び制御モードのうちの一方で動作し、
    前記注意喚起モードでは、前記検出器サブシステムが所定の注意喚起範囲内で前記利用者の存在を検出することに応答して、前記非接触ユーザインターフェイスが前記ユーザフィードバックサブシステムを制御して前記利用者に肯定応答を与え、
    前記非接触ユーザインターフェイスは、前記検出器サブシステムが前記所定の注意喚起範囲内で前記利用者によって行われる所定の初期化ジェスチャを検出することに応答して前記注意喚起モードから前記制御モードに移行し、
    前記制御モードでは、前記検出器サブシステムが前記所定の注意喚起範囲内で行われる前記利用者の所定の制御ジェスチャを検出することに応答して、前記非接触ユーザインターフェイスが前記機能を制御する、ユーザインターフェイス。
17. 前記ユーザフィードバックサブシステムが、前記所定の制御ジェスチャに応答して、前記機能の状態の変化についての制御フィードバックを前記利用者に与える、請求項１６に記載のユーザインターフェイス。
18. 前記ユーザフィードバックサブシステムが、前記注意喚起範囲内で前記利用者を追跡する前記検出器サブシステムの制御下で、前記肯定応答を動的に調節する、請求項１６に記載のユーザインターフェイス。
19. 前記ユーザフィードバックサブシステムが、前記注意喚起範囲内で前記利用者を追跡する前記検出器サブシステムの制御下で、前記制御フィードバックを動的に調節する、請求項１７に記載のユーザインターフェイス。
20. 前記ユーザインターフェイスが追加のユーザインターフェイスを有し、
    前記追加のユーザインターフェイスとの物理的接触により前記システムの更なる機能を前記利用者が制御し、
    前記検出器サブシステムは、前記利用者が所定の方法で前記追加のユーザインターフェイスに接近することを検出すると、前記非接触ユーザインターフェイスにより前記利用者が前記機能を制御することを非活性化する、
    請求項１６に記載のユーザインターフェイス。