JP2016528651A - 近距離自然ユーザインタフェースシステム及びその作動の方法 - Google Patents

Abstract

表示画面と表示デバイスカメラとを有する表示デバイスと、移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスとを含み、移動デバイスが、移動デバイスを表示デバイスと対にするための第１のデバイス対形成モジュールを含み、移動デバイスカメラ及び表示デバイスカメラが、ユーザの手を検出し、かつユーザの手の姿勢及び移動を決定するためのものであり、表示デバイスが、ユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換するための動き変換モジュールを含む自然ユーザインタフェースシステム及びその作動の方法。【選択図】 図１

Description

本発明は、一般的に、自然ユーザインタフェースシステムに関し、より具体的には、近距離自然ユーザインタフェースシステムのためのシステムに関する。

大体において、コンピュータ、タブレット、及び携帯電話のような電子デバイスとの人間の対話は、物理的なントロールの操作、ボタンの押下、又は画面へのタッチを必要とする。例えば、ユーザは、キーボード及びマウスのような入力デバイスを通じてコンピュータと対話する。キーボード及びマウスは、テキストの入力及び文書内のスクロールのような機能に対しては有効であるが、ユーザが電子デバイスと対話を行うことができると考えられる多くの他の方法に対しては有効ではない。マウスを保持するユーザの手は、平らな２次元（２Ｄ）表面に沿ってのみ動くよう制約され、３次元仮想空間内をマウスでナビゲートすることは、ぎこちなく、非直観的である。同様に、タッチスクリーンの平らなインタフェースでは、ユーザが深さの概念を伝達することができない。

３次元（３Ｄ又は深度）カメラ又は１つのデバイス上で２台のカメラを用いれば、電子デバイスの動作ベースの３Ｄ制御を達成することができる。しかし、ユーザの体又は手を用いて３Ｄ制御を可能にする現在の方法は、大ぶりな動作、冗長な較正手順、又は高価又は入手不能な特殊な機器に頼っている。

すなわち、近距離自然ユーザインタフェースを提供して作動させるためのより簡単な解決法の必要性が依然として残っている。既存の解決法の複雑度及びコストに鑑みて、これらの問題への答えを見出すことが益々極めて重要になっている。増加し続ける商業上の競争圧力を高まる消費者の期待及び市場における意義ある製品差別化の機会の減少と併せて考慮すれば、これらの問題に対する答えを見出すことは極めて重要である。これに加えて、コストの低減、効率及び性能の改善、及び競争圧力への対処の必要性は、これらの問題に対する答えを見出す極めて重大な必要性により大きい緊急性を加えている。

これらの問題に対する解決法は長く追求されてきたが、従来の開発は、いずれの解決法も教示又は提案しておらず、すなわち、これらの問題への解決法は、当業者に長い間得られていない。

本発明は、表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスを与える段階と、移動デバイスを表示デバイスと対にする段階と、ユーザの手を検出する段階と、ユーザの手の姿勢及び移動を決定する段階と、ユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階とを含む自然ユーザインタフェースシステムの作動の方法を提供する。

本発明は、表示画面と表示デバイスカメラとを有する表示デバイスと、移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスとを含み、移動デバイスが、移動デバイスを表示デバイスと対にするための第１のデバイス対形成モジュールを含み、移動デバイスカメラ及び表示デバイスカメラが、ユーザの手を検出し、かつユーザの手の姿勢及び移動を決定するためのものであり、表示デバイスが、ユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換するための動き変換モジュールを含む自然ユーザインタフェースシステムを提供する。

本発明のある一定の実施形態は、上述したものに加えて又はその代わりの他の段階又は要素を有する。これらの段階又は要素は、添付図面を参照して以下の詳細説明を読めば当業者には明らかになるであろう。

本発明の実施形態における自然ユーザインタフェースシステムを示す図である。 図１の移動デバイスカメラからのユーザの手の例示的な視界である。 本発明の第２の実施形態における自然ユーザインタフェースシステムを示す図である。 本発明の更に別の実施形態における自然ユーザインタフェースシステムの作動の方法を示す流れ図である。

以下の実施形態は、当業者が本発明を実施して使用することを可能にするために十分詳細に説明される。本発明の開示に基づいて他の実施形態が明らかになるであろうこと、並びに本発明の範囲から逸脱することなくシステム、処理、又は機械的な変更を加えることができることは理解されるものとする。

以下の説明では、本発明の十分な理解をもたらすために多くの具体的な詳細を与えている。しかし、本発明は、これらの具体的な詳細を含まずとも実施可能である点は明らかであろう。本発明を曖昧にするのを避けるために、一部の公知の回路、システム構成、及び処理段階については詳細には開示していない。

システムの実施形態を示している図面は、半図解的であり、縮尺通りではなく、特に、寸法の一部は、表現を明瞭にするためであり、図面の図では誇張されている。同様に、説明を容易にするための図面の図は、ほぼ同様の向きを示しているが、図内のこの描写は、大部分が任意的である。一般的に、本発明は、いずれの向きでも作動させることができる。

図面の全ての図で同じ要素に関連付けるために同じ数字を用いる。説明上の便宜の問題として、実施形態には、第１実施形態、第２実施形態などと番号を付与することがあるが、いずれかの他の意味を有するか又は本発明に関して制限を加えるものではない。

説明目的のために、本明細書で使用する時の用語「水平」は、ユーザの位置の床の平面又は表面に対して平行な平面として定義する。用語「垂直」は、定義したばかりの水平に対して垂直の方向を指す。「上方」、「下方」、「底部」、「上部」、「側部」（「側壁」におけるような）、「より高い」、「下側」、「上側」、「の上に」、及び「の下に」は、図に示すような水平面に対して定義される。用語「上に」は、要素間に直接の接触があることを意味する。用語「直接に上」は、仲介する要素がなく、一方の要素と他方の要素の間に直接の接触があることを意味する。

用語「能動側」とは、能動回路が組み立てられたか又はダイ、モジュール、パッケージ、又は電子構造内の能動回路に接続するための要素を有するダイ、モジュール、パッケージ、又は電子構成の側部を指す。

本明細書で使用する時の用語「処理」は、材料又はフォトレジストの堆積、パターン化、露光、現像、エッチング、クリーニング、及び／又は説明する構造を形成する際に必要であれば材料又はフォトレジストの除去を含む。

ここで図１を参照すると、本発明の実施形態における自然ユーザインタフェースシステム１００を示している。自然ユーザインタフェースシステム１００は、移動デバイス１０２と表示デバイス１０４とを含む。表示デバイス１０４の表示画面１０６の方を指しているように示されているのは、ユーザの手１０８である。ユーザの顔も示されており、点線として示された目線ベクトル１１０が、ユーザが画面上のどこを見ているかを示している。

移動デバイス１０２は、表示デバイス１０４の正面に表が下向きで示されているが、移動デバイス１０２は、表を上向きにすることも可能であることは理解される。移動デバイス１０２の表面は、この例では見えていないが、移動デバイス１０２の主表示画面として定義される。移動デバイス１０２は、移動デバイス１０２の表が下向きの時に上向きになる移動デバイスカメラ１１２を有する。移動デバイスカメラ１１２の光軸は、移動デバイスカメラ１１２が面するか又は「見る」方向として定義される。言い換えれば、移動デバイスカメラ１１２の視野の中心は、移動デバイスカメラ１１２の光軸とすることができる。移動デバイスカメラ１１２は、映像補捉機構である。移動デバイスカメラ１１２は、２次元（２Ｄ）又は３次元（３Ｄ）画像を補捉する機能があるものとすることができる。移動デバイス１０２は、スマートフォン、フィーチャーフォン、Ｗｉ−Ｆｉ対応カメラ、タブレット、又はカメラ、処理機能、及び無線機能を有するいずれかのデバイスのような様々な電子デバイスのいずれかとすることができる。

移動デバイス１０２はまた、移動デバイスカメラ１１２の前方に何があるかを判別するのに周辺光が不十分である時に、移動デバイスカメラ１１２の前方にある物体を照らすためのフラッシュライト１１４を有する。例えば、暗闇条件であると決定されると（例えば、利用可能な画像を取得するのに十分な光がない）、フラッシュライト１１４を起動して、これが、移動デバイスカメラ１１２で写真を撮影する時の照明のための一定の光源として又はフラッシュとして作動させることができる。フラッシュライト１１４から放射される光は、単に一例としてフラッシュライト１１４の上の三角形によって表している。フラッシュライト１１４は、白熱灯、発光ダイオード（ＬＥＤ）、蛍光灯、ハロゲン、又は他のタイプの光のようないずれかの照明技術を用いて作動させることができる。

表示デバイス１０４は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラーデータプロトコル、又は他の無線プロトコルのような無線接続プロトコルを通じて移動デバイス１０２と対にされ、移動デバイス１０２に面するように示されている。例えば、移動デバイス１０２の第１のデバイス対形成モジュールは、表示デバイス１０４の第２デバイス対形成モジュールに接続することができる。第１のデバイス対形成モジュール及び第２デバイス対形成モジュールは、移動デバイス１０２と表示デバイス１０４との間で必要に応じて関連するデータを送受信することができる。表示デバイス１０４は、自然ユーザインタフェースシステム１００のための主表示画面として表示画面１０６を有することができる。

表示デバイス１０４は、好ましくは表示デバイス１０４の表示画面１０６と同じ方向を向いている表示デバイスカメラ１１６を有する。表示デバイスカメラ１１６の光軸は、表示デバイスカメラ１１６が面するか又は「見る」方向として定義される。言い換えれば、表示デバイスカメラ１１６の視野の中心は、表示デバイスカメラ１１６の光軸とすることができる。表示デバイスカメラ１１６は、２次元（２Ｄ）又は３次元（３Ｄ）画像を補捉する機能があるものとすることができる。表示デバイス１０４は、ラップトップコンピュータ、オールインワン・デスクトップコンピュータ、デスクトップコンピュータに接続したモニタ、タブレット、ＴＶ、スマートフォン、又は移動デバイス１０２と同じデバイスを含む無線接続の機能がある他のデバイスのようなデバイスとすることができる。本例では、表示デバイス１０４は、スタンド上に取り付けられたタブレットコンピュータとして示しているが、これは単に一例に過ぎないことは理解される。

移動デバイス１０２及び表示デバイス１０４は、第１のデバイス対形成モジュールに結合された形状検出モジュール、形状検出モジュール又は第１のデバイス対形成モジュールに結合された動き追跡モジュール、及び動き追跡モジュールに結合された動き変換モジュールのような様々な機能を実行可能な多くのモジュールを含むことができる。移動デバイス１０２のみ、表示デバイス１０４のみ、又は移動デバイス１０２及び表示デバイス１０４の組合せは、モジュールの一部又は全てを同時に又は並行して実行することができる。

移動デバイスカメラ１１２及び表示デバイスカメラ１１６は、重複する視野を有し、それぞれの光軸が互いに一定の角度にあるように位置決めされる。例えば、移動デバイスカメラ１１２及び表示デバイスカメラ１１６の光軸は、互いにほぼ直交とすることができ、これは、立体３次元カメラで使用されるカメラシステムのようにカメラが平行方向を向いている場合とは対照的である。言い換えれば、重複する視野にある物体に対して異なる角度から重複する視野にあるあらゆるものの画像を補捉するために、移動デバイスカメラ１１２及び表示デバイスカメラ１１６は、重複する視野を有するように異なる方向を向いた光軸を有する。

本例では、ユーザの手１０８は、移動デバイスカメラ１１２及び表示デバイスカメラ１１６の重複する視野内にある。移動デバイスカメラ１１２及び表示デバイスカメラ１１６は、ユーザの手１０８の非常に異なる視界を見るので、ユーザの手１０８に関する関連する３次元の形状、姿勢、位置、及び動き情報を取得することができる。

例えば、移動デバイスカメラ１１２は、第１のデバイス対形成モジュールに結合された移動デバイス１０２の形状検出モジュールと連動してユーザの手１０８の底部を撮像し、形状又は姿勢（指している、握っている、平らである、その他）を容易に検出することができる。移動デバイスカメラ１１２は、形状検出モジュールに結合された第１デバイス動き追跡モジュールと連動して、前後の動き（表示デバイス１０４の表示画面１０６に対して）及び左右の動きを検出することができる。

表示デバイスカメラ１１６は、第２デバイス対形成モジュールに結合された第２デバイス動き追跡モジュールと連動してユーザの手１０８の正面を撮像し、上下及び左右の方向の動きを容易に検出することができる。表示デバイスカメラ１１６はまた、正面からのユーザの手１０８の形状又は姿勢を検出し、移動デバイスカメラ１１２からのユーザの手１０８の形状又は姿勢の検出と組み合わせてこれを精緻化することができる。移動デバイスカメラ１１２及び表示デバイスカメラ１１６からの左右の動きを相関付けるような三角測量及び相関技術を通じて、移動デバイス１０２上、表示デバイス１０４上、又は並行に移動デバイス１０２及び表示デバイス１０４の両方上で実行中の自然ユーザインタフェースシステム１００は、深度マッピング又は立体技術を使用せずに３次元の形状、姿勢、位置、及び動き情報を計算することができる。例えば、第１デバイス動き追跡モジュール及び第２デバイス動き追跡モジュールからのデータは、動き相関モジュールによって組み合わせることができ、このモジュールは、移動デバイス１０２、表示デバイス１０４上で実行可能であり、移動デバイス１０２と表示デバイス１０４との間で分割可能であり、又は移動デバイス１０２及び表示デバイス１０４の両方で並行に実行して正確さを期して結果を検査することができる。

説明目的のために、移動デバイスカメラ１１２及び表示デバイスカメラ１１６は、処理を容易にするために２次元画像を補捉すると説明しているが、移動デバイスカメラ１１２、表示デバイスカメラ１１６、又はその両方が３次元画像を補捉する場合に、追加の測定精度を計算することができることは理解される。３次元画像の補捉及び処理は、よりコンピュータ集約的であり、介入するあらゆる移動デバイスのバッテリ寿命を節約しながら検出及び処理を高速化するには、２次元画像の補捉及び処理の方が好ましくなる。

同じく例えば、いずれかの時点の移動デバイス１０２及び表示デバイス１０４の向きを決定するために、移動デバイス１０２及び表示デバイス１０４にジャイロスコープ、コンパス、及び／又は加速度計を備えることができる。それによって移動デバイスカメラ１１２が表示デバイスカメラ１１６の視野と重複し、かつ何らかの角度にある視野を有する限り、移動デバイス１０２は、表示デバイス１０４に対して任意の角度に配置することができる。

例えば、移動デバイス１０２及び表示デバイス１０４の両方がコンパス（電子又はアナログ）及びジャイロスコープを備えている場合に、コンパスの度数及びジャイロスコープに基づいて視界の向きを同期することができ、その結果、ユーザによる較正が不要である。移動デバイス１０２又は表示デバイス１０４の視野同期モジュールは、コンパス及び／又はジャイロスコープと共に作動し、移動デバイス１０２の視野角を表示デバイス１０４と同期することができる。例えば、移動デバイス１０２が、表示デバイス１０４の表示画面１０６の平面に対していずれの角度に位置決めされようとも、表示画面１０６の向きに対する移動デバイス１０２の向きと適合するように又は同期するように、補捉された画像を適切に回転させることにより、視野同期モジュールは、移動デバイスカメラ１１２によって補捉された画像をいかに処理するかを調整することができる。

同じく例えば、表示デバイス１０４がジャイロスコープを備えている場合に、ユーザの手１０８の動きを決定する時に、表示デバイス１０４の角度を決定して補正することができる。別の例として、移動デバイス１０２内のジャイロスコープは、移動デバイス１０２の表がいつ下向きの位置にあるかを決定することができ、第１のデバイス対形成モジュールは、表示デバイス１０４への無線接続を自動的に開始して、ユーザからのいずれの更に別の対話もなく自然ユーザインタフェースシステム１００を初期化することができる。

移動デバイス１０２及び表示デバイス１０４の両方にジャイロスコープ、コンパス、及び／又は加速度計を備えると、より良好なユーザ体験を可能にすることが見出されている。移動デバイス１０２及び表示デバイス１０４の向きはあらゆる与えられた時間で既知であるので、移動デバイス１０２は、表示デバイス１０４に対して任意の向きに配置することができ、冗長な較正手順の必要性、又は移動デバイス１０２をいかに配置しなければならないかの制約が取り除かれる。これに加えて、移動デバイス１０２の向きに基づく自動の対形成も、ユーザが移動デバイス１０２上の特定のプログラムを開く又は作動させる必要を取り除くことができ、ユーザ体験を更に簡略化する。ユーザがなすべきことは、自然ユーザインタフェースシステム１００を使用することができるように、表が下向きになるよう電話を置くことだけである。

例を続ければ、それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ１１２及び表示デバイスカメラ１１６によって決定されるようなユーザの手１０８の姿勢及び移動は、表示画面１０６上のカーソルの移動に変換することができる。移動デバイス１０２、表示デバイス１０４、又はその両方の第１デバイス動き追跡モジュール及び／又は第２デバイス動き追跡モジュールに結合された動き変換モジュールは、第１デバイス動き追跡モジュール及び第２デバイス動き追跡モジュールからのデータを表示デバイス１０４の表示画面１０６上のカーソルの移動及びアクションに変換することができる。ユーザの手１０８の相対的な動きは、カーソルの移動に変換することができる。具体例として、ユーザの手が１つの指で画面の方を指差すような特定の形状にならない限り、カーソルは、動かないか又は現れないように設定することができる。

ユーザの手１０８上の特定のポイントを移動デバイスカメラ１１２及び表示デバイスカメラ１１６の両方で別々に追跡して３Ｄ空間で動きを決定することができる。表示画面１０６上のカーソルの移動に変換するための動き追跡も、例えば、ベクトルマッピングモジュールを通じて、ベクトルマッピングを移動デバイス１０２と表示デバイス１０４の間の距離の決定と組み合わせることによって行うことができる。

動き変換モジュールはまた、ユーザの手１０８の姿勢及び移動を組み合わせて動作を認識し、これらの動作を表示画面１０６上の変更によって反映されるアクションに変換することができる。例えば、ユーザの手１０８の形状及び姿勢は、移動デバイスカメラ１１２及び表示デバイスカメラ１１６の両方からのデータを組み合わせることにより、より正確に決定することができる。

ユーザの手１０８の姿勢をユーザの手１０８の動きと組み合わせることは、動き変換モジュールが動作を認識することを可能にする。動作は、表示デバイス１０４、及び表示デバイス１０４の表示画面１０６上に表示されるユーザインタフェースの要素を制御するために用いることができる。例えば、検出された動作を用いて、表示画面１０６上のカーソルを移動することができる。同じく例えば、検出された動作を用いて、アプリケーションの開閉、表示デバイス１０４上で実行中のアプリケーション内での視界の切り換え、表示デバイス１０４上で実行中のいずれかのアプリケーションの機能又はカーソルの制御、又はユーザインタフェースの要素の他の方法での制御のようなアクションを実行することができる。別の例として、検出された動作を用いて、表示画面１０６上のオンスクリーンキーボード上にタイプすることができる。

例を更に続ければ、移動デバイスカメラ１１２は、天井を背景としたユーザの手１０８の視界を有する。これは、すなわち、典型的にきれいな天井の背景のおかげで、ユーザの手１０８の形状のセグメント化、閾値処理などの方法での決定が簡単な処理であることを意味する。表示画面１０６に対する前後の軸上のユーザの手１０８の動きは、例えば、動き変換モジュールを用いてボタンの押下に変換することができる。別の例として、微光状況では、移動デバイス１０２のフラッシュライト１１４を用いてユーザの手１０８を照らすことができる。フラッシュライト１１４は、例えば、第１デバイス動き追跡モジュールに結合された光検出モジュールによって起動することができる。使用される照明は、可視領域でも、又は例えば暗闇で明るい光でユーザを不快にする危険性もなく用いるために赤外線（ＩＲ）領域でもよい。

それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ１１２及び表示デバイスカメラ１１６からの別々の画像集合を処理することは、ユーザの手１０８が主制御入力である自然ユーザインタフェースのより高速かつより容易な３次元制御をもたらすことが見出されている。例えば、ユーザの手１０８が表示画面１０６の方を指していると決定するのは、正面からユーザの手１０８を見るだけの表示デバイスカメラ１１６と比較すると、移動デバイスカメラ１１２の下から上への視界からの方がコンピュータ的にかなり容易である。動きを決定する構成要素を別々だが重複する視界の間で分割すると、移動デバイス１０２と表示デバイス１０４との間で関連データのみを送信するだけでよく、コンピュータ上の及び帯域幅の負荷を更に少なくする。

表示デバイスカメラ１１６は、ユーザの手１０８及びユーザの顔の両方の視界を有する。表示デバイス１０４の目線検出モジュールは、ユーザの顔及び目からの目線ベクトル１１０を決定することができ、表示画面１０６上のカーソルの移動に対するより大きい制御が可能になる。移動精緻化モジュールは、表示デバイスカメラ１１６から見えるユーザの手１０８の移動と目線ベクトル１１０を組み合わせて、ミリメートルレベルに至るまでの正確な位置決定を可能にすることができ、これは、カーソルの移動がユーザの顔からの目線ベクトル１１０に基づいて精緻化されるからである。

移動デバイス１０２及び表示デバイス１０４をそれぞれの光軸が互いにある角度に位置決めされた移動デバイスカメラ１１２及び表示デバイスカメラ１１６と無線で対にすると、特殊なハードウエアがなくとも自然な手の動きを通じて容易に設定及び制御が可能な近距離ユーザインタフェースの生成が可能になることが見出されている。移動デバイスカメラ１１２及び表示デバイスカメラ１１６は、３Ｄ又は測距カメラハードウエアの複雑さのない簡単な２Ｄカメラとすることができる。表示デバイス１０４は、ＴＶからラップトップコンピュータまで、更にタブレットまでのいずれかとすることができ、一般的なユーザはこれらのうちの少なくとも１つを有するはずであり、移動デバイス１０２は、ほとんど誰でも有することになる電話とすることができ、従って、いずれのユーザによっても追加のハードウエアを取得する必要がない。更に、デバイスは、向きを同期し、かつ関連するデータを移動デバイス１０２と表示デバイス１０４との間で伝達することができるので、ユーザによる較正は必要なく、自然ユーザインタフェースシステム１００の設定及び使用を容易にする。

従って、本発明の自然ユーザインタフェースシステム１００及びその作動の方法は、特殊なハードウエアがなくとも、ユーザが指差す自然な動作を用いて近距離ユーザインタフェースを簡単かつ容易に制御することを可能にするための重要かつ従来は未知で利用不能であった解決法、機能、及び機能面を提供することが見出されている。

ここで図２を参照すると、図１の移動デバイスカメラ１１２からのユーザの手１０８の例示的な視界を示している。ユーザの手１０８は、一例として、指差しをしている位置に示されている。移動デバイスカメラ１１２は上方を向いているので、ユーザの手１０８の背景は天井である。天井は、大体は特徴がなく、又は容易に検出可能な一定の反復模様を有し、その結果、画像処理のためのユーザの手１０８の分離は、部屋の一般的な散乱物の間でユーザの手１０８を見つけ出すのと比較すれば比較的容易であることは当業者によって理解される。

ユーザの手１０８の明確で遮るものない視界を有するように、天井のようなきれいな背景に対して移動デバイスカメラ１１２を配置すると、ユーザの手１０８の動きを解釈するための処理を高速化して計算を簡略化することが見出されている。ユーザの手１０８の形状（指している、握っている、平らである、その他）は、移動デバイスカメラ１１２の位置から容易に決定され、図１の表示デバイス１０４が３次元カメラ又はユーザの手１０８の形状を決定するための他の特殊な機器を有することを不要にし、正面から見た時に、ユーザの手１０８の形状をより高い精度まで決定するには、単純なエッジ又はライン検出が可能にするよりも多くの情報が必要になることになる。図１の移動デバイス１０２と表示デバイス１０４との間で処理を分割すると、各々がユーザの手１０８の有用であるが異なる角度を見ており、より少ないデータセットに対してかつ並行に計算が行われるので、処理時間全体が短縮される。

ここで図３を参照すると、本発明の第２の実施形態における自然ユーザインタフェースシステム３００を示している。自然ユーザインタフェースシステム３００は、移動デバイス３０２と表示デバイス３０４とを含む。表示デバイス３０４の表示画面３０６の正面に示されているのは、ユーザの手３０８である。

移動デバイス３０２は、表示デバイス３０４の正面に表が下向きで示されているが、移動デバイス３０２は、表を上向きにすることも可能であることは理解される。移動デバイス３０２の表面は、この例では見えていないが、移動デバイス３０２の主表示画面として定義される。移動デバイス３０２は、移動デバイス３０２の表が下向きの時に上向きになる移動デバイスカメラ３１２を有する。移動デバイスカメラ３１２の光軸は、移動デバイスカメラ３１２が面するか又は「見る」方向として定義される。言い換えれば、移動デバイスカメラ３１２の視野の中心は、移動デバイスカメラ３１２の光軸とすることができる。移動デバイスカメラ３１２は、映像補捉機構である。移動デバイスカメラ３１２は、２次元（２Ｄ）又は３次元（３Ｄ）画像を補捉する機能があるものとすることができる。移動デバイス３０２は、スマートフォン、フィーチャーフォン、Ｗｉ−Ｆｉ対応カメラ、タブレット、又はカメラ、処理機能及び無線機能を有するいずれかのデバイスのような様々な電子デバイスのいずれかとすることができる。

移動デバイス３０２はまた、移動デバイスカメラ３１２の前方にある物体を照らすためのフラッシュライト３１４も有する。例えば、フラッシュライト３１４は、移動デバイスカメラ３１２で写真を撮影する時の照明のための一定の光源として又はフラッシュとして作動させることができる。フラッシュライト３１４は、白熱灯、発光ダイオード（ＬＥＤ）、蛍光灯、ハロゲン、又は他のタイプの光のようないずれかの照明技術を用いて作動させることができる。

表示デバイス３０４は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はセルラーデータプロトコルのような無線接続プロトコルを通じて移動デバイス３０２と対にされ、移動デバイス３０２に面するように示されている。表示デバイス３０４は、自然ユーザインタフェースシステム３００のための主表示画面として表示画面３０６を有することができる。

表示デバイス３０４は、好ましくは表示デバイス３０４の表示画面３０６と同じ方向を向いている表示デバイスカメラ３１６を有する。表示デバイスカメラ３１６の光軸は、表示デバイスカメラ３１６が面するか又は「見る」方向として定義される。言い換えれば、表示デバイスカメラ３１６の視野の中心は、表示デバイスカメラ３１６の光軸とすることができる。表示デバイス３０４は、ラップトップコンピュータ、オールインワン・デスクトップコンピュータ、デスクトップコンピュータに接続したモニタ、タブレット、ＴＶ、スマートフォン、又は無線接続の機能がある他のデバイスのようなデバイスとすることができる。本例では、表示デバイス３０４は、ラップトップコンピュータとして示しているが、これは単に一例に過ぎないことは理解される。

移動デバイス３０２及び表示デバイス３０４は、第１のデバイス対形成モジュールに結合された形状検出モジュール、形状検出モジュールに結合された動き追跡モジュール、及び動き追跡モジュールに結合された動き変換モジュールのような様々な機能を実行することができる多くのモジュールを含むことができる。移動デバイス３０２のみ、表示デバイス３０４のみ、又は移動デバイス３０２及び表示デバイス３０４の組合せは、モジュールの一部又は全てを同時に又は並行して実行することができる。

移動デバイスカメラ３１２及び表示デバイスカメラ３１６は、重複する視野３１８を有し、それぞれの光軸が互いに一定の角度にあるように位置決めされる。例えば、移動デバイスカメラ３１２及び表示デバイスカメラ３１６の光軸は、互いにほぼ直交とすることができ、これは、立体３次元カメラで使用されるカメラシステムのようにカメラが平行方向を向いている場合とは対照的である。言い換えれば、重複する視野３１８にある物体に対して異なる角度から重複する視野３１８にあるあらゆるもの画像を補捉するために、移動デバイスカメラ３１２及び表示デバイスカメラ３１６は、これらの光軸が重複する視野３１８を形成するように互いに対してある角度で指向する。

本例では、重複する視野３１８は、移動デバイスカメラ３１２及び表示デバイスカメラ３１６の各々から広がる２つの実線によって表されており、それぞれの視野の外側広がりの例を描いている。図示の重複する視野３１８の外側広がりは、単に一例に過ぎないこと、及び重複する視野３１８の外側広がりは、移動デバイスカメラ３１２及び表示デバイスカメラ３１６の機能に依存することは理解される。ユーザの手３０８は、移動デバイスカメラ３１２及び表示デバイスカメラ３１６の重複する視野３１８内にあると示している。移動デバイスカメラ３１２及び表示デバイスカメラ３１６は、ユーザの手３０８の全く異なる視界を見るので、ユーザの手３０８に関する関連する３次元位置及び動き情報を取得することができる。

例えば、移動デバイスカメラ３１２は、ユーザの手３０８の底部を撮像し、前後（表示デバイス３０４の表示画面３０６に対して）及び左右の動きを容易に検出することができる。移動デバイスカメラ３１２はまた、ユーザの手３０８の形状又は姿勢（指している、握っている、平らである、その他）も検出することができる。表示デバイスカメラ３１６は、ユーザの手３０８の正面を撮像し、上下及び左右の方向の動きを容易に検出することができる。

表示デバイスカメラ３１６はまた、正面からのユーザの手３０８の形状又は姿勢を検出し、移動デバイスカメラ３１２からのユーザの手３０８の形状又は姿勢の検出と組み合わせてこれを精緻化することができる。移動デバイスカメラ３１２及び表示デバイスカメラ３１６からの左右の動きを相関付けるような三角測量及び相関技術を通じて、移動デバイス３０２上、表示デバイス３０４上、又は並行に移動デバイス３０２及び表示デバイス３０４の両方上で実行中の自然ユーザインタフェースシステム３００は、深度マッピング又は立体技術を使用せずに３次元の位置及び動き情報を計算することができる。

同じく例えば、いずれかの時点で移動デバイス３０２及び表示デバイス３０４の向きを決定するために、移動デバイス３０２及び表示デバイス３０４にジャイロスコープ、コンパス、及び／又は加速度計を備えることができる。それによって移動デバイスカメラ３１２が表示デバイスカメラ３１６の視野と重複しており、かつ何らかの角度にある視野を有する限り、移動デバイス３０２は、表示デバイス３０４に対して任意の角度に配置することができる。

例えば、移動デバイス３０２及び表示デバイス３０４の両方がコンパス（電子又はアナログ）及びジャイロスコープを備えている場合に、コンパスの度数及びジャイロスコープに基づいて視界の向きを同期することができ、その結果、ユーザによる較正が不要である。

同じく例えば、表示デバイス３０４がジャイロスコープ又は他のセンサを備えている場合に、ユーザの手３０８の動きを決定する時に、表示デバイスカメラ３１６の角度を決定して補正することができる。別の例として、移動デバイス３０２内のジャイロスコープは、移動デバイス３０２の面がいつ下向きの位置にあるかを決定することができ、表示デバイス３０４への無線接続を自動的に開始して、ユーザからのいずれの更に別の対話もなく自然ユーザインタフェースシステム３００を初期化することができる。

移動デバイス３０２及び表示デバイス３０４の両方がジャイロスコープ、コンパス、及び／又は加速度計を備えていると、より良好なユーザ体験を可能にすることが見出されている。移動デバイス３０２及び表示デバイス３０４の向きはあらゆる時点で既知であるので、移動デバイス３０２は、表示デバイス３０４に対して任意の向きに配置することができ、冗長な較正手順の必要性、又は移動デバイス３０２をいかに配置しなければならないかの制約が取り除かれる。これに加えて、移動デバイス３０２の向きに基づく自動の対形成も、ユーザが移動デバイス３０２上の特定のプログラムを開く又は作動させる必要を取り除くことができ、ユーザ体験を更に簡略化する。ユーザがなすべきことは、自然ユーザインタフェースシステム３００を使用することができるように、表が下向きになるように電話を置くことだけである。

例を続ければ、それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ３１２及び表示デバイスカメラ３１６によって決定されるようなユーザの手３０８の姿勢及び移動は、表示画面３０６上のカーソルの移動に変換することができる。ユーザの手３０８の相対的な動きは、カーソルの移動に変換することができる。具体例として、ユーザの手が、１つの指で画面の方を指差すような特定の形状にならない限り、カーソルは、動かないか又は現れないように設定することができる。ユーザの手の上の特定のポイントを移動デバイスカメラ３１２及び表示デバイスカメラ３１６の両方で別々に追跡して、３Ｄ空間で動きを決定することができる。表示画面３０６上のカーソルの移動に変換するための動き追跡はまた、例えば、移動デバイス３０２と表示デバイス３０４の間の距離の決定とベクトルマッピングを組み合わせることを通じて行うことができる。

例を更に続ければ、移動デバイスカメラ３１２は、天井を背景としたユーザの手３０８の視界を有する。これは、すなわち、典型的にきれいな天井の背景のおかげで、ユーザの手３０８の形状のセグメント化、閾値処理などの方法での決定が簡単な処理であることを意味する。表示画面３０６に対する前後の軸上のユーザの手３０８の動きは、例えば、ボタンの押下に変換することができる。別の例として、微光状況では、移動デバイス３０２のフラッシュライト３１４を用いて、ユーザの手３０８を照らすことができる。使用される照明は、可視領域でも、又は例えば暗闇で明るい光でユーザを不快にする危険性もなく用いるために赤外線（ＩＲ）領域でもよい。

それぞれの光軸が互いにある角度に位置決めされて重複する移動デバイスカメラ３１２及び表示デバイスカメラ３１６からの別々の画像集合を処理することは、ユーザの手３０８が主制御入力である自然ユーザインタフェースのより高速かつより容易な３次元制御をもたらすことが見出されている。例えば、ユーザの手３０８が表示画面３０６の方を指していると決定することは、正面からユーザの手３０８を見るだけの表示デバイスカメラ３１６と比較すると、移動デバイスカメラ３１２の下から上への視界からの方がコンピュータ的にかなり容易である。動きを決定する構成要素を別々だが重複する視界の間で分割すると、移動デバイス３０２と表示デバイス３０４との間で関連データのみを送信するだけでよく、コンピュータ上の及び帯域幅の負荷を更に少なくする。

移動デバイス３０２及び表示デバイス３０４をそれぞれの光軸が互いにある角度に位置決めされた移動デバイスカメラ３１２及び表示デバイスカメラ３１６と無線で対にすると、特殊なハードウエアがなくとも自然な手の動きを通じて容易に設定及び制御が可能な近距離ユーザインタフェースの生成が可能になる。移動デバイスカメラ３１２及び表示デバイスカメラ３１６は、３Ｄ又は測距カメラハードウエアの複雑さのない簡単な２Ｄカメラとすることができる。表示デバイス３０４は、ＴＶからラップトップコンピュータまで、更にタブレットまでのいずれかとすることができ、一般的なユーザはこれらのうちの少なくとも１つを有するはずであり、移動デバイス３０２は、ほとんど誰でも有することになる電話とすることができ、従って、いずれのユーザによっても追加のハードウエアを取得する必要がない。更に、デバイスは、向きを同期し、かつ関連する情報を移動デバイス３０２と表示デバイス３０４との間で伝達することができるので、ユーザによる較正は必要なく、自然ユーザインタフェースシステム３００の設定及び使用を容易にする。

ここで図４を参照すると、本発明の更に別の実施形態における自然ユーザインタフェースシステム１００の作動の方法４００の流れ図を示している。方法４００は、ブロック４０２で表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、ブロック４０４で移動デバイスカメラの光軸が表示デバイスカメラの光軸に対してある角度に位置決めされた移動デバイスカメラを有する移動デバイスを与える段階と、ブロック４０６で移動デバイスを表示デバイスと対にする段階と、ブロック４０８でユーザの手を検出する段階と、ブロック４１０でユーザの手の姿勢及び移動を決定する段階と、ブロック４１２でユーザの手の姿勢及び移動を表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階とを含む。

得られる方法、処理、装置、デバイス、製品、及び／又はシステムは、分かりやすく、コスト効率が良く、単純であり、高度に万能かつ有効であり、公知の技術を適応することによって驚くほどにかつ非自明的に実施することができ、従って、自然ユーザインタフェースシステムを効率的かつ経済的に製造するのに直ちに適しており、従来の製造方法又は処理及び技術と十分な互換性がある。

本発明の別の重要な態様は、それがコストの低減、システムの簡略化、及び性能の改善という歴史的傾向を有益にサポートし、かつそのサービスを提供することである。

本発明のこれら及び他の有益な態様は、結果として従来技術を少なくとも次のレベルに進めるものである。

特定の最良のモードに関連して本発明を説明したが、当業者には以上の説明に照らして多くの代替、修正、及び変形が明らかであろうことは理解されるものとする。従って、含まれる特許請求の範囲に収まるこのような全ての代替、修正、及び変形が包含されるように意図している。本明細書に説明して添付図面に示す上述の全ての内容は、例証的かつ非限定的な意味で解釈されるものとする。

１００ 自然ユーザインタフェースシステム
１０２ 移動デバイス
１０４ 表示デバイス
１０８ ユーザの手
１１０ 目線ベクトル

Claims (20)

1. 自然ユーザインタフェースシステムの作動の方法であって、
   表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、
   移動デバイスカメラの光軸が前記表示デバイスカメラの光軸に対してある角度に位置決めされた該移動デバイスカメラを有する移動デバイスを与える段階と、
   前記移動デバイスを前記表示デバイスと対にする段階と、
   ユーザの手を検出する段階と、
   前記ユーザの手の姿勢及び移動を決定する段階と、
   前記ユーザの手の前記姿勢及び移動を前記表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階と、
   を含むことを特徴とする方法。
2. 前記表示デバイスの向きに対する前記移動デバイスの向きに基づいて前記移動デバイスカメラの視野角を回転させる段階を更に含むことを特徴とする請求項１に記載の方法。
3. ユーザの顔を検出する段階と、
   前記ユーザの顔からの目線ベクトルを決定する段階と、
   前記目線ベクトルを用いて前記表示画面上のカーソルの移動を精緻化する段階と、
   を更に含むことを特徴とする請求項１に記載の方法。
4. 前記ユーザの手を検出する段階は、
   前記移動デバイスカメラを用いて前記ユーザの手を検出する段階と、
   前記表示デバイスカメラを用いて前記ユーザの手を検出する段階と、
   を含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記ユーザの手の前記姿勢及び移動を決定する段階は、
   前記移動デバイスカメラを用いて前記ユーザの手の前後の動き及び左右の動きを決定する段階と、
   前記表示デバイスカメラを用いて前記ユーザの手の上下及び左右の動きを決定する段階と、
   前記移動デバイスカメラ及び前記表示デバイスカメラを用いて前記ユーザの手の姿勢を決定する段階と、
   前記移動デバイスカメラ及び前記表示デバイスカメラによって決定された時の前記ユーザの手の動きを相関付けることにより、３次元で該ユーザの手の前記姿勢及び移動を決定する段階と、
   を含む、
   ことを特徴とする請求項１に記載の方法。
6. 自然ユーザインタフェースシステムの作動の方法であって、
   表示画面と表示デバイスカメラとを有する表示デバイスを与える段階と、
   移動デバイスカメラの光軸が前記表示デバイスカメラの光軸に対してある角度に位置決めされた該移動デバイスカメラを有する移動デバイスを与える段階と、
   前記移動デバイスを前記表示デバイスと対にする段階と、
   前記表示デバイスに対する前記移動デバイスの向きに基づいて前記移動デバイスカメラの視野角を同期する段階と、
   前記移動デバイスカメラと前記表示デバイスカメラとを用いてユーザの手を検出する段階と、
   前記ユーザの手の姿勢及び移動を決定する段階と、
   前記ユーザの手の前記姿勢及び移動を前記表示画面上のユーザインタフェースの要素を制御するための動作に変換する段階と、
   ユーザの顔を検出する段階と、
   前記ユーザの顔からの目線ベクトルを決定する段階と、
   前記目線ベクトルを用いて前記表示画面上のカーソルの移動を精緻化する段階と、
   を含むことを特徴とする方法。
7. 前記移動デバイスカメラを用いて前記ユーザの手を検出する段階は、
   暗闇条件を決定する段階と、
   前記暗闇条件に基づいて前記ユーザの手を照らすための前記移動デバイスのフラッシュライトを起動する段階と、
   を含む、
   ことを特徴とする請求項６に記載の方法。
8. 前記移動デバイスを前記表示デバイスと対にする段階は、
   前記移動デバイスの面の下向きを決定する段階と、
   前記移動デバイスと前記表示デバイスの間の無線接続を自動的に開始する段階と、
   を含む、
   ことを特徴とする請求項６に記載の方法。
9. 前記移動デバイスを与える段階は、重複する視野を有するように前記移動デバイスカメラ及び前記表示デバイスカメラを位置決めする段階を含むことを特徴とする請求項６に記載の方法。
10. 前記移動デバイスカメラを用いて前記ユーザの手を検出する段階は、天井を背景にして該ユーザの手を検出する段階を含むことを特徴とする請求項６に記載の方法。
11. 自然ユーザインタフェースシステムであって、
    表示画面と表示デバイスカメラとを有する表示デバイスと、
    移動デバイスカメラの光軸が前記表示デバイスカメラの光軸に対してある角度に位置決めされた該移動デバイスカメラを有する移動デバイスと、
    を含み、
    前記移動デバイスは、該移動デバイスを前記表示デバイスと対にするための第１のデバイス対形成モジュールを含み、
    前記移動デバイスカメラ及び前記表示デバイスカメラは、
    ユーザの手を検出し、かつ
    前記ユーザの手の姿勢及び移動を決定する、
    ためのものであり、
    前記表示デバイスは、前記ユーザの手の前記姿勢及び移動を前記表示画面上のユーザインタフェースの要素を制御するための動作に変換するための動き変換モジュールを含む、
    ことを特徴とするシステム。
12. 前記移動デバイスは、前記表示デバイスの向きに対する該移動デバイスの向きに基づいて前記移動デバイスカメラの視野角を回転させるための視野同期モジュールを含むことを特徴とする請求項１１に記載のシステム。
13. 前記表示デバイスカメラは、ユーザの顔を検出するためのものであり、
    前記表示デバイスは、
    前記ユーザの顔からの目線ベクトルを決定するために前記動き変換モジュールに結合された目線検出モジュールと、
    前記表示画面上に表示するための前記目線ベクトルを用いたカーソルの移動を精緻化するために前記目線検出モジュールに結合された移動精緻化モジュールと、
    を含む、
    ことを特徴とする請求項１１に記載のシステム。
14. 前記移動デバイスカメラを用いて前記ユーザの手を検出するために前記第１のデバイス対形成モジュールに結合された形状検出モジュールを更に含むことを特徴とする請求項１１に記載のシステム。
15. 前記移動デバイスカメラは、前記ユーザの手の前後の動き、該ユーザの手の左右の動き、及び該ユーザの手の姿勢を決定するためのものであり、
    前記表示デバイスカメラは、前記ユーザの手の上下及び左右の動きを決定し、かつ該ユーザの手の前記姿勢を決定するためのものであり、
    前記表示デバイスは、前記移動デバイスカメラ及び前記表示デバイスカメラによって決定された時の前記ユーザの手の動きを相関付けることによって該ユーザの手の前記姿勢及び移動を３次元で決定するためのものである、
    ことを特徴とする請求項１１に記載のシステム。
16. 前記移動デバイスカメラを用いて前記ユーザの手を検出するために前記第１のデバイス対形成モジュールに結合された形状検出モジュール、
    を更に含み、
    前記表示デバイスカメラは、前記ユーザの顔を検出し、該ユーザの手の上下及び左右の動きを決定し、かつ該ユーザの手の姿勢を決定するためのものであり、
    前記移動デバイスカメラは、前記ユーザの手の前後の動き及び左右の動きを決定し、かつ該ユーザの手の前記姿勢を決定するためのものであり、
    前記表示デバイスは、前記移動デバイスカメラ及び前記表示デバイスカメラによって決定された時の前記左右の動きを相関付けることによって前記ユーザの手の前記姿勢及び移動を３次元で決定するためのものであり、該表示デバイスは、
    前記ユーザの顔からの目線ベクトルを決定するために前記動き変換モジュールに結合された目線検出モジュールと、
    前記表示画面上に表示するための前記目線ベクトルを用いたカーソルの移動を精緻化するために前記目線検出モジュールに結合された移動精緻化モジュールと、
    を含む、
    ことを特徴とする請求項１１に記載のシステム。
17. 前記移動デバイスカメラは、暗闇条件を決定するためのものであり、
    前記移動デバイスは、前記暗闇条件に基づいて前記ユーザの手を照らすためのフラッシュライトを含む、
    ことを特徴とする請求項１６に記載のシステム。
18. 前記移動デバイスは、前記移動デバイスの面の下向きを決定するためのジャイロスコープを含み、
    前記第１のデバイス対形成モジュールは、前記移動デバイスと前記表示デバイスの間の無線接続を自動的に開始するためのものである、
    ことを特徴とする請求項１６に記載のシステム。
19. 前記表示デバイスカメラの前記光軸に対してある角度に位置決めされた前記移動デバイスカメラの前記光軸は、重複する視野を有する該移動デバイスカメラ及び該表示デバイスカメラを含むことを特徴とする請求項１６に記載のシステム。
20. 前記形状検出モジュールは、天井を背景にして前記ユーザの手を検出するためのものであることを特徴とする請求項１６に記載のシステム。

Images