JP2020052991A - ジェスチャ認識に基づく対話型ディスプレイの方法及び装置 - Google Patents

Abstract

【課題】 対話型ディスプレイシステムのためのジェスチャ認識に基づく対話型ディスプレイの方法及び装置を提供すること。【解決手段】 ジェスチャ認識に基づく対話型ディスプレイの方法は、複数の画像に対応する複数のジェスチャを判定するステップと、複数のジェスチャのうちの所定の組合せをコマンドとして解釈するステップと、コマンドに応答してシーンを表示するステップと、を含む。【選択図】 図９

Description

本発明は、対話型ディスプレイの方法及び装置に関し、より具体的には、ジェスチャ認識に基づく対話型ディスプレイの方法及び装置に関する。

画像処理は、２次元（２Ｄ）画像、３次元（３Ｄ）画像、又は異なるタイプの複数の画像の組合せを含み得る様々なアプリケーションにおいて広く使用されている。例えば、構造化ライト（SL:
structured light）カメラ又は飛行時間（ToF: time of
flight）カメラ等の深度イメージャを使用して３Ｄ画像を直接的に生成することができる。このような３Ｄ画像は、本明細書では奥行き画像とも呼ばれ、それら奥行き画像を含み、ジェスチャ認識を含むマシーンビジョンアプリケーションで一般的に利用される。

典型的なジェスチャ認識装置では、画像センサからの生画像データは、通常、様々な前処理操作を受ける。次に、前処理された画像データは、特定のジェスチャ認識アプリケーションのコンテキストでジェスチャを認識するために使用される追加の処理を受ける。そのようなアプリケーションは、ジェスチャベースのユーザインターフェイス、例えば仮想現実装置、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、携帯電話、インタラクティブ・プロジェクタ、及びテレビセット等の電子消費者装置等を提供するビデオゲームシステム、キオスク、又は他のシステムセットで実装することができる。

従って、ジェスチャ認識のためのアルゴリズムは、ユーザと電子装置との間の対話を容易にするために重要である。

従って、本発明の目的は、対話型ディスプレイシステムのためのジェスチャ認識に基づく対話型ディスプレイの方法及び装置を提供することである。

本発明は、ジェスチャ認識に基づく対話型ディスプレイの方法を開示する。この方法は、複数の画像に対応する複数のジェスチャを判定するステップと、複数のジェスチャのうちの所定の組合せをコマンドとして解釈するステップと、コマンドに応答してシーンを表示するステップとを含む。

本発明は、対話型ディスプレイシステムのための装置を開示する。この装置は、処理装置と、メモリ装置とを含み、メモリ装置は、処理装置に結合され、且つ上述したような対話型ディスプレイの方法を対話型ディスプレイのプロセスとして記憶し、処理装置に指示して対話型ディスプレイのプロセスを実行するように構成される。

本発明の対話型ディスプレイシステムは、ユーザによって実行される所定のジェスチャの組合せを検出し、対話型ディスプレイシステムに指示してユーザに応答を与える。例えば、ディスプレイ装置は、プレイヤの視野角が変化した後に、ビデオゲームに異なるシーンを表示する、又はビデオゲームに動くオブジェクト（object）を表示する。従って、ユーザは、ユーザ入力装置に物理的に接触することなく、対話型ディスプレイシステムと対話することができる。

本発明のこれら及び他の目的は、様々な図及び図面に示されている好ましい実施形態の以下の詳細な説明を読めば、当業者には明らかになるであろう。

本発明の一実施形態による対話型ディスプレイシステムの機能ブロック図である。 本発明の一実施形態による片手のジェスチャの例示的な３Ｄ画像を示す図である。 本発明の一実施形態による片手のジェスチャの例示的な３Ｄ画像を示す図である。 本発明の一実施形態による片手のジェスチャの例示的な３Ｄ画像を示す図である。 本発明の一実施形態による片手のジェスチャの例示的な３Ｄ画像を示す図である。 本発明の一実施形態による手と仮想オブジェクトとの間の相互作用を示す図である。 本発明の一実施形態による手と仮想オブジェクトとの間の相互作用を示す図である。 本発明の一実施形態による手と仮想オブジェクトとの間の相互作用を示す図である。 本発明の一実施形態による対話型ディスプレイプロセスのフローチャートである。

図１は、本発明の一実施形態による対話型ディスプレイシステム１の機能ブロック図である。対話型ディスプレイシステム１は、画像センサ１０と、ジェスチャ認識装置１１と、コマンド検出器１２と、ディスプレイ装置１３と、中央処理装置（以下、ＣＰＵと略す）１４と、メモリ装置１５とを含む。

画像センサ１０は、ジェスチャ認識装置１１に結合され、且つジェスチャ認識装置１１への複数の画像ＩＭＧ０−ＩＭＧｎを生成するように構成される。ジェスチャ認識装置１１は、画像センサ１０及びコマンド検出器１２に結合され、且つコマンド検出器１２のために複数の画像ＩＭＧ０−ＩＭＧｎに対応する複数のジェスチャＧＲ０−ＧＲｎを判定するように構成される。コマンド検出器１２は、ジェスチャ認識装置１１及びＣＰＵ１４に結合され、且つ複数のジェスチャＧＲ０−ＧＲｎをＣＰＵ１４のコマンドＣＭＤとして解釈するように構成される。ＣＰＵ１４は、コマンド検出器１２、ディスプレイ装置１３、及びメモリ装置１５に接続され、且つコマンドＣＭＤに従って画像データをディスプレイ装置１３に出力するように構成される。ディスプレイ装置１３は、ＣＰＵ１４に結合され、且つシーンを表示するように構成される。

一実施形態では、画像センサ１０は、関心オブジェクト（object）の３次元（３Ｄ）画像を生成するように構成された構造光（SL）カメラ又は飛行時間（ToF）カメラ等の深度イメージャであってもよい。例えば、画像センサ１０は、ユーザの手の３Ｄ画像ＩＭＧ０−ＩＭＧｎを生成することができる。

一実施形態では、ジェスチャ認識装置１１は、３Ｄ画像ＩＭＧ０−ＩＭＧｎから関心オブジェクトに対応する複数の関心点を識別し、複数の関心点の相対的な位置に従って画像ＩＭＧ０−ＩＭＧｎに対応するジェスチャＧＲ０−ＧＲｎを判定する。例えば、関心点は、ユーザの手の指先及び手のひらであってもよく、関心点は、それぞれ、画像センサ１０の空間投影範囲内の３Ｄ座標に対応し、ジェスチャ認識装置１１は、ユーザの手の指先と手のひらとの相対的な位置に従って、ジェスチャＧＲ０−ＧＲｎを判定する。

一実施形態では、ジェスチャ認識は、機械学習によって実行してもよく、例えば、ジェスチャ認識装置１１は、３Ｄ画像のデータセットによって訓練されるニューラルネットワークモデルであってもよく、ニューラルネットワークモデルは、入力画像に対応する出力を生成する。

一実施形態では、コマンド検出器１２は、ジェスチャの所定の組合せをコマンドＣＭＤとして解釈することができる。例えば、対話型ディスプレイシステム１において、ジェスチャの所定の組合せとは、ユーザの指先や手のひらの連続的な動きを指し、この動きによって対話型ディスプレイシステム１に指示してユーザに応答（例えば、ビデオゲームにおいてプレイヤの視野角を変化させること、ビデオゲームにおいてオブジェクトを動かすこと等）を与える。

ジェスチャの所定の組合せは、第１のジェスチャ、第２のジェスチャ、及び第１のジェスチャのシーケンスであってもよい。換言すれば、ユーザは、第２のジェスチャが行われた後に、第１のジェスチャを繰り返して、対話型ディスプレイシステム１にジェスチャの所定の組合せに対する応答を与えるようにすることができ、例えば、ディスプレイ装置は、プレイヤの視野角が変化した後にビデオゲームに異なるシーンを表示する、又はビデオゲームに動くオブジェクトが表示する。従って、ユーザは、ユーザ入力装置に物理的に接触することなく、対話型ディスプレイシステム１と対話することができる。

図２〜図５は、本発明の様々な実施形態による片手のジェスチャの所定の組合せの例示的な３Ｄ画像を示す。ジェスチャ認識装置１１は、親指、人差し指、中指、薬指、及び小指Ｐ１−Ｐ５の指先、手の手のひらの中心Ｐ０、手の関節Ｊ１−Ｊ５を識別することができる。

図２では、「リリース（手を開く）（release）」、「ホールド（手を握る）（hold）」、及び「リリース」ジェスチャの所定の組合せが認識されたときに、「グラブ（掴む）（grab）」コマンドが解釈される。「リリース」ジェスチャを認識するために、指先Ｐ１−Ｐ５と手のひらの中心Ｐ０との距離が所定の範囲内にあり、且つベクトルＰ０Ｊ１とＰ１Ｊ１との間の角度が範囲内であることが検出された（すなわち、親指の指先が手のひらから離れる方向を指している）ときに、ジェスチャ認識装置１１は、「リリース（手を開く）」ジェスチャを認識することができる。「ホールド（手を握る）」ジェスチャを認識するためには、指先Ｐ１−Ｐ５と手のひらの中心Ｐ０との距離が、ある範囲内にある、つまり略ゼロである（すなわち、握りこぶしを作るために指先Ｐ１−Ｐ５が手のひらの中心Ｐ０に向けて移動する）ときに、ジェスチャ認識装置１１は、「ホールド（手を握る）」ジェスチャを認識することができる。

図３では、「ポイント（指で指し示す）（point）」、「クリック（click）」、「ポイント」ジェスチャの所定の組合せが認識されたときに、「テレポート（teleport）」コマンドが解釈される。「ポイント（指で指し示す）」ジェスチャを認識するために、ベクトルＰ２Ｊ２がベクトルＪ１Ｊ２と平行であり、ベクトルＰ１Ｊ１とベクトルＰ２Ｊ２との間の角度が範囲内であり、且つ指先Ｐ３−Ｐ５と手のひらの中心Ｐ０との距離が範囲内であることを検出するときに、ジェスチャ認識装置１１は、「ポイント（指で指し示す）」ジェスチャを認識することができる。

「クリック」ジェスチャを認識するために、ベクトルＰ２Ｊ２がベクトルＪ１Ｊ２及びＰ１Ｊ１と平行であり（すなわち、ベクトルＰ２Ｊ２、Ｊ１Ｊ２、及びＰ１Ｊ１の間の角度が略ゼロである）、指先Ｐ１−Ｐ２と手のひらの中心Ｐ０との距離がある範囲より大きく、指先Ｐ３−Ｐ５と手のひらの中心Ｐ０との距離が範囲内であることを検出するときに、ジェスチャ認識装置１１は、「クリック」ジェスチャを認識することができる。一実施形態では、親指の指先が、人差し指の関節及び手のひらに向けて動いており、且つ中指、薬指、及び小指の指先が手のひらに近づいていることを検出したときに、ジェスチャ認識装置１１は、「ポイント（指で指し示す）」ジェスチャを認識することができる。

例えば、ビデオゲームシステムを使用すると、ＣＰＵ１４又は他の画像解析モジュ−ルは、人差し指の指示方向（例えば、ベクトルＰ２Ｊ２）を、ディスプレイ装置１３によって表示されるシーンの空間投影範囲にマッピングすることができ、ジェスチャ認識装置１１は、「ポイント（指で指し示す）」、「クリック」、「ポイント」ジェスチャの所定の組合せを検出して「テレポート」コマンドを出力し、次に、ＣＰＵ１４は、人差し指の指示方向に基づいて新たなシーンを生成し、ディスプレイ装置１３に「テレポート」コマンドを送信して新しいシーンをユーザに表示する。従って、ユーザは、ユーザ入力装置に物理的に接触することなく、対話型ディスプレイシステム１と対話することができる。

図４では、「オープンニップ（指の挟みを解く）（open nip）」、「クローズニップ（指で挟む）（close nip）」、及び「オープンニップ」ジェスチャの所定の組合せが認識されたときに、「キー入力（key in）」コマンドが解釈される。「オープンニップ（指の挟みを解く）」ジェスチャを認識するために、指先Ｐ３−Ｐ５と手のひらの中心Ｐ０との距離が範囲内にあり、人差し指の指先Ｐ２と手のひらの中心Ｐ０との距離が範囲内にあり、親指と手のひらとの間の角度が範囲内にあることを検出するときに、ジェスチャ認識装置１１は、「オープンニップ」ジェスチャを認識することができる。「クローズニップ（指で挟む）」ジェスチャを認識するために、親指の指先が人差し指の指先に触れた（すなわち、点Ｐ１と点Ｐ２との距離がある範囲内にあるか、又はゼロに近い）ことを検出するときに、ジェスチャ認識装置１１は、「クローズニップ」ジェスチャを認識することができる。

図５では、「サム・アップ（親指を立てる）（thumb up）」、「クリック（click）」、及び「サム・アップ」ジェスチャの所定の組合せが認識されるときに、「複製」コマンドが解釈される。「サム・アップ（親指を立てる）」ジェスチャを認識するために、指先Ｐ２−Ｐ５と手のひらの中心Ｐ０との距離が範囲内にあり、親指と手のひらの間の角度が範囲内にあることを検出するときに、ジェスチャ認識装置１１は、「サム・アップ」ジェスチャを認識することができる。

図２〜図５の実施形態の要約では、手のジェスチャは、指先と手のひらの中心との相対的な位置に基づいて認識され得る。ジェスチャ認識装置１１は、指先と手のひらの中心との相対的な位置によって設定される条件に従ってジェスチャを認識することができる。当業者であれば、これに限定されるものではないが、それに応じて改変及び変更を行うことができる。

他の実施形態では、ＣＰＵ１４又は他の画像解析モジュ−ル（例えば、仮想オブジェクト生成装置）は、３Ｄ画像ＩＭＧ０−ＩＭＧｎに少なくとも１つの関心オブジェクト（例えば、片手又は両手）を投影するだけでなく、ディスプレイ装置１３によって表示されるシーンの空間投影範囲に仮想的な関心オブジェクトを投影し、ユーザは、手のジェスチャによって仮想的な関心オブジェクトと対話することができる。一実施形態では、仮想オブジェクト生成装置は、仮想オブジェクトを生成するためにメッシュ生成又はグリッド生成を実行してもよく、ユーザは、手のジェスチャによってコマンドを入力し、このコマンドによって対話型ディスプレイシステム１に指示して、入力コマンドに対する応答を与える。例えば、ディスプレイ装置は、入力コマンドに基づいて、仮想オブジェクトを拡大、縮小、又は回転させる、又はポップアップ・ウィンドウを表示する。

図６〜図８は、本発明の様々な実施形態による片手又は両手と仮想オブジェクトとの間の相互作用を示す。

図６では、ユーザは、図２の実施形態で述べたように、「グラブ（掴む）」コマンドを行うことによって、ディスプレイ装置１３によって表示される仮想的な関心オブジェクトＯＢＪ＿１を選択することができ、ユーザは、手のジェスチャによって仮想的な関心ジェスチャＯＢＪ＿１とさらに対話することができる。コマンド検出器１２は、検出されたジェスチャ、例えば「サム・アップ（親指を立てる）」の動きを追跡することによって、「左回転」又は「右回転」コマンドを検出することができる。

「サム・アップ（親指を立てる）」ジェスチャに対応する条件が変更されないままであるので、「サム・アップ」ジェスチャは、指先Ｐ１−Ｐ５と手のひらの中心Ｐ０との間の相対的な位置が変化しない限り、解釈される。一実施形態では、「サム・アップ」ジェスチャの動きは、親指の指先Ｐ１の動きによって表すことができ、コマンド検出器１２は、３Ｄ画像ＩＭＧ０−ＩＭＧｎにおいて識別された親指の指先Ｐ１の座標変位を計算することによって親指の指先Ｐ１の動きを追跡し、「サム・アップ」ジェスチャが左又は右に回転するかどうかを判定することができる。例えば、「サム・アップ」ジェスチャが検出され、親指の指先Ｐ１がディスプレイ装置１３の空間投影範囲内で左下又は右下に移動した場合に、コマンド検出器１２は、「左回転」又は「右回転」コマンドを判定することができる。親指の指先Ｐ１は、検出された「サム・アップ」のジェスチャに関連する指定された関心点であってもよい。

図７では、ユーザは、両手を用いて、ディスプレイ装置１３によって表示された仮想的な関心オブジェクトＯＢＪ＿２と対話することができる。ジェスチャ認識装置１１は、ユーザの左手及び右手の「ホールド（手を握る）」ジェスチャを認識することができ、コマンド検出器は、例えば両手の検出されたジェスチャ、例えば「ホールド（手を握る）」の動きを追跡することによって「拡大」又は「縮小」コマンドを検出することができる。

「ホールド（手を握る）」ジェスチャに対応する条件が変更されないままであるので、指先Ｐ１−Ｐ５と手のひらの中心Ｐ０との間の相対的な位置が変化しない限り、両手のホールド」ジェスチャが検出される。一実施形態では、両手の「ホールド」ジェスチャの動きは、両手の手のひらの中心Ｐ０（又は、関心点Ｐ１−Ｐ５及びＪ１−Ｊ５のいずれか１つ）の動きによって表すことができ、コマンド検出器１２は、３Ｄ画像ＩＭＧ０−ＩＭＧｎにおいて識別された両手の手のひらの中心Ｐ０の座標変位を計算することによって手のひらの中心Ｐ０の動きを追跡し、両手の「ホールド」ジェスチャが近づくか又は遠さかるかを判定することができる。例えば、両手の「ホールド」ジェスチャが検出され、且つ両手の手のひらの中心Ｐ０がディスプレイ装置１３の空間投影範囲において近づく又は遠ざかるときに、コマンド検出器１２は、「拡大」又は「縮小」コマンドを判定することができる。例えば、仮想的な関心オブジェクトＯＢＪ＿２の大きさは、片手の手のひらの中心Ｐ０の座標変位、又は両手の手のひらの中心Ｐ０の座標変位に比例する。

図８では、ユーザは、一方又は他方の手を使用して、ディスプレイ装置１３によって表示される仮想的な関心オブジェクトＯＢＪ＿３と対話することができる。この実施形態では、仮想的な関心オブジェクトＯＢＪ＿３は、キーボードであり、且つ複数の関心サブオブジェクトを含む。例えば、キーボードは、複数の文字に対応する複数のキーを含む。

ユーザは、ディスプレイ装置１３の空間投影範囲における複数のキーのうちの１つに左手又は右手のいずれかを移動させ、次に、「オープンニップ（指の挟みを解く）」、「クローズニップ（指で挟む）」、及び「オープンニップ」のジェスチャの所定の組合せを実行することによって、「キー入力」コマンドを実行することができる。ＣＰＵ１４は、「キー入力」コマンドに対応する位置（又は、指定点）に応じて、「キー入力」コマンドに対応する文字を判定することができ、指定点は、「キー入力」コマンドの「クローズニップ」ジェスチャから識別された親指の指先Ｐ１又は人差し指の指先Ｐ２とすることができる。次に、ＣＰＵ１４は、ディスプレイ装置１３に指示して、「キー入力」コマンドに対応する文字を含むポップアップ・ウィンドウを表示させることができる。例えば、ユーザは、左手を、文字「Ｃ」に対応するキーがディスプレイ装置１３の空間投影範囲に投影される箇所に移動させ、「キー入力」コマンドを実行することができる。ＣＰＵ１４は、検出された「キー入力」コマンド及び対応する指定点に従って、ユーザにより文字「Ｃ」が入力されたと判定し、ディスプレイ装置１３に指示して文字「Ｃ」のポップアップ・ウィンドウを表示させる。

対話型ディスプレイシステム１の動作は、図９に示されるように対話型ディスプレイプロセス９に要約することができる。また、対話型ディスプレイプロセス８は、以下のステップを含む。
ステップ９０１：複数の画像に対応する複数のジェスチャを判定する。
ステップ９０２：複数のジェスチャのうちのジェスチャの所定の組合せが検出されたかどうかを判定する。「はい」の場合はステップ９０４に進み、「いいえ」の場合はステップ８０３に進む。
ステップ９０３：複数のジェスチャのうちのジェスチャの動きが検出されたかどうかを判定する。「はい」の場合はステップ９０４に進み、「いいえ」の場合はステップ９０１に戻る。
ステップ９０４：ジェスチャの所定の組合せ又はジェスチャの動きをコマンドとして解釈する。
ステップ９０５：コマンドに応答してシーンを表示する。

対話型ディスプレイプロセス９では、ジェスチャ認識装置１１によってステップ９０１が実行され、コマンド検出器１２によってステップ９０２〜ステップ９０４が実行され、ＣＰＵ１４及びディスプレイ装置１３によってステップ８０５が実行される。対話型ディスプレイプロセス９の詳細な操作については、図１〜図８の説明を参照することにより得ることができる。

要約すると、本発明の対話型ディスプレイシステムは、ユーザによって実行されるジェスチャの所定の組合せ又はジェスチャの動きを検出し、対話型ディスプレイシステムに指示してユーザに応答（例えば、プレイヤの視野角が変化した後にディスプレイ装置がビデオゲームに異なるシーンを表示する、又はビデオゲームに動くオブジェクトを表示する）を与える。従って、ユーザは、ユーザ入力装置に物理的に接触することなく、対話型ディスプレイシステムと対話することができる。

当業者であれば、本発明の教示を保持しながら、装置及び方法の多くの改変及び変更を行うことができることを容易に理解するであろう。従って、上記の開示は、添付の特許請求の範囲及び境界によってのみ限定されると解釈すべきである。

Claims (24)

1. 電子装置のための対話型ディスプレイの方法であって、当該方法は、
   複数の画像に対応する複数のジェスチャを判定するステップと、
   前記複数のジェスチャのうちのジェスチャの所定の組合せを第１のコマンドとして解釈するステップと、
   前記第１のコマンドに応答して第１のシーンを表示するステップと、を含む、
   方法。
2. 前記ジェスチャの所定の組合せは、第１のジェスチャ、第２のジェスチャ、及び前記第１のジェスチャのシーケンスである、請求項１に記載の方法。
3. 前記複数の画像に対応する前記複数のジェスチャを判定するステップは、
   前記複数の画像において第１の関心オブジェクトを識別するステップと、
   第１の関心オブジェクトの複数の関心点を識別するステップと、
   前記複数の関心点に従って前記複数のジェスチャのうちの１つを判定するステップと、を含み、
   前記第１の関心オブジェクトは、ユーザの第１の手であり、前記複数の関心点は、前記第１の手の指先、関節、及び掌手のひらを含む、請求項１に記載の方法。
4. 前記複数の画像において仮想的な関心オブジェクトを識別するステップと、
   前記第１のコマンドに応答して前記仮想的な関心オブジェクトを選択するステップと、をさらに含む、請求項１に記載の方法。
5. 前記複数のジェスチャのうちの１つの動きを追跡するステップと、
   前記複数のジェスチャのうちの前記１つの動きを第２のコマンドとして解釈するステップと、
   前記第２のコマンドに応答して第２のシーンを表示するステップと、をさらに含む、請求項４に記載の方法。
6. 前記複数のジェスチャのうちの前記１つの動きを追跡するステップは、
   前記第１の関心オブジェクトの複数の関心点を識別するステップと、
   前記第１の関心オブジェクトの前記複数の関心点のうちの指定点の動きを追跡するステップであって、指定された前記関心点は、前記複数のジェスチャのうちの１つに関連付けられる、追跡するステップと、をさらに含む、請求項５に記載の方法。
7. 前記複数の画像に対応する前記複数のジェスチャを判定するステップは、
   前記複数の画像のうちの１つにおいて、第１の関心オブジェクト及び第２の関心オブジェクトを識別するステップと、
   前記第１の関心オブジェクトの複数の第１の関心点及び前記第２の関心オブジェクトの複数の第２の関心点を識別するステップと、
   前記複数の第１及び第２の関心点に従って前記第１及び第２の関心オブジェクトのジェスチャを判定するステップと、を含み、
   前記第１の関心オブジェクトはユーザの第１の手であり、前記第２の関心オブジェクトは前記ユーザの第２の手であり、前記複数の第１及び第２の関心点は、前記第１及び第２の手の指先、関節、及び手のひらを含む、請求項４に記載の方法。
8. 前記複数の画像に対応する前記複数のジェスチャを判定するステップは、
   前記第１及び第２の関心オブジェクトの前記ジェスチャの動きを追跡するステップと、
   前記第１及び第２の関心オブジェクトの動きを第２のコマンドとして解釈するステップと、
   前記第２のコマンドに応答して第２のシーンを表示するステップと、を含む、請求項７に記載の方法。
9. 前記第１及び第２の関心オブジェクトの前記ジェスチャの動きを追跡するステップは、
   前記第１の関心オブジェクトの前記複数の第１の関心点のうちの第１の指定点の動きと、前記第２の関心オブジェクトの前記複数の第２の関心点のうちの第２の指定点の動きを追跡するステップとを含み、指定された前記第１及び第２の関心点は、前記第１及び第２の関心オブジェクトのジェスチャに関連付けられる、請求項８に記載の方法。
10. 前記複数の画像において仮想的な関心オブジェクトを識別するステップであって、前記仮想的な関心オブジェクトは、複数の文字に対応する複数のサブ関心オブジェクトを含む、識別するステップと、
    前記第１のコマンドに対応する指定点に従って、前記複数のサブ関心オブジェクトのうちの１つに対応する前記複数の文字のうちの１つを判定するステップと、をさらに含み、
    前記第１のコマンドに応答して前記第１のシーンを表示するステップは、前記第１のコマンドに対応する前記複数の文字のうちの前記１つを含むポップアップ・ウィンドウを表示するステップを含む、請求項１に記載の方法。
11. 前記第１のコマンドに対応する前記指定点に従って、前記複数のサブ関心オブジェクトのうちの１つに対応する前記複数の文字のうちの１つを判定するステップは、
    前記複数の画像において第１の関心オブジェクトを識別するステップと、
    前記第１の関心オブジェクトの複数の関心点を識別するステップと、
    前記複数の関心点のうち前記第１のコマンドに対応する前記指定点を判定するステップと、を含み、
    前記第１の関心オブジェクトはユーザの第１の手であり、前記複数の関心点は、前記第１の手の指先であり、前記指定点は、前記第１の手の親指の指先又は人差し指の指先である、請求項１０に記載の方法。
12. 対話型ディスプレイシステムのための装置であって、当該装置は、
    処理装置と、
    該処理装置に結合され、対話型ディスプレイのプロセスを記憶し、前記処理装置に指示して前記対話型ディスプレイのプロセスを実行するように構成されたメモリ装置と、を有しており、
    前記対話型ディスプレイのプロセスは、
    複数の画像に対応する複数のジェスチャを判定することと、
    該複数のジェスチャのうちのジェスチャの所定の組合せを第１のコマンドとして解釈することと、
    前記第１のコマンドに応答して第１のシーンを出力することと、を含む、
    装置。
13. 前記ジェスチャの所定の組合せは、第１のジェスチャ、第２のジェスチャ、及び前記第１のジェスチャのシーケンスである、請求項１２に記載の装置。
14. 前記複数の画像に対応する前記複数のジェスチャを判定することは、
    前記複数の画像において第１の関心オブジェクトを識別することと、
    前記第１の関心オブジェクトの複数の関心点を識別することと、
    前記複数の関心点に従って、前記複数のジェスチャのうちの１つを判定することと、を含み、
    前記第１の関心オブジェクトは、ユーザの第１の手であり、前記複数の関心点は、前記第１の手の指先、関節、及び手のひらを含む、請求項１２に記載の装置。
15. 前記対話型ディスプレイのプロセスは、
    前記複数の画像において仮想的な関心オブジェクトを識別することと、
    前記第１のコマンドに応答して前記仮想的な関心オブジェクトを選択することと、をさらに含む、請求項１２に記載の装置。
16. 前記対話型ディスプレイのプロセスは、
    前記複数のジェスチャのうちの１つの動きを追跡することと、
    前記複数のジェスチャのうちの前記１つの動きを第２のコマンドとして解釈することと、
    前記第２のコマンドに応答して第２のシーンを表示することと、をさらに含む、請求項１５に記載の装置。
17. 前記複数のジェスチャのうちの前記１つの動きを追跡することは、
    前記第１の関心オブジェクトの複数の関心点を識別することと、
    前記第１の関心オブジェクトの前記複数の関心点のうちの指定点の動きを追跡することであって、指定された前記関心点は、前記複数のジェスチャのうちの１つに関連付けられる、追跡することと、を含む、請求項１６に記載の装置。
18. 前記複数の画像に対応する前記複数のジェスチャを判定することは、
    前記複数の画像のうちの１つにおいて、第１の関心オブジェクト及び第２の関心オブジェクトを識別することと、
    前記第１の関心オブジェクトの複数の第１の関心点及び前記第２の関心オブジェクトの複数の第２の関心点を識別することと、
    前記複数の第１及び第２の関心点に従って前記第１及び第２の関心オブジェクトのジェスチャを判定することと、を含み、
    前記第１の関心オブジェクトはユーザの第１の手であり、前記第２の関心オブジェクトは前記ユーザの第２の手であり、前記複数の第１及び第２の関心点は、前記第１及び第２の手の指先、関節、及び手のひらを含む、請求項１５に記載の装置。
19. 前記複数の画像に対応する前記複数のジェスチャを判定することは、
    前記第１及び第２の関心オブジェクトの前記ジェスチャの動きを追跡することと、
    前記第１及び第２の関心オブジェクトの動きを第２のコマンドとして解釈することと、
    前記第２のコマンドに応答して第２のシーンを表示することと、を含む、請求項１８に記載の装置。
20. 前記第１及び第２の関心オブジェクトの前記ジェスチャの動きを追跡することは、
    前記第１の関心オブジェクトの前記複数の第１の関心点のうちの第１の指定点の動きと、前記第２の関心オブジェクトの前記複数の第２の関心点のうちの第２の指定点の動きとを追跡することを含み、指定された前記第１及び第２の関心点は、前記第１及び第２の関心オブジェクトの前記ジェスチャに関連付けられる、請求項１９に記載の装置。
21. 前記対話型ディスプレイのプロセスは、
    前記複数の画像において仮想的な関心オブジェクトを識別することであって、前記仮想的な関心オブジェクトは、複数の文字に対応する複数のサブ関心オブジェクトを含む、識別することと、
    前記第１のコマンドに対応する指定点に従って、前記複数のサブ関心オブジェクトのうちの１つに対応する前記複数の文字のうちの１つを判定することと、を含み、
    前記第１のコマンドに応答して前記第１のシーンを表示することは、前記第１のコマンドに対応する前記複数の文字のうちの１つを含むポップアップ・ウィンドウを表示することを含む、請求項１２に記載の装置。
22. 前記第１のコマンドに対応する前記指定点に従って、前記複数のサブ関心オブジェクトのうちの１つに対応する前記複数の文字のうちの１つを判定することは、
    前記複数の画像において第１の関心オブジェクトを識別することと、
    前記第１の関心オブジェクトの複数の関心点を識別することと、
    前記複数の関心点のうち前記第１のコマンドに対応する前記指定点を判定することと、を含み、
    前記第１の関心オブジェクトはユーザの第１の手であり、前記複数の関心点は前記第１の手の指先であり、前記指定点は、前記第１の手の親指の指先又は人差し指の指先である、請求項２１に記載の装置。
23. 前記対話型ディスプレイシステムは、
    前記処理装置に結合され、該処理装置に前記複数の画像を生成するように構成された画像センサと、
    前記処理装置に結合され、該処理装置によって出力された前記第１のシーンを表示するように構成されたディスプレイ装置と、を含む、請求項１２に記載の装置。
24. 前記画像センサは、構造化光カメラ又は飛行時間カメラであり、前記複数の画像のそれぞれは、３次元画像である、請求項２３に記載の装置。
    

Images