JP2014038527A - 入力装置、入力方法、及びプログラム - Google Patents

Abstract

【課題】ポインティング操作に加えてジェスチャ操作を認識できる入力装置、入力方法、及びプログラムを提供する。
【解決手段】入力装置は、ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する装置である。入力装置は、ユーザの手が移動したことにより生じる撮像画像中のユーザの手の形状の変化に基づいて、ユーザの入力がポイント領域の選択操作かジェスチャ操作かを判別する入力判別部１５５を備えている。
【選択図】図５

Description

本発明は、入力装置、入力方法、及びプログラムに関する。

ユーザの手の動きに基づいてユーザの操作指令を判別する入力装置が知られている。例えば、特許文献１には、三次元ディスプレイによって形成された仮想操作面を操作するユーザの手の動きに基づいて、ユーザの操作を判別する画像認識装置が開示されている。また、特許文献２には、撮影されたユーザのジェスチャに基づいて、ディスプレイに表示される画像の配列方法を決定する表示制御装置が開示されている。また、特許文献３には、タッチパネルのタッチ動作の移動量に基づいて、ユーザのタッチ動作が押下操作かジェスチャ操作かを判別する情報処理装置が開示されている。

特開２０１１−１７５６２３号公報 特開２０１１−２４８６０６号公報 特開２００９−１５１６９１号公報

ポイント領域が表示された操作画面に撮像画像を対応付け、撮像画像中のユーザの手の動き（例えば、ポイント領域に相当する位置での手の一定時間の停止）に基づいて、ユーザのポイント領域の選択（以下、「ポインティング操作」という。）を認識する装置がある。このような入力装置では、操作のバリュエーションを増加させるために、ポインティング操作に加えてジェスチャ操作も認識できるよう望まれている。

タッチパネルの場合、ポイント領域に移動中のユーザの手はタッチパネルから離間している。そのため、ポイント領域へ移動中のユーザの手の動きはタッチパネルには検出されない。その結果、例えば引用文献３に示されているように、入力装置は、タッチパネルで捉えたユーザの手の移動量の情報のみで、タッチ動作が押下操作かジェスチャ操作かを容易に区別できる。

しかしながら、タッチパネルではなくカメラを使ってユーザの入力を判別する場合、ポイント領域へ移動中のユーザの手の動きは、タッチパネルのときとは違いカメラに撮像されてしまう。ポインティング操作に加えてジェスチャ操作を認識するためには、入力装置は、ポイント領域へ移動中のユーザの手の動きとジェスチャのためのユーザの手の動きとを区別しなければならないが、その区別は極めて困難である。

本発明は、このような問題に鑑みてなされたものであり、ポインティング操作に加えてジェスチャ操作を認識できる入力装置、入力方法、及びプログラムを提供することを目的とする。

本発明の第１の観点に係る入力装置は、
ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置であって、
前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別手段、を備える、
ことを特徴とする。

本発明の第２の観点に係る入力方法は、
ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力方法であって、
前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別ステップ、を有する、
ことを特徴とする。

本発明の第３の観点に係るプログラムは、
ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置を制御するコンピュータに、
前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別機能、を実現させる、
ことを特徴とする。

本発明によれば、ポインティング操作に加えてジェスチャ操作を認識できる入力装置、入力方法、及びプログラムを提供できる。

本発明の実施の形態に係る入力装置の入力状態を示す図である。 入力装置で実行される処理の概要を説明するための図であり、（Ａ）は表示部に表示される操作画面を示す図、（Ｂ）は撮像部で撮像される撮像画像を示す図、（Ｃ）は操作画面に撮像画像を対応付けた様子を示す図である。 入力装置で実行される処理の概要を説明するための図であり、（Ａ）と（Ｂ）はジェスチャ操作を説明するための図、（Ｃ）はポインティング操作を説明するための図である。 図１に示す入力装置の内部構成を示すブロック図である。 図４に示す制御部の機能を説明するための機能ブロック図である。 図４に示す記憶部に格納されたジェスチャ判別テーブルとコマンドテーブルを説明するための図である。 ユーザの手の移動パターンを説明するための図であり、（Ａ）は右回りの円を描く移動パターン、（Ｂ）は左回りの円を描く移動パターン、（Ｃ）は左方向の直線移動の移動パターン、（Ｄ）は右方向の直線移動の移動パターンを説明するための図である。 実施の形態１の入力処理のフローチャートである。 入力処理で使用される撮像画像を説明するための図である。 手領域を説明するための図である。 ポイント領域の方向を特定した様子を示す図である。 ポイント領域の方向とユーザの手の移動方向とを比較する様子を示す図であり、（Ａ）はユーザの手の移動方向を特定した様子を示す図、（Ｂ）はポイント領域の方向とユーザの手の移動方向から方向相違度を算出する様子を示す図である。 ユーザの手の形状の変化を示す図であり、（Ａ）はポインティング操作時のユーザの手の形状の変化を示す図、（Ｂ）はジェスチャ操作時のユーザの手の形状の変化を示す図である。 実施の形態１の入力装置の効果を説明するための図である。 図４に示す記憶部に用意されるＦＩＦＯキューを説明するための図である。 実施の形態２の入力処理のフローチャートである。 ユーザの手の移動方向と形状の変化を特定する様子を示す図であり、（Ａ）はユーザの手の移動方向の変化を特定する様子を示す図、（Ｂ）はユーザの手の形状の変化を特定する様子を示す図である。 方向相違度、形状相違度、加算値が一定時間間隔で算出される様子を示す図である。 実施の形態２の入力装置の効果を説明するための図である。 入力装置の変形例を説明するための図であり、（Ａ）はポイント領域の方向と移動開始時点のユーザの手の位置を基準として作成された方向比較マップを説明するための図、（Ｂ）は方向比較マップに基づいて方向相違度が特定される様子を示す図である。 フィードバック部の動作を説明するための図であり、（Ａ）はユーザの手の移動軌跡が光跡として表示される様子を示す図、（Ｂ）はサークル状の案内表示の透過率が累積値に基づいて変化した様子を示す図である。 入力装置の変形例を説明するための図である。 入力装置の変形例を説明するための図であり、（Ａ）はユーザの手の移動速度が速い様子を示す図、（Ｂ）ユーザの手の移動速度が遅い様子を示す図である。

以下、本発明の実施の形態に係る処理装置について図面を参照しながら説明する。

（実施の形態１）
本実施の形態の入力装置１００は、カメラで撮像されたユーザの手の動きに基づいて、ユーザの機器に対する入力（例えば、ユーザの機器に対する操作指令、コマンド、ポイント領域の選択等）を判別する機能を備えた、例えば図１に示すようなパーソナルコンピュータである。最初に、図２と図３を参照して、入力装置１００が行う処理の概要を説明する。

入力装置１００は、ポイント領域が表示された例えば図２（Ａ）に示すような操作画面を表示する表示部１２０と、例えば図２（Ｂ）に示すような画像を撮像する撮像部１３０とを備えている。撮像された画像（以下、「撮像画像」という。）は、図２（Ｃ）に示すように、操作画面に対応付けられる。入力装置１００は、撮像画像の中のユーザの手の動きに基づいて、ユーザの入力がポインティング操作かジェスチャ操作かを判別する。ここで、「ジェスチャ操作」とは、機器操作のために予め定められた身振り手振り等の所定の動作、例えば図３（Ａ）に示すような手の周回動作や、例えば図３（Ｂ）に示すような指を立てて手首や肘を支点に手を振る動作（以下、「フリック動作」という。）等のことをいう。また、「ポインティング操作」とは、ユーザが画面に表示されたポイント領域を選択しようとする動作のことをいう。なお、「ポインティング操作」には、ポイント領域に移動中のユーザの手の動きも含まれる。

ユーザがポインティング操作を行うと、ユーザの手はポイント領域がある方向に移動する。この場合、ユーザは操作画面を見ながら手を平行移動させることが多いことから、例えば図３（Ｃ）に示すように、撮像される手の形状はあまり変化しない。一方でジェスチャ操作の場合、ユーザは手首を支点に手を振るように手を移動させることが多いことから、例えば図３（Ａ）や（Ｂ）に示すように、撮像される手の形状は大きく変化する。入力装置１００は、移動によって生じるユーザの手の形状の変化に基づいて、ユーザの入力がポインティング操作かジェスチャ操作かを判別する。

以下、入力装置１００の構成について詳細に説明する。

入力装置１００は、図４に示すように、操作部１１０と、表示部１２０と、撮像部１３０と、画像記憶部１４０と、制御部１５０と、記憶部１６０とから構成される。

操作部１１０は、キーボード等の入力デバイスから構成される。操作部１１０は、ユーザからの処理開始命令等を受け取って後述の制御部１５０に送信する。

表示部１２０は、液晶ディスプレイ等の表示装置から構成される。表示部１２０は、制御部１５０の制御に従って各種画像を表示する。

撮像部１３０は、ＣＣＤ（Charge Coupled Device Image Sensor）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像装置から構成される。撮像部１３０は、例えば、表示部１２０の上部中央に設置されている。撮像部１３０は、ユーザの手の画像（映像を含む。）を撮像するとともに、各フレームに撮影時刻を付加し、逐次、画像記憶部１４０に送信する。

画像記憶部１４０は、ＲＡＭ（Random Access Memory）等のビデオメモリから構成される。画像記憶部１４０は、撮像部１３０から送信された画像データを記憶する。

制御部１５０は、プロセッサ等の処理装置から構成される。制御部１５０は不図示のＲＯＭ（Read Only Memory）やＲＡＭに格納されているプログラムに従って動作し、後述の「入力処理」を含む種々の動作を実行する。制御部１５０は、「入力処理」に従って動作することで、図５に示すように、画像取得部１５１、移動検出部１５２、方向比較部１５３、形状比較部１５４、入力判別部１５５として機能する。なお、これらの機能については、後述の「入力処理」の説明の箇所で述べる。

記憶部１６０は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置から構成される。記憶部１６０には、「ジェスチャ判別テーブル」、「コマンドテーブル」等の各種データが格納されている。

「ジェスチャ判別テーブル」は、ユーザのジェスチャ、すなわちユーザの手の軌跡が予め記憶された複数の移動パターンのいずれに該当するかを判別するための情報である。「移動パターン情報」は、図６に示すように、「識別情報」と「特徴データ」とを関連付けた情報から構成される。

「識別情報」は、ユーザの手の移動パターンを識別するための情報である。例えば、ユーザが、図７（Ａ）に示すように右回りの周回動作をするのであれば「周回（右回り）」、図７（Ｂ）に示すように左回りの周回動作をするのであれば「周回（左回り）」、図７（Ｃ）に示すように、左方向のフリック動作をするのであれば「直線移動（左方向）」、図７（Ｄ）に示すように、右方向のフリック動作をするのであれば「直線移動（右方向）」といった情報が識別情報である。なお、識別情報の書式は特定の書式に限定されない。例えば、１、２、３・・・といった数値であってもよいし、Ａ、Ｂ、Ｃ・・・といった記号であってもよい。

「特徴データ」は、ユーザの手の移動パターンを特定するための情報である。特徴データは、例えば、ユーザの手が描く移動軌跡の特徴を抽出して格納した特徴量データから構成される。制御部１５０は、ユーザの手の軌跡を特徴データに照合することによって、ユーザの手の移動軌跡がいずれの移動パターンに該当するか判別する。

「コマンドテーブル」は、ユーザのジェスチャ操作が、複数ある操作コマンドのいずれに該当するかを判別するための情報である。コマンドテーブルは、図６に示すように、「識別情報」と「制御コマンド」を関連付けた情報から構成される。

「制御コマンド」は、機器を制御するための制御情報である。「制御コマンド」は、例えば、音楽再生ソフト等のアプリケーションソフトやオペレーティングシステム等に入力される、再生、停止、早送り、スキップ、決定、キャンセル、ボリューム変更等の制御情報である。

次に、このような構成を有する入力装置１００の動作について説明する。

制御部１５０は、操作部１１０より処理開始命令を受信すると、撮像部１３０に対して撮像の開始を命令する。撮像部１３０は撮像開始を命令されると、逐次、撮像した画像を画像記憶部１４０に送信する。また、制御部１５０は、操作部１１０より処理開始命令を受信すると、アプリケーションソフトを実行するとともに、そのアプリケーションソフトに各種制御情報を入力するための「入力処理」を開始する。以下、図８のフローチャートを参照して「入力処理」について説明する。

制御部１５０の画像取得部１５１は、画像記憶部１４０から、人の手が撮像された最新の所定期間分の撮像画像（例えば、図９に示すように、撮影時刻が１時２３分４０秒５０〜１時２４分００秒５０までの２０秒分の複数フレームの画像データ）を取得する（ステップＳ１０１）。

図８のフローに戻り、制御部１５０の移動検出部１５２は、複数フレームの撮像画像それぞれについて人差し指を立てた状態の人の手の領域（以下、「手領域」という。）を抽出する（ステップＳ１０２）。なお、抽出する手領域は、手の形状そのもの（例えば、図１０に示す（ａ）の破線で囲まれた部分）であってもよいし、手を包含する最小の矩形領域（例えば、図１０に示す（ｂ）の破線で囲まれた部分）であってもよい。

図８のフローに戻り、移動検出部１５２は、各フレームの手領域の位置の変化に基づいて、取得した撮像画像中にユーザの手が停止状態（手の移動速度が一定速度以下の状態）から移動状態（手の移動速度が一定速度以上の状態）に移行している時点があるか判別する（ステップＳ１０３）。ユーザの手が移動状態に移行していない場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０１に戻り、ステップＳ１０１〜ステップＳ１０３を繰り返す。移動状態に移行している場合（ステップＳ１０３：Ｙｅｓ）、移動状態に移行した時点の撮影時刻（以下、移動開始時点Ｔ１という。）を不図示のＲＡＭ等に保存し、ステップＳ１０４に進む。

移動検出部１５２は、移動開始後の各フレームの手領域の位置の変化に基づいて、移動開始時点Ｔ１以後の撮像画像中にユーザの手が移動状態から停止状態に移行している時点があるか判別する（ステップＳ１０４）。ユーザの手が停止状態に移行していない場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０１に戻り、ステップＳ１０１〜ステップＳ１０４を繰り返す。停止状態に移行している場合（ステップＳ１０４：Ｙｅｓ）、移動停止状態に移行した時点の撮影時刻（以下、移動停止時点Ｔ２という。）を不図示のＲＡＭ等に保存し、ステップＳ１０５に進む。

移動検出部１５２は、移動開始時点Ｔ１の撮像画像と移動停止時点Ｔ２の撮像画像を画像記憶部１４０から取得し、不図示のＲＡＭに保存する（ステップＳ１０５）。例えば、ステップＳ１０３で移動開示時点Ｔ１として１時２３分４５秒６７を保存し、ステップＳ１０４で移動停止時点Ｔ２として１時２３分４６秒６７を保存したのであれば、１時２３分４５秒６７と１時２３分４６秒６７の２フレーム分の撮像画像を不図示のＲＡＭに保存する。

制御部１５０の方向比較部１５３は、ユーザの手の移動開始時点Ｔ１の撮像画像を基に、移動開始時点Ｔ１におけるユーザの手の位置に対するポイント領域の方向を特定する。ポイント領域が複数ある場合、ポイント領域それぞれについて方向を特定する（ステップＳ１０６）。例えば、図１１に示すようにポイント領域が４つある場合、方向比較部１５３は、移動開始時点Ｔ１における手領域の重心位置Ｇ１と各ポイント領域の中心（Ｃ１〜４）とを結ぶ線の角度（例えば、図中上方向を０°とした場合の角度）をポイント領域の方向として特定してもよい。

図８のフローに戻り、方向比較部１５３は、ステップＳ１０６で取得したポイント領域の方向と、ユーザの手の移動方向とを比較する。そして、その比較結果を、方向の相違の程度を示す「方向相違度」として取得する。ポイント領域が複数ある場合、ポイント領域それぞれについて方向相違度を取得する（ステップＳ１０７）。例えば、方向比較部１５３は、移動開始時点Ｔ１におけるユーザの手の重心位置Ｇ１と移動停止時点Ｔ２におけるユーザの手の重心位置Ｇ２とを結ぶ線の角度（例えば、図１２（Ａ）に示すように、図中上方向を０°とした場合の角度）を特定する。そして、図１２（Ｂ）に示すように、特定した角度とポイント領域の方向の角度の差分を算出し、算出した差分の中で最も値が小さい差分（図の例であれば１７°）を方向相違度として取得する。

図８のフローに戻り、制御部１５０の形状比較部１５４は、移動を開始した時点のユーザの手の形状と移動を停止した時点のユーザの手の形状とを比較する。そしてその比較結果を、形状の変化の程度を示す「形状相違度」として取得する（ステップＳ１０８）。例えば、形状比較部１５４は、移動開始時点Ｔ１の手領域の重心位置Ｇ１と指先Ｆ１との位置関係と、移動停止時点Ｔ２の手領域の重心位置Ｇ２と指先Ｆ２との位置関係とを比較して形状相違度を算出する。より具体的には、形状比較部１５４は、移動開始時点Ｔ１の手領域の重心位置Ｇ１と指先Ｆ１とを結んだ線の角度と、移動停止時点Ｔ２の手領域の重心位置Ｇ２と指先Ｆ２とを結んだ線の角度との差（例えば、右回りの角度と左回りの角度の小さいほう）を形状相違度として算出する。これにより、例えば、図１３（Ａ）に示すように、ユーザの手の動きがポインティング操作と考えられる場合、形状相違度は小さな値（図の例では、３４５°と３４７°の差＝２°）となり、図１３（Ｂ）に示すように、ユーザの手の動きがジェスチャ操作と考えられる場合、形状相違度は大きな値（図の例では、３２８°と８３°の差＝１１５°）となる。

図８のフローに戻り、制御部１５０の入力判別部１５５は、方向相違度と形状相違度を所定の重みで加算する（ステップＳ１０９）。例えば、ステップＳ１０７で取得した方向相違度をＤ、ステップＳ１０８で取得した形状相違度をＳとすれば、方向相違度Ｄと形状相違度Ｓの重み係数をそれぞれ、ｗ１、ｗ２として、以下の（式１）により加算値ＡＤＤを求める。

ＡＤＤ＝ｗ１×Ｄ＋ｗ２×Ｓ ・・・・・・・・・・・・・ （式１）

入力判別部１５５は、加算した値（例えば、加算値ＡＤＤ）が所定の閾値以下かそうでないか判別する（ステップＳ１１０）。所定の閾値以下の場合（ステップＳ１１０：Ｙｅｓ）、ユーザの手の動きはポインティング操作であると判別し、ステップＳ１１１に進む。そうでない場合（ステップＳ１１０：Ｎｏ）、ユーザの手の動きはジェスチャ操作であると判別し、ステップＳ１１２に進む。

ポインティング操作と判別された場合（ステップＳ１１０：Ｙｅｓ）、入力判別部１５５は、ステップＳ１０６で取得したポイント領域の方向と、移動開始時点のユーザの手の重心位置と、移動停止時点のユーザの手の重心位置とを基に、どのポインティング領域が選択されたか判別する。そして、入力判別部１５５は、判別した情報とともにポインティング領域が選択されたことをアプリケーションソフトに通知する（ステップＳ１１１）。

ステップＳ１１０に戻り、ジェスチャ操作であると判別された場合（ステップＳ１１０：Ｎｏ）、入力判別部１５５は、移動開始から移動停止までの手の重心が描く移動軌跡を図６に示すジェスチャ判別テーブルの特徴データに照合し、ユーザのジェスチャを判別する。そして、判別したジェスチャ（すなわち、識別情報）に割り当てられている制御コマンドをコマンドテーブルから取得し、取得した制御コマンドをアプリケーションソフトに入力する（ステップＳ１１２）。なお、ジェスチャ判別テーブルに該当の特徴データがない場合、入力判別部１５５は制御コマンドを入力せずにそのままステップＳ１１２を終了する。

入力が完了したら、制御部１５０は、ステップＳ１０１に戻り、ステップＳ１０１〜ステップＳ１１１の処理を繰り返す。

本実施の形態によれば、ユーザの手の形状の変化の情報を使用してユーザの手の動きを判別しているので、入力装置１００は、ユーザの手の動きがポインティング操作かジェスチャ操作かを精度よく判別できる。例えば、図１３（Ａ）と（Ｂ）に示すように、ユーザの手が同じようにポイント領域の方向へ移動したとしても、ユーザの手の形状の変化の情報を使用することよって、例えば、図１３（Ａ）のケースは「ポインティング操作」、図１３（Ｂ）のケースは「ジェスチャ操作」と判別できる。そのため、入力装置１００は、ポインティング操作に加えてジェスチャ操作も同時に認識することが可能になり、その結果、入力装置１００はさまざまなバリュエーションの入力操作を実現できる。

また、手の形状の変化に加えて手の移動方向の情報も使用してユーザの動作を判別しているので、入力装置１００は、ユーザの手の動きがポインティング操作かジェスチャ操作かをさらに精度よく判別できる。例えば、図１４に示すように、移動によって手の形状があまり変化していない場合であっても、ポイント領域に向かって移動していないユーザの手の動きを「ポインティング操作」ではなく「ジェスチャ操作」と判別できる。

（実施の形態２）
実施の形態１では、移動開始時点と移動停止時点の手の形状の変化に基づいてユーザの入力がポインティング操作かジェスチャ操作か判別したが、移動開始から移動停止までの手の形状の時系列の変化に基づいてユーザの入力を判別することも可能である。以下、手の形状の時系列変化に基づいてユーザの入力を判別する入力装置について説明する。

実施の形態２の入力装置１００は、図４に示すように、操作部１１０と、表示部１２０と、撮像部１３０と、画像記憶部１４０と、制御部１５０と、記憶部１６０とから構成される。

記憶部１６０には、図１５に示すように、３フレーム分の画像データが保存可能なＦＩＦＯ（First In First Out）形式の記憶領域（以下、「ＦＩＦＯキュー」という。）が確保されている。制御部１５０は、時間間隔Ｔで画像記憶部１４０から最新１フレーム分の画像データを取得し、取得した画像データをＦＩＦＯキューにエンキューする。なお、以下の説明では、ＦＩＦＯキューに保存される撮像画像を、新しい順に画像データＡ、画像データＢ、画像データＣとよぶ。なお、制御部１５０が、画像記憶部１４０から画像を取得する時間間隔Ｔは特定の間隔に限定されない。例えば、１秒間隔であってもよいし、１フレーム間隔であってもよい。

入力装置１００のその他の構成は実施の形態１と同様であるので説明を省略する。

次に、実施の形態２の入力装置１００の動作について説明する。

制御部１５０は、操作部１１０より処理開始命令を受信すると、撮像部１３０に対して撮像の開始を命令する。撮像部１３０は撮像開始を命令されると、逐次、撮像した画像を画像記憶部１４０に送信する。また、制御部１５０は、操作部１１０より処理開始命令を受信すると、アプリケーションソフトを実行するとともに、そのアプリケーションソフトに各種制御情報を入力するための「入力処理」を開始する。以下、図１６のフローチャートを参照して「入力処理」について説明する。

移動検出部１５２は、例えば実施の形態１のステップＳ１０３と同様の手法を使って、ユーザの手が停止状態から移動状態に移行しているか判別する（ステップＳ２０１）。移動状態に移行していない場合（ステップＳ２０１：Ｎｏ）、移動状態に移行するまでステップＳ２０１を繰り返す。移動状態に移行している場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に進む。

画像取得部１５１は、制御部１５０によってＦＩＦＯキューの内容が更新されているか、すなわち、前回のＦＩＦＯキュー更新時より時間Ｔ経過しているか判別する（ステップＳ２０２）。ＦＩＦＯキューが更新されていない場合、或いは、ユーザの手が移動状態に移行後、ステップＳ２０２を始めて実行する場合（ステップＳ２０２：Ｎｏ）、ＦＩＦＯキューが更新されるまでステップＳ２０２を繰り返す。ＦＩＦＯキューが更新されている場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３に進む。

方向比較部１５３は、時間間隔Ｔ毎のユーザの手の移動方向の変化を特定する。より具体的には、方向比較部１５３は、画像Ａと画像Ｂにより特定されるユーザの手の移動方向（以下、「前時点の移動方向」という。）と、画像Ｂと画像Ｃにより特定されるユーザの手の移動方向（以下、「現時点の移動方向」という。）と、を比較する。そして、その比較結果を、方向の相違の程度を示す「方向相違度」として取得する（ステップＳ２０３）。例えば、方向比較部１５３は、図１７（Ａ）に示すように、画像Ａの時点におけるユーザの手の重心位置Ｇ_Ａと画像Ｂの時点におけるユーザの手の重心位置Ｇ_Ｂとを結ぶ線の角度（図の例では８８°）を前時点の移動方向として特定し、さらに、画像Ｂの時点におけるユーザの手の重心位置Ｇ_Ｂと画像Ｃの時点におけるユーザの手の重心位置Ｇ_Ｃとを結ぶ線の角度（図の例では９６°）を現時点の移動方向として特定する。そして、特定した２つの角度の差を方向相違度Ｄとして取得する。なお、以下の説明では、理解を容易にするため、方向相違度Ｄには、図１８に示すように、移動検出後、取得順にＤ０、Ｄ１、Ｄ２、・・・・、と番号を付す（以下、Ｄｉ：ｉ＝０，１，２，３，・・・と表現する）。

図１６のフローに戻り、形状比較部１５４は、一定時間間隔Ｔ毎のユーザの手の形状の変化を特定する。より具体的には、形状比較部１５４は、画像Ｂの時点のユーザの手の形状（以下、「前時点の形状」という。）と、画像Ｃの時点のユーザの手の形状（以下、「現時点の形状」という。）と、を比較する。そしてその比較結果を、形状の変化の程度を示す「形状相違度」として取得する（ステップＳ２０４）。例えば、形状比較部１５４は、図１６（Ｂ）に示すように、形状比較部１５４は、画像Ｂの時点の手領域の重心位置Ｇ_Ｂと指先Ｆ_Ｂとを結んだ線の角度（図の例では３５１°）と、画像Ｃの時点の手領域の重心位置Ｇ_Ｃと指先Ｆ_Ｃとを結んだ線の角度（図の例では５３°）との差を形状相違度Ｓとして算出する。なお、以下の説明では、理解を容易にするため、形状相違度Ｓには、図１８に示すように、移動検出後、取得順にＳ０、Ｓ１、Ｓ２、・・・・、と番号を付す（以下、Ｓｉ：ｉ＝０，１，２，３，・・・と表現する）。

図１６のフローに戻り、入力判別部１５５は、方向相違度と形状相違度を所定の重みで加算する（ステップＳ２０５）。例えば、方向相違度Ｄｉと形状相違度Ｓｉの重み係数をそれぞれ、ｗ１、ｗ２として、以下の（式２）により加算値ＡＤＤｉ（ｉ＝０，１，２，３，・・・）を求める。

ＡＤＤｉ＝ｗ１×Ｄｉ＋ｗ２×Ｓｉ ・・・・・・・・・・・・・ （式２）

入力判別部１５５は、移動開始検出後に取得した加算値ＡＤＤを全て加算する（ステップＳ２０６）。例えば、入力判別部１５５は、直近に算出した加算値をＡＤＤｎとして、以下の（式３）により累積値ＡＣＣを求める。

ＡＣＣ＝ＡＤＤ０＋ＡＤＤ１＋・・・＋ＡＤＤｎ ・・・・・・・ （式３）

入力判別部１５５は、累積値ＡＣＣが所定の閾値以上か判別する（ステップＳ２０７）。累積値ＡＣＣが所定の閾値以上の場合（ステップＳ２０７：Ｙｅｓ）、入力判別部１５５は、ユーザの入力はジェスチャ操作と判別し、ステップＳ２０８に進む。そうでない場合（ステップＳ２０７：Ｎｏ）、ステップＳ２１０に進む。

累積値ＡＣＣが所定の閾値以上の場合（ステップＳ２０７：Ｙｅｓ）、移動検出部１５２は、例えば実施の形態１のステップＳ１０４と同様の手法を使って、ユーザの手が移動状態から停止状態に移行しているか判別する（ステップＳ２０８）。停止状態に移行していない場合（ステップＳ２０８：Ｎｏ）、停止状態に移行するまでステップＳ２０８を繰り返す。停止状態に移行している場合（ステップＳ２０８：Ｙｅｓ）、ステップＳ２０９に進む。

入力判別部１５５は、移動開始から移動停止までの手の重心が描く移動軌跡を図６に示すジェスチャ判別テーブルの特徴データに照合し、ユーザのジェスチャを判別する。そして、判別したジェスチャに割り当てられている制御コマンドをコマンドテーブルから取得してアプリケーションソフトに入力する（ステップＳ２０９）。

図１６のステップＳ２０７に戻り、累積値ＡＣＣが所定の閾値未満の場合（ステップＳ２０７：Ｎｏ）、移動検出部１５２は、例えば実施の形態１のステップＳ１０４と同様の手法を使って、ユーザの手が移動状態から停止状態に移行しているか判別する（ステップＳ２１０）。停止状態に移行していない場合（ステップＳ２０８：Ｎｏ）、制御部１５０はステップＳ２０２に戻り、ステップＳ２０２〜ステップＳ２１０を繰り返す。停止状態に移行している場合（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１１に進む。

入力判別部１５５は、実施の形態１のステップＳ１１１と同様の手法を使って、どのポインティング領域が選択されたか判別し、ポインティング領域が選択されたことをアプリケーションソフトに通知する（ステップＳ２１１）。

本実施の形態によれば、移動開始時点や移動停止時点の手の形状のみならず、移動中の手の形状や方向の変化の情報を使ってユーザの入力を判別しているので、例えば図１９に示すように、移動開始時点の手の形状と移動停止時点の手の形状が同じ形状であり、移動方向がポイント領域の方向であっても、ユーザの入力はジェスチャ操作であると判別できる。

なお、上述の各実施の形態は一例であり、種々の変更及び応用が可能である。

例えば、上述の各実施の形態では、入力装置１００は、手の移動方向と手の形状の変化の情報に基づいてユーザの入力を判別しているが、移動方向の情報を使わず形状の変化の情報のみに基づいてユーザの入力を判別してもよい。例えば、実施の形態１の例であれば、入力判別部１５５は、ステップＳ１０８で取得した形状相違度が所定の閾値以下の場合、ユーザの手の動きはポインティング操作であると判別し、そうでない場合、ユーザの手の動きはジェスチャ操作であると判別してもよい。また、実施の形態２の例であれば、入力判別部１５５は、加算値ＡＤＤ０〜ＡＤＤｎまでの累積値ではなく、形状相違度Ｓ０〜Ｓｎまでの累積値に基づいてユーザの入力を判別してもよい。

また、ステップＳ１０７やステップＳ２０３では、移動方向の相違の度合いを示す「方向相違度」を取得するよう構成されているが、方向比較部１５３は、ポイント領域の方向とユーザの手の移動方向の一致の程度を示す、もしくは、現時点の移動方向と前時点の移動方向の一致の程度を示す「方向一致度」を取得するよう構成されていてもよい。

このとき、方向比較部１５３は、ユーザの手の移動方向に移動距離を加味して方向一致度を算出してもよい。例えば、方向比較部１５３は、ステップＳ１０６で取得したポイント領域の方向と、移動開始時点のユーザの手の位置を基準として、段階的に領域が設定された方向比較マップを作成する（例えば、図２０（Ａ）に示すように、移動開始時点のユーザの手の重心位置と各ポイント領域の中心を結ぶ線上に対角線を有する矩形の領域Ａ〜Ｅを段階的に設定する）。そして、方向比較部１５３は、ユーザの手の重心位置から離れた領域ほど大きな値となるよう、各領域に値を割り当てる。方向比較部１５３は、移動停止時点のユーザの手の重心が位置する領域（図２０（Ｂ）の例であれば領域Ｃ）に割り当てられた値を、方向一致度として取得する。

また、ステップＳ１０８やステップＳ２０４では、手の形状の変化の程度を示す「形状相違度」を取得するよう構成されているが、形状比較部１５４は、移動開始時点の手の形状と移動停止時点の手の形状との一致の程度を示す、もしくは、前時点の手の形状と現時点の手の形状の一致の程度を示す「形状一致度」を取得するよう構成されていてもよい。

また、ステップＳ１０９やステップＳ２０５では、方向相違度と形状相違度を所定の重みで加算して加算値を求め、その加算値を基にユーザの手の動きがポインティング操作かジェスチャ操作かを判別するよう構成されているが、入力判別部１５５は、方向一致度と形状一致度を所定の重みで加算した値を基に、ユーザの手の動きがポインティング操作かジェスチャ操作かを判別してもよい。

また、入力装置１００は、操作画面に、例えば図２１（Ａ）に示す（ａ）や（ｂ）のように、ユーザに理想的な手の動きを案内する帯状の半透明の案内表示を出力するよう構成されていてもよい。このとき、制御部１５０は、ユーザの手が描いた移動軌跡を案内表示に沿って視認可能に出力する機能を備えたフィードバック部を有していてもよい。例えば、フィードバック部は、ユーザの手が案内表示の帯の近くで帯に沿って移動したときに、例えば図２１（Ａ）に示すように、ユーザの手の位置に対応して帯に沿って移動する星印の光跡を表示する。また、フィードバック部は、ステップＳ２０６で算出する累積値ＡＣＣの値の変化に基づいて案内表示の透過率を随時変化させてもよい。例えば、フィードバック部は、図２１（Ｂ）に示す（ａ）のように、累積値ＡＣＣの値が大きくなるほど案内表示の透過率を低くする。ユーザに対しジェスチャ操作と判別されていることを認識させることができる。

また、ステップＳ１０９やステップＳ２０５では、手の重心位置と指先とを結んだ線の角度の変化に基づいて手の形状の変化を捉えているが、形状比較部１５４は、手の重心位置と指先との距離に基づいて手の形状の変化を捉えてもよい。形状比較部１５４は、図２２に示すように、移動開始時点もしくは前時点における手の重心位置と指先との距離Ｌ１と、移動停止時点もしくは現時点における手の重心位置と指先との距離Ｌ２と、の差分を形状相違度として算出してもよい。形状相違度の算出には、さらに、手の重心位置と指先とを結んだ線の角度の変化の情報も使用してもよい。さらに精度よく手の形状の変化を捉えることができる。

また、形状比較部１５４は、手の移動距離に基づいて算出した形状相違度または形状一致度を補正してもよい。例えば、形状比較部１５４は、前時点の手の重心位置から現時点の手の重心位置までの距離を手の移動距離として算出し、算出した移動距離が大きくなるほど形状相違度が小さくなるように、または移動距離が大きくなるほど形状一致度が大きくなるように、算出した形状相違度または形状一致度を補正する（例えば、形状相違度を移動距離で割って新たな形状相違度としもよいし、形状一致度を移動距離で乗じて新たな形状一致度としてもよい）。例えば、図２３（Ａ）に示すように、移動距離が大きい場合（すなわち、手の移動速度が速い場合）は多少の角度変化があっても、手の形状の変化は小さいものとして捉えることができる。図２３（Ｂ）に示すように、移動距離が小さい場合（すなわち、手の移動速度が遅い場合）は小さな角度変化であっても手の形状の変化は大きいものとして捉えることができる。

また、上述の各実施の形態では、入力判別部１５５は判別した制御コマンドをアプリケーションソフトに入力するよう構成されていたが、制御コマンドを入力するソフトウェアはアプリケーションソフトに限られない。入力判別部１５５は、判別した制御コマンドを、例えば、オペレーティングシステムに入力してもよい。また、判別した制御コマンドを通信線や無線を介して入力装置１００以外の他の装置に入力するよう構成されていてもよい。

また、上述の実施の形態では、入力装置１００の一例としてパーソナルコンピュータを示したが、入力装置１００はパーソナルコンピュータに限られず、ユーザから入力を判別する機能を備えた他の種類の電気機器であってもよい。例えば、入力装置１００は、テレビ、レコーダ、ゲーム機、固定電話機、携帯電話機、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）等であってもよい。

本実施の形態の入力装置１００は、専用のシステムにより実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールして、上述の処理を実行することによって入力装置１００を構成してもよい。また、インターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、例えばコンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳとアプリケーションソフトとの共同により実現してもよい。この場合には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。

上記プログラムを記録する記録媒体としては、ＵＳＢメモリ、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）、ＭＯ（Magneto-Optical disk）、ＳＤメモリーカード（Secure Digital memory card）、メモリースティック（登録商標）、その他、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、磁気テープ等のコンピュータ読取可能な記録媒体を使用することができる。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置であって、
前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別手段、を備える、
ことを特徴とする入力装置。

（付記２）
前記入力判別手段は、前記撮像画像中の前記手が移動した方向とその移動により生じる前記手の形状の変化とに基づいて、ユーザの入力が前記ポイント領域の選択動作かジェスチャ動作かを判別する、
ことを特徴とする付記１に記載の入力装置。

（付記３）
前記手の移動開始時点および移動停止時点を検出する移動検出手段、を備え、
前記入力判別手段は、移動開始時点の前記手の形状と移動停止時点の前記手の形状とを比較して特定される前記手の形状の変化と、移動開始時点の前記手の位置と移動停止時点の前記手の位置とに基づいて特定される前記手の移動方向と、に基づいてユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する、
ことを特徴とする付記２に記載の入力装置。

（付記４）
前記手の移動開始時点および移動停止時点を検出する移動検出手段、を備え、
前記入力判別手段は、移動開始時点から移動停止時点までの所定時間間隔毎の前記手の形状の変化と、移動開始時点から移動停止時点までの前記所定時間間隔毎の前記手の移動方向の変化と、に基づいてユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する、
ことを特徴とする付記２に記載の入力装置。

（付記５）
移動開始時点の前記手の形状と移動停止時点の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
移動開始時点の前記手の位置と移動停止時点の前記手の位置とに基づいて前記手の移動方向を特定し、移動開始時点の前記手の位置を基準とした前記ポイント領域の方向を特定し、特定した前記手の移動方向と特定した前記ポイント領域の方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を備え、
前記入力判別手段は、前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、その加算値に基づいてユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する、
ことを特徴とする付記３に記載の入力装置。

（付記６）
前記所定時間間隔毎に、現時点の前記手の形状と前記所定時間前の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
前記所定時間間隔毎に、現時点の移動方向と前時点の移動方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を備え、
前記入力判別手段は、
前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、
移動開始時点を累積開始時点として、加算した値を前記所定時間間隔毎に累積し、
その累積値が所定の閾値を超えた場合、ユーザの入力はジェスチャ操作と判別し、移動停止時点までに若しくは累積開始後予め定められた時間内に、前記累積値が前記所定の閾値を超えなかった場合、ユーザの入力は前記ポイント領域の選択操作と判別する、
ことを特徴とする付記４に記載の入力装置。

（付記７）
前記手は指を立てた状態のユーザの手であり、
前記形状比較手段は、移動開始時点の前記手の重心位置と指先との位置関係と、移動停止時点の前記手の重心位置と指先との位置関係とを比較して、前記形状相違度または前記形状一致度を算出する、
ことを特徴とする付記５に記載の入力装置。

（付記８）
前記手は指を立てた状態のユーザの手であり、
前記形状比較手段は、前記前時点の前記手の重心位置と指先との位置関係と、前記現時点の前記手の重心位置と指先との位置関係とを比較して、前記形状相違度または前記形状一致度を算出する、
ことを特徴とする付記６に記載の入力装置。

（付記９）
前記形状比較手段は、
前記前時点の前記手の重心位置から前記現時点の前記手の重心位置までの距離を算出し、
前記距離が大きくなるほど前記形状相違度が小さくなるように、または前記距離が大きくなるほど前記形状一致度が大きくなるように、前記形状相違度または形状一致度を補正する、
ことを特徴とする付記８に記載の入力装置。

（付記１０）
前記操作画面には、ユーザに理想的な前記手の移動軌跡を案内する帯状の半透明の案内表示が表示されており、
前記手が描いた移動軌跡を前記案内表示に沿って視認可能に出力するとともに、前記累積値に基づいて案内表示の透過率を随時変更するフィードバック手段、を備える、
ことを特徴とする付記６、８、又は９に記載の入力装置。

（付記１１）
ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力方法であって、
前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別ステップ、を有する、
ことを特徴とする入力方法。

（付記１２）
ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置を制御するコンピュータに、
前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別機能、を実現させる、
ことを特徴とするプログラム。

１００ 入力装置
１１０ 操作部
１２０ 表示部
１３０ 撮像部
１４０ 画像記憶部
１５０ 制御部
１５１ 画像取得部
１５２ 移動検出部
１５３ 方向比較部
１５４ 形状比較部
１５５ 入力判別部
１６０ 記憶部

Claims (10)

1. ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置であって、
   前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別手段、を備える、
   ことを特徴とする入力装置。
2. 前記入力判別手段は、前記撮像画像中の前記手が移動した方向とその移動により生じる前記手の形状の変化とに基づいて、ユーザの入力が前記ポイント領域の選択動作かジェスチャ動作かを判別する、
   ことを特徴とする請求項１に記載の入力装置。
3. 前記手の移動開始時点および移動停止時点を検出する移動検出手段、を備え、
   前記入力判別手段は、移動開始時点の前記手の形状と移動停止時点の前記手の形状とを比較して特定される前記手の形状の変化と、移動開始時点の前記手の位置と移動停止時点の前記手の位置とに基づいて特定される前記手の移動方向と、に基づいてユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する、
   ことを特徴とする請求項２に記載の入力装置。
4. 前記手の移動開始時点および移動停止時点を検出する移動検出手段、を備え、
   前記入力判別手段は、移動開始時点から移動停止時点までの所定時間間隔毎の前記手の形状の変化と、移動開始時点から移動停止時点までの前記所定時間間隔毎の前記手の移動方向の変化と、に基づいてユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する、
   ことを特徴とする請求項２に記載の入力装置。
5. 移動開始時点の前記手の形状と移動停止時点の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
   移動開始時点の前記手の位置と移動停止時点の前記手の位置とに基づいて前記手の移動方向を特定し、移動開始時点の前記手の位置を基準とした前記ポイント領域の方向を特定し、特定した前記手の移動方向と特定した前記ポイント領域の方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を備え、
   前記入力判別手段は、前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、その加算値に基づいてユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する、
   ことを特徴とする請求項３に記載の入力装置。
6. 前記所定時間間隔毎に、現時点の前記手の形状と前記所定時間前の前記手の形状とを比較して、形状の相違の度合いを示す形状相違度または一致の度合いを示す形状一致度を算出する形状比較手段と、
   前記所定時間間隔毎に、現時点の移動方向と前時点の移動方向とを比較して、方向の相違の度合いを示す方向相違度または一致の度合いを示す方向一致度を算出する方向比較手段と、を備え、
   前記入力判別手段は、
   前記形状相違度または前記形状一致度と、前記方向相違度または前記方向一致度と、を所定の重みで加算し、
   移動開始時点を累積開始時点として、加算した値を前記所定時間間隔毎に累積し、
   その累積値が所定の閾値を超えた場合、ユーザの入力はジェスチャ操作と判別し、移動停止時点までに若しくは累積開始後予め定められた時間内に、前記累積値が前記所定の閾値を超えなかった場合、ユーザの入力は前記ポイント領域の選択操作と判別する、
   ことを特徴とする請求項４に記載の入力装置。
7. 前記手は指を立てた状態のユーザの手であり、
   前記形状比較手段は、前記前時点の前記手の重心位置と指先との位置関係と、前記現時点の前記手の重心位置と指先との位置関係とを比較して、前記形状相違度または前記形状一致度を算出する、
   ことを特徴とする請求項６に記載の入力装置。
8. 前記操作画面には、ユーザに理想的な前記手の移動軌跡を案内する帯状の半透明の案内表示が表示されており、
   前記手が描いた移動軌跡を前記案内表示に沿って視認可能に出力するとともに、前記累積値に基づいて案内表示の透過率を随時変更するフィードバック手段、を備える、
   ことを特徴とする請求項６又は７に記載の入力装置。
9. ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力方法であって、
   前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別ステップ、を有する、
   ことを特徴とする入力方法。
10. ポイント領域が表示された操作画面に対応付けられる撮像画像の中のユーザの手の動きに基づいて、ユーザの入力を判別する入力装置を制御するコンピュータに、
    前記手が移動したことにより生じる前記撮像画像中の前記手の形状の変化に基づいて、ユーザの入力が前記ポイント領域の選択操作かジェスチャ操作かを判別する入力判別機能、を実現させる、
    ことを特徴とするプログラム。

Images