JP2014085967A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】効率的なジェスチャー入力が可能な情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】ユーザーの手の平を撮影して画像データに変換し、画像データからユーザーの手の平を検出し、複数の画像データにおいてユーザーの手の平として検出された部分を比較することにより手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理をする際に、画像データからユーザーの手の平を検出している間、撮影手段で撮影された画像を表示する。
【選択図】図４

Description

本発明は、ジェスチャー操作が可能な情報処理装置、情報処理方法、及びプログラムに関する。

近年、技術の進歩により種々の機能を有する情報処理装置が開発されており、ジェスチャー操作が可能なパーソナルコンピュータが挙げられる（例えば、特許文献１参照）。
特許文献１に記載の発明は、「インターフェース装置及びその方法」に関するものであり、具体的には「テレビやコンピュータ等の機器を操作するためのインターフェース装置におけるジェスチャー情報表示部は、操作に用いるジェスチャーの一覧、ジェスチャー認識部の認識結果、及び操作者の手と思われる部分の画像を表示し、操作者はジェスチャーを覚えることなく画面を確認しながら操作を行えるようになると共に、ジェスチャー認識部に認識させやすいように操作者が行うジェスチャーを修正することが可能となり、操作性が向上する」ものである。

特開２００８−５２５９０号公報

しかし、特許文献１に記載の発明は、ジェスチャー入力する際には、ユーザーの手の平のモニター画像や手の平の動作がジェスチャーとして認識されたか否かの表示がなく、認識されているにもかかわらず、認識されてないと誤認して同じ動作を余分繰り返したため、予期しない動作が行われることがあり、効率的なジェスチャー入力が要望されていた。

そこで、本発明の目的は、効率的なジェスチャー入力が可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記課題を解決するため、請求項１記載の発明は、アプリケーションを実行する実行手段と、ユーザーの手の平を撮影して画像データに変換する撮影手段と、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理をする制御手段と、を備えた情報処理装置において、前記解析手段が前記画像データから前記ユーザーの手の平を検出している間、前記撮影手段で撮影された画像を表示する表示手段をさらに有することを特徴とする。

本発明によれば、効率的なジェスチャー入力が可能な情報処理装置、情報処理方法、及びプログラムの提供を実現することができる。

（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、（ｂ）は、（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。 情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。 （ａ）〜（ｎ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示す説明図である。 図１に示したノートパソコンの動作を説明するためのフローチャートの一例である。 図１に示したノートパソコン１００の表示装置１０４に表示されるジェスチャー機能の設定画面の一例である。 図５に示した画面のうちのボタンＢ２が選択されたときに表示される画面の一例である。 図６に示した画面が表示された直後の状態を示す画面の一例である。 図１に示したノートパソコン１００の設定画面の一例である。 図８に示した画面のガイドアイコンを開いたときの画面の一例である。 図１に示したノートパソコン１００によりユーザーの手の平が認識されている時に表示される画面の一例である。 図１０に示した画面において、ユーザーの手の平の動作が図１に示したノートパソコン１００によりジェスチャーであると認識された場合の画面の一例である。 図１１に示した画面において、ユーザーが手の平をカメラ１０３から外したときの画面の一例である。

次に本実施形態について図面を参照して説明する。
本実施形態では、情報処理装置がノートパソコンの場合で説明するが、本発明はノートパソコンに限定されるものではなく、デスクトップパソコンであってもよい。
＜構 成＞
図１（ａ）は、一実施形態に係るノートパソコンを使用中の状態を示す外観斜視図であり、図１（ｂ）は、図１（ａ）に示したノートパソコンのユーザー側から見た外観斜視図である。
このノートパソコン１００は、キーボード１０１やマウス１０２による操作の他、Ｗｅｂカメラ（以下、カメラと表記する。）１０３でユーザーの手を認識し、認識した手の平の動き（ジェスチャー、もしくはハンドジェスチャーとも言う）によりノートパソコン１００で一定の操作を行うことができるようになっている。
液晶表示装置１０４は、通常の表示を行う他、ユーザーの顔や手を表示したり、ジェスチャー操作練習のための画像を表示したりできるようになっている。

図２は、情報処理装置としてのノートパソコンの一実施形態を示すブロック図である。
ノートパソコン１００は、キーボード１０１、マウス１０２、撮影手段としてのカメラ（Ｗｅｂカメラ）１０３、表示手段としての表示装置１０４、光学読取装置１０５、ＨＤＤ（Hard Disc Drive）１０６、制御手段としての制御部１０７、Ｉ／Ｏ（Input/Output)１１０を有する。１１１はバスラインである。

キーボード１０１は、ＱＷＥＲＴＹ配列の英字キー、数字キー、テンキー、スペースキー、エンターキー、ファンクションキー、デリートキー、スペースキー等の通常の入力キーを有する。

マウス１０２は、少なくとも左ボタン、右ボタンを有しており、ホイールを有してもよい。尚、図ではマウス１０２はケーブルでノートパソコン１００に接続されているが、本発明はこれに限定されるものではなく、マウス１０２はワイヤレスでノートパソコン１００に接続されていてもよい。

カメラ１０３は、ノートパソコン１００の上側筐体の上側の中央にユーザー側に向かって設けられており、例えばＣＣＤ（Charge-Coupled Device）が用いられる。
また、カメラ１０３が動作中に点灯するＬＥＤ（Light-Emitting Diode）を搭載する。

表示装置１０４は、アプリケーションの実行結果を表示する装置であり、例えば液晶ディスプレイが用いられるが、液晶ディスプレイの代わりにプラズマディスプレイを用いてもよい。

光学読取装置１０５は、例えば、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）、ＣＤ−Ｒ（CD-Recordable）等の光学媒体を読み取る装置である。

ＨＤＤ１０６は、文字データ、画像データ、音声データ等の大容量のデータを記憶するための記憶装置である。ＨＤＤ１０６の代わりにＳＳＤ（Solid State Drive）を用いてもよい。

制御部１０７は、ノートパソコン１００を統括制御する機能を有し、後述する実行手段１０７ｇで実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理をするデバイスであり、例えば、マイクロプロセッサのＣＰＵ（Central Processing Unit：中央演算処理装置）を含む回路である。制御部１０７は、ソフトウェアとして入力制御手段１０７ａ、トレーニング手段１０７ｂ、解析手段１０７ｃ、割り込み制御手段１０７ｄ、ディスク制御手段１０７ｅ、表示装置制御手段１０７ｆ、及び実行手段１０７ｇを有する。

入力制御手段１０７ａは、キーボード１０１、マウス１０２、カメラ１０３、及び光学読取装置１０５からデータを管理する。

トレーニング手段１０７ｂは、ソフトウェアで構成され、ユーザーの手の平の動作をジェスチャーとして認識する認識精度を向上させるため、ジェスチャーアプリケーション（以下、ジェスチャーアプリと表記）の初回起動時に、強制的にジェスチャーの練習を実行させる機能を有する。
トレーニング手段１０７ｃは、例えば、表示装置１０４にお手本画像とガイドアイコン群とモニターウィンドウとを表示し、ユーザーがお手本画像に表示されたインストラクターの動画像もしくはアニメ画像を見ながら手の平を移動させ、手の平の動作がジェスチャーであると認識されると、ガイドアイコン群の中から一致したガイドアイコンが点滅もしくは拡大表示されるようになっている。
本実施形態におけるジェスチャーは、ノートパソコン１００のカメラ１０３の撮影可能な範囲（カメラ画像内とも言う）におけるユーザーの手の平の動作を意味する。

解析手段１０７ｃは、ソフトウェアで構成され、カメラ１０３からの画像データからユーザーの手の平を検出し、複数の画像データにおいてユーザーの手の平として検出された部分を比較することにより手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定する機能を有する。
割り込み制御手段１０７ｄは、あるプログラムの処理中に他のプログラムの処理を割り込ませる割り込み処理の制御を行う。
ディスク制御手段１０７ｅは、光学読取装置１０５に挿入された光学媒体の種類を判別し、文字データ、画像データ、音声データの読み出しの管理を行う。
表示装置制御手段１０７fは、表示装置１０４の画像表示を管理する。
実行手段１０７ｇは、アプリケーションを実行する。

Ｉ／Ｏ１１０は、ノートパソコン１００と、図には示されないＵＳＢ（Universal Serial Bus）フラッシュメモリを含む外部のデバイスとのデータの授受を管理する。

図３（ａ）〜（ｎ）は、図１に示したノートパソコン１００に用いられるジェスチャーの一例を示した説明図であり、ユーザー自身の手の平の動きをユーザーの視点から見た図である。本実施形態では、ユーザーが右手をカメラ１０３にかざした場合で説明するが左手であってもよい。
図中の矢印で、一本線に矢印（→）は手形状や手の状態の遷移を表し、中抜きの矢印は手の平の移動を表す。

本実施形態において１２種類のジェスチャーにより、ノートパソコン１００を操作しているが、本発明はこれに限定されるものではない。
図３（ａ）は、ユーザーの右手によるマウスカーソル操作を示す図であり、両矢印のように移動させる場合を示しているが限定されるものではない。
図３（ｂ）は、「パー→グー→パー」のように手の平を開いたり閉じたりすることで左クリックのジェスチャー動作となる。
図３（ｃ）〜（ｅ）は、「パー→グー→グーで動かす→パー」のように手の平を動かすことでドラッグ及びドロップのジェスチャー動作となる。
図３（ｆ）は、手の平を拡げたまま矢印方向（右方向）にマウスカーソル操作より素早く動かすことで右フリックのジェスチャー動作となる。ここで、「フリック」とは、本来タッチパネルにおける操作の一種であり、画面を軽く払うように指を動かすことであるが、手の平を素早く動かすことを含む。

図３（ｇ）は、手の平を拡げたまま矢印方向（左方向）にマウスカーソル操作より素早く動かすことで左フリックのジェスチャー動作となる。

図３（ｈ）は、手の平を拡げたまま矢印方向（上方向）にマウスカーソル操作より素早く動かすことで上フリックのジェスチャー動作となる。

図３（ｉ）は、手の平を拡げたまま矢印方向（下方向）にマウスカーソル操作より素早く動かすことで下フリックのジェスチャー動作となる。

図３（ｊ）は、手の平を拡げたまま時計方向の円を描くことで時計回りのサークルのジェスチャー動作となる。

図３（ｋ）は、手の平を拡げたまま反時計方向の円を描くことで反時計回りのサークルのジェスチャー動作となる。

図３（ｌ）は、手の平を拡げたままノートパソコン１００の表示装置１０４に向かって押し指すことでプッシュのジェスチャー動作となる。

図３（ｍ）は、手の平を拡げたままノートパソコン１００の表示装置１０４から離れる方向に押し指すことでプルのジェスチャー動作となる。

図３（ｎ）は、手の平を拡げたままノートパソコン１００の表示装置１０４に向かって左右に振ることでウェイブのジェスチャー動作となる。本ジェスチャー動作をウェイブともいう。

ここで、「クリック」はマウスの左クリック、「ドラッグ＆ドロップ」はマウスのドラッグ＆ドロップに対応する。また、右フリックは、「進む」、左フリックは「戻る」、上フリックは「上スクロール」、下フリックは「下スクロール」、時計回りのサークルは「拡大」、反時計回りのサークルは「縮小」、「プル」は、図示しない携帯情報端末の起動、「ウェイブ」は、スタート画面に戻るコマンド操作に対応する。

＜表示画面＞
図５は、図１に示したノートパソコン１００の表示装置１０４に表示されるジェスチャー機能の設定画面の一例である。
図５において、メニュー画面としてのジェスチャー機能の設定の画面には、注意書きの一例として、「ハンドジェスチャーでは、リモコンやマウスを使わずに手の平のジェスチャーだけで情報処理装置の操作をおこなうことができます。」の文字情報が表示される。情報処理装置の操作とは、前述したカーソル操作やコマンド操作を意味する。
図５に示すボタンＢ１は、各ジェスチャーの方法を練習するためのボタンである。ボタンＢ２は、ジェスチャー機能を使用するためのボタンである。ボタンＢ３は、ジェスチャー機能を終了するためのボタンである。ボタンＢ４は、表示されている画面を終了するためのボタンである。

図６は、図５に示した画面のうちのボタンＢ２が選択されたときに表示される画面の一例である。
図６に示す画面は、ユーザーの手の平が認識されるとモニターウィンドウが表示され、認識されなくなると非表示になるように設定されている。まず、「ジェスチャー機能起動」の文字情報が数秒間表示される。ユーザーの手の平が認識されると画面上には、ユーザーの手の平の動作がジェスチャーとして認識されたか否かを表示するための認識アイコンがグレー表示され、画面右下にはカメラ１０３で撮影されたユーザーの画像（モニターウィンドウ）が表示される。ユーザーの手の平が撮影されているときは枠線が手の平を囲むように表示される。ユーザーの手の平が認識されなくなるとモニターウィンドウは非表示になる。尚、認識アイコン及びモニターウィンドウの位置は限定されるものではない。

図７は、図６に示した画面が表示された直後の状態を示す画面の一例である。
図７において、ユーザーが手の平をカメラ１０３から外すと、認識アイコン及びモニターウィンドウが非表示となる。
また、ノートパソコン１００がジェスチャー入力可能な状態に設定されている時は、カメラ１０３のＬＥＤが点灯するので、認識アイコン及びモニターウィンドウが非表示であってもユーザーはジェスチャー入力可能な状態に設定されていることを認識できる。ＬＥＤはカメラ１０３に搭載されたものでなくても構わない。
また、制御部１０７は、解析手段１０７ｃが画像データからユーザーの手の平を検出しなくなると、カメラ１０３で撮影された画像の表示を終了する機能を有する。

ここで、ユーザーがタスクトレイのアイコンを右クリックすると、図８に示す画面が表示される。
図８は、図１に示したノートパソコン１００の設定画面の一例である。
図８に示す設定画面の上段において、起動に関する設定欄において、常駐起動の設定が可能であることが表示されている。同設定画面の中段に蛍光灯環境などにおけるちらつき補正の設定が可能であることが表示されている。設定値は、「自動」（デフォルト）、「５０Ｈｚ」、「６０Ｈｚ」の３つの中から選択が可能である。同設定画面の下段にモニターウィンドウの表示の設定が可能であることが表示されている。設定値は、「常に表示する」、「自動表示する」（デフォルト）、「常に表示しない」の３つの中から選択が可能である。同設定画面の最下段には全タブの設定項目をデフォルトに戻すための「購入時の設定に戻す」ボタン、「ＯＫ」ボタン、「キャンセル」ボタン、「適用」ボタン、及び「ヘルプ」ボタンが選択可能であることが表示されている。

図９は、図８に示した画面のガイドアイコンを開いたときの画面の一例である。
図９において、画面の上段のガイドアイコンは、ガイドアイコンの表示位置と表示方法についての設定を行う画面である。ガイドアイコン表示対象のアプリケーションが将来増加する場合は、スクロールさせて表示させることができる。画面の中段において、操作対象のアプリケーション毎に、ガイドアイコンの表示位置は、「上」、「下」、「左」「右」の４種類をプルダウンリストから選択できるようになっている。ガイドアイコンの表示方法を「常に表示する」、「自動表示する」、「常に表示しない」の３種類をプルダウンメニューから選択できる。画面の最下段の行に示す各ボタンは前出であるので、説明を省略する。

図１０は、図１に示したノートパソコン１００によりユーザーの手の平が認識されている時に表示される画面の一例である。
図１０に示す画面において、認識アイコン、及びモニターウィンドウが表示されている。認識アイコンはグレー表示され、モニターウィンドウにはユーザーの手の平と枠とが表示されている。
このような状態で、ノートパソコン１００がユーザーの手の平の動作をジェスチャーとして認識すると、認識アイコン列の中から該当する認識アイコンをグレー表示から通常表示にすることで、ユーザーの手の平の動作がジェスチャー動作であると認識されたことの確認をすることができるようになっている。

図１１は、図１０に示した画面において、ユーザーの手の平の動作が図１に示したノートパソコン１００によりジェスチャーであると認識された場合の画面の一例である。
図１１に示す認識アイコン群のうち、ユーザーの手の平の動作に対応したジェスチャーの認識アイコンがグレー表示から通常表示に変わるとともに、ジェスチャー動作に対応した動作が行われる。例えば、ジェスチャー動作が地上デジタルテレビ放送の受信であるとすると、画面に「弾丸みたいなトラベラー」の放送画面が表示され、放送画面の欄外に放送波の種類としての「地デジ」、放送局のチャンネルとしての「４ｃｈ」、「受信レベル７４」が表示され、モニターウィンドウにはユーザーが手の平と共に表示されている。

図１２は、図１１に示した画面において、ユーザーが手の平をカメラ１０３から外したときの画面の一例である。
図１２において、「弾丸みたいなトラベラー」の画像が表示され、認識アイコン群及びモニターウィンドウが非表示となっている。テレビ放送やＤＶＤの視聴時には、これら認識アイコン群及びモニターウィンドウの表示は不要であり、放送画面や再生画面に集中することができる。

＜動 作＞
図４は、図１に示したノートパソコンの動作を説明するためのフローチャートの一例である。
図４に示す動作の前提として、ユーザーが既にトレーニング手段１０７ｃによるトレーニングを実施したことがあり、図８及び図９に示した設定画面により、認識アイコン群及びウィンドウモニターを表示するように設定してあるものとする。

図４に示すフローチャートの動作の主体は、図２に示した制御部１０７である。
図５に示した画面のボタンＢ２がユーザーにより選択されると、ジェスチャー入力のアプリケーションが作動する（ステップＳ１）。
制御部１０７は、手の平を認識したか否かをカメラ１０３からの画像を解析手段１０７ｃにより解析して認識し、ユーザーの手の平を認識した場合（ステップＳ２／Ｙｅｓ）、表示装置１０３にモニターウィンドウ及び認識アイコンを、例えば図１１のようにグレー表示から通常表示にし（ステップＳ３）、ジェスチャー対応動作、例えば認識された手の平によるジェスチャーが特定されたら対応する動作を行う（ステップＳ４）。
制御部１０７は、ユーザーの手の平を一定時間（例えば、５秒）認識しない場合（ステップＳ２／Ｎｏ）、モニターウィンドウ及び認識アイコン群の表示を停止、すなわち図１２のように非表示とする（ステップＳ６）。
制御部１０７は、ジェスチャー入力が終了したか否かを判断する。ジェスチャー入力が終了したか否かの判断は、図５に示したジェスチャー機能の設定画面においてボタンＢ３が選択されたか否かで行われる。ジェスチャー入力が終了でないと判断した場合（ステップＳ５／Ｎｏ）、ステップＳ２に戻り、ジェスチャー入力が終了したと判断した場合は終了する（ステップＳ５／Ｙｅｓ）。

＜作用効果＞
以上において、本実施形態によれば、ユーザーの手の平を撮影して画像データに変換し、複数の手の平として検出された部分を比較することにより手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定し、実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理をする際に、画像データからユーザーの手の平を検出している間、手の平の動作によって処理の指示が可能であることをユーザーに示す表示を行うことにより、効率的なジェスチャー入力が可能な情報処理装置、情報処理方法、及びプログラムの提供を実現することができる。

＜プログラム＞
以上で説明した本発明に係る情報処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

例えば、
情報処理装置のコンピュータに、
実行手段が、アプリケーションを実行する手順、
撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
解析手段が、画像データからユーザーの手の平を検出し、複数の画像データにおいてユーザーの手の平として検出された部分を比較することにより手の平の動作を解析し、手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
制御手段が、実行手段で実行されているアプリケーションと特定されたジェスチャーとに関連づけて予め定義された処理をする手順、
を実行させるプログラムにおいて、
表示手段が、解析手段が画像データからユーザーの手の平を検出している間、前記撮影手段で撮影された画像の表示を行う手順、
を実行させるプログラムが挙げられる。

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明に係る情報処理装置を実現することができる。

＜記憶媒体＞
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒなどのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＦｅＲＡＭ（強誘電体メモリ）等の半導体メモリやＨＤＤが挙げられる。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述の説明では、ノートパソコンの場合で説明したが、デスクトップパソコンであってもよい。

１００ ノートパソコン
１０１ キーボード
１０２ マウス
１０３ カメラ（Ｗｅｂカメラ）
１０４ 液晶表示装置
１０５ 光学読取装置
１０６ ＨＤＤ
１０７ 制御部
１０７ａ 入力制御手段
１０７ｂ トレーニング手段
１０７ｃ 解析手段
１０７ｄ 割り込み制御手段
１０７ｅ ディスク制御手段
１０７ｆ 表示装置制御手段
１０７ｇ 実行手段
１０８ ＲＡＭ
１０９ ＲＯＭ
１１０ Ｉ／Ｏ
１１１ バスライン
１１２ モデム
１１３ 地デジチューナー

Claims (5)

1. アプリケーションを実行する実行手段と、
   ユーザーの手の平を撮影して画像データに変換する撮影手段と、
   前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する解析手段と、
   前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理をする制御手段と、を備えた情報処理装置において、
   前記解析手段が前記画像データから前記ユーザーの手の平を検出している間、前記撮影手段で撮影された画像を表示する表示手段をさらに有することを特徴とする情報処理装置。
2. 前記解析手段が前記画像データから前記ユーザーの手の平を検出しなくなると、前記撮影手段で撮影された画像の表示を終了することを特徴とする請求項１記載の画像処理装置。
3. 前記表示手段は、前記ユーザーの手の平の動作によって処理の指示が可能であることを前記ユーザーに示す表示として、前記撮影手段で撮影された、前記ユーザーの手の平として検出された部分を囲む枠線とともに表示することを特徴とする請求項２記載の情報処理装置。
4. ユーザーの手の平を撮影して画像データに変換し、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定し、
   実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理をする情報処理方法において、
   前記画像データから前記ユーザーの手の平を検出している間、撮影された画像を表示することを前記ユーザーに示す表示を行うことを特徴とする情報処理方法。
5. 情報処理装置のコンピュータに、
   実行手段が、アプリケーションを実行する手順、
   撮影手段が、ユーザーの手の平を撮影して画像データに変換する手順、
   解析手段が、前記画像データから前記ユーザーの手の平を検出し、複数の画像データにおいて前記ユーザーの手の平として検出された部分を比較することにより前記手の平の動作を解析し、前記手の平の動作パターンとして予め定義されたジェスチャーを特定する手順、
   制御手段が、前記実行手段で実行されているアプリケーションと前記特定されたジェスチャーとに関連づけて予め定義された処理をする手順、
   を実行させるプログラムにおいて、
   表示手段が、前記解析手段が前記画像データから前記ユーザーの手の平を検出している間、前記撮影手段で撮影された画像の表示を行う手順、
   を実行させることを特徴とするプログラム。

Images