JP5413673B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は情報処理装置および方法、並びにプログラムに関し、特に、バックグラウンドで実行されているアプリケーションをジェスチャに基づいて操作するようにした情報処理装置および方法、並びにプログラムに関する。

カメラ付きのパーソナルコンピュータや携帯端末において、ユーザのジェスチャを認識してアプリケーションを制御する技術が提案されている。

図１は、従来のジェスチャに基づいてアプリケーションを操作するパーソナルコンピュータ２２１の例を示している。

図１のパーソナルコンピュータ２２１においては、ディスプレイ２２２上にコントローラ２４１が表示されているとともに、カメラ２２３により撮像されたミラー画像２４２が表示されている。

ユーザの手２６１がカメラ２２３により認識され、コントローラ２４１上の各ボタンが、ユーザの手２６１の位置および形状に基づいて選択される。この選択によりディスプレイ２２２上に画像２４３を表示させているアプリケーションが制御される。

また特許文献１には、ペンデバイスやマウスデバイスのジェスチャ入力一覧表を、操作開始後一定時間入力がない場合、またはジェスチャ入力に失敗した場合に表示することで、ユーザがジェスチャコマンドを覚えられるようにする情報処理装置が提案されている。

特開２００８−２８２０９２号公報

しかしながら、従来の手法でジェスチャにより制御されるのは、ディスプレイ２２２の前面（フォアグラウンド）に表示されている画像のアプリケーションである。

従って従来の手法では、制御対象のアプリケーションの画像をディスプレイ２２２の前面（フォアグラウンド）に表示してからでなければ、ジェスチャに基づきそのアプリケーションを制御することができなかった。

本発明は、このような状況に鑑みてなされたものであり、ディスプレイの前面に表示されていないアプリケーションをジェスチャに基づいて操作できるようにするものである。

本発明の一側面の情報処理装置は、ユーザのジェスチャを検出する検出手段と、前記検出手段により検出された前記ジェスチャの種類を認識する認識手段と、第１のアプリケーションと第２のアプリケーションの動作を制御する制御手段と、前記第１のアプリケーションまたは前記第２のアプリケーションの情報を出力する出力手段と、前記認識手段により認識された前記ジェスチャが存在するかを判定する判定手段とを備え、前記制御手段がフォアグラウンドで前記第１のアプリケーションの動作を制御している時に、前記認識手段により前記ジェスチャが認識された場合、前記制御手段は、前記認識手段により認識された前記ジェスチャの種類に基づいて、前記第１のアプリケーションのバックグラウンドで動作している前記第２のアプリケーションの動作を制御し、前記制御手段は、前記第１のアプリケーションの情報が出力されている通常モードにおいて、前記判定手段により認識された前記ジェスチャが存在しないと判定された場合、前記通常モードから前記ジェスチャの操作情報を前記ユーザにフィードバックするフィードバックモードに切り替える。

前記判定手段により認識された前記ジェスチャが存在しないと判定された場合、前記ジェスチャの種類を類推する類推手段をさらに備え、前記制御手段は、前記出力手段に、前記類推手段により類推された前記ジェスチャの種類に対応する前記ジェスチャを学習するためのフィードバック情報を出力させることができる。

前記フィードバック情報は、類推された前記ジェスチャの動画またはアニメーションである。

前記制御手段は、前記ユーザが所定のジェスチャの操作を実行した場合、前記通常モードと前記フィードバックモードとを切り替えることができる。

前記出力手段は、前記フィードバックモードにおいて、前記操作情報として、前記検出手段による検出時に撮像された前記ユーザのミラー画像、および前記ジェスチャの一覧を出力することができる。

前記出力手段は、前記通常モードにおいて、前記ジェスチャに基づいて前記第２のアプリケーションの動作が制御された場合、前記ジェスチャに基づく制御結果に対応する情報を所定時間出力する。

前記出力手段は、前記ジェスチャに基づく制御結果に対応する情報として音声情報を出力することができる。

前記出力手段は、前記フィードバックモードに切り替えられた場合、前記第１のアプリケーションの画像の上に、前記フィードバックモードの画像を半透明に重ねて表示することができる。

前記出力手段は、前記フィードバックモードに切り替えられた場合、前記フィードバックモードの画像を前記第１のアプリケーションの画像の一部の領域に表示することができる。

本発明の一側面の情報処理方法は、ユーザのジェスチャを検出する検出ステップと、前記検出ステップの処理により検出された前記ジェスチャの種類を認識する認識ステップと、第１のアプリケーションと第２のアプリケーションの動作を制御する制御ステップと、前記第１のアプリケーションまたは前記第２のアプリケーションの情報を出力する出力ステップと、前記認識ステップの処理により認識された前記ジェスチャが存在するかを判定する判定ステップとを含み、前記制御ステップの処理によりフォアグラウンドで前記第１のアプリケーションの動作を制御している時に、前記認識ステップの処理により前記ジェスチャが認識された場合、前記制御ステップの処理は、前記認識ステップの処理により認識された前記ジェスチャの種類に基づいて、前記第１のアプリケーションのバックグラウンドで動作している前記第２のアプリケーションの動作を制御し、前記制御ステップの処理は、前記第１のアプリケーションの情報が出力されている通常モードにおいて、前記判定ステップの処理により認識された前記ジェスチャが存在しないと判定された場合、前記通常モードから前記ジェスチャの操作情報を前記ユーザにフィードバックするフィードバックモードに切り替える。

本発明の一側面のプログラムは、ユーザのジェスチャを検出する検出ステップと、前記検出ステップの処理により検出された前記ジェスチャの種類を認識する認識ステップと、第１のアプリケーションと第２のアプリケーションの動作を制御する制御ステップと、前記第１のアプリケーションまたは前記第２のアプリケーションの情報を出力する出力ステップと、前記認識ステップの処理により認識された前記ジェスチャが存在するかを判定する判定ステップとをコンピュータに実行させるプログラムであって、前記制御ステップの処理によりフォアグラウンドで前記第１のアプリケーションの動作を制御している時に、前記認識ステップの処理により前記ジェスチャが認識された場合、前記制御ステップの処理は、前記認識ステップの処理により認識された前記ジェスチャの種類に基づいて、前記第１のアプリケーションのバックグラウンドで動作している前記第２のアプリケーションの動作を制御し、前記制御ステップの処理は、前記第１のアプリケーションの情報が出力されている通常モードにおいて、前記判定ステップの処理により認識された前記ジェスチャが存在しないと判定された場合、前記通常モードから前記ジェスチャの操作情報を前記ユーザにフィードバックするフィードバックモードに切り替える。

本発明の一側面においては、ユーザのジェスチャが検出され、検出されたジェスチャの種類が認識され、第１のアプリケーションと第２のアプリケーションの動作が制御される。第１のアプリケーションまたは第２のアプリケーションの情報が出力され、認識されたジェスチャが存在するかが判定される。フォアグラウンドで第１のアプリケーションの動作が制御されている時に、ジェスチャが認識された場合、認識されたジェスチャの種類に基づいて、第１のアプリケーションのバックグラウンドで動作している第２のアプリケーションの動作が制御される。また、第１のアプリケーションの情報が出力されている通常モードにおいて、判定ステップの処理により認識されたジェスチャが存在しないと判定された場合、通常モードからジェスチャの操作情報をユーザにフィードバックするフィードバックモードに切り替えられる。

本発明の側面によれば、バックグラウンドで動作するアプリケーションの動作を、ジェスチャに基づいて容易に制御することが可能になる。

従来のジェスチャリモコンによる操作を説明する図である。 パーソナルコンピュータの外観の構成を示す図である。 本発明を適用したパーソナルコンピュータのハードウェアの構成例を示すブロック図である。 CPUの機能的構成例を示すブロック図である。 通常モードの表示例を示す図である。 ジェスチャコマンド入力処理を説明するフローチャートである。 通常モードの表示例を示す図である。 ジェスチャコマンドと操作内容の関係を示す図である。 入力方法提示処理を説明するフローチャートである。 フィードバックモードの表示例を示す図である。 入力方法の提示の表示例を示す図である。 入力方法の提示の表示例を示す図である。 ジェスチャコマンドと表示内容の関係を示す図である。 通常モードの表示例を示す図である。 通常モードの他の表示例を示す図である。 フィードバックモードの他の表示例を示す図である。 フィードバックモードの他の表示例を示す図である。

図２は、本発明が適用されるパーソナルコンピュータ１の一実施形態としての構成例を示す図である。

図２のパーソナルコンピュータ１は、本体１３と、カメラ１１が装着されているディスプレイ１２から構成されている。カメラ１１は、単眼カメラ、ステレオカメラ、赤外線カメラ等の静止画または動画を撮像する。

ユーザ２が手３を用いて３次元空間でジェスチャを行った場合、その画像がカメラ１１により撮像される。撮像された画像に基づいてジェスチャが認識され、認識されたジェスチャの種類に対応する制御が実行される。これにより、ユーザ２は、ディスプレイ１２に表示されている画像のアプリケーションではなく、すなわちフォアグラウンドで動作しているアプリケーションではなく、バックグラウンドで動作しているアプリケーションを制御することができる。

［パーソナルコンピュータの構成］

図３は、パーソナルコンピュータ１のハードウェアの構成例を示すブロック図である。

コンピュータ１において、CPU２２，ROM(Read Only Memory)２３，RAM(Random Access Memory)２４は、バス２５により相互に接続されている。バス２５には、さらに、入出力インタフェース２６が接続されている。入出力インタフェース２６には、Webカメラなどよりなるカメラ１１、キーボード、タッチパネル、タッチパッド、ペンデバイス、マウス、マイクロフォンなどよりなる入力部２７、ディスプレイ１２、スピーカ（図示せず）などよりなる出力部２１、ハードディスクや不揮発性のメモリなどよりなる記憶部２８が接続されている。さらに、入出力インタフェース２６には、ネットワークインタフェースなどよりなる通信部２９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１を駆動するドライブ３０が接続されている。

以上のように構成されるパーソナルコンピュータ１では、CPU２２が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２６及びバス２５を介して、RAM２４にロードして実行することにより、上述した一連の処理が行われる。パーソナルコンピュータ１（CPU２２）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）であるリムーバブルメディア３１に記録して提供される。プログラムは、パッケージメディアであるリムーバブルメディア３１に記録して提供される。なお、パッケージメディアとしては、光ディスク(CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどが用いられる。あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。そして、プログラムは、リムーバブルメディア３１をドライブ３０に装着することにより、入出力インタフェース２６を介して、記憶部２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２９で受信し、記憶部２８にインストールすることができる。その他、プログラムは、ROM２３や記憶部２８に、あらかじめインストールしておくことができる。

なお、パーソナルコンピュータ１が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

図４は、CPU２２の機能的構成例を示すブロック図である。

CPU２２は、取得部４１、検出部４２、判定部４３、算出部４４、出力部４５、認識部４６、制御部４７、類推部４８、および記憶部４９から構成されている。なお、CPU２２の各ブロックは、必要に応じて相互に信号を授受することが可能とされている。

CPU２２の取得部４１は、カメラ１１、入力部２７、または記憶部２８から情報を取得する。検出手段としての検出部４２は、カメラ１１により撮像された画像から手の領域を検出する。判定手段としての判定部４３は、処理が所定の条件を満たしているかを判定する。算出部４４は、検出された手の領域の重心位置等を算出する。出力手段としての出力部４５は、ディスプレイ１２に情報を出力する。認識手段としての認識部４６は、ジェスチャコマンドを認識する。制御手段としての制御部４７は、アプリケーションの動作を制御する。類推手段としての類推部４８は、ジェスチャコマンドを類推する。記憶部４９は、取得部４１が入力部２７から取得した情報を記憶部２８に記憶する。

［通常モード］

本発明を実行するパーソナルコンピュータ１は、通常モードとフィードバックモードで各アプリケーションを制御する。通常モードは、ユーザにより選択されたアプリケーションの画像を表示するモードである。フィードバックモードは、ジェスチャの操作情報をユーザにフィードバックするモードである。

図５は、通常モードの表示例を示す図である。図５に示されるように、通常モードでは、ディスプレイ１２にフォアグラウンドで動作する第１のアプリケーションとしてのウェブブラウザによる画像６１（以下、必要に応じてウェブブラウザ６１と簡略して記載する）が出力部４５により表示されている。

そしてバックグラウンドでは第２のアプリケーションとして音楽プレイヤが動作している。第１のアプリケーションの動作は、キーボード、マウス、タッチパネル、タッチパッド、ペンデバイス等のユーザが指で直接触れて行われる操作に基づき制御される。

これに対して、第２のアプリケーションの動作は、ユーザが手を３次元空間で移動して行うジェスチャの操作に基づき制御される。

図５の例では、ウェブブラウザ６１上にバックグラウンドで動作している音楽プレイヤに選択されている曲のタイトル６２が表示されている。なお、タイトル６２は表示しないようにしてもよい。

［ジェスチャコマンド入力処理］

図５に示された通常モードの状態で、ユーザによりジェスチャが入力されたときのジェスチャコマンド入力処理を図６に示す。

図６は、ユーザから取得したジェスチャを認識し、認識されたジェスチャの種類をジェスチャコマンドとして入力するジェスチャコマンド入力処理を説明するフローチャートである。

このジェスチャコマンド入力処理は、図５に示されるように、フォアグラウンドで所定のアプリケーション（例えばウェブブラウザ）が動作している状態において、バックグラウンドで他のアプリケーション（例えば音楽プレイヤ）が動作しているときに実行される。

ステップＳ１において、取得部４１は、カメラ１１により撮像された画像を取得する。すなわち画像がキャプチャされ、その時の時刻情報としてタイムスタンプも取得される。取得部４１は一度に複数枚の画像を取得する。取得される画像は、カメラ１１から取得した画像そのものでもよいし、編集された画像、例えば濃淡画像などでもよい。

ステップＳ２において、検出部４２は、取得された画像から手の領域を検出する。手の領域としては、例えば、取得された複数枚の画像間の差分領域が検出される。すなわち、背景画像は静止しているので、２枚の画像のその部分の画素値の差は零または充分小さくなる。それに対して手は動くのでその部分の画素値の差は充分大きな値となる。差分値が所定の閾値以上である範囲を、手の領域として検出することができる。

ステップＳ３において、判定部４３は、ステップＳ２において検出された手の領域が存在するかを判定する。すなわち、選択された画像と所定時間以上前の画像、例えば１００ｍｓ以上前に撮像された画像とを比較し、画素値の差分が閾値以上である領域の大きさが基準の範囲内となる領域が存在するかが判定される。所定時間以上前の画像であるかどうかはタイムスタンプに基づいて判定される。

ステップＳ３において、手の領域が存在しないと判定された場合、すなわち画素値の差分が閾値以上である領域の大きさが基準の範囲より大きいか、または小さいと判定された場合、処理はステップＳ１に戻る。

ステップＳ３において、手の領域が存在すると判定された場合、すなわち画素値の差分が閾値以上である領域の大きさが基準の範囲内であると判定された場合、ステップＳ４において、算出部４４は、検出された手の領域の重心位置を算出する。

なお、ステップＳ２の処理により検出された手の領域が複数存在する場合、算出部４４は、１つの領域を選択して選択された領域の重心位置を算出してもよいし、検出された手の領域のそれぞれに対して重心位置を算出するようにしてもよい。

ステップＳ５において、出力部４５は、算出された手の領域の重心位置の軌跡をディスプレイ１２に出力する。ディスプレイ１２に手の領域の重心位置の軌跡を表示した例を図７に示す。

図７は、通常モードにおいて、ユーザの手の領域の軌跡を表示する例を示す図である。図７の例には、ディスプレイ１２に手の領域の軌跡８１が表示されている。

図７の軌跡８１は、ジェスチャコマンド「左フリック」、つまりユーザにより画面の右側から左側に向かって手をはじくジェスチャが入力された場合の軌跡の例である。

この例において、軌跡８１は、図６のステップＳ４で算出された重心位置を中心とした円の図形の移動として描かれる。そして軌跡８１の各移動位置の円の図形は所定時間表示され、所定時間経過後に消える。

なお軌跡８１の円の図形の大きさは、時間の経過、手の領域の大きさ、または手の領域の移動速度に応じて大小に変更することもできる。例えば、時間が経過するにつれて円の図形の大きさが大きくなり、所定の大きさになった後に円の図形が小さくなってから消えるようにしてもよい。

軌跡８１は、円の図形の他、１本の曲線、その他、ユーザの手の動きを表すもので表現することができる。

このように軌跡８１を所定時間表示することで、ユーザはウェブブラウザ６１の作業を大きく阻害されることなく、ジェスチャの確認をすることができる。

なお、軌跡８１は、フィードバックモード時においてのみ表示するようにし、通常モード時においては表示しないようにすることもできる。その場合、フォアグラウンドで動作しているアプリケーションの画像が軌跡８１により見難しくなることが防止される。

図６に戻り、ステップＳ５の軌跡の出力処理の後、ステップＳ６において、認識部４６は、手の領域の重心位置の軌跡に基づいてジェスチャコマンドを認識する。すなわち、ジェスチャの種類が認識される。認識されるジェスチャコマンドの例を図８に示す。

図８は、ジェスチャコマンドとジェスチャコマンドに対応する操作内容の関係を示す制御テーブルである。制御テーブルは予め記憶部２８に記憶されている。ジェスチャコマンドとジェスチャコマンドに対応する操作内容の例を説明する。

図７を参照して上述したように、ジェスチャコマンドとして「左フリック」が入力されると、制御部４７は、音楽プレイヤの現在選択されている曲を次の曲に変更する。

「右フリック」は、画面の左側から右側に向かって手をはじくジェスチャである。ジェスチャコマンドとして「右フリック」が入力されると、制御部４７は、音楽プレイヤの現在選択されている曲を前の曲に変更する。

「手をかざす」は、カメラ１１の前に手を所定時間留めておくジェスチャである。ジェスチャコマンドとして「手をかざす」が入力されると、制御部４７は、音楽プレイヤが現在再生している曲を停止するか、または停止している曲を再生する。曲の再生音は出力手段としての出力部２１を構成するスピーカから出力される。

「時計回りに二重丸を描く」は、手で時計回りに２回円を描くジェスチャである。ジェスチャコマンドとして「時計回りに二重丸を描く」が入力されると、制御部４７は、音楽プレイヤにより現在選択されている曲をお気に入りとして登録する。

「反時計回りに二重丸を描く」は、手で反時計回りに２回円を描くジェスチャである。ジェスチャコマンドとして「反時計回りに二重丸を描く」が入力されると、制御部４７は、音楽プレイヤにより現在選択されている曲をお気に入りから解除する。

「手を振る」は、カメラ１１の前で手を左右に数回移動させるジェスチャである。ジェスチャコマンドとして「手を振る」が入力されると、制御部４７は、モードの切り替えを行う。

すなわち、現在のモードが通常モードである場合、フィードバックモードに切り替えが行なわれ、現在のモードがフィードバックモードである場合、通常モードに切り替えが行なわれる。フィードバックモードについては、図１０参照して後述する。

「手を振る」動作はジェスチャが認識されなかった場合、すなわちフィードバック情報をユーザに提供する必要がある場合に、ユーザが自然に行うジェスチャである。従って「手を振る」ジェスチャをモードの切り替えに対応付けておくことで、フィードバック情報をユーザにより容易に提供することが可能になる。

勿論、例えば両手でカーテンを開けるように、手が重なった状態から左右に「手を開く」ジェスチャ等をモード切り替えに対応づけることもできる。

「手を上下に動かす」は、カメラ１１の前で手を上下に数回移動させるジェスチャである。ジェスチャコマンドとして「手を上下に動かす」が入力されると、制御部４７は、音楽プレイヤ内に記録されている曲をランダムに１つ選択する。

このようにユーザのジェスチャが認識されると、ジェスチャコマンドが入力され、ジェスチャコマンドに対応する処理が実行される。なお、ジェスチャコマンドとジェスチャコマンドに対応する処理は、図８に示した例に限られない。

図６に戻り、ステップＳ７において、判定部４３は、認識されたジェスチャコマンドが存在するかを判定する。すなわち、認識されたジェスチャコマンドが図８の制御テーブルのジェスチャコマンドと一致するかが判定される。

ステップＳ７において、認識されたジェスチャコマンドが存在しないと判定された場合、すなわち、認識されたジェスチャコマンドが図８の制御テーブルのジェスチャコマンドと一致しないと判定された場合、ステップＳ８において、入力方法提示処理が実行される。入力方法提示処理の詳細を図９に示す。

［入力方法提示処理］

図９は、図６のステップＳ８の入力方法提示処理の詳細を説明するフローチャートである。入力方法提示処理は、ユーザが入力したジェスチャが認識されなかった場合に、ユーザにジェスチャの入力方法を学習させる処理である。

ステップＳ３１において、判定部４３は、現在のモードがフィードバックモードであるかを判定する。フィードバックモードの詳細について図１０に示す。

［フィードバックモード］

図１０は、フィードバックモードにおける表示例を示す図である。フィードバックモードにおいては、ジェスチャの操作情報として、少なくともミラー画像とジェスチャコマンド一覧表が表示される。

図１０のフィードバックモードの表示例では、表示部１２上に軌跡８１、ミラー画像８２、ジェスチャコマンド一覧表８３、ジェスチャコマンド８４（具体的には８４−１乃至８４−６）、ジャケット写真８５（具体的には８５−１乃至８５−７）、歌手名８６−２、および曲名８７−２が表示されている。

フィードバックモードでは、カメラ１１により撮像されたユーザの画像に画像処理を施したミラー画像８２が背景に表示されている。ミラー画像とは、画像の左右を反転させた画像である。すなわちユーザが右手を動かしたとき、ミラー画像に表示されているユーザ７１の画像では、左の手７２が動かされる。ユーザの左手が動かされると、ミラー画像８２では、右手が動かされる。

このようにミラー画像８２を表示させることで、ユーザが手でジェスチャを入力する動きと、表示部１２に表示されるユーザ７１の手７２の動きが対応するので、ユーザはジェスチャによる操作を容易に確認することができる。

なお、ミラー画像８２の代わりに、手、体、顔、動き等が検出された領域を表示したり、または、ミラー画像８２にさらに他の画像処理を施した画像を表示することもできる。

ミラー画像８２に他の画像処理を施した画像とは、例えば、モノクロームやセピアのように画像の色を変えた画像、顔や体のパーツを認識してパーツに対応するアバターに変更した画像、または鉛筆のスケッチや絵画風の画像などである。

画像処理を施すことにより、顔が直接表示されることを不快に思うユーザが、快適に操作を行うことができる。

ジェスチャコマンド一覧表８３には、ユーザが入力することができるジェスチャの一覧、すなわちジェスチャコマンド８４−１乃至８４−６が表示されている。

ジェスチャコマンド８４−１乃至８４−６には、それぞれのジェスチャに対する簡単な入力方法、すなわち、手の動かし方および操作内容が示されている。

ジェスチャコマンド８４−１の画像は、図８の制御テーブルのジェスチャコマンド「左フリック」を示している。ジェスチャコマンド８４−１の「next」は、操作内容の「次の曲に変更」を示している。

ジェスチャコマンド８４−２の画像は、制御テーブルのジェスチャコマンド「右フリック」を示している。ジェスチャコマンド８４−２の「previous」は、操作内容の「前の曲に変更」を示している。

ジェスチャコマンド８４−３の画像は、制御テーブルのジェスチャコマンド「手をかざす」を示している。ジェスチャコマンド８４−３の「play_stop」は、操作内容の「再生・停止の切替」を示している。

ジェスチャコマンド８４−４の画像は、制御テーブルのジェスチャコマンド「時計回りに二重丸を描く」を示している。ジェスチャコマンド８４−４の「thumbup」は、操作内容の「お気に入りの登録」を示している。

ジェスチャコマンド８４−５の画像は、制御テーブルのジェスチャコマンド「手を上下に動かす」を示している。ジェスチャコマンド８４−５の「shuffle」は、操作内容の「曲をランダムに選択」を示している。

ジェスチャコマンド８４−６の画像は、制御テーブルのジェスチャコマンド「手を振る」を示している。ジェスチャコマンド８４−６の「switchmode」は、操作内容の「モードの切替」を示している。

このようにジェスチャコマンド一覧表８３には、ジェスチャとジェスチャに対応する操作を簡単に示したジェスチャコマンド８４が表示されるので、ユーザはジェスチャの種類と対応する操作内容を容易に確認することができる。

ジャケット写真８５の画像としては、音楽プレイヤに記憶されているそれぞれの曲に対応するジャケット画像が表示される。

ジャケット写真８５−１乃至８５−７のうち、ジャケット写真８５−２が現在選択されている曲のジャケットを示している。現在選択されているジャケット写真８５−２の画像は、選択されていることがわかるように、例えば、上下に揺らされたり、選択されていないジャケットより大きくされる。

歌手名８６−２としての表示「redtallon」は、現在選択されているジャケット写真８５−２の曲の歌手名である。現在選択されている曲名８７−２「青春の森」は、現在選択されているジャケット写真８５−２の曲の曲名である。

このようにフィードバックモードを表示することで、ユーザはジェスチャの入力操作の確認、ジェスチャが認識されない原因の確認、ジェスチャの種類と操作内容の確認、および音楽プレイヤなど対応するアプリケーションの動作の確認をすることができる。

図９に戻り、ステップＳ３１において、現在のモードがフィードバックモードでないと判定された場合、すなわち、現在のモードが通常モードであると判定された場合、ステップＳ３２において、制御部４７は、通常モードをフィードバックモードに切り替える。

ステップＳ３１において、現在のモードがフィードバックモードであると判定された場合、またはステップＳ３２の処理が実行された後、処理はステップＳ３３に進む。

ステップＳ３３において、類推部４８は、図６のステップＳ４の処理により算出された手の領域の重心位置の軌跡に基づいてジェスチャコマンドを類推する。

すなわち、図６のステップＳ６のジェスチャコマンドを認識する処理と同様の処理が実行され、さらにジェスチャコマンドに対する尤もらしさ（尤度）が算出され、評価されることでジェスチャコマンドが類推される。

例えば、ユーザが「円」を描くジェスチャをしたとき、類推部４８は、「円」の尤もらしさを算出する。

そして、類推部４８は、評価する処理として、尤もらしさが所定の閾値以上、例えば６０％以上であるかを判定する。ユーザが描いた「円」の尤もらしさが、例えば８０％である場合、類推部４８は、ユーザのジェスチャを「円」と類推する。

ステップＳ３４において、判定部４３は、類推されたジェスチャコマンドが存在するかを判定する。すなわち、ジェスチャの尤もらしさが所定の閾値以上であるかを判定する。

ステップＳ３４において、類推されたジェスチャコマンドが存在すると判定された場合、すなわち、ジェスチャの尤もらしさが所定の閾値以上であると判定された場合、ステップＳ３５において、出力部４５は、ジェスチャコマンドの入力方法を出力する。

ジェスチャを学習するためのフィードバック情報としてのジェスチャコマンドの入力方法を出力する例を、図１１と図１２に示す。

［ジェスチャコマンドの入力方法の提示］

図１１は、フィードバックモードにおいて、動画を用いてジェスチャコマンドの入力方法を出力する例を示している。図１２は、フィードバックモードにおいて、アニメーションを用いてジェスチャコマンドの入力方法を出力する例を示している。

ジェスチャコマンドの入力方法の出力として、動画（図１１）とアニメーション（図１２）のどちらを出力するかは、ユーザによって予め設定される。記憶部４９は、設定された入力方法を記憶部２８に記憶する。

そしてステップＳ３５の処理が実行されるとき、ユーザにより設定された入力方法が記憶部２８から読み出される。

図１１には、ミラー画像８２の左上に入力方法提示ウィンドウ１０１が表示されている。なお、入力方法提示ウィンドウ１０１の表示位置は、フィードバックモードの表示領域内であれば左上に限られない。

入力方法提示ウィンドウ１０１には、ジェスチャの指示者１２１、指示者の手１２２、およびジェスチャを学習するためのジェスチャ指示線１２３が表示されている。

ジェスチャ指示線１２３は、「円」を描くジェスチャを学習するための入力方法を示している。指示者１２１がジェスチャ指示線１２３に従って手１２２を動かす動画を再生することでユーザにジェスチャの入力方法を提示する。

ユーザの操作はミラー画像８２に表示されているので、ユーザはミラー画像８２の手７２と軌跡８１の動きと、入力方法提示ウィンドウ１０１の動画を同時に確認しながらジェスチャの入力方法を学習することができる。

入力方法を提示するための学習用の動画は、ジェスチャの種類ごとに予め記憶部２８に記憶されている。出力される学習用の動画は、図９のステップＳ３３により類推されたジェスチャ、またはユーザにより任意に選択されたジェスチャに基づいて決定される。

なお、図１１の入力方法提示ウィンドウ１０１では、表示させる画像を画像処理してミラー画像が表示されてもよい。

図１２には、ミラー画像８２上にアニメーション１４１とアニメーションの軌跡１４２が表示されている。

アニメーションの軌跡１４２は、「円」を描くジェスチャを学習するための入力方法を示している。アニメーション１４１はアニメーションの軌跡１４２に沿って移動する。

アニメーション１４１およびアニメーションの軌跡１４２がミラー画像８２上に表示されるので、ユーザはアニメーション１４１に従って手７２を動かすことでジェスチャの入力方法を学習することができる。図１２においては、ユーザが手７２をアニメーションの軌跡１４２に沿って移動したことによる軌跡８１も表示されている。

入力方法を提示するためのアニメーションも、学習用の動画と同様に、ジェスチャの種類ごとに予め記憶部２８に記憶されている。出力されるアニメーションは、図９のステップＳ３３により類推されたジェスチャ、またはユーザにより任意に選択されたジェスチャに基づいて決定される。

図９に戻り、ステップＳ３４において、類推されたジェスチャコマンドが存在しないと判定された場合、すなわち、ジェスチャの尤もらしさが所定の閾値未満であると判定された場合、またはステップＳ３５の処理の後、入力方法提示処理は終了し、処理は図６のステップＳ１に戻る。

このように入力方法提示処理により、ユーザはジェスチャによる入力が失敗したとき、すなわちジェスチャを入力しても所望の動作が実行されないとき、ジェスチャが認識されなかった原因を確認できるとともに、解決方法として正しいジェスチャコマンドの入力方法を学習することができる。

以上においては、通常モードにおいて、ジェスチャコマンドが認識できない場合、自動的にフィードバックモードに切り替えて（ステップＳ３２）、ジェスチャコマンドの類推処理（ステップＳ３３）を実行するようにした。この他、ジェスチャコマンドの類推を実行して、ジェスチャコマンドの類推ができた場合（ステップＳ３４の処理においてYESと判定された場合）にのみ、フィードバックモードに自動的に切り替える（ステップＳ３２）ようにしてもよい。

図６に戻り、ステップＳ７において、認識されたジェスチャコマンドが存在すると判定された場合、すなわち、認識されたジェスチャコマンドが図８の制御テーブルに記載されているジェスチャコマンドのいずれかに一致すると判定された場合、ステップＳ９において、判定部４３は、ジェスチャコマンドが「手を振る」と認識されたかを判定する。

ステップＳ９において、ジェスチャコマンドが「手を振る」と認識された場合、すなわちユーザによりモードの切り替えの処理が指示された場合、ステップＳ１０において、判定部４３は、現在のモードが通常モードであるかを判定する。

ステップＳ１０において、現在のモードが通常モードであると判定された場合、ステップＳ１１において、制御部４７は、モードをフィードバックモードに切り替える。

ステップＳ１０において、現在のモードが通常モードでないと判定された場合、すなわち現在のモードがフィードバックモードであると判定された場合、ステップＳ１２において、制御部４７は、モードを通常モードに切り替える。

なお、フィードバックモードから通常モードへの切り替えは、ジェスチャが正しく認識されたとき、自動的に行うようにすることもできる。

一方、ステップＳ９において、ジェスチャコマンドが「手を振る」と認識されなかった場合、すなわちユーザによりモード切り替え以外の処理が指示された場合、ステップＳ１３において、制御部４７は、ジェスチャコマンドに対応する処理を実行する。

ジェスチャコマンドに対応する処理とは、図８の制御テーブルに記載されている操作内容を実行する処理である。具体的な例の説明は、図８を参照して上述したので省略するが、例えば再生が指示された場合、曲が出力部２１のスピーカから出力される。

ステップＳ１４において、判定部４３は、現在のモードが通常モードであるかを判定する。

ステップＳ１４において、現在のモードが通常モードであると判定された場合、ステップＳ１５において、出力部４５は、ジェスチャコマンドの制御結果に対応する情報を一定時間、ディスプレイ１２に出力する。ジェスチャコマンドに対応する表示内容の例を図１３に示す。

図１３は、ジェスチャコマンドとジェスチャコマンドに対応する表示内容の関係を示す表示テーブルを示す図である。なお図８の制御テーブルと図１３の表示テーブルは、まとめて１つのテーブルとして管理してもよい。

ジェスチャコマンドとして「左フリック」が入力されると、出力部４５は、曲リストを１つ左側に移動する。「左フリック」が入力された場合の通常モードの表示例を図１４に示す。

図１４は、通常モードにおいて、ジェスチャコマンドとして「左フリック」が入力された場合の表示例を示す図である。図１４は、図１０に示されている状態、すなわちジャケット写真８５−２の曲が選択されている状態から、「左フリック」が２回行われた状態を示している。

すなわち図１４の例は、図１０に示されているジャケット写真８５−１乃至８５−７のそれぞれが２つ左側に移動し、ジャケット写真８５−４の曲が選択されている状態を示している。

また「左フリック」が２回行われることにより、画面左側に表示されていたジャケット写真８５−１，８５−２は表示されなくなり、画面右側に新たにジャケット写真８５−８，８５−９が表示される。

図１３に戻り、ジェスチャコマンドとして「右フリック」が入力されると、出力部４５は、曲リストを１つ右側に移動する。

すなわち図１４の状態で「右フリック」が入力されると、ジャケット写真８５−３乃至８５−９のそれぞれが１つ右側に移動された画像が出力される。またジャケット写真８５−９は表示されなくなり、図１０に示されているジャケット写真８５−２が図１４のジャケット写真８５−３の位置に表示される。

ジェスチャコマンドとして「手をかざす」が入力されると、出力部４５は、ディスプレイ１２の画面領域内に再生または停止のアイコンを表示する。

ジェスチャコマンドとして「時計回りに二重丸を描く」が入力されると、出力部４５は、ジャケット写真８５にお気に入りを示すアイコンを表示する。図１４のジャケット写真８５−４の右上に表示されているお気に入りマーク８８−４がお気に入りを示すアイコンである。

ジェスチャコマンドとして「反時計回りに二重丸を描く」が入力されると、出力部４５は、ジャケット写真８５上にお気に入りを示すアイコンの表示を削除する。すなわち図１４のお気に入りマーク８８−４の表示が消去される。

ジェスチャコマンドとして「手を上下に動かす」が入力されると、出力部４５には、ランダムに選択された曲のジャケット写真８５−２１、歌手名８６−２１、および曲名８７−２１（いずれも図示せず）が、図１４のジャケット写真８５−４、歌手名８６−４、および曲名８７−４の位置のそれぞれに表示される。

さらに、その前後の曲のジャケット写真８５−２０，８５−２２乃至８５−２６が図１４のジャケット写真８５−３，８５−５乃至８５−９の代わりに表示される。

このようにジェスチャコマンドに対応する処理が実行されると、ウェブブラウザ６１の上にジェスチャコマンドに対応する情報が表示される。なおジェスチャコマンドとジェスチャコマンドに対応する表示内容は、図１３の例に限られない。

また図６のステップＳ１５の処理として、出力部４５は、音声や効果音などの音声情報を出力してもよい。音声情報として出力部４５は、例えばジェスチャコマンド「左フリック」が入力された場合、「次の曲」、「next」といった操作の名称、ジェスチャコマンドの名称等の音声、または、風切り音、かき混ぜる音などの効果音を再生する。

出力部４５は、ステップＳ１５の処理において、図１３の表示テーブルの表示内容に対応する表示画像と音声情報のいずれか一方のみを出力してもよいし、表示画像と音声情報の両方を出力してもよい。

なお表示画像は、通常モードにおいて、一定時間経過後に消去される。これにより、表示画像がユーザのウェブブラウザ６１の作業を大きく阻害することが抑制される。例えば、ウェブブラウザ６１の画像の表示領域の一部にジェスチャコマンドに対応するアイコンを表示したり、ウェブブラウザ６１の画像上に表示画像を半透明にして表示してもよい。

ステップＳ１４において、現在のモードが通常モードでないと判定された場合、すなわち現在のモードがフィードバックモードであると判定された場合、ステップＳ１６において、出力部４５は、ジェスチャコマンドの制御結果に対応する情報を出力する。

ステップＳ１６の処理において出力される情報は、ステップＳ１５の処理において出力される情報と同様である。

ステップＳ１１，Ｓ１２，Ｓ１５，Ｓ１６の処理の後、処理はステップＳ１に戻り、同様の処理が繰り返される。

このようにユーザは、フォアグラウンドで動作しているアプリケーションを見ながら、バックグラウンドで動作するアプリケーションをジェスチャに基づいて操作できる。またユーザは、バックグラウンドで動作するアプリケーションのジェスチャに基づく操作結果を、フォアグラウンドで動作するアプリケーションの作業を阻害せずに確認することができる。

［通常モードの他の表示例］

図１５は、通常モードの他の表示例を示す図である。図１５は、ジェスチャとして手の形状を認識して、バックグラウンドで動作するアプリケーションの動作を制御する例を示している。図１５の手の近傍領域１６１は、図７に示された軌跡８１の代わりに表示される。

すなわち、この処理は、図６のステップＳ４において、算出部４４が、手の領域の重心位置を算出する代わりに、手の形状を算出し、ステップＳ５において、出力部４５が、手の領域の重心位置の軌跡８１を出力する代わりに、手の近傍領域１６１を出力することにより実行される。

ユーザの手の形状は、例えばグー、パー、サムアップ（親指を立てる）などである。これらのジェスチャを認識してバックグラウンドで動作するアプリケーションの動作を制御することもできる。

［フィードバックモードの他の表示例］

図１６と図１７は、フィードバックモードの他の表示例を示す図である。

図１６は、フィードバックモードの画像を通常モードの画像（図５）の上に半透明に重ねて出力する例を示す図である。図１６の例では、簡単のためフィードバックモードの画像として半透明のミラー画像１８１のみが表示されている。

このように通常モードの画像の上に半透明のフィードバックモードの画像を重ねて表示することで、ユーザは、ウェブブラウザ６１などのアプリケーションを表示させた状態でジェスチャの操作をフィードバックすることができる。

図１７は、フィードバックモードの画像（図１０）を通常モードの画像（図５）の一部の領域に出力する例を示す図である。図１７の例では、フィードバックウィンドウ２０１がウェブブラウザ６１の表示領域の右下の領域に出力されている。

フィードバックウィンドウ２０１内の表示は、図１０に示したフィードバックモードの画像と同様である。

なお軌跡８１は、通常モードとフィードバックモードのいずれかにおいても出力されるが、図１７の例のようにフィードバックモードの画像を通常モードの画像の一部の領域に出力する場合、どちらか一方の画像にのみ軌跡８１を表示するようにしてもよい。図１７の例では、フィードバックモードの画像にのみ軌跡８１が表示されている。

なお、第１のアプリケーションおよび第２のアプリケーションは、ウェブブラウザおよび音楽プレイヤに限られない。

以上の実施形態では、音楽プレイヤがバックグラウンドで動作しているので、音楽プレイヤがジェスチャコマンドに基づいて操作されるが、ウェブブラウザがバックグラウンドで動作している場合、ウェブブラウザがジェスチャコマンドに基づいて操作される。

勿論、バックグラウンドで動作している特定のアプリケーション（例えば、音楽プレイヤ）のみが、ジェスチャコマンドに基づいて操作されるようにしてもよい。

１ パーソナルコンピュータ， １１ カメラ， １２ ディスプレイ， １３ CPU， ４２ 検出部， ４３ 判定部， ４５ 出力部， ４６ 認識部， ４７ 制御部， ４８ 類推部

Claims (11)

1. ユーザのジェスチャを検出する検出手段と、
   前記検出手段により検出された前記ジェスチャの種類を認識する認識手段と、
   第１のアプリケーションと第２のアプリケーションの動作を制御する制御手段と、
   前記第１のアプリケーションまたは前記第２のアプリケーションの情報を出力する出力手段と、
   前記認識手段により認識された前記ジェスチャが存在するかを判定する判定手段と
   を備え、
   前記制御手段がフォアグラウンドで前記第１のアプリケーションの動作を制御している時に、前記認識手段により前記ジェスチャが認識された場合、前記制御手段は、前記認識手段により認識された前記ジェスチャの種類に基づいて、前記第１のアプリケーションのバックグラウンドで動作している前記第２のアプリケーションの動作を制御し、
   前記制御手段は、前記第１のアプリケーションの情報が出力されている通常モードにおいて、前記判定手段により認識された前記ジェスチャが存在しないと判定された場合、前記通常モードから前記ジェスチャの操作情報を前記ユーザにフィードバックするフィードバックモードに切り替える
   情報処理装置。
2. 前記判定手段により認識された前記ジェスチャが存在しないと判定された場合、前記ジェスチャの種類を類推する類推手段をさらに備え、
   前記制御手段は、前記出力手段に、前記類推手段により類推された前記ジェスチャの種類に対応する前記ジェスチャを学習するためのフィードバック情報を出力させる
   請求項１に記載の情報処理装置。
3. 前記フィードバック情報は、類推された前記ジェスチャの動画またはアニメーションである
   請求項２に記載の情報処理装置。
4. 前記制御手段は、前記ユーザが所定のジェスチャの操作を実行した場合、前記通常モードと前記フィードバックモードとを切り替える
   請求項３に記載の情報処理装置。
5. 前記出力手段は、前記フィードバックモードにおいて、前記操作情報として、前記検出手段による検出時に撮像された前記ユーザのミラー画像、および前記ジェスチャの一覧を出力する
   請求項４に記載の情報処理装置。
6. 前記出力手段は、前記通常モードにおいて、前記ジェスチャに基づいて前記第２のアプリケーションの動作が制御された場合、前記ジェスチャに基づく制御結果に対応する情報を所定時間出力する
   請求項５に記載の情報処理装置。
7. 前記出力手段は、前記ジェスチャに基づく制御結果に対応する情報として音声情報を出力する
   請求項６に記載の情報処理装置。
8. 前記出力手段は、前記フィードバックモードに切り替えられた場合、前記第１のアプリケーションの画像の上に、前記フィードバックモードの画像を半透明に重ねて表示する
   請求項７に記載の情報処理装置。
9. 前記出力手段は、前記フィードバックモードに切り替えられた場合、前記フィードバックモードの画像を前記第１のアプリケーションの画像の一部の領域に表示する
   請求項７に記載の情報処理装置。
10. ユーザのジェスチャを検出する検出ステップと、
    前記検出ステップの処理により検出された前記ジェスチャの種類を認識する認識ステップと、
    第１のアプリケーションと第２のアプリケーションの動作を制御する制御ステップと、
    前記第１のアプリケーションまたは前記第２のアプリケーションの情報を出力する出力ステップと、
    前記認識ステップの処理により認識された前記ジェスチャが存在するかを判定する判定ステップと
    を含み、
    前記制御ステップの処理によりフォアグラウンドで前記第１のアプリケーションの動作を制御している時に、前記認識ステップの処理により前記ジェスチャが認識された場合、前記制御ステップの処理は、前記認識ステップの処理により認識された前記ジェスチャの種類に基づいて、前記第１のアプリケーションのバックグラウンドで動作している前記第２のアプリケーションの動作を制御し、
    前記制御ステップの処理は、前記第１のアプリケーションの情報が出力されている通常モードにおいて、前記判定ステップの処理により認識された前記ジェスチャが存在しないと判定された場合、前記通常モードから前記ジェスチャの操作情報を前記ユーザにフィードバックするフィードバックモードに切り替える
    情報処理方法。
11. ユーザのジェスチャを検出する検出ステップと、
    前記検出ステップの処理により検出された前記ジェスチャの種類を認識する認識ステップと、
    第１のアプリケーションと第２のアプリケーションの動作を制御する制御ステップと、
    前記第１のアプリケーションまたは前記第２のアプリケーションの情報を出力する出力ステップと、
    前記認識ステップの処理により認識された前記ジェスチャが存在するかを判定する判定ステップと
    をコンピュータに実行させるプログラムであって、
    前記制御ステップの処理によりフォアグラウンドで前記第１のアプリケーションの動作を制御している時に、前記認識ステップの処理により前記ジェスチャが認識された場合、前記制御ステップの処理は、前記認識ステップの処理により認識された前記ジェスチャの種類に基づいて、前記第１のアプリケーションのバックグラウンドで動作している前記第２のアプリケーションの動作を制御し、
    前記制御ステップの処理は、前記第１のアプリケーションの情報が出力されている通常モードにおいて、前記判定ステップの処理により認識された前記ジェスチャが存在しないと判定された場合、前記通常モードから前記ジェスチャの操作情報を前記ユーザにフィードバックするフィードバックモードに切り替える
    プログラム。

Images