JP2018041309A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ジェスチャ操作に応じて処理を実行する装置における操作性を向上させることを目的とする。【解決手段】第１のジェスチャが検出された時点から一定期間内に第２のジェスチャが検出され、第２のジェスチャが第１のジェスチャと同一のジェスチャである場合に、第１のジェスチャと第２のジェスチャの関係に基づいて、前記第２のジェスチャに対応して実行する処理を決定する決定手段と、決定手段により決定された処理を実行する処理手段とを有する。【選択図】図２

Description

本発明は、入力された軌跡をジェスチャとして認識し、認識したジェスチャに応じて処理を実行する情報処理装置、情報処理方法及びプログラムに関する。

従来、ユーザによるタッチパネルへの入力を検知するタッチパネル制御装置において、動画データを再生する際、タッチパネル上におけるタッチ位置の左右への移動操作に応じて、動画データの早送りや巻き戻しを行う技術が一般的に知られている。また、動画データの再生速度を決定する際、入力された軌跡をジェスチャとして認識し、ジェスチャが入力された方向に応じて、動画データの再生速度を決定する技術が知られている。

特許文献１には、ユーザが入力したジェスチャの長さに応じて、動画データの再生速度を決定する技術が開示されている。例えば、長いジェスチャが入力された場合、早送り再生とし、短いジェスチャが入力された場合、スロー再生とする。これにより、ユーザはジェスチャの入力方向と再生速度の関係を記憶する必要がなくなり、使い勝手が向上する。

特開２００５−３３９４２０号公報

しかしながら、再生速度の粒度が細かくなった場合、特許文献１の技術では、ユーザは、どの位の長さのジェスチャを入力すれば所望の再生速度になるのかがわかり難い。

本発明はこのような問題点に鑑みなされたもので、ジェスチャ操作に応じて処理を実行する装置における操作性を向上させることを目的とする。

そこで、本発明は、情報処理装置であって、第１のジェスチャが検出された時点から一定期間内に第２のジェスチャが検出され、前記第２のジェスチャが前記第１のジェスチャと同一のジェスチャである場合に、前記第１のジェスチャと前記第２のジェスチャの関係に基づいて、前記第２のジェスチャに対応して実行する処理を決定する決定手段と、前記決定手段により決定された処理を実行する処理手段とを有することを特徴とする。

本発明によれば、ジェスチャ操作に応じて処理を実行する装置における操作性を向上させることができる。

ジェスチャ認識装置のハードウェア構成を示す図である。 ジェスチャ認識装置の機能構成を示す図である。 ジェスチャ処理を示すフローチャートである。 処理テーブルのデータ構成例を示す図である。 再生速度テーブルのデータ構成例を示す図である。 ジェスチャ処理の説明図である。 再生速度テーブルのデータ構成例を示す図である。 ジェスチャ処理の説明図である。 再生速度テーブルのデータ構成例を示す図である。 ジェスチャ処理の説明図である。 第２の実施形態に係るジェスチャ認識装置の機能構成を示す図である。 第２の実施形態に係るジェスチャ処理を示すフローチャートである。 第３の実施形態に係るジェスチャ認識装置の機能構成を示す図である。 第３の実施形態に係るジェスチャ処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態に係る情報処理装置の一例としてのジェスチャ認識装置１００のハードウェア構成を示す図である。ジェスチャ認識装置１００は、ユーザによるタッチパネルへの入力の軌跡をジェスチャとして認識し、認識したジェスチャに応じて処理を実行する。ジェスチャ認識装置１００は、バス１０１、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、入力Ｉ／Ｆ１０５、出力Ｉ／Ｆ１０６及び入出力Ｉ／Ｆ１０７を有している。バス１０１は、各構成要素を接続し、アドレスバス、データバス及びコントロールバス等を含む。

ＣＰＵ１０２は、各種処理のための演算や論理判断などを行い、バス１０１に接続された各構成要素を制御する。また、ＣＰＵ１０２は図示しないがタイマを内蔵する。ＲＡＭ１０４は、ＣＰＵ１０２のワーク領域、エラー処理時の情報の退避領域、制御プログラムのロード領域などを有する。ＲＯＭ１０３は、後述の処理を含むＣＰＵ１０２による制御のためのプログラムを格納し、プログラムメモリとして機能する。ただし、後述する記憶装置１０８などから各種プログラムがロードされ、ＲＡＭ１０４をプログラムメモリとして使用することも可能である。あるいは、これらの組み合わせを用いても構わない。

入力Ｉ／Ｆ１０５は、情報入力装置１０９から出力された信号を取得する。出力Ｉ／Ｆ１０６は、情報出力装置１１０に対して、後述する各種処理の実行結果を制御した信号を出力する。入出力Ｉ／Ｆ１０７は、記憶装置１０８に対して、後述する各種処理の実行結果として出力されたデータ等を記憶装置１０８に出力し、記憶装置１０８に記憶されたデータ等を取得する。

記憶装置１０８は、本実施形態に係るデータや各種の制御プログラムを記憶しておく為のＨＤＤ等の記憶装置である。本実施形態においては、後述する各種の処理を実行した結果として、出力されたデータ等を記憶する。記憶装置１０８は、例えば、後述するジェスチャ登録辞書や、処理テーブル、再生速度テーブルを記憶している。このように、本実施形態において必要な情報は、ＲＯＭ１０３や記憶装置１０８に保持されている。

情報入力装置１０９は、ユーザが操作入力するための入力装置である。情報入力装置１０９としては、例えば、マウス、トラックボール、タッチパネル等のポインティングデバイスや、キーボードや物理ボタンなどがある。また、赤外線センサ、光センサ、超音波センサなどの各種センサなども使用可能である。情報出力装置１１０は、ジェスチャ認識装置１００にて処理された結果や保持している情報を出力するための出力装置である。情報出力装置１１０としては、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、プロジェクタ等の表示出力装置などが使用可能である。

本実施形態では、情報入力装置１０９と情報出力装置１１０が一体化された静電容量方式のタッチパネルディスプレイ１１１が、ジェスチャ認識装置１００に搭載されているものとし、ユーザはタッチパネルディスプレイ１１１を指で入力するものとする。タッチパネルディスプレイ１１１は、タッチパネルの操作面上において行われる入力操作に応じたタッチ状態信号と座標情報をＣＰＵ１０２に送信する。ＣＰＵ１０２は、タッチパネルディスプレイ１１１からのタッチ状態信号と座標情報に基づいて、ユーザの入力操作を判別し、当該入力操作に応じた処理を実行する。

なお、後述するジェスチャ認識装置１００の機能や処理は、ＣＰＵ１０２がＲＯＭ１０３又は記憶装置１０８に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２は、ジェスチャ認識装置１００の機能構成を示す図である。ジェスチャ認識装置１００は、座標取得部２０１、認識部２０２、時間判定部２０３、ジェスチャ判定部２０４、処理決定部２０５及び表示制御部２０６を有している。座標取得部２０１は、情報入力装置１０９から出力された信号を取得する。具体的には、座標取得部２０１は、タッチパネルの操作面に対して、指が触れているかどうかを示すタッチ状態信号を取得する。ここで、タッチパネルに指が触れている状態をタッチオン状態、タッチパネルに指が触れていない状態をタッチオフ状態とする。タッチオン状態の場合、指がタッチパネルの操作面に触れている座標情報を示す信号を取得する。取得した信号の情報は、後述する認識部２０２及び表示制御部２０６に出力される。

タッチパネルの操作面には、予め互いに直交するＸ軸、Ｙ軸が規定されており、座標情報は、Ｘ軸方向の位置とＹ軸方向の位置を示す情報である。また、本実施形態では電源が投入されると、ＣＰＵ１０２によって２０ミリ秒間隔で、情報入力装置１０９から信号を取得するものとする。

認識部２０２は、座標取得部２０１から出力された座標情報と記憶装置１０８が記憶する登録ジェスチャの座標情報とを比較しジェスチャの認識処理を行う。また、認識部２０２は、認識したジェスチャの横幅及び、縦幅のサイズを算出し、算出した結果をＲＡＭ１０４に記憶する。なお、ジェスチャの横幅のサイズは、ジェスチャの軌跡のＸ座標の最大値からＸ座標の最小値を引いた値である。また、縦幅のサイズは、Ｙ座標の最大値からＹ座標の最小値を引いた値である。認識部２０２は、認識したジェスチャの種類、ジェスチャを認識した時刻、算出したジェスチャの横幅のサイズ及び、縦幅のサイズをＲＡＭ１０４に記憶する。

時間判定部２０３は、前回のジェスチャの認識が終了してから、次のジェスチャが認識されるまでの時間が一定時間内であるかどうかを判定し、判定結果をＲＡＭ１０４に記録する。本実施形態では、一定時間は１０秒間とするが、これは一例である。ジェスチャ判定部２０４は、時間判定部２０３が一定時間内であると判定した場合、認識部２０２が認識（検出）したジェスチャが前回と同一のジェスチャであるかどうかを判定し、判定した結果をＲＡＭ１０４に記憶する。

処理決定部２０５は、認識部２０２が算出したジェスチャの横幅及び縦幅のサイズから、前回入力された第１のジェスチャと、今回入力された第２のジェスチャとのアスペクト比を算出する。そして、アスペクト比に基づいて、動画データの再生速度を決定する。また、処理決定部２０５は、ＲＡＭ１０４に記憶されているジェスチャの種類に基づいて、動画データの再生方向（順方向又は逆方向）を決定する。処理決定部２０５は、決定した再生速度及び再生方向をＲＡＭ１０４に記録する。

表示制御部２０６は、座標取得部２０１から出力された座標を基に、ジェスチャの軌跡を情報出力装置１１０に表示するよう制御する。表示制御部２０６はまた、タッチオフ状態になってから一定時間が経過した場合、ジェスチャの軌跡の表示を終了する。本実施形態では、表示制御部２０６は、タッチオフ状態になってから５秒間が経過すると、ジェスチャの軌跡の表示を終了する。表示制御部２０６はまた、処理決定部２０５が算出した再生速度及び再生方向に従って、動画データを再生表示する。

図３は、ジェスチャ認識装置１００によるジェスチャ処理を示すフローチャートである。ステップＳ３０１において、座標取得部２０１は、指がタッチパネルの操作面に接触する動作から、タッチオン状態を示す信号を情報入力装置１０９から取得しＲＡＭ１０４に記憶する。続いて、ステップＳ３０２において、座標取得部２０１は、指がタッチパネルの操作面に接触した位置を示す座標を取得し、ＲＡＭ１０４に記憶する。続いて、ステップＳ３０３において、表示制御部２０６は、座標取得部２０１が取得した座標を基にタッチパネルディスプレイ１１１に軌跡を表示する。

続いて、ステップＳ３０４において、座標取得部２０１は、リリース信号を取得したかどうかを判定する。座標取得部２０１は、リリース信号を取得した場合（ステップＳ３０４でＹｅｓ）、タッチオフ状態とし、処理をステップＳ３０５へ進める。なお、図示しないが、リリース信号を取得した、表示制御部２０６は、ジェスチャの軌跡は表示したまま維持し、タッチオフ状態から５秒間が経過したときに、ジェスチャの軌跡の表示を終了する。座標取得部２０１は、リリース信号を取得していない場合（ステップＳ３０４でＮｏ）、処理をステップＳ３０１へ進める。

ステップＳ３０５において、認識部２０２は、座標取得部２０１が取得した座標と記憶装置１０８のジェスチャ登録辞書に登録されている登録ジェスチャの座標とを比較し、ジェスチャの認識処理を行い、ジェスチャを検出する。また、認識部２０２は、ジェスチャの横幅及び縦幅のサイズを算出し、ＲＡＭ１０４に記憶する。

続いて、ステップＳ３０６において、処理決定部２０５は、処理テーブルを参照し、ジェスチャの種類に応じて動画データに係る処理を決定する。図４は、処理テーブルのデータ構成例を示す図である。処理テーブルは、登録ジェスチャと、処理と、を対応付けて記憶する対応テーブルである。図４の例では、登録ジェスチャ「＞」は、再生処理に対応付けられている。これは、登録ジェスチャ「＞」が認識された場合に、再生処理を実行することを意味している。また、登録ジェスチャ「＜」は、逆再生処理に対応付けられている。処理決定部２０５は、この処理テーブルを参照することにより、登録ジェスチャの種類から再生の処理を決定する。具体的には、処理決定部２０５は、再生方向を決定する。

図３に戻り、ステップＳ３０６の処理の後、ステップＳ３０７において、時間判定部２０３は、前回のジェスチャの認識（検出）時点から今回のジェスチャ認識までの期間が予め定められた一定期間内であるか否かを確認する。一定期間は例えば１０秒とする。時間判定部２０３は、一定期間内の場合には（ステップＳ３０７でＹｅｓ）、処理をステップＳ３０８へ進める。認識されなかった場合（ステップＳ３０７でＮｏ）、処理をステップＳ３０９へ進める。

ステップＳ３０８において、ジェスチャ判定部２０４は、今回認識したジェスチャが前回認識したジェスチャと同一のジェスチャであるか否かを判定する。ジェスチャ判定部２０４は、同一のジェスチャでない場合（ステップＳ３０８でＮｏ）、処理をステップＳ３０９へ進める。ステップＳ３０９において、表示制御部２０６は、ステップＳ３０６において決定された再生方向に対し、標準的な再生速度で動画データを再生表示するよう制御する。

一方、ジェスチャ判定部２０４は、同一のジェスチャである場合（ステップＳ３０８でＹｅｓ）、処理をステップＳ３１０へ進める。この場合、処理決定部２０５は、動画データの再生速度を変更する速度変更処理（ステップＳ３１０〜ステップＳ３１２）を行う。以下、前回認識したジェスチャを第１のジェスチャ、今回認識したジェスチャを第２のジェスチャと称することとする。

まず、ステップＳ３１０において、処理決定部２０５は、認識部２０２が算出した第１のジェスチャと第２のジェスチャの各々のアスペクト比から、第１のジェスチャと第２のジェスチャとの比率を算出する。続いて、ステップＳ３１１において、処理決定部２０５は、第１のジェスチャと第２のジェスチャの関係から第２のジェスチャに応じて実行する処理を決定する。具体的には、処理決定部２０５は、第２のジェスチャが第１のジェスチャと同一のジェスチャであることから、第１のジェスチャに対応する処理である再生処理を、第２のジェスチャに対応して実行する処理として決定する。さらに、処理決定部２０５は、再生速度テーブルを参照し、ステップＳ３１０において算出した比率から、第２のジェスチャに応じて実行する再生処理における再生速度を決定する。すなわち、ステップＳ３０８、ステップＳ３１０、ステップＳ３１１の処理は、再生処理におけるパラメータである再生速度が標準的な値と異なる再生処理を第２のジェスチャに対応して実行する処理として決定する決定処理の一例である。

図５は、再生速度テーブルのデータ構成例を示す図である。再生速度テーブルは、アスペクト比の比率と再生速度とを対応付けて記憶している。処理決定部２０５は、再生速度テーブルを参照し、第１のジェスチャと第２のジェスチャのアスペクト比が０．１以上で１．０未満の場合には、動画データの再生速度を０．５倍に決定する。また処理決定部２０５は、アスペクト比が１．０以上で２．５未満の場合には、再生速度を２倍に決定する。また、処理決定部２０５は、アスペクト比が２．５以上の場合には、再生速度を３倍に決定する。このように、再生速度テーブルは、第１のジェスチャと第２のジェスチャとのアスペクト比が大きくなる程、より速い再生速度になるような値を記憶している。なお、再生速度は標準的な再生速度を基準とした倍数で示されているが、これに限定されるものではなく、再生速度の値そのものを記憶してもよい。

なお、処理決定部２０５は、再生速度を決定した後に、指でタッチパネルの操作面に触れてからすぐに指を離す「タップ操作」が認識された場合には、再生速度を通常の再生速度に戻すこととする。

図３に戻り、ステップＳ３１１の処理の後、ステップＳ３１２において、表示制御部２０６は、ステップＳ３０６において決定された再生方向に対し、ステップＳ３１１において決定された再生速度で動画データを再生表示するよう制御する。本処理は、第２のジェスチャに対応する処理を実行する実行処理の一例である。以上で、一連の処理が終了する。なお、ステップＳ３０９及びステップＳ３１２の処理は、動画データを再生表示するよう制御する表示制御処理の一例である。

図６は、ジェスチャ処理の説明図である。以下、ジェスチャ処理において、第１のジェスチャを認識し、これに続いて第２のジェスチャ処理を認識したものとする。図６（ａ）に示す６０１は、第１のジェスチャを表しており、ジェスチャの横幅及び縦幅のサイズは共に１００ドットである。また、６０２は第２のジェスチャを表しており、ジェスチャの横幅及び縦幅のサイズは共に１００ドットである。アスペクト比は、「（横幅のサイズ）÷（縦幅のサイズ）」で算出する。したがって、第１のジェスチャ６０１及び第２のジェスチャ６０２のアスペクト比は共に１となる。さらに、第１のジェスチャ６０１と第２のジェスチャ６０２との比率は、「（第１のジェスチャのアスペクト比）÷（第２のジェスチャのアスペクト比）」で算出する。したがって、比率は、１となる。したがって、図６（ａ）の例においては、処理決定部２０５は、再生速度テーブル（図５）から、比率に基づいて、再生速度を２倍に決定する。

図６（ｂ）に示す６０１は第１のジェスチャを表しており、６０３は、第２のジェスチャを表している。第１のジェスチャ６０１は、図６（ａ）の第１のジェスチャ６０１と同様である。第２のジェスチャ６０３の横幅のサイズは３００ドット、縦幅のサイズは１００ドットである。この場合、第２のジェスチャ６０３のアスペクト比は３であり、第１のジェスチャ６０１と第２のジェスチャ６０３との比率は３となる。したがって、図６（ｂ）の例においては、処理決定部２０５は、再生速度テーブルから、比率に基づいて、再生速度を３倍に決定する。

以上のように、第１の実施形態に係るジェスチャ認識装置１００は、連続して行われた２つのジェスチャの関係に基づいて、実行する処理を決定する。例えば、ユーザは、１回目のジェスチャに比べてアスペクト比の大きなジェスチャを行うことで、より速い再生速度を入力することができる。このように、１回目のジェスチャのアスペクト比と２回目のジェスチャのアスペクト比との関係で再生速度が決定されるので、ユーザは、直感的にジェスチャを行うことにより、所望の再生速度を入力することができる。すなわち、ジェスチャ認識装置１００は、ジェスチャ操作に応じて処理を実行する装置における操作性を向上させることができる。

なお、第１の変形例としては、本実施形態では、ジェスチャは、指でタッチパネルの操作面に触れることにより行われるものとしたが、これに限定されるものではない。ジェスチャは、例えば、指がタッチパネルの操作面に触れずに操作する、空間ジェスチャであってもよい。

また、第２の変形例としては、ジェスチャに応じて定まる処理は、動画データの再生に限定されるものではない。例えば、画像及び動画等のコンテンツをスクロールする場合にも適用することが可能である。また、本実施形態においては、第２のジェスチャに応じて決定される処理は、第１のジェスチャにおいて決定された再生表示処理に対し再生速度の異なる再生処理であった。ただし、第２のジェスチャにおいて決定される処理の種類は実施形態に限定されるものではない。例えば、第２のジェスチャにおいて決定される処理は、再生表示の停止処理であってもよい。

また、第３の変形例としては、処理決定部２０５は、１回目のジェスチャと２回目のジェスチャの関係に応じて再生速度を決定すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、処理決定部２０５は、第１のジェスチャと第２のジェスチャの大きさの比率に応じて、再生速度を決定してもよく、また第１のジェスチャと第２のジェスチャの軌跡の距離に応じて、再生速度を決定してもよい。

図７は、大きさの比率に応じて再生速度を決定する場合の再生速度テーブルのデータ構成例を示す図である。再生速度テーブルは、大きさの比率と、再生速度とを対応付けて記憶している。処理決定部２０５は、図７に示す再生速度テーブルに基づき、第１のジェスチャと第２のジェスチャの大きさの比率が０．１以上で１．０未満の場合、動画データの再生速度を０．５倍に決定する。また、処理決定部２０５は、大きさの比率が１．０以上で２．５未満の場合は再生速度を２倍に、大きさの比率が２．５以上の場合は再生速度を３倍に決定する。このように、処理決定部２０５は、大きさの比率が大きいほど、動画データの再生速度が速くなるような値を決定する。

図８は、図７に示す再生速度テーブルを利用したジェスチャ処理の説明図である。図８（ａ）において、８０１、８０２は、それぞれ第１のジェスチャ及び第２のジェスチャを表している。第１のジェスチャ８０１のジェスチャの大きさは、１００ドット×１００ドットとなる。第２のジェスチャ８０２の大きさは、横幅のサイズは５０ドット、縦幅のサイズは５０ドットである。この場合、第２のジェスチャ８０２の大きさは、５０ドット×５０ドットとなり、第１のジェスチャ８０１と第２のジェスチャ８０２との大きさの比率は、次式より、０．２５となる。したがって、処理決定部２０５は、図７の再生速度テーブルに基づき、再生速度を０．２５倍に決定する。

（５０ドット×５０ドット）÷（１００ドット×１００ドット）＝０．２５

また、図８（ｂ）において、８０１、８０３は、それぞれ第１のジェスチャ及び第２のジェスチャを表している。第１のジェスチャ８０１は、図８（ａ）の第１のジェスチャ８０１と同様である。第２のジェスチャ８０３の横幅のサイズは２００ドット、縦幅のサイズは２００ドットである。この場合、第２のジェスチャ８０３の大きさは、２００ドット×２００ドットとなり、第１のジェスチャ８０１と第２のジェスチャ８０３との大きさの比率は、次式より、４となる。したがって、処理決定部２０５は、図７の再生速度テーブルに基づき、再生速度を４倍に決定する。

（２００ドット×２００ドット）÷（１００ドット×１００ドット）＝４

図９は、長さの比率に応じて再生速度を決定する場合の再生速度テーブルのデータ構成例を示す図である。図９に示す再生速度テーブルは、ジェスチャ間の距離と再生速度とを対応付けて記憶している。本実施形態においては、各ジェスチャの代表座標間の距離をジェスチャ間の距離とする。また、本実施形態においては、代表座標は、各ジェスチャの開始点とする。処理決定部２０５は、図９に示す再生速度テーブルに基づき、第１のジェスチャと第２のジェスチャの間の距離が１〜１００ドットの場合、動画データの再生速度を０．５倍に決定する。ここで、代表座標は、各ジェスチャの開始点とする。処理決定部２０５はまた、距離が１０１〜４００ドットの場合は再生速度を２倍に、距離が４０１ドット以上の場合は、再生速度を３倍に決定する。

このように、処理決定部２０５は、第１のジェスチャと第２のジェスチャの間の距離が離れる程、再生速度が速くなるような値を決定する。なお、代表座標は、開始点に限定されるものではない。他の例としては、代表座標は、終了点であってもよい。また、他の例としては、代表座標は、各ジェスチャにおけるＸ座標の値が最大値となる点であってもよい。

図１０は、図９に示す再生速度テーブルを利用したジェスチャ処理の説明図である。図１０（ａ）において、１００１、１００２はそれぞれ第１のジェスチャ及び第２のジェスチャを表している。図１０（ａ）の例では、第１のジェスチャ１００１と第２のジェスチャ１００２の間の距離は１００ドットである。したがって、処理決定部２０５は、図９の再生速度テーブルに基づき、再生速度を０．５倍に決定する。

また、図１０（ｂ）において、１００１、１００３はそれぞれ第１のジェスチャ及び第２のジェスチャを表している。第１のジェスチャ１００１は、図１０（ａ）の第１のジェスチャと同様である。第１のジェスチャ１００１と第２のジェスチャ１００３の間の距離は、５００ドットである。したがって、処理決定部２０５は、図９に示す再生速度テーブルに基づき、再生速度を３倍に決定する。

さらに、本実施形態においては、処理決定部２０５は、再生速度テーブルにより、３段階の再生速度を決定したが、例えば、５段階、１０段階で再生速度を決定してもよい。また、処理決定部２０５は、再生速度テーブルに対応した関数に基づいて、算出した比率等から再生速度を決定してもよい。

（第２の実施形態）
次に、第２の実施形態に係るジェスチャ認識装置１００について説明する。第２の実施形態に係るジェスチャ認識装置１００は、指がタッチパネルから離れて入力している状態である「ホバー状態」を検知し、前回入力されたジェスチャの軌跡を表示する。また、ジェスチャ認識装置１００は、タッチオフ状態でかつ「ホバー状態」でない場合、ジェスチャの軌跡の表示を終了する。

図１１は、第２の実施形態に係るジェスチャ認識装置１００の機能構成を示す図である。第２の実施形態に係るジェスチャ認識装置１００は、第１の実施形態に係るジェスチャ認識装置１００の機能構成に加えて、ホバー検知部１１０１を有している。ホバー検知部１１０１は、ホバー状態であるか否かを検知し、検知結果を表示制御部２０６に出力する。本実施形態では、検出間隔は実施形態１の座標取得部２０１と同様で、２０ミリ秒であるものとする。

図１２は、第２の実施形態に係るジェスチャ認識装置１００による、ジェスチャ処理を示すフローチャートである。なお、図１２に示すジェスチャ処理の各処理のうち、図３を参照しつつ説明した第１の実施形態に係るジェスチャ処理の各処理と同一の処理には、同一の番号を付している。第２の実施形態においては、ジェスチャ処理が開始されると、ＣＰＵ１０２は、軌跡表示の制御を行う軌跡表示処理（ステップＳ１２０１〜Ｓ１２０３）を行い、その後処理をステップＳ３０１へ進める。

まず、ステップＳ１２０１において、ホバー検知部１１０１は、ホバー状態であるか否かを判定する。ホバー検知部１１０１は、ホバー状態でない場合（ステップＳ１２０１でＮｏ）、処理をステップＳ３０１へ進める。ホバー検知部１１０１は、ホバー状態である場合（ステップＳ１２０１でＹｅｓ）、処理をステップＳ１２０２へ進める。ステップＳ１２０２において、表示制御部２０６は、動画データが再生中か否かを判定する。表示制御部２０６は、再生中でない場合（ステップＳ１２０２でＮｏ）、ジェスチャ入力が行われていないため、処理をステップＳ３０１へ進める。表示制御部２０６は、再生中である場合（ステップＳ１２０２でＹｅｓ）、処理をステップＳ１２０３へ進める。

ステップＳ１２０３において、表示制御部２０６は、ＲＡＭ１０４に記憶されているジェスチャの軌跡の座標情報を用いて、前回入力されたジェスチャの軌跡を表示し、その後処理をステップＳ３０１へ進める。さらに、表示制御部２０６は、「ホバー状態」を検知してから一定期間入力がない場合、すなわち一定期間タッチ信号を受信しなかった場合、ステップＳ１２０３で表示したジェスチャの軌跡の表示を終了する。ここで、一定期間は、例えば５秒とする。

なお、第２の実施形態においては、ステップＳ３０４で、表示制御部２０６は、ジェスチャの軌跡を表示した際、ジェスチャの軌跡の座標情報をＲＡＭ１０４に記憶するものとする。また、ステップＳ３０８において、前回のジェスチャと同一のジェスチャでなかった場合（ステップＳ３０８でＮｏ）、表示制御部２０６は、ステップＳ１２０３で表示したジェスチャの軌跡の表示を終了する。なお、第２の実施形態に係るジェスチャ認識装置１００のこれ以外の構成及び処理は、第１の実施形態に係るジェスチャ認識装置１００の構成及び処理と同様である。

以上のように、第１の実施形態に係るジェスチャ認識装置１００は、ユーザが入力操作を行う時にだけ、ジェスチャの軌跡を表示することができる。これにより、動画データの閲覧性が向上する。

（第３の実施形態）
次に、第３の実施形態に係るジェスチャ認識装置１００について説明する。第３の実施形態に係るジェスチャ認識装置１００は、入力されたジェスチャの軌跡のアスペクト比が基準範囲外の値であった場合に、入力されたジェスチャの軌跡のアスペクト比を正規化して再表示する。図１３は、第３の実施形態に係るジェスチャ認識装置１００の機能構成を示す図である。第３の実施形態に係るジェスチャ認識装置１００は、第１の実施形態に係るジェスチャ認識装置１００の機能構成に加えて、変形判定部１３０１を有している。変形判定部１３０１は、処理決定部２０５により算出された、ジェスチャのアスペクト比に応じて、ジェスチャの軌跡を変形する。

図１４は、第３の実施形態に係るジェスチャ認識装置１００による、ジェスチャ処理を示すフローチャートである。なお、図１４に示すジェスチャ処理の各処理のうち、図３を参照しつつ説明した第１の実施形態に係るジェスチャ処理の各処理と同一の処理には、同一の番号を付している。第３の実施形態においては、ＣＰＵ１０２は、ステップＳ３０４において、リリース信号を取得した場合（ステップＳ３０４でＹｅｓ）、ジェスチャの軌跡を適宜変形する軌跡変形処理（ステップＳ１４０１〜Ｓ１４０４）を行う。そして、ＣＰＵ１０２は、軌跡変形処理の後、処理をステップＳ３０５へ進める。

ステップＳ１４０１において、変形判定部１３０１は、ステップＳ３０５で算出されたジェスチャのアスペクト比を取得する。続いて、ステップＳ１４０２において、変形判定部１３０１は、ジェスチャのアスペクト比が基準範囲外の値であるか否かを判定する。本実施形態では、アスペクト比が３以上又は、０．３３以下の値である場合に基準範囲外の値であると判定する。変形判定部１３０１は、基準範囲外の値である場合（ステップＳ１４０２でＹｅｓ）、処理をステップＳ１４０３へ進める。変形判定部１３０１は、基準範囲内の値である場合（ステップＳ１４０２でＮｏ）、処理をステップＳ３０５へ進める。

ステップＳ１４０３において、表示制御部２０６は、ジェスチャの軌跡を正規化する。具体的には、表示制御部２０６は、ジェスチャの軌跡のアスペクト比が１対１となるようにジェスチャの軌跡の形状を修正する。次に、ステップＳ１４０４において、表示制御部２０６は、正規化したジェスチャの軌跡を表示するよう制御し、その後処理をステップＳ３０５へ進める。なお、第３の実施形態に係るジェスチャ認識装置１００のこれ以外の構成及び処理は、他の実施形態に係るジェスチャ認識装置１００の構成及び処理と同様である。

以上のように、第３の実施形態に係るジェスチャ認識装置１００は、ユーザの入力が雑で、アスペクト比が乱れたような場合においても、正規化したジェスチャの軌跡を表示することができる。したがって、ユーザは、第２のジェスチャ（２回目のジェスチャ）を入力する際に、正規化されたジェスチャの軌跡を参考にすることができる。

なお、第３の実施形態の第１の変形例としては、ジェスチャ認識装置１００は、ジェスチャの軌跡を修正すればよく、そのための具体的な方法は、正規化に限定されるものではない。例えば、ジェスチャ認識装置１００は、第１のジェスチャの入力が終わった後に、ジェスチャの軌跡の表示位置を任意の位置に移動してもよい。ジェスチャ認識装置１００は、例えば、動画データの閲覧の邪魔にならない画面の端に移動してもよい。また、ジェスチャ認識装置１００は、入力されたジェスチャの軌跡をグレーアウトして表示してもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ ジェスチャ認識装置
２０２ 認識部
２０４ ジェスチャ判定部
２０５ 処理決定部
２０６ 表示制御部

Claims (17)

1. 第１のジェスチャが検出された時点から一定期間内に第２のジェスチャが検出され、前記第２のジェスチャが前記第１のジェスチャと同一のジェスチャである場合に、前記第１のジェスチャと前記第２のジェスチャの関係に基づいて、前記第２のジェスチャに対応して実行する処理を決定する決定手段と、
   前記決定手段により決定された処理を実行する処理手段と
   を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記第１のジェスチャと前記第２のジェスチャの関係と、処理と、を対応付ける対応テーブルを参照して、前記処理を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記第１のジェスチャが行われた場合に実行される処理と同一の処理であって、かつ前記処理に係るパラメータの値が異なる処理を、実行する処理として決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記処理手段は、前記第１のジェスチャが行われた場合に、動画データの再生処理を実行し、
   前記決定手段は、前記第１のジェスチャから一定期間内に前記第２のジェスチャが行われた場合に、前記第１のジェスチャに応じて実行される再生処理と再生速度が異なる再生処理を、実行する処理として決定することを特徴とする請求項３に記載の情報処理装置。
5. 前記決定手段は、前記関係に基づいて、前記再生処理に対する再生速度を決定することを特徴とする請求項４に記載の情報処理装置。
6. 前記決定手段は、前記第１のジェスチャと前記第２のジェスチャの軌跡のアスペクト比の比率に基づいて、前記処理を決定することを特徴とする請求項４又は５に記載の情報処理装置。
7. 前記決定手段は、前記第１のジェスチャと前記第２のジェスチャの軌跡の大きさの比率に基づいて、前記処理を決定することを特徴とする請求項４又は５に記載の情報処理装置。
8. 前記決定手段は、前記第１のジェスチャと前記第２のジェスチャの軌跡の長さの比率に基づいて、前記処理を決定することを特徴とする請求項４又は５に記載の情報処理装置。
9. ジェスチャの軌跡を表示手段に表示するよう制御する表示制御手段をさらに有することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. ホバー状態を検知するホバー検知手段をさらに有し、
    前記表示制御手段は、前記ホバー状態が検知された場合に、前記ホバー状態に応じたジェスチャの軌跡を表示するよう制御することを特徴とする請求項９に記載の情報処理装置。
11. 前記表示制御手段は、前記ホバー状態が検知された後、一定期間入力がない場合に、前記ホバー状態に応じたジェスチャの軌跡の表示を終了することを特徴とする請求項１０に記載の情報処理装置。
12. 前記表示制御手段は、前記ジェスチャの軌跡を修正して表示するよう制御することを特徴とする請求項９に記載の情報処理装置。
13. 前記表示制御手段は、前記ジェスチャの軌跡のアスペクト比が基準範囲外の値である場合に、軌跡を修正して表示するよう制御することを特徴とする請求項１２に記載の情報処理装置。
14. 前記表示制御手段は、前記ジェスチャの軌跡のアスペクト比を修正して表示するよう制御することを特徴とする請求項１２又は１３に記載の情報処理装置。
15. 前記表示制御手段は、前記ジェスチャの軌跡の表示位置を修正して表示するよう制御することを特徴とする請求項１２に記載の情報処理装置。
16. 情報処理装置が実行する情報処理方法であって、
    第１のジェスチャが検出された時点から一定期間内に第２のジェスチャが検出され、前記第２のジェスチャが前記第１のジェスチャと同一のジェスチャである場合に、前記第１のジェスチャと前記第２のジェスチャの関係に基づいて、前記第２のジェスチャに対応して実行する処理を決定する決定ステップと、
    前記決定ステップにおいて決定された処理を実行する処理ステップと
    を含むことを特徴とする情報処理方法。
17. コンピュータを、
    第１のジェスチャが検出された時点から一定期間内に第２のジェスチャが検出され、前記第２のジェスチャが前記第１のジェスチャと同一のジェスチャである場合に、前記第１のジェスチャと前記第２のジェスチャの関係に基づいて、前記第２のジェスチャに対応して実行する処理を決定する決定手段と、
    前記決定手段により決定された処理を実行する処理手段と
    して機能させるためのプログラム。

Images