JP2016042394A - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】ジェスチャを確実に入力することができるようにする。
【解決手段】入力部が、ジェスチャ入力を受け付け、認識部が、入力部に入力されたジェスチャを認識し、表示部が、ジェスチャ入力不可能な領域で実行された場合、ジェスチャが入力された画面における、ジェスチャが入力可能な領域を表す入力可能領域情報を表示する。本技術は、タッチパネルを搭載するスマートフォンやタブレット端末に適用することができる。
【選択図】図３

Description

本技術は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、ジェスチャを確実に入力することができるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。

タッチパネルを搭載するスマートフォンやタブレット端末等の情報処理端末の普及に伴い、ジェスチャによる操作が可能なインタフェースが増えている。ユーザがジェスチャ入力を行った場合、情報処理端末はジェスチャを認識し、認識したジェスチャに関連付けられた処理を実行する。

ジェスチャの入力には様々な種類があるため、ユーザに対して、入力可能なジェスチャを案内するメニューを表示する情報処理端末もある（例えば、特許文献１参照）。

特開２００５-３３９４２０号公報

しかしながら、情報処理端末には様々な情報が同時に表示されている。このため、ユーザは、誤った位置でジェスチャを入力してしまうことがある。この場合、正しいジェスチャを入力しても、その入力が受け付けられないので、ユーザは装置が故障したと誤認してしまう恐れがある。

本技術はこのような状況に鑑みてなされたものであり、ジェスチャを確実に入力することができるようにするものである。

本技術の一側面の情報処理装置は、ジェスチャの入力を受け付ける入力部と、前記入力部に入力された前記ジェスチャを認識する認識部と、第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御部とを備える情報処理装置である。

前記第二のジェスチャは、前記第一のジェスチャとは異なるものとすることができる。

前記第一のジェスチャは、タップ操作とするようにすることができる。

前記第二のジェスチャは、画面上で任意の方向に指を動かす操作とすることができる。

前記第一のジェスチャは、タップ操作とすることができる。

前記第二のジェスチャは、画面上で任意の方向に指を動かす操作とすることができる。

前記第二のジェスチャを解説する情報には、テキスト情報を含ませるようにすることができる。

前記第二のジェスチャを解説する情報には、第二のジェスチャの種類と、前記第一の入力処理に関する情報とを含ませるようにすることができる。

前記第二のジェスチャによる第一の入力処理が可能な領域は、色付けされて表示されるようにすることができる。

表示情報を表示する表示部をさらに含ませるようにすることができる。

情報を通信する通信部をさらに含ませるようにすることができ、前記表示部には、前記通信部により受信されたwebページを表示させるようにすることができる。

前記表示部の上面にタッチパネルをさらに含ませるようにすることができる。

本技術の一側面の情報処理方法は、ジェスチャの入力を受け付ける入力ステップと、入力された前記ジェスチャを認識する認識ステップと、第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップとを含む情報処理方法である。

本技術の一側面のプログラムは、コンピュータに、ジェスチャの入力を受け付ける入力ステップと、入力された前記ジェスチャを認識する認識ステップと、第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップとを実行させるプログラムである。

本技術の一側面の記録媒体は、コンピュータに、ジェスチャの入力を受け付ける入力ステップと、入力された前記ジェスチャを認識する認識ステップと、第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップとを実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体である。

本技術の一側面においては、ジェスチャの入力が受け付けられ、入力された前記ジェスチャが認識され、第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とが関連付けられて表示される。

本技術によれば、ジェスチャを確実に入力することができるようにする。

本技術の一実施形態に係る情報処理端末の外観の例を示す図である。 情報処理端末の電気的構成例を示すブロック図である。 コントローラの機能的構成例を示すブロック図である。 表示部の表示例を示す図である。 ジェスチャ入力の一例を示す図である。 ジェスチャ入力処理について説明するフローチャートである。 ジェスチャ入力処理実行時の表示例を示す図である。 ジェスチャ入力処理実行時の表示例を示す図である。 ジェスチャ入力処理実行時の表示例を示す図である。 ジェスチャ入力処理実行時の表示例を示す図である。 入力可能領域表示処理について説明するフローチャートである。 入力可能領域表示処理実行時の表示例を示す図である。 入力可能領域表示処理実行時の表示例を示す図である。 入力可能領域表示処理実行時の表示例を示す図である。 入力可能領域表示処理実行時の表示例を示す図である。

以下、本技術の実施の形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（ジェスチャ入力補正機能）
２．第２の実施の形態（入力可能領域表示機能）

＜第１の実施の形態＞
ユーザが入力したジェスチャが認識可能でない場合に、選択肢を示してジェスチャを補正する機能である、ジェスチャ入力補正機能について説明する。

［情報処理端末の外観］
図１は、本技術の一実施形態に係る情報処理端末の外観の例を示す図である。

図１の情報処理端末１は、スマートフォン、携帯電話機、PDA(Personal Digital Assistants)、PND(Portable Navigation Device)などの携帯型の端末であり、ユーザが片手で持ち運ぶことが可能な大きさの筐体を有している。

情報処理端末１の筐体の前面にはLCD(Liquid Crystal Display)などよりなる表示部１１が設けられる。表示部１１の上面にはタッチパネル２５が設けられており、ユーザは、表示部１１に表示された情報に対応する位置のタッチパネル２５を指などで直接操作することができるようになされている。表示部１１の下には複数のボタンからなる操作部１２が設けられる。

［情報処理端末の構成例］
図２は、情報処理端末１の電気的構成例を示すブロック図である。

情報処理端末１は、コントローラ２１に対して、表示部１１と操作部１２の他に、センサ部２２、カメラ２３、通信部２４、タッチパネル２５、および記憶部２６が接続されることによって構成される。

コントローラ２１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)（図示せず）などより構成される。コントローラ２１のCPUは、ROMからプログラムをロードしてRAMを用いて実行し、情報処理端末１の全体の動作を制御する。

センサ部２２はジャイロセンサなどよりなり、情報処理端末１に生じた揺れを検出する。センサ部２２は、検出した揺れの情報をコントローラ２１に出力する。

カメラ２３は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、情報処理端末１の筐体の正面側に設けられたレンズ（図示せず）により取り込まれた光の光電変換を行い、画像データを生成する。カメラ２３により撮影された画像は、コントローラ２１に供給される。

通信部２４は、LAN(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。例えば、通信部２４により受信されたWebページなどの情報が表示部１１に表示される。

表示部１１の上面には透明なタッチパネル２５が設けられており、ユーザの指等の操作を検出する。記憶部２６は、不揮発性メモリ、ハードディスクなどにより構成され、コントローラ２１が実行するプログラム、データ等を記憶する。

図３は、コントローラ２１の機能的構成例を示すブロック図である。図３に示す機能部のうちの少なくとも一部は、図２のコントローラ２１により所定のプログラムが実行されることによって実現される。

図３において、コントローラ２１は、ジェスチャ認識部３１、認識結果補正部３２、補正情報保存部３３、軌跡表示部３４、および補正候補生成部３５を含むように構成されている。

ジェスチャ認識部３１は、ユーザが指でタッチパネル２５をなぞる等して入力したジェスチャを検出する。ジェスチャには、上述したなぞる操作の他にも、複数の操作が存在する。例えば、ジェスチャには、ユーザが軽く１度、タッチパネル２５に触れるタップ操作、ユーザが軽く２度、タッチパネル２５に触れるダブルタップ操作がある。また例えば、ユーザがタッチパネル２５を任意の方向に指４１（後述する図４参照）ではらうフリック操作等がある。さらに、ジェスチャには、ユーザの指４１がタッチパネル２５上で円や三角形等の図形を描く操作等がある。

また、ジェスチャ認識部３１は、検出したジェスチャが、情報処理端末１が実行する処理のうち、どの処理に関連付けられたジェスチャであるかを認識する。即ち、ジェスチャ認識部３１は、検出したジェスチャに関連付けられた処理がない場合、そのジェスチャを、認識できないジェスチャと判定する。

さらに、ジェスチャ認識部３１は、認識したジェスチャに関連付けられた処理を実行する。

認識結果補正部３２は、ジェスチャ認識部３１が認識できなかったジェスチャに対して、ユーザに補正を促す処理を行う。具体的には例えば、ユーザがジェスチャを入力した画面で認識可能なジェスチャや、ユーザが入力したジェスチャに近い他のジェスチャを、選択肢として表示部１１に表示する。また例えば、認識結果補正部３２は、表示部１１の画像に対応してユーザがジェスチャを入力した領域が、そのジェスチャを認識できない領域であった場合、ジェスチャの入力が可能な領域を表示する。

補正情報保存部３３は、認識できないジェスチャをユーザが入力した場合、認識できないジェスチャと、ユーザにより選択されたジェスチャとを関連付けて、補正情報として保存する。補正情報保存部３３は、認識できないジェスチャが検出されるたびに、補正情報を繰り返し保存する。補正情報保存部３３に蓄積された補正情報に基づき、ジェスチャ認識部３１は、ユーザのジェスチャを学習する。また、補正情報保存部３３は、表示部１１に表示中のアプリケーションを特定するID（Identification）および画面を特定するIDを、ジェスチャに対応付けて保存する。

軌跡表示部３４は、ジェスチャ認識部３１により認識されたジェスチャの軌跡を、表示部１１に表示する。また、軌跡表示部３４は、ジェスチャの軌跡を所定のサイズに縮小するアニメーションを作成し、所定のサイズになったジェスチャを、縮小軌跡として、表示部１１に表示する。縮小軌跡については、図７を参照して後述する。

補正候補生成部３５は、補正情報保存部３３に保存されている、表示部１１に表示中のアプリケーションを特定するIDおよび画面を特定するIDを参照して、ユーザがジェスチャ入力した画面で認識可能なジェスチャや、認識できないジェスチャに近いジェスチャの候補を、選択肢として生成する。また、補正候補生成部３５は、補正情報保存部３３に保存されている、表示部１１に表示中のアプリケーションを特定するIDおよび画面を特定するIDを参照して、表示部１１に表示されている画像のうち、ジェスチャの入力が可能な領域を検出する。

図４は、表示部１１の表示例を示す図である。上述したように、表示部１１の上面には透明なタッチパネル２５が設けられており、ユーザは、表示部１１に表示された情報を、タッチパネル２５を介して視認し、指４１などで直接操作する。

ユーザの指４１は、タッチパネル２５にジェスチャを入力する。ユーザは、指４１をタッチパネル２５に接触させ、タッチパネル２５上で各種の動作をすることにより、ジェスチャを入力する。なお、以下においては、説明を簡単にするため、必要に応じて、表示部１１にジェスチャを入力するとも記述する。

表示領域５１乃至５４は、表示部１１に表示されたウインドウである。表示領域５１乃至５４には、コンテンツやアプリケーションに対応した画像が表示される。

スクロールバー５５は、表示部１１に表示されている画像を、右または左に移動させることができる。即ち、ユーザはスクロールバー５５上を、横方向にフリックすることで、表示部１１に表示させている画像を左右に移動させることができる。

図５は、ジェスチャ入力の一例を示す図である。ユーザが、指４１を表示部１１上で星を描くようなジェスチャ（以下、ジェスチャ（星）と称する）の入力を行うと、ジェスチャ認識部３１は、指４１によるジェスチャを、ジェスチャ（星）であると認識する。また、ジェスチャ認識部３１に認識された指４１の軌跡が、軌跡表示部３４によりジェスチャ軌跡６１として、表示部１１の指４１でジェスチャを入力した位置に表示される。ジェスチャ認識部３１は、入力されたジェスチャ（星）に関連付けられた処理（例えば、「オプションメニューを開く」など）を実行する。

［情報処理端末の動作］
図６は、ジェスチャ入力処理について説明するフローチャートである。ジェスチャ入力処理は、ユーザが表示部１１にジェスチャを入力した場合に、コントローラ２１が実行する処理である。

また、図７乃至図１０は、ジェスチャ入力処理実行時の表示例を示す図である。以下、図７乃至図１０を参照して、図６のフローチャートの処理について説明する。

ステップＳ１において、ジェスチャ認識部３１は、ジェスチャを検出する。具体的には、図７において、ジェスチャ認識部３１は、表示部１１に対して、指４１により入力されたジェスチャを検出する。つまり、ジェスチャの軌跡が検出される。

ステップＳ２において、軌跡表示部３４は、ステップＳ１でジェスチャ認識部３１により検出されたジェスチャ軌跡を表示部１１に表示する。例えば、図７に示されるように、軌跡表示部３４により、星の形状のジェスチャ軌跡６２が表示部１１に表示される。

ステップＳ３において、ジェスチャ認識部３１は、検出された軌跡が認識可能なジェスチャであるか判定する。検出されたジェスチャが認識可能なジェスチャではない場合、ステップＳ３においてＮＯと判定され、処理はステップＳ５に進む。例えば、図７において、ジェスチャ軌跡６２はジェスチャ（星）のように見える。しかしながら、図５に示されたジェスチャ軌跡６１に比べると、ジェスチャ軌跡６２は、左方向に傾いている。このため、ジェスチャ認識部３１は、ジェスチャ軌跡６２をジェスチャ（星）であると認識できない。

この場合、ステップＳ５において、軌跡表示部３４は、縮小軌跡７１を表示する。即ち、図７に示されるように、軌跡表示部３４は、ジェスチャ軌跡６２が左下方向に徐々に縮小されながら移動するアニメーションを表示する。そして、軌跡表示部３４は、図８に示されるように、縮小軌跡７１を左下にアイコンとして表示する。

このようにして、縮小軌跡７１が表示されることにより、ユーザは自分が行ったジェスチャがジェスチャ認識部３１により認識されなかった（リジェクトされた）ことを知ることができる。

次に、ステップＳ６において、認識結果補正部３２は、縮小軌跡７１がタップされたかを判定する。即ち、ユーザは縮小軌跡７１が表示されたことから、入力したジェスチャが認識されなかったことを知った場合、入力支援を求めるのであれば、縮小軌跡７１をタップする。そこで、図９に示されるように、ユーザが指４１で縮小軌跡７１をタップしたかが判定される。

指４１により縮小軌跡７１がタップされた場合、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。ステップＳ７において、認識結果補正部３２は、認識補正メニュー８１を表示する。即ち、認識結果補正部３２は、補正候補生成部３５により生成された認識補正メニュー８１を表示部１１に表示する。認識補正メニュー８１は、今ユーザがジェスチャを入力した画面（今の場合、図９の画面）で認識可能なジェスチャを、ユーザが入力したジェスチャに近いと思われる順に、選択肢としてユーザに提示するメニューである。補正候補生成部３５は、ジェスチャ認識部３１によりジェスチャが認識できなかったとき、入力可能なジェスチャの中から、入力された軌跡に近いジェスチャを選択し、認識補正メニュー８１を生成する。

具体的には、図１０に示されるように、指４１により軌跡７１がタップされると、認識補正メニュー８１が表示部１１に表示される。認識補正メニュー８１には、ユーザが入力したジェスチャ軌跡６２と、この画面において認識可能なジェスチャの候補として選択肢９１乃至９３のアイコンが表示されている。例えば、選択肢９１にはジェスチャ（星）と、ジェスチャ（星）が関連付けられた処理の解説として、「オプションメニューを開く」の文章が表示されている。また、選択肢９２には、指４１で三角を描くようなジェスチャ（以下、ジェスチャ（三角）と称する）と、ジェスチャ（三角）が関連付けられた処理の解説として、「新しいウインドウを開く」の文章が表示されている。さらに、選択肢９３には、指４１でアルファベット文字Ｗを描くようなジェスチャ（以下、ジェスチャ（Ｗ）と称する）と、ジェスチャ（Ｗ）が関連付けられた処理の解説として、「ウインドウを閉じる」の文章が表示されている。

これらの選択肢９１乃至９３が表示されることにより、ユーザは、自分がどのジェスチャを入力したつもりであったのかを確認することができる。そして、ユーザは何れかの選択肢、つまり、実際に入力したかったジェスチャに対応する選択肢を選択する。

ステップＳ８において、認識結果補正部３２は、選択された選択肢を検出する。即ち、図１０に示された選択肢９１乃至９３のうち、指４１によりタップされた選択肢が検出される。

ステップＳ９において、ジェスチャ認識部３１は、ステップＳ８で選択されたジェスチャが関連付けられた処理を実行する。即ち、図１０に示された選択肢９１乃至９３のうち、例えば選択肢９１が指４１によりタップされた場合、ジェスチャ認識部３１は、「オプションメニューを開く」という処理を実行する。

ステップＳ１０において、認識結果補正部３２は、補正情報を保存する。即ち、補正情報保存部３３は、検出されたジェスチャの軌跡であるジェスチャ軌跡６２と、選択された選択肢９１のジェスチャ（星）を関連付けて、補正情報として保存する。このようにして、ジェスチャ入力処理は終了される。補正情報は、認識できないジェスチャが検出されるたびに補正情報保存部３３に繰り返し保存される。ジェスチャ認識部３１は、蓄積された補正情報を参照することで、ユーザのジェスチャを学習する。これにより、以後、例えば左方向に傾斜しているジェスチャ（星）が検出された場合、そのジェスチャはジェスチャ（星）として認識されるようになる。

一方、ステップＳ６においてＮＯであると判定された場合、即ち、縮小軌跡７１がタップされない場合、処理はステップＳ１１に進む。

ステップＳ１１において、認識結果補正部３２は、一定時間が経過したかを判定する。まだ一定時間が経過していない場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ６に戻る。即ち、一定時間が経過するか、縮小軌跡がタップされるまで、ステップＳ６およびステップＳ１１の処理が繰り返される。

それに対して、ステップＳ１１において、一定時間が経過したと判定された場合、処理はステップＳ１２に進む。

ステップＳ１２において、認識結果補正部３２は、縮小軌跡７１を消去する。即ち、一定時間経過しても縮小軌跡７１がタップされないので、縮小軌跡７１はユーザにとって不要な情報であると判断して、認識結果補正部３２は縮小軌跡７１を消去する。

以上、ステップＳ３においてＮＯと判定された場合の処理について説明した。これに対して、ステップＳ３においてＹＥＳと判定された場合、即ち、検出したジェスチャが認識可能なジェスチャである場合には、処理はステップＳ４に進む。ステップＳ４において、ジェスチャ認識部３１は、ジェスチャが関連付けられた処理を実行する。つまり、ステップＳ３においてＹＥＳと判定された場合には、ジェスチャを補正する必要がないので、ステップＳ５乃至Ｓ１２の処理は実行されない。

このようにして、ジェスチャ入力処理を実行することで、ユーザは自分の行ったジェスチャがリジェクトされたことを知ることができる。また、ユーザは、ジェスチャの候補が選択肢として表示されることで、自分の行ったジェスチャを補正し、意図するジェスチャを正しく入力した場合と同じ処理を実行させることができる。

また、軌跡表示部３４により入力したジェスチャの軌跡が表示されることで、ユーザは、例えば表示部１１が汚れているのでジェスチャが認識されないなど、ジェスチャがリジェクトされる原因を推察することができる。具体的には例えば、指４１でなぞった線が、ジェスチャ軌跡においては途中で途切れていた場合、ユーザは、ジェスチャ軌跡が途切れた部分は表示部１１が汚れているため認識できないと推察することができる。これにより、ユーザは表示部１１を清掃するなどして、正しいジェスチャ入力が認識されるようにすることができる。

なお、ジェスチャ認識部３１がジェスチャを認識できなかった場合、軌跡表示部３４が縮小軌跡７１を表示すると同時に、コントローラ２１は、音を鳴らしたり、情報処理端末１を振動させたりしてもよい。

縮小軌跡７１は、一定時間ユーザによりタップされなければ消去するようにしたが、以下のような構成にすることもできる。即ち、異なる種類のジェスチャがリジェクトされるたびに、新たな縮小軌跡７１が追加表示され、縮小軌跡７１の表示数が上限（例えば、３個など）を超えたら、入力の古いものから順に消去するようにしてもよい。

さらに、縮小軌跡７１は図７の表示例に限定されない。例えば、軌跡表示部３４は、縮小軌跡７１がふわふわと浮いているようなアニメーションを形成してもよい。元の表示とは明らかに違うような印象を出すことが好ましい。これにより、認識結果補正部３２は、ユーザに対して、入力したジェスチャの補正を、より効果的に促すことができる。

また、アプリケーションにより入力するジェスチャが異なる場合でも、ジェスチャとジェスチャに対応付けられた処理が認識補正メニュー８１に表示されるので、ユーザは入力したジェスチャの補正を容易に実行することができる。

さらに、認識補正メニュー８１には、「新規設定」等の選択肢を設けてもよい。「新規設定」を選択することで、ユーザは入力したジェスチャ（例えば、ジェスチャ軌跡６２）に対応する新たなメニューを設定することもできる。つまり、ユーザはジェスチャ入力として登録されていない新たなジェスチャを、ジェスチャ認識部３１に登録することができる。

＜第２の実施の形態＞
第１の実施の形態においては、選択肢を提示してユーザのジェスチャ入力を支援するようにしたが、入力可能領域を提示して、ユーザのジェスチャ入力を支援することも可能である。例えば、ユーザが、表示部１１において、ジェスチャ入力できない領域や、ユーザが入力したジェスチャが対応していない領域でジェスチャを行った場合に、ジェスチャ入力可能な領域を表示する機能である、入力可能領域表示機能について次に説明する。

なお、情報処理端末１の構成は、図１乃至図３を参照して説明したものと同様である。

［情報処理端末の動作］
図１１は、入力可能領域表示処理について説明するフローチャートである。入力可能領域表示処理とは、上述した入力可能領域表示機能を実現するために、コントローラ２１が実行する処理である。

また、図１２乃至図１５は、入力可能領域表示処理実行時の表示例を示す図である。以下、図４および図１２乃至図１５を参照して、図１１のフローチャートの処理について説明する。

ステップＳ３１において、ジェスチャ認識部３１は、ジェスチャを検出する。具体的には、図４において、ジェスチャ認識部３１は、表示部１１に対し、指４１によりジェスチャが入力されたことを検出する。

ステップＳ３２において、ジェスチャ認識部３１は、認識可能なジェスチャであるかを判定する。検出されたジェスチャが認識可能なジェスチャでない場合、ステップＳ３２においてＮＯと判定されて、処理はステップＳ３３に進む。具体的には例えば、タップ入力に関連付けられた処理が存在しない領域で、指４１によりタップ入力が行われた場合に、ステップＳ３２においてＮＯと判定される。

ステップＳ３３において、認識結果補正部３２は、認識不能なジェスチャの入力回数をカウントする。例えば、上述したタップ入力に関連付けられた処理が存在しない領域で、指４１によりタップ入力が行われた回数がカウントされる。

ステップＳ３４において、認識結果補正部３２は、認識不能なジェスチャがＮ回連続でカウントされたかを判定する。なお、Ｎは任意の整数である。ステップＳ３４においてＮＯと判定された場合、即ち、認識不能なジェスチャがまだＮ回連続で検出されていない場合は、処理はステップＳ３１に戻る。換言すると、認識不能なジェスチャがＮ回連続で検出されるまでは、認識可能なジェスチャを検出しない限り（ステップＳ３２の処理）、ステップＳ３１乃至Ｓ３４の処理が繰り返される。認識不能なジェスチャがＮ回連続で検出された場合、ステップＳ３４においてＹＥＳと判定されて、処理はステップＳ３５に進む。

ステップＳ３５において、認識結果補正部３２は、ジェスチャ入力可能領域１２１乃至１２４を表示する。即ち、補正候補生成部３５は各画面毎に所定の時点においてジェスチャを入力することができるジェスチャ入力可能領域を検出している。図１２の例においては、ジェスチャ入力可能領域１２１乃至１２４が検出されている。認識結果補正部３２は、この検出結果に基づいて、ジェスチャ入力可能領域１２１乃至１２４を表示部１１に表示する。ジェスチャ入力可能領域１２１乃至１２４は、元の表示画面に対し、例えば異なる色がついたフィルタを重ねたように表現される。換言すると、ジェスチャ入力可能領域１２１乃至１２４は、元の表示画面（例えば、文字、図形等）が視認できるようにしたうえで、入力可能な領域をユーザに視認させるものである。

例えば、ジェスチャ入力可能領域１２１は、図示する範囲内でタップ入力が可能な領域である。ジェスチャ入力可能領域１２２は、図示する範囲内で縦方向のフリック（以下、縦フリックと称する）入力が可能な領域である。ジェスチャ入力可能領域１２３は、図示する範囲内で横方向のフリック（以下、横フリックと称する）入力が可能な領域である。ジェスチャ入力可能領域１２４は、図示する範囲内で、ユーザが一定時間タッチパネル２５に指４１を接触させ続ける長押し入力が可能な領域である。ユーザは、領域の色と位置から、そこで入力可能なジェスチャの種類と位置を知ることができる。

次に、ステップＳ３６において、認識結果補正部３２は、ヘルプアイコン１０１がタップされたかを判定する。即ち、図１３に示されるように、指４１によりヘルプアイコン１０１がタップされた場合、ステップＳ３６においてＹＥＳであると判定され、処理はステップＳ３７に進む。

ステップＳ３７において、認識結果補正部３２は、凡例表示画面１３１を表示する。即ち、補正候補生成部３５は、各画面毎に、所定の領域が操作された場合に表示する画像を生成している。ヘルプアイコン１０１に対応して、図１４に示される凡例表示画面１３１が生成されている。そこで、認識結果補正部３２は、この凡例表示画面１３１を表示部１１に表示する。

凡例表示画面１３１は、図１４に示されるように、ジェスチャ入力可能領域１２１乃至１２４が示す領域に対応する、入力可能なジェスチャを表示する画面である。上述したように、例えば、ジェスチャ入力可能領域１２１はタップ入力が可能な領域であるので、凡例表示画面１３１には、ジェスチャ入力可能領域１２１の色１２１Ａを例示し、それに対応させて「タップ」の文字が表示されている。同様に、凡例表示画面１３１には、ジェスチャ入力可能領域１２２乃至１２４の色１２２Ａ乃至１２４Ａが例示され、それぞれに対応させて「縦フリック」、「横フリック」および「長押し」の文字が表示されている。

このようにして、ユーザは凡例表示画面１３１を見て、ジェスチャ入力可能領域１２１乃至１２４が、それぞれどのジェスチャ入力が可能な領域であるのかを理解することができる。

また、さらに、凡例表示画面１３１には、補足情報を表示させるとき操作される追加アイコン１２５が表示されている。この追加アイコン１２５も、タップ対象のアイコンなので、ジェスチャ入力可能領域１２１と同じ色１２１Ａで表示されている。

ステップＳ３８において、認識結果補正部３２は、追加アイコン１２５がタップされたかを判定する。即ち、図１５に示されるように、指４１により追加アイコン１２５がタップされた場合、ステップＳ３８においてＹＥＳであると判定され、処理は、ステップＳ３９に進む。

ステップＳ３９において、認識結果補正部３２は、追加凡例表示画面１４１を表示する。即ち、上述したように、補正候補生成部３５は、追加アイコン１２５がタップされた場合の表示画像として、追加凡例表示画面１４１を生成している。認識結果補正部３２は、これを表示部１１に表示する。そして、処理はステップＳ３１に戻る。

追加凡例表示画面１４１は、図１５に示されるように、現在の表示画面で認識可能なジェスチャを表示する画面である。具体的には、追加凡例表示画面１４１には、指４１で右回りに円を描くジェスチャ（以下、ジェスチャ（右回転）と称する）と、ジェスチャ（右回転）が関連付けられた処理として、「右回転」の文字が表示されている。「右回転」とは、図形等を右方向に回転させる処理である。また例えば、指４１で左回りに円を描くジェスチャ（以下、ジェスチャ（左回転）と称する）と、ジェスチャ（左回転）が関連付けられた処理として、「左回転」の文字が表示されている。「左回転」とは、例えば、図形等を左方向に回転させる処理である。またそのほかにも、追加凡例表示画面１４１には、図１０を参照して説明したジェスチャ（星）、ジェスチャ（三角）、ジェスチャ（Ｗ）が、「オプションメニューを開く」、「新しいウインドウを開く」、「ウインドウを閉じる」の文字と対応付けて表示されている。

ユーザは、追加凡例表示画面１４１を参照することにより、より多くの入力可能なジェスチャを補足情報として知ることができる。

一方、ステップＳ３６においてＮＯと判定された場合、即ち、ユーザがヘルプアイコン１０１をタップしない場合、ユーザは凡例表示画面１３１を必要としていない。よって、処理はステップＳ３１に戻る。同様に、ステップＳ３８においてＮＯと判定された場合、即ち、ユーザが追加アイコン１２５をタップしない場合、ユーザは追加凡例表示画面１４１を必要としていないので、処理はステップＳ３１に戻る。

以上、ステップＳ３２でＮＯと判定された場合について説明した。それに対して、ステップＳ３２でＹＥＳと判定された場合、即ち検出されたジェスチャが認識可能なジェスチャであった場合、処理はステップＳ４０に進む。即ち、ステップＳ３２でＹＥＳと判定された場合、ジェスチャ入力可能領域１２１乃至１２４を表示する必要がないので、ステップＳ３３乃至Ｓ３９の処理は実行されない。

ステップＳ４０において、ジェスチャ認識部３１は、ジェスチャに関連付けられた処理を実行する。即ち、認識不能なジェスチャがＮ回連続で検出された（ステップＳ３４の処理）場合において、ジェスチャ入力可能領域１２１乃至１２４が表示されたり（ステップＳ３５の処理）、凡例表示画面１３１や追加凡例表示画面１４１が表示される（ステップＳ３７，Ｓ３９の処理）。これらの表示を参照することにより、ユーザが認識可能なジェスチャを入力することができれば（ステップＳ３１，Ｓ３２の処理）、処理はステップＳ４０に進み、ジェスチャ認識部３１はジェスチャに関連付けられた処理を実行することができる。

このようにして、入力可能領域表示処理を実行することで、ユーザはその画面でジェスチャ入力可能な領域を、入力可能なジェスチャと対応付けて視認することが可能となる。これにより、ユーザは効率的に自分が行ったジェスチャを補正し、意図する処理を実行させることができる。

また、アプリケーションによりジェスチャ入力や入力可能領域が異なる場合でも、ジェスチャ入力に対応する入力可能領域が凡例表示画面１３１に表示されるので、ユーザは入力したジェスチャの補正を容易に実行することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアとしての情報処理端末１に組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

コンピュータ（コントローラ２１）が実行するプログラムは、例えば、記憶部２６をパッケージメディア等としてのリムーバブルメディアとして構成し、そこに記録して提供することができる。また、プログラムは、ローカルエリアネットワークインターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は、以下のような構成もとることができる。
＜１＞ ジェスチャの入力を受け付ける入力部と、
前記入力部に入力された前記ジェスチャを認識する認識部と、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御部と
を備える情報処理装置。
＜２＞ 前記第二のジェスチャは、前記第一のジェスチャとは異なる
＜１＞に記載の情報処理装置。
＜３＞ 前記第一のジェスチャは、タップ操作である
＜２＞に記載の情報処理装置。
＜４＞ 前記第二のジェスチャは、画面上で任意の方向に指を動かす操作である
＜３＞に記載の情報処理装置。
＜５＞ 前記第一のジェスチャは、タップ操作である
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜６＞ 前記第二のジェスチャは、画面上で任意の方向に指を動かす操作である
＜１＞乃至＜５＞のいずれかに載の情報処理装置。
＜７＞ 前記第二のジェスチャを解説する情報は、テキスト情報を含む
＜１＞乃至＜６＞のいずれかに記載の情報処理装置。
＜８＞ 前記第二のジェスチャを解説する情報は、第二のジェスチャの種類と、前記第一の入力処理に関する情報とを含む
＜１＞乃至＜７＞のいずれかに記載の情報処理装置。
＜９＞ 前記第二のジェスチャによる第一の入力処理が可能な領域は、色付けされて表示される
＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１０＞ 表示情報を表示する表示部をさらに含む
＜１＞乃至＜９＞のいずれかに記載の情報処理装置。
＜１１＞ 情報を通信する通信部をさらに含み、
前記表示部は、前記通信部により受信されたwebページを表示する
＜１０＞に記載の情報処理装置。
＜１２＞ 前記表示部の上面にタッチパネルをさらに含む、
＜１０＞に記載の情報処理装置。
＜１３＞ ジェスチャの入力を受け付ける入力ステップと、
入力された前記ジェスチャを認識する認識ステップと、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
を含む情報処理方法。
＜１４＞ コンピュータに、
ジェスチャの入力を受け付ける入力ステップと、
入力された前記ジェスチャを認識する認識ステップと、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
を実行させるプログラム。
＜１５＞ コンピュータに、
ジェスチャの入力を受け付ける入力ステップと、
入力された前記ジェスチャを認識する認識ステップと、
第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。

１ 情報処理端末， １１ 表示部， １２ 操作部， ２１ コントローラ， ２２ センサ部， ２３ カメラ， ２４ 通信部， ３１ ジェスチャ認識部， ３２ 認識結果補正部， ３３ 補正情報保存部， ３４ 軌跡表示部， ３５ 補正候補生成部

本技術の一側面の情報処理装置は、第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力する表示情報出力部を備える情報処理装置である。

前記ジェスチャに基づき、前記ジェスチャに対応する選択候補を表示する表示制御部をさらに設けるようにすることができる。

前記表示制御部には、前記ユーザの追加操作により、前記選択候補に関連する処理を行うようにさせることができる。

前記ユーザの追加操作はタップとすることができる。

前記表示制御部には、前記ユーザの追加操作により選択された前記選択候補に関連する画面を表示させるようにすることができる。

前記表示制御部には、前記ユーザの追加操作により選択された前記選択候補に関連する画面に、前記選択候補を複数表示させるようにすることができる。
請求項５に記載の情報処理装置。

前記選択候補には、前記ジェスチャの軌跡情報に類似した情報を含ませるようにすることができる。

第一の領域と、前記第二の領域とは異なる領域とすることができる。

前記第一の領域と、前記第二の領域とは、重複しないようにすることができる。

前記ジェスチャ入力は、タッチパネルへの入力に基づくものとすることができる。

表示部を更に設けるようにさせることができ、前記第一の領域と前記第二の領域とは前記表示部上の領域とすることができる。

通信部を更に設けるようにさせることができ、前記通信部により受信されたWebページを表示させるようにすることができる。

本技術の一側面の情報処理方法は、第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力するステップを含む情報処理方法である。

本技術の一側面のプログラムは、第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力する表示情報出力部としてコンピュータを機能させるプログラムである。

本技術の一側面の記録媒体は、第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力する表示情報出力部としてコンピュータを機能させるプログラムが記録されているコンピュータが読み取り可能な記録媒体である。

本技術の一側面においては、第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報が出力される。

なお、本技術は、以下のような構成もとることができる。
＜１＞ 第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力する表示情報出力部
を備える情報処理装置。
＜２＞ 前記ジェスチャに基づき、前記ジェスチャに対応する選択候補を表示する表示制御部をさらに備える
＜１＞に記載の情報処理装置。
＜３＞ 前記表示制御部は、前記ユーザの追加操作により、前記選択候補に関連する処理を行う
＜２＞に記載の情報処理装置。
＜４＞ 前記ユーザの追加操作はタップである
＜３＞に記載の情報処理装置。
＜５＞ 前記表示制御部は、前記ユーザの追加操作により選択された前記選択候補に関連する画面を表示する
＜３＞に記載の情報処理装置。
＜６＞ 前記表示制御部は、前記ユーザの追加操作により選択された前記選択候補に関連する画面に、前記選択候補を複数表示する
＜５＞に記載の情報処理装置。
＜７＞ 前記選択候補は、前記ジェスチャの軌跡情報に類似した情報を含む
＜５＞に記載の情報処理装置。
＜８＞ 第一の領域と、前記第二の領域とは異なる領域である
＜１＞乃至＜７＞のいずれかに記載の情報処理装置。
＜９＞ 前記第一の領域と、前記第二の領域とは、重複しない
＜８＞に記載の情報処理装置。
＜１０＞ 前記ジェスチャ入力は、タッチパネルへの入力に基づく
＜１＞乃至＜９＞のいずれかに記載の情報処理装置。
＜１１＞ 表示部を更に備え、
前記第一の領域と前記第二の領域とは前記表示部上の領域である
＜１＞乃至＜１０＞のいずれかに記載の情報処理装置。
＜１２＞ 通信部を更に備え、
前記通信部により受信されたWebページを表示する
＜１＞乃至＜１１＞のいずれかに記載の情報処理装置。
＜１３＞ 第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力するステップ
を含む情報処理方法。
＜１４＞ 第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力する表示情報出力部としてコンピュータを機能させる
プログラム。
＜１５＞ 第一の領域に対するユーザのジェスチャの入力に基づいて、第二の領域に、前記ジェスチャの軌跡情報を縮小して表示するための情報を出力する表示情報出力部としてコンピュータを機能させる
プログラムが記録されているコンピュータが読み取り可能な記録媒体。

Claims (15)

1. ジェスチャの入力を受け付ける入力部と、
   前記入力部に入力された前記ジェスチャを認識する認識部と、
   第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御部と
   を備える情報処理装置。
2. 前記第二のジェスチャは、前記第一のジェスチャとは異なる
   請求項１に記載の情報処理装置。
3. 前記第一のジェスチャは、タップ操作である
   請求項２に記載の情報処理装置。
4. 前記第二のジェスチャは、画面上で任意の方向に指を動かす操作である
   請求項３に記載の情報処理装置。
5. 前記第一のジェスチャは、タップ操作である
   請求項１に記載の情報処理装置。
6. 前記第二のジェスチャは、画面上で任意の方向に指を動かす操作である
   請求項１に載の情報処理装置。
7. 前記第二のジェスチャを解説する情報は、テキスト情報を含む
   請求項１に記載の情報処理装置。
8. 前記第二のジェスチャを解説する情報は、第二のジェスチャの種類と、前記第一の入力処理に関する情報とを含む
   請求項１に記載の情報処理装置。
9. 前記第二のジェスチャによる第一の入力処理が可能な領域は、色付けされて表示される
   請求項１に記載の情報処理装置。
10. 表示情報を表示する表示部をさらに含む
    請求項１に記載の情報処理装置。
11. 情報を通信する通信部をさらに含み、
    前記表示部は、前記通信部により受信されたwebページを表示する
    請求項１０に記載の情報処理装置。
12. 前記表示部の上面にタッチパネルをさらに含む、
    請求項１０に記載の情報処理装置。
13. ジェスチャの入力を受け付ける入力ステップと、
    入力された前記ジェスチャを認識する認識ステップと、
    第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
    を含む情報処理方法。
14. コンピュータに、
    ジェスチャの入力を受け付ける入力ステップと、
    入力された前記ジェスチャを認識する認識ステップと、
    第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
    を実行させるプログラム。
15. コンピュータに、
    ジェスチャの入力を受け付ける入力ステップと、
    入力された前記ジェスチャを認識する認識ステップと、
    第一のジェスチャによる第一の入力処理が不可能な領域で、前記第一のジェスチャが所定の回数入力された場合、入力された画面における第二のジェスチャによる前記第一の入力処理が可能な領域と、前記第二のジェスチャを解説する情報とを関連付けて表示する表示制御ステップと
    を実行させるプログラムが記録されているコンピュータが読み取り可能な記録媒体。

Images