JP2015118618A - 情報処理装置、情報処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザに対して現実の操作を模していないジェスチャ操作に関連付けされた処理を通知する情報処理装置を提供する。
【解決手段】ＭＦＰ１００は、表示画面が表示される表示部２１及びユーザによるジェスチャ操作を受け付ける入力部２２を有する操作部２０を備える。また、ＭＦＰ１００は、制御部１に、ジェスチャ操作がどの処理に関連付けされているかを記憶するＨＤＤ１４を備える。制御部１は、入力部２２で受け付けたジェスチャ操作に応じて、関連付けされた処理を実行する。また、制御部１は、現実の操作を模していないジェスチャ操作に関連付けされた処理内容を、表示部２１によりユーザに通知する。
【選択図】図１

Description

本発明は、タッチパネルをインタフェースに用いた情報処理装置に関する。

プリンタや複合機等の画像形成装置（例えばＭＦＰ：MultiFunction Peripheral）は、入出力インタフェースとしてタッチパネルを備えることがある。ＭＦＰは、タッチパネルの表示画面に、画像やリスト一覧をページ送りボタンやスクロールボタンとともに表示する。ページ送りボタンやスクロールボタンが操作されることで、画像のページ移動やリスト一覧のスクロールが行われる。

タッチパネルを備える情報処理装置では、ユーザによるタッチパネルへのジェスチャ操作により直感的な指示の入力が可能である。ジェスチャ操作には、例えば、タッチパネルの画面上を、１回叩く「タップ」、２回叩く「ダブルタップ」、指で弾くように動かす「フリック」、オブジェクトをタッチして指を離さずに動かす「ドラッグ」、指を離さずに並行に動かす「スワイプ」等がある。

ジェスチャ操作において、例えばフリックは、現実の操作を模した操作である。ユーザは、フリックにより、表示画面に表示されたオブジェクトを弾き除けるという現実の操作を想像することができる。しかし、タップやスワイプは、現実の操作を模した操作ではない。そのためにユーザによっては、これらの操作から現実の操作を想像することができない。ユーザは、ジェスチャ操作がどのような処理に関連付けられるかを知ることで、効率的な操作を行うことができる。特許文献１には、ユーザからの入力が一定時間以上ない場合に、ユーザに対して操作指示の段階に応じたて適切な操作ガイダンスを行う操作ガイダンス表示装置が開示される。特許文献１では、ユーザに対して、操作ガイダンスにより操作がどのような処理に関連付けられるかを通知する。

特開平５−１１９５３号公報

パーソナルコンピュータやタブレットＰＣ等の情報処理装置において、ダブルクリックやダブルタップは、操作対象となるオブジェクトを「開く」、「実行」するための一般的な操作である。しかし、ＭＦＰではこれらの操作が必ずしもオブジェクトを「開く」、「実行」するための操作とは限らない。このような現実の操作を模していないジェスチャ操作に関連付けられた処理をユーザに通知することは、効率的な操作に有効である。

ジェスチャ操作と関連付けられる処理をユーザに通知するために、画面への表示のように明示的に通知する方法がある。しかし、そのジェスチャ操作が当たり前になると画面への表示が煩わしいものとなる。また、ジェスチャ操作による処理が画面の表示内容によって異なる場合には、表示内容が変わる度に、ジェスチャ操作に関連付けされた処理の通知内容を変える必要がある。

本発明は、上記の問題を解決するために、ユーザに対して現実の操作を模していないジェスチャ操作に関連付けされた処理を通知する情報処理装置を提供することを主たる課題とする。

上記課題を解決する本発明の情報処理装置は、表示画面が表示される表示手段と、ユーザによるジェスチャ操作を受け付ける入力手段と、ジェスチャ操作が関連付けされている処理内容を記憶する記憶手段と、前記入力手段で受け付けた前記ジェスチャ操作に応じて、関連付けされた処理を実行する処理手段と、現実の操作を模していないジェスチャ操作に関連付けされた処理内容をユーザに通知する通知手段と、を備えることを特徴とする。

本発明によれば、ユーザが現実の操作を模していないジェスチャー操作による処理内容のみを知ることができるために、ユーザによる操作の効率性を保ちつつ、表示の煩わしさを防止することができる。

ＭＦＰの構成図。 操作部の外観図。 （ａ）、（ｂ）は、表示画面の例示図。 （ａ）、（ｂ）は、ジェスチャ操作と処理実行ボタンとの対応を表す図。 （ａ）、（ｂ）は、表示画面の例示図。 （ａ）、（ｂ）は、ジェスチャ操作と処理実行ボタンとの対応を表す図。 （ａ）、（ｂ）は、表示画面の例示図。 （ａ）、（ｂ）は、ジェスチャ操作とメッセージとの対応を表す図。 （ａ）、（ｂ）は、表示画面の例示図。 ポップアップ画面表示の処理手順図。 （ａ）、（ｂ）は、ジェスチャ操作とポップアップ画面との対応を表す図。 処理に関連付けされていないジェスチャ操作が行われた場合の表示例示図。 ジェスチャ操作が行われた場合に処理を実行するため処理手順図。 （ａ）、（ｂ）は、ジェスチャ操作の確認の説明図。

以下、本発明の実施の形態を図面を参照しつつ詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜構成＞
図１は、本実施形態の情報処理装置の一例である複合機（ＭＦＰ）の構成図である。このＭＦＰ１００は、制御部１、操作部２０、及び画像処理部３０を備える。ＭＦＰは、これらの構成要素によりコピー機やプリンタ、ファクシミリ等として機能する。

制御部１は、ＭＦＰ１００内の各構成要素の動作制御を行う。制御部１は、ＣＰＵ（Central Processing Unit）１０により制御される。ＣＰＵ１０は、ＲＯＭ（Read Only Memory）１５に格納されるブートプログラム及びＨＤＤ（Hard Disc Drive）１４に格納されるコンピュータプログラムを読み込んで実行することで、各種の制御を行う。ＲＡＭ（Random Access Memory）１３は、ＣＰＵ１０がブートプログラム及びコンピュータプログラムを実行する際の作業領域として用いられる。

ＨＤＤ１４は、大容量の記憶媒体であり、例えば磁気ディスク、光学メディア、フラッシュメモリ等で構成される。ＨＤＤ１４は、上述のコンピュータプログラムの他に、画像データや設定データ等を格納する。ＨＤＤ１４は、例えば画像処理部３０で生成された画像データや後述の通信ユニット１２を介して他の装置から取得した画像データを記憶する。ＭＦＰ１００が可搬メディア等の記憶媒体を装着可能である場合、ＨＤＤ１４は、該可搬メディアから取得した画像データを記憶する。また、操作部２０に表示する表示画面毎に、ジェスチャ操作がどの処理に関連付けされているかを記憶する。

なお、ＨＤＤ１４は、ＭＦＰ１００内に設けられる必要はなく、他の装置内に設けられていてもよい。この場合、ＣＰＵ１０は、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して他の装置との間の通信を行う通信ユニット１２により、ＨＤＤ１４にアクセスすることになる。

操作部２０は、表示部２１及び入力部２２を備え、制御部１により制御される入出力インタフェースである。表示部２１は、ユーザに対して情報を視覚的に提示する出力装置である。入力部２２は、タッチパネル、マウス、カメラ、音声入力、キーボード等の入力装置であり、ユーザからの入力を受け付ける。

画像処理部３０は、画像解析部３１、画像生成部３２、及び画像出力部３３を備え、制御部１により制御される。画像解析部３１は、原稿画像の構造を解析し、解析結果から必要な情報を抽出する。画像生成部３２は、例えばスキャナ等により読み取った原稿画像を電子データ化して画像データを生成し、制御部１のＨＤＤ１４に格納する。また画像生成部３２は、画像解析部３１の解析結果から、異なるファイル形式の画像データを生成する。画像出力部３３は、ＨＤＤ１４に格納された画像データに応じて画像を用紙に印刷したり、或いは通信ユニット１２を介してネットワーク上の他の装置に画像データを送信する。

図２は、操作部２０の外観図である。

表示部２１は、本実施形態では液晶ディスプレイで構成されており、画面上に操作位置の入力を行うためのタッチパネルシートが貼られたタッチパネルとなっている。表示部２１は、液晶ディスプレイに操作画面やソフトウェアキーボードを表示し、表示に応じてユーザがジェスチャ操作を行うと、その操作位置をＣＰＵ１０に送信する。ＣＰＵ１０は、操作位置及び操作画面やソフトウェアキーボードの表示位置により、操作（ジェスチャ操作）に応じた処理を実行する。そのために表示部２１は、入力部２２としての機能も有する。

入力部２２は、表示部２１に設けられる他に、各種キーボタンとして操作部２０に備えられる。図２では、スタートキー２０１、ストップキー２０３、テンキー２０４、及び設定／登録キー２０５が、入力部２２として操作部２０に備えられる。

スタートキー２０１は、原稿の読取開始の指示をＣＰＵ１０に送信する。ＣＰＵ１０は,この指示を受け付けることで原稿読取動作を開始する。スタートキー２０１の中央部には緑色と赤色の２色のＬＥＤ（Laser Electric Diode）２０２が設けられる。ＬＥＤ２０２は、発光色により、スタートキー２０１が使用可能状態であるか否かを表す。ストップキー２０３は、稼働中に操作されることで、動作中止の指示をＣＰＵ１０に送信する。ＣＰＵ１０は、この指示を受け付けることで動作を中止する。テンキー２０４は、数字と文字との複数のボタンで構成されており、コピー部数の設定や表示部２１の表示画面の切り替え等に用いられる。設定／登録キー２０５は、ＭＦＰ１００の設定を行う場合に用いられる。

ＭＦＰ１００は、ＨＤＤ１４に格納された画像データのプレビュー画像を表示部２１に表示するプレビュー機能を有する。プレビュー画像は、画像生成部３２によりＨＤＤ１４に格納された画像データに基づいて生成される。画像データが複数ページの画像を表す場合、画像生成部３２は、各ページのプレビュー画像を生成する。

＜第１実施形態＞
図３は、表示部２１に表示される表示画面の例示図である。この表示画面は、ユーザのジェスチャ操作による指示の入力を受け付ける操作画面である。図３は、ＨＤＤ１４にフォルダ（ボックス）毎に分けて格納された画像データを選択するための表示画面である。図３（ａ）は、ボックスを選択するための表示画面、図３（ｂ）は画像データを選択するための表示画面である。この実施形態では、画像データを選択するためのジェスチャ操作が、現実の操作を模していないダブルタップ及びスワイプであるが、他の現実の操作を模していないジェスチャ操作であってもよい。

図３（ａ）の表示画面３０７には、画像データの格納先であるボックスのボックス名３０４が対応する選択ボタン３０３とともに表示される。その他に表示画面３０７には、処理実行ボタン３０５、選択されたボックスを確定するＯＫボタン３０１、及びボックスの選択を中止するキャンセルボタン３０２が表示される。

ボックス名３０４は、画像データの格納先であるボックスの一覧を表示しており、対応する選択ボタン３０３が操作（押下）されることで選択される。選択ボタン３０３が操作されてボックス名が選択された後に、処理実行ボタン３０５が操作されると、ＣＰＵ１０は、選択されたボックスに格納される画像データを一覧表示する処理を実行する。図３（ａ）の処理実行ボタン３０５は、選択されたボックス（フォルダ）を開く処理を行うためのボタンである。

表示画面３０７には、処理実行ボタン３０５と同じ処理を実行するためのジェスチャ操作を表すマーク３０６が、処理実行ボタン３０５の表示領域内に表示される。図３（ａ）では、マーク３０６がジェスチャ操作として、現実の操作を模していないダブルタップを表している。ユーザが、例えば所望のボックスのボックス名３０４の表示領域でダブルタップを行うと、ＣＰＵ１０は、該ボックスに格納される画像データを一覧表示する処理を実行する。つまり、表示画面３０７では、ダブルタップがボックス（フォルダ）を開く処理に関連付けされる。

図３（ｂ）の表示画面３１４は、画像データの一覧を表示しており、図３（ａ）の表示画面３０７において処理実行ボタン３０５の操作、又はボックス名３０４のダブルタップにより表示される。表示画面３１４では、画像データが「文書」として表示される。表示画面３１４には、画像データ名３０９が対応する選択ボタン３０８とともに表示される。その他に表示画面３１４には、選択された画像データの詳細情報を表示するための処理実行ボタン３１０及び選択された画像データを削除するための処理実行ボタン３１２が表示される。また表示画面３１４には、画像データの選択を確定するＯＫボタン３０１及び画像データの選択をキャンセルするキャンセルボタン３０２が表示される。

画像データ名３０９は、表示画面３０７で選択されたボックス内の画像データの一覧を表示しており、対応する選択ボタン３０８が操作（押下）されることで選択される。画像データが選択された後に処理実行ボタン３１０が操作されると、ＣＰＵ１０は、選択された画像データの詳細情報を表示する処理を実行する。画像データが選択された後に処理実行ボタン３１２が操作されると、ＣＰＵ１０は，選択された画像データを削除する処理を実行する。

表示画面３１４には、処理実行ボタン３１０と同じ処理を実行するためのジェスチャ操作を表すマーク３１１が、処理実行ボタン３１０の表示領域内に表示される。図３（ｂ）では、マーク３１１がジェスチャ操作として、現実の操作を模していないダブルタップを表している。ユーザが、例えば所望の画像データの画像データ名３０９の表示領域でダブルタップを行うと、ＣＰＵ１０は、該画像データの詳細情報を表示する処理を実行する。つまり、表示画面３１４では、ダブルタップが画像データの詳細情報を表示する処理に関連付けされる。

また表示画面３１４には、処理実行ボタン３１２と同じ処理を実行するためのジェスチャ操作を表すマーク３１３が、処理実行ボタン３１２の表示領域内に表示される。図３（ｂ）では、マーク３１３がジェスチャ操作として、現実の操作を模していないスワイプを表している。ユーザが、例えば所望の画像データの画像データ名３０９の表示領域でスワイプを行うと、ＣＰＵ１０は、該画像データを削除する処理を実行する。つまり、表示画面３１４では、スワイプが画像データを削除する処理に関連付けされる。

各処理実行ボタン３０５、３１０、３１２の表示領域にマーク３０６、３１１、３１３を表示することで、マーク３０６、３１１、３１３に対応するジェスチャ操作の処理内容をユーザに通知することができる。各処理実行ボタン３０５、３１０、３１２に対して、どのジェスチャ操作を対応させるかは、予め表示画面３０７、３１４毎に決められる。図４は、ジェスチャ操作と処理実行ボタン３０５、３１０、３１２との対応を表す図である。

図４（ａ）は、事前に表示画面３０７、３１４毎に定める場合の例示図である。図４（ａ）は、図３（ａ）の表示画面３０７と同じ表示画面４０１である。表示画面４０１は、ＨＤＤ１４にそのまま格納されており、表示画面３０７を表示する際にＣＰＵ１０は、この表示画面４０１を読み出して表示する。

図４（ｂ）は、各表示画面３０７、３１４におけるジェスチャ操作、処理実行ボタン３０５、３１０、３１２、及びアイコン（マーク）の対応関係を表すテーブル４０２の例示図である。テーブル４０２は、例えばＨＤＤ１４に格納される。表示画面の表示時に、ＣＰＵ１０は、ＨＤＤ１４に格納されたテーブル４０２を確認して、ジェスチャ操作に対応したアイコンを取得する。取得したアイコンをＣＰＵ１０が対応する処理実行ボタンの表示領域に表示することで、図３のような表示画面３０７、３１４が表示される。

＜第２実施形態＞
図５は、表示部２１に表示される表示画面の例示図である。この表示画面は、ユーザのジェスチャ操作による指示の入力を受け付ける操作画面である。図５は、第１実施形態の表示画面３０７、３１４と同様に、ＨＤＤ１４にフォルダ（ボックス）毎に分けて格納された画像データを選択するための表示画面である。図５（ａ）は、ボックスを選択するための表示画面、図５（ｂ）は画像データを選択するための表示画面である。この実施形態では、画像データを選択するためのジェスチャ操作が、現実の操作を模していないダブルタップ及びスワイプであるが、他の現実の操作を模していないジェスチャ操作であってもよい。

図５（ａ）の表示画面５０５には、画像データの格納先であるボックスのボックス名５０２が対応する選択ボタン５０１とともに表示される。その他に表示画面５０５には、処理実行ボタン５０３、選択されたボックスを確定するＯＫボタン５１４、及びボックスの選択を中止するキャンセルボタン５１５が表示される。

ボックス名５０２は、画像データの格納先であるボックスの一覧を表示しており、対応する選択ボタン５０１が操作（押下）されることで選択される。選択ボタン５０１が操作されてボックス名が選択された後に、処理実行ボタン５０３が操作されると、ＣＰＵ１０は、選択されたボックスに格納される画像データを一覧表示する処理を実行する。図５（ａ）の処理実行ボタン５０３は、選択されたボックス（フォルダ）を開く処理を行うためのボタンである。

処理実行ボタン５０３は、処理実行ボタン５０３と同じ処理を実行するためのジェスチャ操作を表す色で、枠５０４が表示される。ジェスチャ操作毎に対応する色が予め設定される。図５（ａ）では、処理実行ボタン５０３の枠５０４の色は、ジェスチャ操作として、現実の操作を模していないダブルタップを表している。ユーザが、例えば所望のボックスのボックス名５０２の表示領域でダブルタップを行うと、ＣＰＵ１０は、該ボックスに格納される画像データを一覧表示する処理を実行する。つまり、図５（ａ）では、ダブルタップがボックス（フォルダ）を開く処理に関連付けされる。

図５（ｂ）の表示画面５１３は、画像データの一覧を表示しており、図５（ａ）の表示画面５０５において処理実行ボタン５０３の操作、又はボックス名５０２のダブルタップにより表示される。表示画面５１３では、画像データが「文書」として表される。表示画面５１３には、画像データ名５０７が対応する選択ボタン５０６とともに表示される。その他に表示画面５１３には、選択された画像データの詳細情報を表示するための処理実行ボタン５０８及び選択された画像データを削除するための処理実行ボタン５１１が表示される。また表示画面５１３には、画像データの選択を確定するＯＫボタン５１６及び画像データの選択をキャンセルするキャンセルボタン５１７が表示される。

画像データ名５０７は、表示画面５０５で選択されたボックス内の画像データの一覧を表示しており、対応する選択ボタン５０６が操作（押下）されることで選択される。画像データが選択された後に処理実行ボタン５０８が操作されると、ＣＰＵ１０は，選択された画像データの詳細情報を表示する処理を実行する。画像データが選択された後に処理実行ボタン５１１が操作されると、ＣＰＵ１０は、選択された画像データを削除する処理を実行する。

処理実行ボタン５０８は、処理実行ボタン５０８と同じ処理を実行するためのジェスチャ操作を表す色で、枠５０９が表示される。図５（ｂ）では、処理実行ボタン５０８の枠５０９の色がジェスチャ操作として、現実の操作を模していないダブルタップを表している。ユーザが、例えば所望の画像データの画像データ名５０７の表示領域でダブルタップを行うと、ＣＰＵ１０は、該画像データの詳細情報を表示する処理を実行する。つまり、表示画面５１３では、ダブルタップが画像データの詳細情報を表示する処理に関連付けされる。

処理実行ボタン５１１は、処理実行ボタン５１１と同じ処理を実行するためのジェスチャ操作を表す色で、枠５１２が表示される。図５（ｂ）では、処理実行ボタン５１１の枠５１２の色がジェスチャ操作として、現実の操作を模していないスワイプを表している。ユーザが、例えば所望の画像データの画像データ名５０７の表示領域でスワイプを行うと、ＣＰＵ１０は、該画像データを削除する処理を実行する。つまり、表示画面５１３では、スワイプが画像データを削除する処理に関連付けされる。

ジェスチャ操作毎に対応する色が予め設定される。例えば処理実行ボタン５０８の枠５０９の色を黄色、処理実行ボタン５１１の枠５１２の色を青色にする。黄色がダブルタップ、青色がスワイプを表す。

各処理実行ボタン５０３、５０８、５１１の枠５０４、５０９、５１２の色により、色に対応するジェスチャ操作の処理内容をユーザに通知することができる。各処理実行ボタン５０３、５０８、５１１に対して、どのジェスチャ操作を対応させるかは、予め表示画面５０５、５１３毎に決められる。図６は、ジェスチャ操作と処理実行ボタン５０３、５９８、５１１との対応を表す図である。

図６（ａ）は、事前に表示画面５０５、５１３毎に定める場合の例示図である。図６（ａ）は、図５（ａ）の表示画面５０５と同じ表示画面６０１である。表示画面６０１は、ＨＤＤ１４にそのまま格納されており、表示画面５０５を表示する際にＣＰＵ１０は、この表示画面６０１を読み出して表示する。

図６（ｂ）は、各表示画面５０５、５１３におけるジェスチャ操作、処理実行ボタン５０３、５０８、５１１、及び枠５０４、５０９、５１２の色の対応関係を表すテーブル６０２の例示図である。テーブル６０２は、例えばＨＤＤ１４に格納される。表示画面の表示時に、ＣＰＵ１０は、ＨＤＤ１４に格納されたテーブル６０２を確認して、ジェスチャ操作に対応した枠の色を取得する。ＣＰＵ１０が取得した色で対応する処理実行ボタンの枠を表示することで、図５のような表示画面５０５、５１３が表示される。

なお、第２実施形態では、ユーザが色とジェスチャ操作との対応を予め知るか、或いはＭＦＰ１００が表示部２１に色とジェスチャ操作との対応を表示してユーザに報知する。

＜第３実施形態＞
第３実施形態では、同じジェスチャ操作であっても表示画面によって実行される処理が異なる場合に、表示画面毎にジェスチャ操作がどのような処理に関連付けられるかを表示する。図７は、表示部２１に表示される表示画面の例示図である。この表示画面は、ユーザのジェスチャ操作による指示の入力を受け付ける操作画面である。図７（ａ）は、電子メール等による送信相手（送信先）を選択するための操作画面、図７（ｂ）は、ＨＤＤ１４に格納された画像データのプレビュー画像を表示するためのプレビュー画面である。

図７（ａ）の表示画面７０５には、宛先表７０１、処理実行ボタン７０３、７０４、ＯＫボタン７１２、及びキャンセルボタン７１３が表示される。表示画面７０５には、メッセージ７０２が表示される。メッセージ７０２は、ジェスチャ操作が関連付けられる処理をユーザに通知する。このメッセージ７０２は、「ダブルタップ」が宛先選択の処理に関連付けられていることをユーザに通知する。

宛先表７０１は、ＨＤＤ１４に格納されるアドレスデータ等に基づく宛先を一覧表示しており、宛先が操作（押下）されることで選択される。宛先が選択された後に、処理実行ボタン７０３が操作されると、ＣＰＵ１０は、選択された宛先を削除する処理を実行する。宛先が選択された後に、処理実行ボタン７０４が操作されると、ＣＰＵ１０は、宛先を設定する処理を実行する。なお、処理実行ボタン７０３による削除処理は、現実の操作を模していないスワイプに関連付けされている。処理実行ボタン７０４による設定処理は、現実の操作を模していないダブルタップに関連付けされている。そのために、宛先表７０１の所望の宛先の表示領域で、ユーザが、スワイプを行うと該宛先の削除処理が実行され、ダブルタップを行うと宛先の設定処理が実行される。

図７（ｂ）の表示画面７１１は、プレビュー表示領域７０６を有し、プレビュー表示領域７０６にプレビュー画像が表示される。表示画面７１１には、プレビュー表示された画像データの削除処理を実行するための処理実行ボタン７０８と、プレビュー表示された画像データのプリント処理を実行するための処理実行ボタン７０９とが表示される。また、表示画面７１１には、ＯＫボタン７１４及びキャンセルボタン７１５が表示される。表示画面７１１には、メッセージ７０７が表示される。メッセージ７０７は、ジェスチャ操作が関連付けされる処理をユーザに通知する。このメッセージ７０７は、「ダブルタップ」がプリント処理に関連付けされていることをユーザに通知する。

処理実行ボタン７０８による削除処理は、現実の操作を模していないスワイプに関連付けされている。処理実行ボタン７０９によるプリント処理は、現実の操作を模していないダブルタップに関連付けされている。そのために、ユーザがプレビュー表示領域７０６内でスワイプを行うとプレビュー表示された画像データの削除処理が実行され、ダブルタップを行うとプリント処理が実行される。

このようにジェスチャ操作の種類によっては、表示画面毎に異なる処理が関連付けされる。例えば、スワイプは表示画面７０５、７１１のいずれでも削除処理に関連付けされているが、ダブルタップは 表示画面７０５では設定処理、表示画面７１１ではプリント処理に関連付けされている。そのために、メッセージ７０２、７０７を表示画面７０５、７１１に表示することで、ユーザに対して、ジェスチャ操作に関連付けされた処理の内容を通知する。

表示画面７０５、７１１にそれぞれどのようなメッセージを表示するかは、予め表示画面７０５、７１１毎に決められる。図８は、ジェスチャ操作とメッセージ７０２、７０７との対応を表す図である。

図８（ａ）は、事前に表示画面７０５、７１１毎に定める場合の例示図である。図８（ａ）は、図７（ａ）の表示画面７０５と同じ表示画面８０１である。表示画面８０１は、ＨＤＤ１４にそのまま格納されており、表示画面７０５を表示する際にＣＰＵ１０は、この表示画面８０１が読み出して表示する。

図８（ｂ）は、各表示画面７０５、７１１におけるジェスチャ操作及び表示メッセージの対応関係を表すテーブル８０２の例示図である。テーブル８０２は、例えばＨＤＤ１４に格納される。表示画面の表示時に、ＣＰＵ１０は、ＨＤＤ１４に格納されたテーブル８０２を確認して、表示する表示画面に対応したメッセージを取得する。ＣＰＵ１０が取得したメッセージを表示することで、図７のような表示画面７０５、７１１が表示される。

メッセージ７０２、７０７は、一つのジェスチャ操作について、各々関連付けされた処理を表示する。表示画面７０５、７１１において、複数のジェスチャ操作について異なる処理が関連付けされていれば、各々のジェスチャ操作について関連付けされた処理を表示してもよい。

＜第４実施形態＞
第４実施形態では、第３実施形態と同様に、同じジェスチャ操作であっても表示画面によって実行される処理が異なる場合に、表示画面毎にジェスチャ操作がどのような処理に関連付けされるかを表示する。第４実施形態では、第３実施形態のメッセージに代えて、ポップアップ画面により、ジェスチャ操作がどのような処理に関連付けされるかを表示する。図９は、そのようなポップアップ画面が表示された表示画面の例示図である。図９（ａ）の表示画面７０５は図７の表示画面７０５と同様の処理を行うための画面である。表示画面７０５上にポップアップ画面９０１が表示される。図９（ｂ）の表示画面７１１は図７の表示画面７１１と同様の処理を行うための画面である。表示画面７１１上にポップアップ画面９０４が表示される。

図９（ａ）の表示画面７０５において、ユーザが所望の宛先の表示領域で現実の操作を模していないジェスチャ操作であるダブルタップを行うと、ポップアップ画面９０１が表示される。ＯＫボタン９０２が操作（押下）されることで、該宛先が設定され、キャンセルボタン９０３が操作（押下）されることで、設定がキャンセルされる。図９（ｂ）の表示画面７１１のプレビュー表示領域において、ユーザが現実の操作を模していないジェスチャ操作であるダブルタップを行うと、ポップアップ画面９０４が表示される。ＯＫボタン９０５が操作（押下）されることで、プリント処理の開始が指示され、キャンセルボタン９０３が操作（押下）されることで、プリント処理が中止される。

このようなポップアップ画面９０１、９０４は、図１０に示す処理手順に応じて表示される。ここでは、図９（ａ）の表示画面７０５を例に説明する。

ＣＰＵ１０は、操作部２０の表示部２１に表示画面７０５を表示する。このときポップアップ画面９０１はまだ表示されていない。ＣＰＵ１０は、表示画面７０５の表示中にユーザにより表示部２１がタッチされたか否かを判断する（Ｓ１００２）。ＣＰＵ１０は、表示部２１がタッチされた場合（Ｓ１００２：Y）、そのタッチがジェスチャ操作であるかを確認する（Ｓ１００４）。ＣＰＵ１０は、ジェスチャ操作が確認されるまで、Ｓ１００２、Ｓ１００４の処理を繰り返す。

ジェスチャ操作である場合（Ｓ１００４：Y）、ＣＰＵ１０は、該ジェスチャ操作が表示画面によって実行される処理が異なる操作（特別処理ジェスチャ）であるか否かを確認する（Ｓ１００６）。実行される処理が同じ場合（Ｓ１００８：N）、ＣＰＵ１０は、該ジェスチャ操作に関連付けられた処理を実行して処理を終了する（Ｓ１０１６）。

実行される処理が異なる場合（Ｓ１００８：N）、ＣＰＵ１０は、ポップアップ画面９０１を、表示画面７０５に重ねて表示する（Ｓ１０１０）。ＣＰＵ１０は、ポップアップ画面９０１のＯＫボタン９０２が操作されると（Ｓ１０１２：Y）、該ジェスチャ操作に関連付けられた処理を実行して処理を終了する（Ｓ１０１４）。ＣＰＵ１０は、ＯＫボタン９０２が操作されずに所定時間経過した場合、或いはキャンセルボタン９０３が操作された場合（Ｓ１０１２：N）、ポップアップ画面９０１を閉じて処理を終了する（Ｓ１０１８）。

ポップアップ画面９０１、９０４にどのようなメッセージを表示するかは、予め表示画面７０５、７１１毎に決められている。図１１は、ジェスチャ操作とポップアップ画面９０１、９０４との対応を表す図である。

図１１（ａ）は、事前に表示画面７０５、７１１毎に定める場合の例示図である。図１１（ａ）は、図９（ａ）のポップアップ画面９０１が重畳表示された表示画面７０５と同じ表示画面１１０１である。他の表示画面と異なる処理を実行するジェスチャ操作（特別処理ジェスチャ）の表示画面毎のポップアップ画面をＨＤＤ１４に予め保持しておき、ＣＰＵ１０がジェスチャ操作を検出した際の表示画面から、該当するポップアップ画面を読み出して表示する。Ｓ１００６では、ポップアップ画面がＨＤＤ１４に格納されているか否かによりジェスチャ操作の確認を行う。

図１１（ｂ）は、各表示画面７０５、７１１におけるジェスチャ操作（特別処理ジェスチャ）及び表示メッセージの関係を表すテーブル１１０２の例示図である。テーブル１１０２は、例えばＨＤＤ１４に格納される。表示画面の表示時に特別処理ジェスチャがあると、ＣＰＵ１０は、ＨＤＤ１４に格納されたテーブル１１０２を確認して、表示画面に対応したポップアップメッセージを取得する。ＣＰＵ１０が取得しポップアップメッセージをポップアップ画面に表示することで、図９のような表示画面７０５、７１１が表示される。ＣＰＵ１０は、ＨＤＤ１４から、ジェスチャ操作及びそのときの表示画面に応じてポップアップメッセージを選択して表示する。Ｓ１００６では、ジェスチャ操作に応じたポップアップメッセージがＨＤＤ１４に格納されているか否かによりジェスチャ操作の確認を行う。

＜第５実施形態＞
第５実施形態では、処理に関連付けされていないジェスチャ操作が行われた際に、ポップアップ画面により、ユーザに該ジェスチャ操作がいずれの処理にも関連付けされていないことを通知する。

図１２は、処理に関連付けされていないジェスチャ操作が行われた場合の表示例示図である。図１２（ａ）は、図３（ａ）に示す表示画面３０７と同じ表示画面１３０６において、ユーザが所望のボックスのボックス名３０４の表示領域でスワイプ１３０５を行った状態を表す。この表示画面１３０６では、ダブルタップが行われた場合に、ボックス（フォルダ）を開く処理を行う。しかし、スワイプは処理に関連付けされていないために、ユーザがスワイプ１３０５を行っても処理は実行されない。

スワイプ１３０５が行われると、ＣＰＵ１０は、表示部２１に図１２（ｂ）に示すように、ポップアップ画面１３０７を表示させる。ポップアップ画面１３０７は、ユーザに、ジェスチャ操作（スワイプ１３０５）が処理に関連付けされておらず、処理を実行しない旨を通知する。ＯＫボタン１３０８が操作されることで、ＣＰＵ１０は、ポップアップ画面１３０７を消去して図１２（ａ）の表示に戻す。

図１３は、このような処理を実行するための処理手順を表す。

ＣＰＵ１０は、操作部２０の表示部２１に表示画面１３０６を表示する。このときポップアップ画面１３０７はまだ表示されていない。ＣＰＵ１０は、表示画面１３０６の表示中にユーザにより表示部２１がタッチされたか否かを判断する（Ｓ１２０２）。ＣＰＵ１０は、表示部２１がタッチされた場合（Ｓ１２０２：Y）、そのタッチがジェスチャ操作であるかを確認する（Ｓ１２０４）。ＣＰＵ１０は、ジェスチャ操作が確認されるまで、Ｓ１２０２、Ｓ１２０４の処理を繰り返す。

ジェスチャ操作である場合（Ｓ１２０４：Y）、ＣＰＵ１０は、該ジェスチャ操作が現在表示部２１に表示中の表示画面１３０６で処理に関連付けされているかを確認する（Ｓ１２０６）。関連付けされている場合（Ｓ１２０８：Y）、ＣＰＵ１０は、該ジェスチャ操作に関連付けされた処理を実行する（Ｓ１２１０）。関連付けされていない場合（Ｓ１２０８：N）、ＣＰＵ１０は、該ジェスチャ操作が処理に関連付けされていないことをポップアップ画面１３０７を表示することでユーザに通知する（Ｓ１２１２）。ポップアップ画面１３０７のＯＫボタン１３０８がユーザに操作（押下）されると（Ｓ１２１４：Y）、ＣＰＵ１０は、ポップアップ画面１３０７を閉じて処理を終了する（Ｓ１２１６）。

ジェスチャ操作が表示画面１３０６で処理に関連付けされているか否かは、ＨＤＤ１４に表示画面毎のジェスチャ操作と処理との関連を記憶しておき、これを確認することで行われる。図１４は、ジェスチャ操作の確認の説明図である。

図１４（ａ）では、処理に関連付けされていないジェスチャ操作或いは関連付けされているジェスチャ操作を表すテーブルが、表示画面毎にＨＤＤ１４に予め保存される。ＣＰＵ１０は、このテーブルによりジェスチャ操作が処理に関連付けされているか否かを確認することができる。確認の結果、処理に関連付けされていないジェスチャ処理であれば、ＣＰＵ１０は、該当するポップアップ画像をＨＤＤ１４から読み出して表示部２１に表示させる。

図１４（ｂ）は、処理に関連付けされていないジェスチャ操作を表示画面毎に表すテーブル１４０２及びポップアップ画面の共通画面１４０３の例示図である。ＣＰＵ１０は、ジェスチャ操作が処理に関連付けされているか否かをテーブル１４０２により確認する。処理に関連付けされていない場合、ＣＰＵ１０は、共通画面１４０３の可変メッセージを該当するジェスチャ操作の操作名に置き換えてポップアップ画面を生成して表示する。

以上のように、第１〜第５実施形態では、ＭＦＰ１００の表示部２１に、ジェスチャ操作についての処理内容を表示する。これによりユーザは、ジェスチャ操作に関連付けされた処理を知ることができ、効率的な操作を行うことができる。特に、現実の操作を模していないジェスチャ操作に関連付けされた処理を表示することで、操作になれたユーザに表示が煩わしくないようにする。

また、ＭＦＰ１００は、第１〜第５実施形態を同時に実現するようにしてもよい。つまり、ＭＦＰ１００は、表示画面にマーク（第１実施形態）及びメッセージ（第３実施形態）を表示し、処理実行ボタンの枠の色を変更する（第２実施形態）。また、ＭＦＰ１００は、ジェスチャ操作があると、該ジェスチャ操作による処理をポップアップ表示し（第４実施形態）、ジェスチャ操作に関連付けされた処理がない場合には、実行する処理がない旨をポップアップ表示する（第５実施形態）。さらに、ＭＦＰ１００は、第１〜第５実施形態を組み合わせて実現するようにしてもよい。

Claims (9)

1. 表示画面が表示される表示手段と、
   ユーザによるジェスチャ操作を受け付ける入力手段と、
   ジェスチャ操作が関連付けされている処理内容を記憶する記憶手段と、
   前記入力手段で受け付けた前記ジェスチャ操作に応じて、関連付けされた処理を実行する処理手段と、
   現実の操作を模していないジェスチャ操作に関連付けされた処理内容をユーザに通知する通知手段と、を備えることを特徴とする、
   情報処理装置。
2. 前記表示画面には前記現実の操作を模していないジェスチャ操作に関連付けされた処理を実行するための処理実行ボタンが表示されており、
   前記ジェスチャ操作と該ジェスチャ操作を示すマークとの対応を記憶する第２の記憶手段を備え、
   前記通知手段は、前記現実の操作を模していないジェスチャ操作を示すマークを前記処理実行ボタンの表示領域内に表示することで、前記処理内容をユーザに通知することを特徴とする、
   請求項１記載の情報処理装置。
3. 前記表示画面には前記現実の操作を模していないジェスチャ操作に関連付けされた処理を実行するための処理実行ボタンが表示されており、
   前記ジェスチャ操作と該ジェスチャ操作を示す色との対応を記憶する第３の記憶手段を備え、
   前記通知手段は、前記処理実行ボタンの枠を、前記現実の操作を模していないジェスチャ操作を示す色で表示することで、前記処理内容をユーザに通知することを特徴とする、
   請求項１又は２記載の情報処理装置。
4. 前記通知手段は、前記表示画面に、前記現実の操作を模していないジェスチャ操作に関連付けされた処理内容を表示することを特徴とする、
   請求項１〜３のいずれか１項記載の情報処理装置。
5. 前記表示手段は、複数の表示画面が切り替えながら表示され、
   前記記憶手段は、前記複数の表示画面毎に、ジェスチャ操作がどの処理に関連付けされているかを記憶し、
   前記通知手段は、表示中の表示画面における前記現実の操作を模していないジェスチャ操作の処理内容を、当該表示画面に表示することを特徴とする、
   請求項４記載の情報処理装置。
6. 前記通知手段は、前記処理内容を当該表示手段にポップアップ表示させることを特徴とする、
   請求項５記載の情報処理装置。
7. 前記通知手段は、前記入力手段で受け付けたジェスチャ操作がいずれの処理にも関連付けされていないと、その旨をユーザに通知することを特徴とする、
   請求項１〜６のいずれか１項記載の情報処理装置。
8. 表示画面が表示される表示手段及びユーザによるジェスチャ操作を受け付ける入力手段を、備えた情報処理装置により実行される方法であって、
   ジェスチャ操作が関連付けされている処理内容を記憶しておき、現実の操作を模していないジェスチャ操作に関連付けされた処理内容をユーザに通知し、前記入力手段で受け付けた前記ジェスチャ操作に応じて、関連付けされた処理を実行することを特徴とする、
   情報処理方法。
9. 表示画面が表示される表示手段及びユーザによるジェスチャ操作を受け付ける入力手段を、備えたコンピュータを、
   ジェスチャ操作が関連付けされている処理内容を記憶する記憶手段、
   前記入力手段で受け付けた前記ジェスチャ操作に応じて、関連付けされた処理を実行する処理手段、
   現実の操作を模していないジェスチャ操作に関連付けされた処理内容をユーザに通知する通知手段、
   として機能させるためのコンピュータプログラム。