JP2014078142A - 画像処理装置、プログラム及び操作イベント判別方法 - Google Patents

Abstract

【課題】ユーザーのジェスチャ操作を検知した場合に、ＣＰＵにかかる負荷を低減し、効率的にユーザーの入力操作に対応する操作イベントを特定できるようにする。
【解決手段】画像処理装置は、表示画面に対するユーザーの入力操作を検知するタッチセンサ６ａと、表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めた閉領域としてグループ化し、各グループに共通の操作イベントを関連付けるグルーピング部３１と、ユーザーの入力操作が検知されることに伴い、グルーピングされた少なくとも１つの閉領域の中から、入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定する操作イベント判定部３３と、を備える。
【選択図】図４

Description

本発明は、画像処理装置、プログラム及び操作イベント判別方法に関する。

従来、スマートフォンやタブレット端末などの表示デバイスは、シングルタッチ操作やマルチタッチ操作など、ユーザーによって行われる複雑なジェスチャ操作を検知することができるようになっている（特許文献１，２参照）。例えば、特許文献１には、表示デバイスのマルチタッチ感知エリアに対してジェスチャセットを定義しておき、マルチタッチ感知エリアにおいて操作が検知されると、そのジェスチャセットに含まれる１又はそれ以上のジェスチャイベントを特定するデバイスが開示されている。また特許文献２には、表示デバイスの領域に対してマルチタッチフラグを設定しておくことにより、その領域に対してユーザーがマルチタッチ操作を行えるようにした技術が開示されている。

近年では、ネットワークプリンタやＭＦＰ（Multifunction Peripheral）などの画像処理装置においても、ユーザーによって行われる複雑なジェスチャ操作を検知してジョブの設定操作などを行えるようにしたものが普及しつつある。そのため、ユーザーは、画像処理装置の操作パネルに対し、シングルタップやダブルタップ、ロングタップ、フリック、ドラッグ、ピンチイン、ピンチアウトといった様々なジェスチャ操作を行うことにより、ジョブの設定操作や画像データの確認操作などを効率的に行うことができるようになってきている。

上記のような画像処理装置は、ユーザーによって行われるジェスチャ操作を正確に検知する必要があるため、シングルタップ、ダブルタップ、ロングタップ、フリック、ドラッグ、ピンチイン、ピンチアウトといった検知対象となる操作イベントごとに、複数の操作イベント判定ルーチンを予め搭載している。そして操作パネルに対するユーザーの入力操作が検知されると、それら複数の操作イベント判定ルーチンを順に全て起動していくことにより、ユーザーによって行われた入力操作に対応する操作イベントを特定し、その操作イベントに対応する処理を行うように構成されている。

特表２００９−５２５５３８号公報 特開２００９−２１１７０４号公報

ところで、画像処理装置の操作パネルに表示される表示画面には様々な画面があり、表示画面ごとにユーザーが行うことができるジェスチャ操作が異なる。また１つの表示画面内においても、例えばユーザーが単にシングルタップ操作だけを行える領域と、スクロール移動のためのフリック操作やドラッグ操作などを行える領域とが混在することがあり、ユーザーが行うことができるジェスチャ操作が領域ごとに異なる。つまり、操作パネルに表示される表示画面の画面構成パーツによって、フリックやピンチなどの操作イベントに対応する処理が定義されていないこともある。

しかしながら、上述した従来の画像処理装置は、表示画面内でユーザーの入力操作が検知されると、複数の操作イベント判定ルーチンを順に全て起動していくため、フリック操作に対応する処理が定義されていない表示画面に対する操作であっても、フリック操作を検知するための操作イベント判定ルーチンが起動されることになる。それ故、従来の画像処理装置は、操作パネルに表示される画面構成によっては、無駄な操作イベント判定ルーチンが実行されることとなり、ＣＰＵのリソースが占有されてしまうという問題がある。

特にこの種の画像処理装置は、スキャンジョブやコピージョブ、プリントジョブ、データ送受信ジョブの実行中においても、ユーザーによる入力操作を受け付け可能な状態であり、ジョブの実行中にユーザーによる入力操作が検知されると、その入力操作に対応する操作イベントを特定するために、ジョブの実行と並行して全ての操作イベント判定ルーチンを順次起動する。そのため、仮にジョブの実行中に表示されている画面構成がフリック操作に対応する処理の定義されていない画面構成であったとしても、ユーザーが誤操作としてフリック操作を行ってしまうと、ＣＰＵは、ジョブの実行のバックグランドで全ての操作イベント判定ルーチンを順次起動し、ユーザーによって入力された操作イベントがフリックであることを特定する。しかし、表示画面にはフリック操作に対応する処理が何ら定義されていないため、操作イベントがフリックであることを特定できたとしても、ＣＰＵはその後特別な処理は何も行わない。

またジョブの実行中にユーザーによって行われる操作が誤操作でない場合であっても、ユーザーによる入力操作が検知されることによって全ての操作イベント判定ルーチンを順次起動していくと、ユーザーの入力操作に対応した操作イベントを効率的に特定することができず、ＣＰＵの占有率が必要以上に上昇する。

上記のようにユーザーによる入力操作が検知されることに伴って全ての操作イベント判定ルーチンを順に起動する構成では、特にジョブの実行中において多数ページの画像データを処理することが必要な場合、或いは高解像度の画像データを処理することが必要な場合に、ＣＰＵにおいて無駄な操作イベント判定ルーチンが実行されることによって画像処理が遅延し、画像処理装置の生産性が低下するという問題を生じさせていた。

そこで本発明は、上記のような従来の問題点を解決すべく、ユーザーの入力操作を検知した場合に、全ての操作イベント判定ルーチンを順に起動するのではなく、入力操作が検知された領域に応じて必要な操作イベント判定ルーチンだけを起動するようにして効率的にユーザーの入力操作に対応する操作イベントを特定できるようにした画像処理装置、プログラム及び操作イベント判別方法を提供することを、その目的とするものである。

上記目的を達成するため、請求項１に係る発明は、画像処理装置であって、各種表示画面を表示する表示手段と、前記表示手段の表示画面に対するユーザーの入力操作を検知する入力検知手段と、前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めた閉領域としてグループ化し、各グループに共通の操作イベントを関連付けるグルーピング手段と、前記入力検知手段によってユーザーの入力操作が検知されることに伴い、前記グルーピング手段によってグルーピングされた少なくとも１つの閉領域の中から、前記入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定する操作イベント判定手段と、前記操作イベント判定手段によって特定された操作イベントに基づく制御を行う制御手段と、を備えることを特徴とする構成である。

請求項２に係る発明は、請求項１に記載の画像処理装置において、前記グルーピング手段は、外部から入力する指示情報に基づいて、表示画面に含まれる複数の画面構成パーツをグループ化すると共に、各グループに対して共通の操作イベントを関連付けることを特徴とする構成である。

請求項３に係る発明は、請求項１に記載の画像処理装置において、前記グルーピング手段は、前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを解析することにより、同一の操作イベントを受付可能であり、且つ、表示画面内において所定距離の範囲内に位置する２以上の画面構成パーツを一のグループにグループ化し、当該一のグループに対して共通の操作イベントを関連付けることを特徴とする構成である。

請求項４に係る発明は、請求項１乃至３のいずれかに記載の画像処理装置において、前記グルーピング手段は、フリック、ドラッグ、シングルタップ、ダブルタップ、ロングタップ及びピンチを含む複数の操作イベントの中から、各グループに含まれる画面構成パーツが共通して受付可能な操作イベントを選択して関連付けることを特徴とする構成である。

請求項５に係る発明は、請求項１乃至４のいずれかに記載の画像処理装置において、前記画面構成パーツには、操作キーに対応するアイコン画像、リスト形式で情報を表示するリスト表示領域、サムネイル画像を表示するサムネイル画像表示領域又はプレビュー画像を表示するプレビュー表示領域が含まれることを特徴とする構成である。

請求項６に係る発明は、請求項１乃至５のいずれかに記載の画像処理装置において、前記グルーピング手段は、一の閉領域に内包される他の閉領域を生成してグループ化することが可能であり、前記一の閉領域に対応するグループには前記一の閉領域と前記他の閉領域との双方において共通する操作イベントを関連付け、前記他の領域に対応するグループには前記他の領域だけに共通する操作イベントを関連付けることを特徴とする構成である。

請求項７に係る発明は、請求項６に記載の画像処理装置において、前記操作イベント判定手段は、前記入力検知手段によってユーザーの入力操作が検知された閉領域が前記他の閉領域である場合、前記他の閉領域と前記一の閉領域とのそれぞれにグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンを順に起動して、ユーザーの入力操作に対応する操作イベントを特定することを特徴とする構成である。

請求項８に係る発明は、請求項７に記載の画像処理装置において、前記操作イベント判定手段は、前記入力検知手段によってユーザーの入力操作が検知され閉領域が前記他の閉領域である場合、前記他の閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンを起動した後に、前記一の閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンを起動することを特徴とする構成である。

請求項９に係る発明は、請求項１乃至８のいずれかに記載の画像処理装置において、前記表示手段に表示される表示画面に含まれる画面構成パーツは追加、削除又は変更が可能であり、前記グループイング手段は、前記表示手段に表示される表示画面に含まれる画面構成パーツが追加、削除又は変更されたグループに関連付けられた共通の操作イベントを変更することを特徴とする構成である。

請求項１０に係る発明は、請求項１乃至８のいずれかに記載の画像処理装置において、前記表示手段に表示される表示画面に含まれる画面構成パーツは追加、削除又は変更が可能であり、前記グループイング手段は、前記表示手段に表示される表示画面に含まれる画面構成パーツが追加、削除又は変更されることに伴い、当該表示画面に含まれる複数の画面構成パーツのグループ化を再度行うことを特徴とする構成である。

請求項１１に係る発明は、請求項１乃至１０のいずれかに記載の画像処理装置において、前記グルーピング手段は、同じ情報を異なる表示態様で表示することが可能な画面構成パーツが含まれるグループに対し、該画面構成パーツの表示態様に応じた操作イベントを関連付けることを特徴とする構成である。

請求項１２に係る発明は、請求項１乃至１１のいずれかに記載の画像処理装置において、前記操作イベント判定手段は、前記入力検知手段によってユーザーの入力操作が検知された閉領域が複数の閉領域に跨っている場合、最初に入力操作が検知された閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定することを特徴とする構成である。

請求項１３に係る発明は、各種表示画面を表示する表示手段と、前記表示手段の表示画面に対するユーザーの入力操作を検知する入力検知手段とを有するコンピュータにおいて実行されるプログラムであって、前記コンピュータを、前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めた閉領域としてグループ化し、各グループに共通の操作イベントを関連付けるグルーピング手段、前記入力検知手段によってユーザーの入力操作が検知されることに伴い、前記グルーピング手段によってグルーピングされた少なくとも１つの閉領域の中から、前記入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた共通の操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定する操作イベント判定手段、及び、前記操作イベント判定手段によって特定された操作イベントに基づく制御を行う制御手段、として機能させることを特徴とする構成である。

請求項１４に係る発明は、各種表示画面を表示する表示手段に対して行われるユーザーの入力操作に基づき、該入力操作に対応する操作イベントを判別する操作イベント判別方法であって、前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めた閉領域としてグループ化し、各グループに共通の操作イベントを関連付けるステップと、前記表示手段に一の表示画面が表示されている状態でユーザーによって行われる入力操作を検知するステップと、ユーザーの入力操作が検知されることに伴い、前記一の表示画面においてグルーピングされた少なくとも１つの閉領域の中から、前記入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた共通の操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定するステップと、を有することを特徴とする構成である。

本発明によれば、表示画面に対するユーザーの入力操作を検知した場合に、複数の操作イベント判定ルーチンの全てを順に起動することなく、入力操作が検知された画面領域に応じて必要な操作イベント判定ルーチンだけを起動するため、ユーザーの入力操作に対応する操作イベントを効率的に特定することができるようになる。

画像処理装置の外観構成の一例を示す図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 プログラムの概念的構成を示す図である。 メインプログラムを起動することによってＣＰＵで実現される機能ブロックの一例を示す図である。 グルーピング部によるグループ化処理の概念を説明する図である。 グルーピング部によるグループ化処理の概念を説明する図である。 複数の表示画面のそれぞれをグループ化して得られる各領域に対して共通の操作イベントを関連付けた状態の一例を示す図である。 画像処理装置において行われる処理手順の一例を示すフローチャートである。 機能選択画面の一例を示す図である。 複数の宛先情報をリスト形式で表示可能な宛先選択画面の一例を示す図である。 画像のプレビュー表示を行うプレビュー表示画面の一例を示す図である。 プレビュー領域に対してユーザーが行うことができる操作の一例を示す図である。 ユーザーが各種設定操作を行う際の応用設定画面の一例を示す図である。 ユーザーが各種設定操作を行う際の基本設定画面の一例を示す図である。 一の閉領域が他の閉領域に内包された状態にグループ化された基本設定画面を示す図である。 親子関係を有する閉領域で入力操作が検知された場合のループ処理における処理手順の一例を示すフローチャートである。 ボックス内文書一覧を表示する文書一覧表示画面の一例を示す図である。 文書一覧表示画面でロングタップ操作が行われた場合の画面変化の一例を示す図である。 図１７とは別の表示態様でボックス内文書一覧を表示する文書一覧表示画面の他の例を示す図である。 基本設定画面に対してアイコン画像の追加登録が行われる場合の画面カスタマイズの一例を示す図である。 表示画面のカスタマイズが行われた場合に再グループ化のために実行される処理手順の一例を示すフローチャートである。 応用設定画面においてユーザーが複数の閉領域に跨って行うジェスチャ操作の一例を示す図である。

以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。

図１は、本実施形態における画像処理装置１の外観構成の一例を示す図である。この画像処理装置１は、ＭＦＰ（Multifunction Peripheral）によって構成され、スキャン機能やプリント機能、コピー機能、ＦＡＸ機能、ネットワーク機能、電子メール送受信機能などの様々な機能を備えており、ユーザーによって指定されたジョブを実行する。この画像処理装置１は、装置本体の上部に、スキャンジョブを実行するときに動作するスキャナ部２を備えている。スキャナ部２は、原稿の画像を光学的に読み取る画像読取部２ａと、画像読取部２ａに対して原稿を１枚ずつ自動搬送する原稿搬送部２ｂとを備えて構成され、ユーザーによってセットされた原稿を読み取って画像データを生成する。また画像処理装置１は、装置本体の中央下部に、プリントジョブを実行するときに動作するプリンタ部３を備えている。プリンタ部３は、入力する画像データに基づいて電子写真方式などによる画像形成を行って出力する画像形成部３ａと、その画像形成部３ａに対して印刷用紙などのシート材を１枚ずつ給紙搬送する給紙搬送部３ｂとを備えて構成され、ユーザーによって指定された画像データに基づいて印刷出力を行う。

また画像処理装置１の正面側には、ユーザーが画像処理装置１を使用する際にユーザーインタフェースとして機能する操作パネル４が設けられている。この操作パネル４は、ユーザーに対して各種情報を表示する表示部５と、ユーザーが操作入力を行うための操作部６とを備えている。表示部５は、例えば所定の画面サイズを有するカラー液晶ディスプレイなどで構成され、様々な表示画面を表示することができる。操作部６は、表示部５の画面上に配置されるタッチセンサ６ａと、表示部５の画面周囲に配置される複数の押しボタン式の操作キー６ｂとを備えて構成される。したがって、ユーザーは、表示部５に表示される表示画面を参照しながら、操作部６に対して様々な入力操作を行うことにより、画像処理装置１に対してジョブの実行のための設定操作を行ったり、或いはジョブの実行を指示したりすることができる。

表示部５の画面上に配置されるタッチセンサ６ａは、ユーザーによるシングルタッチ操作だけでなく、マルチタッチ操作も検知することができるものである。シングルタッチ操作とは、表示部５の表示画面上の１点をタッチする操作であり、例えばシングルタップやダブルタップ、ロングタップ、フリック、ドラッグなどの操作が含まれる。マルチタッチ操作は、表示部５の表示画面上の複数点を同時にタッチする操作であり、例えばピンチインやピントアウトなどのピンチ操作やローテーション操作などが含まれる。このタッチセンサ６ａは、表示部５の表示画面上における少なくとも１点がタップされると、そのタップ位置を特定することができると共に、その後、そのタップ状態のリリースや、タップ位置の移動を検知することができるようになっている。そのため、ユーザーは、表示部５の表示画面に対して様々なジェスチャ操作を行いながらジョブの設定などを行うことが可能である。

尚、表示部５の画面周囲に配置される操作キー６ｂは、０から９の数字が付されたテンキーなどで構成される。それらの操作キー６ｂは、単にユーザーによる押し込み操作だけを検知するものである。

図２は、画像処理装置１のハードウェア構成の一例を示すブロック図である。画像処理装置１は、上述したスキャナ部２、プリンタ部３、操作パネル４の他、図２に示すように、制御部１０と、ＦＡＸ部２０と、ネットワークインタフェース２１と、無線インタフェース２２と、記憶装置２３とを備えており、それら各部がデータバス１９を介して相互にデータの入出力を行うことができる構成である。

制御部１０は、図２に示す操作パネル４、スキャナ部２、プリンタ部３、ＦＡＸ部２０、ネットワークインタフェース２１、無線インタフェース２２および記憶装置２３のそれぞれを統括的に制御するものである。ＦＡＸ部２０は、図示を省略する公衆電話回線を介してＦＡＸデータの送受信を行うものである。ネットワークインタフェース２１は、画像処理装置１をＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。無線インタフェース２２は、外部の装置とＮＦＣ（Near Field Communication）などによる無線通信を行うためのインタフェースである。記憶装置２３は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などで構成される不揮発性の記憶手段であり、ネットワークを介して受信する画像データや、スキャナ部２によって生成された画像データなどを一時的に保存しておくことができる。

また図２に示すように、制御部１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＳＲＡＭ１４と、ＮＶＲＡＭ１５と、ＲＴＣ１７とを備えて構成される。ＣＰＵ１１は、画像処理装置１に電源が投入されることに伴い、ＲＯＭ１２に格納されているプログラム１３を読み出して実行する。これにより、制御部１０は、上述したように各部の制御動作を開始する。特に、ＣＰＵ１１は、画像処理装置１における動作を制御する主要部であり、ジョブの実行動作だけでなく、ユーザーインタフェースとして機能する操作パネル４の動作も制御する。すなわち、ＣＰＵ１１は、操作パネル４の表示部５に表示する表示画面を切り替える制御を行うと共に、タッチセンサ６ａ及び操作キー６ｂによってユーザーの入力操作が検知された場合に、その入力操作がどのような操作イベントであるかを特定し、その特定した操作イベントに対応する制御を実行する。操作イベントとは、ユーザーの入力操作によって発生するイベントであり、例えばタッチセンサ６ａに対する入力操作ではシングルタップ、ダブルタップ、ロングタップ、フリック、ドラッグ、ピンチ、ローテーションといった複数の操作イベントが存在する。また操作イベントに対応する制御には、例えば表示画面を切り替える制御や、ジョブの実行を開始する制御、ジョブの実行を停止する制御などが含まれる。尚、このようなＣＰＵ１１の動作については後に詳しく説明する。

ＳＲＡＭ１４は、ＣＰＵ１１による作業用の記憶領域を提供するメモリであり、例えばＣＰＵ１１がプログラム１３を実行することによって発生する一時的なデータなどを記憶する。

ＮＶＲＡＭ１５は、バッテリバックアップされた不揮発性メモリであり、画像処理装置１における各種設定値や情報などを記憶しておくものである。このＮＶＲＡＭ１５には、図２に示すように画面情報１６が予め記憶されている。画面情報１６は、操作パネル４の表示部５に表示する複数の表示画面に関する情報から成る。各表示画面の画面情報１６には、ユーザーによるジェスチャ操作を受け付けるための様々な画面構成パーツが含まれている。そのような画面構成パーツには、例えばユーザーが操作可能な操作キー、各種情報のリスト表示を行うリスト表示領域、サムネイル画像を表示するサムネイル画像表示領域、プレビュー画像を表示するプレビュー表示領域などが含まれる。これらの画面構成パーツは、それぞれ異なる操作イベントを受付可能なように設定されると共に、受付可能な操作イベントに対して実行すべき処理が個別に設定されたものとなっている。このような画面構成パーツの組み合わせにより、各種表示画面の画面構成が定義され、ユーザーが様々なジェスチャ操作を行うことができる画面構成となる。そして表示部５に表示される複数の表示画面はそれぞれ画面構成が異なるため、ユーザーがタッチセンサ６ａに対してジェスチャ操作を行った場合でも受付可能な操作イベントはそれぞれ異なったものとなっている。

ＲＴＣ１７は、リアルタイムクロックであり、時刻をカウントし続ける時計回路である。

次に図３は、ＣＰＵ１１によって実行されるプログラム１３の概念的構成を示す図である。プログラム１３は、画像処理装置１への電源時にＣＰＵ１１によって自動的に読み出されて起動されるメインプログラム１３ａと、そのメインプログラム１３ａのサブルーチンとして予め用意されている複数の操作イベント判定ルーチン１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆ，１３ｇ，１３ｈとを備えて構成される。複数の操作イベント判定ルーチン１３ｂ〜１３ｈは、タッチセンサ６ａがユーザーによる入力操作（ジェスチャ操作）を検知した場合に、その入力操作がシングルタップ、ダブルタップ、ロングタップ、フリック、ドラッグ、ピンチ及びローテーションのいずれの操作イベントに該当するかを特定するためのサブルーチンであり、特定対象となる操作イベントごとに具体的な判定処理の中身又は手順が異なるため、個別のサブルーチンとして予め用意されている。そして本実施形態では、タッチセンサ６ａがユーザーによる入力操作を検知すると、ＣＰＵ１１が複数の操作イベント判定ルーチン１３ｂ〜１３ｈの中から必要な操作イベント判定ルーチンだけを起動することにより、入力操作に対応する操作イベントを効率的に特定するように構成される。以下、このようなＣＰＵ１１の具体的な処理内容について説明する。

図４は、ＣＰＵ１１がメインプログラム１３ａを起動することによって実現される機能ブロックの一例を示す図である。図４に示すように、ＣＰＵ１１は、メインプログラム１３ａを実行することにより、グルーピング部３１、表示制御部３２、操作イベント判定部３３、制御実行部３４及びジョブ実行部３５として機能する。

グルーピング部３１は、表示部５に表示される表示画面ごとに、その表示画面に含まれる複数の画面構成パーツをグルーピングし、各グループに対して操作イベントを関連付ける処理部である。このグルーピング部３１は、一の表示画面に含まれる複数の画面構成パーツのうち、同一の操作イベントを受付可能な画面構成パーツを纏めて画面内に閉領域を形成していくことにより、複数の画面構成パーツを少なくとも１つの閉領域でグループ化する。つまり、表示画面内に形成される一の閉領域には、同一の操作イベントを受付可能な１又は複数の画面構成パーツが含まれる。また一の表示画面にそれぞれ異なる操作イベントを受け付ける複数の画面構成パーツが含まれている場合、それら複数の画面構成パーツはそれぞれ別の閉領域へと区分され、該表示画面内に複数のグループが生成されることになる。そしてグルーピング部３１は、表示画面に含まれる複数の画面構成パーツをグルーピングして生成した各グループに対し、それぞれのグループで共通して受付可能な操作イベントを予め関連付けた設定を行う。すなわち、グルーピング部３１は、グループ化によって形成した閉領域ごとに、その閉領域に含まれる画面構成パーツが受付可能な同一の操作イベントを、共通の操作イベントとして、その閉領域全体に関連付ける。

グルーピング部３１は、上記のような処理を、操作パネル４を介して、或いは、ネットワークインタフェース２１を介して外部から入力する指示情報に基づいて行うようにしても良い。この場合、グルーピング部３１は、操作パネル４を介して、或いは、ネットワークインタフェース２１を介して外部から入力する指示情報に基づき、各表示画面に含まれる複数の画面構成パーツのそれぞれをグループ化し、各グループに対して共通の操作イベントを関連付けるものとなる。したがって、この場合は、各表示画面に対する操作を行うユーザー、或いは、各表示画面を設計する設計者などが手動操作で複数の画面構成パーツをグルーピングできるようになる。

またグルーピング部３１は、ＮＶＲＡＭ１５に格納されている画面情報１６を読み出して解析することにより、各表示画面に含まれる複数の画面構成パーツのそれぞれが受付可能な操作イベントを特定し、その特定した操作イベントに基づいてグループ化し、各グループに対して共通して受付可能な操作イベントを関連付ける処理を自動で行うようにしても良い。

図５及び図６は、グルーピング部３１によるグループ化処理の概念を説明する図である。まず図５に示すように、表示部５に表示される表示画面Ｇ１に、複数の画面構成パーツＰ１〜Ｐ１２が含まれている場合を例示する。ここで、画面構成パーツＰ１〜Ｐ８が例えばシングルタップ、ダブルタップ、ロングタップ、ドラッグ及びフリックを受付可能な操作キーであり、画像構成パーツＰ９〜Ｐ１２が例えばシングルタップとドラッグとを受付可能な操作キーである場合、画面構成パーツＰ１〜Ｐ８と、Ｐ９〜Ｐ１２とで受付可能な操作イベントがそれぞれ異なるものとなる。このような場合、グルーピング部３１は、同一の操作イベントを受付可能であり、且つ、表示画面Ｇ１内において所定距離の範囲内に位置する２以上の画面構成パーツを一のグループにグループ化し、当該一のグループに対して共通の操作イベントを関連付ける。ただし、同一の操作イベントを受付可能な他の画面構成パーツが所定距離の範囲内にない場合には、一の画面構成パーツをそれ単独でグループ化し、当該一の画面構成パーツが受付可能な操作イベントを関連付ける。図５の例の場合、グルーピング部３１は、シングルタップ、ダブルタップ、ロングタップ、ドラッグ及びフリックを受付可能な画面構成パーツＰ１〜Ｐ８を１つのグループに纏めて閉領域Ｒ１を生成し、さらにシングルタップとドラッグとを受付可能な画面構成パーツＰ９〜Ｐ１２を別の１つのグループに纏めて閉領域Ｒ２を生成する。そして閉領域Ｒ１のグループには、共通の操作イベントとして、シングルタップ、ダブルタップ、ロングタップ、ドラッグ及びフリックの５つの操作イベントを関連付ける。また閉領域Ｒ２のグループには、共通の操作イベントとして、シングルタップとドラッグとの２つの操作イベントを関連付ける。

次に図６に示すように、表示部５に表示される表示画面Ｇ２に、複数の画面構成パーツＰ１３〜Ｐ１６が含まれている場合を例示する。ここで、画面構成パーツＰ１３が例えばダブルタップ、ドラッグ、ピンチ及びローテーションを受付可能なプレビュー表示領域であり、画面構成パーツＰ１４〜Ｐ１６が例えばシングルタップとドラッグとを受付可能なスクロールバーである場合、画面構成パーツＰ１３と、Ｐ１４〜Ｐ１６とで受付可能な操作イベントがそれぞれ異なるものとなる。このような場合、グルーピング部３１は、ダブルタップ、ドラッグ、ピンチ及びローテーションを受付可能な画面構成パーツＰ１３だけを１つのグループに纏めて閉領域Ｒ３を生成し、さらにシングルタップとドラッグとを受付可能な画面構成パーツＰ１４〜Ｐ１６を別の１つのグループに纏めて閉領域Ｒ４を生成する。そして閉領域Ｒ３のグループには、共通の操作イベントとして、ダブルタップ、ドラッグ、ピンチ及びローテーションの４つの操作イベントを関連付ける。また閉領域Ｒ４のグループには、共通の操作イベントとして、シングルタップとドラッグとの２つの操作イベントを関連付ける。

図７は、表示部５に表示される複数の表示画面のそれぞれをグループ化して得られる各領域に共通の操作イベントを関連付けた状態の一例を示す図である。グルーピング部３１は、上記のように各表示画面に含まれる複数の画面構成パーツを同一の操作イベントでグループ化することにより、図７に示すように、表示部５に表示される各表示画面が１又は複数の領域に分類され、各領域に対して共通の操作イベントが関連付けられた状態となる。尚、図７では「○」のついた操作イベントが各領域に対して関連付けられた操作イベントである。

グルーピング部３１は、上記のようにしてグループ化を行う際、表示画面に含まれる複数の画面構成パーツのそれぞれが必ずいずれかのグループに分類されるようにグループ化を行う。そしてグルーピング部３１は、例えば、各表示画面の画面情報１６に対し、各グループの閉領域と、各グループに関連付けた共通の操作イベントとに関する情報を付加することにより、グルーピングの結果を登録する。尚、グルーピング部３１は、１つのグループに対し、シングルタップ、ダブルタップ、ロングタップ、フリック、ドラッグ、ピンチ及びローテーションといった複数の操作イベントのうちの少なくとも１つを関連付けるようになっており、例えば全ての操作イベントを受付可能なグループの場合には共通の操作イベントとしてそれら全ての操作イベントを関連付ける。

また表示画面に含まれる複数の画面構成パーツをグループ化して共通の操作イベントを関連付けた情報は、画像処理装置１の出荷時においてＮＶＲＡＭ１５に画面情報１６が格納されるタイミングで予め付加されるようにしても良い。しかし、ＮＶＲＡＭ１５に格納された画面情報１６は、画像処理装置１の出荷後においてもオプション機能の追加や、新たなアプリケーションプログラムのインストール、表示画面のカスタマイズなどによって更新されることもある。画面情報１６が更新されると、各表示画面の画面構成が変化するため、それ以前においては受付可能でなかった操作イベントが、画面情報１６の更新後に受付可能となることもある。そのため、グルーピング部３１は、ＣＰＵ１１がメインプログラム１３ａを起動することに伴って機能し、画像処理装置１の起動処理が行われている間に、各表示画面の画面構成を解析することによって、複数の画面構成パーツのグループ化を行い、各グループに対して、複数の操作イベントの中からユーザーの入力操作に基づいて検知対象となる操作イベントを関連付けて設定するように構成することが好ましい。

図４に戻り、表示制御部３２は、ＮＶＲＡＭ１５に格納されている画面情報１６を読み出し、複数の表示画面の中から一の表示画面を選択して表示部５へ出力することにより、その選択した表示画面を表示部５に表示するものである。この表示制御部３２は、画像処理装置１の起動処理が完了すると、複数の表示画面の中から初期画面を選択して表示部５に表示する。その後、表示制御部３２は、制御実行部３４からの画面更新指示に基づいて表示部５の表示画面を逐次更新していく。

操作イベント判定部３３は、操作パネル４のタッチセンサ６ａが表示画面に対するユーザーの入力操作（ジェスチャ操作）を検知した場合に、その入力操作に対応する操作イベントを特定する処理部である。この操作イベント判定部３３は、メインプログラム１３ａによって実現される機能の１つであり、タッチセンサ６ａによってユーザーの入力操作が検知されると、そのタイミングで表示部５に表示中である表示画面においてグループ化された閉領域のうち、ユーザーの入力操作が検知された閉領域を特定し、その特定した閉領域に予め関連付けられている操作イベントを決定する。そして操作イベント判定部３３は、その決定した操作イベントに対応する操作イベント判定ルーチンだけを起動することにより、ユーザーの入力操作に対応する操作イベントを判定する。

すなわち、操作イベント判定部３３は、表示画面に対するユーザーの入力操作が検知されると、その表示画面で受付可能な操作イベントだけを判定するために、複数の操作イベント判定ルーチン１３ｂ〜１３ｈの中から、その入力操作が検知された閉領域に関連付けられている操作イベントに対応した操作イベント判定ルーチンだけを起動するのである。このとき、入力操作が検知された閉領域に対して複数の操作イベントが関連付けられていることもある。例えば、入力操作が検知された閉領域がシングルタップ、ダブルタップ、フリックの３つの操作イベントを受付可能な場合である。そのような場合、操作イベント判定部３３は、それら３つの操作イベントに対応する操作イベント判定ルーチンを順次起動していくことにより、ユーザーの入力操作に対応する操作イベントを特定する。このように操作イベント判定部３３は、ユーザーによってタッチセンサ６ａに対する何らかの入力操作が行われた場合、毎回全ての操作イベント判定ルーチン１３ｂ〜１３ｈを起動するのではなく、その入力操作が検知された閉領域で受付可能な操作イベントに対応する操作イベント判定ルーチンだけを起動することにより、無駄な判定ルーチンを起動することなく、効率的にユーザーの入力操作に対応する操作イベントを特定できるように構成されている。

そして操作イベント判定部３３は、必要な操作イベント判定ルーチンだけを起動することにより、ユーザーの入力操作に対応する操作イベントを特定することができると、その特定した操作イベントを制御実行部３４へ出力する。一方、上記のように必要な操作イベント判定ルーチンだけを起動しても、ユーザーの入力操作に対応する操作イベントを特定することができないこともある。例えば、シングルタップ、ダブルタップ、フリックの３つの操作イベントを受付可能な閉領域に対してユーザーがロングタップやドラッグ、ピンチ、ローテーションなどの操作を行った場合には、シングルタップ、ダブルタップ、フリックの３つの操作イベントのそれぞれに対応する操作イベント判定ルーチン１３ｂ，１３ｃ，１３ｅを起動してもユーザーの入力操作に対応する操作イベントを特定することができない。そのような場合、操作イベント判定部３３は、制御実行部３４に対する出力処理は行わない。

また操作イベント判定部３３は、例えば３つの操作イベント判定ルーチンを順次起動する場合でも、最初に起動した操作イベント判定ルーチンによってユーザーの入力操作に対応する操作イベントを特定することができた場合には、それ以降の操作イベント判定ルーチンは起動することなく、その特定した操作イベントを制御実行部３４へ出力する。尚、２番目に起動した操作イベント判定ルーチンで操作イベントを特定することができた場合も、これと同様である。つまり、操作イベント判定部３３は、複数の操作イベント判定ルーチンを起動する場合でも、いずれか１つの操作イベント判定ルーチンで操作イベントを特定することができれば、それ以降の操作イベント判定ルーチンを起動しないようになっている。

制御実行部３４は、ユーザーが操作パネル４に対する操作を行った場合に、その操作に基づく制御を実行する処理部である。この制御実行部３４は、ユーザーによってタッチセンサ６ａに対するジェスチャ操作が行われた場合には、上述した操作イベント判定部３３によって特定された操作イベントを入力し、その操作イベントに基づく制御を実行する。これに対し、ユーザーによって操作キー６ｂに対する操作が行われた場合には、制御実行部３４がその操作キー６ｂから直接操作信号を受信し、その操作信号に基づいてユーザーによって行われた操作（操作イベント）を特定し、その操作に基づく制御を実行する。

制御実行部３４がユーザーによる入力操作に基づいて実行する制御には、例えば表示部５に表示している表示画面を更新する制御や、ジョブの実行開始や停止の制御などがある。そのため、制御実行部３４は、図４に示すように、表示制御部３２とジョブ実行部３５とを制御するようになっている。すなわち、制御実行部３４は、ユーザーによる入力操作に基づいて表示画面を更新するときには表示制御部３２に画面更新を指示し、ジョブの実行開始や停止を行うときにはジョブ実行部３５にジョブの実行開始又は停止を指示する。これにより、表示制御部３２は、表示部５に表示している表示画面を制御実行部３４からの指示に基づいて更新するようになる。またジョブ実行部３５は、制御実行部３４からの指示に基づいてジョブの実行を開始したり、或いは既に実行中のジョブを停止したりする。ただし、制御実行部３４が実行する制御には、上記以外の制御が含まれていても構わない。

ジョブ実行部３５は、画像処理装置１に設けられた各部の動作を制御することにより、ユーザーによって指定されたジョブの実行を制御する。このジョブ実行部３５は、画像処理装置１においてジョブの実行が行われている間、ＣＰＵ１１に常駐して各部の動作を統括的に制御するようになっている。

次に上記のような機能構成を有するＣＰＵ１１において行われる具体的な処理手順について説明する。図８は、画像処理装置１のＣＰＵ１１によって行われる処理手順の一例を示すフローチャートである。この処理は、画像処理装置１に電源が投入され、ＣＰＵ１１がプログラム１３に含まれるメインプログラム１３ａを起動することによって開始される処理である。

まずＣＰＵ１１は、メインプログラム１３ａを起動すると、画面情報１６を読み出し（ステップＳ１）、その画面情報１６に基づいて各表示画面に含まれる複数の画面構成パーツを１又は複数の閉領域にグループ化し（ステップＳ２）、各グループに対して共通する操作イベントの関連付けを行う（ステップＳ３）。そして各表示画面に対するグループ化処理と、操作イベントの関連付け処理とが全て完了すると、ＣＰＵ１１は、操作パネル４の表示部５に、初期画面を表示する（ステップＳ４）。このようにして表示部５に表示画面が表示されると、ＣＰＵ１１は、ユーザーによる入力操作を受け付け可能な状態となり、タッチセンサ６ａ及び操作キー６ｂのいずれかによって入力操作が検知されるまで待機する状態となる（ステップＳ５）。

ユーザーによる入力操作が検知されると（ステップＳ５でＹＥＳ）、ＣＰＵ１１は、その入力操作がタッチセンサ６ａによって検知されたものであるか否かを判断し（ステップＳ６）、タッチセンサ６ａで検知されたものであれば（ステップＳ６でＹＥＳ）、その入力操作が検知された閉領域を特定する（ステップＳ７）。そしてＣＰＵ１１は、特定した閉領域に関連付けられている１又は複数の操作イベントに対応する操作イベント判定ルーチンをセットし（ステップＳ８）、それら１又は複数の操作イベント判定ルーチンを順次起動してユーザーの入力操作に対応する操作イベントを特定するためのループ処理を実行する（ステップＳ９，Ｓ１０，Ｓ１１）。

このループ処理（ステップＳ９，Ｓ１０，Ｓ１１）では、プログラム１３に含まれる全ての操作イベント判定ルーチン１３ｂ〜１３ｈが順に起動されるのではなく、ステップＳ８でセットされた操作イベント判定ルーチンであって、ユーザーの入力操作が検知された閉領域において共通して受付可能な操作イベントに対応する操作イベント判定ルーチンだけが起動されるようになる。また複数の操作イベント判定ルーチンをループ処理で順次起動する場合は、いずれか１つの操作イベント判定ルーチンによってユーザーの入力操作に対応する操作イベントが特定されると、そのタイミングでループ処理を終了して次のステップＳ１２へと進む。つまり、このループ処理（ステップＳ９，Ｓ１０，Ｓ１１）では、ステップＳ８でセットされた複数の操作イベント判定ルーチンの全てを常に起動させるのではなく、全てを起動するまでに途中でユーザーの入力操作に対応した操作イベントを特定することができれば、それ以降に起動が予定されている操作イベント判定ルーチンを起動することなく、ループ処理を終了する。

そしてループ処理（ステップＳ９，Ｓ１０，Ｓ１１）が終了すると、ＣＰＵ１１は、ループ処理（ステップＳ９，Ｓ１０，Ｓ１１）によって操作イベントが特定できたか否かを判断する（ステップＳ１２）。ユーザーによって表示中の表示画面で受付可能でないジェスチャ操作が行われてしまうこともあるため、ステップＳ１２の判断が必要となる。そしてユーザーの入力操作に対応する操作イベントを特定することができなかった場合（ステップＳ１２でＮＯ）、ＣＰＵ１１は、その後の処理（ステップＳ１３）へと進むことなく、再びユーザーによる入力操作が検知されるまで待機する状態へと戻る（ステップＳ５）。これに対し、ループ処理（ステップＳ９，Ｓ１０，Ｓ１１）においてユーザーの入力操作に対応する操作イベントを特定することができた場合（ステップＳ１２でＹＥＳ）、ＣＰＵ１１による処理は次のステップＳ１３へと進む。

また、ユーザーによる入力操作が検知され（ステップＳ５でＹＥＳ）、その入力操作が操作キー６ｂによって検知されたものであった場合（ステップＳ６でＮＯ）も、ＣＰＵ１１による処理はステップＳ１３へと進む。すなわち、ユーザーが操作キー６ｂを操作した場合には、その操作信号によって操作イベントを特定することができるため、操作イベントを特定できた場合の処理（ステップＳ１３）へと進む。

ＣＰＵ１１は、ユーザーの入力操作に対応する操作イベントが特定されると、その入力操作に対応した制御を実行する（ステップＳ１３）。すなわち、上述したように、表示部５の表示画面を別の画面に更新する制御、ジョブの実行制御、その他の制御などが行われる。そしてＣＰＵ１１による処理は、ステップＳ５に戻り、再びユーザーによる入力操作が検知されるまで待機する状態となる（ステップＳ５）。そしてＣＰＵ１１は、その後、上述した処理を繰り返す。

ＣＰＵ１１は上記のような処理を行うことにより、ユーザーが操作パネル４に対する操作を行った場合にはその操作に対応した処理を行うことができる。特に上記のような処理はジョブの実行中に並行して行われることもあるが、ユーザーによって表示画面に対するジェスチャ操作が行われたときには、そのジェスチャ操作が行われた領域において受付可能な操作イベントだけを特定することを目的として、必要最小限の操作イベント判定ルーチンだけを起動するようにしているため、ジョブの実行においても無駄な操作イベント判定ルーチンを起動することがなく、効率的にユーザーのジェスチャ操作に対応する操作イベントを特定することが可能である。

次に本実施形態において表示部５に表示される幾つかの表示画面の具体例を示しつつ、それら各表示画面の各領域に関連付けられる操作イベントについて説明する。

図９は、機能選択画面Ｇ１０の一例を示す図である。この機能選択画面Ｇ１０は、ユーザーが選択可能な機能に対応する複数のアイコン画像Ｂ１が画面構成パーツ（操作キー）として画面内に配置された画面構成を有している。この機能選択画面Ｇ１０内に表示されるアイコン画像Ｂ１は、オプション機能の追加や、新たなアプリケーションプログラムのインストール、表示画面のカスタマイズなどによって追加されることもある。例えば表示画面のカスタマイズには、本来別の表示画面において表示されるアイコン画像を機能選択画面Ｇ１０においてショートカットキーとして追加登録するカスタマイズなどがある。

図９の画面例では、機能選択画面Ｇ１０において１度に表示可能なアイコン画像Ｂ１の数が１２個であるのに対し、表示登録されているアイコン画像Ｂ１の数が２２個あるため、アイコン画像Ｂ１が表示される領域を左右方向にスクロール移動させることによって、それら２２個のアイコン画像Ｂ１の全てを表示することができる画面構成となっている。それ故、機能選択画面Ｇ１０の左右端部には、スクロール移動の前後においてユーザーがスクロール移動させるためにシングルタップ操作可能な操作キーＢ２が画面構成パーツとして表示されている。

このような画面構成の場合、複数のアイコン画像Ｂ１のそれぞれに対してユーザーが行うことができる操作は、機能選択操作であるアイコン画像Ｂ１のシングルタップ操作と、アイコン画像Ｂ１が表示された領域を左右方向にスクロール移動させるためのフリック操作と、アイコン画像Ｂ１の表示位置を変更するためのドラッグ操作との３つの操作である。フリック操作は、例えば図９に示すように、ユーザーが指先で画面上の一点Ｐａをタップした状態のままそのタップ位置をスクロール移動方向Ｆ１に素早く移動させながら画面上からリリースする操作である。機能選択画面Ｇ１０の複数のアイコン画像Ｂ１が表示された領域に対してユーザーによるフリック操作が行われることにより、図９に示すように、複数のアイコン画像Ｂ１が左右横方向にスクロール移動し、全てのアイコン画像Ｂ１が表示されるようになる。またシングルタップ操作は、ユーザーが指先で画面上の一点をタップした直後に素早く指先を画面上からリリースする操作である。シングルタップ操作をアイコン画像Ｂ１の表示位置に対して行うことにより、複数のアイコン画像Ｂ１の中から一のアイコン画像Ｂ１を選択することができる。またドラッグ操作は、フリック操作と同様に、ユーザーが指先で画面上の一点Ｐ１をタップした状態のままそのタップ位置を移動させて別の位置でリリースする操作であるが、移動方向は直線方向でなくても良く、また移動速度も比較的遅い速度であっても良い。ドラッグ操作をアイコン画像Ｂ１に対して行うことにより、そのアイコン画像Ｂ１の表示位置を任意の位置に移動させることができる。このように、複数のアイコン画像Ｂ１は、シングルタップ、ドラッグ及びフリックの３つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

一方、機能選択画面Ｇ１０の端部に表示される操作キーＢ２は、ユーザーによるシングルタップ操作だけを受付可能な画面構成パーツである。つまり、この操作キーＢ２に対してユーザーがシングルタップ操作を行うと、複数のアイコン画像Ｂ１が左右方向へスクロール移動し、別のアイコン画像Ｂ１が表示されるようになる。

したがって、図９に示す画面構成の場合、グルーピング部３１は、複数のアイコン画像Ｂ１を纏めて１つの閉領域Ｒ１０を形成すると共に、操作キーＢ２だけを含む別の閉領域Ｒ１１を形成する。そしてグルーピング部３１は、閉領域Ｒ１０のグループに対してシングルタップとフリックとドラッグとの３つの操作イベントを関連付けると共に、閉領域Ｒ１１のグループに対してシングルタップだけの１つの操作イベントを関連付ける。

図１０は、複数の宛先情報をリスト形式で表示可能な宛先選択画面Ｇ１１の一例を示す図である。この宛先選択画面Ｇ１１は、図１０（ａ）に示すように、複数の宛先情報をリスト形式で表示するリスト表示領域Ｒ１２と、リスト表示領域Ｒ１２に表示される宛先情報をスクロール移動させるスクロールバーＢ３とを画面構成パーツとして含む画面構成となっている。

このような画面構成の場合、リスト表示領域Ｒ１２に対してユーザーが行うことができる操作としては、例えば図１０（ａ）に示すようにリスト形式で表示された複数の宛先情報の中から一の宛先情報を選択するシングルタップ操作と、図１０（ｂ）に示すようにリスト表示領域Ｒ１２に表示された複数の宛先情報を上下方向へスクロール移動させるためのフリック操作とがある。例えば図１０（ｂ）に示すように、ユーザーはリスト表示領域Ｒ１１の一点をタップした状態でスクロール移動方向Ｆ２又はＦ３にフリック操作を行うことにより、リスト表示領域Ｒ１１に表示される宛先情報をスクロールさせて表示することができる。またこの他にも、ユーザーは、リスト表示領域Ｒ１に対し、リスト形式で表示された宛先情報の表示位置を移動させるためのドラッグ操作や、一の宛先情報を選択してその宛先の詳細設定画面へ遷移させるためのダブルタップ操作、一の宛先情報を選択してその宛先の詳細情報を表示するためのロングタップ操作なども行うことができる。ダブルタップ操作とは、シングルタップ操作と同様の操作を所定時間内に２回行う操作である。またロングタップ操作は、画面上の一点をタップした状態のまま、そのタップ位置を移動させることなく一定時間以上タップ状態を保持し続ける操作である。このようにリスト表示領域Ｒ１２は、シングルタップ、ドラッグ、フリック、ダブルタップ及びロングタップの５つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

一方、リスト表示領域Ｒ１２の右側に表示されるスクロールバーＢ３は、ユーザーによるシングルタップ操作とドラッグ操作とを受付可能な画面構成パーツである。つまり、ユーザーはこのスクロールバーＢ３に対してシングルタップ操作を行うと、そのタップ位置に応じてリスト表示領域Ｒ１１に表示される宛先情報をスクロールさせて表示することができる。またユーザーはスクロールバーＢ３のドラッグ操作を行うと、そのドラッグ操作による移動量に応じてリスト表示領域Ｒ１１に表示される宛先情報をスクロールさせて表示することができる。

したがって、上記のような宛先選択画面Ｇ１１の場合、グルーピング部３１は、図１０（ｃ）に示すように、リスト表示領域Ｒ１２だけを含む閉領域Ｒ１２と、スクロールバーＢ３だけを含む閉領域Ｒ１３との２つの領域Ｒ１２，Ｒ１３を形成する。そしてグルーピング部３１は、閉領域Ｒ１２のグループに対してシングルタップとフリックとドラッグとダブルタップとロングタップの５つの操作イベントを関連付けると共に、閉領域Ｒ１３のグループに対してシングルタップとドラッグの２つの操作イベントを関連付ける。

図１１は、画像のプレビュー表示を行うプレビュー表示画面Ｇ１２の一例を示す図である。このプレビュー表示画面Ｇ１２は、ユーザーによって選択された画像をプレビュー表示するためのプレビュー領域Ｒ１４と、プレビュー領域Ｒ１４に表示された画像の表示位置を変更するためのスクロールバーＢ４，Ｂ５と、プレビュー領域Ｒ１４に表示された画像を拡大又は縮小するための操作キーＢ６，Ｂ７とを画面構成パーツとして含んでいる。

図１２は、プレビュー領域Ｒ１４に対してユーザーが行うことができる操作の一例を示す図である。プレビュー領域Ｒ１４に対してプレビュー画像が表示されているとき、ユーザーは、図１２に示すように、プレビュー画像を縮小、拡大又は回転するためのピンチ操作やローテーション操作を行うことができる。またピンチ操作には、プレビュー画像を縮小するためのピンチイン操作と、拡大するためのピンチアウト操作とが含まれる。ピンチイン操作は、図１２（ａ）において矢印Ｆ５で示すように、プレビュー領域Ｒ１４に表示されるプレビュー画像の２点を２本の指先でタップした状態でそれら２点間の距離を縮めるように移動させる操作である。このようなピンチイン操作により、プレビュー領域Ｒ１４に表示されるプレビュー画像が縮小表示されるようになる。またピンチアウト操作は、図１２（ｂ）において矢印Ｆ６で示すように、プレビュー領域Ｒ１４に表示されるプレビュー画像の２点を２本の指先でタップした状態でそれら２点間の距離を拡大していくように移動させる操作である。このようなピンチアウト操作により、プレビュー領域Ｒ１４に表示されるプレビュー画像が拡大表示されるようになる。さらにローテーション操作は、図１２（ｃ）において矢印Ｆ７で示すように、プレビュー領域Ｒ１４に表示されるプレビュー画像の２点を２本の指先でタップした状態でそれら２点の位置を回転させていくように移動させる操作である。このようなローテーション操作により、プレビュー領域Ｒ１４に表示されるプレビュー画像が回転表示されるようになる。

またプレビュー領域Ｒ１４では、上記のようなピンチ操作とローテーション操作に限らず、ダブルタップ操作とドラッグ操作も受付可能となっている。すなわち、プレビュー領域Ｒ１４に表示されているプレビュー画像の１点に対してダブルタップ操作が行われた場合には、その１点を中心にプレビュー画像を拡大して表示する処理が行われる。さらにプレビュー領域Ｒ１４においてプレビュー画像に対してドラッグ操作が行われた場合には、そのプレビュー画像の表示部分を移動させて表示する処理が行われる。このようにプレビュー領域Ｒ１４は、ダブルタップ、ドラッグ、ピンチ及びローテーションの４つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

一方、プレビュー領域Ｒ１４の右側及び下側に表示されるスクロールバーＢ４，Ｂ５は、ユーザーによるシングルタップ操作とドラッグ操作とを受付可能な画面構成パーツであり、それらの操作に基づいてプレビュー領域Ｒ１４に表示されるプレビュー画像の表示部分を移動させて表示することができるようになっている。さらに、プレビュー領域Ｒ１４に表示された画像を拡大又は縮小するための操作キーＢ６，Ｂ７は、ユーザーによるシングルタップ操作だけを受け付ける画面構成パーツである。

したがって、上記のようなプレビュー表示画面Ｇ１２の場合、グルーピング部３１は、図１１（ｂ）に示すように、プレビュー領域Ｒ１４だけを含む閉領域Ｒ１４と、スクロールバーＢ４だけを含む閉領域Ｒ１５と、スクロールバーＢ５だけを含む閉領域Ｒ１６と、２つの操作キーＢ６，Ｂ７を含む閉領域Ｒ１７とを形成する。そしてグルーピング部３１は、閉領域Ｒ１４のグループに対してダブルタップとドラッグとピンチとローテーションとの４つの操作イベントを関連付け、閉領域Ｒ１５に対してシングルタップとドラッグとの２つの操作イベントを関連付け、閉領域Ｒ１６に対してシングルタップとドラッグとの２つの操作イベントを関連付け、閉領域Ｒ１７に対してシングルタップだけの１つの操作イベントを関連付ける。尚、閉領域Ｒ１５とＲ１６とをさらに１つの閉領域に纏めたグループにしても良い。

図１３は、ユーザーが各種設定操作を行う際の応用設定画面Ｇ１３の一例を示す図である。この応用設定画面Ｇ１３は、様々な応用設定を行うために予め登録されている複数のアイコン画像Ｂ８と、それら複数のアイコン画像Ｂ８の表示位置を左右横方向へスクロール移動させるためのスクロールバーＢ９と、複数のアイコン画像Ｂ８の表示位置を左右横方向へワンタッチで切り替えるためのシングルタップ操作可能な操作キーＢ１０とを画面構成パーツとして含んでいる。すなわち、図１３の例では、応用設定画面Ｇ１３に予め登録されているアイコン画像Ｂ８の数が一度に表示可能なアイコン画像の数を越えており、応用設定画面Ｇ１３に登録された複数のアイコン画像Ｂ８を横方向にスクロール移動させることにより、各アイコン画像Ｂ８を表示することができる画面構成となっている。

このような画面構成の場合、複数のアイコン画像Ｂ８のそれぞれに対してユーザーが行うことができる操作は、設定項目の選択操作であるアイコン画像Ｂ８のシングルタップ操作と、アイコン画像Ｂ８が表示された領域を左右方向にスクロール移動させるためのフリック操作と、アイコン画像Ｂ８の表示位置を任意の位置へ変更するためのドラッグ操作との３つの操作である。このように、複数のアイコン画像Ｂ８は、シングルタップ、ドラッグ及びフリックの３つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

またスクロールバーＢ９に対してユーザーが行うことができる操作は、上述した他のスクロールバーと同様に、シングルタップ操作とドラッグ操作との２つの操作である。さらに、操作キーＢ１０に対してユーザーが行うことができる操作は、上述した他の操作キーと同様に、シングルタップ操作だけである。

したがって、上記のような応用設定画面Ｇ１３の場合、グルーピング部３１は、図１３に示すように、複数のアイコン画像Ｂ８を含む閉領域Ｒ１８と、スクロールバーＢ９だけを含む閉領域Ｒ１９と、操作キーＢ１０を含む閉領域Ｒ２０とを形成する。そしてグルーピング部３１は、閉領域Ｒ１８のグループに対してフリックとドラッグとシングルタップとの３つの操作イベントを関連付け、閉領域Ｒ１９に対してシングルタップとドラッグとの２つの操作イベントを関連付け、閉領域Ｒ２０に対してシングルタップだけの１つの操作イベントを関連付ける。

図１４は、ユーザーが各種設定操作を行う際の基本設定画面Ｇ１４の一例を示す図である。この基本設定画面Ｇ１４は、ジョブの実行に関する基本的な設定を行うために予め登録されている複数のアイコン画像Ｂ１１と、それら複数のアイコン画像Ｂ１１の表示対象をワンタッチで切り替えるためのシングルタップ操作可能な操作キーＢ１４とを画面構成パーツとして含んでいる。すなわち、図１４の例では、基本設定画面Ｇ１４に予め登録されているアイコン画像Ｂ１１の数が一度に表示可能なアイコン画像の数を越えており、基本設定画面Ｇ１４において表示されるアイコン画像Ｂ１１を切り替えて表示することができる画面構成となっている。

このような画面構成の場合、複数のアイコン画像Ｂ１１のそれぞれに対してユーザーが行うことができる操作は、設定項目の選択操作であるアイコン画像Ｂ１１のシングルタップ操作と、基本設定画面Ｇ１４に表示されるアイコン画像Ｂ１１を別のアイコン画像に切り替えるためのフリック操作との２つの操作である。つまり、複数のアイコン画像Ｂ１１は、シングルタップ及びフリックの２つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

また操作キーＢ１４に対してユーザーが行うことができる操作は、上述した他の操作キーと同様に、シングルタップ操作だけである。そのため、操作キーＢ１４は、シングルタップの１つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

したがって、このような基本設定画面Ｇ１４の場合、グルーピング部３１は、図１４に示すように、複数のアイコン画像Ｂ１１を含む閉領域Ｒ２１と、操作キーＢ１４を含む閉領域Ｒ２２とを形成する。そしてグルーピング部３１は、閉領域Ｒ２１のグループに対してシングルタップとフリックとの２つの操作イベントを関連付け、閉領域Ｒ２２に対してシングルタップだけの１つの操作イベントを関連付ける。

ところで、図１４に示した基本設定画面Ｇ１４において、グルーピング部３１によって形成される２つの閉領域Ｒ２１，Ｒ２２は互いに隣接しており、且つ、一方の閉領域Ｒ２２に関連付けられる操作イベントが他方の閉領域Ｒ２１に関連付けられる複数の操作イベントの一部と共通する関係にある。そのため、グルーピング部３１は、上記のような関係にある２つの閉領域をグループ化する際、互いに共通する操作イベントを一括判定できるようにするため、一方の閉領域Ｒ２２に内包されるように他方の閉領域Ｒ２１を形成するようにしても良い。

図１５は、一の閉領域Ｒ２１が他の閉領域Ｒ２２に内包された状態にグループ化された基本設定画面Ｇ１４を示す図である。グルーピング部３１は、図１５に示すように、閉領域Ｒ２２の内側に別の閉領域Ｒ２１を重ねるようにして形成すると、これら２つの閉領域Ｒ２１，Ｒ２２には親子関係が形成されるようになる。つまり、親領域Ｒ２２が子領域Ｒ２１の全体を包含する関係となる。グルーピング部３１は、このような親子関係を形成した場合、親領域Ｒ２２には、親領域Ｒ２２と子領域Ｒ２１の双方で共通する操作イベントを関連付け、子領域Ｒ２１には、親領域Ｒ２２に関連付けられない子領域Ｒ２１特有の操作イベントを関連付ける。図１５の例では、親領域Ｒ２２に対して親領域Ｒ２２と子領域Ｒ２１との双方に共通するシングルタップの操作イベントが関連付けられており、子領域Ｒ２１に対して子領域Ｒ２１に特有のフリックの操作イベントが関連付けられた状態となっている。

上記のように２つの閉領域Ｒ２１，Ｒ２２に親子関係が設定される場合、操作イベント判定部３３は、子領域Ｒ２１でユーザーの入力操作が検知されると、親領域Ｒ２２と子領域Ｒ２１とのそれぞれに関連付けられている操作イベントに対応した操作イベント判定ルーチンを順に起動していくことにより、ユーザーの入力操作に対応する操作イベントを特定する。このとき、操作イベント判定部３３は、子領域Ｒ２１に関連付けられている操作イベントに対応する操作イベント判定ルーチンを優先的に起動することが好ましい。

図１６は、ユーザーの入力操作が検知された領域に親子関係を有する２つの閉領域が含まれる場合の上述したループ処理（ステップＳ９，Ｓ１０，Ｓ１１）の処理手順の一例を示すフローチャートである。図１６に示すように、ＣＰＵ１１は、上述したループ処理（ステップＳ９，Ｓ１０，Ｓ１１）において、まず子領域Ｒ２１に関連付けられている操作イベントに対応した操作イベント判定ルーチンを起動する（ステップＳ２０）。例えば図１５のような親子関係の場合には、ステップＳ２０においてまずフリックに対応する操作イベント判定ルーチン１３ｅを起動し、ユーザーの入力操作がフリックであるか否かを判定する。尚、子領域Ｒ２１に複数の操作イベントが関連付けられていれば、ステップＳ２０においてそれら複数の操作イベント判定ルーチンを順に起動することにより、ユーザーによって行われた入力操作が、子領域Ｒ２１に関連付けられた操作イベントであるか否かを判定する。

次にＣＰＵ１１は、ステップＳ２０においてユーザーの入力操作に対応する操作イベントを特定することができたか否かを判断する（ステップＳ２１）。子領域Ｒ２１の判定だけでユーザーの入力操作に対応する操作イベントを特定することができた場合（ステップＳ２１でＹＥＳ）には、親領域Ｒ２２についての判定を行うことなく、ループ処理を終了する。

これに対し、子領域Ｒ２１の判定だけではユーザーの入力操作に対応する操作イベントを特定することができなかった場合（ステップＳ２１でＮＯ）、ＣＰＵ１１は、次に親領域Ｒ２２に関連付けられている操作イベントに対応した操作イベント判定ルーチンを起動する（ステップＳ２２）。例えば図１５のような親子関係の場合には、ステップＳ２２においてシングルタップに対応する操作イベント判定ルーチン１３ｂを起動し、ユーザーの入力操作がシングルタップであるか否かを判定する。尚、親領域Ｒ２２に複数の操作イベントが関連付けられていれば、ステップＳ２２においてそれら複数の操作イベント判定ルーチンを順に起動することにより、ユーザーによって行われた入力操作が、親領域Ｒ２２に関連付けられた操作イベントであるか否かを判定する。

グルーピング部３１によって親子関係を有する閉領域が設定された場合には上記のように子領域に関連付けられた操作イベントに対応する操作イベント判定ルーチンを優先的に起動することにより、ユーザーによる入力操作が子領域で検知されたときには、その子領域に特有の操作イベントであるか否かが優先的に判定されるようになる。そのため、子領域に特有の操作イベントを比較的早いタイミングで特定することができるようになり、処理効率が向上するという利点がある。

次に記憶装置２３のボックス（記憶領域）に保存されている文書データの一覧を表示する画面例について説明する。図１７及び図１９はそれぞれボックス内文書一覧を表示する文書一覧表示画面Ｇ１５，Ｇ１６の一例を示す図である。図１７に示す文書一覧表示画面Ｇ１５は、ユーザーによって指定されたボックスに保存されている文書データをサムネイル画像として一覧表示するものである。また図１９に示す文書一覧表示画面Ｇ１６は、ユーザーによって指定されたボックスに保存されている文書データをリスト形式で一覧表示するものである。つまり、図１７及び図１９に示す文書一覧表示画面Ｇ１５，Ｇ１６は、それぞれ同じ情報を異なる表示態様で表示するものである。

図１７（ａ）に示す文書一覧表示画面Ｇ１５は、文書データのサムネイル画像を表示するサムネイル画像表示領域Ｒ２３と、サムネイル画像表示領域Ｒ２３に表示されるサムネイル画像をスクロール移動させるためのスクロールバーＢ１５とを画面構成パーツとして含んでいる。すなわち、図１７（ａ）の文書一覧表示画面Ｇ１５は、ユーザーによって指定されたボックスに保存されている全ての文書データに対応するサムネイル画像をスクロール移動させることによって表示することができる画面構成となっている。このような画面構成の場合、サムネイル画像表示領域Ｒ２３に対してユーザーが行うことができる操作は、一のサムネイル画像を選択するシングルタップ操作と、一のサムネイル画像を選択して拡大表示するダブルタップ操作と、一のサムネイル画像を選択してそのサムネイル画像の周囲にアイコン画像などを表示するロングタップ操作と、サムネイル画像をスクロール移動させるフリック操作と、サムネイル画像の表示位置を移動させるドラッグ操作との５つの操作である。つまり、サムネイル画像表示領域Ｒ２３は、シングルタップ、ダブルタップ、ロングタップ、フリック及びドラッグの５つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

ここでサムネイル画像表示領域Ｒ２３に対するロングタップ操作について更に詳しく説明する。図１８に示すように、ユーザーが一のサムネイル画像を選択してロングタップ操作を行うと、その近傍位置に選択したサムネイル画像と同一内容の透過画像Ｍ１が表示されると共に、その透過画像Ｍ１の周囲に少なくとも１つのショートカットアイコン画像Ｍ２が表示される。透過画像Ｍ１は、ユーザーに対してロングタップ操作が行われていることを知らせるための画像である。またショートカットアイコン画像Ｍ１は、ユーザーが選択しているサムネイル画像（又は透過画像Ｍ１）をドラッグすることにより、画像データに対する処理を指定することができるアイコン画像である。尚、これら透過画像Ｍ１及びショートカットアイコン画像Ｍ２は、ユーザーが一のサムネイル画像の表示位置でロングタップ操作を行っていることが検知されると、表示制御部３２によって表示される。

またスクロールバーＢ１５に対してユーザーが行うことができる操作は、上述した他のスクロールバーと同様に、シングルタップ操作とドラッグ操作の２つである。そのため、スクロールバーＢ１５は、シングルタップとドラッグとの２つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

したがって、図１７（ａ）に示す文書一覧表示画面Ｇ１５の場合、グルーピング部３１は、図１７（ｂ）に示すように、サムネイル画像表示領域Ｒ２３だけを含む閉領域Ｒ２３と、スクロールバーＢ１５を含む閉領域Ｒ２４とを形成する。そしてグルーピング部３１は、閉領域Ｒ２３のグループに対してシングルタップ、ダブルタップ、ロングタップ、フリック及びドラッグの５つの操作イベントを関連付け、閉領域Ｒ２４に対してシングルタップとドラッグとの２つの操作イベントを関連付ける。

これに対し、図１９（ａ）に示す文書一覧表示画面Ｇ１６は、文書データに関する情報をリスト形式で表示するリスト表示領域Ｒ２５と、リスト表示領域Ｒ２５に表示される情報をスクロール移動させるためのスクロールバーＢ１６とを画面構成パーツとして含んでいる。すなわち、図１９（ａ）の文書一覧表示画面Ｇ１６は、ユーザーによって指定されたボックスに保存されている全ての文書データに関する情報をスクロール移動させることによって表示することができる画面構成となっている。このような画面構成の場合、リスト表示領域Ｒ２５に対してユーザーが行うことができる操作は、一の文書データを選択するシングルタップ操作と、一の文書データを選択して詳細なファイル情報を表示するロングタップ操作と、リスト表示領域Ｒ２５に表示される情報をスクロール移動させるフリック操作と、リスト表示領域Ｒ２５に表示される情報の表示位置を移動させるドラッグ操作との４つの操作である。つまり、リスト表示領域Ｒ２５は、シングルタップ、ロングタップ、フリック及びドラッグの４つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。またスクロールバーＢ１６に対してユーザーが行うことができる操作は、上述した他のスクロールバーと同様に、シングルタップ操作とドラッグ操作の２つである。そのため、スクロールバーＢ１６は、シングルタップとドラッグとの２つの操作イベントを受付可能であり、それ以外の操作イベントを受け付けない画面構成パーツとなっている。

したがって、図１９（ａ）に示す文書一覧表示画面Ｇ１６の場合、グルーピング部３１は、図１９（ｂ）に示すように、リスト表示領域Ｒ２５だけを含む閉領域Ｒ２５と、スクロールバーＢ１６を含む閉領域Ｒ２６とを形成する。そしてグルーピング部３１は、閉領域Ｒ２５のグループに対してシングルタップ、ロングタップ、フリック及びドラッグの４つの操作イベントを関連付け、閉領域Ｒ２６に対してシングルタップとドラッグとの２つの操作イベントを関連付ける。

このように本実施形態では、同じ情報を異なる表示態様で表示する表示画面Ｇ１５，Ｇ１６であっても、各表示画面Ｇ１５，Ｇ１６に含まれる画面構成パーツに基づいてグループ化を行うことにより、各画面構成パーツの表示態様に応じた操作イベントを関連付けることができるようになる。それ故、図１９に示すような文書一覧表示画面Ｇ１６が表示された状態でユーザーがリスト表示領域Ｒ１５に対するジェスチャ操作を行った場合には、図１７のような文書一覧表示画面Ｇ１７の場合とは異なり、ダブルタップを判定するための操作イベント判定ルーチン１３ｃが起動されないため、効率的にユーザーの入力操作に対応する操作イベントを特定することができるようになる。

次に表示部５に表示される表示画面がカスタマイズされた場合のグルーピング部３１による再グループ化について説明する。例えば、図１４の基本設定画面Ｇ１４では、予め登録されているアイコン画像Ｂ１１の数が一度に表示可能なアイコン画像の数を越えており、基本設定画面Ｇ１４において表示されるアイコン画像Ｂ１１を切り替えて表示することができる画面構成である場合を例示した。しかし、アイコン画像Ｂ１１の登録数が一度の表示可能なアイコン画像の数を越えていない場合には、アイコン画像の表示を切り替えて表示する必要がない。そしてアイコン画像の表示を切り替えて表示する必要がない状態で表示画面のカスタマイズが行われることによってアイコン画像Ｂ１１が追加登録され、基本設定画面Ｇ１４に表示されるアイコン画像Ｂ１１の数が一度に表示可能なアイコン画像の数を越えると、それ以後はアイコン画像Ｂ１１を切り替えて表示することが必要となる。

図２０は、上記のように基本設定画面Ｇ１４に対してアイコン画像Ｂ１１の追加登録が行われる場合の画面カスタマイズの一例を示す図である。まず図２０（ａ）に示すように、基本設定画面Ｇ１４に予め登録されている複数のアイコン画像Ｂ１１が一度に全て表示可能な場合、複数のアイコン画像Ｂ１１の右側に表示される操作キーＢ１４のうち、アイコン画像Ｂ１１の表示を切り替えるための操作キーＢ１４ａ，Ｂ１４ｂは表示されず、基本設定画面Ｇ１４から応用設定画面Ｇ１３へ切り替えるための操作キーＢ１４ｃだけが表示される。したがって、図２０（ａ）に示すような基本設定画面Ｇ１４ではアイコン画像Ｂ１１の表示を切り替えることができないため、複数のアイコン画像Ｂ１１のそれぞれに対してユーザーが行うことができる操作は、設定項目の選択操作であるアイコン画像Ｂ１１のシングルタップ操作の１つだけである。また、操作キーＢ１４ｃに対してユーザーが行うことができる操作もシングルタップ操作の１つだけである。グルーピング部３１は、図２０（ａ）に示すような基本設定画面Ｇ１４に対してグループ化の処理を行うと、複数のアイコン画像Ｂ１１と操作キーＢ１４ｃとを纏めて１つの閉領域Ｒ２７を形成し、その閉領域Ｒ２７に対してシングルタップだけの１つの操作イベントを関連付けた状態とする。

そして図２０（ａ）の基本設定画面Ｇ１４に対してアイコン画像Ｂ１１が追加登録され、基本設定画面Ｇ１４に表示されるアイコン画像Ｂ１１の数が一度に表示可能なアイコン画像の数を越えると、図２０（ｂ）に示すように、アイコン画像Ｂ１１の表示を切り替えるための操作キーＢ１４ａ，Ｂ１４ｂが追加表示され、基本設定画面Ｇ１４において表示されるアイコン画像Ｂ１１を切り替えて表示することができる画面構成に変化する。このとき、図２０（ｂ）の基本設定画面Ｇ１４に表示されるアイコン画像Ｂ１１が受付可能な操作イベントとして、フリックが追加登録される。したがって、アイコン画像Ｂ１１の追加登録により、複数のアイコン画像Ｂ１１のそれぞれに対してユーザーが行うことができる操作は、設定項目の選択操作であるアイコン画像Ｂ１１のシングルタップ操作と、基本設定画面Ｇ１４に表示されるアイコン画像Ｂ１１を別のアイコン画像に切り替えるためのフリック操作との２つの操作に切り替わる。

また図２０（ｂ）に示す状態からアイコン画像Ｂ１１が削除され、図２０（ａ）に示す状態へとカスタマイズされた場合には、基本設定画面Ｇ１４に表示されるアイコン画像Ｂ１１が受付可能な操作イベントからフリックが削除される。

このように表示部５に表示される表示画面のカスタマイズにより、画面構成パーツの追加、削除又は変更が行われた場合、その表示画面に含まれる画面構成パーツにおいて受付可能な操作イベントが変化することがある。そのため、グルーピング部３１は、表示画面のカスタマイズが行われることに伴い、その表示画面の再グループ化が必要か否かを判断し、必要な場合には再度グループ化を行うと共に、操作イベントを関連付ける処理を再度実行する。

図２１は、表示画面のカスタマイズが行われた場合に再グループ化のために実行される処理手順の一例を示すフローチャートである。この処理は、表示画面のカスタマイズ作業が完了したタイミングでＣＰＵ１１により実行される処理である。ＣＰＵ１１は、この処理を開始すると、ＮＶＲＡＭ１５からカスタマイズされた画面情報１６を読み出し（ステップＳ３０）、カスタマイズされた表示画面に対して画面構成パーツの追加、削除又は変更が行われたか否かを判断する（ステップＳ３１）。その結果、画面構成パーツの追加、削除又は変更が行われていない場合（ステップＳ３１でＮＯ）、この処理は終了する。これに対し、画面構成パーツの追加、削除又は変更が行われた場合（ステップＳ３１でＹＥＳ）、ＣＰＵ１１は、各グループに関連付けられている共通の操作イベントを変更する必要があるか否かを判断する（ステップＳ３２）。そして操作イベントの変更が必要な場合（ステップＳ３２）、ＣＰＵ１１は、再グループ化が必要であるか否かを判断する（ステップＳ３３）。そして再グループ化が必要な場合（ステップＳ３３でＹＥＳ）、ＣＰＵ１１は、カスタマイズされた表示画面に含まれる複数の画面構成パーツの再グループ化を実行する（ステップＳ３４）。このとき、上述したように親子関係となる閉領域を形成するようにしても良い。尚、再グループ化が不要な場合には、再グループ化は実行されない。そしてＣＰＵ１１は、カスタマイズされた表示画面に形成された各閉領域（グループ）に対し、共通の操作イベントを関連付ける（ステップＳ３５）。一方、画面構成パーツの追加、削除又は変更が行われた場合でも（ステップＳ３１でＹＥＳ）、各グループに関連付けられている共通の操作イベントを変更する必要がない場合（ステップＳ３２でＮＯ）には、再グループ化を行うことなく、そのまま処理を終了する。

このように表示部５に表示される表示画面がカスタマイズされた場合であっても、上記のような処理が実行されることにより、カスタマイズ後の表示画面に基づいて再度グルーピングが行われ、その結果得られる各グループにおいて共通の検知対象となる操作イベントが関連付けられる。そのため、カスタマイズ後においても最適な状態でユーザーの入力操作に対応する操作イベントを特定することができるようになる。

次に、表示部５に表示される表示画面に対し、ユーザーが複数の閉領域に跨ってジェスチャ操作を行った場合について説明する。図２２は、上述した応用設定画面Ｇ１３においてユーザーが複数の閉領域Ｒ１８，Ｒ１９に跨って行うジェスチャ操作の一例を示す図である。図２２に示すように、例えばユーザーが応用設定画面Ｇ１３の一の閉領域Ｒ１８における一点Ｐａを最初にタップし、そのタップ位置を矢印Ｆ８で示す方向に移動させてフリック操作又はドラッグ操作を行った場合、ユーザーによるジェスチャ操作は、一の閉領域Ｒ１８と他の閉領域Ｒ１９とに跨って行われることになる。この場合には、２つの閉領域Ｒ１８，Ｒ１９でユーザーの入力操作が検知される。しかし、それら２つの閉領域Ｒ１８，Ｒ１９のそれぞれに関連付けられた操作イベントに対応する操作イベント判定ルーチンを順に起動してしまうと、ＣＰＵ１１の占有率が上がってしまい、効率的な処理の実現が困難になる。そこで、本実施形態では、上記のようにユーザーが複数の閉領域に跨って入力操作を行った場合、操作イベント判定部３３は、最初に入力操作が検知された閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定するように構成される。

具体的に説明すると、ＣＰＵ１１は、図８に示したフローチャートのステップＳ８において、最初にユーザーの入力操作が検知された閉領域に関連付けられている１又は複数の操作イベントに対応する操作イベント判定ルーチンをセットする。そしてループ処理（ステップＳ８，Ｓ１０，Ｓ１１）において、最初の入力操作が検知された閉領域に関連付けられている１又は複数の操作イベントに対応する操作イベント判定ルーチンを順次起動してユーザーの入力操作に対応する操作イベントを特定する。すなわち、このループ処理（ステップＳ９，Ｓ１０，Ｓ１１）では、ユーザーによって複数の閉領域に跨るようなジェスチャ操作が行われたとしても、最初にユーザーの操作が検知されなかった閉領域に関連付けてられている操作イベントが判定対象から除かれるようになる。それ故、複数の操作イベント判定ルーチン１３ｂ〜１３ｈの全てが実行されてしまうことを防止することができるので、効率的な処理が可能となり、ＣＰＵ１１の占有率を低下させることが可能である。

以上のように本実施形態の画像処理装置１は、表示部５に表示される表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めて閉領域としてグループ化し、各グループに対して共通して受付可能な操作イベントを関連付けるグルーピング部３１と、表示画面に対するユーザーの入力操作が検知されることに伴い、グルーピング部３１によってグルーピングされた少なくとも１つの閉領域の中から、入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定する操作イベント判定部３３と、その操作イベント判定部３３によって特定された操作イベントに基づく制御を行う制御実行部３４と、を備える構成である。このような構成により、画像処理装置１は、表示画面に対するユーザーの入力操作を検知した場合でも、予め用意されている複数の操作イベント判定ルーチン１３ｂ〜１３ｈの全てを順に起動する必要がなくなり、ユーザーによる入力操作が検知された画面内の領域に応じて必要な操作イベント判定ルーチンだけを起動することができるので、ＣＰＵ１１にかかる負荷を低減し、効率的にユーザーの入力操作に対応する操作イベントを特定することが可能になる。そして、その結果、画像処理装置１におけるジョブの実行効率が低下するといった問題が解消され、画像処理装置１の生産性を向上させることができるようになる。

以上、本発明に関する一実施形態について説明したが、本発明は上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。

例えば上記実施形態では、画像処理装置１がＭＦＰによって構成される場合を例示した。しかし、画像処理装置１は、ＭＦＰに限られるものではなく、プリンタ専用機、ＦＡＸ専用機、コピー専用機、スキャナ専用機などであっても構わない。また画像処理装置１は、必ずしも上述したようなジョブを実行する装置に限られず、携帯端末装置などであっても構わない。

また上記においては、ユーザーが表示画面に対して行い得るジェスチャ操作として、フリック、ドラッグ、シングルタップ、ダブルタップ、ロングタップ、ピンチ及びローテーションの複数の操作を例示したが、これら複数の操作以外の操作が含まれるものであっても良いし、逆に上記複数の操作のうちのいずれかが含まれないものであっても構わない。

１ 画像処理装置
４ 操作パネル
５ 表示部（表示手段）
６ａ タッチセンサ（入力検知手段）
１１ ＣＰＵ
１３ プログラム
３１ グルーピング部（グルーピング手段）
３２ 表示制御部
３３ 操作イベント判定部（操作イベント判定手段）
３４ 制御実行部（制御手段）

Claims (14)

1. 各種表示画面を表示する表示手段と、
   前記表示手段の表示画面に対するユーザーの入力操作を検知する入力検知手段と、
   前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めた閉領域としてグループ化し、各グループに共通の操作イベントを関連付けるグルーピング手段と、
   前記入力検知手段によってユーザーの入力操作が検知されることに伴い、前記グルーピング手段によってグルーピングされた少なくとも１つの閉領域の中から、前記入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定する操作イベント判定手段と、
   前記操作イベント判定手段によって特定された操作イベントに基づく制御を行う制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記グルーピング手段は、外部から入力する指示情報に基づいて、表示画面に含まれる複数の画面構成パーツをグループ化すると共に、各グループに対して共通の操作イベントを関連付けることを特徴とする請求項１に記載の画像処理装置。
3. 前記グルーピング手段は、前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを解析することにより、同一の操作イベントを受付可能であり、且つ、表示画面内において所定距離の範囲内に位置する２以上の画面構成パーツを一のグループにグループ化し、当該一のグループに対して共通の操作イベントを関連付けることを特徴とする請求項１に記載の画像処理装置。
4. 前記グルーピング手段は、フリック、ドラッグ、シングルタップ、ダブルタップ、ロングタップ及びピンチを含む複数の操作イベントの中から、各グループに含まれる画面構成パーツが共通して受付可能な操作イベントを選択して関連付けることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記画面構成パーツには、操作キーに対応するアイコン画像、リスト形式で情報を表示するリスト表示領域、サムネイル画像を表示するサムネイル画像表示領域又はプレビュー画像を表示するプレビュー表示領域が含まれることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記グルーピング手段は、一の閉領域に内包される他の閉領域を生成してグループ化することが可能であり、前記一の閉領域に対応するグループには前記一の閉領域と前記他の閉領域との双方において共通する操作イベントを関連付け、前記他の領域に対応するグループには前記他の領域だけに共通する操作イベントを関連付けることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記操作イベント判定手段は、前記入力検知手段によってユーザーの入力操作が検知された閉領域が前記他の閉領域である場合、前記他の閉領域と前記一の閉領域とのそれぞれにグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンを順に起動して、ユーザーの入力操作に対応する操作イベントを特定することを特徴とする請求項６に記載の画像処理装置。
8. 前記操作イベント判定手段は、前記入力検知手段によってユーザーの入力操作が検知され閉領域が前記他の閉領域である場合、前記他の閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンを起動した後に、前記一の閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンを起動することを特徴とする請求項７に記載の画像処理装置。
9. 前記表示手段に表示される表示画面に含まれる画面構成パーツは追加、削除又は変更が可能であり、
   前記グループイング手段は、前記表示手段に表示される表示画面に含まれる画面構成パーツが追加、削除又は変更されたグループに関連付けられた共通の操作イベントを変更することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記表示手段に表示される表示画面に含まれる画面構成パーツは追加、削除又は変更が可能であり、
    前記グループイング手段は、前記表示手段に表示される表示画面に含まれる画面構成パーツが追加、削除又は変更されることに伴い、当該表示画面に含まれる複数の画面構成パーツのグループ化を再度行うことを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
11. 前記グルーピング手段は、同じ情報を異なる表示態様で表示することが可能な画面構成パーツが含まれるグループに対し、該画面構成パーツの表示態様に応じた操作イベントを関連付けることを特徴とする請求項１乃至１０のいずれかに記載の画像処理装置。
12. 前記操作イベント判定手段は、前記入力検知手段によってユーザーの入力操作が検知された閉領域が複数の閉領域に跨っている場合、最初に入力操作が検知された閉領域のグループに関連付けられた操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定することを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
13. 各種表示画面を表示する表示手段と、前記表示手段の表示画面に対するユーザーの入力操作を検知する入力検知手段とを有するコンピュータにおいて実行されるプログラムであって、前記コンピュータを、
    前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めた閉領域としてグループ化し、各グループに共通の操作イベントを関連付けるグルーピング手段、
    前記入力検知手段によってユーザーの入力操作が検知されることに伴い、前記グルーピング手段によってグルーピングされた少なくとも１つの閉領域の中から、前記入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた共通の操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定する操作イベント判定手段、及び、
    前記操作イベント判定手段によって特定された操作イベントに基づく制御を行う制御手段、
    として機能させることを特徴とするプログラム。
14. 各種表示画面を表示する表示手段に対して行われるユーザーの入力操作に基づき、該入力操作に対応する操作イベントを判別する操作イベント判別方法であって、
    前記表示手段に表示される表示画面に含まれる複数の画面構成パーツを、同一の操作イベントを受け付ける画面構成パーツで纏めた閉領域としてグループ化し、各グループに共通の操作イベントを関連付けるステップと、
    前記表示手段に一の表示画面が表示されている状態でユーザーによって行われる入力操作を検知するステップと、
    ユーザーの入力操作が検知されることに伴い、前記一の表示画面においてグルーピングされた少なくとも１つの閉領域の中から、前記入力操作が検知された閉領域を特定し、複数の操作イベント判定ルーチンの中から、その特定した閉領域のグループに関連付けられた共通の操作イベントに対応する操作イベント判定ルーチンだけを起動して、ユーザーの入力操作に対応する操作イベントを特定するステップと、
    を有することを特徴とする操作イベント判別方法。

Images