JP2018124631A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】ＯＳやウィンドウシステムのカスタマイズを行うことなく画面の拡大表示を実現し、その上で操作を行うことが可能な情報処理装置を提供する。【解決手段】拡大機能が有効な場合に、拡大制御部３０１は、アプリケーション部４０１が生成する画像をキャプチャし、拡大機能において表示する画像を描画する処理を一定の時間間隔で繰り返し行う。また、拡大制御部３０１は、拡大機能を有効にする通知に含まれる拡大率及び座標に基づき、キャプチャした画像を拡大し、ディスプレイ１１９に表示されるように制御する。拡大機能が有効な場合に、ユーザがタッチパネル１１８を操作すると、拡大制御部３０１は、ユーザのタッチ位置を表す座標を、アプリケーション部４０１が生成した画像の座標に変換し、アプリケーション部４０１に送信する。アプリケーション部４０１は、変換された座標に基づき、該座標と関連付けられた処理を実行する。【選択図】図２

Description

本発明は、情報処理装置、制御方法、及びプログラムに関する。

表示装置を備えた情報処理装置には、表示装置の表示画面に表示する画像を自由な拡大率で拡大表示する拡大機能を有するものがある。この拡大機能は、写真や文字等のＡＰ（アプリケーションソフトウェア）に依存するコンテンツの拡大ではなく、表示画面に表示された全体画像を拡大するものである。このため、拡大機能を備える情報処理装置は、アイコン等のオブジェクトを含む、表示画面に表示される全ての画像をユーザに最適な大きさで表示することが可能となり、ユーザのアクセシビリティが向上する。例えば、視力の弱いユーザであっても操作に支障をきたすことが少なくなりうる。

特許文献１は、ユーザが実際に操作している操作画面をリアルタイムにキャプチャし、キャプチャした画像を画面に表示する情報処理装置を開示している。また、特許文献１には、キャプチャ画像上の不要な領域を削除することにより特定の領域へズーミングが行われることが記載されている。

特開２０１２−２５２３７０号公報

表示画面を常に更新しながら全体画像を拡大していく必要がある場合に、拡大機能は、ＯＳ（オペレーティングシステム）やウィンドウシステム等のシステムレベルで組み込まれる。すなわち、拡大機能を有するＯＳやウィンドウシステムを採用していない情報処理装置では、表示画面に表示される全体画像の拡大表示を行うことができない。また、ＯＳやウィンドウシステムのカスタマイズはライセンス等の問題があるために、ＯＳやウィンドウシステムに後付けで拡大機能を付加することは困難である。

さらに、ＡＰの実行画面を拡大機能により拡大して表示している場合、拡大された画像への操作によりＡＰを操作可能な情報処理装置は、現在市場に提供されていない。特許文献１は、操作ガイドに表示する画像をキャプチャする方法を開示しているが、キャプチャした画像の上でユーザが操作を行うことは想定されていない。

本発明は、ＯＳやウィンドウシステムのカスタマイズを行うことなく画面の拡大表示を実現し、その上で操作を行うことが可能な情報処理装置を提供することを目的とする。

本発明の一実施形態の情報処理装置は、拡大表示を有効にする通知を受け付ける受け付け手段と、受け付け手段が通知を受け付けた場合に、アプリケーションが処理の結果として生成した画像を所定の時間間隔で繰り返しキャプチャするキャプチャ手段と、拡大表示を有効にする通知に含まれる拡大率、及び座標情報に基づき、直近にキャプチャされたアプリケーションが生成した画像を拡大し、該拡大した画像を表示するように制御する制御手段と、拡大した画像が表示されている際に、ユーザが該拡大した画像を操作した位置の座標情報を、アプリケーションが生成した画像の座標情報に変換する変換手段と、を備え、アプリケーションは、変換された座標情報に基づき、該座標情報と関連付けられた処理を実行する。

本発明の情報処理装置によれば、ＯＳやウィンドウシステムのカスタマイズを行うことなく画面の拡大表示を実現し、その上で操作を行うことが可能となる。

一実施形態に係る情報処理装置のハードウェア構成例を示す図である。 情報処理装置の制御部の機能構成例を示す図である。 表示領域の切り替え処理を説明するための図である。 ディスプレイに表示される拡大鏡枠を説明するための図である。 ディスプレイに表示される全体拡大された画像を説明するための図である。 拡大機能による画像の切り替え処理を説明するためのフローチャートである。 イベントの処理を説明するためのフローチャートである。 拡大鏡のイベント処理を説明するためのフローチャートである。 全体拡大のイベント処理を説明するためのフローチャートである。 キャプチャ画像の処理を説明するためのフローチャートである。 拡大鏡、及び全体拡大の描画処理を説明するためのフローチャートである。 デバイスイベントを受信した際の処理を説明するフローチャートである。 一般アプリケーションが表示する画面の一例を示す図

（構成）
図１は、本発明の一実施形態に係る情報処理装置のハードウェア構成例を示す図である。情報処理装置１０１は、画像形成装置やスマートフォンのようにディスプレイ（表示装置）１１９を備えるコンピュータである。情報処理装置１０１は、ＯＳやウィンドウシステム等のシステムレベルで拡大機能を有していないものとする。情報処理装置１０１は、ディスプレイ１１９の他に、制御部１１０、タッチパネル１１８、及び外部メモリ１２０を備える。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２、及びＲＯＭ（ＲｅａｄＯｎｌｙ Ｍｅｍｏｒｙ）１１３を備え、情報処理装置１０１全体の動作を制御する。制御部１１０は、タッチパネル１１８に接続される入力制御部１１４、ディスプレイ１１９に接続される表示制御部１１５、及び外部メモリ１２０に接続される外部メモリＩ／Ｆ（インタフェース）１１６を備える。

また制御部１１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク１０２との通信制御を行う通信Ｉ／Ｆコントローラ１１７を備える。ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、入力制御部１１４、表示制御部１１５、外部メモリＩ／Ｆ１１６、及び通信Ｉ／Ｆコントローラ１１７は、システムバスＢを介して相互に通信可能に接続される。

ＣＰＵ１１１は、ＲＯＭ１１３や外部メモリ１２０に格納されるコンピュータプログラムを読み出し、ＲＡＭ１１２をワークエリアとして用いて読み出したコンピュータプログラムを実行することで、情報処理装置１０１の各部の動作を制御する。ＲＯＭ１１３は、不揮発性メモリであり、コンピュータプログラムの他に、処理に必要な各種のデータを保持する記憶媒体である。ＲＡＭ１１２は、揮発性メモリであり、処理を行う際の一時記憶領域を提供する。

入力制御部１１４は、入力デバイスを用いたユーザの操作を受け付けて、受け付けた操作に応じた制御信号をＣＰＵ１１１に送信する。本実施形態では、図１に示すように、入力デバイスとしてタッチパネル１１８を備えているが、これに限られるものではない。例えば、入力デバイスとして、タッチパネル１１８の他に、キーボード等の文字入力デバイスやマウス等のポインティングデバイスを備えていてもよい。タッチパネル１１８は、ユーザの指やスタイラスペン等によりタッチされた位置を検出するポインティングデバイスである。

タッチパネル１１８は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のものを用いることができる。入力制御部１１４は、タッチパネル１１８が検出した位置に応じた制御信号をＣＰＵ１１１に送信する。ＣＰＵ１１１は、該制御信号に基づいて処理を実行する。ＣＰＵ１１１は、これにより情報処理装置１０１に対するユーザの操作に応じた処理を行う。

表示制御部１１５は、ＣＰＵ１１１の制御に基づき、ディスプレイ１１９に画像を表示させる。表示制御部１１５は、例えば、処理に関連付けられたオブジェクトで構成される画像をディスプレイ１１９に表示させる。本実施形態の表示制御部１１５は、ディスプレイ１１９に拡大率１００％の画像を表示させる他に、この画像を所定の拡大率で拡大した拡大画像を表示させることも可能である。

ディスプレイ１１９の表示画面には、タッチパネル１１８が一体になるように設けられている。タッチパネル１１８は、ディスプレイ１１９の表示を妨げないような透過率で構成される。ＣＰＵ１１１は、ディスプレイ１１９に表示されるオブジェクトの位置と、タッチパネル１１８で検出されたタッチ位置とから、ユーザが操作（タッチ）したオブジェクトを特定し、該オブジェクトに関連付けられた処理を実行する。このようにタッチパネル１１８及びディスプレイ１１９により、ユーザがディスプレイ１１９に表示された画像を直接的に操作して入力を行うような操作画面、すなわちＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成することができる。

外部メモリＩ／Ｆ１１６には、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、メモリカード等の外部メモリ１２０が装着可能である。外部メモリＩ／Ｆ１１６は、ＣＰＵ１１１の制御に基づき、装着された外部メモリ１２０からのデータの読み出しや、当該外部メモリ１２０へのデータの書き込みを行う。通信Ｉ／Ｆコントローラ１１７は、ネットワーク１０２を介して、ネットワーク１０２に接続された他の装置との通信を制御する。

なお、ＣＰＵ１１１は、タッチパネル１１８への次のような操作や状態を検知することができる。タッチダウン：タッチパネル１１８を指等の指示体が触れたこと（タッチ開始）ムーブ：タッチパネル１１８を指示体が触れたままの状態（タッチ継続中）。タッチアップ：タッチパネル１１８に触れていた指示体が離れたこと（タッチ終了）。

これらの操作または状態や、タッチパネル１１８上でユーザがタッチする位置を表す位置座標等の情報は、入力制御部１１４及びシステムバスＢを介してＣＰＵ１１１に通知される。ＣＰＵ１１１は、通知された情報に基づいてタッチパネル１１８上でどのような操作が行なわれたかを判定する。ＣＰＵ１１１は、ムーブ時の指やスタイラスペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１１８上の垂直成分・水平成分毎に判定する。

また、上述した以外にも、ＣＰＵ１１１は、タッチパネル１１８への次のような操作や状態を検知することができる。例えば、タッチパネル１１８上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。そして、素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。

所定距離以上を、所定速度以上でムーブしたことが検知され、そのままタッチアップが検知されるとフリックが行われたものと判定される。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合は、ドラッグが行われたものと判定されるものとする。また、画面上の任意の１点を軽く叩く（プレス＆リリース）操作を「シングルタッチ」と呼び、画面上の任意の１点を２回連続で軽く叩く（プレス＆リリースを２セット繰り返す）操作を「ダブルタッチ」と呼ぶ。

また、タッチパネル１１８は、タッチオンやムーブしている位置を複数同時に検出するマルチタッチにも対応している。タッチパネルを２本の指やスタイラスペンで触れている状態から、その２点を結ぶ線分の方向に対して、２点間の距離を縮めたり伸ばしたりするように指を移動することがある。ユーザが２本の指を近づけたり離したりする操作は、ちょうど指で物をつまんだり、引き延ばす行為に似ていることから「ピンチ操作」と呼ばれる。通常、ピンチ操作は、ユーザの親指と人差し指を使って行われることが多い。

ＣＰＵ１１１は、２点同時にタッチされている状態から、それぞれもしくは一方のタッチ位置が移動したとき、すなわち２点のムーブが同時に検出され、そのムーブの位置座標が変化した場合、ピンチ操作が行われたと判断する。また、ＣＰＵ１１１は、ピンチ操作している２点を結ぶ線分の中心点座標、２点間の距離を算出することができる。ＣＰＵ１１１は2点間の距離が大きくなった場合、ピンチアウト操作が行われたと判断し、2点間の距離が小さくなった場合、ピンチイン操作が行われたと判断する。

図２は、情報処理装置の制御部の機能構成例を示す図である。詳細には、情報処理装置１０１の制御部１１０が実現する表示制御のための機能構成例を示す。各機能ブロックは、ＣＰＵ１１１がＲＯＭ１１３や外部メモリ１２０からコンピュータプログラムを読み出して実行することで形成されるが、ハードウェアとして構成されてもよい。情報処理装置１０１は、画面制御部２０１、拡大制御部３０１、アプリケーション部４０１、及びデバイス制御部５０１を備える。

これら各機能ブロックにより、情報処理装置１０１は、ディスプレイ１１９に表示されている画像を拡大する拡大機能を実現する。情報処理装置１０１が有する拡大機能には、ディスプレイ１１９に表示される画像の全体をピンチ操作等で拡大縮小する全体拡大機能と、虫眼鏡のように枠の中に画像の一部分を拡大表示する拡大鏡機能との２つの機能がある。以下、全体拡大機能を単に「全体拡大」と称し、拡大鏡機能を単に「拡大鏡」と称する。

画面制御部２０１は、拡大機能を含むＡＰ（アプリケーションソフトウェア）の管理、表示する画像の画像情報をディスプレイ１１９に転送する処理、ユーザによるタッチパネル１１８へのタッチ操作に応じたイベントをＡＰに通知する処理等を行う。画面制御部２０１は、画面情報制御部２０２、画面情報格納部２０３、画面表示部２０４、入力情報制御部２０５、及び入力情報通知部２０６を備える。

画面情報制御部２０２は、デバイス制御部５０１から拡大モード（拡大機能）が切り替わったことを表す拡大モード通知を受信し、画面情報格納部２０３へ拡大モード通知を格納する。拡大モード通知には、拡大機能が有効か否かを表す情報、拡大率、全体拡大か拡大鏡かを表す情報等が含まれる。また、画面情報制御部２０２は、拡大制御部３０１に対して拡大モード通知を送信し、拡大制御部３０１からの指示により、画面表示部２０４に表示領域の切り替えを指示する。

画面表示部２０４は、ディスプレイ１１９に表示される画像を表示領域に描画する。表示領域は、同じ表示サイズの２つの表示領域を備えている。２つの表示領域には、それぞれ拡大されていない通常の画像と、拡大機能により拡大された画像とが描画される。画面表示部２０４は、画面情報制御部２０２から表示領域の切り替えの指示を受信して、２つの表示領域に描画されている画像のうち、どちらをディスプレイ１１９に表示するかの切り替え処理を行う。

図３は、表示領域の切り替え処理を説明するための図である。図３は、最終的な画像の転送先であるディスプレイ１１９と、ディスプレイ１１９に転送される画像が描画される仮想ディスプレイ領域６０１（表示領域）とを表している。仮想ディスプレイ領域６０１は、例えばＲＡＭ１１２に設けられる。仮想ディスプレイ領域６０１は、同じ表示サイズ（例えば、本実施形態では横幅が１０２４ピクセル、高さが６００ピクセル）の２つの表示領域である通常表示領域６０２と拡張表示領域６０３とで構成される。

通常表示領域６０２及び拡張表示領域６０３の表示サイズは、ディスプレイ１１９の表示サイズ（例えば横幅が１０２４ピクセル、高さが６００ピクセル）に応じて決められる。ディスプレイ１１９には、仮想ディスプレイ領域６０１から、通常表示領域６０２に描画される画像と拡張表示領域６０３に描画される画像とのいずれか一方が表示される。

通常表示領域６０２には、画面表示部２０４が、開始座標６０４のＸ座標「０」、Ｙ座標「０」を始点として画像を描画する。通常表示領域６０２に描画される画像は、アプリケーション部４０１が生成する。拡張表示領域６０３には、画面表示部２０４が、開始座標６０５のＸ座標「１０２４」、Ｙ座標「０」を始点として画像を描画する。拡張表示領域６０３に描画される画像は、拡大表示制御部３０７で生成される。

つまり、アプリケーション部４０１でＡＰの実行により生成されるＡＰの実行画像が通常表示領域６０２に描画され、拡大制御部３０１で生成される実行画像の拡大画像が拡張表示領域６０３に描画される。図３の例では、コピーアプリケーションにより生成されるコピー設定画面が通常表示領域６０２に描画されている。また、コピー設定画面の一部を拡大した拡大画像が拡張表示領域６０２に描画されている。

画面表示部２０４は、画面情報制御部２０２からの表示領域の切り替えの指示により、通常表示領域６０２に描画された画像と、拡張表示領域６０３に描画された画像のいずれか一方をディスプレイ１１９に転送する。図３では、拡大機能が有効となっており、拡張表示領域６０３の画像がディスプレイ１１９に転送、表示されていることを表している。

図２の説明に戻る。入力情報制御部２０５は、ユーザのタッチパネル１１８への操作に応じた制御信号を解析して、ＡＰで処理可能なイベント情報の形式に変換し、入力情報通知部２０６に送信する。イベント情報は、タッチパネル１１８への操作や状態を表し、タッチ操作されたタッチ位置の座標情報等を含む。

入力情報通知部２０６は、入力情報制御部２０５からイベント情報を受信する。入力情報通知部２０６は、画面情報格納部２０３に格納されている拡大モード通知を参照して、拡大機能が無効であればアプリケーション部４０１へイベント情報を送信し、拡大機能が有効であれば拡大制御部３０１へイベント情報を送信する。また、入力情報通知部２０６は、イベント情報の受信によりタッチパネル１１８が操作されたと判断して、後述のタイマ制御部５０３に対してタイマのリセットを指示する。

拡大制御部３０１は、アプリケーション部４０１が通常表示領域６０２に描画した画像をキャプチャし、キャプチャした画像（キャプチャ画像）を拡大して拡張表示領域６０３に描画する。拡大制御部３０１は、拡大情報制御部３０２、画像キャプチャ部３０３、キャプチャ画像格納部３０４、拡大入力制御部３０５、拡大入力情報格納部３０６、拡大表示制御部３０７、及び拡大表示情報格納部３０８を備える。

拡大情報制御部３０２は、画面情報制御部２０２から拡大モード通知を受信し、受信した拡大モード通知を拡大表示制御部３０７に送信する。拡大情報制御部３０２は、画面情報制御部２０２から受信した拡大モード通知に基づき拡大機能が有効か否かを判断し、判断結果に応じて表示領域の切り替えを指示する。

画像キャプチャ部３０３は、拡大表示制御部３０７からの指示に基づき、画面表示部２０４で通常表示領域６０２に描画された画像をキャプチャし、キャプチャ画像をキャプチャ画像格納部３０４に格納する。

拡大入力制御部３０５は、入力情報通知部２０６からイベント情報を受信し、受信したイベント情報を拡大入力情報格納部３０６に格納する。また、拡大入力制御部３０５は、拡大表示制御部３０７にイベント情報を受信したことを通知する。拡大入力情報格納部３０６に格納されるイベント情報は、例えば、前述したタッチダウン、タッチアップ、ムーブ等のイベント種類、タッチされた位置を表す位置座標等を含む。イベント情報は、複数の位置のタッチによるイベント情報を１つのイベント情報として格納する場合もある。

拡大表示制御部３０７は、大きく分けて以下の３つの処理を行う。まず、拡大表示制御部３０７は、拡大表示情報の更新を行う。詳細には、拡大表示制御部３０７は、拡大入力制御部３０５から通知を受け付けると、拡大入力情報格納部３０６に格納されているイベント情報及び拡大表示情報格納部３０８に格納されている情報を取得する。

そして、拡大表示情報格納部３０８は、全体拡大機能の拡大率、全体画像の表示位置座標情報、拡大鏡の拡大率、拡大鏡の表示位置座標情報等の拡大表示情報を格納する。さらに、拡大表示制御部３０７は、取得した拡大表示情報を用いて新たな拡大率又は表示位置座標等を算出し、拡大表示情報格納部３０８に格納されている情報を更新する。拡大鏡及び全体拡大の表示位置座標については後述する。

また、拡大表示制御部３０７は、拡大機能のための画面表示制御を行う。詳細には、拡大表示制御部３０７は、常時、拡大表示情報格納部３０８を監視しており、拡大機能が有効であれば、画像キャプチャ部３０３に対して画像キャプチャを指示し、キャプチャ画像格納部３０４に格納されているキャプチャ画像を取得する。そして、拡大表示制御部３０７は、取得したキャプチャ画像を拡大表示情報格納部３０８に格納されている拡大率に基づいて拡大縮小を行い、拡大鏡の表示位置座標情報に従って、画面表示部２０４に描画指示を行う。拡大機能が無効であれば、拡大表示制御部３０７は、これらの画面表示制御を行わない。

また、拡大表示制御部３０７は、表示領域の切り替えを指示する。詳細には、拡大表示制御部３０７は、拡大情報制御部３０２から拡大モード通知を受信し、拡大機能が有効か否かに応じて、拡大情報制御部３０２に表示領域の切り替えを指示させる。拡大表示制御部３０７は、拡大機能が無効になったと判断した場合には、拡大情報制御部３０２に通常表示領域６０２への切り替えを指示させる。拡大表示制御部３０７は、拡大機能が有効になったと判断した場合には、拡大情報制御部３０２に拡張表示領域６０３への切り替えを指示させる。

アプリケーション部４０１は、ディスプレイ１１９への表示及びタッチパネル１１８による操作のための画像を生成するアプリケーションソフトウェア群である。アプリケーション部４０１は、デバイス設定アプリケーション４０２及び一般アプリケーション４０３を備える。アプリケーション部４０１が画面表示部２０４に描画指示を送信することで、通常表示領域６０２に画像が描画される。

デバイス設定アプリケーション４０２は、主に管理者が情報処理装置１０１本体の各種設定値を使用環境に合わせて設定するためのＡＰである。例えば、デバイス設定アプリケーション４０２は、言語設定、省電力設定、ネットワーク設定、拡大機能設定等の設定に用いられる。設定値に応じて情報処理装置１０１の動作が決定される。本実施形態においては、拡大機能の設定として、全体拡大機能の有効／無効、拡大鏡機能の有効／無効が設定される。なお、全体拡大機能と拡大鏡機能は排他関係にあり、いずれか一方のみ有効に設定できる。

例えば、全体拡大機能を有効に設定した場合は、拡大鏡機能は無効となる。デバイス設定アプリケーション４０２による拡大機能の設定に応じて拡大モード通知に含まれる情報が設定される。一般アプリケーション４０３は、一般のユーザが使用するＡＰであり、情報処理装置１０１が備える機能に対応するＡＰである。ここでは説明を簡略化するために一つの一般アプリケーション４０３のみ示しているが、一般アプリケーション４０３が複数あってもよい。一般アプリケーション４０３としては、例えばコピー、スキャン、スキャンしたデータの送信、保存、プリント等、様々なＡＰがある。

デバイス制御部５０１は、情報処理装置１０１の状態の監視及び管理を行う。デバイス制御部５０１は、デバイス情報制御部５０２、タイマ制御部５０３、及びデバイス情報格納部５０４を備える。

デバイス情報制御部５０２は、常時、デバイス情報格納部５０４を監視しており、デバイス設定アプリケーション４０２により設定値が更新されたことを検知すると、画面情報制御部２０２に更新された設定値を含む拡大モード通知を送信する。例えば、デバイス情報制御部５０２は、デバイス設定アプリケーション４０２により全体拡大機能又は拡大鏡機能が有効に設定されると、拡大モード通知を生成して画面情報制御部２０２に送信するデバイス情報格納部５０４は、デバイス設定アプリケーション４０２により設定された設定値を格納する他に、省電力モードへの移行時間やオートクリアする時間を格納する。

タイマ制御部５０３は、情報処理装置１０１が一定時間操作されなかった場合に移行する省電力モードや、ユーザが途中まで操作していた画像をデフォルト画像に戻すオートクリア等の管理を行う。具体的には、タイマ制御部５０３は、時間をカウントアップしておき、カウントアップしている時間とデバイス情報格納部５０４に格納されている省電力モードへの移行時間やオートクリアする時間との比較を行う。タイマ制御部５０３は、比較の結果、カウントアップしている時間がそれらの時間を過ぎた場合に、デバイス情報制御部５０２に対して、省電力モードやオートクリアの要求を行う。

デバイス情報制御部５０２は、タイマ制御部５０３からの通知要求を受けると、画面情報制御部２０２にオートクリア、または省電力モードに入ったことを通知する。また、タイマ制御部５０３は、入力情報通知部２０６からタイマのリセットの指示があれば、自身のタイマをリセットすることで、省電力モードやオートクリア等の処理を遅延させる。

＜拡大鏡機能＞
図４は、拡大鏡機能が有効な場合に、ディスプレイに表示される拡大鏡枠を説明するための図である。拡大鏡機能が有効な場合に、ディスプレイ１１９には、拡張表示領域６０３の画像が表示される。拡大鏡枠７０５は、拡張表示領域６０３よりも小さい大きさであり、拡張表示領域６０３内に表示される。中心座標７０１は、拡大鏡枠７０５の表示位置の中心座標である。拡大鏡枠７０５は、ユーザによるドラッグ操作に応じて拡張表示領域６０３内で移動可能である。図４では、拡大鏡枠７０５が移動して、中心座標７０２の拡大鏡枠７０６となった状態を表している。

拡張表示領域６０３に描画される画像は、拡張表示領域６０３の左上の座標（１０２４，０）を原点として描画される。この画像は、通常表示領域６０２に描画される画像と同じであり、拡大されていない。拡大鏡枠７０５内に表示される画像（拡大鏡画像）は、拡大鏡枠７０５の左上の座標（０，０）を原点として描画される。拡大鏡枠７０５の中心座標７０１は、拡張表示領域６０３の左上の座標（１０２４，０）を原点として表される。拡大鏡枠７０５に表示される拡大鏡画像は、拡大鏡枠７０５の中心座標７０１と同座標の拡張表示領域６０３に描画される画像を拡大鏡の拡大率に応じて拡大し、その一部をクリップした画像である。

拡大鏡枠７０５の中心座標７０１、横幅７０７、及び高さ７０８は、拡大鏡枠７０５の表示位置座標情報として、拡大表示情報格納部３０８に格納される。なお、本実施形態では、拡大鏡枠の下に表示される画像は、通常表示領域６０２に描画される画像と同じであると説明したが、これに限られるものではない。拡大鏡枠の下に表示される画像が拡大されていてもよく、拡大鏡枠は、該拡大されている画像の上に表示され、さらに異なる拡大率で拡大表示されるように表示されてもよい。

ユーザは、ディスプレイ１１９上で拡大鏡枠７０５を拡大鏡枠７０６の位置に移動させるために、移動開始点７０３（ｘｘ１，ｙｙ１）でタッチダウンし、そのままムーブして移動終了点７０４（ｘｘ２，ｙｙ２）でタッチアップする。タッチダウン、ムーブ、タッチアップといった一連の操作によるイベントの座標として、通常表示領域６０２の横幅を含んだ仮想ディスプレイ領域６０１の座標がタッチパネル１１８から制御部１１０の画面制御部２０１に通知される。

拡大鏡枠７０６には、中心座標７０２と同座標の拡張表示領域６０３に描画される画像を拡大し、その一部をクリップした拡大鏡画像が表示される。移動後の拡大鏡枠７０６の中心座標７０２（ｘ２，ｙ２）は、例えば以下のように求められる。新たに求められた表示位置座標情報は、拡大表示情報格納部３０８に格納される。
ｘ２＝ｘ１＋（ｘｘ２−ｘｘ１）
ｙ２＝ｙ１＋（ｙｙ２−ｙｙ１）
図４では移動開始点の拡大鏡枠７０５及び移動終了点の拡大鏡枠７０６のみ表しているが、実際には移動開始点と移動終了点との間のムーブイベント中においても複数の移動点が存在する。このムーブイベント中の移動点についても同様に、座標計算及びそれに基づく拡大鏡の表示が行われる。以上の拡大鏡における座標計算及び表示に関する処理は、拡大表示制御部３０７が行う。

＜全体拡大機能＞
図５は、全体拡大機能が有効な場合に、ディスプレイに表示される全体拡大された画像を説明するための図である。全体拡大された画像は、拡張表示領域６０３に描画される。全体拡大機能が有効な場合に、ディスプレイ１１９には、拡張表示領域６０３の画像が表示される。通常表示領域６０２に表示される画像を特定の拡大率で拡大した拡大画像８０１は、ディスプレイ１１９に表示可能な大きさだけクリップされて、拡張表示領域６０３に描画される。拡大画像８０１は、例えば、通常表示領域６０２の画像がディスプレイ１１９に表示された状態で、ピンチ操作されることで得られる。

図５の例では、拡大画像８０１の原点８０９が、元の画像の原点から見て（−５０，−３０）の位置となる。すなわち、拡大画像８０１の原点８０９から見て（５０，３０）の位置から拡張表示領域６０３の横幅１０２４ピクセル、高さ６００ピクセルの範囲をクリップした画像が、拡張表示領域６０３に描画される。

ピンチ操作により画像を拡大するときの拡大率及び拡大画像８０１の原点８０９は、以下のように求められる。ピンチ操作では、タッチパネル１１８上の２点がタッチされる。１点目は、ピンチ操作開始時のピンチ開始座標８０２からピンチ操作終了時のピンチ終了座標８０３まで、タッチ位置が移動する。２点目は、ピンチ操作開始時のピンチ開始座標８０４からピンチ操作終了時のピンチ終了座標８０５まで、タッチ位置が移動する。これらの座標として、図３の通常表示領域６０２の横幅を含んだ仮想ディスプレイ領域６０１の座標が、タッチパネル１１８から制御部１１０の画面制御部２０１に入力される。

図５に示したピンチ操作では、ピンチ開始座標８０２とピンチ開始座標８０４との間の距離Ｄ１に比べて、ピンチ終了座標８０３とピンチ終了座標８０５と間の距離Ｄ２が大きい。このため、制御部１１０は、ピンチ操作が画像の拡大を指示していると判断する。距離Ｄ１、Ｄ２は、ピンチ開始座標８０２を（ｘｘ１１，ｙｙ１１）、ピンチ開始座標８０４を（ｘｘ２１，ｙｙ２１）、ピンチ終了座標８０３を（ｘｘ１２，ｙｙ１２）、ピンチ終了座標８０５を（ｘｘ２２，ｙｙ２２）とすると、以下の式で表される。

Ｄ１＝√（（ｘｘ２１−ｘｘ１１）^２＋（ｙｙ２１−ｙｙ１１）^２）Ｄ２＝√（（ｘｘ２２−ｘｘ１２）^２＋（ｙｙ２２−ｙｙ１２）^２）

通常表示領域６０２に描画される画像の現在の拡大率Ｒ１（通常は１００％）、距離Ｄ１、Ｄ２とすると、ピンチ操作による画像の拡大率Ｒ２は、以下の式で表される。拡大表示制御部３０７は、この新しい拡大率Ｒ２で画像を拡大する。
Ｒ２＝Ｒ１×Ｄ２／Ｄ１

拡大画像８０１の原点８０９の座標（ｘ０１，ｙ０１）は、新しい拡大率Ｒ２により求められる。ここでは、ピンチ操作を行う２点の中心点の座標を起点に画像を拡大する場合について説明する。ピンチ開始時の中心点８０６とピンチ終了時の中心点８０７とが同じ位置である場合、中心点の座標（ｘ１，ｙ１）は通常表示領域６０２の横幅を減算して以下の式で表される。
ｘ１＝（ｘｘ１１−１０２４＋ｘｘ２１−１０２４）／２
ｙ１＝（ｙｙ１１＋ｙｙ２１）／２

拡大前の画像の原点８０８の座標（ｘ００，ｙ００）から中心点までの距離は、以下の式で表される。
（拡大画像の原点のｘ座標から中心点のｘ座標までの距離）＝ｘ１−ｘ００
（拡大画像の原点のｙ座標から中心点のｙ座標までの距離）＝ｙ１−ｙ００

これらの式により、拡大画像８０１の原点８０９の座標（ｘ０１，ｙ０１）は、以下の式で表すことができる。
ｘ０１＝ｘ１−（ｘ１−ｘ００）×Ｒ２
ｙ０１＝ｙ１−（ｙ１−ｙ００）×Ｒ２

ピンチ開始時の中心点とピンチ終了時の中心点とが同じ位置であることは希であり、実際には、微妙にずれが生じる。そのために、中心点の座標の移動量を算出し、これを加味して拡大画像８０１の原点８０９の位置は求められる。ピンチ開始時の中心点８０６及びピンチ終了時の中心点８０７の各中心点座標（ｘ１，ｙ１）、（ｘ２，ｙ２）は、以下の式で表される。
ｘ１＝（ｘｘ１１−１０２４＋ｘｘ２１−１０２４）／２
ｙ１＝（ｙｙ１１＋ｙｙ２１）／２
ｘ２＝（ｘｘ１２−１０２４＋ｘｘ２２−１０２４）／２
ｙ２＝（ｙｙ１２＋ｙｙ２２）／２

中心点８０６から中心点８０７への移動量（Ｘｄ，Ｙｄ）は、以下の式で表される。
Ｘｄ＝ｘ２−ｘ１
Ｙｄ＝ｙ２−ｙ１
以上により、拡大画像８０１の原点８０９の座標（ｘ０１，ｙ０１）は、以下の式で表される。
ｘ０１＝ｘ１−（ｘ１−ｘ００）×Ｒ２＋Ｘｄ
ｙ０１＝ｙ１−（ｙ１−ｙ００）×Ｒ２＋Ｙｄ

ピンチ操作以外にも、ムーブ操作により画像を拡大することも可能である。この場合、例えば中心点８０６、８０７が、ムーブ操作の開始点及び終了点となる。中心点８０６、８０７間の移動量（Ｘｄ，Ｙｄ）がムーブ操作による移動量となり、拡大画像８０１の原点８０９の座標が算出でき、拡張表示領域６０３に表示される画像の領域を決定することができる。

なお、ピンチ操作時、またはムーブ操作時のいずれにおいても、操作の開始位置から終了位置まで連続して、位置を表す座標がタッチパネル１１８から制御部１１０の画面制御部２０１に入力される。操作の開始から終了までの間においても、連続して座標計算及びそれに基づく全体拡大した画像の表示が行われる。以上の全体拡大における座標計算及び表示に関する処理は、拡大表示制御部３０７が行う。拡大表示制御部３０７は、拡大率、拡大画像の原点座標、拡大画像の横幅、拡大画像の高さ等の拡大表示情報を拡大表示情報格納部３０８に格納する。

なお、本実施形態では拡張表示領域６０３を通常表示領域６０２の右横に設けた構成としているが、下に設けてもよい。その場合、拡張表示領域６０３は、座標（０、６００）から設けられる。操作によるタッチイベントでは、Ｙ方向に６００ピクセル加算された値が操作された位置を表す座標としてタッチパネル１１８から制御部１１０に入力される。

なお、本実施形態の計算式においては同様の座標を求められるものであれば、他の計算式によって計算することでもよい。

以上のような構成の情報処理装置１０１により実行される、ディスプレイ１１９への画像表示処理について説明する。

＜第１実施形態＞
＜拡大機能による画像の切り替え処理＞
図６は、拡大機能（全体拡大または拡大鏡）が有効か否かにより、ディスプレイに表示される画像を切り替える処理を説明するためのフローチャートである。画面情報制御部２０２は、デバイス情報制御部５０２から拡大モード通知を受け付けると（Ｓ１０１）、画面情報格納部２０３に、受け付けた拡大モード通知を格納する（Ｓ１０２）。また、画面情報制御部２０２は、受け付けた拡大モード通知を拡大情報制御部３０２に送信する（Ｓ１０３）。

拡大情報制御部３０２は、画面情報制御部２０２から送信された拡大モード通知を受信し、拡大表示制御部３０７に送信する（Ｓ１０４）。拡大表示制御部３０７は、拡大情報制御部３０２から送信された拡大モード通知を受信し、拡大表示情報格納部３０８に格納する（Ｓ１０５）。

拡大表示制御部３０７は、拡大モード通知により拡大機能が有効か否かを判断する（Ｓ１０６）。拡大機能が無効である場合（Ｓ１０６：Ｎ）、拡大表示制御部３０７は、拡大情報制御部３０２を介して画面情報制御部２０２に、ディスプレイ１１９に表示される画像を通常表示領域６０２の画像へ切り替えるように要求する（Ｓ１０７）。拡大機能が有効であれば場合（Ｓ１０６：Ｙ）、拡大表示制御部３０７は、拡大情報制御部３０２を介して画面情報制御部２０２に、ディスプレイ１１９に表示される画像を拡張表示領域６０３の画像へ切り替えるように要求する（Ｓ１０８）。

画面情報制御部２０２は、拡大情報制御部３０２からディスプレイ１１９に表示される画像を切り替える要求を受信し（Ｓ１０９）、要求が通常表示領域６０２の画像への切り替えであるか否かを判断する（Ｓ１１０）。要求が通常表示領域６０２の画像への切り替えである場合（Ｓ１１０：Ｙ）、画面情報制御部２０２は、画面表示部２０４がディスプレイ１１９に表示される画像を通常表示領域６０２の画像に切り替えるように指示する（Ｓ１１１）。要求が拡張表示領域６０３の画像への切り替えである場合（Ｓ１１０：Ｎ）、画面情報制御部２０２は、画面表示部２０４がディスプレイ１１９に表示される画像を拡張表示領域６０３の画像に切り替えるように指示する（Ｓ１１２）。

以上のように、拡大機能が切り替わったことを示す拡大モード通知をデバイス制御部５０１から受信したことに応じて、通常表示領域６０２の画像と拡大表示領域６０３の画像のいずれをディスプレイ１１９に表示させるかが切り替わる。

＜イベント処理＞
図７〜図１１は、ユーザの操作によるタッチパネルからの入力に応じたイベントの処理を説明するためのフローチャートである。

上述した通り、拡大鏡機能が有効な場合、ドラッグ操作により拡大鏡枠を移動させることができる。また、全体拡大機能が有効な場合、ドラッグ操作により拡大画像の表示位置を移動させることができる。一方、拡大鏡枠内に表示されているボタンを選択するためにタッチ操作を行うことや、全体拡大機能により拡大表示されている画像に含まれるリストをスクロール表示させるためにドラッグ操作を行うことが考えらえる。よって、例えば全体拡大機能が有効時にドラッグ操作が行われた場合、拡大画像の表示位置を移動させるための操作なのか、拡大表示されている画像に含まれるリストをスクロールするための操作なのかを適切に判断する必要がある。

そこで本実施形態では、最初にタッチパネル１１８の同じ位置を所定時間タッチし続ける長押し操作が行われたか否かに応じて、いずれを目的とした操作なのかを判断する例について説明する。

入力情報制御部２０５は、ユーザのタッチパネル１１８への操作に応じた制御信号を受信し（Ｓ２０１）、受信した制御信号をイベント情報に変換する（Ｓ２０２）。入力情報通知部２０６は、画面情報格納部２０３に格納されている拡大モード通知を取得し（Ｓ２０３）、取得した拡大モード通知により、拡大機能が有効か否かを判断する（Ｓ２０４）。拡大機能が無効であれば（Ｓ２０４：Ｎ）、入力情報通知部２０６は、アプリケーション部４０１にイベント情報を送信する（Ｓ２０５）。アプリケーション部４０１は、イベント情報に応じた処理を実行して処理を終了する。

例えば、コピーアプリケーションのコピー設定画面において、用紙選択ボタンが選択されたことを示すイベント情報を受信すると、コピーアプリケーションは、用紙選択画面（不図示）へ画面を切り替える。拡大機能が有効であれば合（Ｓ２０４：Ｙ）、入力情報通知部２０６は、拡大入力制御部３０５にイベント情報を送信する（Ｓ２０６）。

拡大入力制御部３０５は、入力情報通知部２０６からイベント情報を受信する（Ｓ２０７）。拡大入力制御部３０５は、受信したイベント情報を拡大入力情報格納部３０６に格納し（Ｓ２０８）、拡大表示制御部３０７にイベント情報を受信したことを通知する（Ｓ２０９）。拡大表示制御部３０７は、拡大入力制御部３０５から通知に応じて、拡大入力情報格納部３０６からイベント情報を取得する（Ｓ２１０）。拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている拡大モード通知に基づき、全体拡大機能と拡大鏡機能のいずれが有効かを判断する（Ｓ２１１）。

拡大鏡機能が有効な場合（Ｓ２１１：拡大鏡）、拡大表示制御部３０７は、拡大鏡のイベント処理を実行する（図８参照）。全体拡大機能が有効な場合（Ｓ２１１：全体拡大）、拡大表示制御部３０７は、画像の全体拡大のイベント処理を実行する（図９参照）。

図８は、拡大鏡のイベント処理を表すフローチャートである。拡大表示制御部３０７は、拡大表示情報格納部３０８から拡大鏡の表示位置座標情報を取得する（Ｓ３００）。拡大表示制御部３０７は、イベント情報から得られるタッチ位置が、取得した表示位置座標情報から得られる拡大鏡枠の表示エリア内か否かを判断する（Ｓ３０１）。

タッチ位置が拡大鏡枠の表示エリア内であれば（Ｓ３０１：Y）、拡大表示制御部３０７は、イベント情報が１点の座標情報のみを含んでいるか否かを判断する（Ｓ３０２）。
１点であれば（Ｓ３０２：Ｙ）、イベント情報がムーブか否かを判断する（Ｓ３０３）。イベント情報がムーブであれば（Ｓ３０３：Y）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ３０４）。

ＡＰイベント送信フラグは、アプリケーション部４０１にタッチイベントを送信中の場合にオンになるフラグである。つまり、ＡＰイベント送信フラグがオンである場合、拡大表示制御部３０７が受けたタッチパネルからのイベントはすべて通常表示領域のＡＰに送信するため、拡大画像の移動等は行われない。一方、ＡＰイベント送信フラグがオフである場合には、通常表示領域のＡＰにはタッチパネルからのイベントを送らず、拡大画像を動かすなど、拡大画像を操作するための処理が行われる。初期状態では、ＡＰイベント送信フラグはオフに設定されている。

ＡＰイベント送信フラグがオフであれば（Ｓ３０４：N）、拡大表示制御部３０７は、タッチダウン後のイベントを待機中かどうか判断する（Ｓ３０５）。Ｓ３１４、Ｓ３１５で後述するように、最初にタッチダウンを検出した際、長押しか否かを判断するために、ＡＰへのイベント送信や拡大画像の操作等を即座に行わずに、一定時間待機する。Ｓ３０５では、この待機時間中にムーブイベントを受信したか否かが判断される。待機中であれば（Ｓ３０５：Ｙ）、拡大表示制御部３０７は、ムーブイベントで受信した座標とタッチダウンイベントで受信した座標とを比較し、タッチ位置が閾値以上移動したか否かを判断する（Ｓ３０６）。

閾値以上移動した場合（Ｓ３０６：Ｙ）、長押しではないと判断し、待機状態を終了し（Ｓ３０７）、同様に長押しフラグをオフに設定する（Ｓ３０９）。閾値以上移動していないと判断したら（Ｓ３０６：Ｎ）、長押しフラグをオンに設定し（Ｓ３０８）処理を終了する。

この長押しフラグは、ユーザによるタッチ操作が、同じ位置を所定時間タッチし続ける長押し操作か否かを判断するためのフラグである。タッチダウンを検出後の待機中に、タッチ位置がほぼ動いてない場合に長押しフラグはオンになり、タッチ位置が所定以上移動した場合にオフになる。

Ｓ３０５において待機状態でない場合、もしくはＳ３０９で長押しフラグをオフに設定した後、拡大表示制御部３０７は、拡大鏡枠の表示位置座標を算出し、算出結果に応じて拡大表示情報格納部３０８の拡大表示情報を更新する（Ｓ３１０、Ｓ３１１）。Ｓ３０３において、イベント情報がムーブでなければ、拡大表示制御部３０７は、イベント情報がタッチアップか否かを判断する（Ｓ３１２）。イベント情報がタッチアップであれば（Ｓ３１２：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ３１３）。

ＡＰイベント送信フラグがオフの場合（Ｓ３１３：Ｎ）、処理を終了する。 Ｓ３１２において、イベント情報がタッチアップでなければ、拡大表示制御部３０７は、イベント情報がタッチダウンであるか否かを判断する（Ｓ３１４）。イベント情報がタッチダウンであれば（Ｓ３１４：Ｙ）、拡大表示制御部３０７は所定時間待機する（Ｓ３１５）。所定時間が経過すると、拡大表示制御部３０７は、長押しフラグがオンであるかを判断する（Ｓ３１６）。長押しフラグがオンであれば（Ｓ３１６：Ｙ）、ＡＰにイベント送信を開始すると判断し、Ｓ３１７以降の処理に進む。長押しフラグがオフであれば（Ｓ３１６：Ｎ）処理を終了する。イベント情報がタッチダウンでない場合（Ｓ３１４：Ｎ）、処理を終了する。

長押しフラグがオンである場合（Ｓ３１６：Ｙ）、及びＡＰイベント送信フラグがオンである場合（Ｓ３０４：Ｙ、Ｓ３１３：Ｙ）、拡大表示制御部３０７は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ３１７）。つまり、タッチイベントをすべてアプリケーション部４０１に送るために、拡大表示制御部３０７は、拡張表示領域６０３の座標から通常表示領域６０２の座標への座標変換を行う。座標変換について、図４により説明する。

図４の中心座標７０１（ｘ１，ｙ１）が拡大鏡枠７０５の中心位置を表し、移動開始点７０３（ｘｘ１，ｙｙ１）がイベント情報に含まれるタッチ位置を表す座標である。拡大鏡の拡大率はＲである。座標変換後の通常表示領域６０２の座標（ｘ，ｙ）は、拡張表示領域６０３の左上の座標（１０２４，０）を用いて以下の式で表される。
ｘ＝（（ｘｘ１−１０２４）−ｘ１）／Ｒ＋ｘ１
ｙ＝（ｙｙ１−ｙ１）／Ｒ＋ｙ１
拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介してイベント情報を送信する（Ｓ３１８）。

このように、ユーザが拡大鏡枠内に拡大表示された画像に対してタッチ操作を行うと、該タッチ操作によるイベント情報が通常表示領域６０２の画像に対して行われたイベント情報に変換される。変換されたイベント情報は、通常表示領域６０２に画像を表示するＡＰに通知され、ＡＰは通知されたイベント情報に基づいて所定の動作を行う。よって、ユーザは、拡大鏡枠内に拡大表示された画像を見ながらＡＰの操作を行うことができる。

イベント情報の送信後、拡大表示制御部３０７は、イベント情報がタッチアップであるか否かを判断する。イベント情報がタッチアップであれば（Ｓ３１９：Y）、拡大表示制御部３０７は、ＡＰイベント送信フラグをオフにする（Ｓ３２０）。イベント情報がタッチアップ以外であれば（Ｓ３１９：N）、拡大表示制御部３０７は、ＡＰイベント送信フラグオンにする（Ｓ３２１）。拡大表示制御部３０７はＡＰイベント送信フラグを設定後、拡大鏡のイベント処理を終了する。

Ｓ３０１において、タッチ位置が拡大鏡枠の表示エリア外であれば、拡大表示制御部３０７は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ３２２）。同様に、Ｓ３０２において、イベント情報が１点の座標情報でなければ（Ｓ３０２：Ｎ）、拡大表示制御部３０７は、２点以上のタッチ操作が行われたと判断し、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ３２２）。また、図４により説明すると、座標変換後の通常表示領域６０２の座標（ｘ，ｙ）は、拡張表示領域６０３の左上の座標（１０２４，０）を用いて以下の式で表される。
ｘ＝ｘｘ１−１０２４
ｙ＝ｙｙ１

拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介して送信する（Ｓ３２３）。このように、拡大鏡枠外に表示された画像に対してタッチ操作を行った場合や拡大鏡枠内の画像に対してピンチ操作を行った場合も、該タッチ操作によるイベント情報が通常表示領域６０２の画像に対して行われたイベント情報に変換される。変換されたイベント情報は、通常表示領域６０２に画像を表示するＡＰに通知され、ＡＰは通知されたイベント情報に基づいて所定の動作を行う。よって、ユーザは、拡大鏡枠の内外を問わず、表示された通りのＡＰ操作を行うことができる。

図８のフローチャートについて、具体例を挙げて説明する。情報処理装置１０１ではスキャンしたデータを送信するためのセンドアプリケーションが起動しているものとする。そして、センドアプリケーションにおいてデータの送信先を選択するためのアドレス帳画面（図１３）が表示されているものとする。ここで、拡大鏡機能が有効に設定され、拡大鏡がアドレス帳の一部を拡大表示しているものとする。

まず、ユーザが拡大鏡枠内に表示されたアドレス帳のリストをスクロールするために、拡大鏡枠内のアドレス帳リストを最初に長押ししてからドラッグ操作を行うものとする。この場合、最初にＳ３１４でタッチダウンが検出され、待機状態となる（Ｓ３１５）。続いてこの待機状態の間に、ムーブが検出されることとなるが（Ｓ３０３）、この時点ではＡＰイベント送信フラグがオフであり、指も動かしていないため、Ｓ３０４→Ｓ３０５→Ｓ３０６と進み、長押しフラグがオンになる（Ｓ３０８）。待機時間が経過するまでの間は、ムーブイベントが周期的に検出され続けるため、Ｓ３０３〜Ｓ３０８の処理が繰り返し行われる。

待機時間が経過すると、Ｓ３１６に進む。この時点では、長押しフラグがオンになっているため、座標の変換処理、座標変換後のセンドアプリケーションへのイベント送信処理が行われる（Ｓ３１７、Ｓ３１８）。また、Ｓ３１９ではイベント情報がタッチアップではないため、Ｓ３２１に進み、ＡＰイベント送信フラグがＯＮになる。

ユーザが長押し後にドラッグ操作を行うと、Ｓ３０３で再びムーブが検出されることになる。この時点ではＡＰイベント送信フラグがオンになっているため（Ｓ３０４：Ｙ）、座標の変換処理、座標変換後のセンドアプリケーションへのイベント送信処理が行われる（Ｓ３１７、Ｓ３１８）。

こうして、長押し後にユーザがドラッグ操作をしている間、タッチ位置に基いて座標変換されたイベント情報がセンドアプリケーションに送信され、センドアプリケーションでは当該イベント情報に基づいてアドレス帳リストをスクロールする。なお、センドアプリケーションによるスクロール中の画像は、後述する図１０の処理により拡大制御部３０１によりキャプチャされ、後述する図１１（ａ）の処理によりディスプレイ１１９に表示されることとなる。

続いて、ユーザが拡大鏡枠を移動させるために、拡大鏡枠をドラッグ操作するものとする。この場合、Ｓ３１４でタッチダウンが検出され、待機状態になった後（Ｓ３１５）、ムーブが検出される（Ｓ３０３）。この時点ではＡＰイベント送信フラグがオフであり（Ｓ３０４：Ｎ）、待機中であるため（Ｓ３０５）、タッチダウンイベントで受信した座標とムーブイベントで受信した座標に基づいて、タッチ位置が閾値以上移動したか否かが判断される（Ｓ３０６）。ここでは、閾値以上移動しているため（Ｓ３０６：Ｙ）、待機状態が終了となり（Ｓ３０７）、長押しフラグがオフとなる（Ｓ３０９）。そして、拡大鏡枠の表示位置座標の算出、拡大表示情報の更新が行われることとなる（Ｓ３１０、Ｓ３１１）。

以上の通り、拡大鏡枠内でタッチダウンした後すぐにドラッグ操作を開始した場合、拡大制御部がイベントを処理して拡大鏡枠を移動させる。一方、拡大鏡枠外でドラッグ操作を行った場合および、拡大鏡枠内でタッチダウンした後、所定時間指を動かさずに待機した後でドラッグ操作を行った場合、拡大制御部は拡大率を考慮して座標変換を行ってＡＰにイベントを通知する。従って、ユーザは例えばＡＰが表示したリストをスクロールさせるなどドラッグ操作によるＡＰ操作を行うことができる。また、ピンチイベントなど拡大鏡表示中は拡大制御部が処理しないイベントは拡大率を考慮して座標変換が行われ、ＡＰに通知される。従って、ユーザは例えばＡＰが表示した画像を拡大・縮小表示させるなどのＡＰ操作を行うことができる。

図９は、全体拡大のイベント処理を説明するためのフローチャートである。拡大表示制御部３０７は、拡大表示情報格納部３０８から全体拡大の表示位置座標情報を取得する（Ｓ４００）。表示位置座標情報を取得した拡大表示制御部３０７は、イベント情報が１点の座標情報のみを含んでいるか否かを判断する（Ｓ４０１）。

１点でなければ（Ｓ４０１：N）、拡大表示制御部３０７は、２点以上のタッチ操作が行われたと判断して、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ４０２）。前述した通り、ＡＰイベント送信フラグは、アプリケーション部４０１にタッチイベントを送信中の場合にオンになるフラグである。ＡＰイベント送信フラグがオフであれば（Ｓ４０２：N）、拡大表示制御部３０７は、イベント情報に応じて複数の座標情報を用いた全体の拡大率を算出する（Ｓ４０３）。また、拡大表示制御部３０７は、複数の座標情報を用いて表示位置座標を算出する（Ｓ４０４）。拡大表示制御部３０７は、算出した拡大率及び表示位置座標に基づいて、拡大表示情報格納部３０８の拡大表示情報を更新する（Ｓ４０５）。

１点であれば（Ｓ４０１：Ｙ）、拡大表示制御部３０７はイベント情報がムーブか否かを判断する（Ｓ４０６）。イベント情報がムーブであれば（Ｓ４０６：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ４０７）。ＡＰイベント送信フラグがオフであれば（Ｓ４０７：N）、拡大表示制御部３０７は、タッチダウン後のイベントを待機中かどうか判断する（Ｓ４０８）。Ｓ４１７、Ｓ４１８で後述するように、最初にタッチダウンを検出した際、長押しか否かを判断するために、ＡＰへのイベント送信や拡大画像の操作等を即座に行わずに、一定時間待機する。

Ｓ４０８では、この待機時間中にムーブイベントを受信したか否かが判断される。待機中であれば（Ｓ４０８：Ｙ）、拡大表示制御部３０７は、ムーブイベントで受信した座標とタッチダウンイベントで受信した座標と比較し、タッチ位置が閾値以上移動したか否かを判断する（Ｓ４０９）。

閾値以上移動した場合（Ｓ４０９：Ｙ）、長押しではないと判断し、待機状態を終了し（Ｓ４１０）、長押しフラグをオフに設定する（Ｓ４１１）。閾値以上移動していないと判断したら（Ｓ４０９：Ｎ）、長押しフラグをオンに設定し（Ｓ４１４）、処理を終了する。前述した通り、長押しフラグは、ユーザによるタッチ操作が、同じ位置を所定時間タッチし続ける長押し操作か否かを判断するためのフラグである。

Ｓ４０８において待機状態でない場合、もしくはＳ４１１で長押しフラグをオフに設定した後、拡大表示制御部３０７は、全体拡大の表示位置座標を算出して、算出結果に応じて拡大表示情報格納部３０８の拡大表示情報を更新する（Ｓ４１２、Ｓ４１３）。Ｓ４０６において、イベント情報がムーブでなければ、拡大表示制御部３０７は、イベント情報がタッチアップか否かを判断する（Ｓ４１５）。イベント情報がタッチアップであれば（Ｓ４１５：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ４１６）。

Ｓ４１５において、イベント情報がタッチアップでなければ、拡大表示制御部３０７は、イベント情報がタッチダウンであるか否かを判断する（Ｓ４１７）。イベント情報がタッチダウンであれば（Ｓ４１７：Y）、拡大表示制御部３０７は、所定時間待機する（Ｓ４１８）。所定時間が経過すると、拡大表示制御部３０７は、長押しフラグがオンであるかを判断する（Ｓ４１９）。長押しフラグがオンであれば（Ｓ４１９：Ｙ）、ＡＰにイベント送信を開始すると判断し、Ｓ４２０以降の処理に進む。長押しフラグがオフであれば（Ｓ４１９：Ｎ）処理を終了する。イベント情報がタッチダウンでない場合（Ｓ４１７：Ｎ）、処理を終了する。

長押しフラグがオンである場合（Ｓ４１９：Ｙ）、及びＡＰイベント送信フラグがオンである場合（Ｓ４０２：Ｙ、Ｓ４０７：Ｙ、Ｓ４１６：Ｙ）、拡大表示制御部３０７は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ４２０）。つまりタッチイベントをすべてアプリケーション部４０１に送るために、拡大表示制御部３０７は、拡張表示領域６０３の座標から通常表示領域６０２の座標への座標変換を行う。座標変換を行う。

座標変換は、以下のように行われる。例えば、拡大画像の原点を（ｘ０１，ｙ０１）、拡大率をＲ、イベント情報に含まれるタッチ位置を表す座標を（ｘｘ１，ｙｙ１）とする。座標変換後の通常表示領域６０２の座標（ｘ，ｙ）は、拡張表示領域６０３の左上の座標（１０２４，０）を用いて以下の式で表される。
ｘ＝（（ｘｘ１−１０２４）−ｘ０１）／Ｒ
ｙ＝（ｙｙ１−ｙ０１）／Ｒ
拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介してイベント情報を送信する（Ｓ４２１）。

このように、ユーザが拡大表示された画像に対してタッチ操作を行うと、該タッチ操作によるイベント情報が通常表示領域６０２の画像に対して行われたイベント情報に変換される。変換されたイベント情報は、通常表示領域６０２に画像を表示しているＡＰに対して通知され、ＡＰは通知されたイベント情報に基づいて所定の動作を行う。よって、ユーザは、拡大表示された画像を見ながらＡＰの操作を行うことができる。

イベント情報の送信後、拡大表示制御部３０７は、イベント情報がタッチアップであるか否かを判断する。イベント情報がタッチアップであれば（Ｓ４２２：Y）、拡大表示制御部３０７は、ＡＰイベント送信フラグをオフにする（Ｓ４２３）。イベント情報がタッチアップ以外であれば（Ｓ４２２：N）、拡大表示制御部３０７は、ＡＰイベント送信フラグをオンにする（Ｓ４２４）。拡大表示制御部３０７はＡＰイベント送信フラグを設定後、全体拡大のイベント処理を終了する。

図９のフローチャートについて、具体例を挙げて説明する。情報処理装置１０１ではセンドアプリケーションが起動しており、データの送信先を選択するためのアドレス帳画面（図１３）が表示されているものとする。ここで、全体拡大機能が有効に設定され、アドレス帳リスト部分（図１３の領域９００）が拡大表示されているものとする。

まず、ユーザが拡大表示されたアドレス帳リストをスクロールするために、拡大画像上のアドレス帳リストを最初に長押ししてからドラッグ操作を行うものとする。この場合、最初にＳ４０１でタッチダウンが検出され、待機状態となる（Ｓ４１８）。続いて、この待機状態の間にムーブが検出されることとなるが（Ｓ４０６）、この時点ではＡＰイベント送信フラグがオフであり、指も動かしていないため、Ｓ４０７→Ｓ４０８→Ｓ４０９と進み、長押しフラグがオンになる（Ｓ４１４）。待機時間が経過するまでの間は、ムーブイベントが周期的に検出され続けるため、Ｓ４０６〜Ｓ４１４の処理が繰り返し行われる。

待機時間が経過すると、Ｓ４１９に進む。この時点では、長押しフラグがオンになっているため、座標の変換処理、座標変換後のセンドアプリケーションへのイベント送信処理が行われる（Ｓ４２０、Ｓ４２１）。また、Ｓ４２２ではイベント情報がタッチアップではないため、Ｓ４２４に進み、ＡＰイベント送信フラグがＯＮになる。

ユーザが長押し後にドラッグ操作を行うと、Ｓ４０６で再びムーブが検出されることになる。この時点ではＡＰイベント送信フラグがオンになっているため（Ｓ４０７：Ｙ）、座標の変換処理、座標変換後のセンドアプリケーションへのイベント送信処理が行われる（Ｓ４２０、Ｓ４２１）。こうして、長押し後にユーザがドラッグ操作をしている間、タッチ位置に基づいて座標変換されたイベント情報がセンドアプリケーションに送信され、センドアプリケーションでは当該イベント情報に基づいてアドレス帳リストをスクロールする。なお、センドアプリケーションによるスクロール中の画像は、後述する図１０の処理によりキャプチャされ、後述する図１１（ｂ）の処理によりディスプレイ１１９に表示されることとなる。

続いて、ユーザが全体拡大された画像の表示位置を移動させるために、拡大画像をドラッグ操作するものとする。この場合、Ｓ４１７でタッチダウンが検出され、待機状態になった後（Ｓ４１８）、ムーブが検出される（Ｓ４０６）。この時点ではＡＰイベント送信フラグがオフであり（Ｓ４０７：Ｎ）、待機中であるため（Ｓ４０８）、タッチダウンイベントで受信した座標とムーブイベントで受信した座標に基づいて、タッチ位置が閾値以上移動したか否かが判断される（Ｓ４０９）。ここでは、閾値以上移動しているため（Ｓ４０９：Ｙ）、待機状態が終了となり（Ｓ４１０）、長押しフラグがオフとなる（Ｓ４１１）。そして、全体拡大の表示位置座標の算出、拡大表示情報の更新が行われることとなる（Ｓ４１２、Ｓ４１３）。

以上の通り、ユーザがタッチダウンした後すぐにドラッグ操作を行った場合、拡大制御部がイベントを処理して拡大表示位置を移動させる。一方、ユーザがタッチダウンした後、所定時間指を動かさずに待機した後でドラッグ操作を行った場合、拡大制御部は拡大表示位置を移動させる処理を行わず、拡大率を考慮して座標変換を行ってＡＰにイベントを通知する。従って、ユーザは例えばＡＰが表示したリストをスクロールさせるなどドラッグ操作によるＡＰ操作を行うことができる。

また、タッチダウンした後すぐにピンチ操作を行った場合、拡大制御部がイベントを処理して全体拡大の拡大率を変更する。一方、ユーザがタッチダウンした後、所定時間指を動かさずに待機した後でピンチ操作を行った場合、全体拡大の拡大率を変更する処理を行わず、拡大率を考慮して座標変換を行ってＡＰに通知する。従って、ユーザは例えばＡＰが表示した画像を拡大・縮小表示させるなど、ピンチ操作によるＡＰ操作を行うことができる。

なお、上記説明では、最初に長押し操作が行われたか否かに応じて、ＡＰにイベントを送信するか、拡大画像に対する操作を行うかを切り替える例について説明したが、他の方法により上記切り替えを行うようにしてもよい。例えば、ユーザが所定の短い間隔で２回タッチダウンを行った場合（ダブルタップ）にＡＰへイベントを送信するようにしても良い。また、ＡＰへのイベント送信を指示するための専用のボタンを表示し、当該ボタンが押下された場合にその後に行われたタッチイベントをＡＰに送信するようにしてもよい。

＜キャプチャ画像処理＞
図１０は、キャプチャ画像を取得し、拡大機能（全体拡大または拡大鏡）において表示する画像を描画する処理を説明するためのフローチャートである。この処理は、拡大機能が有効になると開始され、情報処理装置１０１がシャットダウンされるまでの間に、一定の時間間隔で繰り返し行われる。一定の時間間隔とは、例えば、本実施形態では１０００ｍｓｅｃとしている。

拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている拡大モード通知を取得する（Ｓ５０１）。拡大表示制御部３０７は、拡大モード通知により拡大機能が有効か否かを判断する（Ｓ５０２）。拡大機能が無効の場合（Ｓ５０２：Ｎ）、拡大表示制御部３０７は、再度、拡大モード通知を取得する。拡大表示制御部３０７は、拡大機能が有効になるまでこの処理を繰り返す。

拡大機能が有効になると（Ｓ５０２：Ｙ）、拡大表示制御部３０７は、通常表示領域６０２に描画された画像を画像キャプチャ部３０３にキャプチャさせる。そして、画像キャプチャ部３０３は、キャプチャ画像を、キャプチャ画像格納部３０４に格納する（Ｓ５０３）。すなわち、一定の時間間隔で取得されるキャプチャ画像のうち、直近にキャプチャされた画像がキャプチャ画像格納部３０４に格納される。キャプチャ画像が格納されると、拡大表示制御部３０７は、拡大モード通知が拡大鏡の実行を指示しているか否かを判断する（Ｓ５０４）。

拡大モード通知が拡大鏡の実行を指示している場合（Ｓ５０４：Ｙ）、拡大表示制御部３０７は、拡大鏡の描画処理を行う（Ｓ５０５）。拡大モード通知が拡大鏡の実行を指示していない場合（Ｓ５０４：Ｎ）、すなわち全体拡大の実行を指示している場合、拡大表示制御部３０７は、全体拡大の描画処理を行う（Ｓ５０６）。

ここで、キャプチャ画像は、一定の時間間隔で取得されるため、通常表示領域６０２の画面が更新されている場合であっても、拡大鏡、または全体拡大の画面は更新されない場合がある。図８及び図９において、ＡＰイベント送信フラグがオンの場合は、ユーザが通常表示領域６０２の画面を操作していることを表しており、例えば、ユーザがボタンの押下、リストのスクロール等のアニメーション効果のある操作をしている場合が考えられる。

このとき、例えば、一定の時間間隔が１０００ｍｓｅｃとすると、拡大鏡または全体拡大において、アニメーションが途切れ途切れに表示されるか、全て終わった後の表示しかされないことがある。このため、本実施形態では、後述するステップにおいて、キャプチャする時間間隔の調整を行う。

拡大表示制御部３０７は、拡大鏡または全体拡大の描画処理後、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ５０７）。ＡＰイベント送信フラグがオンの場合（Ｓ５０７：Ｙ）、拡大表示制御部３０７は、タイマが５００ｍｓｅｃに設定されているか否かを判断する（Ｓ５０９）。一方、ＡＰイベント送信フラグがオフの場合（Ｓ５０７：Ｎ）、拡大表示制御部３０７は、タイマをデフォルト値である１０００ｍｓｅｃに設定する（Ｓ５０８）。

タイマは、図１０において、一連の処理を実行する時間間隔を示すものである。タイマが既に５００ｍｓｅｃに設定済みである場合（Ｓ５０９：Ｙ）、キャプチャ処理を終了後に、タイマで設定されている一定の時間が経過した後に再度、処理を最初から実行する。タイマが５００ｍｓｅｃに設定されていない場合（Ｓ５０９：Ｎ）、拡大表示制御部３０７は、取得したキャプチャ画像が前回のキャプチャ画像と比較して差分があるか否かを判断する（Ｓ５１０）。差分があると判断した場合（Ｓ５１０：Ｙ）、タイマは、５００ｍｓｅｃに設定される（Ｓ５１１）。

一方、差分がないと判断した場合（Ｓ５１０：Ｎ）、処理を終了する。すなわち、ＡＰイベント送信フラグがオンであり、かつ取得したキャプチャ画像が前回のキャプチャ画像と比較して差分がある場合、キャプチャする周期を早める。これは、アプリケーション部４０１に対してタッチイベントを送信しており、かつ画面の更新がある場合には、画像をキャプチャする周期を早めることを意味する。

なお、本実施形態では、ＡＰイベント送信フラグがオン、かつ、キャプチャ画像に差分がある場合に画像をキャプチャする時間間隔を所定の時間間隔より短い時間間隔に変更する処理について説明したが、これに限られるものではない。例えば、ＡＰ送信イベントフラグがオンの場合は、キャプチャ画像に差分があるか否かに拘わらず、キャプチャする時間間隔を所定の時間間隔より短い時間間隔に変更するようにしてもよい。また、本実施形態では、タッチアップ操作が行われるとＡＰイベント送信フラグがオフに設定され、画像をキャプチャする時間間隔がデフォルト値に設定されると説明したが、これに限られるものではない。

例えば、ユーザがフリック操作を行った場合など、ユーザが指をタッチパネルから離した後も画面が動く（画面が更新される）場合には、次のような処理を行ってもよい。すなわち、タッチアップ操作が行われたことによりＡＰイベント送信フラグがオフになった後、所定の時間が経過するまでの間は、画像をキャプチャする時間間隔を短い時間間隔に設定するように処理を行ってもよい。

＜拡大鏡の描画処理及び全体拡大の描画処理＞
図１１（Ａ）は、拡大鏡の描画処理を説明するためのフローチャートである。拡大表示制御部３０７は、キャプチャ画像格納部３０４に格納されているキャプチャ画像を取得して複製する（Ｓ６０１）。また、拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている拡大鏡の拡大率及び表示位置座標情報を取得する（Ｓ６０２）。拡大表示制御部３０７は、複製したキャプチャ画像を、取得した拡大率に応じて拡大する（Ｓ６０３）。拡大表示制御部３０７は、拡大したキャプチャ画像を、表示位置座標情報に基づいて拡大鏡枠の大きさにクリップする（Ｓ６０４）。

拡大表示制御部３０７は、拡大していない（複製元の）キャプチャ画像に、拡大してクリップしたキャプチャ画像を、表示位置座標情報が示す位置に合成する（Ｓ６０５）。拡大表示制御部３０７は、合成した画像を拡張表示領域６０３に描画する（Ｓ６０６）。そして、図６で示した処理によって画面制御部２０１が拡張表示領域６０３への表示切替えを行うことにより、ディスプレイ１１９には、拡大されたキャプチャ画像のクリップされた部分がキャプチャ画像の上に重畳された画像が表示される。

図１１（Ｂ）は、全体拡大の描画処理を説明するためのフローチャートである。拡大表示制御部３０７は、キャプチャ画像格納部３０４に格納されているキャプチャ画像を取得する（Ｓ７０１）。また、拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている全体拡大の拡大率及び表示位置座標情報を取得する（Ｓ７０２）。拡大表示制御部３０７は、キャプチャ画像を、取得した拡大率に応じて拡大する（Ｓ７０３）。拡大表示制御部３０７は、拡大したキャプチャ画像を、表示位置座標情報に基づいてディスプレイ１１９の大きさにクリップする（７０４）。

拡大表示制御部３０７は、クリップした画像を拡張表示領域６０３に描画する（Ｓ７０５）。そして、図６で示した処理によって画面制御部２０１が拡張表示領域６０３への表示切替えを行うことにより、ディスプレイ１１９には、拡大されたキャプチャ画像のクリップされた部分（画像）が表示される。

以上のように、本実施形態によれば、ＯＳやウィンドウシステムをカスタマイズすることなく、アプリケーションにより生成された画像全体を拡大して表示することが可能である。また、アプリケーションにより生成された画像の一部を拡大表示する拡大鏡表示が可能となる。これにより、視力の弱いユーザであっても操作に支障をきたすことが少なくなり、アクセシビリティが向上する。また、画像を拡大して表示している際に、ユーザがタッチアップやタッチダウン等のタッチ操作を行った場合に、拡大率や表示位置を考慮して座標変換を行った上で、実行中のＡＰにイベント情報が通知される。

このため、ユーザは、拡大表示された画像を見ながら、ＡＰに対して所望の操作を行うことが可能となる。例えば、全体拡大機能を有効にした場合、ユーザはピンチ操作により画面全体の拡大縮小を行うことができると共に、ドラッグ操作により拡大画像の表示位置を任意の位置に変更することができる。また、拡大鏡機能を有効にした場合、ユーザはドラッグ操作により拡大鏡枠を任意の位置に移動させることができる。

更に、拡大機能が有効なときにユーザからのタッチ操作に基づきアプリケーションの画面が更新される場合には、キャプチャ周期を通常よりも短く設定してキャプチャ処理を行うので、拡大機能の画面の表示をリアルタイムに更新することが可能となる。

（第２実施形態）
次に、本発明の第２実施形態に係る情報処理装置について説明する。第１実施形態では、ＡＰイベント送信フラグがオンの場合、すなわち、ユーザが表示されたＡＰを操作している際に画像をキャプチャする時間間隔の調整を行うことを説明した。これに対して、本実施形態では、ＡＰを操作している以外の場合であっても、例えば、情報処理装置から何等かの通知が行われるような場合等、画面の更新がある場合においても画像をキャプチャする時間間隔の調整を行うことを考える。

図８及び図９で示したＡＰイベント送信フラグがオンである以外の場合であっても、情報処理装置１０１が、何らかの通知を行っている場合に画面を更新することがあり得る。例えば、印刷を行っている場合や情報処理装置に問題が起こった場合には、プリント中であることやエラーメッセージ等の表示が一定の時間間隔で特定の箇所に行われ続けることがある。

図１２は、情報処理装置が何らかの通知を行う場合に、キャプチャ画像を取得して描画する処理を説明するためのフローチャートである。

画面情報制御部２０２は、プリント中や紙詰まり等の様々なイベントをデバイス情報制御部５０２から受信する（Ｓ８０１）と、アプリケーション部４０１にデバイスイベント通知（ステータス通知）を行う（Ｓ８０２）。画面情報制御部２０２は、画面情報格納部２０３に格納されている拡大モード通知により拡大機能が有効か否かを判断する（Ｓ８０３）。拡大機能が無効の場合（Ｓ８０３：Ｎｏ）、画面情報制御部２０２は、処理を終了する。拡大機能が有効の場合（Ｓ８０３：Ｙ）、画面情報制御部２０２は、拡大情報制御部３０２に対してデバイスイベントの通知を行う（Ｓ８０４）。

拡大情報制御部３０２は、画面情報制御部２０２からデバイスイベント通知を受信すると（Ｓ８０５）、ＡＰイベント送信フラグをオンに設定する（Ｓ８０６）。ここでは、図８及び図９で示したＡＰイベント送信フラグを処理に使用しているが、別のモード等を用意してもよい。拡大情報制御部３０２は、デバイスイベント受信タイマを開始する（Ｓ８０７）。デバイスイベント受信タイマは、デバイスイベントを受信すると０にクリアし、開始されると時間が加算される。デバイスイベントは、何度も連続して受信し、画面も都度更新される場合や、一度イベントを受信した後しばらく画面が更新され続ける場合がある。このため、一度イベントを受信してから一定時間経過したか否かを測るためにデバイスイベント受信タイマを用いる。

拡大情報制御部３０２は、デバイスイベント受信タイマに基づき一定時間が経過したか否かを判断し（Ｓ８０８）、まだ経過していないと判断した場合には（Ｓ８０８：Ｎ）、デバイスイベント受信タイマに時間を加算する処理を続ける。一方、一定時間が経過したと判断した場合（Ｓ８０８：Ｙ）、拡大情報制御部３０２は、ＡＰイベント送信フラグをオフに設定し（Ｓ８０９）、処理を終了する。

なお、本実施形態では、情報処理装置がデバイスイベント通知を行った場合に、画像をキャプチャする時間間隔を所定の時間間隔より短い時間間隔に変更する処理について説明したが、これに限られるものではない。例えば、ユーザがログインしていない状態で、画面が操作されていない場合には、画像をキャプチャする時間間隔を所定の時間間隔より長い時間間隔（例えば、３０００ｍｓｅｃ）に変更することも考えられる。また、このように画面が操作されていない場合であっても、本実施形態で説明したように、デバイスイベント通知が行われた際には、画像をキャプチャする時間間隔を所定の時間間隔に戻すように処理を行ってもよい。

さらに、ユーザがログイン中であって、画面が操作されていない場合に、ユーザがタッチ操作を行っていなければ、例えば、コピー等の出力中、またはメンテナンス動画を再生中である、等と判断し得る。この場合、画像をキャプチャする時間間隔を所定の時間間隔よりも短い時間間隔に変更してもよい。

このように、本実施形態によれば、第１実施形態と同様の効果を奏する。さらに、本実施形態によれば、ユーザによるタッチイベントをＡＰに対して送信している以外の場合であっても画面の更新がある場合には、画像をキャプチャする周期を早めることにより、表示をリアルタイムに更新することが可能となる。これにより、ユーザに違和感を与えることなく拡大表示を実現することができる。また、例えば、ユーザの操作が画面の操作を行っていない場合など、画面の更新がない場合には、画像をキャプチャする周期を遅らせることにより、ＣＰＵの負荷を抑制することも可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０１ 情報処理装置
１１０ 制御部
２０１ 画面制御部
３０１ 拡大制御部
４０１ アプリケーション部

Claims (10)

1. 画像を生成するアプリケーションと、
   前記アプリケーションが生成した画像を所定の周期で繰り返しキャプチャするキャプチャ手段と、前記キャプチャ手段によりキャプチャされた画像を拡大し、拡大した前記画像を表示するように制御する制御手段と、前記拡大した画像を表示中に、該画像に対して行われたユーザの操作に従って、前記操作に対応するイベントを前記アプリケーションに対して送信する送信手段と、
   を備え、
   前記アプリケーションは、前記送信されたイベントに基づき、生成する画像を更新し、
   前記キャプチャ手段は、前記表示中の画像に対するユーザの操作が行われている間、前記ユーザの操作が行われていない間よりも短い周期で画像をキャプチャすることを特徴とする情報処理装置。
2. 前記拡大した画像が表示されている際に、前記ユーザが該拡大した画像を操作した場合に、該操作が前記アプリケーションに対する操作か、または前記拡大表示を更新するための操作か、を判断する判断手段をさらに備え、
   前記判断手段が、前記操作が前記アプリケーションに対する操作であると判断した場合には、前記変換手段が、前記ユーザが該操作した位置の座標情報を、前記アプリケーションが生成した画像の座標情報に変換し、
   前記判断手段が、前記拡大表示を更新するための操作であると判断した場合には、前記制御手段が、該操作に応じた拡大率に基づき、直近にキャプチャされた前記アプリケーションが生成した画像を拡大し、該拡大した画像を表示するように制御する、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記キャプチャ手段は、前記判断手段が前記ユーザの前記拡大した画像への操作が前記アプリケーションに対する操作であると判断した場合に、画像をキャプチャする前記所定の時間間隔を短い時間間隔に変更する、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記キャプチャ手段は、前記情報処理装置においてステータス通知が行われる場合に、画像をキャプチャする前記所定の時間間隔を短い時間間隔に変更する、ことを特徴とする請求項２または３に記載の情報処理装置。
5. 前記判断手段は、前記ユーザが前記拡大した画像に対してタッチダウン操作を行った後に所定の時間が経過してもムーブ操作を行わなかった場合に、該ユーザの操作が前記アプリケーションに対する操作であると判断する、ことを特徴とする請求項２ないし４のいずれか１項に記載の情報処理装置。
6. 前記ユーザが前記拡大した画像に対してムーブ操作を行った際に、前記判断手段が、該ムーブ操作が前記拡大表示を更新するための操作であると判断した場合に、
   前記制御手段は、前記ムーブ操作の開始から終了までの各移動点において、新たな座標情報を算出し、前記拡大率、及び該算出した座標情報に基づき新たに拡大した画像を表示するように制御する、ことを特徴とする請求項２ないし５のいずれか１項に記載の情報処理装置。
7. 前記拡大表示を更新するための操作がフリック操作であった場合に、前記キャプチャ手段は、タッチダウン操作が行われた後に所定の時間が経過するまでの間は、画像をキャプチャする前記所定の時間間隔を短い時間間隔に変更する、ことを特徴とする請求項６に記載の情報処理装置。
8. 前記拡大表示を有効にする通知は、前記アプリケーションが処理の結果として生成した画像の一部を拡大するか、または該画像の全体を拡大するかを設定する情報をさらに含む、ことを特徴とする請求項１ないし７のいずれか１項に記載の情報処理装置。
9. 拡大表示を有効にする通知を受け付ける受け付け工程と、
   前記受け付け工程において前記通知を受け付けた場合に、アプリケーションが処理の結果として生成した画像を所定の時間間隔で繰り返しキャプチャするキャプチャ工程と、
   前記拡大表示を有効にする通知に含まれる拡大率、及び座標情報に基づき、直近にキャプチャされた前記アプリケーションが生成した画像を拡大し、該拡大した画像を表示するように制御する制御工程と、
   前記拡大した画像が表示されている際に、ユーザが該拡大した画像を操作した位置の座標情報を、前記アプリケーションが生成した画像の座標情報に変換する変換工程と、
   前記アプリケーションが、前記変換された座標情報に基づき、該座標情報と関連付けられた処理を実行する実行工程と、を有することを特徴とする情報処理装置の制御方法。
10. 請求項１乃至８のいずれか１項に記載の情報処理装置が備える各手段としてコンピュータを機能させるためのプログラム。