JP2019020932A - 情報処理装置、入力制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】ＯＳやウインドウズシステムのカスタマイズを行うことなく、拡大機能により拡大した画像の表示中にＡＰを操作することができる情報処理装置を提供すること。【解決手段】情報処理装置は、ディスプレイ１１９に一体に構成されるタッチパネル１１８を備える。第１の画像が描画される通常表示領域及び第２の画像が描画される拡張表示領域を備える。第１の画像は、アプリケーション部４０１により描画される。第２の画像は、拡大制御部３０１により第１の画像を拡大して生成される。ディスプレイ１１９には、第１の画像及び第２の画像のいずれか一方が表示される。情報処理装置は、第２の画像が前記表示装置に描画されているときに、タッチパネル１１９がタッチ操作されると、タッチ操作された位置を通常表示領域の位置に変換して、アプリケーション部４０１に送信する。【選択図】図２

Description

本発明は、表示装置の表示画面に表示された画像を拡大表示する機能を備えた情報処理装置に関する。

表示装置を備えた情報処理装置には、表示装置に表示する画像を自由な拡大率で拡大表示する拡大機能を備えるものがある。情報処理装置は、拡大機能により、写真や文字等のアプリケーションソフトウェア（以下、「ＡＰ」という。）に依存するコンテンツのみでなく、表示画面に表示された全体画像を拡大することができる。そのために、情報処理装置は、アイコン等のオブジェクトを含め、表示画面に表示されるすべての画像をユーザに最適な大きさで表示することができる。ユーザは、拡大した画像による操作が可能となる。そのためにアクセシビリティが向上し、例えば視力の弱いユーザであっても操作に支障をきたすことが少なくなる。特許文献１は、このような情報処理装置を開示しており、表示画面のキャプチャされた一部のズームが可能となっている。

特開２０１２−２５２３７０号公報

拡大機能は、通常、表示画面を常に更新しながら全体画像を大きくする必要があるため、オペレーションシステム（以下、「ＯＳ」という。）やウィンドウシステム等のシステムレベルで組み込まれる。そのために、拡大機能をすでに有するＯＳやウィンドウシステムを採用していない情報処理装置では、表示画面に表示される全体画像の拡大表示を行うことができない。また、ＯＳやウィンドウシステムのカスタマイズはライセンス等の問題があるために、ＯＳやウィンドウシステムに後付けで拡大機能を付加することは困難である。さらに、ＡＰの実行画面を拡大機能により拡大して表示している場合、拡大された画像への操作によりＡＰを操作可能な情報処理装置は、現在市場に提供されていない。特に、例えばドラッグ操作やピンチ操作など拡大機能の処理に用いられる操作についても、これらの操作を使ってＡＰを操作可能な情報処理装置が求められている。

本発明は、上記の問題を解決するために、ＯＳやウインドウシステムのカスタマイズを行うことなく、拡大した画像の表示中にＡＰを操作することができる情報処理装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る情報処理装置は、
第１の画像が描画される第１の表示領域及び前記第１の表示領域と同じ表示サイズで第２の画像が描画される第２の表示領域を備えた記憶手段と、前記第１の画像を生成して前記第１の表示領域に描画するアプリケーション手段と、前記第１の画像を拡大し、拡大した第１の画像の一部を含む前記第２の画像を生成して前記第２の表示領域に描画する拡大制御手段と、前記第１の画像及び前記第２の画像のいずれか一方を所定の表示装置に表示させる画面表示手段と、前記表示装置に一体に構成されるタッチパネルと、前記第２の画像が前記表示装置に表示されているときに、前記タッチパネルがタッチ操作されると、前記タッチ操作された位置を前記第１の表示領域の位置に変換して、前記アプリケーション手段に送信する変換手段と、を備えることを特徴とする。

本発明に係る情報処理装置によれば、第２の画像を表示している場合であっても、タッチ操作された位置を第１の表示領域の位置に変換することで、ＯＳやウインドウシステムのカスタマイズを行うことなく、アプリケーションを操作することができる。また、例えばドラッグ操作やピンチ操作など拡大機能の操作に用いる操作についても、適切にアプリケーションに通知するので、拡大機能使用中であっても、これらの操作を使ってアプリケーションを操作することができる。

情報処理装置のハードウェア構成図 制御部の機能ブロック図 表示領域の切り替え処理の説明図 拡大鏡枠の説明図 全体拡大表示の説明図 画像切替処理を表すフローチャート イベント処理を表すフローチャート 拡大鏡のイベント処理を表すフローチャート 全体拡大のイベント処理を表すフローチャート キャプチャ画像の描画処理を表すフローチャート （ａ）、（ｂ）は拡大画像の描画処理を表すフローチャート 第二の実施形態における制御部の機能ブロック図 第二の実施形態における拡大鏡のイベント処理を表すフローチャート 第二の実施形態における全体拡大のイベント処理を表すフローチャート 一般アプリケーションが表示する画面の一例を示す図

以下、図面を参照して実施の形態を詳細に説明する。

（構成）
図１は、本実施形態の情報処理装置のハードウェア構成図である。

情報処理装置１０１は、画像形成装置やスマートフォンのようにディスプレイ１１９（表示装置）を備えるコンピュータである。情報処理装置１０１は、ＯＳやウィンドウシステム等のシステムレベルで拡大機能を有していない。情報処理装置１０１は、ディスプレイ１１９の他に、制御部１１０、タッチパネル１１８、及び外部メモリ１２０を備える。制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１３を備え、情報処理装置１０１全体の動作を制御する。そのために制御部１１０は、タッチパネル１１８に接続される入力制御部１１４、ディスプレイ１１９に接続される表示制御部１１５、外部メモリ１２０に接続される外部メモリインタフェース（Ｉ／Ｆ）１１６を備える。また制御部１１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク１０２との通信制御を行う通信Ｉ／Ｆコントローラ１１７を備える。ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、入力制御部１１４、表示制御部１１５、外部メモリＩ／Ｆ１１６、及び通信Ｉ／Ｆコントローラ１１７は、システムバスＢを介して相互に通信可能に接続される。

ＣＰＵ１１１は、ＲＯＭ１１３や外部メモリ１２０に格納されるコンピュータプログラムを読み出し、ＲＡＭ１１２をワークエリアとして用いて実行することで、情報処理装置１０１の各部の動作を制御する。ＲＯＭ１１３は不揮発性メモリであり、コンピュータプログラムの他に、処理に必要な各種のデータを保持する記憶媒体である。ＲＡＭ１１２は揮発性メモリであり、処理を行う際の一時記憶領域を提供する。

入力制御部１１４は、入力デバイスを用いたユーザの操作を受け付けて、受け付けた操作に応じた制御信号をＣＰＵ１１１に送信する。図１では、入力デバイスとしてタッチパネル１１８を用いる。入力デバイスには、タッチパネル１１８の他に、キーボード等の文字入力デバイスやマウス等のポインティングデバイスを用いることができる。タッチパネル１１８は、ユーザの指やスタイラスペン等によりタッチされた位置を検出するポインティングデバイスである。タッチパネル１１８は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のものを用いることができる。入力制御部１１４は、タッチパネル１１８が検出した位置に応じた制御信号をＣＰＵ１１１に送信する。ＣＰＵ１１１は、該制御信号に基づいて処理を実行する。ＣＰＵ１１１は、これにより情報処理装置１０１に対するユーザの操作に応じた処理を行う。

表示制御部１１５は、ＣＰＵ１１１の制御により、ディスプレイ１１９に画像を表示させる。表示制御部１１５は、例えば、ディスプレイ１１９に、処理に関連付けられたオブジェクトで構成される画像を表示させる。本実施形態の表示制御部１１５は、ディスプレイ１１９に拡大率１００％の画像を表示させる他に、この画像を所定の拡大率で拡大した拡大画像を表示させることも可能である。

ディスプレイ１１９の表示画面には、タッチパネル１１８が一体になるように設けられる。タッチパネル１１８は、ディスプレイ１１９の表示を妨げないような透過率で構成される。ＣＰＵ１１１は、ディスプレイ１１９に表示されるオブジェクトの位置と、タッチパネル１１８で検出されたタッチ位置とから、ユーザが操作（タッチ）したオブジェクトを特定し、該オブジェクトに関連付けられた処理を実行する。このようにタッチパネル１１８及びディスプレイ１１９により、ユーザがディスプレイ１１９に表示された画像を直接的に操作して入力を行うようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成することができる。

外部メモリＩ／Ｆ１１６は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、メモリカード等の外部メモリ１２０が装着可能である。外部メモリＩ／Ｆ１１６は、ＣＰＵ１１１の制御に基づき、装着された外部メモリ１２０からのデータの読み出しや、当該外部メモリ１２０へのデータの書き込みを行う。通信Ｉ／Ｆコントローラ１１７は、ネットワーク１０２を介して、ネットワーク１０２に接続された他の装置との通信を制御する。

なお、ＣＰＵ１１１は、タッチパネル１１８への以下の操作や状態を検知することができる。
タッチダウン：タッチパネル１１８をタッチする操作。
タッチオン：タッチパネル１１８をタッチしている状態。
ムーブ：タッチパネル１１８をタッチしたまま移動している状態。
タッチアップ：タッチパネル１１８にタッチする指やスタイラスペンを離すこと。
タッチオフ：タッチパネル１１８に何も触れていない状態。

これらの操作や、タッチパネル１１８上でユーザがタッチする位置を表す位置座標等の情報は、入力制御部１１４及びシステムバスＢを介してＣＰＵ１１１に通知される。ＣＰＵ１１１は、通知された情報に基づいてタッチパネル１１８上でどのような操作が行なわれたかを判定する。ＣＰＵ１１１は、ムーブ時の指やスタイラスペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１１８上の垂直成分・水平成分毎に判定する。

タッチパネル１１８は、タッチオンやムーブしている位置を複数同時に検出するマルチタッチに対応する。タッチパネルを２本の指やスタイラスペンで触れている状態から、その２点を結ぶ線分の方向に対して、２点間の距離を縮めたり伸ばしたりするように指を移動することがある。ユーザが２本の指を近づけたり離したりする操作は、ちょうど指で物をつまんだり、引き延ばす行為に似ていることから「ピンチ操作」と呼ばれる。通常、ピンチ操作は、ユーザの親指と人差し指を使って行われることが多い。ＣＰＵ１１１は、２点同時にタッチオンされている状態から、それぞれもしくは一方のタッチ位置がムーブしたときをピンチ操作が行われたと判断する。また、ＣＰＵ１１１は、ピンチ操作している２点を結ぶ線分の中心点座標、２点間の距離を算出することができる。

図２は、情報処理装置１０１の制御部１１０に実現される表示制御のための機能を表す機能ブロック図である。

各機能は、ＣＰＵ１１１がＲＯＭ１１３や外部メモリ１２０からコンピュータプログラムを読み出して実行することで形成されるが、ハードウェアとして構成されてもよい。

情報処理装置１０１には、画面制御部２０１、拡大制御部３０１、アプリケーション部４０１、及びデバイス制御部５０１が形成される。これらの機能により、情報処理装置１０１はディスプレイ１１９に表示されている画像を拡大する拡大機能を実現する。情報処理装置１０１が有する拡大機能には、ディスプレイ１１９に表示される画像の全体をピンチ操作等で拡大縮小する全体拡大機能と、虫眼鏡のように枠の中に画像の一部分を拡大表示する拡大鏡機能と、の二つの機能がある。以下、全体拡大機能を単に「全体拡大」といい、拡大鏡機能を単に「拡大鏡」という。

画面制御部２０１は、拡大機能を含めたＡＰの管理、表示する画像の画像情報をディスプレイ１１９に転送する処理、ユーザによるタッチパネル１１８へのタッチ操作に応じたイベントをＡＰに通知する処理等を行う。画面制御部２０１は、画面情報制御部２０２、画面情報格納部２０３、画面表示部２０４、入力情報制御部２０５、及び入力情報通知部２０６を備える。

画面情報制御部２０２は、デバイス制御部５０１から拡大モード（拡大機能）が切り替わったことを表す拡大モード通知を受信し、画面情報格納部２０３へ拡大モード通知を格納する。拡大モード通知には、拡大機能が有効か否かを表す情報、拡大率、全体拡大か拡大鏡かを表す情報等が含まれる。同時に、画面情報制御部２０２は、拡大制御部３０１に対して拡大モード通知を送信し、拡大制御部３０１からの指示により、画面表示部２０４に表示領域の切り替えを指示する。

画面表示部２０４は、ディスプレイ１１９に表示される画像を表示領域に描画する。表示領域は、それぞれ画像が描画される同じ表示サイズの２つの表示領域を備えている。画面表示部２０４は、画面情報制御部２０２から表示領域の切り替えの指示を受信して、ディスプレイ１１９に表示される画像が描画される表示領域の切り替え処理を行う。

図３は、表示領域の切り替え処理の説明図である。

図３は、最終的な画像の転送先であるディスプレイ１１９と、ディスプレイ１１９に転送される画像が描画される仮想ディスプレイ領域６０１とを表している。仮想ディスプレイ領域６０１は、例えばＲＡＭ１１２に設けられる。仮想ディスプレイ領域６０１は、それぞれ同じ表示サイズ（例えば横幅が１０２４ピクセル、高さが６００ピクセル）の通常表示領域６０２と拡張表示領域６０３とで構成される。表示サイズは、ディスプレイ１１９の表示サイズ（例えば横幅が１０２４ピクセル、高さが６００ピクセル）に応じて決められる。ディスプレイ１１９には、仮想ディスプレイ領域６０１から、通常表示領域６０２に描画される画像と拡張表示領域６０３に描画される画像とのいずれか一方が表示される。

通常表示領域６０２には、画面表示部２０４が、開始座標６０４のＸ座標「０」、Ｙ座標「０」を始点として画像を描画する。通常表示領域６０２に描画される画像は、アプリケーション部４０１で生成される。拡張表示領域６０３には、画面表示部２０４が、開始座標６０５のＸ座標「１０２４」、Ｙ座標「０」を始点として画像を描画する。拡張表示領域６０３に描画される画像は、拡大表示制御部３０７で生成される。つまり、アプリケーション部４０１でＡＰの実行により生成されるＡＰの実行画像が通常表示領域６０２に表示され、拡大制御部３０１で生成される実行画像の拡大画像が拡張表示領域６０３に表示される。

画面表示部２０４は、画面情報制御部２０２からの表示領域の切り替えの指示により、通常表示領域６０２又は拡張表示領域６０３のどちらかの領域に描画した画像をディスプレイ１１９に転送する。図３では、拡大機能が有効となっており、拡張表示領域６０３の画像がディスプレイ１１９に転送、表示されていることを表している。

入力情報制御部２０５は、ユーザのタッチパネル１１８への操作に応じた制御信号を解析して、ＡＰで処理可能なイベント情報の形式に変換し、入力情報通知部２０６に送信する。イベント情報は、タッチパネル１１８への操作や状態を表し、タッチ操作されたタッチ位置の座標情報等が含まれる。

入力情報通知部２０６は、入力情報制御部２０５からイベント情報を受信する。入力情報通知部２０６は、画面情報格納部２０３に格納されている拡大モード通知を参照して、拡大機能が無効であればアプリケーション部４０１へイベント情報を送信し、拡大機能が有効であれば拡大制御部３０１へイベント情報を送信する。また、入力情報通知部２０６は、イベント情報の受信によりタッチパネル１１８が操作されたと判断して、後述のタイマ制御部５０３に対してタイマのリセットを指示する。

拡大制御部３０１は、アプリケーション部４０１が通常表示領域６０２に描画した画像をキャプチャし、そのキャプチャ画像を拡大して拡張表示領域６０３に描画する。拡大制御部３０１は、拡大情報制御部３０２、画像キャプチャ部３０３、キャプチャ画像格納部３０４、拡大入力制御部３０５、拡大入力情報格納部３０６、拡大表示制御部３０７、及び拡大表示情報格納部３０８を備える。

拡大情報制御部３０２は、画面情報制御部２０２からの拡大モード通知を受信し、受信した拡大モード通知を拡大表示制御部３０７に送信する。拡大情報制御部３０２は、拡大モード通知により拡大機能が有効か否かを判断し、判断結果に応じて、画面情報制御部２０２に表示領域の切り替えを指示する。

画像キャプチャ部３０３は、拡大表示制御部３０７からの指示により、画面表示部２０４で通常表示領域６０２に描画された画像をキャプチャし、キャプチャ画像格納部３０４にキャプチャ画像を格納する。

拡大入力制御部３０５は、入力情報通知部２０６からイベント情報を受信して、受信したイベント情報を拡大入力情報格納部３０６に格納するとともに、拡大表示制御部３０７にイベント情報を受信したことを通知する。拡大入力情報格納部３０６に格納されるイベント情報は、例えば、前述したタッチダウン、タッチアップ、ムーブ等のイベント種類、タッチされた位置を表す位置座標等を含む。イベント情報は、複数の位置のタッチによるイベント情報を１つのイベント情報として格納する場合もある。

拡大表示制御部３０７は、大きく以下の３つの処理を行う。拡大表示制御部３０７は、拡大入力制御部３０５からの通知を受け付けると、拡大入力情報格納部３０６に格納されているイベント情報及び拡大表示情報格納部３０８に格納されている情報を取得する。拡大表示情報格納部３０８は、全体拡大機能の拡大率、全体画像の表示位置座標情報、拡大鏡の拡大率、拡大鏡の表示位置座標情報等の拡大表示情報が格納される。拡大表示制御部３０７は、取得した拡大表示情報を用いて新たな拡大率又は表示位置座標等を算出して、拡大表示情報格納部３０８の内容を更新する。拡大鏡、全体拡大の表示位置座標については後述する。

拡大表示制御部３０７は、常時、拡大表示情報格納部３０８を監視しており、拡大機能が有効であれば、画像キャプチャ部３０３に対して画像キャプチャを指示し、キャプチャ画像格納部３０４に格納されているキャプチャ画像を取得する。拡大表示制御部３０７は、取得したキャプチャ画像を拡大表示情報格納部３０８に格納されている拡大率に基づいて拡大縮小を行い、拡大鏡の表示位置座標情報に従って、画面表示部２０４に描画指示を行う。拡大機能が無効であれば、拡大表示制御部３０７は、これらの画面表示制御を行わない。

拡大表示制御部３０７は、拡大情報制御部３０２から拡大モード通知を受信し、拡大機能が有効か否かに応じて、拡大情報制御部３０２に表示領域の切り替えを指示させる。拡大表示制御部３０７は、拡大機能が無効になったと判断した場合には、拡大情報制御部３０２に通常表示領域６０２への切り替えを指示させる。拡大表示制御部３０７は、拡大機能が有効になったと判断した場合には、拡大情報制御部３０２に拡張表示領域６０３への切り替えを指示させる。

アプリケーション部４０１は、ディスプレイ１１９への表示及びタッチパネル１１８による操作のための画像を生成するアプリケーション群である。アプリケーション部４０１は、デバイス設定アプリケーション４０２及び一般アプリケーション４０３を備える。アプリケーション部４０１が画面表示部２０４に描画指示を送信することで、ディスプレイ１１９に通常表示領域６０２に形成された画像が表示される。

デバイス設定アプリケーション４０２は、主に管理者が情報処理装置１０１本体の各種設定値を使用環境に合わせて設定するためのＡＰである。例えば、デバイス設定アプリケーション４０２は、言語設定、省電力設定、ネットワーク設定、拡大機能設定等の設定に用いられる。設定値に応じて情報処理装置１０１の動作が決定される。本実施形態においては、拡大機能設定によって拡大モード通知に含まれる情報が設定される。一般アプリケーション４０３は、一般のユーザが使用するＡＰであり、例えばコピー、スキャン、スキャンしたデータの送信、保存、プリント等、様々なＡＰである。

デバイス制御部５０１は、情報処理装置１０１の状態の監視及び管理を行う。デバイス制御部５０１は、デバイス情報制御部５０２、タイマ制御部５０３、及びデバイス情報格納部５０４を備える。

デバイス情報制御部５０２は、常時、デバイス情報格納部５０４を監視しており、デバイス設定アプリケーション４０２により設定値が更新されたことを検知すると、画面情報制御部２０２に更新された設定値を含む拡大モード通知を送信する。デバイス情報格納部５０４は、デバイス設定アプリケーション４０２により設定された設定値を格納する他に、省電力モードへの移行時間やオートクリアする時間を格納する。

タイマ制御部５０３は、情報処理装置１０１が一定時間操作されなかった場合に移行する省電力モードや、ユーザが途中まで操作していた画像をデフォルト画像に戻すオートクリア等の管理を行う。具体的には、タイマ制御部５０３は時間をカウントアップしておき、デバイス情報格納部５０４に格納されている省電力モードへの移行時間やオートクリアする時間と比較を行う。タイマ制御部５０３は、比較の結果、それらの時間を過ぎた場合に、デバイス情報制御部５０２に対して、省電力モードやオートクリアの要求を行う。デバイス情報制御部５０２は、タイマ制御部５０３からの通知要求を受けると、画面情報制御部２０２にオートクリア、省電力モードに入ったことを通知する。また、タイマ制御部５０３は、入力情報通知部２０６からタイマのリセットの指示があれば、自身のタイマをリセットすることで、省電力モードやオートクリア等の処理を遅延させる。

＜拡大鏡＞
図４は、拡大鏡機能時にディスプレイ１１９に表示される拡大鏡枠の説明図である。

ディスプレイ１１９には、拡張表示領域６０３の画像が表示される。拡大鏡枠７０５は、拡張表示領域６０３よりも小さい大きさであり、拡張表示領域６０３内に表示され、表示位置が中心座標７０１で表される。拡大鏡枠７０５は、拡張表示領域６０３内で移動可能である。図４では、拡大鏡枠７０５が移動して、中心座標７０２の拡大鏡枠７０６となる。

拡張表示領域６０３に表示される画像は、拡張表示領域６０３の左上の座標（１０２４，０）を原点として表示される。この画像は、通常表示領域６０２に描画される画像と同じであり、拡大されていない。拡大鏡枠７０５内に表示される拡大鏡画像は、拡大鏡枠７０５の左上の座標（０，０）を原点として表示される。拡大鏡枠７０５の中心座標７０１は、拡張表示領域６０３の左上の座標（１０２４，０）を原点として表される。拡大鏡枠７０５に表示される拡大鏡画像は、拡大鏡枠７０５の中心座標７０１と同座標の拡張表示領域６０３に表示される画像を拡大鏡の拡大率に応じて拡大し、その一部をクリップした画像である。拡大鏡枠７０５の中心座標７０１、横幅７０７、及び高さ７０８は、拡大鏡枠７０５の表示位置座標情報として、拡大表示情報格納部３０８に格納される。

ユーザは、ディスプレイ１１９上で拡大鏡枠７０５を拡大鏡枠７０６の位置に移動させるために、移動開始点７０３（ｘｘ１，ｙｙ１）でタッチダウンし、そのままムーブして移動終了点７０４（ｘｘ２，ｙｙ２）でタッチアップする。タッチダウン、ムーブ、タッチアップといった一連の操作によるイベントの座標は、通常表示領域６０２の横幅を含んだ仮想ディスプレイ領域６０１の座標としてタッチパネル１１８から画面制御部２０１に通知される。

移動後の拡大鏡枠７０６の中心座標７０２を求めることで、拡大鏡枠７０６には、中心座標７０２と同座標の拡張表示領域６０３に表示される画像を拡大し、その一部をクリップした拡大鏡画像が表示される。移動後の拡大鏡枠７０６の中心座標７０２（ｘ２，ｙ２）は、例えば以下のように求められる。新たに求められた表示位置座標情報は、拡大表示情報格納部３０８に格納される。
ｘ２＝ｘ１＋（ｘｘ２−ｘｘ１）
ｙ２＝ｙ１＋（ｙｙ２−ｙｙ１）
図４では移動開始点の拡大鏡枠７０５及び移動終了点の拡大鏡枠７０６のみ表しているが、実際には移動開始点と移動終了点との間のムーブイベント中にも複数の移動点が存在する。このムーブイベント中の移動点についても、同様に、座標計算及び拡大鏡の表示が行われる。以上の拡大鏡の座標計算及び拡大鏡の表示に関する処理は、拡大表示制御部３０７が行う。

＜全体拡大＞
図５は、全体拡大表示の説明図である。

全体拡大された画像は、拡張表示領域６０３に表示される。通常表示領域６０２に表示される画像を特定の拡大率で拡大した拡大画像８０１は、ディスプレイ１１９に表示可能な大きさだけクリップされて、拡張表示領域６０３に表示される。拡大画像８０１は、例えば通常表示領域６０２の画像がディスプレイ１１９に表示された状態で、ピンチ操作されることで得られる。

図５の例では、拡大画像８０１の原点８０９が、元の画像の原点から見て（−５０，−３０）となる。拡大画像８０１の原点８０９から見て（５０，３０）の位置から拡張表示領域６０３の横幅１０２４ピクセル、高さ６００ピクセルの範囲をクリップした画像が、拡張表示領域６０３に表示されることになる。

ピンチ操作により画像を拡大するときの拡大率及び拡大画像８０１の原点８０９は、以下のように求められる。
ピンチ操作では、タッチパネル１１８上の２点がタッチされる。１点目は、ピンチ操作開始時のピンチ開始座標８０２からピンチ操作終了時のピンチ終了座標８０３まで、タッチ位置が移動する。２点目は、ピンチ操作開始時のピンチ開始座標８０４からピンチ操作終了時のピンチ終了座標８０５まで、タッチ位置が移動する。これらの座標は、図３の通常表示領域６０２の横幅を含んだ情報として、タッチパネル１１８から制御部１１０に入力される。

ピンチ操作では、ピンチ開始座標８０２とピンチ開始座標８０４との間の距離Ｄ１に比べて、ピンチ終了座標８０３とピンチ終了座標８０５と間の距離Ｄ２が大きい。そのために制御部１１０は、ピンチ操作が画像の拡大を指示していると判断する。距離Ｄ１、Ｄ２は、ピンチ開始座標８０２を（ｘｘ１１，ｙｙ１１）、ピンチ開始座標８０４を（ｘｘ２１，ｙｙ２１）、ピンチ終了座標８０３を（ｘｘ１２，ｙｙ１２）、ピンチ終了座標８０５を（ｘｘ２２，ｙｙ２２）とすると、以下の式で表される。
Ｄ１＝√（（ｘｘ２１−ｘｘ１１）^２＋（ｙｙ２１−ｙｙ１１）^２）Ｄ２＝√（（ｘｘ２２−ｘｘ１２）^２＋（ｙｙ２２−ｙｙ１２）^２）
通常表示領域６０２に表示される画像の現在の拡大率Ｒ１（通常は１００％）、距離Ｄ１、Ｄ２とすると、ピンチ操作による画像の拡大率Ｒ２は、以下の式で表される。拡大表示制御部３０７はこの新しい拡大率Ｒ２で画像を拡大する。
Ｒ２＝Ｒ１×Ｄ２／Ｄ１
拡大画像８０１の原点８０９の座標（ｘ０１，ｙ０１）は、新しい拡大率Ｒ２により求められる。ここでは、ピンチ操作を行う２点の中心点の座標を起点に画像を拡大する場合について説明する。ピンチ開始時の中心点８０６とピンチ終了時の中心点８０７とが同じ位置である場合、中心点の座標（ｘ１，ｙ１）は通常表示領域６０２の横幅を減算して以下の式で表される。
ｘ１＝（ｘｘ１１−１０２４＋ｘｘ２１−１０２４）／２
ｙ１＝（ｙｙ１１＋ｙｙ２１）／２
拡大前の画像の原点８０８の座標（ｘ００，ｙ００）から中心点までの距離は、以下の式で表される。
（拡大画像の原点から中心点までの距離）＝ｘ１−ｘ００
（拡大画像の原点から中心点までの距離）＝ｙ１−ｙ００
これらの式により、拡大画像８０１の原点８０９の座標（ｘ０１，ｙ０１）は、以下の式で表すことができる。
ｘ０１＝ｘ１−（ｘ１−ｘ００）×Ｒ２
ｙ０１＝ｙ１−（ｙ１−ｙ００）×Ｒ２
ピンチ開始時の中心点とピンチ終了時の中心点とが同じ位置であることは希であり、実際には、微妙にずれが生じる。そのために、中心点の座標の移動量を算出し、これを加味して拡大画像８０１の原点８０９の位置を求める。ピンチ開始時の中心点８０６及びピンチ終了時の中心点８０７の各中心点座標（ｘ１，ｙ１）、（ｘ２，ｙ２）は、以下の式で表される。
ｘ１＝（ｘｘ１１−１０２４＋ｘｘ２１−１０２４）／２
ｙ１＝（ｙｙ１１＋ｙｙ２１）／２
ｘ２＝（ｘｘ１２−１０２４＋ｘｘ２２−１０２４）／２
ｙ２＝（ｙｙ１２＋ｙｙ２２）／２
中心点８０６から中心点８０７への移動量（Ｘｄ，Ｙｄ）は、以下の式で表される。
Ｘｄ＝ｘ２−ｘ１
Ｙｄ＝ｙ２−ｙ１
以上により、拡大画像８０１の原点８０９の座標（ｘ０１，ｙ０１）は、以下の式で表される。
ｘ０１＝ｘ１−（ｘ１−ｘ００）×Ｒ２＋Ｘｄ
ｙ０１＝ｙ１−（ｙ１−ｙ００）×Ｒ２＋Ｙｄ
ピンチ操作以外にも、ムーブ操作により画像を拡大することも可能である。この場合、例えば中心点８０６、８０７が、ムーブ操作の開始点及び終了点となる。中心点８０６、８０７間の移動量（Ｘｄ，Ｙｄ）がムーブ操作による移動量となり、拡大画像８０１の原点８０９の座標が算出でき、拡張表示領域６０３に表示される画像の領域を決定することができる。

なお、ピンチ操作時、ムーブ操作時のいずれでも、操作の開始位置から終了位置まで連続して、位置を表す座標がタッチパネル１１８から制御部１１０に入力される。制御部１１０は、その間も連続して、座標計算及び全体拡大した画像の表示を行う。拡大表示制御部３０７が、座標位置情報の計算及び全体拡大した画像の表示を行い、拡大率、拡大画像の原点座標、拡大画像の横幅、拡大画像の高さ等の拡大表示情報を拡大表示情報格納部３０８に格納する。

本実施形態では拡張表示領域６０３を通常表示領域６０２の右横に設けた構成としているが、下に設けてもよい。その場合、拡張表示領域６０３は、座標（０、６００）から設けられる。操作によるタッチイベントに関しても、Ｙ方向に６００ピクセル加算された値が操作された位置を表す座標としてタッチパネル１１８から制御部１１０に入力される。

以上のような構成の情報処理装置１０１により実行される、ディスプレイ１１９への画像表示処理について説明する。

＜拡大機能による画像の切り替え＞
図６は、拡大機能（全体拡大又は拡大鏡）が有効か否かにより、ディスプレイ１１９に表示される画像を切り替える処理を表すフローチャートである。

画面情報制御部２０２は、デバイス情報制御部５０２から拡大モード通知を受け付けると（Ｓ１０１）、画面情報格納部２０３に、受け付けた拡大モード通知を格納する（Ｓ１０２）。また、画面情報制御部２０２は、受け付けた拡大モード通知を拡大情報制御部３０２に送信する（Ｓ１０３）。

拡大情報制御部３０２は、画面情報制御部２０２から送信された拡大モード通知を受信して、拡大表示制御部３０７に送信する（Ｓ１０４）。拡大表示制御部３０７は、拡大情報制御部３０２から送信された拡大モード通知を受信して、拡大表示情報格納部３０８に格納する（Ｓ１０５）。

拡大表示制御部３０７は、拡大モード通知により拡大機能が無効にされたか否かを判断する（Ｓ１０６）。拡大機能が無効にされていれば（Ｓ１０６：Ｙ）、拡大表示制御部３０７は、拡大情報制御部３０２を介して、画面情報制御部２０２に、ディスプレイ１１９に表示される画像の通常表示領域６０２の画像への切り替えを要求する（Ｓ１０７）。拡大機能が有効であれば（Ｓ１０６：Ｎ）、拡大表示制御部３０７は、拡大情報制御部３０２を介して、画面情報制御部２０２に、ディスプレイ１１９に表示される画像の拡張表示領域６０３の画像への切り替えを要求する（Ｓ１０８）。

画面情報制御部２０２は、拡大情報制御部３０２からのディスプレイ１１９に表示される画像の切り替え要求を受信して（Ｓ１０９）、要求が通常表示領域６０２の画像への切り替えであるか否かを判断する（Ｓ１１０）。通常表示領域６０２の画像への切り替えを要求していれば（Ｓ１１０：Ｙ）、画面情報制御部２０２は、画面表示部２０４により、ディスプレイ１１９に表示される画像を通常表示領域６０２の画像に切り替える（Ｓ１１１）。拡張表示領域６０３の画像への切り替えを要求していれば（Ｓ１１０：Ｎ）、画面情報制御部２０２は、画面表示部２０４により、ディスプレイ１１９に表示される画像を拡張表示領域６０３の画像に切り替える（Ｓ１１１）。

＜拡大機能へのイベントの送信＞
図７〜図１１は、ユーザの操作によるタッチパネル１１８からの入力に応じたイベントの処理を表すフローチャートである。

入力情報制御部２０５は、ユーザのタッチパネル１１８への操作に応じた制御信号を受信して（Ｓ２０１）、受信した制御信号をイベント情報に変換して、入力情報通知部２０６に入力する（Ｓ２０２）。入力情報通知部２０６は、画面情報格納部２０３に格納されている拡大モード通知を取得して（Ｓ２０３）、拡大モード通知により、拡大機能が無効か否かを判断する（Ｓ２０４）。拡大機能が無効で有れば（Ｓ２０４：Ｙ）、入力情報通知部２０６は、アプリケーション部４０１にイベント情報を送信する（Ｓ２０５）。アプリケーション部４０１は、イベント情報に応じた処理を実行して処理を終了する。拡大機能が有効であれば（Ｓ２０４：Ｎ）、入力情報通知部２０６は、拡大入力制御部３０５にイベント情報を送信する（Ｓ２０６）。

拡大入力制御部３０５は、入力情報通知部２０６からイベント情報を受信する（Ｓ２０７）。拡大入力制御部３０５は、受信したイベント情報を拡大入力情報格納部３０６に格納し（Ｓ２０８）、拡大表示制御部３０７にイベント情報が入力されたことを通知する（Ｓ２０９）。

拡大表示制御部３０７は、拡大入力制御部３０５からの通知に応じて、拡大入力情報格納部３０６からイベント情報を取得する（Ｓ２１０）。拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている拡大モード通知が拡大鏡を指示しているか否かを判断する（Ｓ２１１）。拡大鏡を指示する場合（Ｓ２１１：拡大鏡）、拡大表示制御部３０７は、拡大鏡のイベント処理を実行する（図８参照）。拡大鏡を指示していない場合（Ｓ２１１：全体拡大）、拡大表示制御部３０７は、画像の全体拡大のイベント処理を実行する（図９参照）。

図８は、拡大鏡のイベント処理を表すフローチャートである。

拡大鏡のイベント処理を実行する場合、拡大表示制御部３０７は、拡大表示情報格納部３０８から拡大鏡の表示位置座標情報を取得する（Ｓ３００）。拡大表示制御部３０７は、イベント情報から得られるタッチ位置が、取得した表示位置座標情報から得られる拡大鏡枠の表示エリア内か否かを判断する（Ｓ３０１）。

タッチ位置が拡大鏡枠の表示エリア内であれば（Ｓ３０１：Ｙ）、拡大表示制御部３０７は、イベント情報が１点の座標情報のみを含んでいるか否かを判断する（Ｓ３０２）。

１点であれば（Ｓ３０２：Ｙ）、イベント情報がムーブか否かを判断する（Ｓ３０３）。イベント情報がムーブであれば（Ｓ３０３：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ３０４）。ＡＰイベント送信フラグは、アプリケーション部４０１にタッチイベントを送信中の場合にオンになるフラグである。ＡＰイベント送信フラグがオフであれば（Ｓ３０４：Ｎ）、拡大表示制御部３０７は、イベントフラグがオンか否かを判断する（Ｓ３０５）。イベントフラグは、タッチパネル１１８がタッチダウンされているときにオンになり、タッチアップされているときにオフになるフラグである。つまり、イベントフラグは、タッチパネル１１８のタッチ状態を表す。

イベントフラグがオフであれば（Ｓ３０５：Ｎ）、拡大制御部３０１は、拡大鏡のイベント処理を終了する。イベントフラグがオンであれば（Ｓ３０５：Ｙ）、拡大表示制御部３０７は、拡大鏡枠の表示位置座標を算出して、算出結果に応じて拡大表示情報格納部３０８の拡大表示情報を更新する（Ｓ３０６、Ｓ３０７）。拡大表示制御部３０７は、拡大表示情報の更新後に、拡大鏡の描画処理を実行する（Ｓ３２０）。拡大鏡の描画処理の詳細は後述する。

イベント情報がムーブでなければ（Ｓ３０３：Ｎ）、拡大表示制御部３０７は、イベント情報がタッチアップか否かを判断する（Ｓ３０８）。イベント情報がタッチアップであれば（Ｓ３０８：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ３０９）。ＡＰイベント送信フラグがオフであれば、拡大表示制御部３０７は、イベントフラグをオフに設定する（Ｓ３１０）。拡大表示制御部３０７は、イベントフラグの設定後に、拡大鏡の描画処理を実行する（Ｓ３２０）。拡大鏡の描画処理の詳細は後述する。

イベント情報がタッチアップでなければ（Ｓ３０８：Ｎ）、拡大表示制御部３０７は、イベント情報がタッチダウンであるか否かを判断する（Ｓ３１１）。イベント情報がタッチダウンであれば（Ｓ３１１：Ｙ）、拡大表示制御部３０７は、所定時間待機する（Ｓ３１２）。所定時間が経過すると、拡大表示制御部３０７は、ムーブが開始されたか否かを判断する（Ｓ３１３）。拡大表示制御部３０７は、拡大入力制御部３０５が入力情報通知部２０６から受け付けたイベント情報がムーブイベントであれば、ムーブが開始されたと判断する。ムーブが開始されると（Ｓ３１３：Ｙ）、拡大表示制御部３０７は、イベントフラグをオンに設定する（Ｓ３１４）。拡大表示制御部３０７は、イベントフラグの設定後に、拡大鏡の描画処理を実行する（Ｓ３２０）。拡大鏡の描画処理の詳細は後述する。

イベント情報がタッチダウンでない場合（Ｓ３１１：Ｎ）、拡大表示制御部３０７は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ３１５）。拡大表示制御部３０７は、イベント情報がムーブでＡＰイベント送信フラグがオンである場合（Ｓ３０４：Ｙ）も同様に、イベント情報の座標を通常表示領域６０２の座標に変換する。拡大表示制御部３０７は、タッチアップかつＡＰイベント送信フラグがオンである場合（Ｓ３０９：Ｙ）も同様に、イベント情報の座標を通常表示領域６０２の座標に変換する。拡大表示制御部３０７は、イベント情報がタッチダウンでムーブが開始されない場合（Ｓ３１３：Ｎ）も同様に、イベント情報の座標を通常表示領域６０２の座標に変換する。つまりタッチイベントをすべてアプリケーション部４０１に送りたい場合に、拡大表示制御部３０７は、座標変換を行う。

座標変換について、図４により説明する。図４の中心座標７０１（ｘ１，ｙ１）が拡大鏡枠７０５の中心位置を表し、移動開始点７０３（ｘｘ１，ｙｙ１）がイベント情報に含まれるタッチ位置を表す座標である。拡大鏡の拡大率はＲである。座標変換後の通常表示領域６０２の座標（ｘ，ｙ）は、拡張表示領域６０３の左上の座標（１０２４，０）を用いて以下の式で表される。
ｘ＝（（ｘｘ１−１０２４）−ｘ１）／Ｒ＋ｘ１
ｙ＝（ｙｙ１−ｙ１）／Ｒ＋ｙ１
拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介して送信する（Ｓ３１６）。イベント情報の送信後に、拡大表示制御部３０７は、イベント情報がタッチアップであるか否かを判断する。イベント情報がタッチアップであれば（Ｓ３１７：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグをオフにする（Ｓ３１８）。イベント情報がタッチアップ以外であれば（Ｓ３１７：Ｎ）、拡大表示制御部３０７は、ＡＰイベント送信フラグオンにする（Ｓ３１９）。拡大表示制御部３０７はＡＰイベント送信フラグを設定後、拡大鏡のイベント処理を終了する。

タッチ位置が拡大鏡枠の表示エリア外であれば（Ｓ３０１：Ｎ）、拡大制御部３０１は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ３２１）。同様に、イベント情報が１点の座標情報でなければ（Ｓ３０２：Ｎ）、拡大表示制御部３０７は、２点以上のタッチ操作が行われたと判断し、拡大制御部３０１はイベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ３２１）。また、図４により説明すると、座標変換後の通常表示領域６０２の座標（ｘ，ｙ）は、拡張表示領域６０３の左上の座標（１０２４，０）を用いて以下の式で表される。ｘ＝ｘｘ１−１０２４
ｙ＝ｙｙ１
拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介して送信する（Ｓ３２２）。イベント情報の送信後に、拡大表示制御部３０７は、拡大鏡のイベント処理を終了する。

以上のような拡大鏡のイベント処理により、ユーザが拡大鏡枠内に拡大表示された画像に対してタッチ操作を行うと、該タッチ操作によるイベント情報が通常表示領域６０２の画像に対して行われたイベント情報に変換される。変換されたイベント情報は、通常表示領域６０２に画像を表示するＡＰにイベント情報が通知される。これにより、ユーザは、拡大表示された画像を見ながらＡＰの操作を行うことができる。ユーザが拡大鏡枠内の画像にタッチ操作を行うと、拡大率を考慮して座標変換が行われ、ＡＰに通知されるために、ユーザは、拡大鏡枠の内外を問わず、表示された通りのＡＰ操作を行うことができる。

拡大鏡枠内でタッチダウンした後すぐにドラッグ操作を開始した場合、拡大制御部がイベントを処理して拡大鏡枠を移動させる。一方、拡大鏡枠外でドラッグ操作を行った場合および、拡大鏡枠内でタッチダウンした後、所定時間指を動かさずに待機した後でドラッグ操作を行った場合、拡大制御部は拡大率を考慮して座標変換を行ってＡＰにイベントを通知する。従って、ユーザは例えばＡＰが表示したリストをスクロールさせるなどドラッグ操作によるＡＰ操作を行うことができる。また、ピンチイベントなど拡大鏡表示中は拡大制御部が処理しないイベントは拡大率を考慮して座標変換が行われ、ＡＰに通知される。従って、ユーザは例えばＡＰが表示した画像を拡大・縮小表示させるなどのＡＰ操作を行うことができる。

図９は、全体拡大のイベント処理を表すフローチャートである。

拡大表示制御部３０７は、拡大表示情報格納部３０８から全体拡大の表示位置座標情報を取得する（Ｓ４００）。表示位置座標情報を取得した拡大表示制御部３０７は、イベント情報が１点の座標情報のみを含んでいるか否かを判断する（Ｓ４０１）。

１点でなければ（Ｓ４０１：Ｎ）、拡大表示制御部３０７は、２点以上のタッチ操作が行われたと判断して、続いて拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ４０２）。ＡＰイベント送信フラグは、アプリケーション部４０１にタッチイベントを送信中の場合にオンになるフラグである。ＡＰイベント送信フラグがオフであれば（Ｓ４０２：Ｎ）、イベント情報に応じて複数の座標情報を用いた全体の拡大率を算出する（Ｓ４０３）。また、拡大表示制御部３０７は、複数の座標情報を用いて表示位置座標を算出する（Ｓ４０４）。拡大表示制御部３０７は、算出した拡大率及び表示位置座標に基づいて、拡大表示情報格納部３０８の拡大表示情報を更新する（Ｓ４０５）。

イベントが１点であれば（Ｓ４０２：Ｙ）、拡大表示制御部３０７は、イベント情報がムーブか否かを判断する（Ｓ４０６）。イベント情報がムーブであれば（Ｓ４０６：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ４０７）。ＡＰイベント送信フラグがオフであれば（Ｓ４０７：Ｎ）、拡大表示制御部３０７は、全体拡大の表示位置座標を算出する（Ｓ４０８）。拡大表示制御部３０７は、算出した表示位置座標に基づいて、拡大表示情報格納部３０８の拡大表示情報を更新する（Ｓ４０９）。

イベント情報がムーブでなければ（Ｓ４０６：Ｎ）、拡大表示制御部３０７は、イベント情報がタッチアップであるか否かを判断する（Ｓ４１０）。イベント情報がタッチアップであれば（Ｓ４１０：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグがオンか否かを判断する（Ｓ４１１）。ＡＰイベント送信フラグがオフであれば（Ｓ４１１：Ｎ）、拡大表示制御部３０７は、イベントフラグをオフに設定する（Ｓ４１２）。

イベント情報がタッチアップでなければ（Ｓ４１０：Ｎ）、拡大表示制御部３０７は、イベント情報がタッチダウンであるか否かを判断する（Ｓ４１３）。イベント情報がタッチダウンであれば（Ｓ４１３：Ｙ）、拡大表示制御部３０７は、所定時間待機する（Ｓ４１４）。所定時間が経過すると、拡大表示制御部３０７は、ムーブが開始されたか否かを判断する（Ｓ４１５）。拡大表示制御部３０７は、拡大入力制御部３０５が入力情報通知部２０６から受け付けたイベント情報がムーブイベントであれば、ムーブが開始されたと判断する。ムーブが開始されると（Ｓ４１５：Ｙ）、拡大表示制御部３０７は、イベントフラグをオンに設定する（Ｓ４１６）。

拡大表示制御部３０７は、拡大表示情報の更新後（Ｓ４０５、Ｓ４０９後）、或いはイベントフラグの設定後（Ｓ４１２、Ｓ４１６後）に、全体拡大の描画処理を実行する（Ｓ４２２）。全体拡大の描画処理については後述する。

イベント情報がタッチダウンでない場合（Ｓ４１３：Ｎ）、拡大表示制御部３０７は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ４１７）。拡大表示制御部３０７は、イベント情報が２点以上でＡＰイベント送信フラグがオンである場合（Ｓ４０２：Ｙ）も同様に、イベント情報の座標を通常表示領域６０２の座標に変換する。拡大表示制御部３０７は、イベント情報がムーブでＡＰイベント送信フラグがオンである場合（Ｓ４０７：Ｙ）も同様に、イベント情報の座標を通常表示領域６０２の座標に変換する。拡大表示制御部３０７は、タッチアップかつＡＰイベント送信フラグがオンである場合（Ｓ４１１：Ｙ）も同様に、イベント情報の座標を通常表示領域６０２の座標に変換する。拡大表示制御部３０７は、イベント情報がタッチダウンでムーブが開始されない場合（Ｓ４１５：Ｎ）も同様に、イベント情報の座標を通常表示領域６０２の座標に変換する。つまりタッチイベントをすべてアプリケーション部４０１に送りたい場合に、拡大表示制御部３０７は、座標変換を行う。座標変換は、以下のように行われる。例えば、拡大画像の原点を（ｘ０１，ｙ０１）、拡大率をＲ、イベント情報に含まれるタッチ位置を表す座標を（ｘｘ１，ｙｙ１）とする。座標変換後の通常表示領域６０２の座標（ｘ，ｙ）は、拡張表示領域６０３の左上の座標（１０２４，０）を用いて以下の式で表される。
ｘ＝（（ｘｘ１−１０２４）−ｘ０１）／Ｒ
ｙ＝（ｙｙ１−ｙ０１）／Ｒ
拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介して送信する（Ｓ４１８）。イベント情報の送信後に、拡大表示制御部３０７は、イベント情報がタッチアップであるか否かを判断する。イベント情報がタッチアップであれば（Ｓ４１９：Ｙ）、拡大表示制御部３０７は、ＡＰイベント送信フラグをオフにする（Ｓ４２０）。イベント情報がタッチアップ以外であれば（Ｓ４１９：Ｎ）、拡大表示制御部３０７は、ＡＰイベント送信フラグをオンにする（Ｓ４２１）。拡大表示制御部３０７はＡＰイベント送信フラグを設定後、全体拡大のイベント処理を終了する。

以上のような全体拡大のイベント処理により、ユーザが拡大表示された画像に対してタッチ操作を行うと、該タッチ操作によるイベント情報が通常表示領域６０２の画像に対して行われたイベント情報に変換される。変換されたイベント情報は、通常表示領域６０２に画像を表示するＡＰにイベント情報が通知される。これにより、ユーザは、拡大表示された画像を見ながらＡＰの操作を行うことができる。ユーザが拡大表示された画像にタッチ操作を行うと、拡大率を考慮して座標変換が行われ、ＡＰに通知されるために、ユーザは、表示された通りのＡＰ操作を行うことができる。

ユーザがタッチダウンした後すぐにドラッグ操作を行った場合、拡大制御部がイベントを処理して拡大表示位置を移動させる。一方、ユーザがタッチダウンした後、所定時間指を動かさずに待機した後でドラッグ操作を行った場合、拡大制御部は拡大表示位置を移動させる処理を行わず、拡大率を考慮して座標変換を行ってＡＰにイベントを通知する。従って、ユーザは例えばＡＰが表示したリストをスクロールさせるなどドラッグ操作によるＡＰ操作を行うことができる。

また、タッチダウンした後すぐにピンチ操作を行った場合、拡大制御部がイベントを処理して全体拡大の拡大率を変更する。一方、ユーザがタッチダウンした後、所定時間指を動かさずに待機した後でピンチ操作を行った場合、全体拡大の拡大率を変更する処理を行わず、拡大率を考慮して座標変換を行ってＡＰに通知する。従って、ユーザは例えばＡＰが表示した画像を拡大・縮小表示させるなど、ドラッグ操作によるＡＰ操作を行うことができる。

なお、拡大鏡のイベント処理の説明（図８）及び、全体拡大のイベント処理の説明（図９）においては、タッチダウンの後所定時間待機してもムーブが開始されない場合、ＡＰイベント送信フラグをオンにする例を示したが、他のユーザ操作によってＡＰイベント送信フラグをオンにするようにしても構わない。例えば、ユーザが所定の短い間隔で２回タッチダウンを行った場合（ダブルタップ）にＡＰイベント送信フラグをオンにしても良い。または、拡大制御部がボタン等のユーザインタフェース部品を表示して、ユーザが任意のタイミングでＡＰイベント送信フラグの状態を切り替えられるようにしても良い。

＜キャプチャ画像処理＞
図１０は、拡大機能が有効である場合に、キャプチャ画像を取得して描画する処理を表すフローチャートである。

この処理は拡大機能が有効になると開始され、情報処理装置１０１がシャットダウンされるまで一定の時間間隔で行われる。

拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている拡大モード通知を取得する（Ｓ５０１）。拡大表示制御部３０７は、拡大モード通知により拡大機能が無効か否かを判断する（Ｓ５０２）。拡大機能が無効であれば（Ｓ５０２：Ｎ）、拡大表示制御部３０７は、再度、拡大モード通知を取得する。拡大表示制御部３０７は、拡大機能が有効になるまでこの処理を繰り返す。

拡大機能が有効になると（Ｓ５０２：Ｎ）、拡大表示制御部３０７は、画像キャプチャ部３０３に仮想ディスプレイ領域６０１の画像をキャプチャさせる。拡大機能が全体拡大の場合、画像キャプチャ部３０３は、通常表示領域６０２の画像をキャプチャする。画像キャプチャ部３０３は、キャプチャしたキャプチャ画像を、キャプチャ画像格納部３０４に格納する（Ｓ５０３）。キャプチャ画像が格納されると、拡大表示制御部３０７は、イベントフラグを取得して、イベントフラグがオンか否かを判断する（Ｓ５０４、Ｓ５０５）。拡大表示制御部３０７は、イベントフラグによりタッチ操作中であるか否かを判断する。イベントフラグがオンであれば（Ｓ５０５：Ｙ）、タッチ操作中であるので、拡大表示制御部３０７は、再度、拡大モード通知を取得する。

イベントフラグがオフであれば（Ｓ５０５：Ｎ）、タッチ操作が終了しているため、拡大表示制御部３０７は、拡大モード通知が拡大鏡の実行を指示しているか否かを判断する（Ｓ５０６）。拡大モード通知が拡大鏡の実行を指示している場合（Ｓ５０６：Ｙ）、拡大表示制御部３０７は、拡大鏡の描画処理を行う（Ｓ５０７）。拡大モード通知が拡大鏡の実行を指示していない場合（Ｓ５０６：Ｎ）、拡大表示制御部３０７は、全体拡大の描画処理を行う（Ｓ５０８）。

＜拡大鏡の描画処理及び全体拡大の描画処理＞
図１１（ａ）は、拡大鏡の描画処理を表すフローチャートである。

拡大表示制御部３０７は、キャプチャ画像格納部３０４に格納されているキャプチャ画像を取得して複製する（Ｓ６０１）。また拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている拡大鏡の拡大率及び表示位置座標情報を取得する（Ｓ６０２）。拡大表示制御部３０７は、複製したキャプチャ画像を取得した拡大率に応じて拡大する（Ｓ６０３）。拡大表示制御部３０７は、拡大したキャプチャ画像を、表示位置座標情報に基づいて、拡大鏡枠の大きさにクリップする（Ｓ６０４）。

拡大表示制御部３０７は、拡大していないキャプチャ画像にクリップした拡大キャプチャ画像を、表示位置座標情報で示す位置に合成する（Ｓ６０５）。拡大表示制御部３０７は、画面表示部２０４により、ディスプレイ１１９に合成した画像を表示させる（Ｓ６０６）。これによりディスプレイ１１９には、キャプチャ画像の上に、拡大されたキャプチャ画像のクリップされた部分が重畳された画像が表示される。

図１１（ｂ）は、全体拡大の描画処理を表すフローチャートである。

拡大表示制御部３０７は、キャプチャ画像格納部３０４に格納されているキャプチャ画像を取得する（Ｓ７０１）。また拡大表示制御部３０７は、拡大表示情報格納部３０８に格納されている全体拡大の拡大率及び表示位置座標情報を取得する（Ｓ７０２）。拡大表示制御部３０７は、キャプチャ画像を取得した拡大率に応じて拡大する（Ｓ７０３）。拡大表示制御部３０７は、拡大したキャプチャ画像を、表示位置座標情報に基づいてディスプレイ１１９の大きさにクリップする（Ｓ７０４）。拡大表示制御部３０７は、画面表示部２０４を介して、ディスプレイ１１９にクリップした画像を表示する（Ｓ７０５）。これによりディスプレイ１１９には、拡大されたキャプチャ画像のクリップされた部分が表示される。

＜第二の実施形態＞
次に第二の実施形態について説明する。

上述した第一の実施形態では、拡大画面を表示中に、ユーザがタッチアップやタッチダウン等のタッチ操作を行うと、拡大率や表示位置を考慮して座標変換を行った上で、実行中のＡＰにイベント情報を通知する例であった。第二の実施形態は、実行中のＡＰから、ＡＰ側でイベントを処理する座標範囲の通知を受けて、イベントの座標が前記座標範囲に含まれているか否かによってＡＰにイベント情報を通知するか否かを判断するものである。以下、第一の実施形態との差分を中心に第二の実施形態を説明する。

図１２は第二の実施形態における情報処理装置１０１の機能ブロック図である。

情報処理装置１０１は、図２に示した第一の実施形の構成に加えて、拡大制御部３０１内にＡＰイベント送信依頼受信部３０９を備える。ＡＰイベント送信依頼受信部３０９は、アプリケーション部４０１からＡＰイベント送信依頼を受信し、拡大表示情報格納部３０８にＡＰイベント送信依頼を格納する。ＡＰイベント送信依頼には、ＡＰに対してイベントを送信することを要求する領域範囲の情報が含まれる。アプリケーション部４０１のアプリケーション（デバイス設定アプリケーション４０２または一般アプリケーション４０３）は、画面表示部２０４に描画指示を送信すると共に、表示画面に応じてＡＰイベント送信依頼受信部３０９にＡＰイベント送信依頼を行う。

拡大表示制御部３０７はイベント情報を受け取ると、拡大表示情報格納部３０８からＡＰイベント送信依頼情報を取得する。そして、イベント情報から得られるタッチ位置が、ＡＰイベント送信依頼情報から得られる領域範囲内か否かを判断して、領域範囲内であれば座標変換してアプリケーション部４０１に画面制御部２０１を介してイベントを送信する処理を行う。詳細は後述する。

図１３及び図１４は、ユーザの操作によるタッチパネル１１８からの入力に応じたイベントの処理を表すフローチャートである。

ユーザの操作によるタッチパネル１１８からの入力に応じたイベントがあると、まず実施例１と同様に図７の処理を行う。図７の各ステップの処理は第一の実施形態の処理と同様である。Ｓ２１１の判断により、拡大鏡を指示する場合（Ｓ２１１：拡大鏡）、拡大表示制御部３０７は、拡大鏡のイベント処理を実行する（図１３参照）。拡大鏡を指示していない場合（Ｓ２１１：全体拡大）、拡大表示制御部３０７は、画像の全体拡大のイベント処理を実行する（図１４参照）。

図１３は、拡大鏡のイベント処理を表すフローチャートである。

拡大鏡のイベント処理を実行する場合、拡大表示制御部３０７は、拡大表示情報格納部３０８から拡大鏡の表示位置座標情報を取得する（Ｓ８００）。拡大表示制御部３０７は、イベント情報から得られるタッチ位置が、取得した表示位置座標情報から得られる拡大鏡枠の表示エリア内か否かを判断する（８０１）。タッチ位置が拡大鏡枠の表示エリア内であれば（Ｓ８０１：Ｙ）、拡大表示制御部３０７は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ８０２）。この座標変換は図８におけるステップＳ３１５の変換と同じである。続いて、拡大表示制御部３０７は、拡大表示情報格納部３０８からＡＰイベント送信依頼情報を取得する（Ｓ８０３）。次に拡大表示制御部３０７は、ステップＳ８０２で変換した座標が、ＡＰイベント送信依頼情報に含まれる領域範囲内であるか否かを判断する（Ｓ８０４）。ＡＰイベント送信依頼情報に含まれる領域範囲内であれば（Ｓ８０４：Ｙ）、拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介して送信する（Ｓ８０６）。

ＡＰイベント送信依頼情報に含まれる領域範囲外であれば（Ｓ８０４：Ｎ）、拡大制御部３０１でイベントの処理を行う（Ｓ８０５）。すなわち、図８のＳ３０６、Ｓ３０７、Ｓ３２０などで説明した拡大鏡表示位置の更新や描画処理を行う。拡大制御部でのイベント処理後に、拡大表示制御部３０７は、拡大鏡のイベント処理を終了する。

タッチ位置が拡大鏡枠の表示エリア外であれば（Ｓ８０１：Ｎ）、拡大制御部３０１は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ８０７）。この座標変換は図８におけるステップＳ３２１の変換と同じである。拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介して送信する（Ｓ８０６）。イベント情報の送信後に、拡大表示制御部３０７は、拡大鏡のイベント処理を終了する。

図１４は、全体拡大のイベント処理を表すフローチャートである。

拡大表示制御部３０７は、拡大表示情報格納部３０８から全体拡大の表示位置座標情報を取得する（Ｓ９００）。表示位置座標情報を取得した拡大表示制御部３０７は、イベント情報に含まれるタッチ位置を表す座標を通常表示領域６０２の座標に変換する（Ｓ９０１）。この座標変換は図９におけるステップＳ４１７の変換と同じである。続いて、拡大表示制御部３０７は、拡大表示情報格納部３０８からＡＰイベント送信依頼情報を取得する（Ｓ９０２）。次に拡大表示制御部３０７は、ステップＳ９０１で変換した座標が、ＡＰイベント送信依頼情報に含まれる領域範囲内であるか否かを判断する（Ｓ９０３）。ＡＰイベント送信依頼情報に含まれる領域範囲内であれば（Ｓ９０３：Ｙ）、拡大表示制御部３０７は、座標変換により算出した座標によりイベント情報を更新して、アプリケーション部４０１に画面制御部２０１を介して送信する（Ｓ９０５）。

ＡＰイベント送信依頼情報に含まれる領域範囲外であれば（Ｓ９０３：Ｎ）、拡大制御部３０１でイベントの処理を行う（Ｓ９０４）。すなわち、図９のＳ４０３、Ｓ４０４、Ｓ４０５、Ｓ４０８、Ｓ４０９などで説明した拡大率の変更や表示位置座標の更新や描画処理を行う。拡大制御部でのイベント処理後に、拡大表示制御部３０７は、拡大鏡のイベント処理を終了する。

図１５は一般アプリケーション４０３が表示する画面の一例を示す図である。

領域９００は、情報処理装置１０１内に保持されているアドレス帳のリストを表示する領域である。一般アプリケーション４０３は、領域９００内でドラッグ操作が行われたことを検知するとリストのスクロール処理を行う。ここで、拡大機能によって拡大表示されている場合であっても、領域９００内でドラッグ操作が行われた場合は、拡大表示位置座標を更新するのではなく、一般アプリケーション４０３の処理であるリストのスクロール処理を行わせたいとする。この場合、一般アプリケーション４０３は、画面表示部２０４にこの画面の情報の描画指示を送信すると同時に、ＡＰイベント送信依頼受信部３０９に対して、領域９００を特定する座標として９０１及び９０２の座標情報を含んだＡＰイベント送信依頼を行えば良い。これによって、拡大表示中であっても、領域９００内で行われた操作は、座標変換されて一般アプリケーション４０３に通知される。従って、領域９００内でドラッグ操作が行われた場合はリストのスクロール処理が行われる。一方領域９００以外の領域でドラッグ操作が行われた場合は拡大表示の位置が変更される。

なお、ＡＰイベント送信依頼に含まれる領域は、通常表示領域の全領域であっても良い。この場合、全てのイベントがアプリケーション部４０１に通知されることとなる。

以上のように、本実施形態の情報処理装置１０１は、ＯＳやウインドウシステムをカスタマイズすることなく、画像全体を拡大表示でき、また一部を拡大表示する拡大鏡表示を可能とする。これにより視力の弱いユーザであっても操作に支障をきたすことが少なくなり、アクセシビリティが向上する。また、画面全体を拡大して表示中であっても、ユーザがタッチアップやタッチダウン等のタッチ操作を行うと、拡大率や表示位置を考慮して座標変換を行った上で、実行中のＡＰにイベント情報が通知される。そのために、ユーザは拡大表示された画像を見ながら、所望のＡＰに対する操作を行うことができる。

また、所定の領域内のイベントをＡＰに送信するようにＡＰから指示することによって、拡大表示中であっても、ＡＰが所望する操作をユーザに提供することができる。

また、上述の情報処理装置１０１は、様々な装置を含むものである。例えば、パーソナルコンピュータやＰＤＡ、携帯電話端末に限らず、プリンタ、スキャナ、ＦＡＸ、複写機、複合機、カメラ、ビデオカメラ、その他の画像ビューワ等を含む。

そして、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。また、一つのプロセッサが全ての処理を行うようにしてもよいし、複数のプロセッサが分散処理を行うようにしてもよい。

１０１ 情報処理装置、１１０ 制御部、１１８ タッチパネル、
１１９ ディスプレイ、１２０ 外部メモリ

Claims (7)

1. 第１の画像が描画される第１の表示領域及（６０２）び前記第１の表示領域と同じ表示サイズで第２の画像が描画される第２の表示領域（６０３）を備えた記憶手段と、
   前記第１の画像を生成して前記第１の表示領域に描画するアプリケーション手段（４０１）と、
   前記第１の画像を拡大し、拡大した第１の画像の一部を含む前記第２の画像を生成して前記第２の表示領域に描画する拡大制御手段（３０１）と、
   前記第１の画像及び前記第２の画像のいずれか一方を所定の表示装置に表示させる画面表示手段（２０４）と、
   前記表示装置に一体に構成されるタッチパネル（１１８）と、
   前記第２の画像が前記表示装置に表示されているときに、前記タッチパネルがタッチ操作されると、前記タッチ操作された位置を前記第１の表示領域の位置に変換して、前記アプリケーション手段に送信する変換手段（Ｓ３１５、Ｓ３２１、Ｓ４１７、）と、を備えることを特徴とする情報処理装置。
2. 前記変換手段は、さらに特定の操作を検出する検出手段（Ｓ３１３、Ｓ４１５）を持ち、検出手段によって特定の操作を検出すると、前記タッチ操作された位置を前記第１の表示領域の位置に変換して、前記アプリケーション手段に送信することを特徴とする請求項１に記載の情報処理装置。
3. 前記検出手段は、予め定められた所定時間前記タッチ操作された位置が移動していないことを検出する長押し検出手段（Ｓ３１３、Ｓ４１５）であることを特徴とする請求項２に記載の情報処理装置。
4. 前記検出手段は、所定の短い間隔で２回タッチされたことを検出する検出手段であることを特徴とする請求項２に記載の情報処理装置。
5. 前記検出手段は、前記第２の表示領域に表示された特定のボタンが押下されたことを検出する検出手段であることを特徴とする請求項２に記載の情報処理装置。
6. 前記アプリケーション手段は、さらに前記変換手段に対して変換処理を行うか否かを指示する指示手段（３０９）を持ち、前記変換手段は前記指示手段による指示に基づいて、前記タッチ操作された位置を前記第１の表示領域の位置に変換して、前記アプリケーション手段に送信することを特徴とする請求項１に記載の情報処理装置。
7. 前記指示手段は、変換を行う座標領域の情報を含むことを特徴とする請求項６に記載の情報処理装置。