JP2011170902A - 情報処理装置および表示方法 - Google Patents

Abstract

【課題】高解像度のディスプレイの解像度を有効利用できる情報処理装置を実現する。
【解決手段】コントロールアプリケーションプログラム２０４は、外部ディスプレイ２１の画面上に表示される画面イメージと同一のまたは類似する画面イメージをタッチパネルディスプレイに表示する。さらに、コントロールアプリケーションプログラム２０４は、コピー画面イメージに対する当該コピー画面イメージ上のタッチ位置の相対位置に基づいて、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置を指定するための機能（ポインティング機能）を有している。
【選択図】図２

Description

本発明は一般にパーソナルコンピュータのような情報処理装置に関し、特にタッチパネルディスプレイを備えた情報処理装置および同装置に適用される表示方法に関する。

近年、ノートブック型等の様々な携帯型パーソナルコンピュータが開発されている。この種の携帯型パーソナルコンピュータの多くは、マルチディスプレイ機能を有している。マルチディスプレイ機能は、例えば、２つのディスプレイに画面イメージをそれぞれ表示する機能である。

マルチディスプレイ機能をサポートするシステムにおいては、例えば、仮想画面上に２つの領域が割り当てられ、それら２つの領域それぞれに対応する画面イメージが２つのディスプレイにそれぞれ表示される。また、マルチディスプレイ機能においては、２つのディスプレイに同一の画面イメージを表示するいわゆる「クローン表示」モードも用意されている。

しかし、通常、「クローン表示」モードでは、表示可能な画面イメージの解像度の上限は、２つのディスプレイの内で解像度の低い方のディスプレイの解像度までに制限される。例えば、携帯型パーソナルコンピュータに設けられた低解像度の内部ディスプレイと高解像度の外部ディスプレイのような２つのディスプレイを使用する環境において「クローン表示」モードを使用した場合には、内部ディスプレイの解像度と同じ低解像度の画面イメージしか外部ディスプレイに表示することが出来ないので、高解像度の外部ディスプレイの本来の能力を有効利用することができなくなる。

また、最近では、タッチパネルディスプレイを備えたコンピュータも開発されている。タッチパネルディスプレイを備えたコンピュータにおいては、ユーザによるタッチパネルディスプレイ上のタッチ操作に応じて、タッチパネルディスプレイ上に表示されるアプリケーションウィンドウ等を制御するための各種イベントを発生し得る。

マウスまたはタッチパッドのようなポインティングデバイスは、画面上のポインティング位置（カーソルの位置）がそのポインティングデバイスの移動に応じて移動される相対ポインティングデバイスとして機能する。一方、タッチパネルディスプレイは、そのタッチ位置そのものが画面上のポインティング位置に対応する絶対ポインティングデバイスとして機能する。

特許文献１には、タッチパネル式の表示装置を備えたデジタルビデオカメラが開示されている。このデジタルビデオカメラは、このデジタルビデオカメラに外部モニターが接続された時、タッチパネル式の表示装置をタッチパッドとして動作させる機能を有している。

特開２００９−１４０４７１号公報

しかし、特許文献１の技術では、タッチパネル式の表示装置は単にタッチパッドの代替デバイスとして使われるに過ぎない。このため、ユーザにとっては、タッチパネル上の座標位置と、外部モニター上の座標位置との関係を把握することが難しい。タッチパネル上の座標位置と外部モニター上の座標位置との関係を把握するためには、ユーザは、例えば、視点をタッチパネルと外部モニターとの間を何度も行き来させることが必要となる。

本発明は上述の事情を考慮してなされたものであり、ディスプレイの解像度を有効利用できる情報処理装置および表示方法を提供することを目的とする。
また、本発明は、高解像度のディスプレイの解像度を有効利用でき、且つタッチパネルディスプレイを利用することによって高解像度のディスプレイの画面上の位置を容易に指定することができる情報処理装置および表示方法を提供することを目的とする。

上述の課題を解決するため、請求項１に係る情報処理装置は、第１のフレームバッファ内の表示データに基づいて、第１の解像度を有する第１のディスプレイに第１の映像信号を出力し、第２のフレームバッファ内の表示データに基づいて、前記第１の解像度よりも高い第２の解像度を有する第２のディスプレイに第２の映像信号を出力するように構成された表示制御手段と、前記第２のフレームバッファ内の表示データに基づいて、前記第２のディスプレイの画面に表示される画面イメージを縮小したコピー画面イメージに対応する表示データを前記第１のフレームバッファに格納するように構成されたデータ制御手段とを具備することを特徴とする。

本発明によれば、ディスプレイの解像度を有効利用することができる。

本発明の一実施形態に係る情報処理装置の外観を示す斜視図。 同実施形態の情報処理装置のシステム構成例を示すブロック図。 同実施形態の情報処理装置によって実行されるコントロールアプリケーションプログラムの構成例を示すブロック図。 同実施形態の情報処理装置によってタッチスクリーンディスプレイと外部ディスプレイにそれぞれ表示される画面イメージの例を示す図。 図３のコントロールアプリケーションプログラムが起動された時にタッチスクリーンディスプレイと外部ディスプレイにそれぞれ表示される画面イメージの例を示す図。 図３のコントロールアプリケーションプログラムによって外部ディスプレイの画面イメージがコピーされる様子を示す図。 図３のコントロールアプリケーションプログラムによってコピーされた外部ディスプレイの画面イメージがタッチスクリーンディスプレイに表示される様子を示す図。 図７のタッチスクリーンディスプレイがタッチされる様子を示す図。 タッチスクリーンディスプレイ上のタッチ位置に基づいて、外部ディスプレイの画面イメージを制御するためのイベントが発行される様子を示す図。 同実施形態の情報処理装置によって実行される座標変換動作の例を示す図。 外部ディスプレイの画面イメージとタッチスクリーンディスプレイ上のコピー画面イメージとの間の画面サイズとアスペクト比との関係の例を示す図。 外部ディスプレイの画面イメージとタッチスクリーンディスプレイ上のコピー画面イメージとの間の画面サイズとアスペクト比との関係の他の例を示す図。 外部ディスプレイの画面イメージとタッチスクリーンディスプレイ上のコピー画面イメージとの間の画面サイズとアスペクト比との関係のさらに他の例を示す図。 外部ディスプレイの画面イメージの一部をタッチスクリーンディスプレイ上にコピー画面イメージとして拡大表示する例を示す図。 タッチスクリーンディスプレイのコピー画面イメージ上に仮想キーボードをさらに表示した例を示す図。 同実施形態の情報処理装置によって実行される外部ディスプレイ制御処理の手順の例を示すフローチャート。

以下、図面を参照して、本発明の実施形態について説明する。

図１には、本発明の一実施形態に係る情報処理装置の外観が示されている。この情報処理装置は、例えば、バッテリ駆動可能な携帯型パーソナルコンピュータ１０として実現されている。

図１は、コンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成される。ディスプレイユニット１２には、タッチスクリーンディスプレイとして機能する液晶表示装置（ＬＣＤ）１３が組み込まれており、そのＬＣＤ１３の表示画面はコンピュータ本体１１のほぼ中央に位置されている。ＬＣＤ１３は本コンピュータ１０の内部モニターとして機能する。ＬＣＤ１３の上面には透明のタッチパネルが配置されており、ＬＣＤ１３と透明のタッチパネルとによってタッチスクリーンディスプレイが実現される。このタッチスクリーンディスプレイは、ペン又は指によってタッチされた表示画面上のタッチ位置を検知することができる。ユーザは、ＬＣＤ１３の表示画面上に表示された各種オブジェクト（例えば、フォルダやファイルを表すアイコン、メニュー、ボタン、等）を指先やペン１などを用いて選択することができる。表示画面上のタッチ位置を示す座標情報はタッチスクリーンディスプレイからコンピュータ１０内のＣＰＵに入力される。

ディスプレイユニット１２は薄い箱型の筐体を有しており、このディスプレイユニット１２はコンピュータ本体１１にヒンジ部を介して回動自在に取り付けられている。より詳しくは、ディスプレイユニット１２は、コンピュータ本体１１に対してコンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面がディスプレイユニット１２によって覆われる閉塞位置との間を回動自在に取り付けられている。

コンピュータ本体１１は薄い箱形の筐体を有するベースユニットであり、その上面にはキーボード１４、タッチパッド１５などが配置されている。また、コンピュータ本体１１には、外部ディスプレイ２１を接続可能な外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、例えば、ＲＧＢコネクタ、ＤＶＩコネクタ、ＨＤＭＩコネクタなどから構成し得る。

本コンピュータ１０上で実行されるオペレーティングシステムはマルチディスプレイ機能を有している。すなわち、オペレーティングシステムによって管理される仮想画面上の第１の領域に対応する第１の画面イメージは、例えばプライマリモニターとして使用されるＬＣＤ１３の画面上に表示される。さらに、仮想画面上の第２の領域に対応する第２の画面イメージは、例えばセカンダリモニターとして使用される外部ディスプレイ２１の画面上に表示される。外部ディスプレイ２１としては、ＬＣＤ１３の画面の解像度よりも高い解像度のディスプレイを使用することができる。この場合、仮想画面上の第１の領域の解像度（サイズ）はＬＣＤ１３の画面の解像度と同じ解像度に設定することができ、また仮想画面上の第２の領域の解像度（サイズ）は外部ディスプレイ２１の画面の解像度と同じ解像度に設定することができる。

次に、図２を参照して、本コンピュータ１０のシステム構成を説明する。

本コンピュータ１０は、ＣＰＵ１１１、主メモリ１１２、グラフィスクプロセッシングユニット（ＧＰＵ）１１３、電源回路１１４、ＵＳＢコントローラ１１５、およびタッチパネルコントローラ１１６等を備えている。

ＣＰＵ１１１は、コンピュータ１０の動作を制御するために設けられたプロセッサであり、主メモリ１１２にロードされる、オペレーティングシステム（ＯＳ）２０１および各種アプリケーションプログラム等を実行する。アプリケーションプログラムには、タッチパネルディスプレイを用いて外部ディスプレイ２１上の画面イメージを制御するためのコントロールアプリケーションプログラム２０４が含まれている。

このコントロールアプリケーションプログラム２０４は、ユーザがタッチパネルディスプレイの画面を見ながらタッチパネルディスプレイをタッチ操作するだけで、外部ディスプレイ２１の画面上に表示される、例えばアプリケーションウィンドウ、メニュー、ボタンといったグラフィカルユーザインタフェースを操作できるようにするためのソフトウェアである。このコントロールアプリケーションプログラム２０４は、ＯＳ２０１内にそれぞれ設けられたディスプレイドライバプログラム２０２およびタッチパネルドライバプログラム２０３の各々との通信を実行することができる。コントロールアプリケーションプログラム２０４は、コンピュータ１０に対する外部ディスプレイ２１の接続を示す接続イベントまたはコンピュータ１０からの外部ディスプレイ２１の取り外しを示す取り外しイベントをディスプレイドライバプログラム２０２から受信することができる。また、コントロールアプリケーションプログラム２０４は、タッチパネルディスプレイ上のタッチ位置を示す座標情報をタッチパネルドライバプログラム２０３から受信することができる。

コントロールアプリケーションプログラム２０４は、外部ディスプレイ２１の画面上に表示される画面イメージと同一のまたは類似する画面イメージをタッチパネルディスプレイにも表示するために、外部ディスプレイ２１の画面上に表示される画面イメージをコピーすることによって得られるコピー画面イメージを、タッチパネルディスプレイつまりＬＣＤ１３上に表示する。この場合、コピー画面イメージのサイズ（解像度）はＬＣＤ１３の解像度に合わせて縮小してもよい。コピー画面イメージとしては、例えば、一つのレイヤから構成されるイメージが用いられる。外部ディスプレイ２１の画面上に複数のアプリケーションウィンドウが表示されている場合であっても、それら複数のアプリケーションウィンドウを含む画面イメージ全体がコピーされ、そのコピーによって得られる一つの画面イメージが上述のコピー画面イメージとしてＬＣＤ１３の画面上に表示される。

このように、従来の「クローン表示」モードではなく、外部ディスプレイ２１の画面イメージをコピーすることによって得られる、一つのレイヤから構成されるイメージをＬＣＤ１３の画面上に表示することにより、外部ディスプレイ２１の本来の解像度を有効利用しつつ、外部ディスプレイ２１の画面上に表示される画面イメージと同一のまたは類似する画面イメージをタッチパネルディスプレイにも表示するこことができる。

さらに、コントロールアプリケーションプログラム２０４は、コピー画面イメージに対する当該コピー画面イメージ上のタッチ位置の相対位置に基づいて、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置を指定するための機能（ポインティング機能）を有している。このポインティング機能により、ユーザは、例えばアプリケーションウィンドウ、メニュー、ボタンといった、コピー画面イメージ上のグラフィカルユーザインタフェースに対応する位置をタッチするという操作を行うだけで、外部ディスプレイの画面イメージ上の対応するグラフィカルユーザインタフェースを操作することが可能となる。

ＧＰＵ１１３は、ＬＣＤ（内部モニター）１３および外部ディスプレイ（外部モニター）２１をそれぞれ制御する表示コントローラである。ＧＰＵ１１３は、バスを介してＣＰＵ１１１から受信される描画要求に基づいてフレームバッファ（ビデオメモリ）に表示データを描画するための表示処理（グラフィクス演算処理）を実行する。フレームバッファには、外部モニター用の描画領域であるバッファ＃１と内部モニター用の描画領域であるバッファ＃２とが用意されている。バッファ＃１は、ＯＳ２０１によって管理される仮想画面上の領域に対応する画面イメージの描画に用いられ、またバッファ＃２は、仮想画面上の別の領域に対応する画面イメージの描画に用いられる。ＧＰＵ１１３は、バッファ＃１に描画される表示データに基づいて、外部ディスプレイ２１に画面イメージを表示するための映像信号を生成する共に、バッファ＃２に描画される表示データに基づいて、ＬＣＤ１３に別の画面イメージを表示するための映像信号を生成する。

電源回路１１４は本コンピュータ１０の各コンポーネントに電力を供給する回路である。ＵＳＢコントローラ１１５は、本コンピュータ１０に接続されたＵＳＢデバイスを制御する。タッチパネルコントローラ１１６は、ＬＣＤ１３上の画面上に重ねて配置された透明のタッチパネル１３Ａを制御する。タッチパネル１３Ａは、例えば、抵抗膜方式または静電容量方式等を用いて、ユーザの指またはペン１によってタッチされるタッチパネル１３Ａ（タッチスクリーンディスプレイ）上のタッチ位置を検出するように構成されている。また、タッチパネル１３Ａとしては、複数のタッチ位置を同時に検知可能なマルチタッチパネルを使用してもよい。

次に、図３を参照して、コントロールアプリケーションプログラム２０４の構成について説明する。

コントロールアプリケーションプログラム２０４は、画面イメージコピー部３０１、コピー画面イメージ表示部３０２、ポインティング処理部３０３、コピー画面制御部３０４、仮想キーボード表示部３０５、およびコードデータ出力部３０６等を含む。

画面イメージコピー部３０１は、例えばバッファ＃１に格納された表示データをコピーすることによって、外部ディスプレイ２１の画面に表示される画面イメージをコピーする。コピー画面イメージ表示部３０２は、画面イメージコピー部３０１によってコピーされた画面イメージに対して、例えば縮小等のリサイズ処理を施し、これによってＬＣＤ１３の画面の解像度に適合するサイズ（解像度）を有するコピー画面イメージを生成する。さらに、コピー画面イメージ表示部３０２は、生成されたコピー画面イメージを、例えば、ディスプレイドライバプログラム２０２を介してＬＣＤ１３の画面上に表示する。この場合、例えば、コントロールアプリケーションプログラム２０４に対応する表示領域（ウィンドウ）を、ＬＣＤ１３の画面上の一部上に開くかまたはＬＣＤ１３の画面全体を覆うように開き、このウィンドウ上にコピー画面イメージを表示するようにしてもよい。生成されたコピー画面イメージに対応する表示データはバッファ＃２上に描画される。

ポインティング処理部３０３は、タッチパネルドライバプログラム２０３からＬＣＤ１３の画面上のタッチ位置を示す座標情報を受信する。例えば、コピー画面イメージ上のある位置がユーザの指又はペン１によってタッチされた場合、ポインティング処理部３０３は、コピー画面イメージ上のタッチ位置を示す座標情報をタッチパネルドライバプログラム２０３から受信する。この座標情報の受信に応答して、ポインティング処理部３０３は、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１上の画面イメージ上の位置を算出し、その算出された位置を指定（ポインティング）するための処理を実行する。

すなわち、ポインティング処理部３０３は、ＬＣＤ１３上のコピー画面イメージ上のタッチ位置の座標を、そのタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置の座標に変換する座標変換部３０３Ａを有しており、この座標変換部３０３Ａを用いて、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置を特定する。

コピー画面制御部３０４は、外部ディスプレイ２１の画面イメージ内のコピー領域を画面イメージコピー部３０１に通知する処理等を実行する。コピー領域は、ユーザによるタッチパッド１５の操作などによって指定することができる。もちろん、かならずしもコピー領域を明示的に指定する必要はない。コピー領域を明示的な指定がない限り、外部ディスプレイ２１の画面イメージ全体がコピー領域として用いられる。また、コピー画面制御部３０４は、外部ディスプレイ２１の画面イメージを縮小するための縮小率などのパラメタをコピー画面イメージ表示部３０２に通知する。

仮想キーボード表示部３０５は、仮想キーボードを、ＬＣＤ１３の画面上、例えば、コピー画面イメージ上に表示する。仮想キーボードは、複数のキーコードを入力するための複数の仮想キーを含む。コードデータ出力部３０６は、仮想キーボードに含まれる複数の仮想キーから、ＬＣＤ１３の画面上のタッチ位置に存在する仮想キーを選択する。仮想キーの選択は、例えば、タッチ位置の座標情報とキー割当て情報とに基づいて行うことが出来る。キー割当て情報は、複数の仮想キーそれぞれが表示されるＬＣＤ１３の画面上の領域、つまり仮想キーそれぞれの表示領域を示す。

コードデータ出力部３０６は、選択された仮想キーに対応するコードデータを、ＯＳ２０１、アクティブなアプリケーションプログラムなどに出力する。例えば、外部ディスプレイ２１上に開かれたあるアプリケーションウィンドウがアクティブウィンドウである場合、ユーザは、ＬＣＤ１３の画面上の仮想キーボードをタイプすることで、外部ディスプレイ２１上に開かれたそのアプリケーションウィンドウに対して文字コードのようなコードデータを入力することが出来る。

次に、図４乃至図９を参照して、本実施形態によって実行される外部ディスプレイ制御処理について説明する。

図４は、ＯＳ２０１のマルチディスプレイ機能によってＬＣＤ１３および外部ディスプレイ２１それぞれに画面イメージが表示されている状態を示している。ＯＳ２０１によって管理される仮想画面上の第１および第２の領域それぞれに対応する第１および第２の画面イメージがＬＣＤ１３および外部ディスプレイ２１にそれぞれ表示される。

コントロールアプリケーションプログラム２０４が実行されると、コントロールアプリケーションプログラム２０４に対応する表示領域が図５に示されるようにＬＣＤ１３の画面上に表示される。コントロールアプリケーションプログラム２０４は図６に示されるように外部ディスプレイ２１に表示されている画面イメージ（第２の画面イメージ）をコピーする。図６に示されるように、外部ディスプレイ２１のデスクトップ画面上にアプリケーションウィンドウＡ，Ｂと複数のアイコンが表示されている場合には、それらアプリケーションウィンドウＡ，Ｂと複数のアイコンとが配置されたデスクトップ画面のイメージ全体がコピーされる。そして、コントロールアプリケーションプログラム２０４は、図７に示されるように、コピーされた画面イメージを、ＬＣＤ１３の画面上、つまりコントロールアプリケーションプログラム２０４に対応する表示領域上に表示する。この場合、ＬＣＤ１３の画面上に表示されるコピー画面イメージは、外部ディスプレイ２１のデスクトップ画面のアスペクト比と同じアスペクト比を有している。ユーザは、外部ディスプレイ２１のデスクトップ画面の画面イメージと同様の画面イメージを、ＬＣＤ１３をする事によって確認することができる。

図８に示すようにユーザがペン１又は指でＬＣＤ１３のコピー画面イメージ上をタッチすると、コントロールアプリケーションプログラム２０４は、コピー画面イメージに対するタッチ位置の相対位置から、そのタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置を算出し、その算出した位置を示す座標情報を含むタッチイベント（ポインティングイベントとも云う）を発行する。これにより、図９に示されているように、コピー画面イメージに対するタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置が指定（ポインティング）される。よって、ユーザは、例えば、コピー画面イメージ上に提示されている、例えばボタンまたはメニュー項目のようなＧＵＩをタッチするだけで、外部ディスプレイ２１に表示されている実際のＧＵＩを操作することができる。

上述したように、タッチスクリーンディスプレイは絶対ポインティングデバイスであるので、タッチ位置そのものが画面上のポインティング位置に対応する。本実施形態では、外部ディスプレイ２１に表示される画面イメージをコピーすることによって得られるコピー画面イメージがタッチスクリーンディスプレイ（ＬＣＤ１３）に一種の操作画面として表示される。したがって、ユーザは、外部ディスプレイ２１上の画面イメージ上のＧＵＩの位置などを、手元のコンピュータ１０のＬＣＤ１３を見ることによって確認することが出来る。また、本実施形態では、コピー画面イメージ上のタッチ操作に応答して、そのタッチ位置に対応する外部ディスプレイ２１上の画面イメージ上の位置を指定するタッチイベント（ポインティングイベント）が自動的に発行されるので、ユーザは、外部ディスプレイ２１上の画面イメージ上に表示されるアプリケーションウィンドウ等を容易に制御することができる。

次に、図１０を参照して、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１上の画面イメージ上の位置を算出する処理の例について説明する。

図１０は、第１および第２の画面イメージそれぞれの仮想画面上の配置位置の例を示している。ここでは、（１）ＬＣＤ１３に表示される第１の画面イメージの左上端および右下端それぞれの座標が(Xt0,Yt0),(Xt1,Yt1)であり、（２）第１の画面イメージ上に表示されるコピー画面イメージ（コントロールアプリケーションプログラム２０４の表示領域）の左上端および右下端それぞれの座標が(Xa0,Ya0)，(Xa1,Ya1)であり、（３）外部ディスプレイ２１に表示される第１の画面イメージの左上端および右下端それぞれの座標が(Xe0,Ye0)，(Xe1,Ye1)であり、（４）ユーザが指又はペンによってタッチしたコピー画面イメージ上の位置の座標が(x,y)である場合を想定する。

まず、コントロールアプリケーションプログラム２０４は、コピー画面イメージに対するタッチ位置の相対位置、つまり、ユーザーがポイントした座標(x,y)がコピー画面イメージ内のどの比率の場所に位置するかを計算する。

xr = (x-Xa0) / (Xa1-Xa0)
yr = (y-Ya0) / (Ya1-Ya0)
ここで、xrは、コピー画面イメージのＸ方向（水平方向）のサイズに対するタッチ位置のＸ座標の比率を示し、yrは、コピー画面イメージのＹ方向（水平方向）のサイズに対するタッチ位置のＹ座標位置の比率を示す。各比率の最小値は0、各比率の最大値は1である。

コントロールアプリケーションプログラム２０４は、xrおよびyrに基づいて、ユーザがタッチした位置が、外部ディスプレイ２１の画面上のどの位置になるか以下のように計算をする。
xx = Xe0 + (Xe1-Xe0)×xr
yy = Ye0 + (Ye1-Ye0)×yr
このように、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置は、コピー画面イメージに対するタッチ位置の相対位置xr，yrに基づいて、算出される。

そして、コントロールアプリケーションプログラム２０４は、座標(xx, yy)を示すポインティングイベントをＯＳ２０１等に発行することにより、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１上の画面イメージ上の位置を指定する。

次に、図１１乃至図１３を参照して、外部ディスプレイ２１とＬＣＤ１３との間の画面サイズとアスペクト比との関係の例について説明する。上述したように、本実施形態では、コピー画面イメージは、外部ディスプレイ２１に表示される画面イメージと同じアスペクト比で、ＬＣＤ１３上に表示される。図１１は外部ディスプレイ２１の画面のアスペクト比およびＬＣＤ１３の画面のアスペクト比がそれぞれ１６：９である場合を想定している。この場合、コピー画面イメージは、図１１に示されているように、ＬＣＤ１３の画面全体に表示することが出来る。

図１２は外部ディスプレイ２１の画面のアスペクト比が１６：９であり、ＬＣＤ１３の画面のアスペクト比が４：３である場合を想定している。この場合、アスペクト比１６：９のコピー画面イメージは、例えば、図１２のように、“レターボックス”と称される表示形態でＬＣＤ１３の画面上に表示される。図１３は外部ディスプレイ２１の画面のアスペクト比が４：３であり、ＬＣＤ１３の画面のアスペクト比が１６：９である場合を想定している。この場合、アスペクト比４：３のコピー画面イメージは、例えば、図１３のように、両サイドが黒帯となるような表示形態でＬＣＤ１３の画面上に表示される。

図１４は、外部ディスプレイ２１の画面イメージ全体ではなく、その画面イメージの一部を拡大してＬＣＤ１３の画面上に表示する例が示されている。例えば、ユーザは、外部ディスプレイ２１の画面イメージ上の任意の部分をコピー領域として指定することができる。コントロールアプリケーションプログラム２０４は、外部ディスプレイ２１の画面イメージのコピーから、コピー領域に属するイメージのみを抽出し、その抽出したイメージを上述のコピー画面イメージとしてＬＣＤ１３の画面上に表示する。これにより、ＬＣＤ１３の画面の解像度が低い場合でも、ユーザはＬＣＤ１３の画面上のタッチ操作により、外部ディスプレイ２１の画面イメージ上の希望するＧＵＩ部分をポインティングすることができる。

図１５は、ＬＣＤ１３のコピー画面イメージ上に仮想キーボード１０１を表示した様子を示している。このようにＬＣＤ１３のコピー画面イメージ上に仮想キーボード１０１を表示することにより、外部ディスプレイ２１の画面イメージの一部が仮想キーボード１０１によって隠されるといった不具合を招くことなく、タッチ操作によってキーデータの入力を行うことが出来る。

次に、図１６のフローチャートを参照して、コントロールアプリケーションプログラム２０４によって実行される外部ディスプレイ制御処理の手順を説明する。

コントロールアプリケーションプログラム２０４は、まず、外部ディスプレイ２１の画面上に表示されている画面イメージをコピーする（ステップＳ１１）。そして、コントロールアプリケーションプログラム２０４は、コピーされた画面イメージに対してリサイズのような加工処理を必要に応じて施し、この加工処理によって得られる画面イメージをタッチスクリーンディスプレイ（ＬＣＤ１３）上にコピー画面イメージとして表示する（ステップＳ１２）。ステップＳ１１およびステップＳ１２の処理は、例えば、所定の時間間隔等で定期的に実行される。これにより、コントロールアプリケーションプログラム２０４が起動された時点以降は、外部ディスプレイ２１の画面イメージと類似する画面イメージをタッチスクリーンディスプレイ（ＬＣＤ１３）上に常に表示することが可能となり、タッチスクリーンディスプレイ（ＬＣＤ１３）上の表示画面を、外部ディスプレイ２１に表示されているアプリケーションウィンドウを制御するための操作画面として使用することが可能となる。

次に、コントロールアプリケーションプログラム２０４は、コピー画面イメージ上の位置がタッチされた否かを判定する（ステップＳ１３）。コピー画面イメージ上の位置がタッチされたならば（ステップＳ１３のＹＥＳ）、コントロールアプリケーションプログラム２０４は、コピー画面イメージに対するタッチ位置の相対位置に基づいて、そのコピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１の画面イメージ上の位置を指定するポインティング処理を実行する（ステップＳ１３，Ｓ１４）。例えば、ステップＳ１３では、コントロールアプリケーションプログラム２０４は、タッチ位置の座標を外部ディスプレイ２１の画面イメージ上の座標に変換する。この場合、コントロールアプリケーションプログラム２０４は、タッチ位置の座標に基づいて、コピー画面イメージに対するタッチ位置の相対位置xr，yrを算出し、そして、その相対位置xr，yrに基づいて、外部ディスプレイ２１の画面イメージ上の対応する位置を示す座標(xx, yy)を算出する。この後、コントロールアプリケーションプログラム２０４は、座標(xx, yy)を示すポインティングイベントをＯＳ２０１等に発行することにより、コピー画面イメージ上のタッチ位置に対応する、外部ディスプレイ２１上の画面イメージ上の位置を指定する（ステップＳ１４）。

以上説明したように、本実施形態によれば、外部ディスプレイの解像度を有効利用でき、且つタッチパネルディスプレイを利用することによって外部ディスプレイの画面上の位置を容易に指定することができる。

また、本実施形態の外部ディスプレイ制御機能はコンピュータプログラムによって実現されているので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じて、このコンピュータプログラムをタッチスクリーンディスプレイを有するコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に得ることが出来る。

また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

以下、原出願の出願当初の特許請求の範囲に記載された発明を付記する。

［１］タッチスクリーンディスプレイと、
前記タッチスクリーンディスプレイおよび外部ディスプレイをそれぞれ制御する表示コントローラと、
前記外部ディスプレイの画面上に表示される画面イメージをコピーすることによって得られるコピー画面イメージを、前記タッチスクリーンディスプレイの画面上に表示するコピー画面イメージ表示手段と、
前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記外部ディスプレイの画面イメージ上の位置を指定するポインティング手段とを具備することを特徴とする情報処理装置。

［２］前記コピー画面イメージ表示手段は、前記外部ディスプレイの前記画面イメージ内の指定された部分をコピーすることによって得られる画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする［１］記載の情報処理装置。

［３］キーコードをそれぞれ入力するための複数の仮想キーを含む仮想キーボードを前記タッチスクリーンディスプレイの画面上に表示する仮想キーボード表示手段と、
前記複数の仮想キーから、前記タッチスクリーンディスプレイの画面上のタッチ位置に対応する仮想キーを選択し、当該選択された仮想キーに対応するコードデータを生成するコードデータ生成手段とをさらに具備することを特徴とする［１］記載の情報処理装置。

［４］タッチスクリーンディスプレイと、
仮想画面上の第１および第２の領域それぞれに対応する第１および第２の画面イメージを前記タッチスクリーンディスプレイおよび外部ディスプレイにそれぞれ表示する表示コントローラと、
前記第２の画面イメージをコピーすることによって得られるコピー画面イメージを、前記タッチスクリーンディスプレイの前記第１の画面イメージ上に位置する表示エリア上に表示するコピー画面イメージ表示手段と、
前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記外部ディスプレイの画面イメージ上の位置を指定するポインティング手段とを具備することを特徴とする情報処理装置。

［５］前記コピー画面イメージ表示手段は、前記外部ディスプレイの前記画面イメージ内の指定された部分をコピーすることによって得られる画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする［４］記載の情報処理装置。

［６］タッチスクリーンディスプレイ上のタッチ位置に応じて、外部ディスプレイの画面上に表示される画面イメージ上の位置を指定するポインティング方法であって、
前記外部ディスプレイの画面上に表示される前記画面イメージをコピーすることによって得られるコピー画面イメージを、前記タッチスクリーンディスプレイの画面上に表示するステップと、
前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記外部ディスプレイの画面イメージ上の位置を指定するステップとを具備することを特徴とするポインティング方法。

［７］前記コピー画面イメージを表示するステップは、前記外部ディスプレイの前記画面イメージ内の指定された部分をコピーすることによって得られる画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする［６］記載のポインティング方法。

１０…コンピュータ、１３…ＬＣＤ、１３Ａ…タッチパネル、２１…外部ディスプレイ、１１１…ＣＰＵ、２０４…コントロールアプリケーションプログラム、３０１…画面イメージコピー部、３０２…コピー画面イメージコピー部、３０３…ポインティング処理部、３０４…コピー画面制御部、３０５…仮想キーボード表示部、３０６…コードデータ出力部。

Claims (10)

1. 第１のフレームバッファ内の表示データに基づいて、第１の解像度を有する第１のディスプレイに第１の映像信号を出力し、第２のフレームバッファ内の表示データに基づいて、前記第１の解像度よりも高い第２の解像度を有する第２のディスプレイに第２の映像信号を出力するように構成された表示制御手段と、
   前記第２のフレームバッファ内の表示データに基づいて、前記第２のディスプレイの画面に表示される画面イメージを縮小したコピー画面イメージに対応する表示データを前記第１のフレームバッファに格納するように構成されたデータ制御手段とを具備することを特徴とする情報処理装置。
2. 前記第１のディスプレイはタッチスクリーンディスプレイであり、
   前記タッチスクリーンディスプレイに表示される前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記第２のディスプレイの画面イメージ上の位置を指定するポインティング手段をさらに具備することを特徴とする請求項１記載の情報処理装置。
3. 前記データ制御手段は、前記第２のディスプレイの画面イメージ内の一部分がユーザによってコピー領域として指定された場合、前記指定された部分の画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイの画面上に表示することを特徴とする請求項２記載の情報処理装置。
4. キーコードをそれぞれ入力するための複数の仮想キーを含む仮想キーボードを前記タッチスクリーンディスプレイの画面上に表示する仮想キーボード表示手段と、
   前記複数の仮想キーから、前記タッチスクリーンディスプレイの画面上のタッチ位置に対応する仮想キーを選択し、当該選択された仮想キーに対応するコードデータを生成するコードデータ生成手段とをさらに具備することを特徴とする請求項２記載の情報処理装置。
5. 仮想画面上の第１および第２の領域それぞれに対応する第１および第２の画面イメージを、第１の解像度を有する第１のディスプレイおよび前記第１の解像度よりも高い第２の解像度を有する第２のディスプレイにそれぞれ表示するように構成された表示制御手段と、
   前記第２のディスプレイ用のフレームバッファ内の表示データに基づいて、前記第２のディスプレイの前記第２の画面イメージを縮小したコピー画面イメージに対応する表示データを前記第１のディスプレイ用のフレームバッファに格納するように構成されたデータ制御手段とを具備することを特徴とする情報処理装置。
6. 前記第１のディスプレイはタッチスクリーンディスプレイであり、
   前記タッチスクリーンディスプレイに表示される前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記第２のディスプレイの前記第２の画面イメージ上の位置を指定するポインティング手段をさらに具備することを特徴とする請求項５記載の情報処理装置。
7. 前記データ制御手段は、前記第２のディスプレイの前記第２画面イメージ内の一部分がユーザによってコピー領域として指定された場合、前記指定された部分の画面イメージを、前記コピー画面イメージとして前記タッチスクリーンディスプレイ上に表示することを特徴とする請求項６記載の情報処理装置。
8. 第１のフレームバッファの内の表示データに基づいて、第１の解像度を有する第１のディスプレイに第１の映像信号を出力し、第２のフレームバッファの内の表示データに基づいて、前記第１の解像度よりも高い第２の解像度を有する第２のディスプレイに第２の映像信号を出力し、
   前記第２のフレームバッファ内の表示データに基づいて、前記第２のディスプレイの画面に表示される画面イメージを縮小したコピー画面イメージに対応する表示データを前記第１のフレームバッファに格納することを特徴とする表示方法。
9. 前記第１のディスプレイはタッチスクリーンディスプレイであり、
   前記タッチスクリーンディスプレイに表示される前記コピー画面イメージに対する前記コピー画面イメージ上のタッチ位置の相対位置に基づいて、前記コピー画面イメージ上のタッチ位置に対応する、前記第２のディスプレイの画面イメージ上の位置を指定することをさらに具備することを特徴とする請求項８記載の表示方法。
10. 第１のフレームバッファの内の表示データに基づいて第１の解像度を有する第１のディスプレイに第１の画面イメージを表示すると共に、第２のフレームバッファの内の表示データに基づいて前記第１の解像度よりも高い第２の解像度を有する第２のディスプレイに第２の画面イメージを表示する手順と、
    前記第２のフレームバッファ内の表示データに基づいて、前記第２のディスプレイに表示される前記第２の画面イメージを縮小したコピー画面イメージに対応する表示データを前記第１のフレームバッファに格納する手順とをコンピュータに実行させることを特徴とするプログラム。

Images