JP2013125526A - 画像表示装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】例えば、プロジェクタ等において表示されるマルチ画面上でのポインティング操作と、ＰＣ等において表示される画面上でのポインティング操作とを整合させる。
【解決手段】映像生成部１０１１は、第１の画面を生成し、複数の映像表示装置によって生成される複数の画面を合成表示させることが可能な第２の映像表示装置２０１に対して出力する。第１の表示画面生成部１０１３は、第１の画面に基づいて、カーソルの移動領域が確保された第２の画面を生成する。第１の映像表示部１０１４は、第２の画面を表示する。
【選択図】図１

Description

本発明は、複数の画面がマルチ画面で表示される際のカーソル表示を適切に行うための技術に関するものである。

映像をスクリーンに投影することにより画像を表示させるプロジェクタは、その高精細化、小型化及びＰＣ（Personal Computer）入力への対応により、手軽な大画面表示装置として企業に普及している。プロジェクタの効果的な用途として、会議において発表内容を会議参加者にわかりやすく説明するために、発表者のＰＣの画面をプロジェクタで投影することがある。このとき、ＰＣに接続されているマウス等のポインティングデバイスの動きに連動して移動するカーソルは、画面の特定の箇所を指し示すポインタとして利用され、プレゼンテーションに役立っている。また、会議参加者の複数のＰＣの画面をプロジェクタで合成し、マルチ画面で表示することにより、議論の活性化を促すこともある。

特許文献１には、複数のＰＣの画面をマルチ画面で表示する際に、特定のＰＣに接続されているマウスの操作に連動するカーソルを、他のＰＣの画面が表示されている領域にまで移動させることが可能な技術が開示されている。特許文献１に開示される技術によれば、カーソルを他のＰＣの画面におけるポインタとして使用することができるようになり、会議参加者間の意思疎通の向上を図ることができる。

特開２００８−１２３４０８号公報

ＰＣの画面をプロジェクタで表示して会議を行う場合においても、自分のＰＣにおける画面の内容を変更する際には、自分のＰＣの画面を見ながら操作することが多い。しかしながら、従来の技術ではこの点が考慮されておらず、マルチ画面上におけるカーソルの位置と自分のＰＣの画面上におけるカーソルの位置とに不整合が発生していた。

図９は、上述したカーソルの位置の不整合について説明するための図である。図９（ａ）において、左側は或るＰＣに表示されている画面、右側はそのＰＣを含む４つのＰＣの画面を表示しているマルチ画面の例を示している。上記或るＰＣのユーザが、マルチ画面上で自分のＰＣの画面の表示領域より右の方へカーソルを動かすために、マウスを右に動かしたとする。これにより、マルチ画面上において、自分のＰＣの画面の表示領域を超えて更に右の領域までカーソルを動かすことができる。一方で、自分のＰＣの画面上では、カーソルは画面の右端で止まる。

次に、図９（ｂ）に示すように、ユーザがマウスを左下に動かすと、マルチ画面上では、自分のＰＣの画面の表示領域外でカーソルが左下に動くことになる。一方で、自分のＰＣの画面上では、当該画面内でカーソルが左下に動くことになる。ここで、この状態における両画面のカーソルの位置に着目すると、マルチ画面上のカーソルの位置は自分のＰＣの画面の表示領域外に位置するが、自分のＰＣの画面上のカーソルは、その画面の表示領域内に位置する状態になる。このようなカーソルの位置の不整合が発生すると、どちらかの画面で意図していないところをポインティングすることになり、誤操作の原因になり得る。これは、１つのマウス操作に基づく移動量情報を双方の画面に分配し、カーソルの位置をそれぞれの画面で別々に管理しているからである。

そこで、本発明の目的は、例えば、プロジェクタ等において表示されるマルチ画面上でのポインティング操作と、ＰＣ等において表示される画面上でのポインティング操作とを整合させることにある。

本発明の画像表示装置は、複数の画像表示装置によって生成される複数の画面を合成表示させることが可能な外部装置と接続される画像表示装置であって、第１の画面を生成し、前記第１の画面を前記外部装置に対して出力する第１の生成手段と、前記第１の画面に基づいて、カーソルの移動領域が確保された第２の画面を生成する第２の生成手段と、前記第２の画面を表示手段に表示させる表示制御手段とを有することを特徴とする。

本発明によれば、例えば、プロジェクタ等において表示されるマルチ画面上でのポインティング操作と、ＰＣ等において表示される画面上でのポインティング操作とを整合させることが可能となる。

本発明の実施形態に係る映像表示システムの構成を示す図である。 第１の映像表示部及び第２の映像表示部における画面の表示例を示す図である。 第１の実施形態における第１の映像表示部に表示される画面の画像データ生成処理を示すフローチャートである。 第１の実施形態における第１の映像表示部及び第２の映像表示部における画面の表示状態を示す図である。 第２の実施形態における第１の映像表示部に表示される画面の画像データ生成処理を示すフローチャートである。 図５のステップＳ５０３における領域の抽出処理及び画像データの縮小度合いについて具体的な画面例を用いて説明するための図である。 第３の実施形態における第１の映像表示部及び第２の映像表示部の画面の表示例を示す図である。 第４の実施形態における第１の映像表示部及び第２の映像表示部の画面の表示状態を示す図である。 従来技術におけるカーソルの位置の不整合について説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。但し、本発明の技術的範囲が以下に説明する実施形態に限定されるものではない。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る映像表示システムの構成を示す図である。図１において、１０１及び１０２は、第１の映像表示装置であり、例えばＰＣ等の、ポインティングデバイスと表示手段とを備えた装置で構成される。図１においては、２台の第１の映像表示装置１０１及び１０２を示しているが、映像表示システムには１台の映像表示装置だけを備えてもよいし、３台以上の映像表示装置を備えてもよい。２０１は第２の映像表示装置であり、例えば複数台の第１の映像表示装置の画面を合成して表示させることが可能なプロジェクタ等である。

第１の映像表示装置１０１において、１０１１は映像生成部であり、画面として表示される画像データを生成する。具体的には、映像生成部１０１１は、第１の映像表示装置１０１上で動作している複数のアプリケーションの画像データやデスクトップ画面の画像データ等を一画面に合成した画像データ等を生成する。１０１２は、ポインティングデバイス移動量情報取得部であり、マウス等のポインティングデバイスの移動量情報を取得し、第１の表示画面生成部１０１３及び第２の表示画面生成部２０１２に対してポインティングデバイスの移動量情報を出力する。１０１３は第１の表示画面生成部であり、映像生成部１０１１によって生成された画像データ、ポインティングデバイス移動量情報取得部１０１２によって取得されたポインティングデバイスの移動量情報、及び、後述する画面構成情報管理部２０１１において管理される表示画面構成情報を用いて、カーソルを重畳した画面の画像データを生成する。１０１４は、第１の映像表示部であり、第１の表示画面生成部１０１３において生成された画面の画像データを表示する。第１の映像表示部１０１４は、例えばＰＣの液晶表示部に相当する構成である。なお、第１の映像表示装置１０２も第１の映像表示装置１０１と同様の構成を備えている。即ち、第１の映像表示装置１０２における１０２１〜１０２４は夫々、第１の映像表示装置１０１における１０１１〜１０１４と同様の構成である。

第２の映像表示装置２０１において、２０１１は画面構成情報管理部である。画面構成情報管理部２０１１は、第２の映像表示部２０１３において表示される第１の映像表示部１０１４及び１０２４の画面の位置を示す情報を含む表示画面構成情報を管理する。画面構成情報管理部２０１１において管理される表示画面構成情報は、第１の表示画面生成部１０１３、第１の表示画面生成部１０２３及び第２の表示画面生成部２０１２に対して出力される。

２０１２は第２の表示画面生成部であり、第２の映像表示部２０１３に表示される画面の画像データを生成する。この画面の画像データの生成処理においては、映像生成部１０１１及び１０２１によって生成された画像データ、ポインティングデバイス移動量情報取得部１０１２及び１０２２によって取得されたポインティングデバイスの移動量情報、並びに、画面構成情報管理部２０１１において管理される表示画面構成情報が用いられる。２０１３は第２の映像表示部であり、第２の表示画面生成部２０１２によって生成された画面の画像データを表示する。第２の映像表示部２０１３は、例えばプロジェクタの映像投射部に相当する構成である。

ポインティングデバイス移動量情報取得部１０１２及び１０２２によって取得されるポインティングデバイスの移動量情報は、第１の映像表示装置１０１及び１０２に接続されるマウス等のポインティングデバイスの移動量を示す情報である。ポインティングデバイスの横方向の移動量をΔＸとし、縦方向の移動量をΔＹとすると、この一組の移動量情報（ΔＸ，ΔＹ）が第１の表示画面生成部１０１３及び１０２３に出力される。なお、第１の映像表示装置１０１、１０２は、画像表示装置の適用例となる構成である。また、映像生成部１０１１、１０２１は、第１の生成手段の適用例となる構成であり、映像生成部１０１１によって生成される画面は第１の画面の適用例となる構成である。第１の表示画面生成部１０１３、１０２３は、第２の生成手段の適用例となる構成であり、第１の表示画面生成部１０１３、１０２３によって生成される画面は第２の画面の適用例となる構成である。また、第１の映像表示部１０１４、１０２４が画面を表示するための制御処理は、表示制御手段の処理例である。第２の映像表示装置２０１は、外部装置の適用例となる構成である。

次に、図２を参照しながら、第１の映像表示部１０１４及び１０２４、並びに、第２の映像表示部２０１３における画面の表示例について説明する。

図２（ａ）は、第１の映像表示部１０１４の画面を示しており、図２（ｂ）は、第１の映像表示部１０２４の画面を示しており、図２（ｃ）は、第２の映像表示装置２０１の画面を示している。ここで、第２の映像表示部２０１３の画面では、第１の映像表示部１０１４及び１０２４の画面を横に並べて表示しているが、第２の映像表示部２０１３の画面の表示内容はこの限りではない。

第１の映像表示装置１０１に接続されているマウスをユーザが左手前方向に動かした場合、ポインティングデバイス移動量情報取得部１０１２においてポインティングデバイスの移動量情報（ΔＸ，ΔＹ）が取得されたものとする。この移動量情報（ΔＸ，ΔＹ）は第１の表示画面生成部１０１３に出力される。そして、図２（ｄ）に示すように、ポインティングデバイスの移動量情報（ΔＸ，ΔＹ）に比例して、カーソルが移動量（ａΔＸ，ａΔＹ）で移動するように第１の映像表示部１０１４の画面が更新される。一方、第２の表示画面生成部２０１２にもポインティングデバイスの移動量情報（ΔＸ，ΔＹ）は出力される。そして、図２（ｅ）に示すように、その移動量情報（ΔＸ，ΔＹ）に比例して、カーソルが移動量（ｂΔＸ，ｂΔＹ）で移動するように第２の映像表示部２０１３の画面が更新される。ここで、移動量の係数ａ、ｂは、第１の映像表示部１０１４の画面の大きさと、第２の映像表示部２０１３に表示される第１の映像表示部１０１４の画面の大きさとの比になるように設定される。これにより、第１の映像表示部１０１４の画面と、第２の映像表示部２０１３に表示される第１の映像表示部１０１４の画面とにおいて、カーソルの相対位置は同等となる。

ここでは、第１の映像表示装置１０１のマウスの移動に連動するカーソルの描画について説明したが、第１の映像表示装置１０２のマウスの移動に連動するカーソルも別途用意し、同様に重畳させることができる。

次に、画面構成情報管理部２０１１において管理される表示画面構成情報について説明する。第２の映像表示部２０１３において表示される第１の映像表示部１０１４及び１０２４の画面の位置は画面構成情報管理部２０１１で管理されている。図２（ｃ）は第２の映像表示部２０１３の画面を示している。図２（ｃ）に示す画面の左上を原点（０，０）とした横縦２軸の座標で位置を表現すると、画面の右下は（ｘ２０１，ｙ２０１）と表現される。第２の映像表示部２０１３において表示される第１の映像表示部１０１４及び１０２４の画面の位置は、各画面の左上の座標と右下の座標とで表される。即ち、第２の映像表示部２０１３において表示される第１の映像表示部１０１４の画面の位置は、当該画面の左上の座標と右下の座標との組み合わせ（ｘ１０１０，ｙ１０１０）、（ｘ１０１１，ｙ１０１１）で表現される。また、第２の映像表示部２０１３において表示される第１の映像表示部１０２４の画面の位置は、当該画面の左上の座標と右下の座標との組合せ（ｘ１０２０，ｙ１０１０）、（ｘ１０２１，ｙ１０１１）で表現される。なお、第１の映像表示部１０１４又は１０２４の画面が第２の映像表示部２０１３において表示されていない場合、当該画面の表示位置は（０，０）、（０，０）と表現されるものとする。

画面構成情報管理部２０１１において管理される表示画面構成情報には、第２の映像表示部２０１３において表示される第１の映像表示部１０１４及び１０２４の画面の位置を示す情報が含まれる。そのほか、表示画面構成情報には、第２の映像表示部２０１３の画面の大きさを示す情報（ｘ２０１，ｙ２０１）が含まれる。表示画面構成情報は、第１の表示画面生成部１０１３及び１０２３、並びに、第２の表示画面生成部２０１２の夫々に対して出力される。そして表示画面構成情報は、第１の表示画面生成部１０１３及び１０２３、並びに、第２の表示画面生成部２０１２における画面の画像データ生成処理に利用される。

図３は、第１の実施形態における第１の映像表示部１０１４及び１０２４に表示される画面の画像データ生成処理を示すフローチャートである。以下では、第１の映像表示部１０１４において表示される画面の画像データ生成処理についてのみ説明するが、第１の映像表示部１０２４において表示される画面の画像データ生成処理も同様の処理となる。なお、図３に示すフローチャートでは、カーソルを描画する処理を省略している。

ステップＳ３０１において、第１の表示画面生成部１０１３は、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されているか否かを判定する。この判定処理では、画面構成情報管理部２０１１において管理される表示画面構成情報が使用される。表示画面構成情報に含まれる、第１の映像表示部１０１４の画面の位置を示す情報が（０，０）、（０，０）である場合、第２の映像表示部２０１３には第１の映像表示部１０１４の画面が表示されていないと判定され、処理はステップＳ３０３に移行する。一方、表示画面構成情報に含まれる、第１の映像表示部１０１４の画面の位置を示す情報が（０，０）、（０，０）以外である場合、第２の映像表示部２０１３には第１の映像表示部１０１４の画面が表示されていると判定され、処理はステップＳ３０２に移行する。なお、ステップＳ３０１は、第１の判定手段の処理例である。

ステップＳ３０３において、第１の表示画面生成部１０１３は、映像生成部１０１１において生成された画像データを加工せず、そのまま出力する。これは、映像生成部１０１１において生成された画像データをプロジェクタで投影せず、通常のＰＣの表示手段上で表示させる場合に相当する。ステップＳ３０２において、第１の表示画面生成部１０１３は、第１の映像表示部１０１４において表示される画面上でのカーソルの位置と、第２の映像表示部２０１３において表示される画面上でのカーソルの位置とを整合させるためのカーソル移動領域を確保した画面の画像データを生成する。ここでは、映像生成部１０１１において生成された画像データを縮小することにより、カーソル移動領域を確保する。

ここで、表示画面構成情報に含まれる、第２の映像表示部２０１３の画面の大きさを示す情報を（ｘ２０１，ｙ２０１）とする。また、表示画面構成情報に含まれる、第２の映像表示部２０１３において表示される第１の映像表示部１０１４の画面の位置を示す情報を（ｘ１０１０，ｙ１０１０）、（ｘ１０１１，ｙ１０１１）とする。また、第１の映像表示部１０１４において表示される画面の大きさを（ｘ１０１，ｙ１０１）とする。この場合、第２の映像表示部２０１３の画面の表示状態に応じて、第１の映像表示部１０１４において表示される画面は縮小して表示される。そのため、第１の映像表示部１０１４において表示される画面の左上の位置は（ｘ１０１０×ｘ１０１／ｘ２０１，ｙ１０１０×ｙ１０１／ｙ２０１）となり、当該画面の右下の位置は（ｘ１０１１×ｘ１０１／ｘ２０１，ｙ１０１１×ｙ１０１／ｙ２０１）となる。

図４は、第１の実施形態における第１の映像表示部１０１４及び第２の映像表示部２０１３における画面の表示状態を示す図である。即ち、図４（ａ）は、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていない場合の、第１の映像表示部１０１４における画面の表示状態を示している。これは、図３のステップＳ３０１において、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていないと判定された場合に相当する。

一方、図４（ｂ）に示すように、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されている場合、図３のステップＳ３０１において、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていると判定される。この場合、第１の映像表示部１０１４では、図４（ｃ）に示すように画面が縮小して表示される。なお、映像生成部１０１１において生成された画像データが表示されない部分には、黒表示等が行われる。

以上のように、第２の映像表示部２０１３の画面の表示状態に応じて、第１の映像表示部１０１４において画面を縮小して表示することにより、第１の映像表示部１０１４でも、第２の映像表示部２０１３と同等のカーソル移動領域を設けることができる。従って、第２の映像表示部２０１３において第１の映像表示装置１０１の画面の表示領域外にカーソルが移動した場合、第２の映像表示部２０１３において表示されるカーソルと、第１の映像表示部装置１０１４において表示されるカーソルとの相対的な位置関係が同一になる。従って、第２の映像表示部２０１３において表示されるマルチ画面上でのポインティング操作と、第１の映像表示部１０１４において表示される画面上でのポインティング操作とを整合させることができる。なお、第２の映像表示部２０１３において第１の映像表示装置１０１の画面の表示領域外にカーソルが移動した場合とは、例えば、カーソルが第１の映像表示装置１０２の画面に対するポインタとして使用される場合等が挙げられる。

次に、本発明の第２の実施形態について説明する。以下では、第１の実施形態との差異を中心に説明する。第２の実施形態においては、第１の実施形態において説明した効果に加え、第１の映像表示部１０１４の画面をより大きく表示させることができる。なお、第２の実施形態に係る映像表示システムの構成は、図１に示した第１の実施形態に係る映像表示システムの構成と同様であるため、以下の説明においても図１に示す符号を用いるものとする。

第２の実施形態では、第２の映像表示部２０１３において表示される画面上で、第１の映像表示装置１０１のカーソルが第１の映像表示部１０１４の画面の表示領域外に位置する場合にのみ、第１の映像表示部１０１４において画面を縮小して表示させる。その際、第１の映像表示部１０１４及び第２の映像表示部２０１３の双方において第１の映像表示部１０１４の画面とカーソルとの位置関係を同等に保ちながら、第１の映像表示部１０１４において画面が大きく表示されるように調整される。

図５は、第２の実施形態における第１の映像表示部１０１４及び１０２４に表示される画面の画像データ生成処理を示すフローチャートである。以下では、第１の映像表示部１０１４において表示される画面の画像データ生成処理についてのみ説明するが、第１の映像表示部１０２４において表示される画面の画像データ生成処理も同様の処理となる。なお、図５に示すフローチャートでは、カーソルを描画する処理を省略している。

ステップＳ５０１において、第１の表示画面生成部１０１３は、第２の映像表示部１０２４において第１の映像表示部１０１４の画面が表示されているか否かを判定する。なお、ステップＳ５０１の判定処理は、図３のステップＳ３０１の判定処理と同様である。第１の映像表示部１０１４の画面が表示されている場合、処理はステップＳ５０２に移行する。一方、第１の映像表示部１０１４の画面が表示されていない場合、処理はステップＳ５０４に移行する。ステップＳ５０４において、第１の表示画面生成部１０１３は、映像生成部１０１１において生成された画像データを加工せず、そのまま出力する。これは、映像生成部１０１１において生成された画像データをプロジェクタで投影せず、通常のＰＣの表示手段上で表示させる場合に相当する。

ステップＳ５０２において、第１の表示画面生成部１０１３は、第２の映像表示部２０１３において表示される画面上で、第１の映像表示装置１０１のカーソルが第１の映像表示部１０１４の画面の表示領域内に存在しているか否かを判定する。この判定処理には、表示画面構成情報とポインティングデバイスの移動量情報とが使用される。なお、ステップＳ５０２は、第２の判定手段の処理例である。

ここで、初期状態として、第２の映像表示部２０１３において表示される画面上で、第１の映像表示装置１０１のカーソルが第１の映像表示部１０１４の画面の表示領域内に存在しているものとする。そして、そのカーソルの初期状態における位置とポインティングデバイスの移動量情報とから移動後のカーソルの位置が算出される。

本実施形態では、表示画面構成情報に含まれる、第２の映像表示部２０１３の画面の大きさを示す情報、及び、第２の映像表示部２０１３において表示される第１の映像表示部１０１４の画面の位置を示す情報を利用して、移動後のカーソルの位置が算出される。そして、移動後のカーソルの位置が、第２の映像表示部２０１３において表示される第１の映像表示装置１０１の画面の表示領域内にあるか否かが判定される。

第２の映像表示部２０１３において表示される画面上で、第１の映像表示装置１０１のカーソルが第１の映像表示部１０１４の画面の表示領域内に存在しない場合、処理はステップＳ５０３に移行する。一方、第２の映像表示部２０１３において表示される画面上で、第１の映像表示装置１０１のカーソルが第１の映像表示部１０１４の画面の表示領域内に存在する場合、処理はステップＳ５０４に移行する。

ステップＳ５０４において、第１の表示画面生成部１０１３は、映像生成部１０１１において生成された画像データを加工せず、そのまま出力する。これは、映像生成部１０１１において生成された画像データをプロジェクタで投影せず、通常のＰＣの表示手段上で表示させる場合に相当する。ステップＳ５０３において、第１の表示画面生成部１０１３は、第１の映像表示部１０１４において表示される画面上でのカーソルの位置と、第２の映像表示部２０１３において表示される画面上でのカーソルの位置とを整合させるためのカーソル移動領域を確保した画面の画像データを生成する。ここでは、第１の表示画面生成部１０１３は、第２の映像表示部２０１３において表示される画面から、第１の映像表示部１０１４の画面の表示領域と第１の映像表示装置１０１のカーソルの位置とを含む領域を抽出する。そして第１の表示画面生成部１０１３は、抽出した領域が第１の映像表示部１０１４において表示されるように映像生成部１０１１によって生成された画像データを縮小する。

次に、図６を参照しながら、図５のステップＳ５０３における領域の抽出処理及び画像データの縮小処理について具体的な画面例を用いて説明する。図６は、第２の実施形態における第１の映像表示部１０１４及び１０２４、並びに、第２の映像表示部２０１３における画面の表示例を示す図である。

図６（ａ）は、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていない場合に、第１の映像表示部１０１４において表示される画面を示している。これは、図５のステップＳ５０１において、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていないと判定された場合に相当する。一方、図６（ｂ）に示すように、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されている場合、図５のステップＳ５０１において、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていると判定される。但し、ステップＳ５０２において、第１の映像表示装置１０１のカーソルは第１の映像表示部１０１４の画面の表示領域内に存在すると判定されるため、第１の映像表示部１０１４において表示される画面は、図６（ａ）に示す状態が維持される。

図６（ｄ）に示すように、第２の映像表示部２０１３において表示される画面上で、第１の映像表示部１０１４の画面の表示領域内で第１の映像表示装置１０１のカーソルが移動した場合、図５のステップＳ５０２において、第１の映像表示装置１０１のカーソルは第１の映像表示部１０１４の画面の表示領域内に存在すると判定される。これにより、第１の映像表示部１０１４において表示される画面は、映像生成部１０１１において生成された画像データは加工されず、そのまま出力される。その結果、図６（ｃ）に示すように、映像生成部１０１１において生成された画像データが第１の映像表示部１０１４全体に表示される。

続いて、図６（ｅ）に示すように、第１の映像表示部１０１４のカーソルの位置が（ｘ１０１３，ｙ１０１３）までに移動し、第２の映像表示部２０１３において表示される画面上で、第１の映像表示部１０１４の画面の表示領域外に第１の映像表示装置１０１のカーソルが位置した場合、図５のステップＳ５０２において、第１の映像表示装置１０１のカーソルは第１の映像表示部１０１４の画面の表示領域内に存在しないと判定される。これにより、図５のステップＳ５０３において、第１の表示画面生成部１０１３はカーソル移動領域を確保する。具体的には、第１の表示画面生成部１０１３は、第２の映像表示部２０１３において表示される画面から、第１の映像表示部１０１４の画面の表示領域と第１の映像表示装置１０１のカーソルの位置とを含む領域として、図６（ｆ）に示す斜線の矩形領域６０１を抽出する。次に第１の映像表示部１０１４は、この矩形領域６０１が第１の映像表示部１０１４において表示されるように、映像生成部１０１１において生成された画像データを縮小することによりカーソル移動領域を確保し、カーソルを描画する。図６（ｇ）は、カーソル移動領域を確保してカーソルを描画した後の画面の状態を示している。なお、映像生成部１０１１において生成された画像データが表示されない部分には、黒表示等が行われる。

次に、上述した領域の抽出方法と画像データの縮小処理とについて具体的に説明する。便宜上、第２の映像表示部２０１３において表示される画面を用いて説明するが、以下の処理は、第１の表示画面生成部１０１３によって実行される処理である。

先ず、図６（ｈ）に示すように、第１の表示画面生成部１０１３は、横方向と縦方向との表示領域候補として、第１の映像表示部１０１４の画面の表示領域と第１の映像表示装置１０１のカーソルを含む領域とを囲む領域を、第２の映像表示部２０１３の画面から抽出する。ここでは、（ｘ１０１０，ｙ１０１０）、（ｘ１０１３，ｙ１０１１）の位置に該当する矩形領域６０２が抽出されるものとする。さらに、第１の表示画面生成部１０１３は、第１の映像表示部１０１４のアスペクト比を考慮し、矩形領域６０２を拡大する。ここで、第１の映像表示装置１０１のアスペクト比をｘ１０１：ｙ１０１とすると、第１の表示画面生成部１０１３は、ｘ１０１／ｙ１０１と（ｘ１０１３−ｘ１０１０）／（ｙ１０１１−ｙ１０１０）とを比較する。後者の方が大きければ、第１の表示画面生成部１０１３は、矩形領域６０２の縦方向を拡大し、矩形領域６０２のアスペクト比が第１の映像表示部１０１４のアスペクト比と同一になるようにする。一方、前者の方が大きければ、第１の表示画面生成部１０１３は、矩形領域６０２の横方向を拡大し、矩形領域６０２のアスペクト比が第１の映像表示部１０１４のアスペクト比と同一になるようにする。ここでは後者の方が大きいため、第１の表示画面生成部１０１３は、矩形領域６０２の縦方向を拡大し、（ｘ１０１４，ｙ１０１４）、（ｘ１０１５，ｙ１０１５）の位置の矩形領域７０１を抽出する。このときの縮小割合は横方向が基準となり、（ｘ１０１１−ｘ１０１０）／（ｘ１０１５−ｘ１０１４）となる。

図６（ｉ）に示すようにカーソルが移動した場合、図５のステップＳ５０２において、第１の映像表示装置１０１のカーソルが第１の映像表示部１０１４の画面の表示領域内に存在しないと判定される。この場合、第１の映像表示部１０１４の画面の表示領域と第１の映像表示装置１０１のカーソルとを含む領域として、図６（ｊ）に示す斜線の矩形領域６０３が第２の映像表示部２０１３の画面から抽出される。次に第１の表示画面生成部１０１３は、アスペクト比を考慮して矩形領域６０３を横方向に拡大して、図６（ｋ）に示す斜線の矩形領域６０４を第２の映像表示部２０１３の画面から抽出する。そして第１の表示画面生成部１０１３は、この矩形領域６０４が第１の映像表示部１０１４に表示されるように、映像生成部１０１１によって生成された画像データを縮小する。これにより、第１の映像表示部１０１４の画面は図６（ｌ）に示すような表示状態となる。

以上のように、第２の実施形態においては、カーソルの位置の整合性をとるために必要な場合にのみ、第１の映像表示部１０１４に表示される画面を必要最小限で縮小させるようにしている。従って、第２の実施形態によれば、第１の実施形態で説明した効果に加え、第１の映像表示部１０１４において画面をより大きく表示させることが可能となる。

次に、本発明の第３の実施形態について説明する。以下では、第１の実施形態との差異を中心に説明する。第３の実施形態においては、第１の実施形態において説明した効果に加え、第２の実施形態とは別の手法で、第１の映像表示部１０１４に表示される画面をより大きく表示させることができる。なお、第３の実施形態に係る映像表示システムの構成は、図１に示した第１の実施形態に係る映像表示システムの構成と同様であるため、以下の説明においても図１に示す符号を用いるものとする。

第３の実施形態では、第１の表示画像生成部１０１３によって生成された画像データと当該画像データ以外との第１の映像表示部１０１４における表示割合を、第２の映像表示部２０１３と異ならせる。これにより、映像生成部１０１１によって生成された画像データを第１の映像表示部１０１４においてより大きく表示することができる。

次に、図７を参照しながら、第３の実施形態における第１の映像表示部１０１４及び１０２４、並びに、第２の映像表示部２０１３の画面の表示例について説明する。

図７（ａ）は、第２の映像表示部２０１３に第１の映像表示部１０１４の画面が表示されていない場合の、第１の映像表示部１０１４における画面の表示状態を示している。一方、図７（ｂ）に示すように、第２の映像表示部２０１３に第１の映像表示部１０１４の画面が表示されている場合、第１の表示画面生成部１０１３においてカーソル移動領域が確保される。このとき、第３の実施形態では、第１の表示画像生成部１０１３によって生成された画像データと当該画像データ以外との第１の映像表示部１０１４における表示割合を、第２の映像表示部２０１３と異ならせる。

ここでは説明を簡略化するために、横方向についてのみ説明する。第２の映像表示部２０１３において、図７（ｃ）に示すように第１の映像表示部１０１４の画面が表示されていたとする。ライン７０１について着目すると、第１の映像表示部１０１４の画面が表示されている領域の大きさは（ｘ１０１１−ｘ１０１０）、第１の映像表示部１０１４の画面が表示されていない領域の大きさは（ｘ２０１−ｘ１０１１＋ｘ１０１０）となる。

ここで、第１の表示画面生成部１０１３は、映像生成部１０１１によって生成された画像データをより大きく表示するために、当該画像データに対する上記２領域の縮小度合いを変更する。例えば、映像生成部１０１１によって生成された画像データは第１の映像表示部１０１４の２／３に表示され、当該画像データ以外が第１の映像表示部１０１４の１／３に表示されるようにする。この場合、図７（ｄ）に示すように第１の映像表示部１０１４では画面が表示され、ｘ３１０１０＝（ｘ１０１／３）×（ｘ１０１０／（ｘ２０１−ｘ１０１１＋ｘ１０１０））、ｘ３１０１１＝（ｘ３１０１０＋（ｘ１０１×２）／３）となる。

次に、上記のように画面が表示された場合の第１の映像表示部１０１４におけるカーソルの移動量について説明する。第１の実施形態でも説明したように、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていない場合、ポインティングデバイス移動量情報取得部１０１２においてポインティングデバイスの移動量情報（ΔＸ，ΔＹ）が取得されると、第１の映像表示部１０１４ではカーソルが移動量（ａΔＸ，ａΔＹ）で移動する。

図７（ｅ）に示すように、第２の映像表示部２０１３における第１の映像表示部１０１４の画面の表示領域内でカーソルが移動した場合、第１の映像表示部１０１４において表示される画面は２／３に縮小されているため、第１の映像表示部１０１４におけるカーソルの移動量も２／３となる。従って、第１の映像表示部１０１４において移動量（ａΔＸ×（２／３））でカーソルが移動するように描画され、図７（ｆ）に示すように、第１の映像表示部１０１４の画面内で同等の位置にカーソルが描画される。一方、図７（ｇ）に示すように、第２の映像表示部２０１３における第１の映像表示部１０１４の画面の表示領域外でカーソルが移動した場合、第１の映像表示部１０１４において移動量（ａΔＸ×（１／３）×（（ｘ１０１１−ｘ１０１０）／（ｘ２０１−ｘ１０１１＋ｘ１０１０）））でカーソルが移動するように描画される。従って、図７（ｈ）に示すように、カーソルの移動量は相対的に小さくなるが、カーソルが第１の映像表示部１０１４において画面の表示領域外に存在することを示すことができる。

以上のように、第３の実施形態においては、カーソル位置の整合性をとるためのカーソル移動領域を確保しつつ、第１の映像表示部１０１４に表示される画面を必要最小限で縮小させている。従って、第３の実施形態によれば、第１の実施形態で説明した効果に加え、第１の映像表示部１０１４において画面をより大きく表示することが可能となる。

次に、本発明の第４の実施形態について説明する。以下では、第１の実施形態との差異を中心に説明する。第４の実施形態においては、第１の映像表示部１０１４における画面の表示位置を変更することにより、カーソル移動領域を確保する。これにより、第４の実施形態によれば、第２の映像表示部２０１３において表示されるマルチ画面上でのポインティング操作と、第１の映像表示部１０１４において表示される画面上でのポインティング操作とを整合させることができる。なお、第４の実施形態に係る映像表示システムの構成は、図１に示した第１の実施形態に係る映像表示システムの構成と同様であるため、以下の説明においても図１に示す符号を用いるものとする。

第４の実施形態では、第１の映像表示部１０１４において表示される画面とカーソルとの位置関係が、第２の映像表示部２０１３における第１の映像表示部１０１４の画面と第１の映像表示装置１０１のカーソルとの位置関係と同等となるように、第１の映像表示部１０１４に表示される画面を移動させる。ここでの画面の移動については、カーソルの位置を含み、且つ、第１の映像表示装置１０１の画面がより広範囲に表示されるように当該画面を移動させる。

図８は、第４の実施形態における第１の映像表示部１０１４及び第２の映像表示部２０１３の画面の表示状態を示す図である。即ち、図８（ａ）は、第１の映像表示部１０１４における画面の表示状態を示しており、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されていない場合の表示状態を示している。図８（ｂ）は、第２の映像表示部２０１３において第１の映像表示部１０１４の画面が表示されている場合の表示状態を示している。このとき、第１の表示画面生成部１０１３は、図８（ｃ）に示すように、第１の映像表示部１０１４の画面と第１の映像表示装置１０１のカーソルが移動可能な範囲とを含む第２の映像表示部２０１３の仮想領域８０１を判定する。そして、第１の表示画面生成部１０１３は、仮想領域８０１から適切な領域を切り出し、第１の映像表示部１０１４において表示させる。仮想領域８０１から領域を切り出す際には、第１の表示画面生成部１０１３は、第１の映像表示装置１０１のカーソルの位置を含み、且つ、第１の映像表示部１０１４の画面の領域がより広くなるような切り出し領域を選択する。例えば、第１の映像表示装置１０１のカーソルの位置が図８（ｃ）に示す位置である場合、第２の映像表示部２０１３において当該カーソルは第１の映像表示部１０１４の画面の表示領域内に含まれる。従って、第１の映像表示部１０１４に表示される画面は図８（ａ）に示すようになる。同様に、図８（ｅ）に示すように、第２の映像表示部２０１３において第１の映像表示部１０１４の画面の表示領域内でカーソルが動かされた場合も、図８（ｄ）に示すように、第１の映像表示部１０１４では表示領域全体に画面が表示された状態になる。一方、図８（ｆ）に示すように、第２の映像表示部２０１３において、第１の映像表示部１０１４の画面の表示領域外へカーソルが動かされた場合、第１の表示画面生成部１０１３は、図８（ｇ）に示すように、第１の映像表示装置１０１のカーソルの位置を含み、且つ、第１の映像表示部１０１４の画面の領域がより広くなるような切り出し領域８０２を選択する。そして第１の表示画面生成部１０１３は、当該切り出し領域８０２が第１の映像表示部１０１４において表示されるような画像データを生成する。

第４の実施形態においては、複数の第１の映像表示部の画面がマルチ画面で表示された状態で自らの画面の表示領域内外にカーソルが移動する場合、第１の映像表示部に表示される画面とマルチ画面との双方のカーソルの相対位置関係が同一になる。従って、第４の実施形態によれば、第２の映像表示部において表示されるマルチ画面上でのポインティング操作と、第１の映像表示部において表示される画面上でのポインティング操作とを整合させることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１、１０２：第１の映像表示装置、１０１１、１０２１：映像生成部、１０１２、１０２２：ポインティングデバイス移動量情報取得部、１０１３、１０２３：第１の表示画面生成部、１０１４、１０２４：第１の映像表示部、２０１：第２の映像表示装置、２０１１：画面構成情報管理部、２０１２：第２の表示画面生成部、２０１３：第２の映像表示部

Claims (9)

1. 複数の画像表示装置によって生成される複数の画面を合成表示させることが可能な外部装置と接続される画像表示装置であって、
   第１の画面を生成し、前記第１の画面を前記外部装置に対して出力する第１の生成手段と、
   前記第１の画面に基づいて、カーソルの移動領域が確保された第２の画面を生成する第２の生成手段と、
   前記第２の画面を表示手段に表示させる表示制御手段とを有することを特徴とする画像表示装置。
2. 前記第２の生成手段は、前記第１の画面を縮小させることにより、前記カーソルの移動領域が確保された前記第２の画面を生成することを特徴とする請求項１に記載の画像表示装置。
3. 前記第２の生成手段は、前記外部装置により表示される画面上における前記第１の画面の表示領域と当該画像表示装置のカーソルの位置とを含む領域が前記表示手段で表示されるように、前記第１の画面を縮小させることを特徴とする請求項２に記載の画像表示装置。
4. 前記第２の生成手段は、前記表示手段における前記第１の画面の表示領域と前記第１の画面以外の表示領域との表示割合と、前記外部装置により表示される画面上における前記第１の画面の表示領域と前記第１の画面以外の表示領域との表示割合とが異なるように、前記第１の画面を縮小させることを特徴とする請求項２に記載の画像表示装置。
5. 前記第２の生成手段は、前記第１の画面を移動させることにより、前記カーソルの移動領域が確保された前記第２の画面を生成することを特徴とする請求項１に記載の画像表示装置。
6. 前記外部装置において前記第１の画面が表示されているか否かを判定する第１の判定手段を更に有し、
   前記第２の生成手段は、前記第１の判定手段において前記外部装置により前記第１の画面が表示されていると判定された場合、前記第１の画面に基づいて前記第２の画面を生成することを特徴とする請求項１に記載の画像表示装置。
7. 前記外部装置により表示される画面上における前記第１の画面の表示領域内に当該画像表示装置のカーソルが存在するか否かを判定する第２の判定手段を更に有し、
   前記第２の生成手段は、前記第２の判定手段において前記第１の画面の表示領域内に当該画像表示装置のカーソルが存在しないと判定された場合、前記第１の画面に基づいて前記第２の画面を生成することを特徴とする請求項６に記載の画像表示装置。
8. 複数の画像表示装置によって生成される複数の画面を合成表示させることが可能な外部装置と接続される画像表示装置の制御方法であって、
   第１の画面を生成し、前記第１の画面を前記外部装置に対して出力する第１の生成ステップと、
   前記第１の画面に基づいて、カーソルの移動領域が確保された第２の画面を生成する第２の生成ステップと、
   前記第２の画面を表示手段に表示させる表示制御ステップとを有することを特徴とする画像表示装置の制御方法。
9. 複数の画像表示装置によって生成される複数の画面を合成表示させることが可能な外部装置と接続される画像表示装置の制御方法をコンピュータに実行させるためのプログラムであって、
   第１の画面を生成し、前記第１の画面を前記外部装置に対して出力する第１の生成ステップと、
   前記第１の画面に基づいて、カーソルの移動領域が確保された第２の画面を生成する第２の生成ステップと、
   前記第２の画面を表示手段に表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。

Images