JP2015138472A - 映像表示装置及びコンピュータ - Google Patents

Abstract

【課題】マルチ画面表示上の自分のパソコン画像の投影領域以外の領域へもシームレスにカーソルが移動できるようにする場合にも、パソコン画面上でのマウス操作との両立を図る。
【解決手段】パソコンの画面をプロジェクタでマルチ画面表示する際に、当該パソコン画面の投影領域以外の領域へもマウスカーソルが移動できるようにする。その場合に、映像表示装置からコンピュータに対し、カーソルの制御信号を送信することにより、投影画面と操作画面のカーソルの整合性を取ることができるようにする。
【選択図】図１

Description

本発明は映像表示装置及びコンピュータに関し、特に、映像コンテンツとカーソルを複数の表示装置で表示するシステムに用いて好適な技術に関する。

映像をスクリーンに投影することにより表示画像を生成するプロジェクタは、その高精細化、小型化、ＰＣ入力への対応により、手軽な大画面表示装置として企業に普及している。

プロジェクタの効果的な用途として、会議において発表内容を会議参加者にわかりやすく説明するために、発表者のノートパソコンの画面をプロジェクタで投影することがある。この時、パソコンに接続されているマウス等のポインティングデバイスの動きに連動して移動するカーソル表示は、画面の特定の箇所を指し示すポインタとして利用され、プレゼンテーションに役立っている。

また、会議参加者の複数のパソコンの画面をプロジェクタで合成し、マルチ画面表示することにより、議論の活性化を促すこともある。この複数のパソコンの画面をマルチ画面表示する時に、特定のパソコンに接続されているマウスの操作に連動するカーソルを、他のパソコンの画面が表示されている領域にまで移動できる装置が提案されている（特許文献１）。この装置によれば、カーソルを他のパソコン画面へのポインタとして使用することができるようになり、会議参加者間の意思疎通の向上が図れる。

特開２００８−１２３４０８号公報

パソコンの画面をプロジェクタで表示して会議を行う場合においても、自分のパソコンから出力される画面の内容を変更する時には、自分のノートパソコンの画面を見ながら操作することは多い。

従来の装置においては、この点が考慮されておらず、マルチ画面表示上のカーソル位置と自分のノートパソコン画面（１６０１）上のカーソル位置の不整合が発生していた。
図１６は、従来の装置におけるカーソル位置の不整合を説明する図である。
図１６（ａ）において、左側はあるノートパソコンに表示されている画面、右側はそのパソコンを含む４つのパソコンの出力画像を表示しているマルチ画面表示（１６０２）の例である。

パソコンの操作者が、マルチ画面表示上で自分のパソコン画像が表示されている領域より右方へカーソルを動かすために、マウスを右に動かしたとする。マルチ画面表示上では、自分のパソコン画像の表示領域を超えて更に右の領域までカーソルを動かすことができる。一方で、自分のノートパソコン上の画面では、カーソルは画面の右端で止まる。

次に、図１６（ｂ）に示すように、操作者がマウスを左下に動かすと、マルチ画面表示上では、自分のパソコン画像の表示領域外で、カーソルが左下に動くことになる。一方で、自分のノートパソコン上の画面では、画面内でカーソルが左下に動くことになる。ここで、この状態での両画面のカーソルの位置に着目すると、マルチ画面表示上のカーソル位置は自分のノートパソコン画像の表示領域外にいるが、ノートパソコン画面上のカーソルは、領域内にいる状態になる。このカーソル位置の不整合が発生すると、どちらかの画面で意図していないところをポインティングすることになり、パソコン上では誤操作の原因になりうる。

これは、１つのマウス操作に基づく移動量情報を双方の画面に分配し、カーソルの位置をそれぞれの画面で別々に管理しているからである。
本発明は前述の問題点に鑑み、マルチ画面表示上の自分のパソコン画像の投影領域以外の領域へもシームレスにカーソルが移動できるようにする場合にも、パソコン画面上でのマウス操作との両立を図ることを目的とする。

本発明の映像表示装置は、コンピュータの操作画面である第１の表示画面を表示する映像表示装置であって、前記コンピュータから、ポインティングデバイスの移動情報を取得するポインティングデバイス移動情報取得手段と、前記ポインティングデバイス移動情報取得手段が取得した移動情報から、映像表示装置の表示画面である第２の表示画面上に表示する映像に対するカーソル位置を決定するカーソル位置判定手段と、前記カーソル位置判定手段が決定したカーソル位置に基づいて、前記コンピュータに対する制御信号を算出して送信する制御信号送信手段と、前記第１の表示画面および第２の表示画面のカーソル位置を管理するカーソル位置管理手段と、前記カーソル位置判定手段が決定したカーソル位置に基づいて、第２の表示画面を生成する映像生成手段とを有することを特徴とする。

本発明によれば、複数台のパソコンの画面をプロジェクタ等でマルチ画面表示する場合に、マルチ画面上のマウスカーソルを、該マルチ画面全体をシームレスに移動可能なポインタとして使用しつつ、パソコンの画面上の操作もユーザの意図通りに行うことができる。

本発明の実施形態におけるシステムの構成例を示すブロック図である。 第１の実施形態を示し、映像生成部が第２の表示画面に表示する出力画面を生成するまでの手順を示すフローチャートである。 第１の実施形態における制御信号送信部が第２のポインティングデバイス移動情報を算出する手順を示すフローチャートである。 第１の実施形態における第１の表示画面と第２の表示画面のカーソル制御の一例を表す図である。 第２の実施形態における制御信号送信部が第２のポインティングデバイス移動情報を算出する手順を示すフローチャートである。 第２の実施形態における制御信号送信部が算出した第２のポインティングデバイス移動情報を補正する手順を示すフローチャートである。 第２の実施形態における第１の表示画面と第２の表示画面のカーソル制御の一例を表す図である。 第３の実施形態におけるポインティングデバイスの操作があり、映像生成部が第２の表示画面に表示する出力画面を生成するまでの手順を示すフローチャートである。 第３の実施形態における制御信号送信部がカーソル制御信号を算出する手順を示すフローチャートである。 第３の実施形態における第１の表示画面と第２の表示画面のカーソル制御の一例を表す図である。 第４の実施形態におけるポインティングデバイスの操作があり、映像生成部が第２の表示画面に表示する出力画面を生成するまでの手順を示すフローチャートである。 第４の実施形態における制御信号送信部がカーソル相対座標を算出する手順を示すフローチャートである。 第４の実施形態における第１の表示画面と第２の表示画面のカーソル制御の一例を表す図である。 第６の実施形態におけるコンピュータ上の作られる仮想可動領域と第１の表示画面でのカーソル位置算出説明図である。 第６の実施形態における映像表示装置にコンピュータが接続された時点の、初期化処理手順を示すフローチャートである。 従来の装置におけるカーソル位置の不整合を説明する図である。

［第１の実施形態］
以下、本発明の第１の実施形態について図面およびフローチャートを用いて説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
図１は本発明におけるシステムの実施形態の構成を示すブロック図である。
１０１、１０２は第１の表示画面であり、コンピュータ３０１、３０２の操作画面を表示する機器である。

２０１、２０２はポインティングデバイスであり、第１の表示画面１０１、１０２で表示されているカーソルを制御する機器で、例えばマウスなどである。
３０１、３０２はコンピュータであり、第１の表示画面１０１、１０２に表示する映像を生成し、ポインティングデバイス２０１、２０２から受信した第１のポインティングデバイス移動情報に基づいて、カーソルの表示を制御する。

また、制御信号送信部４０３から受信した第２のポインティングデバイス移動情報に基づいて、カーソルの表示を制御する。第２のポインティングデバイス移動情報は、第１のポインティングデバイス移動情報と同様の形式である。
この図１においては、例として２つの第１の表示画面１０１および１０２、ポインティングデバイス２０１および２０２、コンピュータ３０１および３０２を記載しているが、システムに１つもしくは３つ以上存在してもよい。

４０１は映像表示装置であり、第１の表示画面１０１、１０２の表示画面を合成し、表示する装置で、例えば複数のノートパソコンの出力画像を合成して表示するプロジェクタなどである。４０２はポインティングデバイス移動情報取得部であり、コンピュータ３０１、３０２がポインティングデバイス２０１、２０２から受信した第１のポインティングデバイス移動情報を取得し、カーソル位置判定部４０４に送出する。

４０３は制御信号送信部であり、カーソル位置判定部４０４で決定した第２の表示画面５０１上の移動後のカーソル位置および移動前のカーソル位置に基づいて、第２のポインティングデバイス移動情報を算出する。第２のポインティングデバイス移動情報は、第１の表示画面１０１、１０２上のカーソル位置と、第２の表示画面５０１上のカーソル位置が矛盾しないように、第１の表示画面１０１、１０２上のカーソル位置を補正するポインティングデバイス移動情報である。また、算出した第２のポインティングデバイス移動情報をコンピュータ３０１、３０２に送信する。

４０４はカーソル位置判定部である。カーソル位置判定部４０４は、ポインティングデバイス移動情報取得部４０２で取得した第１のポインティングデバイス移動情報およびカーソル位置管理部４０６で管理しているカーソル位置に基づいて、第２の表示画面５０１上のカーソル位置を決定する。
４０５は映像生成部であり、映像に対してカーソル位置判定部４０４で決定したカーソル位置にカーソル画像を合成し、出力画面を生成する。

４０６はカーソル位置管理部であり、第１の表示画面１０１、１０２上のカーソル位置および第２の表示画面５０１上のカーソル位置を取得し、保持する。カーソル位置を取得するタイミングは、第１の表示画面１０１、１０２の映像を第２の表示画面５０１に表示を始める初期化時、およびポインティングデバイス２０１、２０２の操作があった時である。
５０１は第２の表示画面であり、映像生成部４０５で生成された出力画面を表示する。例えば、プロジェクタの映像投射部である。

図２は、ポインティングデバイス移動情報取得部４０２が、コンピュータ３０１から第１のポインティングデバイス移動情報を取得し、映像生成部４０５が出力画面を生成するまでの手順を示すフローチャートである。コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、コンピュータ３０１と映像表示装置４０１との間の処理手順を述べるが、その他のコンピュータにも同様の手順で処理を行う。

Ｓ２０１では、ポインティングデバイス移動情報取得部４０２がコンピュータ３０１から第１のポインティングデバイス移動情報を取得する。
Ｓ２０２では、カーソル位置管理部４０６がコンピュータ３０１から第１の表示画面１０１上のカーソル位置を取得する。

Ｓ２０３では、ポインティングデバイス移動情報取得部４０２がカーソル位置判定部４０４に第１のポインティングデバイス移動情報を送出する。
Ｓ２０４では、カーソル位置判定部４０４がカーソル位置管理部４０６から第１の表示画面１０１上のカーソル位置および第２の表示画面５０１上のカーソル位置を取得する。

Ｓ２０５では、カーソル位置判定部４０４が第１のポインティングデバイス移動情報、第１の表示画面１０１上のカーソル位置、第２の表示画面５０１上のカーソル位置から、第２の表示画面５０１上の移動後のカーソル位置を決定する。

Ｓ２０６では、制御信号送信部４０３がカーソル位置判定部４０４から第２の表示画面５０１上の移動後のカーソル位置および移動前のカーソル位置を取得する。
Ｓ２０７では、制御信号送信部４０３が取得した第２の表示画面５０１上の移動後のカーソル位置または移動前のカーソル位置が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の外にあるか否かを判定する。片一方でも領域外にある場合はＳ２０８へ、共に領域内にある場合はＳ２１０へ遷移する。

Ｓ２０８では、制御信号送信部４０３がコンピュータ３０１に対して送信する第２のポインティングデバイス移動情報を算出する。
Ｓ２０９では、制御信号送信部４０３がＳ２０８で算出した第２のポインティングデバイス移動情報を、コンピュータ３０１に送信する。

Ｓ２１０では、映像生成部４０５がＳ２０５でカーソル位置判定部４０４が決定した第２の表示画面５０１上のカーソル位置を取得する。
Ｓ２１１では、カーソル位置管理部４０６がＳ２０５でカーソル位置判定部４０４が第２の表示画面５０１上の移動後のカーソル位置を取得し、保持する。
Ｓ２１２では、映像生成部４０５がＳ２１０で取得した第２の表示画面５０１上のカーソル位置に基づいて、第２の表示画面５０１に表示する出力画面を生成する。

図３は、図２で示したＳ２０８で、コンピュータ３０１に対して送信する第２のポインティングデバイス移動情報の算出手順を示すフローチャートである。第２のポインティングデバイス移動情報の算出方法は、第１の表示画面１０１の第２の表示画面５０１上での該表示領域に向かってカーソルが移動する場合に、該表示領域の反対の方向に向かって同量の移動をした場合の移動情報と同等のものとする。その手順を以下に示す。

第２の表示画面５０１上における移動前のカーソルの位置座標を（Ｘａ、Ｙａ）、移動後のカーソルの位置座標を（Ｘｂ、Ｙｂ）とする。また、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の左上端の座標を（Ｘｓ、Ｙｓ）、右下端の座標を（Ｘｅ、Ｙｅ）とする。また、Ｓ２０９で送信する第２のポインティングデバイス移動情報を（ΔＸ、ΔＹ）とする。

Ｓ３０１では、移動前のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｘｓ≦ＸａかつＸａ≦Ｘｅを満たす場合はＳ３０７へ、満たさない場合はＳ３０２へ遷移する。
Ｓ３０２では、移動前のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の右側にあるかを判定する。Ｘａ＞Ｘｅを満たす場合はＳ３０３へ、満たさない場合はＳ３０４へ遷移する。

Ｓ３０３では、移動後のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｘｓ≦ＸｂかつＸｂ≦Ｘｅを満たす場合はＳ３０９へ、満たさない場合はＳ３０５へ遷移する。

Ｓ３０４では、移動後のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｘｓ≦ＸｂかつＸｂ≦Ｘｅを満たす場合はＳ３１０へ、満たさない場合はＳ３０６へ遷移する。

Ｓ３０５では、移動後のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の右側にあるかを判定する。Ｘｂ＞Ｘｅを満たす場合はＳ３０８へ、満たさない場合はＳ３０９へ遷移する。

Ｓ３０６では、移動後のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の左側にあるかを判定する。Ｘｂ＜Ｘｓを満たす場合はＳ３１１へ、満たさない場合はＳ３１０へ遷移する。
Ｓ３０７では、第２のポインティングデバイス移動情報のＸ座標方向の移動情報ΔＸに０を代入する。

Ｓ３０８では、第２のポインティングデバイス移動情報のＸ座標方向の移動情報ΔＸに（＋｜Ｘａ−Ｘｂ｜）を代入する。
Ｓ３０９では、第２のポインティングデバイス移動情報のＸ座標方向の移動情報ΔＸに（Ｘａ−Ｘｅ）を代入する。

Ｓ３１０では、第２のポインティングデバイス移動情報のＸ座標方向の移動情報ΔＸに（Ｘａ−Ｘｓ）を代入する。
Ｓ３１１では、第２のポインティングデバイス移動情報のＸ座標方向の移動情報ΔＸに（−｜Ｘａ−Ｘｂ｜）を代入する。

Ｓ３１２では、移動前のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｙｓ≦ＹａかつＹａ≦Ｙｅを満たす場合はＳ３１８へ、満たさない場合はＳ３１３へ遷移する。

Ｓ３１３では、移動前のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の右側にあるかを判定する。Ｙａ＞Ｙｅを満たす場合はＳ３１４へ、満たさない場合はＳ３１５へ遷移する。
Ｓ３１４では、移動後のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｙｓ≦ＹｂかつＹｂ≦Ｙｅを満たす場合はＳ３２０へ、満たさない場合はＳ３１６へ遷移する。

Ｓ３１５では、移動後のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｙｓ≦ＹｂかつＹｂ≦Ｙｅを満たす場合はＳ３２１へ、満たさない場合はＳ３１７へ遷移する。
Ｓ３１６では、移動後のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の右側にあるかを判定する。Ｙｂ＞Ｙｅを満たす場合はＳ３１９へ、満たさない場合はＳ３２０へ遷移する。

Ｓ３１７では、移動後のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の左側にあるかを判定する。Ｙｂ＜Ｙｓを満たす場合はＳ３２２へ、満たさない場合はＳ３２１へ遷移する。
Ｓ３１８では、第２のポインティングデバイス移動情報のＹ座標方向の移動情報ΔＹに０を代入する。

Ｓ３１９では、第２のポインティングデバイス移動情報のＹ座標方向の移動情報ΔＹに（＋｜Ｙａ−Ｙｂ｜）を代入する。
Ｓ３２０では、第２のポインティングデバイス移動情報のＹ座標方向の移動情報ΔＹに（Ｙａ−Ｙｅ）を代入する。

Ｓ３２１では、第２のポインティングデバイス移動情報のＹ座標方向の移動情報ΔＹに（Ｙａ−Ｙｓ）を代入する。
Ｓ３２２では、第２のポインティングデバイス移動情報のＹ座標方向の移動情報ΔＹに（−｜Ｙａ−Ｙｂ｜）を代入する。

図４は、第１の表示画面１０１と第２の表示画面５０１におけるカーソルの制御例を示す図である。コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、１つのカーソルのみ表示しているが、その他のコンピュータのカーソルにも同様の表示制御を行う。また、カーソル移動の矢印は、実線の矢印を第１の表示画面１０１上および第２の表示画面５０１上でのカーソルの動きとし、以下で説明する方法で制御する。

コンピュータ３０１は、ポインティングデバイス２０１から第１のポインティングデバイス移動情報を受けた後、第１のポインティングデバイス移動情報に基づいて第１の表示画面１０１上のカーソルを制御する。さらに、制御信号送信部４０３から第２のポインティングデバイス移動情報を受けた後、第２のポインティングデバイス移動情報に基づいて第１の表示画面１０１上のカーソルを制御する。

図４（ａ）は、第２の表示画面５０１において、第１の表示画面１０１の第２の表示画面５０１上での該表示領域内から該表示領域外へカーソルを移動した場合である。
第２の表示画面５０１上では、第１のポインティングデバイス移動情報に基づいて移動した結果、カーソルＣ２０１からカーソルＣ２０２の場所へ移動する。カーソルＣ２０１の座標を（Ｘａ、Ｙａ）、カーソルＣ２０２の座標を（Ｘｂ、Ｙｂ）とする。図３のフローチャートにあてはめると、Ｓ３０７およびＳ３１８の処理を行うため、コンピュータ３０１に送信する第２のポインティングデバイス移動情報は（０、０）となる。

第１の表示画面１０１上では、カーソルＣ１０１の座標は、カーソルＣ２０１と同様のため（Ｘａ、Ｙａ）である。第１のポインティングデバイス移動情報に基づいて移動した結果、第１の表示画面１０１の右端で止まるため、カーソルＣ１０１からカーソルＣ１０２へ移動する。カーソル１０２の座標は（Ｘｅ、Ｙｂ）となる。

図４（ｂ）は、第２の表示画面５０１において、第１の表示画面１０１の第２の表示画面５０１上での該表示領域外から該表示領域外へカーソルを移動した場合である。
第２の表示画面５０１上では、第１のポインティングデバイス移動情報に基づいて移動した結果、カーソルＣ２０１からカーソルＣ２０２の場所へ移動する。カーソルＣ２０１の座標を（Ｘａ、Ｙａ）、カーソルＣ２０２の座標を（Ｘｂ、Ｙｂ）とする。図３のフローチャートにあてはめると、Ｓ３０８およびＳ３１８の処理を行うため、コンピュータ３０１に送信する第２のポインティングデバイス移動情報は（（＋｜Ｘａ−Ｘｂ｜）、０）となる。

第１の表示画面１０１上では、カーソルＣ１０１の座標は、画面右端で止まっているため（Ｘｅ、Ｙａ）である。第１のポインティングデバイス移動情報に基づいて移動すると、カーソルはＣ１０３へ移動しようとするが、コンピュータ３０１に第２のポインティングデバイス移動情報を送信することで、カーソルＣ１０２へ移動するように制御する。そのため、第１の表示画面１０１上でのカーソルは、カーソルＣ１０１からカーソルＣ１０２へと移動する。カーソルＣ１０３の座標は（Ｘｅ＋（Ｘｂ−Ｘａ）、Ｙｅ）、カーソルＣ１０２の座標は（Ｘｅ、Ｙｅ）である。

図４（ｃ）は、第２の表示画面５０１において、第１の表示画面１０１の第２の表示画面５０１上での該表示領域外から該表示領域内へカーソルを移動した場合である。
第２の表示画面５０１上では、第１のポインティングデバイス移動情報に基づいて移動した結果、カーソルＣ２０１からカーソルＣ２０２の場所へ移動する。カーソルＣ２０１の座標を（Ｘａ、Ｙａ）、カーソルＣ２０２の座標を（Ｘｂ、Ｙｂ）とする。図３のフローチャートにあてはめると、Ｓ３０９およびＳ３２０の処理を行うため、コンピュータ３０１に送信する第２のポインティングデバイス移動情報は（（Ｘａ−Ｘｅ）、（Ｙａ−Ｙｅ））となる。

第１の表示画面１０１上では、カーソルＣ１０１の座標は、画面右下端で止まっているため（Ｘｅ、Ｙｅ）である。第１のポインティングデバイス移動情報に基づいて移動すると、カーソルはＣ１０３へ移動しようとするが、コンピュータ３０１に第２のポインティングデバイス移動情報を送信することで、カーソルＣ１０２へ移動するように制御する。そのため、第１の表示画面１０１上のカーソルは、カーソルＣ１０１からカーソルＣ１０２へと移動する。カーソルＣ１０３の座標は（Ｘｅ＋（Ｘｂ−Ｘａ）、Ｙｅ＋（Ｙｂ−Ｙａ））、カーソルＣ１０２の座標は（Ｘｂ、Ｙｂ）である。

以上の処理を行なうことにより、映像表示装置４０１から第２のポインティングデバイス移動情報を送信して、第１の表示画面１０１のカーソル位置と、第２の表示画面５０１のカーソル位置の整合性を取ることが可能となる。

また、本実施形態では、映像表示装置があたかもポインティングデバイスであるかのように振舞うことで、コンピュータ側に新しいアプリケーションをインストールする等の変更を加えなくてもカーソル位置の整合性を取ることが可能となる。
これにより、パソコン画面をプロジェクタ等でマルチ画面表示し、マウスカーソルを他のパソコン画面へのポインタとして使用し、マルチ画面表示での当該パソコン画像表示領域外へのポインティング操作が実現できる。また、パソコン画面上でのパソコンの正確な操作の両立が実現できる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムでも、達成される。

（第２の実施形態）
下、本発明の第２の実施形態について、第１の実施形態との差異を中心に説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
本実施形態におけるシステムの構成は、図１で示され、第１の実施形態に準ずる。また、本実施形態におけるポインティングデバイス移動情報取得部４０２が、コンピュータ３０１から第１のポインティングデバイス移動情報を取得する。また、映像生成部４０５が出力画面を生成するまでの手順を示すフローチャートは図２で示され、第１の実施形態に準ずる。

図５は、図２で示したＳ２０８で、コンピュータ３０１に対して送信する第２のポインティングデバイス移動情報の算出手順を示すフローチャートである。第２のポインティングデバイス移動情報の算出方法は、第１の表示画面１０１の第２の表示画面５０１上での該表示領域に向かってカーソルが移動する場合に、該表示領域の反対の方向に向かって同量の移動をした場合の移動情報を作成する。さらに、第１の表示画面１０１におけるカーソル位置を、第２の表示画面５０１での第１の表示画面１０１の該表示領域の中心と第２の表示画面５０１上のカーソルの線分上に位置するように補正する。その手順を以下に示す。

第２の表示画面５０１上における移動前のカーソルの位置座標を（Ｘａ、Ｙａ）、移動後のカーソルの位置座標を（Ｘｂ、Ｙｂ）とする。また、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の左上端の座標を（Ｘｓ、Ｙｓ）、右下端の座標を（Ｘｅ、Ｙｅ）とする。また、Ｓ２０９で送信する第２のポインティングデバイス移動情報を（ΔＸ、ΔＹ）とする。

Ｓ５０１〜Ｓ５２２の処理は、前述した図３のフローチャートにおけるＳ３０１〜Ｓ３２２の処理と同様であるので、詳細な説明は省略する。
Ｓ５２３では、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の中心と移動後のカーソル位置とを結ぶ線分上に、第１の表示画面１０１上のカーソルを移動するように、第２のポインティングデバイス移動情報に補正する。

図６は、図５で示したＳ５２３で、コンピュータ３０１に対して送信する第２のポインティングデバイス移動情報の補正手順を示すフローチャートである。
Ｓ６０１では、第２のポインティングデバイス移動情報に基づいて、第１の表示画面１０１上のカーソル位置が補正された場合のカーソル位置を求める。

Ｓ６０２では、第２の表示画面５０１上の移動後のカーソル位置から、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の中心と移動後のカーソル位置とを結ぶ線分上に、該表示領域の境界があるか否かを判定する。該表示領域の境界がある場合はＳ６０３へ、ない場合はＳ６０５へ遷移する。

Ｓ６０３では、第２の表示画面５０１上の移動後のカーソル位置から、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の中心と移動後のカーソル位置とを結ぶ線分上の、該表示領域の境界位置を求める。

Ｓ６０４では、第１の表示画面１０１上のカーソルが境界位置に移動するように第２のポインティングデバイス移動情報を補正する。
Ｓ６０５では、第１の表示画面１０１上のカーソルが第２の表示画面５０１上の移動後のカーソル位置に移動するように、第２のポインティングデバイス移動情報を補正する。

図７は、第１の表示画面１０１と第２の表示画面５０１におけるカーソルの制御例を示す図である。
コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、１つのカーソルのみ表示しているが、その他のコンピュータのカーソルにも同様の表示制御を行う。また、カーソル移動の矢印は、実線の矢印を第１の表示画面１０１上および第２の表示画面５０１上でのカーソルの動きとし、以下で説明する方法で制御する。

コンピュータ３０１は、ポインティングデバイス２０１から第１のポインティングデバイス移動情報を受け、さらに制御信号送信部４０３から第２のポインティングデバイス移動情報を受けた後、２つのポインティングデバイス移動情報を足し合わせる。足し合わせたポインティングデバイス移動情報に基づいて第１の表示画面１０１上のカーソルを制御する。

第２の表示画面５０１において、第１の表示画面１０１の第２の表示画面５０１上での該表示領域内から該表示領域外へカーソルを移動した場合である。
第２の表示画面５０１上では、第１のポインティングデバイス移動情報に基づいて移動した結果、カーソルＣ２１１からカーソルＣ２１２の場所へ移動する。

カーソルＣ２１１の座標を（Ｘａ、Ｙａ）、カーソルＣ２１２の座標を（Ｘｂ、Ｙｂ）とする。図５のフローチャートにあてはめると、Ｓ５０７およびＳ５１８の処理を行うため、コンピュータ３０１に送信する第２のポインティングデバイス移動情報は（０、０）となる。

さらに、図６のフローチャートにあてはめると、Ｓ６０５の処理を行う。そのため、第２の表示画面５０１上におけるカーソルＣ２１３の位置に、第１の表示画面１０１上のカーソルを移動するために第２のポインティングデバイス移動情報を補正する。
補正した第２のポインティングデバイス移動情報をコンピュータ３０１に送信することで、第１の表示画面１０１上では、カーソルＣ１１１の位置からカーソルＣ１１２の位置に移動する。

以上の処理を行なうことにより、映像表示装置４０１から第２のポインティングデバイス移動情報を送信して、第１の表示画面１０１のカーソル位置と、第２の表示画面５０１のカーソル位置の整合性を取ることが可能となる。さらに、第１の表示画面１０１上のカーソル位置を、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の中心と第２の表示画面５０１上における移動後のカーソル位置とを結ぶ線分上にする。これにより、第１の表示画面１０１上において、ユーザにとってカーソルの正確な位置、方向がより分かりやすく表示することが実現できる。

また、本実施形態では、映像表示装置があたかもポインティングデバイスであるかのように振舞うことで、コンピュータ側に新しいアプリケーションをインストールする等の変更を加えなくてもカーソル位置の整合性を取ることが可能となる。

これにより、パソコン画面をプロジェクタ等でマルチ画面表示し、マウスカーソルを他のパソコン画面へのポインタとして使用し、マルチ画面表示での当該パソコン画像表示領域外へのポインティング操作が実現できる。また、パソコン画面上でのパソコンの正確な操作の両立が実現できる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムでも、達成される。

（第３の実施形態）
以下、本発明の第３の実施形態について、第１の実施形態との差異を中心に説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
本実施形態におけるシステムの構成は、図１で示される。
コンピュータ３０１、３０２においては、第１の表示部と、カーソル移動部と、カーソル制御信号入出力部を有している。
第１の表示部は、第１の表示画面１０１、１０２に表示する映像を生成する。カーソル移動部は、ポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報に基づいて、カーソルの表示位置を制御する。カーソル制御信号入出力部は、ポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報を、ポインティングデバイス移動情報取得部４０２に送出する。

また、カーソル位置管理部４０６に第１の表示画面１０１、１０２上のカーソル位置を送信する。また、制御信号送信部４０３から、Ｘ軸方向のカーソル制御の有効または無効、およびＹ軸方向のカーソル制御の有効または無効を制御するカーソル制御信号を受信する。

コンピュータ３０１、３０２では受信したカーソル制御信号に基づいて、カーソル移動部がＸ軸方向およびＹ軸方向のカーソルを制御する。具体的にはカーソル制御無効の信号がきたときには、無効とされている軸の第１・第２のポインティングデバイス移動情報を使用せず、第１の表示画面１０１、１０２での無効とされている軸のカーソル移動をしない。

図１においては、例として２つの第１の表示画面、ポインティングデバイス、コンピュータを記載しているが、システムに１つもしくは３つ以上存在してもよい。
映像表示装置４０１は、第１の表示画面１０１、１０２の表示画面を合成し、表示する装置で、例えば複数のノートパソコンの出力画像を合成して表示するプロジェクタなどである。

ポインティングデバイス移動情報取得部４０２は、コンピュータ３０１、３０２がポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報を取得し、カーソル位置判定部４０４に送出する。

制御信号送信部４０３は、カーソル位置判定部４０４で決定した第２の表示画面５０１上の移動後のカーソル位置に基づいて、カーソル制御信号を算出する。また、算出したカーソル制御信号をコンピュータ３０１、３０２に送信する。

カーソル位置判定部４０４は、ポインティングデバイス移動情報取得部４０２で取得したポインティングデバイス移動情報およびカーソル位置管理部４０６で管理しているカーソル位置に基づいて、第２の表示画面５０１上のカーソル位置を決定する。
映像生成部４０５は、映像に対してカーソル位置判定部４０４で決定したカーソル位置にカーソル画像を合成し、出力画面を生成する。

カーソル位置管理部４０６は、第１の表示画面１０１、１０２上のカーソル位置および第２の表示画面５０１上のカーソル位置を取得し、保持する。カーソル位置を取得するタイミングは、第１の表示画面１０１、１０２の映像を第２の表示画面５０１に表示を始める初期化時、およびポインティングデバイス２０１、２０２の操作があった時である。
第２の表示画面５０１は、映像生成部４０５で生成された出力画面を表示する。例えば、プロジェクタの映像投射部である。

図８は、ポインティングデバイス移動情報取得部４０２が、コンピュータ３０１からポインティングデバイス移動情報を取得し、映像生成部４０５が出力画面を生成するまでの手順を示すフローチャートである。コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、コンピュータ３０１と映像表示装置４０１との間の処理手順を述べるが、その他のコンピュータにも同様の手順で処理を行う。

Ｓ８０１では、ポインティングデバイス移動情報取得部４０２がコンピュータ３０１からポインティングデバイス移動情報を取得する。
Ｓ８０２では、カーソル位置管理部４０６がコンピュータ３０１から第１の表示画面１０１上のカーソル位置を取得する。

Ｓ８０３では、ポインティングデバイス移動情報取得部４０２がカーソル位置判定部４０４にポインティングデバイス移動情報を送出する。
Ｓ８０４では、カーソル位置判定部４０４がカーソル位置管理部４０６から第１の表示画面１０１上のカーソル位置および第２の表示画面５０１上のカーソル位置を取得する。

Ｓ８０５では、カーソル位置判定部４０４がポインティングデバイス移動情報、第１の表示画面１０１上のカーソル位置、第２の表示画面５０１上のカーソル位置から、第２の表示画面５０１上の移動後のカーソル位置を決定する。
Ｓ８０６では、制御信号送信部４０３がカーソル位置判定部４０４から第２の表示画面５０１上の移動後のカーソル位置および移動前のカーソル位置を取得する。

Ｓ８０７では、制御信号送信部４０３が取得した第２の表示画面５０１上の移動後のカーソル位置および移動前のカーソル位置から、第１の表示画面１０１の第２の表示画面５０１上での該表示領域外を移動するか否かを判定する。該表示領域外にある場合はＳ８０９へ、該表示領域内にある場合はＳ８０８へ遷移する。

Ｓ８０８では、制御信号送信部４０３がコンピュータに対して送信するカーソル制御信号に、Ｘ軸方向およびＹ軸方向のカーソル制御を有効にする制御信号を設定する。
Ｓ８０９では、制御信号送信部４０３がコンピュータ３０１に対して送信するカーソル制御信号を算出する。

Ｓ８１０では、制御信号送信部４０３がＳ８０８で設定したカーソル制御信号、またはＳ８０９で算出したカーソル制御信号を、コンピュータ３０１に送信する。
Ｓ８１１では、映像生成部４０５がＳ８０５でカーソル位置判定部４０４が決定した第２の表示画面５０１上のカーソル位置を取得する。

Ｓ８１２では、カーソル位置管理部４０６がＳ８０５でカーソル位置判定部４０４が決定した第２の表示画面５０１上の移動後のカーソル位置を取得し、保持する。
Ｓ８１３では、映像生成部４０５がＳ８１１で取得した第２の表示画面５０１上のカーソル位置に基づいて、第２の表示画面５０１に表示する出力画面を生成する。

図９は、図８で示したＳ８０９で、コンピュータ３０１に対して送信するカーソル制御信号の算出手順を示すフローチャートである。
第２の表示画面５０１上における移動後のカーソルの位置座標を（Ｘｂ、Ｙｂ）とする。また、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の左上端の座標を（Ｘｓ、Ｙｓ）、右下端の座標を（Ｘｅ、Ｙｅ）とする。

Ｓ９０１では、移動後のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｘｓ≦ＸｂかつＸｂ≦Ｘｅを満たす場合はＳ９０３へ、満たさない場合はＳ９０２へ遷移する。
Ｓ９０２では、移動後のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｙｓ≦ＹｂかつＹｂ≦Ｙｅを満たす場合はＳ９０４へ、満たさない場合はＳ９０５へ遷移する。

Ｓ９０３では、コンピュータ３０１に対して送信するカーソル制御信号に、Ｘ軸方向のカーソル制御を有効にし、Ｙ軸方向のカーソル制御を無効にする制御信号を設定する。
Ｓ９０４では、コンピュータ３０１に対して送信するカーソル制御信号に、Ｘ軸方向のカーソル制御を無効にし、Ｙ軸方向のカーソル制御を有効にする制御信号を設定する。
Ｓ９０５では、コンピュータ３０１に対して送信するカーソル制御信号に、Ｘ軸方向のカーソル制御を無効にし、Ｙ軸方向のカーソル制御を無効にする制御信号を設定する。

図１０は、第１の表示画面１０１と第２の表示画面５０１におけるカーソルの制御例を示す図である。コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、１つのコンピュータのみを対象としているが、その他のコンピュータも同様の表示制御を行う。

ポインティングデバイス２０１の操作により、第２の表示画面５０１上のカーソルがカーソルＣ２２１の位置に移動した場合、図９のフローチャートに基づき、Ｓ９０３の処理をする。
制御信号送信部４０３がカーソル制御信号をコンピュータ３０１に送信すると、コンピュータ３０１はＸ軸方向のみカーソルの制御を有効とし、Ｙ軸方向のカーソルの移動制御を無効にする。第１の表示画面１０１上で表示されているカーソルＣ１２１は、左右の動きのみ可能となる。

ポインティングデバイス２０１の操作により、第２の表示画面５０１上のカーソルがカーソルＣ２２２の位置に移動した場合、図９のフローチャートに基づき、Ｓ９０４の処理をする。制御信号送信部４０３がカーソル制御信号をコンピュータ３０１に送信すると、コンピュータ３０１はＹ軸方向のみカーソルの制御を有効とし、Ｘ軸方向のカーソルの移動制御を無効にする。第１の表示画面１０１上で表示されているカーソルＣ１２２は、上下の動きのみ可能となる。

ポインティングデバイス２０１の操作により、第２の表示画面５０１上のカーソルがカーソルＣ２２３の位置に移動した場合、図９のフローチャートに基づき、Ｓ９０５の処理をする。制御信号送信部４０３がカーソル制御信号をコンピュータ３０１に送信すると、コンピュータ３０１はＸ軸方向のカーソルの移動制御、Ｙ軸方向のカーソルの移動制御を共に無効にする。第１の表示画面１０１上で表示されているカーソルＣ１２３は、その位置から動くことはできなくなる。

以上の処理を行うと、映像表示装置４０１からＸ軸方向およびＹ軸方向のカーソル制御を有効または無効とするカーソル制御信号を送信して、第１の表示画面１０１のカーソル位置と、第２の表示画面５０１のカーソル位置の整合性を取ることが可能となる。

これにより、パソコン画面をプロジェクタ等でマルチ画面表示し、マウスカーソルを他のパソコン画面へのポインタとして使用し、マルチ画面表示での当該パソコン画像表示領域外へのポインティング操作が実現できる。また、パソコン画面上でのパソコンの正確な操作の両立が実現できる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムでも、達成される。

（第４の実施形態）
以下、本発明の第４の実施形態について、第１の実施形態との差異を中心に説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
本実施形態におけるシステムの構成は、図１で示される。
１０１、１０２は第１の表示画面であり、コンピュータ３０１、３０２の操作画面を表示する機器である。

コンピュータ３０１、３０２においては、第１の表示部と、カーソル移動部と、カーソル制御信号入出力部を有している。
第１の表示部は、第１の表示画面１０１、１０２に表示する映像を生成する。カーソル移動部は、ポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報に基づいて、カーソルの表示位置を制御する。カーソル制御信号入出力部は、ポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報を、ポインティングデバイス移動情報取得部４０２に送出する。

また、カーソル位置管理部４０６に第１の表示画面上１０１、１０２のカーソル位置を送信する。また、制御信号送信部４０３から、第１の表示画面１０１、１０２におけるカーソル相対座標を受信する。受信したカーソル相対座標に基づいて、カーソル移動部が第１の表示画面１０１、１０２上のカーソルを制御する。

図１においては、例として２つの第１の表示画面１０１、１０２、ポインティングデバイス２０１、２０２、コンピュータ３０１、３０２を記載しているが、システムに１つもしくは３つ以上存在してもよい。
映像表示装置４０１は、第１の表示画面１０１、１０２の表示画面を合成し、表示する装置で、例えば複数のノートパソコンの出力画像を合成して表示するプロジェクタなどである。

ポインティングデバイス移動情報取得部４０２は、コンピュータ３０１、３０２がポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報を取得し、カーソル位置判定部４０４に送出する。
制御信号送信部４０３は、カーソル位置判定部４０４で決定した第２の表示画面５０１上の移動後のカーソル位置に基づいて、カーソル相対座標を算出する。また、算出したカーソル相対座標をコンピュータ３０１、３０２に送信する。

カーソル位置判定部４０４は、ポインティングデバイス移動情報取得部４０２で取得したポインティングデバイス移動情報およびカーソル位置管理部４０６で管理しているカーソル位置に基づいて、第２の表示画面５０１上のカーソル位置を決定する。
映像生成部４０５は、映像に対してカーソル位置判定部４０４で決定したカーソル位置にカーソル画像を合成し、出力画面を生成する。

カーソル位置管理部４０６は、第１の表示画面１０１、１０２上のカーソル位置および第２の表示画面５０１上のカーソル位置を取得し、保持する。カーソル位置を取得するタイミングは、第１の表示画面１０１、１０２の映像を第２の表示画面５０１に表示を始める初期化時、およびポインティングデバイス２０１、２０２の操作があった時である。
第２の表示画面５０１は、映像生成部４０５で生成された出力画面を表示する。例えば、プロジェクタの映像投射部である。

図１１は、ポインティングデバイス移動情報取得部４０２が、コンピュータ３０１からポインティングデバイス移動情報を取得し、映像生成部４０５が出力画面を生成するまでの手順を示すフローチャートである。コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、コンピュータ３０１と映像表示装置４０１との間の処理手順を述べるが、その他のコンピュータにも同様の手順で処理を行う。

Ｓ１１０１では、ポインティングデバイス移動情報取得部４０２がコンピュータ３０１からポインティングデバイス移動情報を取得する。
Ｓ１１０２では、カーソル位置管理部４０６がコンピュータ３０１から第１の表示画面１０１上のカーソル位置を取得する。

Ｓ１１０３では、ポインティングデバイス移動情報取得部４０２がカーソル位置判定部４０４にポインティングデバイス移動情報を送出する。
Ｓ１１０４では、カーソル位置判定部４０４がカーソル位置管理部４０６から第１の表示画面１０１上のカーソル位置および第２の表示画面５０１上のカーソル位置を取得する。

Ｓ１１０５では、カーソル位置判定部４０４がポインティングデバイス移動情報、第１の表示画面１０１上のカーソル位置、第２の表示画面５０１上のカーソル位置から、第２の表示画面５０１上の移動後のカーソル位置を決定する。
Ｓ１１０６では、制御信号送信部４０３がカーソル位置判定部４０４から第２の表示画面５０１上の移動後のカーソル位置を取得する。

Ｓ１１０７では、制御信号送信部４０３が取得した第２の表示画面５０１上の移動後のカーソル位置が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域外にあるか否かを判定する。該表示領域外にある場合はＳ１１０８へ、該表示領域内にある場合はＳ１１１０へ遷移する。
Ｓ１１０８では、制御信号送信部４０３がコンピュータ３０１に対して送信するカーソル相対座標を算出する。

Ｓ１１０９では、Ｓ１１０８で算出したカーソル相対座標を、コンピュータ３０１に送信する。
Ｓ１１１０では、映像生成部４０５がＳ１１０５でカーソル位置判定部４０４が決定した第２の表示画面５０１上のカーソル位置を取得する。

Ｓ１１１１では、カーソル位置管理部４０６がＳ１１０５でカーソル位置判定部４０４が決定した第２の表示画面５０１上の移動後のカーソル位置を取得し、保持する。
Ｓ１１１２では、Ｓ１１１１で取得した第２の表示画面５０１上のカーソル位置に基づいて、第２の表示画面５０１に表示する出力画面を生成する。

図１２は、図１１で示したＳ１１０８で、コンピュータ３０１に対して送信するカーソル相対座標の算出手順を示すフローチャートである。
第２の表示画面５０１上における移動後のカーソルの位置座標を（Ｘｂ、Ｙｂ）とする。また、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の左上端の座標を（Ｘｓ、Ｙｓ）、右下端の座標を（Ｘｅ、Ｙｅ）とする。

Ｓ１２０１では、移動後のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｘｓ≦ＸｂかつＸｂ≦Ｘｅを満たす場合はＳ１２０３へ、満たさない場合はＳ１２０２へ遷移する。
Ｓ１２０２では、移動後のカーソル位置のＸ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の右側にあるかを判定する。Ｘｂ＞Ｘｅを満たす場合はＳ１２０４へ、満たさない場合はＳ１２０５へ遷移する。

Ｓ１２０３では、コンピュータ３０１に対して送信するカーソル相対座標のＸ座標に、Ｘｂを設定する。
Ｓ１２０４では、コンピュータ３０１に対して送信するカーソル相対座標のＸ座標に、Ｘｅを設定する。

Ｓ１２０５では、コンピュータ３０１に対して送信するカーソル相対座標のＸ座標に、Ｘｓを設定する。
Ｓ１２０６では、移動後のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の内にあるかを判定する。Ｙｓ≦ＹｂかつＹｂ≦Ｙｅを満たす場合はＳ１２０８へ、満たさない場合はＳ１２０７へ遷移する。

Ｓ１２０７では、移動後のカーソル位置のＹ座標が、第１の表示画面１０１の第２の表示画面５０１上での該表示領域の下側にあるかを判定する。Ｙｂ＞Ｙｅを満たす場合はＳ１２０９へ、満たさない場合はＳ１２１０へ遷移する。
Ｓ１２０８では、コンピュータ３０１に対して送信するカーソル相対座標のＹ座標に、Ｙｂを設定する。

Ｓ１２０９では、コンピュータ３０１に対して送信するカーソル相対座標のＹ座標に、Ｙｅを設定する。
Ｓ１２１０では、コンピュータ３０１に対して送信するカーソル相対座標のＹ座標に、Ｙｓを設定する。

図１３は、第１の表示画面１０１と第２の表示画面５０１におけるカーソルの制御例を示す図である。この例では、コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、１つのコンピュータのみを対象としているが、その他のコンピュータも同様の表示制御を行う。

ポインティングデバイス２０１の操作により、第２の表示画面５０１上のカーソルがカーソルＣ２３１の位置に移動した場合、図１２のフローチャートに基づき、Ｓ１２０３およびＳ１２０９の処理をする。カーソルＣ２３１の座標を（Ｘｂ、Ｙｂ）とすると、カーソル相対座標（Ｘｂ、Ｙｅ）をコンピュータ３０１に送信する。カーソル相対座標を受けたコンピュータ３０１は、第１の表示画面１０１上のカーソルをカーソルＣ１３１（Ｘｂ、Ｙｅ）の位置へ移動するよう表示を制御する。

ポインティングデバイス２０１の操作により、第２の表示画面５０１上のカーソルがカーソルＣ２３２の位置に移動した場合、図１２のフローチャートに基づき、Ｓ１２０４およびＳ１２０８の処理をする。カーソルＣ２３２の座標を（Ｘｂ、Ｙｂ）とすると、カーソル相対座標（Ｘｅ、Ｙｂ）をコンピュータ３０１に送信する。カーソル相対座標を受けたコンピュータ３０１は、第１の表示画面１０１上のカーソルをカーソルＣ１３２（Ｘｅ、Ｙｂ）の位置へ移動するよう表示を制御する。

ポインティングデバイス２０１の操作により、第２の表示画面５０１上のカーソルがカーソルＣ２３１の位置に移動した場合、図１２のフローチャートに基づき、Ｓ１２０４およびＳ１２０９の処理をする。カーソルＣ２３３の座標を（Ｘｂ、Ｙｂ）とすると、カーソル相対座標（Ｘｅ、Ｙｅ）をコンピュータ３０１に送信する。カーソル相対座標を受けたコンピュータ３０１は、第１の表示画面１０１上のカーソルをカーソルＣ１３３（Ｘｅ、Ｙｅ）の位置へ移動するよう表示を制御する。

以上の処理が行なわれることにより、映像表示装置４０１からカーソル相対座標を送信することにより、第１の表示画面１０１のカーソル位置と、第２の表示画面５０１のカーソル位置の整合性を取ることが可能となる。
これにより、パソコン画面をプロジェクタ等でマルチ画面表示し、マウスカーソルを他のパソコン画面へのポインタとして使用し、マルチ画面表示での当該パソコン画像表示領域外へのポインティング操作が実現できる。また、パソコン画面上でのパソコンの正確な操作の両立が実現できる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムでも、達成される。

（第５の実施形態）
以下、本発明の第５の実施形態について、第１の実施形態との差異を中心に説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
第１の実施形態における、ポインティングデバイス移動情報取得部４０２がコンピュータ３０１から取得する第１のポインティングデバイス移動情報を、映像表示装置４０１の設定値に基づいて、増大または減少させる。

前述の設定値とは、映像表示装置４０１を利用するユーザによる設定値であり、第２の表示画面５０１上で、第１の表示画面１０１の第２の表示画面５０１上での該表示領域外のカーソルの移動速度を増減する、通常の移動速度を１とした場合の倍率である。カーソル位置判定部４０４により決定する第２の表示画面５０１上のカーソル位置を、設定された倍率に応じて決定する。また、制御信号送信部４０３により算出する第２のポインティングデバイス移動情報を、設定された倍率に応じて算出する。

設定された倍率が１のとき、第１の表示画面１０１上のカーソル移動量と、第２の表示画面５０１上のカーソル移動量は一致する必要がある。しかし、ポインティングデバイス２０１の移動量に対して、第１の表示画面１０１上のカーソル移動量と、第２の表示画面５０１上のカーソル移動量が一致しない場合がある。

その場合は、ポインティングデバイス２０１の移動量に対する第１の表示画面１０１上のカーソル移動量の割合に応じて、第２の表示画面５０１上のカーソル移動量を決定する。また、その割合に応じて第２のポインティングデバイス移動情報を算出する。
以上の処理が行なわれることにより、第１の表示画面１０１の第２の表示画面５０１上での該表示領域外にカーソルを移動した場合に、ユーザがポイントする対象にカーソルを移動させるための操作性の向上が実現できる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムでも、達成される。

（第６の実施形態）
以下、本発明の第６の実施形態について、第１の実施形態との差異を中心に説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
コンピュータ３０１、３０２においては、第１の表示部と、カーソル移動部と、カーソル制御信号入出力部を有している。
第１の表示部は、第１の表示画面１０１、１０２に表示する映像を生成する。カーソル移動部は、ポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報に基づいて、カーソルの表示位置を制御する。

カーソル制御信号入出力部は、ポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報を、ポインティングデバイス移動情報取得部４０２に送出する。また、カーソル位置管理部４０６に第１の表示画面１０１、１０２上のカーソル位置を送信する。

また、制御信号送信部４０３から、第２の表示画面５０１におけるカーソルの可動領域、および第１の表示画面１０１の第２の表示画面５０１上での該表示領域の位置を受信する。受信したカーソルの可動領域および該表示領域の位置に基づいて、カーソル移動部は第１の表示画面１０１、１０２におけるカーソルの仮想可動領域を作成し、仮想可動領域内のカーソル移動を可能にする。

仮想可動領域における第１の表示画面１０１、１０２の該表示領域外をカーソルが移動する場合に、第１の表示画面１０１、１０２上でのカーソル表示は、該表示領域の中心とカーソルの直線上に位置するように、第１の表示部がカーソルの表示位置を制御する。

以下、図１４を参照して説明する。図１４はコンピュータ３０１上に作られる、仮想可動領域を示す。本実施形態では第２の表示画面５０１の可動領域（０、０）：（Ｘ２ｅ、Ｙ２ｅ）を制御信号送信部４０３から送り、コンピュータ３０１上で第２の表示画面５０１イメージと同じ仮想可動領域を作る。

第１の表示画面１０１のイメージ１４０２は第２の表示画面５０１のイメージ上では１４０３となる。
ポインティングデバイス２０１からのポインティングデバイス移動情報をもとに仮想可動領域１４０１上でのカーソル位置を算出する。図１４では１４０５に仮想可動領域１４０１上にカーソルがある。これはコンピュータ３０１でのカーソル位置計算とカーソル位置判定部４０４でのカーソル位置計算とは同一なので第２の表示画面５０１でのカーソル位置と一致する。

第１の表示画面１０１、１０２でのカーソル位置は以下のように求める。
仮想可動領域１４０１上のカーソル位置１４０５と、仮想可動領域１４０１上にある第１の表示画面のイメージ１４０３のセンター１４０４（Ｘｃ、Ｙｃ）と、を結ぶ直線と、第１の表示画面のイメージ１４０３の境界とが交わる位置１４０６を求める。第１の表示画面では、求められた仮想可動領域１４０１上の位置１４０６に相当する位置１４０７にカーソルを表示する。

図１においては、例として２つの第１の表示画面、ポインティングデバイス、コンピュータを記載しているが、システムに１つもしくは３つ以上存在してもよい。
映像表示装置４０１は、第１の表示画面１０１、１０２の表示画面を合成し、表示する装置で、例えば複数のノートパソコンの出力画像を合成して表示するプロジェクタなどである。

ポインティングデバイス移動情報取得部４０２は、コンピュータ３０１、３０２がポインティングデバイス２０１、２０２から受信したポインティングデバイス移動情報を取得し、カーソル位置判定部４０４に送出する。

制御信号送信部４０３は、第２の表示画面５０１におけるカーソルの可動領域、および第１の表示画面１０１の第２の表示画面５０１上での該表示領域の位置を算出し、コンピュータ３０１に送信する。映像表示装置４０１にコンピュータ３０１、３０２が接続された時点で算出および送信をすることで、その後の第１の表示画面１０１、１０２上のカーソル制御はコンピュータ３０１、３０２で判断し、制御する。

カーソル位置判定部４０４は、ポインティングデバイス移動情報取得部４０２で取得したポインティングデバイス移動情報およびカーソル位置管理部４０６で管理しているカーソル位置に基づいて、第２の表示画面５０１上のカーソル位置を決定する。

映像生成部４０５は、映像に対してカーソル位置判定部４０４で決定したカーソル位置にカーソル画像を合成し、出力画面を生成する。
カーソル位置管理部４０６は、第１の表示画面１０１、１０２上のカーソル位置および第２の表示画面５０１上のカーソル位置を取得し、保持する。

カーソル位置を取得するタイミングは、第１の表示画面１０１、１０２の映像を第２の表示画面５０１に表示を始める初期化時、およびポインティングデバイス２０１、２０２の操作があった時である。
第２の表示画面５０１は、映像生成部４０５で生成された出力画面を表示する。例えば、プロジェクタの映像投射部である。

図１５は、映像表示装置４０１にコンピュータ３０１が接続した時点から、初期化処理が完了するまでの手順を示すフローチャートである。コンピュータ１台に対し、１つのカーソルが第２の表示画面５０１上で表示され、対応したカーソルを制御する。以降の説明では、コンピュータ３０１と映像表示装置４０１との間の処理手順を述べるが、その他のコンピュータにも同様の手順で処理を行う。

Ｓ１５０１では、カーソル位置管理部４０６がコンピュータ３０１から第１の表示画面１０１上のカーソル位置を取得する。
Ｓ１５０２では、カーソル位置判定部４０４がカーソル位置管理部４０６から第１の表示画面１０１上のカーソル位置を取得する。

Ｓ１５０３では、カーソル位置判定部４０４が第１の表示画面１０１上のカーソル位置から、第２の表示画面５０１上のカーソル位置を決定する。
Ｓ１５０４では、制御信号送信部４０３がカーソル位置判定部４０４から、第２の表示画面５０１上のカーソル位置を取得する。

Ｓ１５０５では、制御信号送信部４０３がコンピュータ３０１に対して送信する、第２の表示画面５０１におけるカーソルの可動領域、および第１の表示画面１０１の第２の表示画面５０１上での該表示領域の位置を算出する。
Ｓ１５０６では、Ｓ１５０５で算出した、第２の表示画面５０１におけるカーソルの可動領域、および第１の表示画面１０１の第２の表示画面５０１上での該表示領域の位置を、コンピュータ３０１に送信する。

Ｓ１５０７では、映像生成部４０５がカーソル位置判定部４０４から、第２の表示画面５０１上のカーソル位置を取得する。
Ｓ１５０８では、カーソル位置管理部４０６がカーソル位置判定部４０４から、第２の表示画面５０１上のカーソル位置を取得し、保持する。
Ｓ１５０９では、映像生成部４０５が取得した第２の表示画面５０１上のカーソル位置に基づいて、第２の表示画面５０１に表示する出力画面を生成する。

以上の処理が行なわれることにより、コンピュータ３０１が映像表示装置４０１に接続された時点で、第２の表示画面５０１上のカーソル可動領域および第１の表示画面１０１の第２の表示画面５０１上での該表示領域の位置をコンピュータ３０１に送信する。それにより、コンピュータ３０１側でカーソルの制御範囲を判断し制御することで、第１の表示画面１０１のカーソル位置と、第２の表示画面５０１のカーソル位置の整合性を取ることが可能となる。

これにより、パソコン画面をプロジェクタ等でマルチ画面表示し、マウスカーソルを他のパソコン画面へのポインタとして使用し、マルチ画面表示での当該パソコン画像表示領域外へのポインティング操作が実現できる。また、パソコン画面上でのパソコンの正確な操作の両立が実現できる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムでも、達成される。

なお、前述の実施形態では第２の表示画面５０１で表示されるカーソルはコンピュータごとに存在する例を示した。また、複数のポインティングデバイスが第２の表示画面５０１上で１つのカーソルを制御する場合には、制御信号送信部４０３より第２の表示画面５０１上でのカーソル位置を送出するようにする。これにより、コンピュータ３０１ではそのカーソル位置情報で仮想可動領域のカーソル位置とすることで同様な効果を得ることができる。

（第７の実施形態）
以下、本発明の第７の実施形態について、第１の実施形態との差異を中心に説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
本実施形態では、第２の表示画面５０１上に表示する同一のカーソルに対して、複数のコンピュータで制御する。

コンピュータ３０１、３０２が映像表示装置４０１に接続された時点で、第２の表示画面の右下端から左上端に十分に移動できるポインティングデバイス移動情報を、コンピュータ３０１、３０２に送信する。これにより、第１の表示画面１０１、１０２上のカーソル位置、および第２の表示画面５０１上のカーソル位置が左上端に統一される。

コンピュータ３０１、３０２が第２の表示画面５０１上の同じカーソルを制御している場合、ポインティングデバイス２０１の操作によりコンピュータ３０１に第１のポインティングデバイス移動情報が送信される。その後、映像表示装置４０１に第１のポインティングデバイス移動情報が送信され、第２のポインティングデバイス移動情報が返ってくる。

そのとき、第１の表示画面１０２の第２の表示画面５０１上での該表示画面外にカーソルがある場合、コンピュータ３０２にもポインティングデバイス２０１で操作したときに送信されたものと同様の第１のポインティングデバイス移動情報を与える。これにより、あたかもポインティングデバイス２０２が操作されたように振る舞い、第１の表示画面１０２上のカーソル位置と、第２の表示画面５０１上のカーソル位置の整合性が取れる。

以上の処理が行なわれることにより、複数のコンピュータで同一のカーソルを共有しつつ、複数の第１の表示画面と第２の表示画面間の整合性を取ることが実現できる。
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムでも、達成される。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１、１０２ 第１の表示画面
２０１、２０２ ポインティングデバイス
３０１、３０２ コンピュータ
４０１ 映像再生装置
４０２ ポインティングデバイス移動情報取得部
４０３ 制御信号送信部
４０４ カーソル位置判定部
４０５ 映像生成部
４０６ カーソル位置管理部
５０１ 第２の表示画面

Claims (14)

1. コンピュータの操作画面である第１の表示画面を表示する映像表示装置であって、
   前記コンピュータから、ポインティングデバイスの移動情報を取得するポインティングデバイス移動情報取得手段と、
   前記ポインティングデバイス移動情報取得手段が取得した移動情報から、映像表示装置の表示画面である第２の表示画面上に表示する映像に対するカーソル位置を決定するカーソル位置判定手段と、
   前記カーソル位置判定手段が決定したカーソル位置に基づいて、前記コンピュータに対する制御信号を算出して送信する制御信号送信手段と、
   前記第１の表示画面および第２の表示画面のカーソル位置を管理するカーソル位置管理手段と、
   前記カーソル位置判定手段が決定したカーソル位置に基づいて、第２の表示画面を生成する映像生成手段と、
   を有することを特徴とする映像表示装置。
2. 前記制御信号送信手段が送出する制御信号は、第２のポインティングデバイス移動情報であることを特徴とする、
   請求項１に記載の映像表示装置。
3. 前記制御信号送信手段は、第２の表示画面においてのカーソル位置と、第１の表示画面のカーソル位置とが矛盾しないように前記第２のポインティングデバイス移動情報を算出することを特徴とする、
   請求項１または２に記載の映像表示装置。
4. 前記制御信号送信手段は、前記第１の表示画面におけるカーソル位置を、前記第２の表示画面における第１の表示画面の表示領域の中心と第２の表示画面におけるカーソルとの線分上に位置するように補正して前記第２のポインティングデバイス移動情報を算出することを特徴とする、
   請求項１または２に記載の映像表示装置。
5. 前記制御信号送信手段は、前記ポインティングデバイスの移動情報に基づいて、第１の表示画面におけるＸ軸方向およびＹ軸方向のカーソル制御に対し、有効または無効の制御信号を送信することを特徴とする、
   請求項１に記載の映像表示装置。
6. 前記制御信号送信手段は、前記第２の表示画面のカーソル位置に基づいて、前記第１の表示画面上に表示するカーソルの位置座標を前記コンピュータに送信することを特徴とする、
   請求項１に記載の映像表示装置。
7. 前記制御信号送信手段は、第２の表示画面におけるカーソルの可動領域の情報を、前記可動領域における第１の表示画面の領域の大きさや位置を含む領域の情報として前記コンピュータに送信することを特徴とする、
   請求項１に記載の映像表示装置。
8. 前記カーソル位置判定手段は、前記ポインティングデバイス移動情報取得手段から受けた移動情報を、映像表示装置における設定値に基づいて増大あるいは減少させることで、第２の表示画面におけるカーソルの移動速度を変更することを特徴とする、
   請求項１に記載の映像表示装置。
9. 前記第２の表示画面に表示するカーソルは、１つのコンピュータに対して１つのカーソルを表示し、対応したカーソルを制御することを特徴とする、
   請求項１に記載の映像表示装置。
10. 前記第２の表示画面に表示するカーソルは、複数のコンピュータで同一のカーソルを制御することを特徴とする、
    請求項１に記載の映像表示装置。
11. 操作画面である第１の表示画面を表示する映像表示装置に接続するコンピュータであって、
    前記操作画面である第１の表示画面の表示を制御する第１の表示手段と、
    ポインティングデバイス移動情報に基づいてカーソルの表示位置を制御するカーソル移動手段と、
    前記映像表示装置のポインティングデバイス移動情報取得手段にポインティングデバイス移動情報を送信する処理、及び前記映像表示装置の制御信号送信手段からのカーソル制御信号を受信する処理を行うカーソル制御信号入出力手段とを有し、
    前記カーソル移動手段が前記ポインティングデバイス移動情報と前記カーソル制御信号に基づいて、前記第１の表示画面のカーソルを表示する位置を決定することを特徴とする、コンピュータ。
12. 前記カーソル制御信号が、カーソル制御の有効または無効を示す制御信号の場合、前記第１の表示手段におけるＸ軸方向およびＹ軸方向のカーソル制御を、有効または無効とすることを特徴とする、
    請求項１１に記載のコンピュータ。
13. 前記カーソル制御信号が、カーソル相対座標の場合、前記第１の表示手段によりカーソル相対座標の位置にカーソルを移動制御することを特徴とする、
    請求項１１に記載のコンピュータ。
14. 前記カーソル制御信号が、第２の表示画面におけるカーソルの可動領域の情報の場合、前記第１の表示手段により第１の表示画面上のカーソルの可動領域を設定することを特徴とする、
    請求項１１に記載のコンピュータ。

Images