[1.表示システムの概要]
以下に、本発明の実施の形態における表示システムについて、図面を参照しながら説明する。図1は本実施形態における表示システムの全体的なシステム構成を示す概略図であり、図2は本実施形態における端末装置の概略構成図であり、図3は本実施形態におけるプロジェクタの概略構成図であり、図4は本実施形態における変換処理手段の第1処理及び第2処理による動作の一例を示した図である。
本実施形態にかかる表示システムSは、図1に示すように、端末装置1と、この端末装置1と通信経路4を介して接続されたプロジェクタ2とにより構成されるものであり、端末装置1で実行されるアプリケーションプログラム(以下、単に「アプリケーション」と称することもある。)によって生成される画像のうち、端末装置1の仮想表示領域45にある画像30bの画像データをプロジェクタ2などの表示装置により表示するシステムである。
また、本実施形態にかかる表示システムSにおいて、端末装置1は、操作入力手段としてのタブレット部14を備えており、このタブレット部14上で操作子13を操作することにより端末装置1の表示画面40上にあるカーソル5を操作することができるとともに、さらに、端末装置1の表示画面40とプロジェクタ2の表示画面60との間でのカーソル移動を、このタブレット部14への操作に応じて行うものである。
本実施形態にかかる表示システムSにおいて、端末装置1は、図2に示すように、第1表示部10と、仮想表示領域設定部11と、送信処理部12と、操作子13と、タブレット部14と、変換処理手段15と、を備えている。また、プロジェクタ2は、図3に示すように、第2表示部20と、受信処理部21と、画像生成部22と、を備えている。
すなわち、本実施形態にかかる表示システムSでは、端末装置1の仮想表示領域設定部11により、仮想表示領域45が見せかけ上、端末装置1の第1表示部10の表示画面40に隣接するように設定されており、また、この仮想表示領域45及びプロジェクタ2の表示画面60には、それぞれ、画面のサイズに応じた大きさの座標領域が、各領域の左上部を原点として規定されている。そして、仮想表示領域45にあるカーソル5や画像を合成する際は、先ず、端末装置1が、送信処理部12により、仮想表示領域45にある画像の画像データ及びカーソル5の位置座標と、仮想表示領域45のサイズとを通信経路4を介してプロジェクタ2へ送信し、プロジェクタ2が、当該送信された情報を受信処理部21により通信経路4を介して受信する。
そして、プロジェクタ2が、画像生成部22により、受信処理部21で取得した各情報に基づいて、これらカーソル5や画像のデータを、仮想表示領域45上の座標位置に対応するプロジェクタ2の表示画面60上の座標位置にそれぞれ配置して合成することにより表示用画像データを生成し、さらに、第2表示部20により、表示用画像データに基づいた画像(以下、「表示用画像」と称することもある。)を投影することで、端末装置1の仮想表示領域45にあるカーソル5や画像のデータが合成されてプロジェクタ2の表示画面60に表示されることとなる。
また、端末装置1に設けられたタブレット部14は、スタイラスペンに代表されるペン型の操作子13を用いて、端末装置1の表示画面40上のカーソル5を操作するための入力装置であり、タブレット部14の操作領域17上に操作子13の先端部を接触させることによって、当該操作子13による操作領域17上の操作位置に応じた座標位置のデータを出力するものである。そして、端末装置1は、出力された座標位置のデータに基づいて、操作子13のタブレット部14の操作領域17上の操作位置を、当該操作位置と対応する端末装置1の表示画面40上の座標位置へ変換する第1処理を実行する。これにより、操作子13のタブレット部14上の操作に応じて端末装置1の表示画面40上のカーソル5を操作可能となる。この第1処理は、変換処理手段15により行われるものである。
ここで、「操作領域17上の操作位置と対応する表示画面40上の座標位置」とは、タブレット部14の操作領域17に規定された座標サイズと第1表示部10の表示画面40の画面サイズとが同一である場合には、操作領域17上の操作位置と同一の座標位置を示し、また、タブレット部14の操作領域17の座標サイズと第1表示部10の表示画面40の画面サイズとが異なる場合には、これらのサイズを同縮尺にした場合における同一の座標位置を示すものである。
すなわち、端末装置1の表示画面40やプロジェクタ2の表示画面60と同様、タブレット部14上にも当該タブレット部14の左上部を原点とした座標領域が規定されており、例えば、図4(a)に示すように、タブレット部14上の操作領域17の座標サイズと第1表示部10の表示画面40の画面サイズとが同一である場合において、操作子13による操作領域17上の操作位置の座標が(X,Y)=(600,500)であるとき、変換処理手段15は、第1処理部として、この操作位置を、当該操作位置の座標と同一の表示画面40上の座標位置(X,Y)=(600,500)へ変換する。これにより、第1表示部10の表示画面40上には、操作子13によるタブレット部14上への操作に応じた位置にカーソル5が表示されることとなる。
さらに、本実施形態にかかる表示システムSにおいて、この変換処理手段15は、操作子13の操作位置がタブレット部14上の所定領域において第1の位置条件を満たしていると判定すると、操作子13のタブレット部14上の操作位置を、当該操作位置と対応するプロジェクタ2の表示画面60上の座標位置へ変換する第2処理の実行を開始することとしている。
すなわち、本実施形態では、所定領域をタブレット部14の縁領域18としており、例えば、図4(b)に示すように、操作子13によるタブレット部14上の操作位置がこの縁領域18内にある状態において、第1の位置条件として、当該操作位置が所定時間静止していた場合、変換処理手段15は、第2処理として、このタブレット部14上の操作位置(X,Y)=(1150,600)を、当該操作位置の座標と同じ値を持つプロジェクタ2の表示画面60上の座標位置(X,Y)=(1150,600)に変換する。そして、当該変換された座標位置のデータは、端末装置1の送信処理部12により、プロジェクタ2へ通信経路4を介して送信され、当該データを受信したプロジェクタ2は、画像生成部22により、当該データに基づいて表示用データを生成するとともに、この表示用データに基づく画像を第2表示部20上に表示する。これにより、図4(b)に示すように、カーソル5は、第2表示部20の表示画面40上の、表示画面40上においてカーソル5が表示されていた座標位置と同じ座標位置に表示されることになる。
このように、本実施形態にかかる表示システムSは、操作入力手段としてタブレット部14を用いた場合であっても、端末装置1の表示画面40とプロジェクタ2の表示画面60との間でのカーソル5の移動を容易に行うことが可能となっている。しかも、変換処理手段15の第2処理によって、カーソル5を端末装置1の表示画面40からプロジェクタ2の表示画面60へ移動させたとき、当該カーソル5は、操作子13によるタブレット部14上の操作位置と相対的に同じ位置となる、プロジェクタ2の表示画面60上の座標位置に移動するため、端末装置1の使用者は、タブレット部14を用いてのその後の操作を違和感なく行うことができる。
以下、上述した表示システムのさらに具体的な構成及び動作の一例を図面を参照しながら具体的に説明する。
[2.表示システムの具体的構成]
(端末装置1の構成について)
先ず、端末装置1の構成について説明する。図5は本実施形態における端末装置1の構成図であり、図6〜9は本実施形態における変換処理手段による各処理の様子を示した図である。
本実施形態における端末装置1は、一般のパーソナルコンピュータ或いは専用端末を適用することができ、図5に示すように、第1表示部である透過型液晶パネル100(以下、「LCD100」とする。)、LCD100を駆動するためのグラフィックスコントローラ101と、各種データ等を記憶するハードディスク装置102と、通信経路4を介してプロジェクタ2との間で通信を行うためのインターフェイス103と、USBデバイスとデータの入出力を行うためのUSBバスコントローラ104、これに接続する接続ポートとしてのUSBコネクタ105と、操作子としてのスタイラスペン107による操作位置に応じた座標位置のデータを出力するタブレット部としてのタブレット装置106と、端末装置1全体を制御する制御部108と、を備えて構成されており、これらの各種要素は第1のバス109、第2のバス110を介して相互に接続される。なお、図中、111は、第1のバス109と第2のバス110との間のデータの授受を行うためのバスコントローラである。
ハードディスク装置102は、記憶部として機能するものであり、このハードディスク装置102には、端末装置1のオペレーティングシステム(OS)プログラム、文書作成ソフトウエア、プレゼンテーションソフトウエア、表計算ソフトウエア、図形作成ソフトウエア等の各種アプリケーションプログラムの他、このアプリケーションプログラムにより作製されるデータファイルが格納されている。また、上記アプリケーションプログラムとは別に、本実施形態における表示システムS用の処理プログラムとしての画像共有プログラムが格納されている。
なお、この画像共有プログラムは、例えば、通信経路4に接続されたサーバ(図示せず)から、インターフェイス203を介して、制御部108のハードディスク装置102にダウンロードされるようにしてもよく、又CD−ROM(Compact Disc Read Only Memory)等の記録媒体に記録されてから記録媒体ドライブ(図示せず)を介して、制御部108のハードディスク装置102に読み込まれるようにしてもよい。
インターフェイス103は、外部装置との通信を行うことができるUSBインターフェイスであり、プロジェクタ2から画像操作命令等を取得したり、外部のコンピュータ装置と通信したりするときに制御部108によって用いられる。なお、インターフェイス103としてUSBインターフェイスに代えて、無線或いは有線のLANインターフェイスなどを用いるようにしてもよい。
制御部108は、CPU(Central Processing Unit),ROM(Read Only Memory),RAM(Random Access Memory)などを内蔵しており、CPUがハードディスク装置102に格納された画像共有プログラムを読み出して実行することによって、端末装置1を、送信処理部、仮想表示領域設定部等として機能させる。
また、制御部108は、CPUがハードディスク装置102に記憶した各種アプリケーションプログラムを読み出して実行することによって、変換処理手段等として機能させる。
制御部108は、インターフェイス103と共に送信処理部として機能することによって、仮想表示領域45にある画像30の画像データ及びカーソル5の位置座標と、仮想表示領域45のサイズとを通信経路4を介してプロジェクタ2へ送信する。
また、制御部108は、送信処理部として機能することにより、カーソル5が仮想表示領域45に位置している場合に、スタイラスペン107によりタブレット装置106上で所定の操作が行われると、その操作に応じた画像操作命令をプロジェクタ2へ送信する。なお、ここで「操作」とは、自端末装置のアプリケーションで実行中のデータファイルを編集するための命令、もしくは、プロジェクタ2が投影表示している表示用画像を指し示すカーソル5を表示又はその移動のための命令である。
なお、仮想表示領域45は、制御部108のCPUがハードディスク装置102に記憶された画像共有プログラムを実行して仮想表示領域設定部として機能することで設定される。
また、制御部108は、変換処理手段として機能することにより、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するLCD100の表示画面上の座標位置へ変換する第1処理を実行する。以下、この第1処理について、図6を用いて説明する。図6は本実施形態にかかる表示システムSにおいて、操作子のタブレット部上の操作位置を、当該操作位置と対応する端末装置1の表示画面40上の座標位置へ変換する様子を示した図である。
図6に示すように、タブレット装置106の操作領域112とLCD100の表示画面40とには、それぞれその左上の頂点を原点とした座標領域が規定されており、例えば、図6(a)に示すように、タブレット装置106の操作領域112上のある位置をスタイラスペン107により指示した場合、タブレット装置106が当該スタイラスペン107による操作位置に応じた座標位置のデータ(X,Y)=(700,500)を出力するとともに、制御部108は、第1処理として、当該座標位置のデータに基づき、当該操作位置と対応するLCD100の表示画面40上の座標位置(X,Y)=(700,500)に変換した後、この座標位置にカーソル5を表示する。
なお、本実施形態においては、スタイラスペン107の操作位置に応じた表示画面40上の座標位置にカーソル5を表示する以外にも、例えば、スタイラスペン107の先端でタブレット装置106の操作領域112上をつつくような動作を行うことでマウスのクリック操作と同様の操作を行うことができ、また、スタイラスペン107の先端を操作領域112に接触させたまま操作領域112上をなぞるような動作を行うことでマウスのドラッグ操作と同様の操作を行うことも可能となっている。
また、制御部108は、変換処理手段として機能することにより、スタイラスペン107の操作位置がタブレット装置106の操作領域112上の所定領域において第1の位置条件を満たしていると判定すると、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するプロジェクタ2の表示画面60上の座標位置へ変換する第2処理の実行を開始する。以下、この第2処理について図7を用いて説明する。図7は、本実施形態にかかる表示システムSにおいて、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するプロジェクタ2の表示画面60上の座標位置へ変換する様子を示した図である。
すなわち、本実施形態では、第1の位置条件を、「タブレット装置106の所定領域においてスタイラスペン107による操作位置が一定時間静止していとき」としており、より具体的には、タブレット装置106の右側の縁領域113((X,Y)=(1100,0)〜(1200,1000)の領域)において、スタイラスペン107による操作位置が2秒間(「第1の期間」に相当。)静止していた場合、制御部108は、第1の位置条件を満たしたと判定し、変換処理手段により、第2処理の実行を開始することとしている。
例えば、図7に示すように、スタイラスペン107による操作位置が、タブレット装置106の右側の縁領域113内の座標位置(X,Y)=(1150,100)にあるとき、スタイラスペン107が当該座標位置に2秒間静止していた場合、制御部108は、変換処理手段15による第2処理として、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応する仮想表示領域45上の座標位置(X,Y)=(1150,100)へ変換する。
そして、制御部108は、送信処理部として機能することにより、仮想表示領域45にあるカーソル5の位置座標を通信経路4を介してプロジェクタ2へ送信し、当該カーソル5の位置座標を受信したプロジェクタ2が、当該情報に基づいて、カーソル5の画像データを、仮想表示領域45上の座標位置に対応するプロジェクタ2の表示画面60上の座標位置に配置して合成することにより表示用画像データを生成し、当該表示用画像データに基づく表示用画像を投影表示する。これにより、LCD100の表示画面40上にあったカーソル5は、プロジェクタ2の表示画面60上に移動するとともに、これ以降は、この第2処理により、スタイラスペン107のタブレット装置106上の操作に応じて、プロジェクタ2の表示画面60上の操作入力が可能な状態となる。
このように、制御部108が変換処理手段として機能することにより、スタイラスペン107の操作位置がタブレット装置106の操作領域112上の所定領域において第1の位置条件を満たしていると判定すると、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するプロジェクタ2の表示画面60上の座標位置へ変換する第2処理の実行を開始することとしたため、操作入力手段としてタブレット装置106を用いた場合であっても、LCD100の表示画面40とプロジェクタ2の表示画面60との間でのカーソル5の移動を容易に行うことができる。しかも、変換後のプロジェクタ2の表示画面60上の座標位置は、タブレット装置106の操作領域112上におけるスタイラスペン107の位置と対応するため、端末装置1の使用者は、変換後も違和感なく操作を続行することができる。
ここで、変換処理手段は、スタイラスペン107をタブレット装置106の縁領域113に位置させたときにスタイラスペン107の操作位置がタブレット装置106の操作領域112上の所定領域にあると判定する。すなわち、本実施形態における所定領域は、図6(a)に示すように、タブレット装置106の縁領域113としている。なお、図7中、符号42は、このタブレット装置106の右側の縁領域113に対応するLCD100の表示画面40上の縁領域であり、その領域は(X,Y)=(1100,0)〜(1200,1000)の範囲となっている。
かかる構成とすることにより、端末装置1の表示画面40とプロジェクタ2の表示画面60とが仮想的に接続していることを端末装置の使用者に容易に認識させることができる。
また、制御部108は、変換処理手段として機能することにより、スタイラスペン107の操作位置がタブレット装置106上の縁領域において第2の位置条件を満たした後、第1の位置条件を満たすまでの間、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するLCD100の表示画面上の座標位置から順次当該操作位置と対応するプロジェクタ2の表示画面上の座標位置へ向けて移動させた座標位置へ変換する第3処理を実行する。以下、この第3処理について、図8を用いて説明する。図8はこの第3処理によってカーソル5がプロジェクタ2の表示画面60の左端から右端へ向かって移動する様子を示した図である。
すなわち、スタイラスペン107の操作位置がタブレット装置106上の縁領域113内の座標位置(X,Y)=(1150,100)にあるとき、第2の位置条件として、当該操作位置が縁領域113内で1秒間(「第2の期間」に相当。)静止していた場合、制御部108は、第1の位置条件(当該操作位置が縁領域18内で2秒間静止していること)を満たすまでの間、第3処理を実行する。このように、本実施形態では、第1の期間を2秒間とし、第2の期間を第1の期間よりも短い1秒間としている。
そして、制御部108は、第3処理を実行すると、先ず、スタイラスペン107のタブレット装置106上の操作位置と対応するLCD100の表示画面40上の座標位置を、当該操作位置に対応する仮想表示領域45上の左端の座標位置に変換する。すなわち、仮想表示領域45の左端の座標位置(X,Y)=(0,0)〜(0,1000)のうち、当該LCD100の表示画面40上の座標位置におけるY座標と同じ値の座標位置(X,Y)=(0,100)に変換する。これにより、図8(a)に示すように、端末装置1の表示画面40にあるカーソル5が、プロジェクタ2の表示画面60の左端に移動する。
さらに、制御部108は、当該操作位置を、仮想表示領域45上の当該変換した座標位置から当該操作位置と対応する仮想表示領域45上の座標位置(X,Y)=(1150,100)に順次変換していく。これにより、例えば、スタイラスペン107の操作位置がタブレット装置106上の縁領域113内の座標位置(X,Y)=(1150,100)に位置してから1.3秒経過したとき、カーソル5は、図8(b)に示すように、プロジェクタ2の表示画面60上の座標位置(X,Y)=(400,100)に移動し、また1.7秒経過したときは、図8(c)に示すように、プロジェクタ2の表示画面60上の座標位置(X,Y)=(800,100)に移動する。そして、スタイラスペン107の操作位置がタブレット装置106上の縁領域113内の座標位置(X,Y)=(1150,100)に位置してから2秒経過したとき、すなわち、第1の位置条件を満たしたとき、カーソル5は、図8(d)に示すように、当該表示画面60上の右端の座標位置(X、Y)=(1200,100)に位置することとなる。
このように、第2処理が実行されるまでの間に、第3処理として、カーソル5がプロジェクタ2の左端から右端へ向かって移動するように操作位置の座標を変換する処理を実行することとしたため、制御部108の変換処理手段による第2処理が実行された際に、カーソル5の位置がLCD100の表示画面40からプロジェクタ2の表示画面60へ突然変わることで端末装置1の使用者がカーソル5を見失うといった事態を防止することができる。
また、制御部108は、変換処理手段として機能することにより、スタイラスペン107の操作位置がタブレット装置106上の縁領域において第2の位置条件を満たした後、第1の位置条件を満たすまでの間に、スタイラスペン107の操作位置が第1の位置条件を満たさなくなったとき、第3処理の実行を中止し、第1処理の実行を開始する。
すなわち、第3処理の実行中に、例えば、スタイラスペン107がタブレット装置106の操作領域112から離れた場合、制御部108は、第3処理の実行を中止するとともに第1処理の実行を開始する。これにより、図9(a)に示すように、第3処理によりプロジェクタ2の表示画面60の左端から右端に向かって移動していたカーソル5は、当該表示画面60の右端に辿り着く前に、タブレット装置106上の操作位置に対応するLCD100の表示画面40上の座標位置へ戻ることとなる。
かかる構成とすることにより、例えば、端末装置1の使用者の意に反して第3処理が実行された場合に、すぐに第3処理の実行を中止して、操作対象をプロジェクタ2の表示画面60から端末装置1の表示画面40へ戻すことができる。
また、制御部108は、変換処理手段として機能することにより、第2処理を実行する状態であるときに、スタイラスペン107の操作位置がタブレット装置106上の縁領域において第3の位置条件を満たしていると判定すると、第2処理の実行を中止して、第1処理の実行を開始する。
すなわち、制御部108は、変換処理手段の第2処理によって、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するプロジェクタ2の表示画面60上の座標位置へ変換している状態(すなわち、スタイラスペン107及びタブレット装置106によりプロジェクタ2の表示画面60上を操作可能な状態)であるときに、図10(a)に示すように、タブレット装置106の操作領域112における左端の縁領域114(「所定領域」に相当)として、スタイラスペン107が2秒間静止していた場合(「第3の位置条件」に相当)、第2処理の実行を中止して、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するLCD100の表示画面40上の座標位置へ変換する第1処理を実行する。これにより、スタイラスペン107のタブレット装置106上の操作位置が、当該操作位置に対応するLCD100の表示画面40上の座標位置に変換されて、図10(b)に示すように、カーソル5は、プロジェクタ2の表示画面60から端末装置1の表示画面40へ移動することとなる。
このように、本実施形態では、第2処理を実行する状態であるときに、操作子13の操作位置がタブレット部14上の所定領域において、第1の期間として2秒間静止していたときに第3の位置条件を満たすと判定することとしている。
かかる構成とすることにより、端末装置1の使用者は、カーソル5を、端末装置1の表示画面40からプロジェクタ2の表示画面60へ移動させるときと同様の操作によりプロジェクタ2の表示画面60から端末装置1の表示画面40へ移動させることができる。しかも、座標変換後の端末装置1の表示画面40上の座標位置は、タブレット装置106の操作領域112上におけるスタイラスペン107の位置と対応するため、端末装置1の使用者は、当該座標変換後も違和感なく操作を続行することができる。
また、制御部108は、変換処理手段として機能することにより、タブレット装置106の操作位置座標の座標サイズがLCD100又はプロジェクタ2の表示画面の画面サイズと異なるとき、当該画像サイズが異なる表示画面の座標位置への変換時にそのサイズ差に応じた補正を行う。
すなわち、例えば、タブレット装置106の操作領域112の座標サイズが(X,Y)=(0,0)〜(1200,1000)であるときに、プロジェクタ2の表示画面60の画面サイズが(X,Y)=(0,0)〜(2400,2000)である場合、制御部108は、第2処理によりスタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するプロジェクタ2の表示画面60上の座標位置へ変換する際に、当該操作位置の座標のX座標及びY座標をそれぞれ2倍した座標位置へ変換する。
かかる構成とすることにより、タブレット装置106の操作位置座標の座標サイズが端末装置1又はプロジェクタ2の表示画面40,60の画面サイズと異なる場合であっても、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置に対応する表示画面40或いは表示画面60上の座標位置に変換することができ、端末装置1の使用者は、変換後も違和感なく操作を続行することができる。
(プロジェクタ2の構成について)
次に、プロジェクタ2の構成について説明する。図11は本実施形態におけるプロジェクタ2の構成図であり、図12は本実施形態におけるプロジェクタ2に記憶される画像属性情報管理テーブルの一例を示す図であり、図13は本実施形態におけるプロジェクタ2に記憶される接続情報管理テーブルの一例である。
図11に示すように、プロジェクタ2は、各種操作を行うための操作パネル201と、設定情報やデータファイルなどを保持するための不揮発性メモリである記憶部202と、端末装置1と通信するためのインターフェイス204と、外部から映像信号を入力する映像信号入力回路205と、映像信号入力回路205を介して入力される映像信号やインターフェイス204を介して取得した画像データに所定の処理を施す画像処理回路206と、この画像処理回路206から出力される画像信号に基づいた画像を投影表示する第2表示部としての画像投影部207と、プロジェクタ2全体を制御する制御部208と、を備えており、これらはハウジングに内蔵される。
操作パネル201は、各種操作を行うためのボタンや表示部(例えば、LCD)などから構成され、プロジェクタ2において使用者がこの操作パネル201を操作することによって、その操作内容に応じた制御を制御部208が実行することになる。
記憶部202は、フラッシュメモリ(Flash Memory)などから構成され、プロジェクタ2に設定されている解像度の情報、カーソルの画像データ、端末装置1の仮想表示領域45にある画像の画像データを記憶する他、当該画像の位置情報、サイズ情報等を管理する画像属性情報管理テーブルを記憶する画像属性情報記憶領域210、カーソルの位置情報等を管理するカーソル情報管理テーブルを記憶するカーソル情報記憶領域211を有する。
インターフェイス204は、外部装置との通信を行うことができるUSBインターフェイスであり、端末装置1から画像データや画像操作命令等を取得したり、外部のコンピュータ装置と通信したりするときに制御部208によって用いられる。なお、インターフェイス204としてUSBインターフェイスに代えて、無線或いは有線のLANインターフェイスなどを用いるようにしてもよい。
映像信号入力回路205は、コンポジット映像信号(例えばNTSC映像信号)やコンポーネント映像信号(例えばRGB信号)などの映像信号を入力する。
画像処理回路206は、制御部208による制御に基づいて、映像信号入力回路205に入力された映像信号或いはインターフェイス204を介して取得した画像データに対して、複数の画像データの合成等の加工を行う。このように加工されて生成された画像信号は、画像投影部207に入力される。
画像投影部207は、ランプ駆動回路220と、光源221と、照明光学系222と、LCD223と、結像光学系224と、LCD駆動回路225と、ピント調整回路226とを備えている。
光源221は、ランプなどから構成され、制御部208によって制御されたランプ駆動回路220から出力される信号に基づいて、点灯駆動されて発光する。光源221で発光された光は、照明光学系222によって、照明光としてLCD223に照射される。
LCD223は、LCD駆動回路225によって駆動され、その表示面に映像を表示する。このように表示された映像は、照明光学系222を介して光源221から出射される照明光によって照射され、これにより画像光が生成される。続いて、この画像光は、結像光学系224及びハウジングの投影用開口部(図示せず)を通って、スクリーン(投射面)に投影される。このように、LCD223に表示される画像がスクリーンに投影される構成となっている。なお、ピント調整回路226によって、スクリーンに投影する画像のピントを調整することができる。
制御部208は、CPU,ROM,RAMなどを内蔵しており、CPUがROMに予め格納されたプログラムを読み出して実行することによって、プロジェクタ2を、受信処理部、画像生成部、操作命令処理部等として機能させる。
制御部208は受信処理部として、端末装置1の仮想表示領域45にある画像の画像データ及びカーソル5の位置座標や仮想表示領域45のサイズ或いは画像操作命令をインターフェイス204及び通信経路4を介して受信する。
また、制御部208は画像生成部として機能することにより、各端末装置1の仮想表示領域45にあるカーソル5及び画像30の画像データの合成を行う。この画像生成部による画像データの合成は、記憶部202に記憶された画像属性情報管理テーブルに基づいて実行される。
ここで、画像属性情報管理テーブルについて、図12を参照して説明する。
図12に示すように、画像属性情報管理テーブルには、端末装置1の仮想表示領域45にある画像を送信した端末装置1(オーナーPC)の名称、当該画像のサイズ及びこの画像を表示すべき位置に関する情報、画像データのファイル名に関する情報、及び画像生成部により複数の画像データを合成する際に、各画像データを重ね合わせる順番(階層レベル)に関する情報が、当該画像を識別するための情報(ウィンドウID)と関連付けて記憶されている。
また、制御部108は、画像生成部として、端末装置1の送信処理部により送信された操作部による操作情報に基づいた位置にカーソル5の画像を、端末装置1の仮想表示領域45にある画像の画像データと共に合成する。ここで、このカーソル5の画像の合成は、カーソル情報管理テーブルの情報に基づき実行されるものである。
カーソル情報管理テーブルは、図13に示すように、プロジェクタ2に接続されている端末装置1に割り当てられるカーソル画像の画像ファイル名、プロジェクタ2で投影される表示画面60におけるカーソル画像の座標位置(X,Y)が、端末装置1の名称と関連付けられて記憶されている。
(端末装置の具体的動作について)
次に、端末装置1の具体的動作の一例について、図14を参照して説明する。図14は、本実施形態における端末装置1のメイン処理フローチャートである。なお、以下の各処理は、端末装置1の制御部108が上述した各手段等として機能することによって実行されるものである。
図14に示すように、端末装置1の電源スイッチ(図示せず)が押下されたとき、端末装置1の制御部108は、接続処理を行う(ステップS100)。この接続処理は、プロジェクタ2と通信経路4を介して接続するための処理である。すなわち、制御部108は、プロジェクタ2に対して自端末装置のIPアドレスの情報を含んだ接続要求信号を送信し、プロジェクタ2から接続完了通知を受信すると接続処理を終了する。
ステップS100における接続処理が終了すると、制御部108は、第1処理の実行を開始する(ステップS101)。この第1処理は、上述で図6を用いて説明したように、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するLCD100の表示画面40上へ変換するものである。この第1処理により、LCD100の表示画面40上には、図6に示すように、スタイラスペン107のタブレット装置106上の操作位置と対応する位置にカーソル5が表示されることとなる。
ステップS101の処理を終了すると、制御部108は、スタイラスペン107による操作が行われたか否かを判定する(ステップS102)。この判定は、タブレット装置106からスタイラスペン107による操作位置に応じた座標位置のデータの出力がなされたか否かにより判定される。この判定において、スタイラスペン107による操作が行われたと判定すると(ステップS102:Yes)、制御部108は、カーソル移動処理を開始する(ステップS103)。このカーソル移動処理は、図15におけるステップS200〜209までの処理であり、後述する。
次に、制御部108は、プロジェクタ2で投影表示されている画像に対して操作入力が行われたか否かを判定する(ステップS104)。この処理において、操作入力が行われたと判定すると(ステップS104:Yes)、制御部108は、処理をステップS105へ移行する。
ステップS105において、制御部108は画像属性情報が更新されたか否かを判定する(ステップS105)。この判定は、スタイラスペン107及びタブレット装置106等による操作によって、LCD100の表示画面40にある画像30を仮想表示領域45に移動させる操作がなされたか否か(仮想表示領域45に画像30が新たに追加されたか否か)、仮想表示領域45にある画像30が移動又は削除されたか否か、或いは、仮想表示領域45にある画像30の位置やサイズが変更されたか否かにより判定される。この判定において、画像属性情報が更新されたと判定すると(ステップS105:Yes)、制御部108は、当該更新された情報に基づき画像属性情報生成し、当該画像属性情報を通信経路4を介してプロジェクタ2に送信する(ステップS106)。
すなわち、仮想表示領域45に新たに画像が追加された場合は、追加された画像の画像属性情報のうち、当該画像のウィンドウID、位置情報、サイズ情報、画像データのファイル名の情報、及び画像属性情報の追加フラグデータを含む画像属性情報通知データを作成し、プロジェクタ2に送信する。また、仮想表示領域45にある画像が仮想表示領域45外に移動されたとき、或いは削除されたときは、移動、或いは削除された画像のウィンドウID、及び画像属性情報の削除フラグデータを含む画像属性情報通知データを作成し、プロジェクタ2に送信する。また、仮想表示領域45にある画像30の位置やサイズが変更されたときは、当該変更された画像30の画像属性情報を含む画像属性情報通知データを作成し、プロジェクタ2に送信する。
次に、制御部108は、この操作入力に基づく操作入力情報及びカーソル5の位置情報を取得し、これらの情報に基づき画像操作命令を作成する(ステップS107)。そして、制御部108は、作成した画像操作命令をプロジェクタ2に対して通信経路4を介して送信する(ステップS108)。
ステップS108の処理が終了したとき、或いは、ステップS102において、スタイラスペン107による操作が行われていないとき(ステップS102:No)、ステップS104において、操作入力が行われていないとき(ステップS104:No)、ステップS105において、画像属性情報が更新されていないとき(ステップS105:No)、制御部108は、プロジェクタ2から仮想表示領域45にある画像の画像データの送信要求があったか否かを判定する(ステップS109)。この判定は、プロジェクタ2から、画像データ送信要求信号を受信したか否かにより判定される。この処理において、画像データの送信要求があったと判定すると(ステップS109:Yes)、制御部108は、受信した画像データ送信要求に基づき、仮想表示領域45にある画像の画像データをプロジェクタ2に対して通信経路4を介して送信する(ステップS110)。
ステップS110の処理が終了したとき、或いは、ステップS109において、プロジェクタ2から仮想表示領域45にある画像の画像データの送信要求がないとき(ステップS109:No)、制御部108は、プロジェクタ2から画像操作命令を受信したか否かを判定する(ステップS111)。この処理において、プロジェクタ2から画像操作命令を受信したと判定すると(ステップS111:Yes)、制御部108は、受信した画像操作命令を再生することにより、操作の対象となるデータファイルに応じたアプリケーションプログラムに対して、当該画像操作命令に基づく編集操作を実行させる(ステップS112)。
ステップS112の処理を終えたとき、或いは、ステップS111において、プロジェクタ2から画像操作命令を受信していないとき(ステップS111:No)、制御部108は、プロジェクタ2との接続状態が解除されたか否かを判定する(ステップS113)。この処理において、プロジェクタ2との接続状態が解除されていないと判定すると(ステップS113:No)、制御部108は、処理をステップS102に移行する。一方、プロジェクタ2との接続状態が解除されたと判定すると(ステップS113:Yes)、制御部108は、メイン処理を終了する。
次に、ステップS103におけるカーソル移動処理について、図15を参照して具体的に説明する。図15は、本実施形態における端末装置1のカーソル移動処理フローチャートである。
図15に示すように、カーソル移動処理を開始すると、制御部108は、現在の状態が変換処理手段により第1処理を実行する状態であるか否かを判定する(ステップS200)。この処理において、現在の状態が第1処理を実行する状態であると判定すると(ステップS200:Yes)、制御部108は、処理をステップS201に移行する。
ステップS201において、制御部108は、スタイラスペン107のタブレット装置106上の操作位置が、タブレット装置106の右側の縁領域113内において第2の位置条件を満たしたか否かを判定する。この判定は、タブレット装置106から出力された座標位置のデータが、当該タブレット装置106の右側の縁領域113に対応するLCD100の表示画面40の右側の縁領域42の座標範囲内にあり、なお且つ、スタイラスペン107が当該操作位置において1秒間静止していたか否かにより判定されるものである。
この処理において、スタイラスペン107のタブレット装置106上の操作位置が、タブレット装置106の右側の縁領域113内において第2の位置条件を満たしたと判定すると(ステップS201:Yes)、制御部108は、第3処理の実行を開始する(ステップS202)。この第3処理は、上述で図8を用いて説明したように、スタイラスペン107の操作位置がタブレット装置106上の右側の縁領域113において第2の位置条件を満たした後、第1の位置条件を満たすまでの間、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するLCD100の表示画面40上の座標位置から順次当該操作位置と対応するプロジェクタ2の表示画面60上の座標位置へ向けて移動させた座標位置へ変換するものである。そして、制御部108は、当該変換した座標位置のデータをカーソル情報として通信経路4を介してプロジェクタ2へ送信する。
一方、現在の状態が第1処理を実行する状態でないとき(ステップS200:No)、制御部108は、現在の状態が第3処理を実行する状態であるか否かを判定する(ステップS203)。この処理において、現在の状態が第3処理を実行する状態であると判定すると(ステップS203:Yes)、制御部108は、処理をステップS204に移行する。
ステップS204において、制御部108は、スタイラスペン107がタブレット装置106から離れたか否かを判定する(ステップS204)。この判定は、タブレット装置106から座標位置のデータが出力されなくなったか否かにより判定されるものである。この処理において、スタイラスペン107がタブレット装置106から離れたと判定すると(ステップS204:Yes)、制御部108は、第3処理の実行を中断し、第1処理の実行を開始する(すなわち、処理をステップS101へ戻す。)(ステップS205)。
一方、ステップS204において、スタイラスペン107がタブレット装置106から離れていないとき(ステップS204:No)、制御部108は、スタイラスペン107の操作位置が、タブレット装置106の右側の縁領域113において第1の位置条件を満たしたか否かを判定する(ステップS206)。この判定は、スタイラスペン107がタブレット装置106上の右側の縁領域113において2秒間静止していたか否かにより判定されるものである。この処理において、スタイラスペン107の操作位置が、タブレット装置106の右側の縁領域113において第1の位置条件を満たしたと判定すると(ステップS206:Yes)、制御部108は、第2処理の実行を開始する(ステップS207)。この第3処理は、上述で図7を用いて説明したように、スタイラスペン107のタブレット装置106上の操作位置を、当該操作位置と対応するプロジェクタ2の表示画面60上へ変換するものである。そして、制御部108は、当該変換した座標位置のデータをカーソル情報として通信経路4を介してプロジェクタ2へ送信する。
一方、ステップS203において、現在の状態が第3処理を実行する状態ではないとき(ステップS203:No)、すなわち、現在の状態が第2処理を実行する状態であるとき、制御部108は、スタイラスペン107の操作位置が、タブレット装置106の左側の縁領域114において第3の位置条件を満たしたか否かを判定する(ステップS208)。この判定は、スタイラスペン107がタブレット装置106上の左側の縁領域114において2秒間静止していたか否かにより判定されるものである。この処理において、スタイラスペン107の操作位置が、タブレット装置106の左側の縁領域114において第3の位置条件を満たしたと判定すると(ステップS208:Yes)、制御部108は、第2処理の実行を中断し、第1処理の実行を開始する(すなわち、処理をステップS101へ戻す。)(ステップS209)。
ステップS202、S205、S207、S209の処理を終了したとき、或いは、ステップS201においてスタイラスペン107の操作位置が、タブレット装置106の右側の縁領域113において第2の位置条件を満たしていないとき(ステップS201:No)、ステップS206においてスタイラスペン107の操作位置が、タブレット装置106の右側の縁領域113において第1の位置条件を満たしていないとき(ステップS206:No)、ステップS208においてスタイラスペン107の操作位置が、タブレット装置106の左側の縁領域114において第3の位置条件を満たしていないとき(ステップS208:No)、制御部108は、カーソル移動処理手段を終了する。
(プロジェクタの具体的動作について)
次に、プロジェクタ2の具体的動作の一例について、図16を参照して説明する。図16は、本実施形態におけるプロジェクタ2のメイン処理フローチャートである。なお、以下の各処理は、プロジェクタ2の制御部208が上述した各手段等として機能することによって実行されるものである。
図16に示すように、プロジェクタ2の電源スイッチ(図示せず)が押下されたとき、プロジェクタ2の制御部208は、接続処理を行う(ステップS500)。
この接続処理は、プロジェクタ2が端末装置1と通信経路4を介して接続するための処理である。具体的には、プロジェクタ2の制御部208は、先ず、端末装置1から送信された接続要求信号を受信すると、接続情報管理テーブルを更新する。すなわち、制御部208は、接続情報管理テーブルに、プロジェクタ2と新たに接続した端末装置1の欄を新たに設け、当該端末装置1のIPアドレス及び接続状態に関する情報を当該端末装置1の名称と関連付けて記憶する。次に、制御部208は、カーソル情報管理テーブルを更新する。すなわち、制御部208は、カーソル情報管理テーブルに、プロジェクタ2と新たに接続した端末装置1の欄を新たに設け、当該端末装置1に割り当てられたカーソル画像の画像ファイル名及びカーソル画像の位置情報を、当該端末装置1の名称と関連付けて記憶する。そして、制御部208は、接続処理が完了したことを端末装置1に対して通知して、接続処理を終了する。
ステップS500の接続処理を終了すると、制御部208は、画像投影処理を行う(ステップS501)。この画像投影処理は、端末装置1から送信される情報に応じて画像属性情報管理テーブルやカーソル情報管理テーブルの更新等を行い、これらテーブルの情報に基づき、端末装置1から取得した画像データ、及びカーソル画像の合成を行い、合成した画像データに基づく画像の投影を行うものである。この画像投影処理は、図17におけるステップS600〜610までの処理であり、後述する。
ステップS501の画像投影処理を終了すると、制御部208は、端末装置1から画像操作命令を受信したか否かを判定する(ステップS502)。この処理において、端末装置1から画像操作命令を受信したと判定すると(ステップS502:Yes)、制御部208は、操作命令振り分け処理を行う(ステップS503)。この操作命令振り分け処理は、端末装置1から受信した画像操作命令による操作対象となる画像の画像データを送信した端末装置1へ、この画像操作命令を送信するものである。
ステップS503の処理を終了したとき、或いはステップS502において、端末装置1から画像操作命令を受信していないとき(ステップS502:No)、制御部208は、電源がOFFされたか否かを判定し(ステップS504)、電源がOFFされていないとき(ステップS504:No)、処理をステップS500に移行する。一方、電源がOFFされたと判定すると(ステップS504:Yes)、制御部208は、メイン処理を終了する。
次に、ステップS501における画像属性情報更新処理について、図17を用いて具体的に説明する。図17は、本実施形態におけるプロジェクタ2の画像属性情報更新処理フローチャートである。
図17に示すように、画像投影処理を開始すると、制御部208は、端末装置1から画像属性情報を受信したか否かを判定する(ステップS600)。この処理において、端末装置1から画像属性情報を受信したと判定すると(ステップS600:Yes)、制御部208は、受信した画像属性情報に基づいて、画像属性情報管理テーブルの更新を行う(ステップS601)。例えば、受信した画像属性情報が、画像の表示画面60への新規追加したことより送信されたものである場合、制御部208は、仮想表示領域45に新たに位置することとなった画像の画像属性情報を画像属性情報管理テーブルに新たに追加し、さらに、当該画像の画像データの保存領域を確保する。また、制御部208は、画像属性情報管理テーブルで管理されている各画像の階層レベルの情報を更新する。すなわち、制御部208は、仮想表示領域45に新たに追加された画像の階層レベルを「1」とし、その他の画像については、現在割り当てられている階層レベルよりも一つ下の階層に順次繰り下げて更新される(例えば、階層レベルが「2」に設定されていた画像は、「3」に更新される)。
また、受信した画像属性情報が、画像を表示画面60から削除したことにより送信されたものである場合、制御部208は、削除対象となっている画像の画像属性情報を画像属性情報管理テーブルから削除するとともに、他の画像の階層レベルを更新する。
ステップS601の処理を終了すると、制御部208は、画像30の画像データの送信を要求する画像データ要求信号を端末装置1に対して送信する(ステップS602)。
次に、制御部208は、端末装置1から画像データを受信したか否かを判定する(ステップS603)。この処理において、端末装置1から画像データを受信したと判定すると(ステップS603:Yes)、制御部108は、当該受信した画像データの伸長を行う(ステップS604)。これは、後述するように、端末装置1から送信される画像データは、圧縮された状態で送信されるためである。
次に、制御部208は、画像属性情報更新処理において確保した画像データの保存領域に受信した画像データを保存し(ステップS605)、当該画像データを指定された表示領域に貼り付ける(ステップS606)。次に、制御部208は、各端末装置1の仮想表示領域45にある画像の画像データの貼り付けが全てなされたか否かを判定する(ステップS607)。この処理において、当該画像データの貼り付けが全てなされたと判定すると(ステップS607:Yes)、制御部208は、処理をステップS611に移行し、当該画像データの貼り付けが全てなされていないとき(ステップS607:No)、処理をステップS602に移行する。
一方、ステップS600において、画像属性情報を受信していないとき(ステップS600:No)、制御部208は、端末装置1からカーソル情報を受信したか否かを判定する(ステップS608)。この判定において、端末装置1からカーソル情報を受信したと判定すると(ステップS608:Yes)、制御部208は、受信したカーソル情報に基づいてカーソル情報管理テーブルの情報を更新する(ステップS609)。そして、制御部208は、カーソル情報管理テーブルに記憶された情報に基づいて、カーソル5の画像データをプロジェクタ2の表示画面60に投影される画像の画像データと合成し(ステップS610)、処理をステップS611に移行する。
ステップS611において、制御部208は、合成された画像データ(表示用画像データ)に基づく画像を画像投影部207より投影する。この処理を終了すると、制御部208は、画像投影処理を終了する。
ところで、本実施形態にかかる表示システムSは、各種設定の変更を可能としている。例えば、以上では、第1の位置条件を、操作子13がタブレット部14上の縁領域18内において2秒間静止していることとしたが、これに代えて、例えば、図18に示すように、当該縁領域18上で操作子13を往復動させるような特殊な操作が行われたときとすることもできる。なお、このような特殊な操作は、この他に、例えば、操作子13をタブレット部14上の縁領域18に所定回数当てる操作等であってもよい。
以上、本発明の実施の形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
例えば、本実施形態にかかる表示システムSは、端末装置1とプロジェクタ2とを備え、端末装置1が第1表示部を、プロジェクタ2が第2表示部を有する構成としたが、これに代えて、図19に示すように、プロジェクタ2に代えて、第2表示部としてLCD等の表示装置6を備える構成としてもよい。かかる場合、端末装置1と表示装置6とは、ケーブル7で接続されており、端末装置1において生成された画像30bやカーソル5の画像データは、このケーブル7を介してグラフィックスコントローラ101によって、当該画像データに基づく画像として表示装置6に表示される。なお、図中、符号41は表示装置6の表示画面である。