JP3599561B2 - Display control device and conference display system - Google Patents
Display control device and conference display system Download PDFInfo
- Publication number
- JP3599561B2 JP3599561B2 JP12432798A JP12432798A JP3599561B2 JP 3599561 B2 JP3599561 B2 JP 3599561B2 JP 12432798 A JP12432798 A JP 12432798A JP 12432798 A JP12432798 A JP 12432798A JP 3599561 B2 JP3599561 B2 JP 3599561B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- data
- display device
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、表示制御装置及び会議用表示システムに関し、特に、複数のパソコンからのビデオデータを入力し、マルチウィンドウにて表示を行う、マルチウィンドウ・ディスプレイシステムに関するものである。
【０００２】
【従来の技術】
近年、デスクトップ型パーソナルコンピュータ（デスクトップパソコン）やノート型パーソナルコンピュータ（ノートパソコン）等の画像を大型の表示装置例えば液晶プロジェクターやプラズマディスプレイに表示させてプリゼンテーションを行うことが増えてきている。一方、特にノートパソコンは軽量化、低価格化によりパーソナルなビジネスツールとして多く普及してきており、会議では出席者がそれぞれノートパソコンを持ち込み、その中のデータを閲覧したり議事録をその場で書くなどの使い方が多く見られるようになってきた。
【０００３】
しかしながら、従来の大型表示装置はパソコンと１対１で接続されるため、複数の人間がプレゼンテーションを行うような場合、パソコンをつなぎかえるか、もしくはプレゼンテーション資料などのファイルを他のパソコンにコピーする必要があった。このような装置では、つなぎかえの作業が面倒なだけでなく、ファイルをコピーする場合でもパソコン間のアプリケーションの違い、バージョンの違いなどにより、直ちに表示できないなどの不具合が多く発生し、会議の進行に大きな妨げになることが多かった。
【０００４】
このような背景から画像表示システムには、複数のパソコン（画像ソース）からの画像情報（映像）を切り替えながら、もしくは同時に表示させて、それらの情報や表示された各画像情報を比較しながら会議を進めたり、更に別のパソコンで作成した議事録を表示させ参加者全員で確認するといった使い方を可能にする機能が望まれている。
【０００５】
【発明が解決しようとする課題】
発明者は上記の要望に答えるべく、複数の情報映像機器の入力をマルチウィンドウで表示する、マルチウィンドウ・ディスプレイシステムを提案している。
【０００６】
しかしながら、このようなマルチウィンドウ・ディスプレイシステムを実際に会議等で使用するに当たり、単に複数の映像入力をマルチウィンドウで表示するだけのシステムでは、幾つかの問題・不便利があった。例えば
（１）接続されるパソコンがノートパソコンの場合、バッテリー節約のため省電力モード、及び、スリープモードに入る、または液晶パネル等のモニターの焼き付きを防ぐための「スクリーンセーバーモード」に入ることが頻繁にあり、その場合マルチウィンドウディスプレイ上の表示を維持することができなかった。
（２）接続しているパソコンのユーザーが、他のメンバーには見られたくない（マルチウィンドウディスプレイに表示したくない）ファイルなどを参照したい場合には、一度ケーブルを抜くしか方法がなかった。
（３）マルチウィンドウディスプレイ上の（プリゼンター用）メインポインタをコントロール出来るのは、リモコンを持ったプリゼンターだけで、他のメンバー（各パソコンメンバー）はコントロールできなかった。
（４）各パソコン間でデータのやり取りを行う、また、マルチウィンドウディスプレイに表示されているデータを各パソコンに取り込むことができなかった。
【０００７】
本発明者は上記問題を解決するため数多くの実験と試行錯誤を繰り返した結果、マルチウィンドウディスプレイシステムに従来のものとは違う、ユニークな機能を付加し、かつマルチウィンドウディスプレイシステムと各パソコン間で、ビデオ信号だけでなく、シリアル通信によるデータ通信を行い、パソコン側のソフトウェアプログラムとマルチウィンドウディスプレイシステム側の制御ソフトウェアとの連携によって、マルチウィンドウディスプレイシステムの制御を行うという発想に至った。
【０００８】
本発明の目的は、上記の問題点を解決して、少なくとも１台の映像表示装置から会議及びプリゼンテーション用表示デバイスへの映像の表示制御を容易に行うことができる表示制御装置及び会議用表示システムを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の表示制御装置は、ユーザー情報入力手段を有すると共に当該ユーザー情報入力手段により移動指示される第２の位置指示マークを含む画像情報を出力する複数の映像表示装置が、通信手段を介して複数接続されるとともに、移動指示手段を有するリモコン装置により制御される表示制御装置において、前記接続された複数の映像表示装置から出力されたそれぞれの画像情報を入力する映像入力手段と、前記入力されたそれぞれの画像情報を表示する表示デバイスと、前記表示デバイス上に表示された前記それぞれの画像情報のうち１つの画像情報を選択すべく前記表示デバイス上に第１の位置指示マークをオーバーレイ表示するオーバーレイ表示手段と、前記移動指示手段からの指示に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させる指示マーク移動制御手段と、前記第１の位置指示マークにより指示された位置に表示されている画像情報を選択する選択手段と、前記移動指示手段からの移動指示を、前記選択手段により選択された画像情報に対応する映像表示装置の前記第２の位置指示マークの移動情報として、当該映像表示装置へ前記通信手段を介して送信する送信制御手段とを備えることを特徴とする。
【００１２】
請求項２記載の表示制御装置は、請求項１記載の表示制御装置において、画像情報の選択を指示する指示手段を更に有し、前記選択手段は、前記指示手段により画像情報の選択が指示されたときに、前記第１の位置指示マークにより指示された位置に表示されている画像情報を選択することを特徴とする。
【００１３】
上記目的を達成するために、請求項３記載の表示制御装置は、ユーザー情報入力手段を有すると共に当該ユーザー情報入力手段により移動指示される第２の位置指示マークを含む画像情報を出力する複数の映像表示装置が、通信手段を介して複数接続されるとともに、移動指示手段を有するリモコン装置により制御される表示制御装置において、前記接続された複数の映像表示装置から出力されたそれぞれの画像情報を入力する映像入力手段と、前記入力されたそれぞれの画像情報を表示する表示デバイスと、前記表示デバイス上に表示された前記それぞれの画像情報のうち１つの画像情報を選択すべく前記表示デバイス上に第１の位置指示マークをオーバーレイ表示するオーバーレイ表示手段と、前記移動指示手段からの指示に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させる指示マーク移動制御手段とを備え、前記指示マーク移動制御手段が、前記複数の映像表示装置の何れかから送信されてくる前記ユーザー情報入力手段から入力されたユーザー情報を前記通信手段を介して受容し、当該ユーザー情報に基づき、前記第１の位置指示マークを前記表示デバイス上で移動させることを特徴とする。
【００１４】
請求項４記載の表示制御装置は、請求項１乃至３のいずれか１項に記載の表示制御装置において、前記複数の映像表示装置の何れかから前記通信手段を介して送信されてくるデータを受信し、受信したデータを他の画像表示装置へ転送する転送手段を更に有することを特徴とする。
【００１７】
請求項５記載の会議用表示システムは、請求項１乃至４のいずれか１項に記載の表示制御装置と、通信手段を介して前記表示制御装置に接続され、ユーザー情報入力手段を有すると共に画像情報を出力する少なくとも１台の映像表示装置とを備えることを特徴とする。
【００４０】
【発明の実施の形態】
図１に本発明の実施の形態にかかる表示制御装置のシステム構成図を示す。
本実施の形態は、４つの独立した画像ソースからの画像情報（映像）を１つのモニターに表示する。これら画像ソースは、４つよりさらに多い数でも、また少ない数でもよい。
【００４１】
１−１，１−２，１−３，１−４は画像信号の画像ソース（映像表示装置）でありパーソナルコンピュータ、ワークステーション、又はディジタルテレビ（ＴＶ）、ビデオ（ＶＣＲ）等のように、少なくとも一つのマイクロチップコントローラ（ＣＰＵ）を有し、映像を出力する機能以外にもグラフィカルな操作環境を持った情報映像機器である。これらは本実施の形態では４つ存在する。画像ソース１−１，１−２，１−３，１−４は、例えば画像ソースポインタの位置であるユーザ情報を入力するためのマウス等のユーザ情報入力手段（図示せず）を有する。
【００４２】
２−１，２−２，２−３，２−４は、それぞれ画像ソース１−１，１−２，１−３，１−４から出力された画像データ（画像情報）を受け取る入力部であり、もし受け取る画像データがコンピュータのアナログ信号であれば、Ａ／Ｄコンバータや画像データをサンプリングするためのＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ） が入っており、また、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）等のディジタル信号であれば、その復号器や差動のバッファが入っている。また、テレビやビデオのコンポジット信号であればそれＲ，Ｇ，Ｂ信号にエンコードするエンコーダが入っている。
【００４３】
各入力部２−１，２−２，２−３，２−４は各画像ソースから画像データと画像データを受け取るための制御信号例えば１ラインの同期を取る水平同期信号、１フレームもしくは１フィールドの同期を取る垂直同期信号、１画素をサンプルするクロック信号、有効画像データの転送期間を示すディスプレイイネーブル信号等も同時に受け取る。各入力部２−１，２−１，２−３，２−４はおのおの独立したタイミングで画像ソース１−１，１−２，１−３，１−４から画像データを受け取る。また入力部２−１，２−２，２−３，２−４は後述する画像ソース１−１，１−２，１−３，１−４とのシリアル通信手段を有している。
【００４４】
３-１，３-２，３-３，３-４は入力部２-１，２-２，２-３，２-４で受け取った画像データの表示フォーマット（表示ライン数やドット数、色数）を制御部６の制御に従って変換する表示フォーマット変換部、４-１，４-２，４-３，４-４は、独立した４つの画像データを１つの共通したバスに入力するためのバスインタフェース部、５は、バスインタフェース４-１，４-２，４-３，４-４から出力される画像データおよび、フレームメモリコントローラ７、重ねあわせデータコントローラ８から出力される画像データと、それらからの転送要求を受け、優先順位に基づき画像データ転送を調停するバスコントローラである。
【００４５】
６は、本表示制御システム全体を制御する制御部であり、演算能力を持つＣＰＵ、データを一時格納するＲＡＭ、制御プログラムを格納するＲＯＭ、時間を計測するカウンタ、周辺入出力インタフェース等を有している。このＲＡＭはメモリＩＣであってもハードディスクやＤＶＤ−ＲＡＭなどのディスクメディアであってもよい。また、制御をおこなうプログラムはＲＯＭに内蔵されていてもよいし、周辺入出力インタフェースを介して外部から転送されてもよい。
【００４６】
７は、バスコントローラ５の調停によって入力する画像データをフレームメモリ９に適したデータ演算により加工、制御するフレームメモリコントローラである。これはＣＰＵや並列演算が可能なメディアプロセッサであってもよい。
【００４７】
９は、表示デバイスに描画する画像データを少なくとも１フレーム分貯えるフレームメモリ（メモリ手段）、８は、表示デバイス１３に入力部２−１，２−１，２−３，２−４とは別の画像データを表示デバイスに重ねて表示するための重ねあわせデータコントローラ、１０は、重ねあわせをするデータを格納しておく重ねあわせデータストアメモリ、１１は、バス上の画像データをバスコントローラ５の制御に従って入力し、表示駆動コントローラ１２に適した表示フォーマットに変換する出力表示フォーマット変換部、１２は、表示デバイスを駆動するためのコントローラである。
【００４８】
１３は表示デバイスであり、本デバイスは画像を表示するデバイスであればマトリクス電極構造を持つフラットパネル（液晶、プラズマ等）でも、ＣＲＴでもよい。
【００４９】
１４−１，１４−２，１４−３，１４−４は、各画像ソース１−１，１−２，１−３，１−４と本実施の形態の表示制御システム４０の制御部６との間の高速シリアル通信データのパケットデータを送受信する時のタイミングを調整するためのＦＩＦＯメモリを持つパケット制御部である。本実施の形態ではこの高速双方向シリアル通信手段を介して、各画像ソースに対応するウィンドウの更新・非更新の切替え、ポインタの制御等を行う。
【００５０】
このようなデータをパケット多重して転送できる例として、ＩＥＥＥ１３９４やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等がある。 本実施の形態としてはＵＳＢを採用している。これは現在発売されているデスクトップ型及びノート型パソコンのほとんどにＵＳＢポートが搭載されていること、また、ＵＳＢがホットプラグ（動作中でも抜き差しが可能）をサポートしていることから、本実施の形態においては最適であると判断したためであるが、本発明の本質からすれば、他の方式のシリアル通信を用いても同様の効果が得られる。ＵＳＢに対応した機器はＵＳＢホストとＵＳＢデバイスの２種類に分類され、通常ＵＳＢホストはパソコンであり、ＵＳＢデバイスとはマウス、キーボード、プリンタ等の周辺機器を表す。本実施の形態において１４のパケット制御部はこのＵＳＢデバイスとして機能する。
【００５１】
２１は、赤外線発光部をもつリモコン装置であり、その中にサブ・ジョイステック２２、メイン・ジョイステック２４、サブボタン２３、メインボタン２５を含む。２０は、リモコン装置２１の表示ポインタコントローラから発信された赤外線データを受け取る赤外線データ受光部、１９は、赤外線データ受光部２０で受け取ったデータフォーマットを制御部６に出力するための赤外線データ制御部、３０は、表示デバイスに表示させる表示レイアウトを変更する変更ボタンである。４０は、本表示制御システムを示している。上記ジョイスティックは二次元的な動きを入力できるデバイスなら何でもよく、例えばトラックボールや十字カーソルキーであってもよい。
【００５２】
以下、上記各部の番号と照らし合わせて本発明の表示制御システム４０の動作を説明する。
【００５３】
初期化
画像ソース１−１，１−２，１−３，１−４と表示制御システム４０は、それぞれ電源投入後、入力部２−１，２−２，２−３，２−４と双方向シリアル通信線を介して通信を行う。
【００５４】
入力部２−１，２−２，２−３，２−４からは、表示ドット数、表示ライン数、表示色数、ビデオ出力タイミング等のデータをそれぞれ画像ソース１−１，１−２，１−３，１−４に送る。このフォーマットは双方であらかじめ決められた通信プロトコルで行われる。 一例を示せば、米国の標準化団体のＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）で決まられたＤＤＣ（Ｄｉｓｐｌａｙ Ｄａｔａ Ｃｈａｎｎｅｌ）を用いてもよく、データフォーマットは、同じくＶＥＳＡで制定されたＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ）でもよい。この時転送される表示ドット数、表示ライン数、表示色数は表示デバイス１３ の表示ドット、ライン、色数を転送する。もしくは、表示フォーマットは制御部６であらかじめ決められたものでもよい。画像ソース１−１，１−２，１−３，１−４は、受け取った情報に基づき画像データ及びその制御信号を各入力部２−１，２−２，２−３，２−４に出力する。
【００５５】
また、この時、表示制御システム４０にいくつの画像ソースが接続されているかを識別するため、入力部は画像ソースから接続識別信号をいつも監視している。この接続識別信号は、画像ソースから論理的に”１” もしくは”０”の２値信号として受け取る。もし、接続ケーブルが抜かれたり、画像ソースの電源が切れた場合は入力部で抵抗終端しているため、この論理は”０”となり、表示制御システム４０は画像データが入力されないことを認識できる。この監視情報は制御部６にある期間毎に送られる。
【００５６】
制御部６は、まず入力部２-１の接続認識信号を検知し、"１"であったならば入力部２-１は、受け取った画像データを表示フォーマット変換部３-１に出力し、表示フォーマット変換を行う。ここで、接続認識信号が"０"であった場合は、入力部２-２の接続認識信号を検知し、すべての入力部検知されるまで入力部２-１，２-２，２-３，２-４をスキャンする。すべての接続認識信号が"０"であった場合は、表示制御システム４０はパワーセーブモードに入り制御部６とパケット制御部１４、赤外線データ制御部１９、赤外線データ受光部２０以外の電力は落とされる。
【００５７】
１つの画像ソースが接続された場合
入力部２−１の接続認識信号のみが”１”であった場合の例についてこれから記述する。
【００５８】
入力部２−１は表示フォーマット変換部３−１に画像信号を所望のフォーマットで出力する。表示フォーマット変換部３−１は、入力された表示フォーマットと表示デバイス１３の表示フォーマット（ドット数、ライン数、色数）とが等しい場合は画像データを通過させる。後述するように、異なった場合には、画像データを任意に変換しドット、ライン数を表示デバイス１３に合わせる。また色数は、表示デバイス１３の可能表示色数より入力された表示色数が多い場合は、ディザ等の中間処理等を用いて画像データのビット数を落とす。
【００５９】
表示フォーマット変換部３−１から出力された画像データはバスインタフェース４−１、バスコントロール５、フレームメモリコントロール７を介してフレームメモリ９に格納される。
【００６０】
このフレームメモリ９は複数の階層をもち、制御部６の制御により、バスコントローラ５を介して入力される画像データを格納する階層が制御される。
【００６１】
フレームメモリ９に貯えられた画像データは、制御部６が定めるあるタイミングでバス上に出力され、出力表示フォーマット変換部１１に出力される。この時、どの階層のデータを出力するかは、制御部６の指示に従いバスコントローラ５が制御する。
【００６２】
一方、入力された画像データとは別に、表示デバイス１３に表示させるデータを貯える重ね合わせデータストアメモリ１０は、制御部６の制御によって動作する重ね合わせデータコントローラ８を介してバス上に出力される。この重ね合わせデータとフレームメモリコントローラ７を介してバス上に出力される入力画像データは出力表示フォーマット変換部１１で選択されて入力される。この選択タイミングは、制御部６から設定される。
【００６３】
出力表示フォーマット変換部１１は、表示駆動コントローラ１２の入力に適したデータ（データバス幅等）に変換される。出力表示フォーマット変換部１１で出力された画像データは、表示駆動コントローラ１２に出力される。表示駆動コントローラ１２では、表示デバイス１３を駆動するための駆動信号が作られる。
【００６４】
該駆動信号は、例えば、表示デバイス１３がＴＦＴ液晶の場合は表示デバイス内のドライバーＩＣを駆動するライン単位の同期信号、フレーム単位の同期信号、画像データシフトクロック、画像データ、交流化信号である。もし、表示デバイス１３がＣＲＴの場合は画像データをそれぞれＲＧＢに分割し各色毎にＤ／Ａ変換を行い、アナログＲ，Ｇ，Ｂ信号を生成し、水平、垂直同期信号とともに表示デバイス１３に出力する。
【００６５】
表示駆動コントローラ１２は、所望の画像データを表示デバイス１３に転送し、表示デバイス１３に表示する。
【００６６】
一方、画像ソース１−１とパケット制御部１４−１との間で、前述のＵＳＢを用いたシリアルデータ通信ラインが接続され、制御部６は画像ソース１−１に対して、本実施の形態の表示制御システム４０の持つ「デバイス情報」を最初に送信する。この情報の中にはデバイスの種類、機能、ＦＩＦＯの量などが含まれており、本実施の形態では
種類：ポインタデバイス、及び、マルチウィンドウディスプレイデバイス
機能：Ｘ，Ｙ座標移動量データの送受信、その他データの送受信
ＦＩＦＯ量：３２バイト
といった情報が送信される。この情報を受け取った画像ソース（パソコン・ワークステーション、情報映像機器等）はその情報をもとに、デバイスの登録を行い、必要ならばデバイスドライバをロードするなどして、その後通信の為の準備を行う。
【００６７】
リモコンジョイスティックによる画像ソースポインタ制御
次に、画像ソース１-１が表示されている時に画像ソース１-１が表示しているポインタを本表示制御システム４０のリモコンのサブジョイスティック２２及びサブボタン２３から制御する方法について説明する。制御部６の動作については図１０のフローチャートを使って述べる。画像ソース１-１のポインタとは、例えば画像ソース１-１となっているパソコンや情報映像機器上でグラフィカルな操作環境が動作している際に表示される「マウスポインタ」などのことである。
【００６８】
リモコン装置２１は、サブジョイスティック２２のＸ，Ｙ移動情報、サブボタン２３のＯＮ／ＯＦＦ情報をパケットにして赤外線に変換する。赤外線は赤外線データ受光部２０で受光され、電気信号に変換される。赤外線データ制御部１９は、赤外線データ受光部２０からのパケット化された電気信号から必要なＸＹ移動量、ボタンＯＮ／ＯＦＦデータ部分を切り出し、制御部６に出力する。
【００６９】
制御部６ではＸＹ移動量及びボタンＯＮ／ＯＦＦデータをＵＳＢシリアル通信を介して、画像ソース１−１へと転送する。制御部６はＸＹ移動量及びボタンＯＮ／ＯＦＦ情報を先ほど画像ソース側に登録した「ＵＳＢポインタデバイス」のデータフォーマットにフォーマット変換してから、パケット制御部１４−１に対して書き込むことで、ＵＳＢシリアル通信を介して画像ソース１−１に対してのデータ転送が行われる。以上の制御部６の動作を図１０の処理Ｒ０（ｒ０−３）と図１２の処理Ｒ２に示す。
【００７０】
こうしてリモコン装置２１のサブジョイスティック２２やサブボタン２３の情報がＵＳＢを介して、画像ソース１−１のグラフィカル操作環境に伝わり、リモコン装置２１のジョイスティック２２があたかも画像ソース１−１のポインティングデバイスの一つとなったかのように、マウスの位置の移動や、選択動作（クリック）などをリモコンから行えるようになる。図２（Ａ）にその様子を示す。
【００７１】
リモコンジョイスティックによる、メインポインタの制御
以下、図２（Ａ）を参照しながら、リモコン装置２１を使ったメインポインタの制御について述べる、メインポインタは各画像ソース１-１，１-２，１-３，１-４からの映像とは無関係に本表示制御システム４０が独自に表示するもので、画像ソース毎のウィンドウなどを選択し、本表示制御システムの持つさまざまな機能を実現する上で重要な役割をもつ。
【００７２】
リモコン装置２１は、メインジョイスティック２４のＸ，Ｙ移動情報、メインボタン２５のＯＮ／ＯＦＦ情報をパケットにして赤外線に変換する。赤外線は赤外線データ受光部２０で受光され、電気信号に変換される。赤外線データ制御部１９は、赤外線データ受光部２０からのパケット化された電気信号から必要なＸＹ移動量、ボタンＯＮ／ＯＦＦデータ部分を切り出し、制御部６に出力する。
【００７３】
制御部６は、入手したリモコン装置２１からのＸＹ移動量情報をもとに、重ねあわせデータストアメモ１０内の情報を書き換え、メインポインタの位置を移動させる（図１１のフローチャートＲ１（ｒ１−１，ｒ１−１２，ｒ１−１３））と共に、メインボタン２５のＯＮ／ＯＦＦ情報から表示している画像を選択することができる。この重ね合わせデータストアメモリ１０は表示デバイスに表示される画面と対応した大きさを持ち、少なくとも１ビット深さを持つ。
【００７４】
図２（Ｂ）にその様子を示す。現在の説明では画像ソースが一つだけ接続されている場合を想定しているので、ディスプレイ表示画面上には画像ソース１−１の画像のみが表示されており、図のような状態でのメインボタン２５によるオン→オフ動作は画像ソース１−１からの画像全体を選択することになる。
【００７５】
制御部６における以上の動作を図 １０の処理Ｒ０（ｒ０−１），図１１の処理Ｒ１（ｒ１−１〜ｒ１−５）に示す。
【００７６】
また、制御部６はバスコントローラ５に対して指示を行い、重ねあわせデータストアメモリ１０内の情報を出力表示フォーマット変換部１１に出力するか、しないかの制御を行い、メインポインタの表示の有無を制御することができる。この制御はリモコンのボタン（不図示）を押すことによって実現される。このボタンのON/OFF情報は以前の説明と同様に一旦赤外線に変換されたのち、パケットデータに変換され、制御部６に入る（図１０の処理R０(r０-４)，及び図１４の処理R４）。
【００７７】
２つ以上の画像ソースが接続された場合
次に、２以上の画像ソースが接続された場合の動作について、画像ソース１−１が表示されている時に画像ソース１−２が接続された場合を例にとって説明する。
【００７８】
画像ソース１−２が本表示制御システム４０に接続されると接続認識信号を入力部２−２が検知し、その情報を制御部６に伝える。制御部６は、新たな２番目の画像ソース１−２の存在を認識すると、画像データ１−１，１−２の表示フォーマット変換を行う表示フォーマット変換部３−１，３−２のそれぞれに対してその変換パラメータを送る。また、フレームメモリ９に格納する二つの画像データ１−１，１−２の格納する階層を設定する。これらフレームメモリ９が持つ階層は優先順位を持っており、表示デバイス１３上で同じ位置に複数の階層のデータを出力する場合は、優先順位の高い階層の画像データを他の低い優先順位の階層のデータより優先して表示されるように出力表示フォーマット変換部１１に出力する。
【００７９】
上記した、表示フォーマット変換のパラメータ設定と、優先順位を持つフレームメモリの格納の設定例を図３の表示ウィンドウ配置モードの説明図に示す。
【００８０】
以下、図３を参照しながら表示制御システム４０の表示ウィンドウ配置モード図について説明する。
【００８１】
図３に示したように第１の画像入力（１−１）が表示画面全体に描画されている時に、第２の画像入力（１−２）が入力された場合、その（１−１），（１−２）の画面の表示方法は図中表示例（ａ），（ｂ），（ｃ），（ｄ），（ｅ）に示したとおり５通り以上考えられる。それぞれの表示例は、表示フォーマット変換３−１，３−２の各表示のスケーリングを変化させることと、各階層に優先順位を持つフレームメモリ９に画像データを格納する階層を変更することにより実現できる。
【００８２】
図３中（ａ）の場合は、次のようにした場合である。表示フォーマット３−１はスケーリングを行わないで入力部２−１からの画像データをそのまま、フレームメモリ９の優先順位の２番目の階層に入力する。一方表示フォーマット３−２はスケーリングを行い、入力表示ドット、ラインを間引いたり、演算処理により縮小する。そしてフレームメモリ９の優先順位の１番目に入力される。
【００８３】
同図（ｂ）の場合は、表示フォーマット３−１，３−２ともにスケーリングを行い、２つの画像が重ならないようにした場合である。
【００８４】
同図（ｃ），（ｄ）の場合は、それぞれ（ａ），（ｂ）の場合の画像データ１−１，１−２の条件を反対にしたものである。（ｅ）の場合は、表示フォーマット３−１，３−２ともにスケーリングは行わない場合である。またフレームメモリに入力する際はフレームメモリコントローラ７内の演算回路により各画像データ１−１，１−２を少なくとも最小１画素単位で演算し、その結果を、優先順位１番目に入力する。
【００８５】
上述したように２つ以上の画像データ１−１，１−２，１−３，１−４が入力された場合は、その表示方法を、表示フォーマット変換３−１，３−２，３−３，３−４のスケーリングとフレームメモリ９のストア階層により自由に変えられる。
【００８６】
このウィンドウ配置変更制御は，リモコン装置２１のボタン３０を押すことにより赤外線データ受光部２０，１９の各部分を介し制御部６に（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｅ）→（ａ）のウィンドウ配置モード切り替えを指示することで可能となる。
【００８７】
制御部６はその都度、各表示フォーマット変換とバスコントローラ５フレームメモリコントローラ７にパラメータの切り替えを指示する（図１０の処理Ｒ０（ｒ０−３）、及び図１３の処理Ｒ３）。
【００８８】
メインポインタによる画像ソースの入力デバイス制御の切り替え
次に、メインポインタによる画像ソースの入力デバイス制御の切り替え方法について説明する。
【００８９】
リモコン装置２１には画像ソースの入力デバイスになる、サブジョイスティック２２、サブボタン２３と、表示デバイスに入力画像データと重ねあわせて表示されるメインポインタを制御するメインジョイステック２４とそのメインボタン２５を有する。
【００９０】
制御部６は、表示制御システム４０上で現在表示している入力画像のウィンドウの頂点４点の座標を表示フォーマット３−１，３−２，３−３，３−４でスケーリングを行うときのドット数、ライン数から演算し、常時貯えておく。
【００９１】
メインジョイステック２４から送られるXY移動量に基づき制御部６が計算するX，Y座標値は、その座標位置に対応した重ね合わせデータストアメモリ１０の位置に「マウス」などのポインタ図形を描画するとともに表示デバイス１３に表示させるように重ねあわせデータを出力表示フォーマット変換部１１に出力する。この時、先に説明した動作により画像ソース１-１にとっての入力デバイスの１つとなったサブジョイステック２２は画像ソース１-１と赤外線データ受光部２０，赤外線データ制御部１９，制御部６，パケット制御部１４-１を介して接続されており、XY移動量などのパケットのやり取りを行っており、サブジョイスティク２３の操作で画像ソース１-１のマウスが移動できるようになっている（図４（Ａ））。
【００９２】
ある時リモコン装置２１を手にしているユーザーが、サブジョイステック２２を画像ソース１−１用ではなく画像ソース１−２を制御する入力デバイスとして使いたい場合には、ユーザーはメインジョイスティック２４を使って画像データ１−２が表示している画面にメインポインタを移動させメインボタン２５を押す。このボタン２５が押された情報は赤外線データ受光部２０，赤外線データ制御部１９を介して制御部６に転送される。制御部６はそのボタン情報を受けとったときのＸ，Ｙ座標情報とあらかじめわかっている各画像ソースからの画像データ表示ウィンドウの４つの頂点座標値とを使い演算を行い、メインポインタのＸＹ座標がどの表示ウィンドウの上にあったかを求める（図１０の処理Ｒ０（ｒ０−１）、及び図１１の処理Ｒ１（ｒ１−１〜ｒ１−４））。
【００９３】
そして、制御部６は、メインボタン２５を押して（ボタンＯＮ）いる時間が予め定められた時間以下であった場合で、かつ現在の座標位置が前回メインボタン２５が押されたときと違うウィンドウの上である事を認識した場合には、ＵＳＢシリアル通信を行うためのパケット送信先の切替え動作を行う。つまりこれまでサブジョイスティック２２からのＸＹ移動情報やサブボタン２３のＯＮ／ＯＦＦ情報を画像ソース１−１に対して送信するためにパケット制御部１４−１に対してデータ書き込みを行っていたのを止め、画像ソース１−２に対応するパケット制御部１４−２に対してデータ書き込みを開始する。そして選択されたウィンドウの枠の色を変え、現在選択されているウィンドウであることを明示するとともに、以前選択されていたウィンドウ枠の色を通常に戻す（図１１の処理Ｒ１（ｒ１−６，ｒ１−９〜ｒ１−１１））。
【００９４】
この時点から、サブジョイスティック２２及びサブボタン２３はあたかも画像ソース１−２のポインティングデバイスの一つになったようになり、ユーザーは画像ソース１−２上で表示されている「マウスカーソル」などをリモコンのサブジョイスティック及びサブボタンからコントロール出来るようになる。
【００９５】
本実施の形態ではシリアルデータ通信の一例としてＵＳＢを用いているが、ＵＳＢ等のシリアル通信の多くにおいては、ポインティングデバイスなどの入力デバイス、つまり通常デバイスからホストへの情報の流れしかないようなデバイスでも、定期的もしくは非定期的にホスト（この場合各画像ソース）からデバイスに対してコマンドなどの通信データが送られて来るようになっており、それにきちんと応答しない場合は不具合が発生する。例えばバス上のデバイスアドレスの再割り当てコマンドなどがこれに当たり、これらのコマンドに的確に応答しない場合、ホスト（画像ソース）はデバイスに異常があったと認識してしまうことがある。このような事態を防ぐために、メインポインタが画像ソース１−２を選択し、パケット制御部１４−２を通してポインタのＸＹ移動量などの情報のパケット送受信を行っている間も、制御部６は選択されていない画像ソース１−１からのコマンド等の通信データに応答してパケット制御部１４−１を介した通信を行う。この様子を制御部６の動作を示した図 １６の処理Ｐ０（ｐ０−１，ｐ０−２），図１７の処理Ｐ２（ｐ１−１，ｐ１−２），図１９の処理Ｐ３，図２０の処理Ｐ４に示す。
【００９６】
次に、メインポインタのＸＹ座標データと、各画像ソースの表示ウィンドウの頂点座標データからどのように制御部６が演算してメインポインタ下のウィンドウを認識するかについて図５を用いて説明する。
【００９７】
まず、図５（Ａ）の場合について説明する。この例では、４つの画像ソースＡ，Ｂ，Ｃ，Ｄが表示デバイスに隙間なく表示されている例である。
【００９８】
この場合は表示ポインタの表示位置の座標がＸ軸、Ｙ軸方向がそれぞれＸ ，Ｙであった場合、Ａの表示ウィンドウの４つの頂点座標を時計周りに（ａ０，ａ２），（ａ１，ａ２），（ａ１，ａ３），（ａ０，ａ３）とすると（Ｂ，Ｃ，Ｄも同様に頂点の座標を決定）
もし ａ０ ≦ Ｘ ＜ ａ１ かつ ａ２ ≦ Ｙ ＜ ａ３ ならば Ａウィンドウ
もし ｂ０ ≦ Ｘ ＜ ｂ１ かつ ｂ２ ≦ Ｙ ＜ ｂ３ ならば Ｂウィンドウ
もし ｃ０ ≦ Ｘ ＜ ｃ１ かつ ｃ２ ≦ Ｙ ＜ ｃ３ ならば Ｃウィンドウ
もし ｄ０ ≦ Ｘ ＜ ｄ１ かつ ｄ２ ≦ Ｙ ＜ ｄ３ ならば Ｄウィンドウ
という簡単な加減算の組み合わせでどの表示領域上にメインポインタがあるかを認識できる。
【００９９】
また、図５（Ｂ）の場合のようにＡ，Ｂの画像ソースがスケーリングを行っていた場合は、該当する表示領域が存在しない領域が現れる。この場合は、メインポインタが図示の位置にあるときにリモコンのメインボタン２５が押された場合でも、前述の制御部６におけるパケット送信先の切替え動作は行わない。
【０１００】
また、図５（Ｃ）の場合のようにＣの画像ウィンドウの上にＡの画像ウィンドウが重なっている場合は、図中のメインポインタの位置に対応するウィンドウはＡ，Ｃの両方に該当することになる。この場合は、上記したフレームメモリ９の優先順位の高い画像ソース（この場合はＡ）が選択される。
このように、制御部６は、メインジョイステック２４からのＸＹ座標データ、入力画像データの各表示ウィンドウ頂点座標データ、入力画像データの格納される階層を持つフレームメモリの優先順位データからメインボタン２５が押されたときにメインポインタの下にある入力画像ソースを認識できる。
【０１０１】
画像ソース側からの表示の更新・非更新の制御
次に、各画像ソースから本実施の形態の表示制御システム上の表示の更新・非更新の制御について説明する。図６は画像ソースがＷｉｎｄｏｗｓなどのグラフィカルな操作環境を有している場合に一般的なソフトウェア構成図である。もちろん必ずしもこのようなソフトウェア構成をとっている必要はない。
【０１０２】
図中Ｌ５は、シリアル通信用デバイスドライバで、本実施の形態では後述のアプリケーションＬ１側からのデータをＵＳＢプロトコルに準じたデータ（ＵＳＢパケット）への変換、及びＵＳＢパケットを変換してアプリケーション側に伝える部分である。
【０１０３】
Ｌ３は、ポインタデバイスドライバで、このドライバが前述のリモコン装置２１のサブ・ジョイスティック２２のＸＹ移動量やサブボタン２３のＯＮ／ＯＦＦ情報を制御部６→パケット制御部１４→シリアル通信ハードウェアＬ６→シリアル通信ドライバＬ５を経由して受け取り、ＧＵＩ（図中Ｌ２）（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に渡すことにより、画像ソースの「マウス」ポインタの移動などのリモコン装置２１から制御を可能にしている。これらシリアル通信デバイスドライバＬ５、及びポインタデバイスドライバＬ３は画像ソース上で動作しているグラフィカル操作環境が提供しているものを使ってもよい。
【０１０４】
一方、マルチウィンドウ・ドライバＬ４は本実施の形態で特別に構築されたものであり、後述のアプリケーションＬ１からの命令及び、データをシリアル通信デバイスドライバＬ５の仕様にあうように変換、及びシリアル通信デバイスドライバＬ５から受け取った命令やデータをアプリケーションに伝える役目を持っている。
【０１０５】
Ｌ１は「マルチウィンドウ制御アプリケーション」であり、画像ソース上のグラフィカルな操作環境上で動作するアプリケーションソフトである。画像ソースを操作しているユーザーは予め本アプリケーションを起動しておくか、または予めグラフィカル操作環境に登録しておき、表示制御システムとのシリアル通信バス（本実施の形態ではＵＳＢバス）コネクションが確立された後に自動起動するようにしておいてもよい。図７はアプリケーションＬ１を起動した際の操作ウィンドウを示したものである。図中ｗ１が本実施の形態における表示制御システム４０への表示の更新／非更新を切り替える為のボタンである。
【０１０６】
以下に画像ソース１−１を操作しているユーザーがこのボタンを押した場合の動作について図１６〜図２３と図２４〜図２９の各フローチャートを参照しながら述べる。
【０１０７】
図１６〜図２３はアプリケーションとマルチウィンドウ・ドライバの動作（パケット制御部からのデータ入力処理）を示し、図２４〜図２９は制御部６の動作（グラフィカル操作環境（ＧＵＩ）からのメッセージ入力処理）を示している。
【０１０８】
アプリケーションL１は「表示非更新」ボタンw１が押されたことをマルチウィンドウ・ドライバに対して伝えると同時にボタンw１上に表示されているラベルを「表示更新」に切り替える（図２４の処理A０(a０-１)、図２５の処理A１(a１-１，a１-４，a１-５)）。マルチウィンドウ・ドライバL４は受け取ったこの情報をコマンドに変換しシリアル通信デバイスドライバL５へと転送する。シリアル通信デバイスドライバL５はこのコマンドをUSBシリアル通信のパケットに変換して、マルチウィンドウディスプレイシステムのパケット制御部１４-１へと送信する。パケット制御部１４-１はパケットをコマンドに再変換し、制御部６に伝える。コマンドを受け取った制御部６はこのコマンドに基づきバスインターフェース４-１に対しての制御を行い、画像ソース１-１からの画像の更新をストップする（図１６の処理P０(p０-３)、図１８の処理P２(p２-３)、図２１の処理P５(p５-１，p５-２)）。
【０１０９】
また、反対にユーザーが「表示更新」とラベルされているボタンを押した場合にも同様にシリアル通信を通してコマンドが送られ（図２４の処理Ａ０（ａ０−１）、図２５の処理Ａ１（ａ１−１，ａ１−２，ａ１−３））、制御部６はこれに応じてバスインターフェース４−１に対して制御を行い、画像ソース１−１からの画像の更新を開始する。（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−３）、及び図２１の処理Ｐ５（ｐ５−１，ｐ５−３））
以上の動作により、各画像ソースを使っているユーザー側から、マルチウィンドウディスプレイ上に表示されている自分のウィンドウの画像の更新／非更新を自由に制御することが可能となる。
【０１１０】
共有クリップボードを使ったデータ共有
（ディスプレイ→ＰＣ）
次に、図８、及び図１０〜図１５、図１６〜図２３、図２４〜図２９の各フローチャートを用いて本実施の形態の表示制御システム４０に設けられた共有クリップボードを使用したファイルの共有制御について述べる。「クリップボード」とはデータを一時的に待避させておくメモリ手段を示した名称であり、実際にはメモリに設けられた領域の事を示す。以下このメモリ領域のことを「クリップボード」として説明をする。図８中Y１は重ねあわせデータストアメモリに制御部が描画した「アイコン」であり、ここでは「共有クリップボード・アイコン」と呼ぶ。また、現在画像ソース１-１及び１-２の２つが接続されている場合を想定して説明をする。
【０１１１】
先ず、あるユーザーがリモコン装置２１のジョイスティック２４を使って画像ソース１−１の画像の上にメインポインタを移動しボタン２５を押して（ボタンＯＮ）画像ソース１−１の画像を選択し、このボタンを押している時間が予め決められた時間（例えば１秒）以上だった場合には、制御部６はバスインターフェース４−１を制御して、画像ソース１−１からの画像の更新をストップする（図１１の処理Ｒ１（ｒ１−１〜ｒ１−８））。その状態が図８（Ａ）である。制御部６はこれより「ドラッグ状態」という状態に入る。そして、ユーザーがボタン２５を押したままメインポインタを移動し、前述の「共有クリップボードアイコン」の上でボタン２５を放した（ボタンＯＦＦ）場合（図８（Ｂ））、制御部６はフレームメモリ９内の画像ソース１−１の画像に対応するウィンドウ領域を読み出し、制御部６内部のＲＡＭに保存する。その後、制御部６はバスインターフェース４−１に対して再び表示更新を開始するよう指示する（図１１の処理Ｒ１（ｒ１−２）、図１５の処理Ｒ５（ｒ５−１〜ｒ５−３，ｒ５−５〜ｒ５−７））。
【０１１２】
以上の動作により、画像ソース１−１の画像は制御部６内に設けられたＲＡＭ領域、つまり「共有クリップボード」内に保存される。制御部６はその後「共有クリップボードアイコン」の色もしくは形を変えるよう重ねあわせデータストアメモリに対して描画を行い、「共有クリップボード」内にデータがあることを明示する。
【０１１３】
一方、画像ソース１−２を操作している別のユーザーが共有クリップボード内のデータ（この場合画像ソース１−１の表示画像）を自分の操作している画像ソース側にコピーしたい場合、図７のアプリケーションのｗ３に示す選択スイッチの「共有→ローカル」を選択し、コピーボタンを押すことにより、制御部６に対してＵＳＢシリアル通信を通して、共有クリップボード内のデータの送信を促すコマンドが送信される（図２４の処理Ａ０（ａ０−３）、図２７の処理Ａ３（ａ３−１，ａ３−３））。制御部６はこのコマンドを受信後、内部のＲＡＭに保存してあったデータをＵＳＢシリアル通信を介して転送するべく、データをいくつにも分割しパケット制御部１４−２に対してデータの書き込みを行う（図１６のＰ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−４）、図２２の処理Ｐ６（ｐ６−１，ｐ６−３））。画像ソース１−２上のアプリケーションはＵＳＢシリアル通信を通して転送されてきた分割データを再び構築し直し、画像ソース上で動作しているグラフィカル操作環境の管理する「ローカル・クリップボード」へとデータを転送する（図２７の処理Ａ３（ａ３−４））。通常グラフィカルな操作環境においては本実施の形態で示したような「クリップボード」のような一時的なデータ待避を行う為のメモリ領域が定義されており、上記説明の「ローカル・クリップボード」とはそのようなメモリ領域の事を意味している。実際にデータが保存される場所としてはもちろんメモリＩＣであったり、ハードディスクやＤＶＤなどのメモリディスクメディアであってもよい。
【０１１４】
以上動作により、表示制御システム上に表示されている画像データを「共有クリップボード」という保存機能を介して、各画像ソースへと転送することが可能となる。
【０１１５】
（ＰＣ→ＰＣ）
また、この「共有クリップボード」を使い、各画像ソース間のデータ共有も可能となる。以下にその動作を説明する。
【０１１６】
例として、画像ソース１−１を操作しているユーザーが転送したいデータをグラフィカル操作環境の管理するローカル・クリップボードへ転送した後に、図７のアプリケーションのｗ３に示す選択スイッチの「ローカル→共有」を選択しコピーボタンを押した場合、アプリケーションＬ１は先ず、ＵＳＢシリアル通信を介して制御部６にコマンドを送り、これからデータを転送する事を旨を伝える。それからグラフィカル操作環境の管理するローカル・クリップボードからデータを読み出し、ＵＳＢシリアル通信を介して、パケットとして制御部６へと転送する（図２４の処理Ａ０（ａ０−３）、図２７の処理Ａ３（ａ３−２，ａ３−５，ａ３−６））。
【０１１７】
制御部６はコマンドに応答し、パケット制御部１４−１を介してデータを受け取り、そのデータを内部のＲＡＭに保存するとともに、重ねあわせデータストアメモリ１０の「共有クリップボードアイコン」の色または形状を換え、「共有クリップボード」内にデータがある事を明示する（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−４）、図２２の処理Ｐ６（ｐ６−２，ｐ６−４））。
【０１１８】
一方、その後に画像ソース１−２を操作しているユーザーが「共有クリップボード」にあるデータを自分の操作している画像ソース側にコピーしたい場合には、図７のアプリケーションのｗ３に示す選択ボタンの「共有→ローカル」を選択し、コピーボタンを押すことにより、制御部６に対してＵＳＢシリアル通信を通して、コマンドが送信される（図 ２４の処理Ａ０（ａ０−３）、図２７の処理Ａ３（ａ３−１，ａ３−３））。
【０１１９】
制御部６はこのコマンドを受信後、内部のＲＡＭに保存してあったデータをＵＳＢシリアル通信を介して転送するべく、データをいくつにも分割しパケット制御部１４−２に対してデータの書き込みを行う（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−４）、図２２の処理Ｐ６（ｐ６−１，ｐ６−３））。画像ソース２−１上のアプリケーションはＵＳＢシリアル通信を通して転送されてきた分割データを再び構築し直し、グラフィカル操作環境の管理するローカル・クリップボードへとデータを転送する（図２７の処理Ａ３（ａ３−４））。このような動作により、画像ソース１−１から画像ソース１−２へのデータの転送が「共有クリップボード」という保存機能を介して可能となる。
【０１２０】
画像ソース側からのメインポインタ制御
次に、各画像ソースから、メインポインタを制御する動作を説明する。例として、画像ソース１−１を操作しているユーザーがメインポインタを操作する場合を例とする。画像ソース１−１を操作しているユーザーが、図７に示したアプリケーションのｗ２に示すテキストウィンドウに表示されたキーを押しながら、画像ソース１−１に直接接続されたポインティングデバイス（マウス・トラックボール等）を操作した場合には、アプリケーションはＧＵＩからマウスのＸＹ移動量及びボタンのＯＮ／ＯＦＦ情報を取得し、マルチウィンドウ・ドライバに対し伝える。マルチウィンドウ・ドライバはその情報及び対応するコマンドをシリアル通信ドライバに渡し、シリアル通信ドライバはそのコマンドとＸＹ移動量情報を含んだパケットを形成し、ＵＳＢシリアル通信によりパケット制御部１４−１に対してパケットを転送する（図２４の処理Ａ０（ａ０−４）、図２８の処理Ａ４（ａ４−１，ａ４−２））。
【０１２１】
制御部６はパケット制御部からこれらコマンド及びＸＹ移動量及びボタンＯＮ／ＯＦＦ情報を入手し、リモコンのメインジョイスティック２４及びメインボタン２５からのデータと同様の動作を行う（図１６の処理Ｐ０（ｐ０−３）、図１８の処理Ｐ２（ｐ２−５）、図２３の処理Ｐ７（ｐ７−１））。つまり、例えばＸＹ移動量データを入手した場合には、重ねあわせデータストアメモリへの描画を行い、メインマウスの位置を移動させる。このような動作により、画像ソースを操作しているユーザーがリモコンを使わずにメインマウスを操作することが可能となる。
【０１２２】
なお、図７に示したアプリケーションではメインマウスを制御する際のキーを変えることが可能であり、「シフトキー」以外にも「Ａｌｔキー」や「Ｃｔｒｌキー」などのキーを割り当てる事ができる。割り当てキーを変更したい場合にはアプリケーションのｗ２に示したテキストウィンドウをマウスでクリックし、メニューリスト表示された候補（Ａｌｔキー／Ｃｔｒｌキー／Ｓｈｉｆｔキー）の中から選択することによって行うことが出来る（図２４の処理Ａ０（ａ０−２）、図２６の処理Ａ２（ａ２−１，ａ２−２，ａ２−３））。
【０１２３】
ディスプレイ上のアクションによる表示ソフト自動起動
次に、本発明の表示制御システムのマルチウィンドウ・ディスプレイシステムの持つ機能である、画像ソース側での表示ソフトの自動起動機能の動作について図９と、図１０〜図１５、図２４〜図２９の各フローチャートを使って説明する。
【０１２４】
先ず、あるユーザーがリモコン装置２１のジョイスティック２４を使って画像ソース１−１の画像の上にメインポインタを移動しボタン２５を押して画像ソース１−１の画像を選択する。このボタンを押している時間が予め決められた時間（例えば１秒）以上だった場合には、制御部６はバスインターフェース４−１を制御して、画像ソース１−１からの画像の更新をストップする（図１０の処理Ｒ０（ｒ０−１）、図１１の処理Ｒ１（ｒ１−３〜ｒ１−８））。その状態が図９（Ａ）である。制御部６はこれより「ドラッグ状態」という状態に入る。そして、ユーザーがボタン２５を押したままメインポインタを移動し、画像ソース１−２のウィンドウ上でボタン２５を放した場合（図９（Ｂ））、制御部６はフレームメモリ９内の画像ソース１−１の画像に対応するウィンドウ領域を読み出し、内部のＲＡＭに保存する。保存動作終了後、制御部６はバスインターフェース４−１に対して非更新状態にしていたウィドウの更新を再び開始するよう指示する（図１１の処理Ｒ１（ｒ１−２）、図１５の処理Ｒ５（ｒ５−１〜ｒ５−４，ｒ５−８，ｒ５−９））。
【０１２５】
さらに制御部６は画像ソース２−１のアプリケーションに対してＵＳＢシリアル通信を介して表示ソフト起動コマンドを送り、これからデータが転送することを伝えた後、内部ＲＡＭに保存していたデータを一定の大きさ毎に読み出し、圧縮処理を加えた後、パケット制御部１４−２書き込むことにより、ＵＳＢシリアル通信を介して画像ソース１−２へと転送する。（図１５の処理Ｒ５（ｒ５−１０，ｒ５−１１））。この圧縮処理に関してはＪＰＥＧなどを一般的な圧縮アルゴリズムを使ってもよい。
【０１２６】
パケット制御部１４−２及びシリアル通信を介して送られたデータは画像ソース１−２のアプリケーションによって読み出され、アプリケーションはそれらのデータを復元処理及び画像データの再構築するとともに、ファイルとしてディスクまたはメモリ上に保存する。さらにアプリケーションは画像全体をファイルとして保存し終わるとファイル名を付加し、グラフィカル操作環境に対して、予め登録してあった画像表示アプリケーションを起動するようにリクエストを出すと同時に、保存したファイル名、ディスク上の保存場所などをこの画像表示アプリケーションに対して伝える（図２９の処理Ａ１０（ａ１０−１〜ａ１０−３））。こうして画像表示アプリケーションが画像ソース１−２上で自動的に起動し、リモコン装置２１を使ってドラッグ＆ドロップした画像ソース１−１の表示画像を自動的に画像ソース１−２へ取り込むばかりでなく、自動的に表示アプリケーションを起動することで、画像ソース１−２を操作しているユーザーが直ちに見て、加工、保存出来る状態にすることが出来る。
【０１２７】
なお、画像ソースを操作しているユーザーがこの表示ソフトの自動起動機能を使いたくない場合には図７のｗ４に示すチェックボックスのマークを外すことでこの機能を停止することが出来る。
【０１２８】
以上が本実施の形態における表示制御システム及び画像ソースにおけるソフトウェアの動作の説明である。
【０１２９】
前述したように、本実施の形態では表示制御システムと画像ソースとの間の通信手段にＵＳＢを用いているが、本発明の本質からすれば、これに限ることなく、他の方式を使用しても同様であることは言うまでもない。また、画像ソースとして、本実施の形態ではＷｉｎｄｏｗｓのように、マウスカーソル、ウィンドウ表示、立体ボタン、テキストボックスなどを有する比較的高度なグラフィカル操作環境が動作しているものを前提に述べてられているが、本発明の本質からすれば、そのようなものに限ることはなく、ユーザーが画面に表示されたアイテムを選択しながら操作を行うものならば何でもよく、例えば簡単なテキストによる操作画面と単純な文字カーソルの表示しかできないようなグラフィカル操作環境であってもよい。
【０１３０】
【発明の効果】
以上詳述したように、請求項１の表示制御装置によれば、移動指示手段からの指示により第１の位置指示マークを表示デバイス上で移動させることができると共に、移動指示手段を用いて、映像表示装置から出力される第２の位置指示マークの移動を、当該映像表示装置へ指示することができる。
【０１３１】
請求項３の表示制御装置によれば、移動指示手段からの指示により第１の位置指示マークを表示デバイス上で移動させることができると共に、画像情報を出力する映像表示装置のユーザー情報入力手段からの指示に基づき、第２の位置指示マークを表示デバイス上で移動させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のに係る表示制御装置のシステム構成図を示す。
【図２】表示制御システムの表示画面及びウィンドウ表示、メインポインタ、画像ソースポインタの説明図であり、（Ａ）は、画像ソースポインタの制御の場合を示し、（Ｂ）は、メインポインタの制御の場合を示す。
【図３】表示制御システムのもつ表示ウィンドウ配置モードの説明図である。
【図４】表示制御システムの表示画面及びウィンドウ表示、メインポインタ、画像ソースポインタの説明図であり、（Ａ）は、メインポインタによって画像ソース（１−１）のウィンドウが選択された場合を示し、（Ｂ）は、メインポインタによって画像ソース（１−２）のウィンドウが選択された場合を示す。
【図５】４つのウィンドウがさまざまな組み合わせで表示されている場合の制御部６におけるウィンドウの選択動作の説明図である。
【図６】画像ソース上で動作しているグラフィカルな操作環境における一般的なソフトウェア構成と本実施の形態で使用したソフトウェアの関係を示した図である。
【図７】本実施の形態で用いた画像ソース側のグラフィカル操作環境上で動作するアプリケーションの操作画面を示した図である。
【図８】表示制御システムの表示画面の説明図であり、（Ａ）は、メインポインタによって画像ソース（１−１）のウィンドウが選択された場合を示し、（Ｂ）は、メインポインタによってクリップボード・アイコンＹ１が選択された場合を示す。
【図９】表示制御システムの表示画面の説明図であり、（Ａ）は、メインポインタによって画像ソース（１−１）のウィンドウが選択された場合を示し、（Ｂ）は、メインポインタによって画像ソース（１−２）のウィンドウが選択された場合を示す。
【図１０】表示制御システム４０の制御部６の赤外線データ制御部からのデータ入力処理のメインフローのフローチャートである。
【図１１】図１０のフローチャートにおける処理（Ｒ１）のフロチャートである。
【図１２】図１０のフローチャートにおける処理（Ｒ２）のフロチャートである。
【図１３】図１０のフローチャートにおける処理（Ｒ３）のフロチャートである。
【図１４】図１０のフローチャートにおける処理（Ｒ４）のフロチャートである。
【図１５】図１０のフローチャートにおける処理（Ｒ５）のフロチャートである。
【図１６】表示制御システム４０の制御部６のパケット制御部からのデータ入力処理のメインフローのフローチャートである。
【図１７】図１６のフローチャートにおける処理（Ｐ１）のフロチャートである。
【図１８】図１６のフローチャートにおける処理（Ｐ２）のフロチャートである。
【図１９】図１６のフローチャートにおける処理（Ｐ３）のフロチャートである。
【図２０】図１６のフローチャートにおける処理（Ｐ４）のフロチャートである。
【図２１】図１６のフローチャートにおける処理（Ｐ５）のフロチャートである。
【図２２】図１６のフローチャートにおける処理（Ｐ６）のフロチャートである。
【図２３】図１６のフローチャートにおける処理（Ｐ７）のフロチャートである。
【図２４】表示制御システム４０の制御部６のグラフィカル操作環境（ＧＵＩ）からのメッセージ入力処理のフローチャートである。
【図２５】図２４のフローチャートにおける処理（Ａ１）のフロチャートである。
【図２６】図２４のフローチャートにおける処理（Ａ２）のフロチャートである。
【図２７】図２４のフローチャートにおける処理（Ａ３）のフロチャートである。
【図２８】図２４のフローチャートにおける処理（Ａ４）のフロチャートである。
【図２９】表示制御システム４０の制御部６のシリアル通信ドライバから表示ソフト起動コマンドの入手処理ののフローチャートである。
【符号の説明】
１−１，１−２，１−３，１−４ 画像ソース（映像表示装置）
２−１，２−２，２−３，２−４ 入力部
３−１，３−２，３−３，３−４ 表示フォーマット変換部
４−１，４−２，４−３，４−４
５ バスコントローラ
６ 制御部（制御手段、第１及び第２のオーバーレイ表示手段、禁止手段、送出手段、第２のメモリ手段）
７ フレームメモリコントローラ
８ 重ね合わせデータコントローラ
９ フレームメモリ（メモリ手段、第１のメモリ手段）
１０ 重ね合わせデータストアメモリ
１１ 出力表示フォーマット変換部
１２ 表示駆動コントローラ
１３ 表示デバイス
１４−１，１４−２，１４−３，１４−４
１９ 赤外線データ制御部
２０ 赤外線データ受光部
２１ リモコン装置
２２ サブジョイスティック（他の表示入力手段）
２４ メインジョイスティック（第１のオーバーレイ表示手段、表示位置情報入力手段）
４０ 表示制御システム（表示制御装置）[0001]
[Industrial applications]
The present invention relates to a display control device.as well asConference display systemToMore particularly, the present invention relates to a multi-window display system for inputting video data from a plurality of personal computers and displaying the data in multiple windows.
[0002]
[Prior art]
2. Description of the Related Art In recent years, presentations by displaying images of a desktop personal computer (desktop personal computer) and a notebook personal computer (notebook personal computer) on a large display device such as a liquid crystal projector or a plasma display are increasing. On the other hand, laptop computers in particular are becoming more and more popular as personal business tools due to their lighter weight and lower prices. At conferences, attendees bring their own laptop computers, browse the data in them, and write minutes on the spot. Many uses have come to be seen.
[0003]
However, since the conventional large display device is connected to a personal computer on a one-to-one basis, it is necessary to reconnect the personal computer or copy files such as presentation materials to another personal computer when multiple people give presentations. was there. In such a device, not only the reconnection work is troublesome, but even when copying files, there are many problems such as inability to immediately display due to differences in applications between PCs, differences in versions, etc. Was often a major obstacle.
[0004]
From such a background, the image display system switches the image information (video) from a plurality of personal computers (image sources) or simultaneously displays the image information, and compares the information and each displayed image information to hold the conference. There is a demand for a function that allows the user to proceed with the process or to display the minutes created on another personal computer so that all participants can confirm the minutes.
[0005]
[Problems to be solved by the invention]
The inventor has proposed a multi-window display system for displaying inputs of a plurality of information and video devices in a multi-window in order to respond to the above demand.
[0006]
However, when such a multi-window display system is actually used in a conference or the like, there are some problems and inconveniences in a system that simply displays a plurality of video inputs in a multi-window. For example
(1) When the connected personal computer is a notebook personal computer, the computer frequently enters a power saving mode and a sleep mode to save battery power, or frequently enters a “screen saver mode” to prevent burn-in of a monitor such as a liquid crystal panel. Yes, in which case the display on the multi-window display could not be maintained.
(2) When the user of the connected PC wants to refer to a file or the like that other members do not want to see (and do not want to display on the multi-window display), the only way is to disconnect the cable once.
(3) The main pointer (for the presenter) on the multi-window display can be controlled only by the presenter with the remote control, and other members (each PC member) could not control it.
(4) Data cannot be exchanged between the personal computers, and the data displayed on the multi-window display cannot be taken into each personal computer.
[0007]
The inventor repeated many experiments and trial and error to solve the above problems, and as a result, added a unique function different from the conventional one to the multi-window display system, and between the multi-window display system and each personal computer. In addition to video signals, data communication was performed by serial communication, and the concept of controlling a multi-window display system by linking a software program on a personal computer and control software on a multi-window display system was reached.
[0008]
SUMMARY OF THE INVENTION It is an object of the present invention to solve the above-mentioned problems and to easily perform display control of video from at least one video display device to a conference and presentation display device.as well asConference display systemTimeTo provide.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, a display control device according to claim 1 has a user information input means and a movement instruction is given by the user information input means.2A plurality of video display devices that output image information including the position indication mark are connected via communication means.And is controlled by a remote control device having a movement instruction means.In the display control device, video input means for inputting respective image information output from the plurality of connected video display devices, a display device for displaying the input image information, and A second image is displayed on the display device to select one image information from the displayed image information.1An overlay display means for overlay-displaying the position indication mark, and the second indication means based on an instruction from the movement instruction means.1Instruction mark movement control means for moving the position instruction mark on the display device;1Selecting means for selecting the image information displayed at the position indicated by the position indicating mark, and a moving instruction from the moving instructing means, the moving instruction from the video display device corresponding to the image information selected by the selecting means. No.2ofpositionA transmission control unit for transmitting the movement information of the instruction mark to the video display device via the communication unit is provided.
[0012]
The display control device according to a second aspect is the display control device according to the first aspect, further comprising instruction means for instructing selection of image information, wherein the selection means is instructed to select image information by the instruction means. When the said1The image information displayed at the position designated by the position designation mark is selected.
[0013]
In order to achieve the above object, a display control device according to a third aspect has a user information input unit, and a movement instruction is given by the user information input unit.2A plurality of video display devices that output image information including the position indication mark are connected via communication means.And is controlled by a remote control device having a movement instruction means.In the display control device, video input means for inputting respective image information output from the plurality of connected video display devices, a display device for displaying the input image information, and A second image is displayed on the display device to select one image information from the displayed image information.1An overlay display means for overlay-displaying the position instruction mark, and an instruction mark movement control means for moving the first position instruction mark on the display device based on an instruction from the movement instruction means, Movement control means receives the user information input from the user information input means transmitted from any of the plurality of video display devices via the communication means, and based on the user information,1Is moved on the display device.
[0014]
A display control device according to a fourth aspect of the present invention is the display control device according to any one of the first to third aspects, wherein data transmitted from any one of the plurality of video display devices via the communication unit is transmitted. Further comprising a transfer means for receiving and transferring the received data to another image display deviceIt is characterized by the following.
[0017]
Claim 5A display system for meetings described above is connected to the display control device according to any one of claims 1 to 4 via communication means, and has a user information input unit and outputs image information. At least one video display deviceIt is characterized by the following.
[0040]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows a system configuration diagram of a display control device according to an embodiment of the present invention.
In the present embodiment, image information (video) from four independent image sources is displayed on one monitor. These image sources may be more or less than four.
[0041]
1-1, 1-2, 1-3 and 1-4 are image sources (video display devices) of image signals, such as a personal computer, a workstation, or a digital television (TV) or a video (VCR). It is an information video device having at least one microchip controller (CPU) and having a graphical operation environment in addition to a function of outputting a video. There are four of these in the present embodiment. Each of the image sources 1-1, 1-2, 1-3, and 1-4 has user information input means (not shown) such as a mouse for inputting user information which is a position of an image source pointer, for example.
[0042]
Reference numerals 2-1, 2-2, 2-3, and 2-4 denote input units for receiving image data (image information) output from the image sources 1-1, 1-2, 1-3, and 1-4, respectively. Yes, if the received image data is a computer analog signal, it contains an A / D converter and a PLL (Phase Locked Loop) for sampling the image data, and a digital signal such as LVDS (Low Voltage Differential Signaling). If it is a signal, it contains its decoder and differential buffer. In the case of a composite signal for television or video, an encoder for encoding the signal into R, G, B signals is included.
[0043]
Each input unit 2-1, 2-2, 2-3, 2-4 is a control signal for receiving image data and image data from each image source, for example, a horizontal synchronization signal for synchronizing one line, one frame or one field. , A clock signal for sampling one pixel, a display enable signal indicating a transfer period of valid image data, and the like. Each of the input units 2-1, 2-1, 2-3, and 2-4 receives image data from the image sources 1-1, 1-2, 1-3, and 1-4 at independent timings. The input units 2-1, 2-2, 2-3, and 2-4 have serial communication means with image sources 1-1, 1-2, 1-3, and 1-4, which will be described later.
[0044]
3-1, 3-2, 3-3, 3-4 are input units 2-1, 2-2, 2-3, and 2-4, a display format conversion unit that converts the display format (the number of display lines, the number of dots, and the number of colors) of the image data under the control of the control unit 6; Reference numerals -3, 4-4 denote bus interface units for inputting four independent image data to one common bus.
[0045]
Reference numeral 6 denotes a control unit for controlling the entire display control system, which includes a CPU having an arithmetic capability, a RAM for temporarily storing data, a ROM for storing a control program, a counter for measuring time, a peripheral input / output interface, and the like. ing. This RAM may be a memory IC or a disk medium such as a hard disk or a DVD-RAM. Further, the control program may be stored in the ROM, or may be externally transferred via the peripheral input / output interface.
[0046]
Reference numeral 7 denotes a frame memory controller that processes and controls image data input by arbitration of the
[0047]
Reference numeral 9 denotes a frame memory (memory means) for storing at least one frame of image data to be drawn on the display device.
[0048]
[0049]
14-1, 14-2, 14-3, and 14-4 are the image sources 1-1, 1-2, 1-3, and 1-4, and the control unit 6 of the
[0050]
Examples of such data that can be transferred by packet multiplexing include IEEE 1394 and USB (Universal Serial Bus). The present embodiment employs USB. This is because most of the desktop and notebook computers currently on the market are equipped with a USB port, and the USB supports hot plug (which can be inserted and removed even during operation). Is determined to be the most suitable, but from the essence of the present invention, the same effect can be obtained by using other types of serial communication. USB-compatible devices are classified into two types, a USB host and a USB device. The USB host is usually a personal computer, and the USB device represents peripheral devices such as a mouse, a keyboard, and a printer. In the present embodiment, fourteen packet control units function as this USB device.
[0051]
[0052]
Hereinafter, the operation of the
[0053]
Initialize
After the image sources 1-1, 1-2, 1-3, 1-4 and the
[0054]
From the input units 2-1, 2-2, 2-3, and 2-4, data such as the number of display dots, the number of display lines, the number of display colors, and the video output timing are transmitted to image sources 1-1, 1-2, respectively. Send to 1-3 and 1-4. This format is performed by a predetermined communication protocol on both sides. As an example, a DDC (Display Data Channel) determined by a Video Electronics Standards Association (VESA) of a standardization organization in the United States may be used, and the data format is EDID (Extended Identification), which is also defined by the VESA. May be. The number of display dots, the number of display lines, and the number of display colors to be transferred at this time transfer the number of display dots, lines, and colors of the
[0055]
At this time, the input unit constantly monitors the connection identification signal from the image source in order to identify how many image sources are connected to the
[0056]
The control unit 6 first detects the connection recognition signal of the input unit 2-1, and if it is "1", the input unit 2-1 outputs the received image data to the display format conversion unit 3-1. Perform display format conversion. Here, when the connection recognition signal is "0", the connection recognition signal of the input unit 2-2 is detected, and the input units 2-1 to 2-2 and 2-3 are detected until all the input units are detected. , 2-4. When all the connection recognition signals are “0”, the
[0057]
When one image source is connected
An example in which only the connection recognition signal of the input unit 2-1 is "1" will be described below.
[0058]
The input unit 2-1 outputs an image signal to the display format conversion unit 3-1 in a desired format. The display format conversion unit 3-1 passes the image data when the input display format is equal to the display format (the number of dots, the number of lines, and the number of colors) of the
[0059]
The image data output from the display format conversion unit 3-1 is stored in the frame memory 9 via the bus interface 4-1, the
[0060]
The frame memory 9 has a plurality of hierarchies, and the hierarchy for storing image data input via the
[0061]
The image data stored in the frame memory 9 is output to the bus at a certain timing determined by the control unit 6, and the output display format conversion is performed.Department11 is output. At this time, which layer of data is output is controlled by the
[0062]
On the other hand, an overlay data store memory 10 that stores data to be displayed on the
[0063]
The output
[0064]
For example, when the
[0065]
The
[0066]
On the other hand, the serial data communication line using the aforementioned USB is connected between the image source 1-1 and the packet control unit 14-1, and the control unit 6 controls the image source 1-1 according to the present embodiment. First, the “device information” of the
Type: Pointer device and multi-window display device
Function: X / Y coordinate movement data transmission / reception, other data transmission / reception
FIFO amount: 32 bytes
Is transmitted. The image source (PC / workstation, information video equipment, etc.) that receives this information registers the device based on the information, loads the device driver if necessary, etc., and prepares for communication thereafter. I do.
[0067]
Image source pointer control by remote control joystick
Next, when the image source 1-1 is displayed, the point displayed by the image source 1-1 is displayed.TheA control method using the
[0068]
The
[0069]
The control unit 6 transfers the XY movement amount and the button ON / OFF data to the image source 1-1 via USB serial communication. The control unit 6 converts the XY movement amount and the button ON / OFF information into the data format of the “USB pointer device” previously registered on the image source side, and writes the converted data into the packet control unit 14-1, thereby obtaining the USB. Data transfer to the image source 1-1 is performed via serial communication. The above operation of the control unit 6 is shown in the processing R0 (r0-3) of FIG. 10 and the processing R2 of FIG.
[0070]
In this way, the information of the
[0071]
Control of the main pointer with a remote control joystick
Hereinafter, referring to FIG. 2A, a main point using the
[0072]
The
[0073]
The control unit 6 rewrites the information in the overlay data store memo 10 based on the obtained XY movement amount information from the
[0074]
FIG. 2B shows this state. In the present description, it is assumed that only one image source is connected, so that only the image of the image source 1-1 is displayed on the display screen, and the main image in the state shown in the figure is displayed. The ON → OFF operation by the
[0075]
The above operation in the control unit 6 is shown as a process R0 (r0-1) in FIG. 10 and a process R1 (r1-1 to r1-5) in FIG.
[0076]
Further, the control unit 6 instructs the
[0077]
When two or more image sources are connected
Next, an operation when two or more image sources are connected will be described by taking as an example a case where the image source 1-2 is connected while the image source 1-1 is displayed.
[0078]
When the image source 1-2 is connected to the
[0079]
An example of the setting of the display format conversion parameters and the setting of the storage of the frame memory having the priority described above is shown in the explanatory diagram of the display window arrangement mode in FIG.
[0080]
Hereinafter, the display window arrangement mode diagram of the
[0081]
As shown in FIG. 3, when the first image input (1-1) is drawn on the entire display screen and the second image input (1-2) is input, the (1-1) is input. , (1-2) can be considered in five or more ways as shown in display examples (a), (b), (c), (d), and (e) in the figure. Each display example is realized by changing the scaling of each display of the display format conversions 3-1 and 3-2 and by changing the layer for storing image data in the frame memory 9 having the priority for each layer. it can.
[0082]
The case of FIG. 3A is a case where the following is performed. In the display format 3-1, the image data from the input unit 2-1 is input as it is to the second priority hierarchy of the frame memory 9 without scaling. On the other hand, in the display format 3-2, scaling is performed, input display dots and lines are thinned out, or reduced by arithmetic processing. Then, it is input first in the priority order of the frame memory 9.
[0083]
FIG. 6B shows a case where scaling is performed on both display formats 3-1 and 3-2 so that the two images do not overlap.
[0084]
FIGS. 13C and 13D are obtained by reversing the conditions of the image data 1-1 and 1-2 in the cases of FIGS. 14A and 14B, respectively. The case (e) is a case where scaling is not performed for both the display formats 3-1 and 3-2. When inputting to the frame memory, each of the image data 1-1 and 1-2 is calculated at least in units of one pixel by an arithmetic circuit in the frame memory controller 7, and the result is input first in the priority order.
[0085]
As described above, when two or more pieces of image data 1-1, 1-2, 1-3, and 1-4 are input, the display method is changed to the display format conversion 3-1, 3-2, 3--3. It can be freely changed by the scaling of 3, 3-4 and the store hierarchy of the frame memory 9.
[0086]
The window arrangement change control is performed by pressing the
[0087]
The control unit 6 instructs each display format conversion and the switching of parameters to the
[0088]
Switching of input device control of image source by main pointer
Next, a method of switching the input device control of the image source by the main pointer will be described.
[0089]
The
[0090]
The control unit 6 performs scaling of the coordinates of the four vertices of the window of the input image currently displayed on the
[0091]
The X and Y coordinate values calculated by the control unit 6 based on the XY movement amount sent from the
[0092]
At some point, if the user holding the
[0093]
Then, when the time during which the
[0094]
From this point, the
[0095]
In the present embodiment, USB is used as an example of serial data communication. However, in most serial communication such as USB, input devices such as a pointing device, that is, devices in which information flows only from a normal device to a host are used. However, communication data such as a command is sent from the host (each image source in this case) to the device regularly or irregularly, and a failure occurs if the communication data is not properly responded to. For example, when a command such as a device address reassignment command on the bus does not respond to these commands, the host (image source) may recognize that the device has an abnormality. In order to prevent such a situation, the control unit 6 also selects the image source 1-2 while the main pointer selects the image source 1-2 and performs packet transmission / reception of information such as the XY movement amount of the pointer through the packet control unit 14-2. The communication via the packet control unit 14-1 is performed in response to communication data such as a command from the image source 1-1 that has not been transmitted. The process P0 (p0-1, p0-2) in FIG. 16, the process P2 (p1-1, p1-2) in FIG. 17, the process P3 in FIG. 19, and the process P3 in FIG. This is shown in process P4.
[0096]
Next, how the control unit 6 calculates the XY coordinate data of the main pointer and the vertex coordinate data of the display window of each image source to recognize the window below the main pointer will be described with reference to FIG.
[0097]
First, the case of FIG. 5A will be described. In this example, four image sources A, B, C, and D are displayed on the display device without any gap.
[0098]
In this case, if the coordinates of the display position of the display pointer are X and Y in the X-axis and Y-axis directions, the coordinates of the four vertices of the display window of A are clockwise (a0, a2), (a1, a2). ), (A1, a3), (a0, a3) (B, C, D also determine the coordinates of the vertices)
A window if a0 ≤ X <a1 and a2 ≤ Y <a3
B window if b0 ≦ X <b1 and b2 ≦ Y <b3
If c0 ≦ X <c1 and c2 ≦ Y <c3, C window
If d0 ≦ X <d1 and d2 ≦ Y <d3, the D window
It is possible to recognize on which display area the main pointer is located by a simple combination of addition and subtraction.
[0099]
When the image sources of A and B are scaling as in the case of FIG. 5B, an area where no corresponding display area exists appears. In this case, even when the
[0100]
When the image window of A overlaps the image window of C as in the case of FIG. 5C, the window corresponding to the position of the main pointer in the figure corresponds to both A and C. Will be. In this case, the image source (A in this case) having a higher priority order in the frame memory 9 is selected.
As described above, the control unit 6 determines the
[0101]
Control of display update / non-update from the image source side
Next, control of updating / non-update of display on the display control system of the present embodiment from each image source will be described. FIG. 6 is a general software configuration diagram when the image source has a graphical operation environment such as Windows. Of course, it is not always necessary to adopt such a software configuration.
[0102]
In the figure, reference numeral L5 denotes a device driver for serial communication. In the present embodiment, data from an application L1 described later is converted into data (USB packet) conforming to the USB protocol, and a USB packet is converted into data on the application side. It is a part to convey.
[0103]
L3 is a pointer device driver, which controls the XY movement amount of the
[0104]
On the other hand, the multi-window driver L4 is specially constructed in the present embodiment, and converts commands and data from an application L1 described later so as to conform to the specifications of the serial communication device driver L5, and converts the serial communication device L5. It has a role of transmitting commands and data received from the driver L5 to the application.
[0105]
L1 is a “multi-window control application”, which is application software that operates on a graphical operation environment on an image source. The user operating the image source activates this application in advance or registers it in the graphical operation environment in advance, and establishes a serial communication bus (USB bus in this embodiment) connection with the display control system. It may be configured to automatically start after the execution. FIG. 7 shows an operation window when the application L1 is activated. In the figure, w1 is a button for switching between updating and non-updating of display on the
[0106]
The operation when the user operating the image source 1-1 presses this button will be described below with reference to the flowcharts of FIGS. 16 to 23 and FIGS.
[0107]
16 to 23 show the operation of the application and the multi-window driver (data input processing from the packet control unit), and FIGS. 24 to 29 show the operation of the control unit 6 (message input processing from the graphical operation environment (GUI)). ).
[0108]
The application L1 confirms that the “display non-update” button w1 has been pressed by the multi-window driver.To baAt the same time, the label displayed on the button w1 is switched to "display update" (process A0 (a0-1) in FIG. 24, process A1 (a1-1, a1-4, a1-5 in FIG. 25). )). The multi-window driver L4 converts the received information into a command and transfers it to the serial communication device driver L5. The serial communication device driver L5 converts this command into a USB serial communication packet and transmits the packet to the packet control unit 14-1 of the multi-window display system. The packet control unit 14-1 reconverts the packet into a command and transmits the command to the control unit 6. Upon receiving the command, the control unit 6 controls the bus interface 4-1 based on the command, and stops updating the image from the image source 1-1 (processing P0 (p0-3) in FIG. 16). Processing P2 (p2-3) in FIG. 18 and processing P5 (p5-1, p5-2) in FIG. 21).
[0109]
Conversely, when the user presses the button labeled "display update", a command is similarly transmitted through serial communication (process A0 (a0-1) in FIG. 24 and process A1 (a1 in FIG. 25). -1, a1-2, a1-3)), the control unit 6 controls the bus interface 4-1 in response to this, and starts updating the image from the image source 1-1. (Process P0 (p0-3) in FIG. 16, process P2 (p2-3) in FIG. 18, and process P5 (p5-1, p5-3) in FIG. 21)
With the above operation, the user using each image source can freely control updating / non-updating of the image of his / her own window displayed on the multi-window display.
[0110]
Data sharing using shared clipboard
(Display → PC)
Next, the shared clipboard provided in the
[0111]
First, a user moves the main pointer over the image of the image source 1-1 using the
[0112]
By the above operation, the image of the image source 1-1 is stored in the RAM area provided in the control unit 6, that is, in the “shared clipboard”. After that, the control unit 6 performs drawing on the superimposed data store memory so as to change the color or shape of the “shared clipboard icon”, and specifies that data exists in the “shared clipboard”.
[0113]
On the other hand, when another user operating the image source 1-2 wants to copy the data in the shared clipboard (in this case, the display image of the image source 1-1) to the image source operating the user, FIG. When the user selects “shared → local” of the selection switch indicated by w3 of the application and presses the copy button, a command for transmitting data in the shared clipboard is transmitted to the control unit 6 through USB serial communication. (Process A0 (a0-3) in FIG. 24, Process A3 (a3-1, a3-3) in FIG. 27). After receiving this command, the control unit 6 divides the data into a number of pieces to transfer the data stored in the internal RAM via USB serial communication and writes the data into the packet control unit 14-2. (P0 (p0-3) in FIG. 16, process P2 (p2-4) in FIG. 18, process P6 (p6-1, p6-3) in FIG. 22). The application on the image source 1-2 reconstructs the divided data transferred through the USB serial communication, and transfers the data to the “local clipboard” managed by the graphical operation environment operating on the image source. (Process A3 (a3-4) in FIG. 27). Usually, in a graphical operation environment, a memory area for temporarily saving data such as a “clipboard” as described in the present embodiment is defined, and the “local clipboard” described above is It means such a memory area. The place where the data is actually stored may be a memory IC or a memory disk medium such as a hard disk or a DVD.
[0114]
With the above operation, the image data displayed on the display control system can be transferred to each image source via the storage function called “shared clipboard”.
[0115]
(PC → PC)
In addition, data can be shared between image sources by using the “shared clipboard”. The operation will be described below.
[0116]
As an example, after the user operating the image source 1-1 transfers the data to be transferred to the local clipboard that manages the graphical operation environment, the “local → shared” selection switch indicated by w3 of the application in FIG. When the user selects and presses the copy button, the application L1 first sends a command to the control unit 6 via USB serial communication, and notifies that the data is to be transferred. Then, data is read from the local clipboard managed by the graphical operation environment and transferred as a packet to the control unit 6 via USB serial communication (process A0 (a0-3) in FIG. 24, process A3 (a3 in FIG. 27). -2, a3-5, a3-6)).
[0117]
The control unit 6 receives the data via the packet control unit 14-1 in response to the command, stores the data in the internal RAM, and changes the color or shape of the “shared clipboard icon” in the superimposed data store memory 10. In other words, it is specified that there is data in the “shared clipboard” (process P0 (p0-3) in FIG. 16, process P2 (p2-4) in FIG. 18, process P6 (p6-2, p6- 4)).
[0118]
On the other hand, if the user operating the image source 1-2 later wants to copy the data on the “shared clipboard” to the image source operating the user, the selection button shown in w3 of the application in FIG. 27, the command is transmitted to the control unit 6 through USB serial communication (process A0 (a0-3) in FIG. 24, process A3 in FIG. 27). (A3-1, a3-3)).
[0119]
After receiving this command, the control unit 6 divides the data into a number of pieces to transfer the data stored in the internal RAM via USB serial communication and writes the data into the packet control unit 14-2. (Process P0 (p0-3) in FIG. 16, process P2 (p2-4) in FIG. 18, process P6 (p6-1 and p6-3) in FIG. 22). The application on the image source 2-1 reconstructs the divided data transferred through the USB serial communication, and transfers the data to the local clipboard managed by the graphical operation environment (processing A3 (a3-4 in FIG. 27). )). With such an operation, data can be transferred from the image source 1-1 to the image source 1-2 via a storage function called “shared clipboard”.
[0120]
Main pointer control from image source
Next, an operation of controlling the main pointer from each image source will be described. As an example, a case where the user operating the image source 1-1 operates the main pointer will be described. While the user operating the image source 1-1 presses the key displayed in the text window indicated by w2 of the application shown in FIG. 7, a pointing device (mouse / track) directly connected to the image source 1-1 is displayed. When the user operates a ball or the like, the application acquires the XY movement amount of the mouse and the ON / OFF information of the button from the GUI, and notifies the multi-window driver. The multi-window driver passes the information and the corresponding command to the serial communication driver, and the serial communication driver forms a packet containing the command and the XY movement amount information, and sends the packet to the packet control unit 14-1 by USB serial communication. The packet is transferred (process A0 (a0-4) in FIG. 24, process A4 (a4-1, a4-2) in FIG. 28).
[0121]
The control unit 6 obtains these commands, the XY movement amount, and the button ON / OFF information from the packet control unit, and performs the same operation as the data from the
[0122]
In the application shown in FIG. 7, the key used to control the main mouse can be changed, and a key such as an "Alt key" or a "Ctrl key" can be assigned in addition to the "Shift key". When the user wants to change the assignment key, the user can click on the text window indicated by w2 of the application with the mouse and select from the candidates (Alt key / Ctrl key / Shift key) displayed in the menu list ( Processing A0 (a0-2) in FIG. 24 and processing A2 (a2-1, a2-2, a2-3) in FIG.
[0123]
Automatic start of display software by action on display
Next, the operation of the automatic start function of the display software on the image source side, which is a function of the multi-window display system of the display control system of the present invention, is shown in FIG. 9, FIGS. 10 to 15, and FIGS. This will be described with reference to each flowchart.
[0124]
First, a user moves the main pointer over the image of the image source 1-1 using the
[0125]
Further, the control unit 6 sends a display software start command to the application of the image source 2-1 via the USB serial communication to inform that the data is to be transferred, and then stores the data stored in the internal RAM to a predetermined size. After reading the data for each size, performing compression processing, and then writing the data to the packet control unit 14-2, the data is transferred to the image source 1-2 via USB serial communication. (Process R5 (r5-10, r5-11) in FIG. 15). For this compression processing, a general compression algorithm such as JPEG may be used.
[0126]
The data sent via the packet control unit 14-2 and the serial communication is read out by the application of the image source 1-2. Save to memory. Furthermore, when the application finishes saving the entire image as a file, it adds a file name to the graphical operation environment and issues a request to start the image display application registered in advance, and at the same time, saves the saved file name, The storage location on the disk is notified to the image display application (process A10 (a10-1 to a10-3) in FIG. 29). In this way, the image display application is automatically started on the image source 1-2, and not only is the display image of the image source 1-1 dragged and dropped using the
[0127]
If the user operating the image source does not want to use the automatic activation function of the display software, the function can be stopped by removing the check mark of the check box indicated by w4 in FIG.
[0128]
The above is the description of the operation of the software in the display control system and the image source according to the present embodiment.
[0129]
As described above, in the present embodiment, the USB is used as the communication means between the display control system and the image source. However, in the essence of the present invention, another method is used without being limited to this. Needless to say, the same is true. In this embodiment, it is assumed that a relatively advanced graphical operation environment having a mouse cursor, a window display, a three-dimensional button, a text box, and the like is operating as an image source, such as Windows. However, in the essence of the present invention, the present invention is not limited to such a device, and any device may be used as long as the user performs an operation while selecting an item displayed on the screen. A graphical operating environment that can only display a simple character cursor may be used.
[0130]
【The invention's effect】
As described in detail above, according to the display control device of the first aspect, the display control device receives the instruction from the movement instruction means.1Position indication mark can be moved on the display device, and the movement indication means can be used to move the second position indication mark output from the video display device.2Can be instructed to the video display device to move the position indication mark.
[0131]
According to the display control device of the third aspect, the display control device receives the instruction from the movement instruction means.1The position indication mark can be moved on the display device, and based on an instruction from the user information input means of the video display device that outputs image information,2Can be moved on the display device.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of a display control device according to an embodiment of the present invention.
FIGS. 2A and 2B are explanatory diagrams of a display screen and a window display of a display control system, a main pointer, and an image source pointer. FIG. 2A shows a case of controlling an image source pointer, and FIG. The case of is shown.
FIG. 3 is an explanatory diagram of a display window arrangement mode of the display control system.
FIG. 4 is an explanatory diagram of a display screen and a window display of a display control system, a main pointer, and an image source pointer. FIG. 4A shows a case where a window of an image source (1-1) is selected by the main pointer. , (B) shows the case where the window of the image source (1-2) is selected by the main pointer.
FIG. 5 is an explanatory diagram of a window selecting operation in the control unit 6 when four windows are displayed in various combinations.
FIG. 6 is a diagram showing a relationship between a general software configuration in a graphical operation environment operating on an image source and software used in the present embodiment.
FIG. 7 is a diagram showing an operation screen of an application operating on a graphical operation environment on the image source side used in the present embodiment.
8A and 8B are explanatory diagrams of a display screen of the display control system. FIG. 8A shows a case where a window of an image source (1-1) is selected by a main pointer, and FIG. -The case where the icon Y1 is selected is shown.
9A and 9B are explanatory diagrams of a display screen of the display control system. FIG. 9A shows a case where a window of an image source (1-1) is selected by a main pointer, and FIG. The case where the window of the source (1-2) is selected is shown.
FIG. 10 is a flowchart of a main flow of a data input process from an infrared data control unit of the control unit 6 of the
FIG. 11 is a flowchart of a process (R1) in the flowchart of FIG. 10;
FIG. 12 is a flowchart of a process (R2) in the flowchart of FIG. 10;
FIG. 13 is a flowchart of a process (R3) in the flowchart of FIG. 10;
FIG. 14 is a flowchart of a process (R4) in the flowchart of FIG. 10;
FIG. 15 is a flowchart of a process (R5) in the flowchart of FIG. 10;
FIG. 16 is a flowchart of a main flow of a data input process from a packet control unit of the control unit 6 of the
FIG. 17 is a flowchart of a process (P1) in the flowchart of FIG. 16;
FIG. 18 is a flowchart of a process (P2) in the flowchart of FIG.
FIG. 19 is a flowchart of a process (P3) in the flowchart of FIG. 16;
FIG. 20 is a flowchart of a process (P4) in the flowchart of FIG. 16;
FIG. 21 is a flowchart of a process (P5) in the flowchart of FIG. 16;
FIG. 22 is a flowchart of a process (P6) in the flowchart of FIG. 16;
FIG. 23 is a flowchart of a process (P7) in the flowchart of FIG. 16;
FIG. 24 is a flowchart of a process of inputting a message from a graphical operation environment (GUI) of the control unit 6 of the
FIG. 25 is a flowchart of a process (A1) in the flowchart of FIG. 24;
FIG. 26 is a flowchart of a process (A2) in the flowchart of FIG. 24;
FIG. 27 is a flowchart of a process (A3) in the flowchart of FIG. 24;
FIG. 28 is a flowchart of a process (A4) in the flowchart of FIG. 24;
29 is a flowchart of a process for obtaining a display software start command from a serial communication driver of the control unit 6 of the
[Explanation of symbols]
1-1, 1-2, 1-3, 1-4 Image source (video display device)
2-1, 2-2, 2-3, 2-4 input section
3-1, 3-2,3-3,3-4 display format conversion unit
4-1, 4-2, 4-3, 4-4
5 Bus controller
6 control unit (control means, first and second overlay display means, prohibition means, sending means, second memory means)
7 Frame memory controller
8 Overlay data controller
9. Frame memory (memory means, first memory means)
10 Overlay data store memory
11 Output display format converter
12 Display drive controller
13 Display device
14-1, 14-2, 14-3, 14-4
19 Infrared data controller
20 infrared data receiver
21 Remote control device
22 sub joystick (other display input means)
24 Main joystick (first overlay display means, display position information input means)
40 Display control system (display control device)
Claims (5)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12432798A JP3599561B2 (en) | 1998-04-17 | 1998-04-17 | Display control device and conference display system |
| US09/292,015 US6538675B2 (en) | 1998-04-17 | 1999-04-15 | Display control apparatus and display control system for switching control of two position indication marks |
| EP99107656.3A EP0950944B1 (en) | 1998-04-17 | 1999-04-16 | Display control apparatus and display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12432798A JP3599561B2 (en) | 1998-04-17 | 1998-04-17 | Display control device and conference display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11308592A JPH11308592A (en) | 1999-11-05 |
| JP3599561B2 true JP3599561B2 (en) | 2004-12-08 |
Family
ID=14882602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12432798A Expired - Fee Related JP3599561B2 (en) | 1998-04-17 | 1998-04-17 | Display control device and conference display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3599561B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3483469B2 (en) * | 1998-05-27 | 2004-01-06 | キヤノン株式会社 | Display device, image display method, and storage medium |
| JP4508570B2 (en) * | 2003-07-30 | 2010-07-21 | 三洋電機株式会社 | Remote control system and information processing apparatus |
| JP2005181404A (en) * | 2003-12-16 | 2005-07-07 | Nec Viewtechnology Ltd | Image projection controller capable of displaying multiple images |
| JP2010091723A (en) * | 2008-10-07 | 2010-04-22 | Nexcom Internatl Co Ltd | Video signal processing system and method therefor |
| JP5332765B2 (en) * | 2009-03-16 | 2013-11-06 | ブラザー工業株式会社 | Display control apparatus, display control processing method, and control program, |
| US9092115B2 (en) | 2009-09-23 | 2015-07-28 | Microsoft Technology Licensing, Llc | Computing system with visual clipboard |
-
1998
- 1998-04-17 JP JP12432798A patent/JP3599561B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11308592A (en) | 1999-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0950944B1 (en) | Display control apparatus and display system | |
| US7176908B2 (en) | Picture display device and picture display method | |
| US6922202B2 (en) | Image display apparatus and method, information processing apparatus using the image display apparatus, and storage medium | |
| CA2703704C (en) | Apparatus and system for managing multiple computers | |
| JP3546705B2 (en) | Method and apparatus for associating annotation data with application window, system, and storage medium storing program for controlling association of annotation data with application window | |
| US20160227149A1 (en) | On-screen display systems | |
| US20060230110A1 (en) | Apparatus and system for managing multiple computers | |
| JP4089106B2 (en) | Projection display device, projection display system | |
| EP1831779A2 (en) | Address based graphics protocol | |
| KR20190096811A (en) | Touch display device | |
| US6836787B1 (en) | Monitor device for displaying output display images of a plurality of computers | |
| JP3599561B2 (en) | Display control device and conference display system | |
| JP4401465B2 (en) | Display device and image display method | |
| JPH11305917A (en) | Image display system | |
| CN111273804A (en) | Touch forwarding device, touch display equipment and control method | |
| JP3548679B2 (en) | Multi-input monitor device | |
| JP2002055808A (en) | Multidisplay system | |
| EP1961218B1 (en) | Display apparatus and method and information processing apparatus and method for providing picture in picture function | |
| JP2000305542A (en) | Image display device and its method | |
| JP2001229006A (en) | Multi-input monitor and controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040914 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070924 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |