JP2004054783A - Display and projector adaptive to network - Google Patents

Display and projector adaptive to network Download PDF

Info

Publication number
JP2004054783A
JP2004054783A JP2002214406A JP2002214406A JP2004054783A JP 2004054783 A JP2004054783 A JP 2004054783A JP 2002214406 A JP2002214406 A JP 2002214406A JP 2002214406 A JP2002214406 A JP 2002214406A JP 2004054783 A JP2004054783 A JP 2004054783A
Authority
JP
Japan
Prior art keywords
display
screen
network
compatible
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002214406A
Other languages
Japanese (ja)
Other versions
JP4010199B2 (en
JP2004054783A5 (en
Inventor
Norihiro Yoshikuni
吉國 典宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2002214406A priority Critical patent/JP4010199B2/en
Priority to CN03150183.4A priority patent/CN1268122C/en
Priority to US10/623,518 priority patent/US20040130568A1/en
Priority to DE60316388T priority patent/DE60316388T2/en
Priority to EP03254570A priority patent/EP1385336B1/en
Publication of JP2004054783A publication Critical patent/JP2004054783A/en
Publication of JP2004054783A5 publication Critical patent/JP2004054783A5/ja
Application granted granted Critical
Publication of JP4010199B2 publication Critical patent/JP4010199B2/en
Priority to US12/588,714 priority patent/US8656302B2/en
Priority to US14/139,369 priority patent/US20140115528A1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide techniques which display screens, being displayed on a plurality of terminals interconnected through a network, on a display screen of a network adaptive display device as a multiple screens without increasing the load of the network adaptive display device and the network. <P>SOLUTION: Capture image data subjected to reduction conversion processing and color conversion processing are received from individual terminals having a screen capture function by a communication part 28. In a display control part 22, respective capture image data are composited into image data of one screen by screen split by an image composition part 42. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワーク上に接続された複数の端末機器の画面を表示装置の1つの画面上に多画面表示するための技術に関する。
【0002】
【従来の技術】
図25は、従来の表示システムの一例を示す構成図である。
図25において、ネットワーク210には、ネットワーク対応表示装置としての例えばプロジェクタ220、ノートパソコン230、デスクトップパソコン251、252、253、254がそれぞれ接続され、更に、プロジェクタ220には、プロジェクタ220に直接図画等を入力して投射させたり、投射されているデータへの線図の挿入等が可能なタブレット261、262、263、264が直接接続されている。なお、ノートパソコン230およびデスクトップパソコン251、252、253、254には画面キャプチャソフトウェアがインストールされている。
【0003】
このように構成された従来の表示システムでは、例えばノートパソコン230上の画面の内容を画面キャプチャソフトウェアによりキャプチャし、キャプチャされたそのキャプチャ画像データをネットワーク210を介してプロジェクタ220に送信することにより、ノートパソコン230上に表示されている画面をプロジェクタ220で投写表示することが可能となっている。そして、プロジェクタ付属のリモコンなどで切替操作を行うことにより、プロジェクタ220の投写画像を、ノートパソコン230の画面から別の例えばデスクトップパソコン251の画面の画像に切り換えることが可能となっている。
【0004】
【発明が解決しようとする課題】
上記従来の表示システムでは、上述したようにプロジェクタ220で表示することのできる画像は、プロジェクタ220に接続されているノートパソコン230、デスクトップパソコン251、252、253、254のうちの何れか1つのパソコンの画像となっている。このため、ノートパソコン230、デスクトップパソコン251、252、253、254の各表示画面の内容を見比べて議論したい場合など、1画面ずつ切り替えて行わなければならず、このようなことから、近年、複数パソコンの画面を1画面で同時に表示することのできる機能が強く要望されている。
【0005】
この要望に応えるべく、近年、開発が進められているが、現状では未だ存在せず、また、このような表示システムを実現するに際し、プロジェクタ(ネットワーク対応表示装置)で行うべき処理量が増加してネットワーク対応表示装置に多大な処理能力が要求されたり、ネットワークの負荷増大を招いたのでは問題があるという一面もある。
【0006】
本発明は、このような点に鑑みなされたもので、ネットワーク対応表示装置やネットワークの負荷増大を招くことなく、ネットワーク接続された複数の端末機器における表示画面を、ネットワーク対応表示装置の表示画面上に多画面表示することが可能な表示システム、ネットワーク対応表示装置、表示制御プログラム、ネットワーク対応プロジェクタ、ネットワーク対応プラズマディスプレイ、ネットワーク対応液晶モニタ、端末機器、制御プログラムを提供することを目的とする。
【0007】
【課題を解決するための手段】
(1)本発明に係る表示システムは、画面キャプチャ機能を有し、画面キャプチャ機能によって取得したキャプチャ画像データをネットワークを介して送信する複数の端末機器と、表示部を有し、端末機器から送信されたキャプチャ画像データをネットワークを介して受信し、画面分割により1画面の画像データに合成して表示部の表示画面に表示させる多画面表示機能を有するネットワーク対応表示装置とを備え、ネットワーク対応表示装置の表示画面への多画面表示のために必要な処理である、画面キャプチャ機能により取得されたキャプチャ画像データの画像サイズのサイズ変換処理を端末機器側で行うようにし、ネットワーク対応表示装置側では、そのサイズ変換後のキャプチャ画像データを端末機器から取得して合成を行うようにしたものである。
【0008】
本発明によれば、多画面表示機能を実現するに際して必要なサイズ変換処理を端末機器側で行うようにしているため、ネットワーク対応表示装置やネットワークの負荷増大を招くことなく、ネットワーク接続された複数の端末機器における表示画面をネットワーク対応表示装置上に多画面表示することが可能な表示システムを得ることができる。
【0009】
(2)本発明に係る表示システムは、上記(1)において、ネットワーク対応表示装置が、表示部の表示画面を、表示すべき端末機器台数分に分割し、その表示すべき端末機器に割り当てる分割画面の表示サイズを決定して該当端末機器に送信し、その表示サイズを受信した端末機器は、サイズ変換処理の際、キャプチャ画像データの画像サイズを、受信した表示サイズにサイズ変換するものである。
【0010】
本発明によれば、ネットワーク対応表示装置側で決定した表示サイズに基づいて端末機器側でサイズ変換処理を行うことができる。
【0011】
(3)本発明に係る表示システムは、上記(1)又は(2)において、端末機器が、画面キャプチャ機能によって取得したキャプチャ画像データを、サイズ変換処理に加え、更にネットワーク対応表示装置の表示部の表示色数への色変換処理を行ってからネットワーク対応表示装置に送信するものである。
【0012】
本発明によれば、端末機器側で更に色変換処理を行ってからネットワーク対応表示装置側にキャプチャ画像データを送信するため、更にネットワーク対応表示装置の負荷を軽減することが可能となる。
【0013】
(4)本発明に係る表示システムは、上記(3)において、ネットワーク対応表示装置が、端末機器に表示サイズを送信する際に、自身の表示部の表示色数も送信し、端末機器が、ネットワーク対応表示装置から受信した表示色数に基づいて色変換処理を行うものである。
【0014】
本発明によれば、ネットワーク対応表示装置側が指定した、ネットワーク対応表示装置の表示部の表示色数に基づいて端末機器側で色変換処理を行うことができる。
【0015】
(5)本発明に係る表示システムは、上記(1)〜(4)の何れかにおいて、ネットワーク対応表示装置がプロジェクタであるものである。
【0016】
本発明によれば、ネットワーク対応表示装置としてプロジェクタを使用できる。
【0017】
(6)本発明に係る表示システムは、上記(1)〜(4)の何れかにおいて、ネットワーク対応表示装置がプラズマディスプレイであるものである。
【0018】
本発明によれば、ネットワーク対応表示装置としてプラズマディスプレイを使用できる。
【0019】
(7)本発明に係る表示システムは、上記(1)〜(4)の何れかにおいて、ネットワーク対応表示装置が液晶モニタであるものである。
【0020】
本発明によれば、ネットワーク対応表示装置として液晶モニタを使用できる。
【0021】
(8)本発明に係る表示システムは、上記(1)〜(4)の何れかにおいて、ネットワーク対応表示装置が有機ELディスプレイであるものである。
【0022】
本発明によれば、ネットワーク対応表示装置として有機ELディスプレイを使用できる。
【0023】
(9)本発明に係る表示システムは、上記(1)〜(8)の何れかにおいて、端末機器がパソコンまたはPDAであるものである。
【0024】
本発明によれば、端末機器にパソコンまたはPDAを使用できる。
【0025】
(10)本発明に係るネットワーク対応表示装置は、画面キャプチャ機能をそれぞれ備えた複数の端末機器とネットワークを介して接続されるネットワーク対応表示装置であって、表示部と、各端末機器との双方向通信が可能な通信部と、表示制御部とを備え、各端末機器それぞれで画面キャプチャ機能により取得され所定の画像サイズにサイズ変換されたキャプチャ画像データを通信部で受信し、表示制御部は、通信部で受信した各キャプチャ画像データを画面分割により1画面の画像データに合成して表示部の表示画面に表示させる多画面表示機能を有するものである。
【0026】
本発明によれば、サイズ変換済のキャプチャ画像データを端末機器側から取得して合成表示するので、多画面表示のための処理の負荷を軽減することが可能なネットワーク対応表示装置を得ることができる。
【0027】
(11)本発明に係るネットワーク対応表示装置は、上記(10)において、表示制御部が、現在の表示画面に新たな画面を割り込ませて表示させる割り込み機能を有するものである。
【0028】
本発明によれば、割り込み機能を有するネットワーク対応表示装置を得ることができる。
【0029】
(12)本発明に係るネットワーク対応表示装置は、上記(10)又は(11)において、ネットワーク対応表示装置に接続されている複数の端末機器の中から、表示画面にキャプチャ画像データを表示させる端末機器をユーザが任意に選択できるようにしたものである。
【0030】
本発明によれば、複数の端末機器の中から、キャプチャ画像データをネットワーク対応表示装置上に表示させる端末機器をユーザが選択することが可能なネットワーク対応表示装置を得ることができる。
【0031】
(13)本発明に係るネットワーク対応表示装置は、上記(10)〜(12)の何れかにおいて、表示画面にキャプチャ画像データを表示させる端末機器の選択を、通信部の双方向通信によってネットワーク対応表示装置側からも、端末機器側からも可能としたものである。
【0032】
本発明によれば、ネットワーク対応表示装置上にキャプチャ画像データを表示させる端末機器をネットワーク対応表示装置側からも、端末機器側からも指定することが可能なネットワーク対応表示装置を得ることができる。
【0033】
(14)本発明に係るネットワーク対応表示装置は、上記(10)〜(13)の何れかにおいて、表示制御部が、表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を拡大表示させる拡大表示機能を有するものである。
【0034】
本発明によれば、所定の分割画面を拡大表示させる拡大表示機能を有するネットワーク対応表示装置を得ることができる。
【0035】
(15)本発明に係るネットワーク対応表示装置は、上記(10)〜(13)の何れかにおいて、表示制御部が、表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を表示画面全体の表示に切り替える単画面切替機能を有するものである。
【0036】
本発明によれば、所定の分割画面を表示画面全体の表示に切り替える単画面切替機能を有するネットワーク対応表示装置を得ることができる。
【0037】
(16)本発明に係るネットワーク対応表示装置は、上記(10)〜(13)の何れかにおいて、表示制御部が、表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を消去させる消去機能を有するものである。
【0038】
本発明によれば、所定の分割画面を消去させる消去機能を有するネットワーク対応表示装置を得ることができる。
【0039】
(17)本発明に係るネットワーク対応表示装置は、上記(14)〜(16)の何れかにおいて、所定の分割画面が、ユーザ操作に基づいて選択されたものである。
【0040】
本発明によれば、拡大表示させる分割画面、単画面表示させる分割画面、消去させる分割画面をユーザが選択することが可能なネットワーク対応表示装置を得ることができる。
【0041】
(18)本発明に係るネットワーク対応表示装置は、上記(17)において、所定の分割画面が、通信部の双方向通信によってネットワーク対応表示装置側からも、端末機器側からも選択可能としたものである。
【0042】
本発明によれば、拡大表示させる分割画面、単画面表示させる分割画面、消去させる分割画面をネットワーク対応表示装置側からも、端末機器側からも指定することが可能なネットワーク対応表示装置を得ることができる。
【0043】
(19)本発明に係るネットワーク対応表示装置は、上記(10)〜(18)の何れかにおいて、端末機器から受信したキャプチャ画像データが、端末機器の表示画面の全部または一部範囲を指定してキャプチャして得られた画像データであるものである。
【0044】
本発明によれば、表示部の表示画面上に表示するキャプチャ画像データは、全画面キャプチャにより得られたキャプチャ画像データ、部分キャプチャにより得られたキャプチャ画像データのどちらも表示することが可能なネットワーク対応表示装置を得ることができる。
【0045】
(20)本発明に係るネットワーク対応表示装置は、上記(10)〜(18)の何れかにおいて、端末機器から取得するキャプチャデータが、端末機器の表示画面上の変化を検出し、画面上の変化分のみをキャプチャして得られた画像データであるものである。
【0046】
本発明によれば、端末機器の表示画面上の変化部分のみをキャプチャすることによりネットワークへの負荷が軽減され、これを既存のキャプチャデータと合成した画像データを表示することが可能なネットワーク対応表示装置を得ることができる。
【0047】
(21)本発明に係るネットワーク対応表示装置は、上記(10)〜(20)の何れかにおいて、表示部の表示画面を、表示すべき端末機器台数分に分割し、その表示すべき端末機器に割り当てる分割画面の表示サイズを決定する表示サイズ決定部と、表示サイズ決定部で決定された表示サイズを通信部により該当の各端末機器にそれぞれ送信する制御部とを備え、制御部は、表示サイズを送信した各端末機器から、その端末機器に割り当てた分割画面の表示サイズにサイズ変換されたキャプチャ画像データを通信部で受信し、受信した各キャプチャ画像データを1画面の画像データに合成して表示部に表示するように表示制御部を制御するものである。
【0048】
本発明によれば、端末機器側でサイズ変換処理するときの表示サイズを、表示サイズ決定部で決定した表示サイズとすることができる。
【0049】
(22)本発明に係るネットワーク対応表示装置は、上記(21)において、表示すべき端末機器に割り当てる分割画面のアスペクト比を、その端末機器の表示部の表示画面のアスペクト比と同じとしたものである。
【0050】
本発明によれば、違和感のない表示画面を構成することが可能なネットワーク対応表示装置を得ることができる。
【0051】
(23)本発明に係るネットワーク対応表示装置は、上記(10)〜(22)の何れかにおいて、制御部が、端末機器に表示サイズを送信する際に、表示部の表示色数も送信し、表示サイズおよび表示色数を送信した端末機器から、その端末機器に割り当てた分割画面の表示サイズにサイズ変換され、且つ表示色数に変換されたキャプチャ画像データを通信部で受信し、受信した各キャプチャ画像データを1画面の画像データに合成して表示部に表示するように表示制御部を制御するものである。
【0052】
本発明によれば、端末機器側で縮少変換に加えて更に色変換も施されたキャプチャ画像データを受信して合成表示するので、多画面表示のための処理の負荷を更に軽減することが可能なネットワーク対応表示装置を得ることができる。
【0053】
(24)本発明に係るネットワーク対応表示装置は、上記(10)〜(23)の何れかにおいて、通信部の通信プロトコルがTCP/IPであるものである。
【0054】
本発明によれば、通信部の通信プロトコルとして、一般的なTCP/IPを利用できる。
【0055】
(25)本発明に係るネットワーク対応表示装置は、上記(10)〜(24)の何れかにおいて、ネットワークが、LAN、無線LAN、近距離無線LANのうちの何れかであるものである。
【0056】
本発明によれば、ネットワークとして、LAN、無線LAN、近距離無線LANを利用できる。
【0057】
(26)本発明に係るネットワーク対応プロジェクタは、上記(10)〜(25)の何れかのネットワーク対応表示装置を搭載したものである。
【0058】
本発明によれば、上記効果を備えたプロジェクタを得ることが可能となる。
【0059】
(27)本発明に係るネットワーク対応プロジェクタは、上記(26)において、表示部が液晶ライトバルブ、LCOSライトバルブ、DMDの何れかであるものである。
【0060】
本発明によれば、表示部に液晶ライトバルブ、LCOSライトバルブ、DMDを使用したプロジェクタにおいて上記効果を奏することが可能となる。
【0061】
(28)本発明に係るネットワーク対応プラズマディスプレイは、上記(10)〜(25)の何れかのネットワーク対応表示装置を搭載し、表示部をプラズマディスプレイパネルとしたものである。
【0062】
本発明によれば、上記効果を備えたプラズマディスプレイを得ることが可能となる。
【0063】
(29)本発明に係るネットワーク対応液晶モニタは、上記(10)〜(25)の何れかのネットワーク対応表示装置を搭載し、表示部を液晶パネルとしたものである。
【0064】
本発明によれば、上記効果を備えた液晶モニタを得ることが可能となる。
【0065】
(30)本発明に係るネットワーク対応有機ELディスプレイは、上記(10)〜(25)の何れかのネットワーク対応表示装置を搭載し、表示部を有機ELパネルとしたものである。
【0066】
本発明によれば、上記効果を備えたネットワーク対応有機ELディスプレイを得ることが可能となる。
【0067】
(31)本発明に係る表示制御プログラムは、上記(10)〜(25)の何れかのネットワーク表示装置の表示制御部をCPUにより実現させるものである。
【0068】
本発明によれば、上記の効果を表示装置に提供することのできる表示制御プログラムを得ることが可能となる。
【0069】
(32)本発明に係る端末機器は、上記(10)〜(25)の何れかのネットワーク対応表示装置にネットワークを介して接続される端末機器であって、表示部と、ネットワーク対応表示装置との双方向通信が可能な通信部と、表示部の表示画面に表示された内容をキャプチャする画面キャプチャ処理部と、画面キャプチャ処理部でキャプチャしたキャプチャ画像データを所定の画像サイズにサイズ変換する画像変換部と、画像変換部でサイズ変換されたキャプチャ画像データを通信部からネットワーク対応表示装置に送信させる制御部とを備え、ネットワーク対応表示装置の表示画面に表示される多画面のうちの1分割画面に表示されるキャプチャ画像データを生成するものである。
【0070】
本発明によれば、ネットワーク対応表示装置の表示画面に表示される多画面のうちの1分割画面に表示されるキャプチャ画像データを生成するに際し、多画面表示に必要な処理の一部、具体的にはサイズ変換処理を担うことで、ネットワーク対応表示装置の負荷低減に貢献できる端末機器を得ることが可能となる。
【0071】
(33)本発明に係る端末機器は、上記(32)において、ネットワーク対応表示装置の表示画面が、表示すべき端末機器台数分に分割され、その表示すべき端末機器に割り当てられる分割画面の表示サイズが決められており、画像変換部は、画面キャプチャ処理部で取得したキャプチャ画像データを、自端末機器に割り当てられた表示サイズにサイズ変換するものである。
【0072】
本発明によれば、ネットワーク対応表示装置側で決定された表示サイズに基づいてサイズ変換処理を行うことができる。
【0073】
(34)本発明に係る端末機器は、上記(32)又は(33)において、画像変換部が、サイズ変換に加えて、更に、ネットワーク対応表示装置の表示部の表示色数に色変換を行い、制御部は、サイズ変換処理および色変換処理を施したキャプチャ画像データを通信部からネットワーク対応表示装置に送信するものである。
【0074】
本発明によれば、サイズ変換処理に加えて更に色変換処理も行うことで、ネットワーク対応表示装置の更なる負荷軽減に貢献できる。
【0075】
(35)本発明に係る制御プログラムは、上記(32)〜(34)の何れかの端末機器の各処理部をCPUにより実現させるものである。
【0076】
本発明によれば、上記の効果を端末機器に提供することのできる制御プログラムを得ることが可能となる。
【0077】
【発明の実施の形態】
図1は本発明の一実施の形態のネットワーク対応表示装置を備えた表示システムのネットワーク構成を示す図である。
この表示システム100は、複数の端末機器1(図1では1a,1b,1c,1dの4台のみを図示)と、本発明の主要機能である多画面表示機能を有するネットワーク対応表示装置2(図にはプロジェクタの例を図示)(以下、略して表示装置2という)とを備え、複数の端末機器1と表示装置2とがネットワーク3を介してTCP/IP等の通信プロトコルを用いて双方向通信可能に接続されている。各端末機器1にはそれぞれ固有の名前(以下、端末名という)が予め与えられている。なお、ネットワーク3には、LAN、無線LAN、近距離無線LANのBluetooth(Bluetoodh SIG Inc., U.S.Aの登録商標)などの各種ネットワークが利用できる。
【0078】
この表示システム100は、複数の端末機器1でそれぞれ表示されている画面を、表示装置2の表示画面上に画面分割により同時に表示させることを可能とするシステムであり、例えば会議やプレゼンテーションなどの際に用いて有効なシステムである。以下、端末機器1、表示装置2それぞれの構成について詳細に説明する。
【0079】
図2は端末機器の構成を示すブロック図である。
端末機器1は、例えばパソコンやPDA(Personal Digital Assistant)などで構成されるもので、プレゼンテーション用の資料などの各種情報を表示するための表示部11、該表示部11に表示される内容を記憶するビデオメモリ12、例えばタブレット、マウス、操作キーで構成される入力部13、該入力部13からの操作入力を検出して入力情報を後述の制御部16に出力するユーザインタフェース部14、本発明に係る処理を行なうためのアプリケーション(制御プログラム)や各種データを格納する記憶部15、制御部(CPU)16、通信部17を備えている。
【0080】
記憶部15に格納されている制御プログラムは、表示装置2での多画面機能を実現するための端末機器側制御機能と、表示部11の画面の全部又は一部をキャプチャすることのできる画面キャプチャ機能と、画面キャプチャ機能によって取得されたキャプチャ画像データを表示装置2の表示部21の形式に変換する画像変換機能と、表示部11の画面上の変化を検出する機能を実現するためのもので、該制御プログラムとCPUとによって制御部16、画面キャプチャ処理部18、画像変換部19、画面比較処理部20が構成されている。
【0081】
制御部16は、接続要求、表示要求、拡大表示要求、単画面切替要求、消去要求などの各種要求をユーザインタフェース部14または通信部17を介して受け取り、その要求内容に応じた処理を行うとともに、画面キャプチャ処理部18で取得されたキャプチャ画像データを画像変換部19で変換させ、変換後のキャプチャ画像データを通信部17から表示装置2に送信させる処理などを行う。
【0082】
通信部17は、表示装置2との双方向通信を行う部分で、ここでは通信プロトコルがTCP/IPで、このTCP/IP接続に必要なARP,ICMP,IP,TCP,UDP等のプロトコル処理機能を有するものである。なお、この機能はOSによって実現される。
【0083】
なお、画像変換部19で行われる変換処理は、以下に詳述するが表示装置2で多画面表示を行うに際し必要な処理であり、具体的には自端末機器1に割り当てられた分割画面の表示サイズへのサイズ変換処理と、表示装置2の表示部21の表示色数への色変換処理である。このように、端末機器1では、画面キャプチャ処理部18で取得されたキャプチャ画像データに対し、表示装置2での多画面表示に必要な変換処理を行ってから表示装置2に送信するように構成される。
【0084】
図3は表示装置の構成を示すブロック図である。
表示装置2は、表示部21、本発明の多画面表示機能、拡大表示機能、単画面切替機能、割り込み機能および消去機能を有し、表示部21に表示させる表示画面の制御を行う表示制御部22、例えばリモコン、マウス、操作キーで構成される入力部23、入力部23からの操作入力を検出して入力内容を後述の制御部27に出力するユーザインタフェース部24、本発明の多画面表示機能を提供する表示制御プログラムを格納するプログラム記憶部25、この表示制御プログラムの実行に際して必要となる各種ファイルや各種データが記憶されるデータ記憶部26、表示装置2全体の動作制御を行う制御部(CPU)27、端末機器1との双方向通信を行う通信部28を備えている。
【0085】
通信部28は、端末機器1との双方向通信を行う部分で、ここでは通信プロトコルがTCP/IPで、このTCP/IP接続に必要なARPICMP,IP,TCP,UDP等のプロトコル処理機能を有するものである。
【0086】
なお、この表示装置2は、具体的には、図1に例示したプロジェクタの他に、例えばプラズマディスプレイ、液晶モニタなどで構成される。図3には、本発明の趣旨と関連のある主要部のみを図示し、プロジェクタ、プラズマディスプレイ、液晶モニタにおいてそれぞれ特有の他の機構については本発明の趣旨とは関連性がないので省略しているが、既存のプロジェクタ、プラズマディスプレイ、液晶モニタにそれぞれ図3に示す各処理部を備えることにより、ネットワーク対応プロジェクタ、ネットワーク対応プラズマディスプレイ、ネットワーク対応液晶モニタを実現することができる。また、表示部21はこれら表示装置2の種類によって異なる表示要素で、具体的には、プロジェクタであれば液晶ライトバルブ、LCOSライトバルブ、DMD(Digital Micromirror Device)(テキサスインスツルメンツ社の商標)となり、この場合、表示部21の表示画面は投射面となる。また、例えばプラズマディスプレイであれば、表示部21はプラズマディスプレイパネルとなり、液晶モニタであれば液晶パネルとなり、有機ELディスプレイであれば、有機ELパネルとなる。
【0087】
次に、図4を参照してデータ記憶部に格納されている各種ファイル等について説明する。
データ記憶部26には、表示部仕様管理ファイル30、接続許可管理ファイル31、表示許可管理ファイル32、接続状況管理ファイル33、表示状況管理ファイル34、仮・分割エリア設定ファイル35、分割エリア情報ファイル36が格納され、また、各端末機器1から送信されてきたキャプチャ画像データを記憶するためのキャプチャ画像データ記憶部37を備えている。
【0088】
表示部仕様管理ファイル30は、表示部21の表示画面の横・縦のピクセル数を示す画面サイズと、表示部21の表示色数を示す色数情報とが登録されたファイルである。なお、本例では、画面サイズが1280×1024(SXGA)、色数が1677万7216色であるとする。
【0089】
接続許可管理ファイル31は、接続が許可されている端末機器1の端末名が登録されているファイル、表示許可管理ファイル32は、画面表示が許可されている端末機器1の端末名が登録されているファイルである。
【0090】
接続状況管理ファイル33は、現在、表示装置2に接続されている端末機器1の端末名が登録されるファイルである。
【0091】
表示状況管理ファイル34は、現在の表示部21の表示状況を管理するファイルで、現在の表示部21の表示画面に表示されているキャプチャ画像データ発信元の端末機器1に関する端末機器情報をテーブル形式で管理する。この表示状況管理ファイル34は、表示部21の表示画面が変更される毎に更新され、例えば、4分割画面から3分割画面に変更された場合、消去された分割画面に対応する端末機器1の端末機器情報は当該テーブルから消去され、逆に4分割画面から5分割画面に変更された場合、その追加された画面に対応する端末機器1の端末情報が新たに登録されるようになっている。
【0092】
図5は、表示状況管理ファイルで管理される端末機器情報の各項目を示す図である。
表示状況管理ファイル34は、「端末名」、「IPアドレス」、「画面サイズ」、「色数情報」、「優先度」、「キャプチャ範囲管理フラグ」、「差分キャプチャ管理フラグ」、「キャプチャ画像サイズ」、「差分キャプチャ画像サイズ1」、「差分キャプチャ画像サイズ2」、「差分キャプチャ原点1」、「差分キャプチャ原点2」の項目で構成されている。
【0093】
「端末名」は、端末機器1に予め与えられた名前、「画面サイズ」は表示部11の表示画面の横・縦のピクセル数で、例えば、解像度がSXGAの端末機器であれば1280×1024、XGAであれば1024×768である。「色数情報」は、表示部11の表示色数で、例えば256色、1677万7216色などである。以上の「端末名」、「IPアドレス」、「画面サイズ」、「色数情報」は、この表示状況管理ファイル34への登録時には必ず格納されるデータであり、その他の項目は、ユーザ操作等に応じて適宜設定(更新)されるデータである。
【0094】
「優先度」は、「端末名」で特定される端末機器1に割り当てる分割画面の表示サイズの大きさを左右するもので、「最高」、「高」、「なし」などの値をとり、以下に詳述するが、本例では優先度が高いと割り当てられる表示サイズが大きくなるように構成されている。「キャプチャ範囲管理フラグ」は「端末名」で特定される端末機器1での画面キャプチャが全画面キャプチャか部分キャプチャかを管理するフラグで、通常は全画面キャプチャを示す「0」を示し、部分キャプチャである場合に「1」に設定される。
【0095】
「差分キャプチャ管理フラグ」は「端末名」で特定される端末機器1での画面キャプチャが、通常のキャプチャか画面上の変化分のみのキャプチャ(以後、差分キャプチャと呼ぶ)かを管理するフラグで、通常キャプチャである場合は「0」を示し、差分キャプチャである場合は「1」に設定される。
【0096】
「キャプチャ画像サイズ」は「キャプチャ範囲管理フラグ」が「1」の場合すなわち部分キャプチャの場合のキャプチャ画像データのサイズ(縦横のピクセル数)である。
【0097】
「差分キャプチャ画像サイズ1」と「差分キャプチャ画像サイズ2」は「差分キャプチャ管理フラグ」が「1」の場合の、差分キャプチャにおいて取得される2つの異なる範囲のエリアのサイズである。「差分キャプチャ原点1」と「差分キャプチャ原点2」は、差分キャプチャにおいて取得される2つの異なる範囲のエリアの原点であり、「キャプチャ画像サイズ」で規定されるエリア内での絶対座標で示す。
【0098】
仮・分割エリア設定ファイル35は、各端末機器1に割り当てる仮の分割エリアを特定するための情報が予め設定されているファイルで、端末台数毎に準備された複数のテーブルから構成される。このテーブルは後述の図11(a)、図16(a)に示すような構成となっており、その詳細については以下の該当箇所で説明することにする。なお、分割エリア情報ファイル36についても以下で詳述することにする。
【0099】
以上の各ファイル30,31,32,33,34,35,36は、入力部23で所定の操作を行うと、ファイルの内容が表示部21に表示され、表示画面上で確認、データ変更が自由に行えるようになっている。
【0100】
ここで、図4の説明に戻る。
表示制御部22は、表示サイズ決定部としての分割エリア情報作成部41、画像合成部42および画像処理部43とを備え、制御部27でユーザインタフェース部24あるいは通信部28を介して受け取ったユーザからの接続要求、表示要求、割り込み表示要求、消去要求などの各種要求内容に応じて、必要な処理を各処理部41,42,43にデータ記憶部26内の必要ファイルを適宜アクセスさせながら実施させ、表示部21の表示制御を行う。表示制御部22は、プログラム記憶部25に格納された多画面機能を提供する表示制御プログラムと制御部(CPU)27とによって実現される。
【0101】
分割エリア情報作成部41は、表示状況管理ファイル34に基づいて表示対象の端末機器1の台数を把握するとともに、表示対象の各端末機器1それぞれの優先度および画面サイズを取得する。そして、これら表示対象の端末機器1の台数、表示対象の端末機器1それぞれの優先度および画面サイズに応じて表示部21の表示画面サイズの分割を行い、表示対象の各端末機器1それぞれに割り当てる表示部21上の分割画面の表示サイズ(以下、分割エリアサイズという)、およびその分割画面の表示位置を特定する情報(表示画面に対する分割画面の左上の絶対座標で、以下、原点という)とを含む分割エリア情報を作成し、分割エリア情報ファイル36としてデータ記憶部26に格納する動作を行う。
【0102】
分割エリア情報作成部41で作成された分割エリア情報ファイル36において、表示対象の各端末機器1それぞれに割り当てた分割画面の分割エリアサイズは、表示部仕様管理ファイル30に格納された表示部21の表示色数と共に、制御部27により通信部28から、表示対象の各端末機器1それぞれに送信され、これを受信した各端末機器1から返信されてくるキャプチャ画像データすなわち送信した分割エリアサイズおよび表示色に基づいて前述のサイズ変換処理および色変換処理が施されたキャプチャ画像データがキャプチャ画像データ記憶部37に書き込まれる。なお、いま分割エリアサイズと呼ばれている情報は、以下で真の分割エリアサイズと呼ばれているものと同一である。
【0103】
画像合成部42は、キャプチャ画像データ記憶部37に格納された各端末機器1からのサイズ変換処理および色変換処理済のキャプチャ画像データを、分割エリア情報作成部41で作成された分割エリア情報ファイル36に基づいて合成し、合成画像データを生成する。
【0104】
画像処理部43は、画像合成部42で生成された合成画像データや、OSD(オン・スクリーン・ディスプレイ)機能等を用いて参照されたデータ記憶部26の表示状況管理ファイル34などの各種画像データに対し走査周波数変換処理を行って表示画像データを生成し、表示部21に出力する部分で、例えばスキャンコンバータで構成される。
【0105】
以下、本実施の形態の動作を説明する。図6、図7は本実施の形態の動作を示すフロチャートである。
まず、表示装置2側では、多画面表示を行うための準備段階として入力部23から所定の操作入力が行われ、制御部27はその操作入力をユーザインタフェース部24を介して検知すると、通信部28およびネットワーク3を介して端末名およびIPアドレスの返信要求を表示装置2のIPアドレスと共に一斉同報する。この一斉同報された端末名およびIPアドレスの返信要求は、ネットワーク3上の各端末機器1に受信され、各端末機器1のそれぞれは、自身の端末名およびIPアドレスを表示装置2に返信する。
【0106】
表示装置2は、通信部28を介して各端末機器1からの返信(端末名およびIPアドレス)を受信し、接続許可端末であるか否かを判定する。具体的には、返信された端末名が、接続許可管理ファイル31に登録されてる端末名と一致するかをチェックし、一致すれば接続許可端末と判定する。
【0107】
接続許可端末と判定した端末機器1からの端末名およびIPアドレスを順次、接続状況管理ファイル33に登録する。この接続状況管理ファイル33により、表示装置2側で、今現在、何台の端末機器1が接続されているのかを把握することができる。また、端末名に基づいて接続許可・不許可を判断するようにしているので、例えばDHCPによって端末機器1にIPアドレスが与えられ、その与えられるIPアドレスが接続の度に異なる場合などにおいても、対応できるようになっている。
【0108】
以上の準備作業が終了したところで、表示装置2は、各種要求待ちの状態で待機する。いま、各会議出席者が操作する各端末機器1のうち、次の図に示すように端末機器1a〜1dの4台の表示画面を表示装置2の表示画面50に多画面表示させたい場合を考える。ここでそれぞれの端末機器1の解像度を、端末機器1aはSXGA(1280×1024ピクセル)、端末機器1bはSVGA(800×600ピクセル)、端末機器1cはXGA(1024×768ピクセル)、端末機器1dは480×640ピクセルとした例として説明していく。
【0109】
<多画面表示機能>
図8は端末機器1a〜1dの4台の表示画面を表示装置の表示画面に多画面表示させた状態を示す模式図である。
まず、入力部23の例えばリモコンを操作して端末機器1a〜1dの多画面表示の意図を入力する。すると、この入力情報、すなわち端末機器1a〜1dそれぞれの識別情報を含む表示要求がユーザインタフェース部24を介して制御部27に通知される(S1)。なお、この表示要求の際に、優先度や、部分キャプチャや、差分キャプチャの指定も可能であるが、ここでは何れの指定もしないこととする。
【0110】
表示要求を受信した表示装置2の制御部27は、表示対象の各端末機器1a〜1dそれぞれについて以下のステップS3〜ステップS9の処理を行う(S2)。すなわち、接続許可端末であるか、表示許可端末であるかを、表示要求に含まれる識別情報により特定される端末名に基づいて接続許可管理ファイル31、表示許可管理ファイル32を参照してそれぞれ判定し(S3)、接続・表示共に許可した場合には(S4)、その端末機器に通信部28を介して端末機器情報(端末名、IPアドレス、画面サイズ、色数情報)を要求する(S5)。そして、この要求に応答して返信されてきた端末機器情報を受信し(S6)、表示状況管理ファイル34に登録する(S7)。なお、この表示要求の際に、優先度や、部分キャプチャの指定、差分キャプチャの指定が行われていた場合には、このステップS7の登録の際に、「優先度」、「キャプチャ範囲管理フラグ」、「差分キャプチャ管理フラグ」も同様に登録される。
【0111】
そして、接続・表示共に許可した端末機器1に対し、表示状況管理ファイル34とともに画面キャプチャ開始指示を送信する(S8)。なお、接続・表示を許可しない端末機器1に対しては、その旨を通信部28を介して通知する(S9)。
【0112】
ここでは、端末機器1a〜1dの全てが接続・表示共に許可する端末機器1とすると、ステップS2〜ステップS9の処理により、各端末機器1a〜1dからの端末機器情報が表示状況管理ファイル34に登録されるとともに、各端末機器1a〜1dに対し、表示状況管理ファイル34とともに画面キャプチャ開始指示が通信部28を介して送信されることになる。
【0113】
以上の処理が終了すると、制御部27は、表示制御部22の分割エリア情報作成部41にエリア分割要求を通知する。これにより表示装置2は分割エリア情報作成処理に入る(S10)。画面キャプチャ開始指示を受け取った端末機器1側の動作は後述することにして、以下、エリア分割要求を受信した分割エリア情報作成部41での分割エリア情報作成処理について説明する。
【0114】
図9は、分割エリア情報作成処理の流れを示すフロチャートである。ここでは、表示状況管理ファイル34が図10のように構成されているものとし、以下に分割エリア情報作成部41の動作を具体的に説明する。なお、図10において端末名がPC−1,PC−2,PC−3,PDA−1がそれぞれ端末機器1a,1b,1c,1dに対応しているものとする。
【0115】
分割エリア情報作成部41は、制御部27からエリア分割要求を受信すると、表示状況管理ファイル34を参照して表示対象の端末機器1の台数(ここでは4台)を把握するとともに、各端末機器1a,1b,1c,1dそれぞれの優先度を取得する(S21)。そして、これら端末機器1の台数と、各端末機器1a〜1dそれぞれの優先度とに基づいて仮・分割エリア設定ファイル35を参照し、各端末機器1a,1b,1c,1dそれぞれに割り当てるべき仮の分割エリアの仮のサイズと、仮の原点とを取得する(S22)。なお、「仮」とした理由については以下の説明で明らかになるが、ここで割り当てられる分割エリアは、後のステップにおいてキャプチャ画像データをサイズ変換する際に変更されることになるからである。
【0116】
ここでは、図10に示すように表示対象の端末機器台数が4台で、その全てに優先度の設定がないため、この場合に仮・分割エリア設定ファイル35で参照される該当の仮・分割エリア設定テーブルは例えば図11(a)のように構成されている。なお、本例では表示部21の表示画面の画面サイズを1280×1024(SXGA)としており、図11(a)の仮・分割エリア設定テーブルはこの場合の一例である。また、図11(b)は(a)の仮・分割エリア設定テーブルに基づく仮の分割エリアを図示したものである。
【0117】
ここで、図11(a)の優先順位とは、表示状況管理ファイル34の「優先度」の項目に基づいて順位付けが決定されるもので、優先度の高いものから順に1台目、2台目、3台目、4台目とされる。そして、そのそれぞれには、その下のテーブルに示される「仮サイズ」、「仮原点」で特定される領域が仮の分割エリアとして割り当てられる。ここでは表示対象の全端末機器1a,1b,1c,1dの全てにおいて「なし」であるため(図10参照)、実質上、優先順位は無い。このように優先度の設定が無い場合の割り当て順は予め決められた所定の順序としてもよいし、表示状況管理ファイル34への登録順とするなど任意であるが、本例では、各端末機器1a,1b,1c,1d(以下、適宜、端末名のPC−1,PC−2,PC−3,PDA−1と呼ぶことにする)に、それぞれ順に仮の分割エリア50A,50B,50C,50Dが割り当てられるとして以下に説明を続けることにする。
【0118】
分割エリア情報作成部41は、さらに表示状況管理ファイル34(図10参照)から各PC−1,PC−2,PC−3,PDA−1それぞれの画面サイズを取得し、これら取得した情報に基づいて、それぞれに割り当てる真の分割エリアサイズと、真の原点を決定する(S23)。
【0119】
図12は、真の分割エリアの説明図である。なお、図12において51A,51B,51C,51Dは、それぞれPC−1,PC−2,PC−3,PDA−1にそれぞれ割り当てられた真の分割エリアを示している。真の分割エリアとは、仮の分割エリア内に、その仮の分割エリア内に表示させるべきキャプチャ画像データを、アスペクト比を維持したままサイズ変換し、なおかつその変換後の画像を、仮の分割エリア50A,50B,50C,50Dそれぞれの中心部に表示させるための表示領域のことである。ここで、この真の分割エリアを特定するための真の分割エリアサイズについて具体的にPC−2の例で説明すると、PC−2は画面サイズが1024×768ピクセル(図10参照)であり、このサイズの画像データを、当該PC−2に割り当てられた640×512ピクセルの仮の分割エリア50B内に表示させるために、元の画像のアスペクト比(すなわち表示部11の表示画面のアスペクト比に相当)を維持したまま縮小したときのサイズである。また、真の原点とは、図12に示すように、そのサイズの分割画面を仮の分割エリア50Bの中心部に位置させるためのもので、分割画面の左上のピクセルの座標(表示画面全体に対する絶対座標)である。
【0120】
分割エリア情報作成部41は、以上のような真の分割エリアサイズと真の原点とをPC−1,PC−2,PC−3,PDA−1それぞれについて決定し、端末名、分割エリア、原点の項目からなる図13に示すような内容の分割エリア情報を作成して分割エリア情報ファイル36としてデータ記憶部26に記憶させる(S24)。これにより分割エリア情報作成処理が終了する。なお、この分割エリア情報ファイル36には作成日時(2002年5月21日 17:00:32)が付されるようになっている。
【0121】
ここで、図6に戻る。
表示装置2の制御部27は、分割エリア情報作成部41での分割エリア情報作成処理(S10)が終了すると、表示対象の各端末機器1a,1b,1c,1dに対し、ステップS12〜ステップS14の処理を行う(S11)。すなわち、キャプチャ画像データ送信要求を送信する(S12)。このキャプチャ画像データ送信要求には、分割エリア情報ファイル36に格納されている、当該要求の送信先の端末機器1に割り当てた真の分割エリアサイズと、表示部仕様管理ファイル30に格納されている自表示装置2の表示部21の表示色数とが含めて送信される。すなわち、例えば端末機器1a(PC−1)に対しては、真の分割エリアサイズ640×512(図13参照)と、表示装置2の表示色数1677万7216色とを含むキャプチャ画像データ送信要求が送信されることになる。
【0122】
ところで、端末機器1側ではステップS8で表示装置2から送信されたキャプチャ開始要求を受信後、画面キャプチャを開始しており、端末機器1で行われた画面キャプチャが全画面キャプチャであれば、このステップS12のキャプチャ画像データ送信要求に対し、後述するように該キャプチャ画像データ送信要求に含まれる真の分割エリアサイズおよび表示色数に基づきサイズ変換処理・色数変換処理が施されたキャプチャ画像データが表示装置2に返信され、部分キャプチャであれば部分キャプチャ画像の画像サイズが返信されてくる。
【0123】
表示装置2は、端末機器1からの返信を受信し(S13)、返信内容がキャプチャ画像データであるときは、端末機器1で行われた画面キャプチャが全画面キャプチャであると判断し(S14)、その受信したキャプチャ画像データをキャプチャ画像データ記憶部37に書き込む(S18)。
【0124】
一方、ステップS13で受信した端末機器1からの返信が画像サイズであるときは当該端末機器1で行われた画面キャプチャが部分キャプチャであると判断し(S14)、受信した画像サイズで表示状況管理ファイル34の「キャプチャ画像サイズ」を更新するとともに、受信した画像サイズに基づいて分割エリア情報(真の分割エリアサイズ及び真の原点)を上記と同様の処理により再作成して(S15)分割エリア情報ファイル36の該当箇所を更新し、再作成した真の分割エリアサイズと表示部21の表示色数とを含む再・キャプチャ画像データ送信要求を送信する(S16)。この再・キャプチャ画像データ送信要求は後述するように端末機器1に受信され、再・キャプチャ画像データ送信要求に含まれる真の分割エリアサイズおよび表示装置2の表示色数に基づきサイズ変換処理・色数変換処理が施されたキャプチャ画像データが表示装置2に返信され、表示装置2は端末機器1からの返信を受信し(S17)、キャプチャ画像データ記憶部37に書き込む(S18)。
【0125】
以上の処理を表示対象の各端末機器1a〜1dそれぞれについて行い、表示対象の端末機器1a,1b,1c,1dからのキャプチャ画像データが全て揃うと、制御部27は画像合成部42に画像合成指示を通知する。これにより表示装置2は画像合成処理に入る(S19)。
【0126】
画像合成部42は、画像合成指示を受け取ると、キャプチャ画像データ記憶部37に格納されたサイズ変換処理済・色変換処理済の各キャプチャ画像データのそれぞれを、分割エリア情報ファイル36の分割エリア情報の真の原点に基づいて合成箇所を特定して1画面の画像データに合成して合成画像データを生成し、生成した合成画像データを画像処理部43に出力する。
【0127】
画像処理部43は、画像合成部42からの合成画像データを、表示部21の走査周波数にコンバートして表示画像データを生成し、表示部21に出力する。これにより、図8に示したように、真の分割エリア(以下、分割画面ということがある)51A,51B,51C,51Dに、それぞれ端末機器1a,1b,1c,1dのキャプチャ画像データ(表示画面)がそれぞれ表示された多画面が表示画面50に表示される(S20)。
【0128】
次に、表示装置2からキャプチャ開始指示および表示状況管理ファイル34を受け取った端末機器1側の動作について説明する。
図14は、表示装置からキャプチャ開始指示および表示状況管理ファイルを受け取った端末機器側の動作を示すフローチャートである。ここでは、端末機器1a(PC−1)の動作として説明する。
【0129】
端末機器1aの制御部16は、表示装置2から送信されてくるキャプチャ開始指示と表示状況管理ファイル34とを通信部17を介して受信し(S31)、表示状況管理ファイル34の自端末機器1aのキャプチャ範囲指定フラグを参照する(S32)。ここでは「0」であるので(S33)、全画面キャプチャと判断して画面キャプチャ処理部18に全画面キャプチャを指示する。全画面キャプチャの指示を受けた画面キャプチャ処理部18は、ビデオメモリ12の内容(すなわち、現在、表示部11の表示画面に表示されている内容)を例えばビットマップなどの形式で記憶部15に格納する(全画面キャプチャ処理)(S34)。
【0130】
そして、表示装置2からキャプチャ画像データ送信要求を受信すると(S35)、ステップS34の全画面キャプチャ処理で取得したキャプチャ画像データをキャプチャ画像データ送信要求に含まれる真の分割エリアサイズに基づいてサイズ変換を行うとともに、キャプチャ画像データ送信要求に含まれる表示色数に基づいて色変換を行う(S36)。ここでは、端末機器1a(PC−1)の画面サイズが1280×1024(図10参照)であるため、このサイズのキャプチャ画像データを、割り当てられた真の分割エリアサイズ640×512(図13参照)にサイズ変換(縮小変換)する。なお、表示色数は、表示装置2と同様の1677万216色であるため実際には色変換は行われないが、表示装置2の表示色数よりも多い場合には、表示装置2の表示色数に合わせてダウンコンバートされることになる。このようにサイズ変換処理・色変換処理が施されたキャプチャ画像データを通信部17を介して送信する(S37)。
【0131】
一方、ステップS33において、キャプチャ範囲管理フラグが「1」である場合には、部分キャプチャと判断して例えば「キャプチャ範囲を指定してください」などのメッセージを示すキャプチャ範囲指定指示画面が表示部11に表示される(S38)とともに、画面キャプチャ処理部18に部分キャプチャが指示される。そして、キャプチャ範囲指定指示画面を確認したユーザによってウィンドウの選択や、所望の領域を囲む操作などが入力部13を介して行われると、画面キャプチャ処理部18は、ユーザインタフェース部14を介してユーザ操作を認識し、指定された領域に対応するビデオメモリ12上の画像データとその画像サイズを記憶部15に格納する(部分キャプチャ処理)(S39)。
【0132】
そして、表示装置2からキャプチャ画像データ送信要求を受信すると(S40)、ステップS39の部分キャプチャ処理で取得した部分キャプチャ画像の画像サイズを返信する(S41)。この返信は上述したように表示装置2で受信され、表示装置2によって部分キャプチャでの画像サイズに基づき真の分割エリアサイズが再作成され、この再作成された真の分割エリアサイズと表示装置2の表示部21の表示色数とを含む再・キャプチャ画像データ送信要求が端末機器1に送信される。端末機器1はこれを受信し、ステップS39で記憶部15に格納した部分キャプチャ画像データを、再・キャプチャ画像データ送信要求に含まれる真の分割エリアサイズに基づいてサイズ変換するとともに、キャプチャ画像データ送信要求に含まれる表示色数に基づいて色変換を行い(S36)、このようにサイズ変換処理・色変換処理を行ったキャプチャ画像データを通信部17を介して送信する(S37)。
【0133】
以上の処理が端末機器1a以外の端末機器1b,1c,1dでも同様に行われる。その結果、上述したように、表示装置2には、各端末機器1a,1b,1c,1dそれぞれから、それぞれに割り当てた真の分割エリアサイズにサイズ変換され、また、表示装置2の表示部21の表示色数に色変換されたキャプチャ画像データが送信されてくることになる。
【0134】
ところで、各端末機器1には、表示装置2から表示状況管理ファイル34が送信されてくるが、この表示状況管理ファイル34は、上述したように自端末機器1のキャプチャ範囲指定フラグの設定状態をチェックする際に利用される以外に、入力部13で所定の操作を行うことによりファイルの内容を表示部11に表示させることができるようになっている。また、接続許可管理ファイル31、表示許可管理ファイル32、接続状況管理ファイル33についても適宜表示装置2から取得して同様に表示部11に表示させることができるようになっており、これにより、ユーザが、自身が操作する端末機器1以外にどの端末機器が表示されているのか、また、自身の端末機器1に与えられた権限などを知ることができるようになっている。
【0135】
<拡大表示機能>
以下、現在表示されている複数分割画面のうち、任意の分割画面を拡大表示させる拡大表示機能について説明する。この拡大表示機能は、上記の構成において、優先度を変更することで対応できる。
【0136】
図15は、拡大表示機能を説明するための模式図である。ここでは端末機器1aの優先度を高めて拡大表示させた場合の例を示している。
この場合、例えばリモコンを操作して端末機器1aの画面を指定する。この指定は、リモコンに端末機器1が割り当てられている場合はそのキーを押下することにより指定でき、また、割り当てられていない場合は、リモコンを操作して表示部21に表示させたメニュー画面から選択したり、リモコンで表示画面上にポインタを表示させてそのポインタで端末機器1aの画面を指し示してクリックするなどにより指定することができる。
【0137】
このようにして指定されたその指定情報、すなわち端末機器1aの識別情報を含む拡大表示要求は、ユーザインタフェース部24を介して制御部27に通知され、制御部27は拡大表示要求に含まれる識別情報に基づいて端末機器1aを特定し、表示状況管理ファイル34の端末機器1a(PC−1)の「優先度」の項目を「高」に設定し、分割エリア情報作成部41にエリア分割要求を通知する。
【0138】
分割エリア情報作成部41では、上記と同様にして分割エリア情報ファイル36を作成する。この作成に際し、参照される仮・分割エリア設定テーブルは、例えば図16(a)のように構成されており、図16(b)はその仮・分割エリア設定テーブルに基づく仮の分割エリアを図示したものである。ここで、図16(b)中の優先順位は、上述したように表示状況管理ファイル34の「優先度」の項目に基づいて順位付けが決定されるもので、ここでは端末機器1aの優先度が「高」で他の端末機器1b,1c,1dよりも高いため、優先順位が1番目すなわち図16(b)の仮の分割エリア(1台目用分割エリア)52Aが割り当てられる。その他の優先度の設定のない端末機器1b,1c,1dに対しての分割エリアの割り当ては、上述したように任意であり、ここでは、端末機器1b,1c,1dに、それぞれ順に仮の分割エリア52B,52C,52Dが割り当てられるとする。そして、上記と同様にして各端末機器1a,1b,1c,1dに割り当てられる真の分割エリアを決定する。
【0139】
図17は、この場合の真の分割エリアを示す図で、分割エリア53A,53B,53C,53Dは、それぞれ端末機器1a,1b,1c,1dにそれぞれ割り当てられた真の分割エリアで、このときの分割エリア情報ファイル36は図18に示すような内容に構成される。
【0140】
そして、上記と同様の動作が行われ、その結果、図15に示したように、真の分割エリア53A,53B,53C,53Dに、各端末機器1a,1b,1c,1dのキャプチャ画像データ(表示画面)がそれぞれ表示され、各分割画面53A,53B,53C,53Dのうち、指定された分割画面51Aが拡大された状態の多画面が表示画面50に表示される。
【0141】
<単画面切替機能>
また、図19に示すように、複数分割画面のうちの何れか1つを単画面表示させることも可能である。この場合、例えばリモコンを操作してその旨の入力操作を行う。その入力情報、すなわち単画面表示させたい分割画面51Cに対応する端末機器1cの識別情報を含む単画面表示要求がユーザインタフェース部24を介して制御部27に通知され、制御部27は単画面表示要求に含まれる識別情報に基づいて端末機器1cを特定し、表示状況管理ファイル34の端末機器1c(PC−3)の「優先度」の項目を「最高」に設定し、分割エリア情報作成部41にエリア分割要求を通知する。
【0142】
そして、上記と同様の動作が行われ、その結果、図19に示すように多画面から単画面に変更される。また、例えばリモコンによって所定の操作を行うことによって「優先度」の項目を「なし」に戻すことにより、元の多画面に戻ることのできる構成とする。
【0143】
このような単画面切替機能により、縮小されていて細部が見えない分割画面の細部を確認することが可能となり、また所定の操作によって多画面に戻ることができ使い勝手が良い。
【0144】
<割り込み機能>
また、図20に示すように、現在、表示されている多画面に対し、新たな画面を割り込ませることも可能である。この割り込みは、多画面が表示された後の表示要求に相当し、上記の表示要求の際と同様の処理によって割り込みが可能である。
【0145】
<消去機能>
また、図21に示すように、現在、表示されている複数分割画面のうち、任意の分割画面を消去することも可能である。この場合、リモコンを操作してその旨の入力操作を行う。その入力情報、すなわち消去したい分割画面51Dに対応する端末機器1dの識別情報を含む消去要求がユーザインタフェース部24を介して制御部27に通知され、制御部27は消去要求に含まれる識別情報に基づいて端末機器1dを特定し、該端末機器1dの端末機器情報を表示状況管理ファイル34から削除し、分割エリア情報作成部41にエリア分割要求を通知する。その後の動作は上記と同様であり、これにより、図21に示すように消去指定された分割画面50Dが削除され、消去後の台数分の複数分割画面に再構成された多画面が表示される。なお、単純に、消去指定された分割画面51Dだけ削除する構成を採用してもよい。
【0146】
このように、本実施の形態によれば、ネットワーク3に接続されている複数の端末機器1で表示されている画面を、表示装置2の表示画面に、画面分割により1画面に表示する多画面表示機能を備えた表示システム100を得ることができ、且つこの多画面表示機能を実現するに際して必要な処理、すなわち前述のサイズ変換処理および色変換処理を端末機器1側で行うようにしているため、仮に表示装置2側で各端末機器1からのキャプチャ画像データそれぞれに対して同様の変換処理を行うこととした場合に比べて表示装置2側の負荷を格段に軽減することができる。また、このように各端末機器側でサイズ変換処理および色変換処理を行うことにより、表示システム100において、端末機器1の接続台数が増加しても、表示装置2側で行う処理への影響を最小減とすることができる。
【0147】
また、このように端末機器1側でキャプチャ画像データのサイズ変換を行ってからネットワーク3を介して表示装置2に送信するようにしているため、ネットワーク3の負荷も軽減することができる。
【0148】
また、多画面表示機能に加え、拡大表示機能、単画面切替機能、割り込み機能、消去機能を備えており、非常に使い勝手がよい。
【0149】
また、各端末機器1で取得されたキャプチャ画像データは、そのアスペクト比を維持したまま表示画面上の対応する分割画面に表示されるため、違和感のない表示画面を構成することができる。
【0150】
なお、表示要求を会議出席者(ユーザ)が入力部23を介して都度行うのではなく、表示装置2主導で例えば3秒に1回毎に、表示画面を更新していくような方法でもよい。この場合は、表示装置2の制御部27が時間を管理し、一定時間毎にその後の動作を上記と同様に行えばよく、常に最新の端末機器1の表示画面を得ることができる。
【0151】
<差分キャプチャ機能>
ここまでは全画面キャプチャ(または部分のキャプチャ)による方法を説明してきたが、以下、端末機器の表示画面上の変化を検出し、変化分のみをキャプチャして得られた画像データを送信する方法について説明する。
【0152】
まず、入力部23の例えばリモコンを操作して、端末機器1a〜1dに対する差分キャプチャを行いたい意図を入力する。すなわち表示状況管理ファイル34の差分キャプチャ管理フラグを「1」に設定する。
【0153】
差分キャプチャ管理フラグが「1」に設定された初回は、通常通り上記ステップS1〜S20の処理を行って、多画面表示を行う。
【0154】
多画面表示が完了した後、表示装置2は、差分キャプチャ管理フラグが「1」となっている端末機器1に対して、制御部27から通信部28、ネットワーク3を介して、表示状況管理ファイル34とともに差分キャプチャ開始指示を送信する。
【0155】
次に、表示装置2から差分キャプチャ開始指示および表示状況管理ファイルを受け取った端末機器1側の動作について説明する。
図22は、表示装置2から差分キャプチャ開始指示および表示状況管理ファイルを受け取った端末機器1側の動作を示すフローチャートである。ここでは、端末機器1a(PC−1)の動作として説明する。
【0156】
端末機器1aのデータ管理処理部18は、表示装置2から送信されてくる差分キャプチャ開始指示と表示状況管理ファイル34とを通信部17を介して受信する(S41)。これを受けて以後の全画面キャプチャ処理を実行する。すなわち画面キャプチャ処理部19はビデオメモリ12の内容を記憶部15に格納する(S42)。ここで得た画像データを、前・全画面データと呼ぶ。
【0157】
画面比較処理部20は、データ管理処理部18が受信した表示状況管理ファイル34の差分キャプチャ管理フラグを一定時間毎(例えば0.5秒に1回などで、設定は任意)に参照し(S43)、差分キャプチャ管理フラグ「1」であるならば(S44)、以後の差分キャプチャ動作を行う。
また、例えばユーザ差分キャプチャ動作を停止するよう指示するには、表示状況管理ファイル34を変更する方法で差分キャプチャ管理フラグを、「0」に書き換えればよい。これを画面比較処理部20が参照することで、キャプチャ動作停止を判断する。
【0158】
全画面キャプチャ処理を実行し、画面キャプチャ処理19はビデオメモリ12の内容を記憶部15に格納する(S45)。ここで得た画像データを、後・全画面データと呼ぶ。次に、演算部16の画面比較処理部20は、前・全画面データと後・全画面データの比較を行う(S46)。
【0159】
この画面比較処理の一例として、マウスポインタを動かしたときの例(図23)で説明する。この図では、前・全画面データ60と、後・全画面データ61でマウスポインタの位置が変化している。すなわち図24のように、2つの領域(70,71)が変化した領域として認識される。これを画面比較処理部20は検出するが、ここで画面の変化があったと判断できた場合(S47)、画面比較処理部20は変化のあった領域の画像データと、画像データのサイズ(縦×横ピクセル)と、画像データの原点座標(表示状況管理ファイル34の「キャプチャ画像サイズ」で規定されるエリア内での絶対座標)を取得する。
【0160】
この例の場合は、領域70に関して、該領域70部分のキャプチャ画像データ(以下、差分キャプチャ画像データ1という)、差分キャプチャ画像サイズ1、差分キャプチャ原点1が、領域71に関しては、該領域71部分のキャプチャ画像データ(以下、差分キャプチャ画像データ2という)、差分キャプチャ画像サイズ2、差分キャプチャ原点2が取得され、これらの情報を記憶部15に格納すると同時に差分キャプチャ画像データ等を取得したことをデータ管理処理部18に通知する(S48)。なお、差分キャプチャ画像サイズ1、差分キャプチャ画像サイズ2、差分キャプチャ原点1、差分キャプチャ原点2は、表示状況管理ファイル34の該当部分に書き込むことになる。
【0161】
これらのデータを通信部17とネットワーク3を介して、ネットワーク管理部18は表示装置2へ送信する(S49)。なお、この差分キャプチャ機能では、上記全画面キャプチャ(または部分キャプチャ)による方法とは異なり、表示装置2側から送信要求を都度受けるのではなく、画面比較処理部20で画面上の変換が検知されたこと場合、これが要因となって送信動作を行う。
次回の画面比較処理のために、後・全画面データを前・全画面データとする(S50)。
【0162】
次に、端末機器1aから差分キャプチャ画像データ1、差分キャプチャ画像データ2および表示状況管理ファイル34を受け取った表示装置2側の動作について説明する。
【0163】
表示装置2は、端末機器1aから差分キャプチャ画像データ1、差分キャプチャ画像データ2および表示状況管理ファイル34を通信部28で受信すると、制御部27は画像合成部42に画像合成指示を通知する。これにより表示装置2は差分キャプチャ機能による画像合成処理に入る。
【0164】
画像合成部42は、画像合成指示を受け取ると、現在表示部21で表示されている画像に該当する分離エリア情報ファイル36と、端末機器1aから受け取った表示状況管理ファイル34(差分キャプチャ画像サイズ1、差分キャプチャ画像サイズ2、差分キャプチャ原点1、差分キャプチャ原点2)に基づいて、キャプチャ画像データ記憶部37に格納されたキャプチャ画像データのうち、差分キャプチャ画像データ1、差分キャプチャ画像データ2に該当する部分を書き換える。この後の動作は上記のステップ19、ステップ20と同様である。
【0165】
この方法は、上記の全画面キャプチャ(または部分キャプチャ)による方法よりも、ネットワーク3で送信する画像データの量が少なくなるので、ネットワークへの負荷を低減できる。また、常に最新の端末機器1の表示画像を得ることができる。
【0166】
なお、上記の説明では差分検出の際、端末機器1に導入された専用のプログラムでキャプチャして処理することを想定しているが、これをビデオメモリの内容の差分を直接検出することができるようなドライバがOS上で利用できる場合は、これを利用してもよい。
【0167】
なお、上記画像データは、圧縮画像形式(たとえばJPEG形式など)で端末機器1と表示装置2の間で送受信を行うことにして、ネットワークへの負荷を軽減させてもよい。
【0168】
なお、上記では、表示要求や単画面表示要求などの各種要求を表示装置2側の入力部23を操作することによって行う場合、すなわち表示装置2側主導で表示画面の構成を決定する場合を例に説明してきたが、各端末機器1側からも可能である。その場合、会議出席者(ユーザ)が、自身が操作する端末機器1から、その意図を入力部13を操作して入力する。この入力情報は、ユーザインタフェース部14を介して制御部16に通知され、該制御部16は、表示装置2に対し、通信部17およびネットワーク3を介して自端末機器1の端末名とIPアドレスとを含む前記入力情報に応じた要求を送信する。この要求が、ネットワーク3を介して表示装置2の通信部28で受信され、制御部27に通知される。その後の動作は上記と同様であり、このように、各端末機器1側からも各種要求が可能となっている。
【0169】
なお、前記各種要求に全画面キャプチャか部分キャプチャかを指定する情報を含めることにより、キャプチャ範囲の指定も端末機器1側から可能である。
【0170】
また、優先度は、上述したようにユーザ操作により適宜指定できるようにしてもよいし、表示装置2に接続されることが予定される複数の端末機器1に対して予め与えられたものであってもよい。予め与えられている場合は、表示状況管理ファイル34に端末機器情報を登録する際に、その端末機器1に与えられた優先度が自動的に表示状況管理ファイル34の優先度の項目に設定されるような構成とされる。
【0171】
なお、本実施の形態では、仮・分割エリアを仮・分割エリア設定ファイル35に基づき決定するとして説明してきたが、毎回、計算によって決定するようにしてもよい。
【0172】
また、部分キャプチャの場合、端末機器1から表示装置2に画像サイズを返信し、返信された画像サイズに基づいて表示装置2側で真の分割エリアの再作成を行う場合を例示したが、この再作成の処理も端末機器1側で行うようにしてもよい。
【図面の簡単な説明】
【図1】本発明の一実施の形態のネットワーク対応表示装置を備えた表示システムのネットワーク構成を示す図である。
【図2】端末機器の構成を示すブロック図である。
【図3】ネットワーク対応表示装置の構成を示すブロック図である。
【図4】ネットワーク対応表示装置の機能的な構成を示す図である。
【図5】表示状況管理ファイルで管理される端末機器情報の各項目を示す図である。
【図6】本実施の形態の動作の流れを示すフロチャート(1/2)である。
【図7】本実施の形態の動作の流れを示すフロチャート(2/2)である。
【図8】端末機器1a〜1dの4台の表示画面を表示装置の表示画面に多画面表示させた状態を示す模式図である。
【図9】分割エリア情報作成処理の流れを示すフロチャートである。
【図10】表示状況管理ファイルの具体的構成の一例を示す図である。
【図11】(a)は仮・分割エリア設定ファイルに格納されたテーブルの具体的構成の一例を示す図、(b)は(a)のテーブルに基づく仮の分割エリアを示す図である。
【図12】真の分割エリアサイズと真の原点の説明図である。
【図13】分割エリア情報ファイルの一例を示す図である。
【図14】表示装置からキャプチャ開始指示および表示状況管理ファイルを受け取った端末機器側の動作を示すフローチャートである。
【図15】拡大表示機能を説明するための模式図である。
【図16】(a)は優先度を変更した場合に参照される仮・分割エリア設定テーブルの一例を示す図、(b)は(a)のテーブルに基づく仮の分割エリアを示す図である。
【図17】優先度を変更した場合の真の分割エリアの一例を示す図である。
【図18】優先度を変更した場合に作成される分割エリア情報ファイルの一例を示す図である。
【図19】単画面表示機能を説明するための模式図である。
【図20】割り込み機能を説明するための模式図である。
【図21】画面消去機能を説明するための模式図である。
【図22】表示装置から差分キャプチャ開始指示および表示状況管理ファイルを受け取った端末機器側の動作を示すフローチャートである。
【図23】画面比較処理の一例として、マウスポインタを動かしたときの例を示す図である。
【図24】図23の画面比較処理の説明図である。
【図25】従来の表示システムの一例を示す構成図である。
【符号の説明】
1 端末機器
2 表示装置
3 ネットワーク
11 表示部
16 制御部
17 通信部
18 画面キャプチャ処理部
19 画像変換部
21 表示部
22 表示制御部
23 入力部
27 制御部
28 通信部
41 分割エリア情報作成部(表示サイズ決定部)
42 画像合成部
43 画像処理部
100 表示システム
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for displaying the screens of a plurality of terminal devices connected on a network on one screen of a display device on multiple screens.
[0002]
[Prior art]
FIG. 25 is a configuration diagram illustrating an example of a conventional display system.
In FIG. 25, for example, a projector 220, a notebook personal computer 230, and desktop personal computers 251, 252, 253, and 254 as network-compatible display devices are connected to the network 210. Are directly connected to tablets 261, 262, 263, and 264, which are capable of inputting and projecting data, inserting a diagram into projected data, and the like. Note that screen capture software is installed in the notebook personal computer 230 and the desktop personal computers 251, 252, 253, 254.
[0003]
In the conventional display system configured as described above, for example, by capturing the content of the screen on the notebook personal computer 230 by screen capture software, and transmitting the captured image data to the projector 220 via the network 210, The screen displayed on the notebook personal computer 230 can be projected and displayed by the projector 220. Then, by performing a switching operation using a remote controller or the like attached to the projector, the projection image of the projector 220 can be switched from the screen of the notebook personal computer 230 to another image of the screen of the desktop personal computer 251, for example.
[0004]
[Problems to be solved by the invention]
In the above-described conventional display system, as described above, the image that can be displayed by the projector 220 is one of the notebook personal computer 230 and the desktop personal computers 251, 252, 253, and 254 connected to the projector 220. Image. For this reason, when it is desired to compare and discuss the contents of the respective display screens of the notebook personal computer 230 and the desktop personal computers 251, 252, 253, and 254, it is necessary to switch one screen at a time. There is a strong demand for a function that can simultaneously display the screen of a personal computer on one screen.
[0005]
In response to this demand, development has been advanced in recent years, but it has not yet existed at present, and in realizing such a display system, the amount of processing to be performed by a projector (network-compatible display device) has increased. On the other hand, there is a problem that a great deal of processing power is required for a network-compatible display device, or that an increase in network load causes a problem.
[0006]
The present invention has been made in view of such a point, and a display screen of a plurality of network-connected terminal devices can be displayed on a display screen of a network-compatible display device without increasing a load on the network-compatible display device or the network. It is an object of the present invention to provide a display system, a network-compatible display device, a display control program, a network-compatible projector, a network-compatible plasma display, a network-compatible liquid crystal monitor, a terminal device, and a control program capable of multi-screen display.
[0007]
[Means for Solving the Problems]
(1) A display system according to the present invention includes a plurality of terminal devices having a screen capture function and transmitting captured image data obtained by the screen capture function via a network, and a display unit, and transmitting from the terminal device. A network-compatible display device having a multi-screen display function of receiving the captured image data via a network, synthesizing the data into one-screen image data by splitting the screen, and displaying the image data on a display screen of a display unit. The terminal device side performs the size conversion process of the image size of the captured image data acquired by the screen capture function, which is a process necessary for multi-screen display on the display screen of the device, and the network-compatible display device side , Capture the converted image data from the terminal device and combine it Those were.
[0008]
According to the present invention, since the size conversion processing required for realizing the multi-screen display function is performed on the terminal device side, a plurality of network-connected display devices can be connected without increasing the load on the network-compatible display device or the network. A display system capable of displaying the display screen of the terminal device on a network-compatible display device in multiple screens can be obtained.
[0009]
(2) In the display system according to the present invention, in the above (1), the network-compatible display device divides the display screen of the display unit into the number of terminal devices to be displayed and allocates the display screen to the terminal devices to be displayed. The terminal device that determines the display size of the screen and transmits it to the corresponding terminal device, and receives the display size, converts the image size of the captured image data to the received display size during the size conversion process. .
[0010]
According to the present invention, it is possible to perform size conversion processing on the terminal device side based on the display size determined on the network-compatible display device side.
[0011]
(3) In the display system according to the present invention, in the above (1) or (2), the terminal device adds the captured image data acquired by the screen capture function to the size conversion processing, and further includes a display unit of the network-compatible display device. Is transmitted to the network-compatible display device after performing a color conversion process to the number of display colors.
[0012]
According to the present invention, the color image processing is further performed on the terminal device side, and then the captured image data is transmitted to the network-compatible display device. Therefore, the load on the network-compatible display device can be further reduced.
[0013]
(4) In the display system according to the present invention, in (3) above, when the network-compatible display device transmits the display size to the terminal device, the display device also transmits the number of display colors of its own display unit. The color conversion processing is performed based on the number of display colors received from the network-compatible display device.
[0014]
According to the present invention, it is possible to perform color conversion processing on the terminal device side based on the number of display colors of the display unit of the network-compatible display device designated by the network-compatible display device.
[0015]
(5) In the display system according to the present invention, in any one of the above (1) to (4), the network-compatible display device is a projector.
[0016]
According to the present invention, a projector can be used as a network-compatible display device.
[0017]
(6) In the display system according to the present invention, in any one of the above (1) to (4), the network-compatible display device is a plasma display.
[0018]
According to the present invention, a plasma display can be used as a network-compatible display device.
[0019]
(7) In the display system according to the present invention, in any one of the above (1) to (4), the network-compatible display device is a liquid crystal monitor.
[0020]
According to the present invention, a liquid crystal monitor can be used as a network-compatible display device.
[0021]
(8) In the display system according to the present invention, in any one of the above (1) to (4), the network-compatible display device is an organic EL display.
[0022]
According to the present invention, an organic EL display can be used as a network-compatible display device.
[0023]
(9) In the display system according to the present invention, in any of the above (1) to (8), the terminal device is a personal computer or a PDA.
[0024]
According to the present invention, a personal computer or a PDA can be used for a terminal device.
[0025]
(10) A network-compatible display device according to the present invention is a network-compatible display device connected via a network to a plurality of terminal devices each having a screen capture function, and includes both a display unit and each terminal device. A communication unit capable of bidirectional communication, and a display control unit.The communication unit receives captured image data obtained by the screen capture function in each terminal device and converted into a predetermined image size, and the display control unit And a multi-screen display function for synthesizing each captured image data received by the communication unit into one screen image data by dividing the screen and displaying the image data on the display screen of the display unit.
[0026]
According to the present invention, the size-converted captured image data is acquired from the terminal device side and synthesized and displayed, so that a network-compatible display device capable of reducing the processing load for multi-screen display can be obtained. it can.
[0027]
(11) In the network-compatible display device according to the present invention, in (10) above, the display control unit has an interrupt function of interrupting and displaying a new screen on the current display screen.
[0028]
According to the present invention, a network-compatible display device having an interrupt function can be obtained.
[0029]
(12) The network-compatible display device according to (10) or (11), wherein the terminal displays captured image data on a display screen from among a plurality of terminal devices connected to the network-compatible display device. The user can arbitrarily select a device.
[0030]
According to the present invention, it is possible to obtain a network-compatible display device that allows a user to select a terminal device for displaying captured image data on a network-compatible display device from among a plurality of terminal devices.
[0031]
(13) The network-compatible display device according to any one of the above (10) to (12), wherein the selection of the terminal device for displaying the captured image data on the display screen is performed by the bidirectional communication of the communication unit. This is possible from both the display device side and the terminal device side.
[0032]
According to the present invention, it is possible to obtain a network-compatible display device capable of designating a terminal device for displaying captured image data on the network-compatible display device from both the network-compatible display device and the terminal device.
[0033]
(14) In the network-compatible display device according to the present invention, in any one of the above (10) to (13), the display control unit may select one of a plurality of divided screens constituting a multi-screen displayed on the display screen. Has an enlarged display function of enlarging and displaying a predetermined split screen.
[0034]
According to the present invention, it is possible to obtain a network-compatible display device having an enlarged display function of enlarging and displaying a predetermined split screen.
[0035]
(15) In the network-compatible display device according to the present invention, in any one of the above (10) to (13), the display control unit may select one of a plurality of divided screens constituting a multi-screen displayed on the display screen. Has a single screen switching function of switching a predetermined divided screen to display the entire display screen.
[0036]
According to the present invention, it is possible to obtain a network-compatible display device having a single-screen switching function of switching a predetermined split screen to display the entire display screen.
[0037]
(16) In the network-compatible display device according to the present invention, in any one of the above (10) to (13), the display control unit may select one of a plurality of divided screens forming a multi-screen displayed on the display screen. Has an erasing function for erasing a predetermined divided screen.
[0038]
According to the present invention, it is possible to obtain a network-compatible display device having an erasing function for erasing a predetermined divided screen.
[0039]
(17) In the network-compatible display device according to the present invention, in any one of the above (14) to (16), the predetermined divided screen is selected based on a user operation.
[0040]
According to the present invention, it is possible to obtain a network-compatible display device that allows a user to select a split screen to be enlarged, a single screen to be displayed, and a split screen to be deleted.
[0041]
(18) The network-compatible display device according to (17), wherein the predetermined divided screen is selectable from both the network-compatible display device and the terminal device by bidirectional communication of the communication unit. It is.
[0042]
According to the present invention, it is possible to obtain a network-compatible display device capable of designating a divided screen to be enlarged, a divided screen to be displayed as a single screen, and a divided screen to be deleted from both the network-compatible display device and the terminal device. Can be.
[0043]
(19) The network-compatible display device according to any one of the above (10) to (18), wherein the captured image data received from the terminal device specifies the entire or partial range of the display screen of the terminal device. Is image data obtained by capturing the image data.
[0044]
According to the present invention, the captured image data to be displayed on the display screen of the display unit is a network capable of displaying both captured image data obtained by full screen capture and captured image data obtained by partial capture. A corresponding display device can be obtained.
[0045]
(20) In the network-compatible display device according to any one of (10) to (18), the captured data acquired from the terminal device detects a change on the display screen of the terminal device, This is image data obtained by capturing only the change.
[0046]
According to the present invention, a load on a network is reduced by capturing only a changed portion on a display screen of a terminal device, and a network-compatible display capable of displaying image data obtained by combining the captured data with existing capture data A device can be obtained.
[0047]
(21) The network-compatible display device according to any one of (10) to (20), wherein the display screen of the display unit is divided into the number of terminal devices to be displayed, and the terminal device to be displayed is provided. A display size determination unit that determines the display size of the divided screen to be allocated to the display device, and a control unit that transmits the display size determined by the display size determination unit to each of the corresponding terminal devices via the communication unit. The communication unit receives, from each terminal device that has transmitted the size, the captured image data whose size has been converted to the display size of the divided screen allocated to the terminal device, and combines the received captured image data with the image data of one screen. And controls the display control unit to display the image on the display unit.
[0048]
According to the present invention, the display size when the terminal device performs the size conversion processing can be the display size determined by the display size determination unit.
[0049]
(22) The network-compatible display device according to (21), wherein the aspect ratio of the divided screen assigned to the terminal device to be displayed is the same as the aspect ratio of the display screen of the display unit of the terminal device. It is.
[0050]
ADVANTAGE OF THE INVENTION According to this invention, the network-compatible display apparatus which can comprise a display screen without a feeling of strangeness can be obtained.
[0051]
(23) In the network-compatible display device according to the present invention, in any one of (10) to (22), when the control unit transmits the display size to the terminal device, the control unit also transmits the number of display colors of the display unit. From the terminal device that transmitted the display size and the number of display colors, the communication unit received and received the captured image data that was converted to the display size of the divided screen allocated to the terminal device and converted to the number of display colors. The display control unit is controlled so that each captured image data is combined with image data of one screen and displayed on the display unit.
[0052]
According to the present invention, the terminal device receives the captured image data that has been subjected to the color conversion in addition to the reduced conversion, and displays the combined image, so that the processing load for multi-screen display can be further reduced. A possible network compatible display device can be obtained.
[0053]
(24) In the network-compatible display device according to the present invention, in any of the above (10) to (23), the communication protocol of the communication unit is TCP / IP.
[0054]
According to the present invention, general TCP / IP can be used as a communication protocol of the communication unit.
[0055]
(25) In the network-compatible display device according to the present invention, in any one of the above (10) to (24), the network is any one of a LAN, a wireless LAN, and a short-range wireless LAN.
[0056]
According to the present invention, a LAN, a wireless LAN, and a short-range wireless LAN can be used as a network.
[0057]
(26) A network-compatible projector according to the present invention includes the network-compatible display device according to any one of (10) to (25).
[0058]
According to the present invention, it is possible to obtain a projector having the above effects.
[0059]
(27) In the network-compatible projector according to the present invention, in (26), the display unit is any one of a liquid crystal light valve, an LCOS light valve, and a DMD.
[0060]
According to the present invention, it is possible to achieve the above effects in a projector using a liquid crystal light valve, an LCOS light valve, and a DMD for a display unit.
[0061]
(28) A network-compatible plasma display according to the present invention includes the network-compatible display device according to any one of the above (10) to (25), and a display unit is a plasma display panel.
[0062]
According to the present invention, it is possible to obtain a plasma display having the above effects.
[0063]
(29) A network-compatible liquid crystal monitor according to the present invention includes the network-compatible display device according to any one of the above (10) to (25), and has a display unit formed of a liquid crystal panel.
[0064]
According to the present invention, it is possible to obtain a liquid crystal monitor having the above effects.
[0065]
(30) A network-compatible organic EL display according to the present invention includes the network-compatible display device according to any one of the above (10) to (25), and has a display unit formed of an organic EL panel.
[0066]
According to the present invention, it is possible to obtain a network-compatible organic EL display having the above effects.
[0067]
(31) A display control program according to the present invention causes a display control unit of the network display device according to any one of (10) to (25) to be realized by a CPU.
[0068]
According to the present invention, it is possible to obtain a display control program capable of providing the above effects to a display device.
[0069]
(32) A terminal device according to the present invention is a terminal device connected via a network to the network-compatible display device according to any one of the above (10) to (25), and includes a display unit, a network-compatible display device, A communication unit capable of two-way communication, a screen capture processing unit for capturing the content displayed on the display screen of the display unit, and an image for converting the captured image data captured by the screen capture processing unit to a predetermined image size A conversion unit, and a control unit for transmitting the captured image data, the size of which has been converted by the image conversion unit, from the communication unit to the network-compatible display device, wherein one of multiple screens displayed on the display screen of the network-compatible display device is divided. This is to generate captured image data to be displayed on the screen.
[0070]
According to the present invention, when generating capture image data to be displayed on one split screen among multiple screens displayed on a display screen of a network-compatible display device, part of processing required for multi-screen display, specifically By performing the size conversion process, it is possible to obtain a terminal device that can contribute to reducing the load on the network-compatible display device.
[0071]
(33) In the terminal device according to the present invention, in (32), the display screen of the network-compatible display device is divided into the number of terminal devices to be displayed, and the divided screen assigned to the terminal device to be displayed is displayed. The size is determined, and the image conversion unit converts the size of the captured image data acquired by the screen capture processing unit to the display size assigned to the own terminal device.
[0072]
According to the present invention, the size conversion processing can be performed based on the display size determined on the network-compatible display device side.
[0073]
(34) In the terminal device according to the present invention, in (32) or (33), in addition to the size conversion, the image conversion unit may further perform color conversion to the number of display colors of the display unit of the network-compatible display device. The control unit transmits the captured image data subjected to the size conversion processing and the color conversion processing from the communication unit to the network-compatible display device.
[0074]
According to the present invention, by performing the color conversion process in addition to the size conversion process, it is possible to contribute to a further reduction in load on the network-compatible display device.
[0075]
(35) The control program according to the present invention causes each processing unit of the terminal device according to any of (32) to (34) to be realized by a CPU.
[0076]
According to the present invention, it is possible to obtain a control program capable of providing the above effects to a terminal device.
[0077]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a diagram illustrating a network configuration of a display system including a network-compatible display device according to an embodiment of the present invention.
The display system 100 includes a plurality of terminal devices 1 (only four devices 1a, 1b, 1c, and 1d are shown in FIG. 1), and a network-compatible display device 2 having a multi-screen display function, which is a main function of the present invention. The figure includes an example of a projector (hereinafter, simply referred to as a display device 2), and a plurality of terminal devices 1 and the display device 2 are connected to each other via a network 3 using a communication protocol such as TCP / IP. Are connected so that they can communicate with each other. Each terminal device 1 is given a unique name (hereinafter referred to as a terminal name) in advance. Various networks such as a LAN, a wireless LAN, and a short-range wireless LAN such as Bluetooth (registered trademark of Bluetooth SIG Inc., USA) can be used as the network 3.
[0078]
The display system 100 is a system that allows a screen displayed on each of the plurality of terminal devices 1 to be simultaneously displayed on the display screen of the display device 2 by splitting the screen. This is an effective system to use. Hereinafter, the configurations of the terminal device 1 and the display device 2 will be described in detail.
[0079]
FIG. 2 is a block diagram illustrating a configuration of the terminal device.
The terminal device 1 is composed of, for example, a personal computer or a PDA (Personal Digital Assistant), and stores a display unit 11 for displaying various information such as presentation materials, and the contents displayed on the display unit 11. A video memory 12, for example, an input unit 13 including a tablet, a mouse, and operation keys; a user interface unit 14 for detecting an operation input from the input unit 13 and outputting input information to a control unit 16 described later; A storage unit 15 for storing an application (control program) and various data for performing the processing according to the above, a control unit (CPU) 16, and a communication unit 17.
[0080]
The control program stored in the storage unit 15 includes a terminal device-side control function for realizing a multi-screen function on the display device 2 and a screen capture for capturing all or a part of the screen of the display unit 11. It is for realizing a function, an image conversion function of converting captured image data acquired by the screen capture function into a format of the display unit 21 of the display device 2, and a function of detecting a change on the screen of the display unit 11. The control unit 16, the screen capture processing unit 18, the image conversion unit 19, and the screen comparison processing unit 20 are configured by the control program and the CPU.
[0081]
The control unit 16 receives various requests such as a connection request, a display request, an enlarged display request, a single screen switching request, and a deletion request via the user interface unit 14 or the communication unit 17 and performs a process according to the request content. The image conversion unit 19 converts the captured image data acquired by the screen capture processing unit 18, and transmits the converted captured image data from the communication unit 17 to the display device 2.
[0082]
The communication unit 17 performs bidirectional communication with the display device 2. Here, the communication protocol is TCP / IP, and protocol processing functions such as ARP, ICMP, IP, TCP, and UDP necessary for the TCP / IP connection. It has. This function is realized by the OS.
[0083]
The conversion process performed by the image conversion unit 19 is a process necessary for performing multi-screen display on the display device 2, which will be described in detail below. Specifically, the conversion process of the divided screen assigned to the own terminal device 1 is performed. These are a size conversion process to a display size and a color conversion process to the number of display colors of the display unit 21 of the display device 2. As described above, the terminal device 1 is configured to perform conversion processing necessary for multi-screen display on the display device 2 on the captured image data acquired by the screen capture processing unit 18 before transmitting the data to the display device 2. Is done.
[0084]
FIG. 3 is a block diagram illustrating a configuration of the display device.
The display device 2 has a display unit 21, a display control unit that has a multi-screen display function, an enlarged display function, a single-screen switching function, an interrupt function, and a deletion function of the present invention, and controls a display screen to be displayed on the display unit 21. 22, an input unit 23 including, for example, a remote controller, a mouse, and operation keys; a user interface unit 24 that detects an operation input from the input unit 23 and outputs the input content to a control unit 27 described later; A program storage unit 25 for storing a display control program for providing functions, a data storage unit 26 for storing various files and various data necessary for executing the display control program, and a control unit for controlling the operation of the entire display device 2 (CPU) 27 and a communication unit 28 for performing bidirectional communication with the terminal device 1.
[0085]
The communication unit 28 performs bidirectional communication with the terminal device 1. Here, the communication protocol is TCP / IP, and has protocol processing functions such as ARPICMP, IP, TCP, and UDP necessary for the TCP / IP connection. Things.
[0086]
Note that, specifically, the display device 2 includes, for example, a plasma display, a liquid crystal monitor, and the like in addition to the projector illustrated in FIG. FIG. 3 shows only the main parts relevant to the gist of the present invention, and other specific mechanisms of the projector, the plasma display, and the liquid crystal monitor are omitted because they are not relevant to the gist of the present invention. However, a network-compatible projector, a network-compatible plasma display, and a network-compatible liquid crystal monitor can be realized by providing the existing projector, plasma display, and liquid crystal monitor with the respective processing units illustrated in FIG. 3. The display unit 21 is a display element that differs depending on the type of the display device 2. Specifically, in the case of a projector, a liquid crystal light valve, an LCOS light valve, and a DMD (Digital Micromirror Device) (trademark of Texas Instruments) are used. In this case, the display screen of the display unit 21 is a projection surface. For example, in the case of a plasma display, the display unit 21 becomes a plasma display panel, in the case of a liquid crystal monitor, it becomes a liquid crystal panel, and in the case of an organic EL display, it becomes an organic EL panel.
[0087]
Next, various files and the like stored in the data storage unit will be described with reference to FIG.
The data storage unit 26 includes a display unit specification management file 30, a connection permission management file 31, a display permission management file 32, a connection status management file 33, a display status management file 34, a temporary / divided area setting file 35, and a divided area information file. And a capture image data storage unit 37 for storing capture image data transmitted from each terminal device 1.
[0088]
The display unit specification management file 30 is a file in which a screen size indicating the number of horizontal and vertical pixels of the display screen of the display unit 21 and color number information indicating the number of display colors of the display unit 21 are registered. In this example, it is assumed that the screen size is 1280 × 1024 (SXGA) and the number of colors is 16,777,216 colors.
[0089]
The connection permission management file 31 is a file in which the terminal names of the terminal devices 1 to which connection is permitted are registered. The display permission management file 32 is a file in which the terminal names of the terminal devices 1 to which screen display is permitted are registered. File.
[0090]
The connection status management file 33 is a file in which the terminal name of the terminal device 1 currently connected to the display device 2 is registered.
[0091]
The display status management file 34 is a file for managing the current display status of the display unit 21. The display status management file 34 stores terminal device information on the terminal device 1 of the source of the captured image data displayed on the display screen of the current display unit 21 in a table format. Manage with. The display status management file 34 is updated every time the display screen of the display unit 21 is changed. For example, when the display screen is changed from a 4-split screen to a 3-split screen, the display device management file 34 of the terminal device 1 corresponding to the deleted split screen is displayed. The terminal device information is deleted from the table, and when the screen is changed from the 4-split screen to the 5-split screen, the terminal information of the terminal device 1 corresponding to the added screen is newly registered. .
[0092]
FIG. 5 is a diagram showing each item of terminal device information managed by the display status management file.
The display status management file 34 includes “terminal name”, “IP address”, “screen size”, “color number information”, “priority”, “capture range management flag”, “differential capture management flag”, and “capture image”. The items are “size”, “differential capture image size 1”, “differential capture image size 2”, “difference capture origin 1”, and “difference capture origin 2”.
[0093]
The “terminal name” is a name given to the terminal device 1 in advance, and the “screen size” is the number of horizontal and vertical pixels of the display screen of the display unit 11. For example, if the terminal device has a resolution of SXGA, 1280 × 1024 , 1024 × 768 for XGA. The “color number information” is the number of display colors on the display unit 11 and is, for example, 256 colors, 16777216 colors, or the like. The above “terminal name”, “IP address”, “screen size”, and “color number information” are data that are always stored at the time of registration in the display status management file 34, and other items include user operations and the like. Is appropriately set (updated) in accordance with.
[0094]
The “priority” determines the display size of the divided screen assigned to the terminal device 1 specified by the “terminal name”, and takes a value such as “highest”, “high”, “none”, As will be described in detail below, in this example, the configuration is such that the assigned display size increases when the priority is high. The “capture range management flag” is a flag for managing whether the screen capture on the terminal device 1 specified by the “terminal name” is full screen capture or partial capture, and usually indicates “0” indicating full screen capture. It is set to “1” when the capture is performed.
[0095]
The “differential capture management flag” is a flag for managing whether the screen capture in the terminal device 1 specified by the “terminal name” is a normal capture or a capture of only a change on the screen (hereinafter, referred to as a differential capture). In the case of normal capture, “0” is set, and in the case of differential capture, “1” is set.
[0096]
The “capture image size” is the size of captured image data (vertical and horizontal pixels) when the “capture range management flag” is “1”, that is, in the case of partial capture.
[0097]
“Difference capture image size 1” and “difference capture image size 2” are the sizes of two different ranges of areas acquired in the difference capture when the “difference capture management flag” is “1”. “Difference capture origin 1” and “differential capture origin 2” are the origins of two different ranges of areas acquired in the difference capture, and are indicated by absolute coordinates within the area defined by “capture image size”.
[0098]
The temporary / split area setting file 35 is a file in which information for specifying a temporary split area to be assigned to each terminal device 1 is set in advance, and is composed of a plurality of tables prepared for each number of terminals. This table has a configuration as shown in FIG. 11A and FIG. 16A, which will be described later. The divided area information file 36 will be described in detail below.
[0099]
The contents of the files 30, 31, 32, 33, 34, 35, and 36 are displayed on the display unit 21 when a predetermined operation is performed on the input unit 23. You can do it freely.
[0100]
Here, the description returns to FIG.
The display control unit 22 includes a divided area information creating unit 41 as a display size determining unit, an image synthesizing unit 42, and an image processing unit 43, and the control unit 27 receives the user information received via the user interface unit 24 or the communication unit 28. In accordance with various request contents such as a connection request, a display request, an interrupt display request, and an erasure request, necessary processing is performed while allowing each of the processing units 41, 42, and 43 to appropriately access necessary files in the data storage unit 26. Then, display control of the display unit 21 is performed. The display control unit 22 is realized by a display control program for providing a multi-screen function stored in the program storage unit 25 and a control unit (CPU) 27.
[0101]
The divided area information creation unit 41 grasps the number of terminal devices 1 to be displayed based on the display status management file 34, and acquires the priority and screen size of each terminal device 1 to be displayed. Then, the display screen size of the display unit 21 is divided according to the number of the terminal devices 1 to be displayed, the priority of each of the terminal devices 1 to be displayed, and the screen size, and is assigned to each of the terminal devices 1 to be displayed. The display size of the divided screen on the display unit 21 (hereinafter, referred to as a divided area size) and information for specifying the display position of the divided screen (absolute upper left coordinates of the divided screen with respect to the display screen, hereinafter, referred to as the origin) An operation of creating divided area information including the divided area information and storing the divided area information in the data storage unit 26 as the divided area information file 36 is performed.
[0102]
In the divided area information file 36 created by the divided area information creating unit 41, the divided area size of the divided screen assigned to each of the terminal devices 1 to be displayed is determined by the display unit 21 stored in the display unit specification management file 30. Along with the number of display colors, the captured image data transmitted from the communication unit 28 to each of the terminal devices 1 to be displayed by the control unit 27 and returned from each of the terminal devices 1 having received the same, that is, the transmitted divided area size and display. The captured image data that has been subjected to the size conversion processing and the color conversion processing based on the color is written in the captured image data storage unit 37. It should be noted that the information now called the divided area size is the same as what is called the true divided area size below.
[0103]
The image synthesizing unit 42 converts the captured image data subjected to the size conversion processing and the color conversion processing from each terminal device 1 stored in the captured image data storage unit 37 into a divided area information file created by the divided area information creating unit 41. 36 to generate composite image data.
[0104]
The image processing unit 43 includes various kinds of image data such as the combined image data generated by the image combining unit 42 and the display status management file 34 of the data storage unit 26 referred to by using an OSD (On Screen Display) function or the like. A portion for generating display image data by performing a scan frequency conversion process on the image data and outputting the display image data to the display unit 21 is configured by, for example, a scan converter.
[0105]
Hereinafter, the operation of the present embodiment will be described. 6 and 7 are flowcharts showing the operation of the present embodiment.
First, on the display device 2 side, a predetermined operation input is performed from the input unit 23 as a preparation stage for performing multi-screen display, and when the control unit 27 detects the operation input via the user interface unit 24, the communication unit A reply request for the terminal name and the IP address is broadcasted together with the IP address of the display device 2 via the network 28 and the network 3. The broadcast terminal name and IP address return request is received by each terminal device 1 on the network 3, and each terminal device 1 returns its own terminal name and IP address to the display device 2. .
[0106]
The display device 2 receives a reply (terminal name and IP address) from each terminal device 1 via the communication unit 28, and determines whether or not the terminal is a connection-permitted terminal. Specifically, it is checked whether the returned terminal name matches the terminal name registered in the connection permission management file 31, and if they match, it is determined that the terminal is a connection permitted terminal.
[0107]
The terminal names and the IP addresses from the terminal devices 1 determined to be connection-permitted terminals are sequentially registered in the connection status management file 33. The connection status management file 33 allows the display device 2 to know how many terminal devices 1 are currently connected. Further, since connection permission / non-permission is determined based on the terminal name, even when, for example, an IP address is given to the terminal device 1 by DHCP and the given IP address is different for each connection, It has become available.
[0108]
When the above preparation work is completed, the display device 2 waits in a state of waiting for various requests. Now, it is assumed that, among the terminal devices 1 operated by each conference participant, four display screens of the terminal devices 1a to 1d are to be displayed on the display screen 50 of the display device 2 in multiple screens as shown in the following figure. Think. Here, the resolution of each terminal device 1 is SXGA (1280 × 1024 pixels) for terminal device 1a, SVGA (800 × 600 pixels) for terminal device 1b, XGA (1024 × 768 pixels) for terminal device 1c, and terminal device 1d. Will be described as an example of 480 × 640 pixels.
[0109]
<Multi-screen display function>
FIG. 8 is a schematic diagram illustrating a state in which four display screens of the terminal devices 1a to 1d are displayed on the display screen of the display device in multiple screens.
First, the intention of multi-screen display of the terminal devices 1a to 1d is input by operating, for example, a remote controller of the input unit 23. Then, the input information, that is, a display request including the identification information of each of the terminal devices 1a to 1d is notified to the control unit 27 via the user interface unit 24 (S1). At the time of this display request, it is possible to specify a priority, a partial capture, or a difference capture, but here, none is specified.
[0110]
The control unit 27 of the display device 2 that has received the display request performs the following steps S3 to S9 for each of the terminal devices 1a to 1d to be displayed (S2). That is, it is determined whether the terminal is a connection-permitted terminal or a display-permitted terminal by referring to the connection permission management file 31 and the display permission management file 32 based on the terminal name specified by the identification information included in the display request. If both connection and display are permitted (S4), the terminal device requests terminal device information (terminal name, IP address, screen size, color number information) via the communication unit 28 (S5). ). Then, the terminal device information returned in response to this request is received (S6) and registered in the display status management file 34 (S7). If priority, partial capture, or differential capture has been specified at the time of this display request, the “priority”, “capture range management flag” , "And" differential capture management flag "are registered in the same manner.
[0111]
Then, a screen capture start instruction is transmitted together with the display status management file 34 to the terminal device 1 for which both connection and display are permitted (S8). In addition, the terminal device 1 that does not permit connection / display is notified of the fact via the communication unit 28 (S9).
[0112]
Here, assuming that all of the terminal devices 1a to 1d are terminal devices 1 for which both connection and display are permitted, the terminal device information from each of the terminal devices 1a to 1d is stored in the display status management file 34 by the processing of steps S2 to S9. At the same time, the screen capture start instruction is transmitted to the terminal devices 1a to 1d together with the display status management file 34 via the communication unit 28.
[0113]
When the above processing is completed, the control unit 27 notifies the divided area information creating unit 41 of the display control unit 22 of an area division request. Accordingly, the display device 2 starts the divided area information creation processing (S10). The operation of the terminal device 1 that has received the screen capture start instruction will be described later. Hereinafter, the division area information creation processing in the division area information creation unit 41 that has received the area division request will be described.
[0114]
FIG. 9 is a flowchart showing the flow of the divided area information creation processing. Here, it is assumed that the display status management file 34 is configured as shown in FIG. 10, and the operation of the divided area information creating unit 41 will be specifically described below. In FIG. 10, it is assumed that the terminal names PC-1, PC-2, PC-3, and PDA-1 correspond to the terminal devices 1a, 1b, 1c, and 1d, respectively.
[0115]
When receiving the area division request from the control unit 27, the divided area information creating unit 41 refers to the display status management file 34, grasps the number of terminal devices 1 to be displayed (here, four), and The priority of each of 1a, 1b, 1c, and 1d is acquired (S21). Then, the temporary / divided area setting file 35 is referred to based on the number of these terminal devices 1 and the priority of each of the terminal devices 1a to 1d, and the provisional / divided area setting file 35 is allocated to each of the terminal devices 1a, 1b, 1c, 1d. The temporary size of the divided area and the temporary origin are acquired (S22). Note that the reason why “temporary” is set will be apparent in the following description, but the divided area assigned here will be changed when the size of the captured image data is converted in a later step.
[0116]
Here, as shown in FIG. 10, the number of terminal devices to be displayed is four, and all of them have no priority setting. In this case, the corresponding temporary / divided area referred to in the temporary / divided area setting file 35 is used. The area setting table is configured, for example, as shown in FIG. In this example, the screen size of the display screen of the display unit 21 is 1280 × 1024 (SXGA), and the temporary / divided area setting table in FIG. 11A is an example of this case. FIG. 11B illustrates a temporary divided area based on the temporary / divided area setting table of FIG.
[0117]
Here, the priorities in FIG. 11A are determined based on the item of “priority” in the display status management file 34, and the first and second devices are arranged in descending order of priority. The third, fourth and fourth units. Then, to each of them, an area specified by “temporary size” and “temporary origin” shown in the table below is assigned as a temporary divided area. Here, since all the terminal devices 1a, 1b, 1c, and 1d to be displayed are "none" (see FIG. 10), there is virtually no priority. In this way, when there is no priority setting, the assignment order may be a predetermined order or may be arbitrary such as the order of registration in the display status management file 34, but in this example, each terminal device 1a, 1b, 1c, and 1d (hereinafter referred to as PC-1, PC-2, PC-3, and PDA-1 of terminal names as appropriate) in the order of temporary divided areas 50A, 50B, 50C, The description will be continued below assuming that 50D is assigned.
[0118]
The divided area information creating unit 41 further acquires the screen size of each of the PC-1, PC-2, PC-3, and PDA-1 from the display status management file 34 (see FIG. 10), and based on these acquired information. Then, the true divided area size and the true origin to be assigned to each are determined (S23).
[0119]
FIG. 12 is an explanatory diagram of a true divided area. In FIG. 12, reference numerals 51A, 51B, 51C, and 51D indicate true divided areas respectively assigned to PC-1, PC-2, PC-3, and PDA-1. A true divided area is a temporary divided area in which captured image data to be displayed in the temporary divided area is size-converted while maintaining an aspect ratio, and the converted image is temporarily divided. It is a display area for displaying at the center of each of the areas 50A, 50B, 50C, and 50D. Here, the true divided area size for specifying the true divided area will be specifically described with reference to the example of PC-2. PC-2 has a screen size of 1024 × 768 pixels (see FIG. 10). In order to display the image data of this size in the provisional divided area 50B of 640 × 512 pixels allocated to the PC-2, the aspect ratio of the original image (that is, the aspect ratio of the display screen of the display unit 11) is set. This is the size when reduced while maintaining (equivalent). The true origin, as shown in FIG. 12, is used to position the divided screen of that size at the center of the temporary divided area 50B, and coordinates of the upper left pixel of the divided screen (with respect to the entire display screen). (Absolute coordinates).
[0120]
The divided area information creating unit 41 determines the true divided area size and the true origin as described above for each of PC-1, PC-2, PC-3, and PDA-1, and determines the terminal name, the divided area, and the origin. The divided area information having the contents shown in FIG. 13 is created and stored in the data storage unit 26 as the divided area information file 36 (S24). Thus, the divided area information creation processing ends. The divided area information file 36 is given a creation date and time (17:00:32 on May 21, 2002).
[0121]
Here, it returns to FIG.
When the divided area information creating process (S10) in the divided area information creating unit 41 is completed, the control unit 27 of the display device 2 performs a process in steps S12 to S14 for each of the terminal devices 1a, 1b, 1c, and 1d to be displayed. (S11). That is, a capture image data transmission request is transmitted (S12). This capture image data transmission request is stored in the divided area information file 36 and is stored in the display unit specification management file 30 and the true divided area size assigned to the terminal device 1 to which the request is transmitted. This is transmitted including the number of display colors of the display unit 21 of the own display device 2. That is, for example, for the terminal device 1a (PC-1), a capture image data transmission request including the true divided area size of 640 × 512 (see FIG. 13) and the number of display colors of the display device 2 of 16,777,216 is included. Will be sent.
[0122]
By the way, the terminal device 1 starts screen capture after receiving the capture start request transmitted from the display device 2 in step S8. If the screen capture performed by the terminal device 1 is a full screen capture, In response to the captured image data transmission request in step S12, the captured image data is subjected to size conversion processing and color number conversion processing based on the true divided area size and the number of display colors included in the captured image data transmission request as described later. Is returned to the display device 2, and in the case of partial capture, the image size of the partial capture image is returned.
[0123]
The display device 2 receives the reply from the terminal device 1 (S13), and when the reply content is the captured image data, determines that the screen capture performed by the terminal device 1 is the full screen capture (S14). Then, the received captured image data is written into the captured image data storage unit 37 (S18).
[0124]
On the other hand, if the response from the terminal device 1 received in step S13 is the image size, it is determined that the screen capture performed by the terminal device 1 is a partial capture (S14), and the display state management is performed based on the received image size. The “captured image size” of the file 34 is updated, and the divided area information (the true divided area size and the true origin) is re-created based on the received image size by the same processing as described above (S15). A corresponding portion of the information file 36 is updated, and a re-captured image data transmission request including the re-created true divided area size and the number of display colors of the display unit 21 is transmitted (S16). The re-captured image data transmission request is received by the terminal device 1 as described later, and is subjected to size conversion processing and color processing based on the true divided area size and the number of display colors of the display device 2 included in the re-captured image data transmission request. The captured image data subjected to the number conversion processing is returned to the display device 2, and the display device 2 receives the response from the terminal device 1 (S17), and writes it in the captured image data storage unit 37 (S18).
[0125]
The above processing is performed for each of the terminal devices 1a to 1d to be displayed, and when all the captured image data from the terminal devices 1a, 1b, 1c, 1d to be displayed are prepared, the control unit 27 causes the image synthesizing unit 42 to perform image synthesis. Notify instructions. Accordingly, the display device 2 starts the image synthesis processing (S19).
[0126]
Upon receiving the image composition instruction, the image composition unit 42 converts each of the size-converted and color-converted captured image data stored in the captured image data storage unit 37 into divided area information of the divided area information file 36. Then, a combined portion is specified based on the true origin of the image data, combined with image data of one screen to generate combined image data, and the generated combined image data is output to the image processing unit 43.
[0127]
The image processing unit 43 converts the combined image data from the image combining unit 42 into a scanning frequency of the display unit 21 to generate display image data, and outputs the display image data to the display unit 21. As a result, as shown in FIG. 8, the captured image data (display) of the terminal devices 1a, 1b, 1c, 1d are respectively stored in true divided areas (hereinafter, sometimes referred to as divided screens) 51A, 51B, 51C, 51D. Are displayed on the display screen 50 (S20).
[0128]
Next, the operation of the terminal device 1 that has received the capture start instruction and the display status management file 34 from the display device 2 will be described.
FIG. 14 is a flowchart illustrating the operation of the terminal device that has received the capture start instruction and the display status management file from the display device. Here, the operation of the terminal device 1a (PC-1) will be described.
[0129]
The control unit 16 of the terminal device 1a receives the capture start instruction and the display status management file 34 transmitted from the display device 2 via the communication unit 17 (S31), and receives the capture start instruction and the display status management file 34 from the own terminal device 1a of the display status management file 34. Is referred to (S32). Here, since it is "0" (S33), it is determined that the full screen is to be captured, and the full screen capture is instructed to the screen capture processing unit 18. Upon receiving the full-screen capture instruction, the screen capture processing unit 18 stores the content of the video memory 12 (that is, the content currently displayed on the display screen of the display unit 11) in the storage unit 15 in the form of, for example, a bit map. It is stored (full screen capture processing) (S34).
[0130]
When a capture image data transmission request is received from the display device 2 (S35), the size of the captured image data acquired in the full screen capture process in step S34 is converted based on the true divided area size included in the capture image data transmission request. And performs color conversion based on the number of display colors included in the capture image data transmission request (S36). Here, since the screen size of the terminal device 1a (PC-1) is 1280 × 1024 (see FIG. 10), the captured image data of this size is assigned to the true divided area size 640 × 512 (see FIG. 13). ) To size conversion (reduction conversion). Since the number of display colors is 16,777,216 colors similar to that of the display device 2, color conversion is not actually performed, but if the number of display colors is larger than the number of display colors of the display device 2, the display It is down-converted according to the number of colors. The captured image data subjected to the size conversion processing and the color conversion processing is transmitted via the communication unit 17 (S37).
[0131]
On the other hand, when the capture range management flag is “1” in step S33, it is determined that the capture is partial capture, and a capture range designation instruction screen showing a message such as “Please specify a capture range” is displayed on the display unit 11. Is displayed (S38), and a partial capture is instructed to the screen capture processing unit 18. Then, when a user who has checked the capture range designation instruction screen performs window selection, an operation surrounding a desired area, and the like via the input unit 13, the screen capture processing unit 18 causes the user to input a screen via the user interface unit 14. The operation is recognized, and the image data in the video memory 12 corresponding to the designated area and the image size are stored in the storage unit 15 (partial capture processing) (S39).
[0132]
Then, when a capture image data transmission request is received from the display device 2 (S40), the image size of the partial capture image acquired in the partial capture processing in step S39 is returned (S41). This reply is received by the display device 2 as described above, and the display device 2 re-creates the true divided area size based on the image size in the partial capture. The re-created true divided area size and the display device 2 A re-capture image data transmission request including the number of display colors of the display unit 21 is transmitted to the terminal device 1. The terminal device 1 receives this, converts the partial captured image data stored in the storage unit 15 in step S39 based on the true divided area size included in the re-captured image data transmission request, and converts the captured image data. Color conversion is performed based on the number of display colors included in the transmission request (S36), and the captured image data subjected to the size conversion processing and color conversion processing is transmitted via the communication unit 17 (S37).
[0133]
The above processing is similarly performed in the terminal devices 1b, 1c, and 1d other than the terminal device 1a. As a result, as described above, the display device 2 converts the size of each of the terminal devices 1a, 1b, 1c, and 1d into a true divided area size assigned to each of the terminal devices 1a, 1b, 1c, and 1d. The captured image data color-converted to the number of display colors is transmitted.
[0134]
By the way, the display status management file 34 is transmitted from the display device 2 to each terminal device 1, and the display status management file 34 sets the capture range designation flag of the own terminal device 1 as described above. The contents of the file can be displayed on the display unit 11 by performing a predetermined operation on the input unit 13 in addition to being used for checking. In addition, the connection permission management file 31, the display permission management file 32, and the connection status management file 33 can be acquired from the display device 2 as appropriate and displayed on the display unit 11 in the same manner. However, it is possible to know which terminal device is displayed other than the terminal device 1 operated by the user, the authority given to the terminal device 1 of the user, and the like.
[0135]
<Enlarged display function>
Hereinafter, an enlarged display function for enlarging and displaying an arbitrary divided screen among a plurality of currently displayed divided screens will be described. This enlarged display function can be dealt with by changing the priority in the above configuration.
[0136]
FIG. 15 is a schematic diagram for explaining the enlarged display function. Here, an example is shown in which the priority of the terminal device 1a is increased and displayed in an enlarged manner.
In this case, for example, the screen of the terminal device 1a is specified by operating the remote controller. When the terminal device 1 is assigned to the remote controller, the designation can be performed by pressing the key. When the terminal device 1 has not been assigned, from the menu screen displayed on the display unit 21 by operating the remote controller. It can be selected or designated by, for example, displaying a pointer on a display screen with a remote controller, pointing the screen of the terminal device 1a with the pointer, and clicking.
[0137]
The specified information specified in this way, that is, the enlarged display request including the identification information of the terminal device 1a is notified to the control unit 27 via the user interface unit 24, and the control unit 27 transmits the identification information included in the enlarged display request. The terminal device 1a is specified based on the information, the “priority” item of the terminal device 1a (PC-1) in the display status management file 34 is set to “high”, and an area division request is issued to the division area information creating unit 41. Notify.
[0138]
The divided area information creating unit 41 creates the divided area information file 36 in the same manner as described above. In this creation, the temporary / divided area setting table referred to is configured, for example, as shown in FIG. 16A, and FIG. 16B shows a temporary divided area based on the temporary / divided area setting table. It was done. Here, the priority in FIG. 16B is determined based on the item of “priority” of the display status management file 34 as described above, and here, the priority of the terminal device 1a is used. Is "high" and is higher than the other terminal devices 1b, 1c, and 1d, and therefore the first priority, that is, the temporary divided area (first unit divided area) 52A of FIG. 16B is assigned. The allocation of the divided areas to the terminal devices 1b, 1c, and 1d having no other priorities is arbitrary as described above. In this case, the temporary divided regions are sequentially allocated to the terminal devices 1b, 1c, and 1d, respectively. It is assumed that areas 52B, 52C, and 52D are allocated. Then, in the same manner as above, a true divided area assigned to each of the terminal devices 1a, 1b, 1c, 1d is determined.
[0139]
FIG. 17 is a diagram showing a true divided area in this case. The divided areas 53A, 53B, 53C and 53D are true divided areas respectively assigned to the terminal devices 1a, 1b, 1c and 1d. The divided area information file 36 is configured as shown in FIG.
[0140]
Then, the same operation as described above is performed. As a result, as shown in FIG. 15, the captured image data of each terminal device 1a, 1b, 1c, 1d is stored in the true divided areas 53A, 53B, 53C, 53D. Display screens) are displayed, and among the divided screens 53A, 53B, 53C, 53D, a multi-screen in which the designated divided screen 51A is enlarged is displayed on the display screen 50.
[0141]
<Single screen switching function>
Further, as shown in FIG. 19, any one of the divided screens can be displayed on a single screen. In this case, for example, a remote controller is operated to perform an input operation to that effect. The input information, that is, the single screen display request including the identification information of the terminal device 1c corresponding to the divided screen 51C to be displayed on the single screen is notified to the control unit 27 via the user interface unit 24, and the control unit 27 performs the single screen display. The terminal device 1c is specified based on the identification information included in the request, the “priority” item of the terminal device 1c (PC-3) in the display status management file 34 is set to “highest”, and the divided area information creation unit 41 is notified of an area division request.
[0142]
Then, the same operation as described above is performed, and as a result, the screen is changed from a multi-screen to a single screen as shown in FIG. Further, for example, by performing a predetermined operation with a remote controller, the item of “priority” is returned to “none”, thereby returning to the original multi-screen.
[0143]
With such a single screen switching function, it is possible to check the details of the divided screen which is reduced and the details cannot be seen, and can return to the multi-screen by a predetermined operation, which is convenient.
[0144]
<Interrupt function>
Further, as shown in FIG. 20, a new screen can be interrupted with respect to the currently displayed multi-screen. This interrupt corresponds to a display request after the multi-screen is displayed, and can be interrupted by the same processing as that for the above-described display request.
[0145]
<Erase function>
Also, as shown in FIG. 21, it is possible to delete an arbitrary divided screen from among the currently displayed plural divided screens. In this case, the remote controller is operated to perform an input operation to that effect. The input information, that is, the deletion request including the identification information of the terminal device 1d corresponding to the divided screen 51D to be deleted is notified to the control unit 27 via the user interface unit 24, and the control unit 27 sets the identification information included in the deletion request. The terminal device 1 d is identified based on the terminal device information, the terminal device information of the terminal device 1 d is deleted from the display status management file 34, and an area division request is notified to the divided area information creating unit 41. Subsequent operations are the same as described above. As a result, as shown in FIG. 21, the divided screen 50D designated to be deleted is deleted, and a multi-screen reconstructed into a plurality of divided screens corresponding to the number after the deletion is displayed. . A configuration in which only the divided screen 51D designated to be deleted may be simply adopted.
[0146]
As described above, according to the present embodiment, a multi-screen in which a screen displayed on a plurality of terminal devices 1 connected to the network 3 is displayed on the display screen of the display device 2 on a single screen by splitting the screen. Since the display system 100 having the display function can be obtained, and the processing necessary for realizing the multi-screen display function, that is, the above-described size conversion processing and color conversion processing are performed on the terminal device 1 side. The load on the display device 2 can be significantly reduced as compared to the case where the same conversion processing is performed on each of the captured image data from the terminal devices 1 on the display device 2 side. Further, by performing the size conversion process and the color conversion process on each terminal device side in this way, even if the number of connected terminal devices 1 increases in the display system 100, the influence on the process performed on the display device 2 side can be reduced. It can be minimized.
[0147]
Further, since the size of the captured image data is converted on the terminal device 1 side and then transmitted to the display device 2 via the network 3, the load on the network 3 can be reduced.
[0148]
Further, in addition to the multi-screen display function, it has an enlarged display function, a single-screen switching function, an interrupt function, and an erasing function, and is very easy to use.
[0149]
In addition, the captured image data acquired by each terminal device 1 is displayed on the corresponding divided screen on the display screen while maintaining the aspect ratio, so that a display screen without a sense of incongruity can be configured.
[0150]
The display request may not be made each time by the meeting attendee (user) via the input unit 23, but may be updated by the display device 2 every three seconds, for example. . In this case, the control unit 27 of the display device 2 manages the time, and the subsequent operation may be performed at regular time intervals in the same manner as described above, so that the latest display screen of the terminal device 1 can be always obtained.
[0151]
<Differential capture function>
So far, the method using full screen capture (or partial capture) has been described, but hereinafter, a method of detecting a change on the display screen of the terminal device and transmitting only image data obtained by capturing the change is described. Will be described.
[0152]
First, the user operates, for example, a remote controller of the input unit 23 to input an intention to perform differential capture on the terminal devices 1a to 1d. That is, the difference capture management flag of the display status management file 34 is set to “1”.
[0153]
At the first time when the difference capture management flag is set to “1”, the processing in steps S1 to S20 is performed as usual, and multi-screen display is performed.
[0154]
After the multi-screen display is completed, the display device 2 sends the display status management file to the terminal device 1 whose difference capture management flag is “1” from the control unit 27 via the communication unit 28 and the network 3. 34, and transmits a difference capture start instruction.
[0155]
Next, the operation of the terminal device 1 that has received the difference capture start instruction and the display status management file from the display device 2 will be described.
FIG. 22 is a flowchart illustrating the operation of the terminal device 1 that has received the difference capture start instruction and the display status management file from the display device 2. Here, the operation of the terminal device 1a (PC-1) will be described.
[0156]
The data management processing unit 18 of the terminal device 1a receives the difference capture start instruction and the display status management file 34 transmitted from the display device 2 via the communication unit 17 (S41). In response to this, the subsequent full screen capture processing is executed. That is, the screen capture processing unit 19 stores the contents of the video memory 12 in the storage unit 15 (S42). The image data obtained here is referred to as previous / full screen data.
[0157]
The screen comparison processing unit 20 refers to the difference capture management flag of the display status management file 34 received by the data management processing unit 18 at regular time intervals (for example, once every 0.5 seconds, and the setting is arbitrary) (S43). If the difference capture management flag is "1" (S44), the subsequent difference capture operation is performed.
Further, for example, to instruct to stop the user difference capture operation, the difference capture management flag may be rewritten to “0” by a method of changing the display status management file 34. The screen comparison processing unit 20 refers to this to determine whether to stop the capture operation.
[0158]
The full screen capture process is executed, and the screen capture process 19 stores the contents of the video memory 12 in the storage unit 15 (S45). The image data obtained here is referred to as post-full screen data. Next, the screen comparison processing unit 20 of the calculation unit 16 compares the previous / all screen data with the rear / all screen data (S46).
[0159]
As an example of the screen comparison processing, an example when the mouse pointer is moved (FIG. 23) will be described. In this figure, the position of the mouse pointer changes between the front / full screen data 60 and the back / full screen data 61. That is, as shown in FIG. 24, the two areas (70, 71) are recognized as changed areas. This is detected by the screen comparison processing unit 20. If it is determined that the screen has changed (S47), the screen comparison processing unit 20 determines the image data of the changed area and the size of the image data (vertical). X horizontal pixels) and the origin coordinates (absolute coordinates within the area defined by the “captured image size” of the display status management file 34) of the image data.
[0160]
In the case of this example, regarding the area 70, the captured image data (hereinafter, referred to as difference captured image data 1), the difference captured image size 1, and the difference capture origin 1 of the area 70 are included. That the captured image data (hereinafter referred to as differential captured image data 2), the differential captured image size 2, and the differential captured origin 2 are stored in the storage unit 15 and that the differential captured image data and the like are obtained at the same time. The data management processing unit 18 is notified (S48). Note that the difference capture image size 1, the difference capture image size 2, the difference capture origin 1, and the difference capture origin 2 are written in corresponding portions of the display status management file 34.
[0161]
The network management unit 18 transmits these data to the display device 2 via the communication unit 17 and the network 3 (S49). In the difference capture function, unlike the method using the full-screen capture (or partial capture), a conversion on the screen is detected by the screen comparison processing unit 20 instead of receiving a transmission request from the display device 2 each time. In this case, the transmission operation is performed due to this factor.
For the next screen comparison process, the rear / all screen data is set as the front / all screen data (S50).
[0162]
Next, the operation of the display device 2 that has received the difference capture image data 1, the difference capture image data 2, and the display status management file 34 from the terminal device 1a will be described.
[0163]
When the display device 2 receives the difference capture image data 1, the difference capture image data 2, and the display status management file 34 from the terminal device 1a by the communication unit 28, the control unit 27 notifies the image synthesis unit 42 of an image synthesis instruction. As a result, the display device 2 starts image synthesis processing by the difference capture function.
[0164]
Upon receiving the image synthesizing instruction, the image synthesizing unit 42 separates the separation area information file 36 corresponding to the image currently displayed on the display unit 21 and the display status management file 34 (differential capture image size 1) received from the terminal device 1a. , The difference capture image size 2, the difference capture origin 1, and the difference capture origin 2), the capture image data stored in the capture image data storage unit 37 corresponds to the difference capture image data 1 and the difference capture image data 2. Rewrite the part to do. Subsequent operations are the same as steps 19 and 20 described above.
[0165]
In this method, the amount of image data transmitted on the network 3 is smaller than in the above-described method based on full screen capture (or partial capture), so that the load on the network can be reduced. Further, the latest display image of the terminal device 1 can be always obtained.
[0166]
In the above description, when detecting the difference, it is assumed that the difference is captured and processed by a dedicated program introduced into the terminal device 1. However, the difference can be directly detected from the content of the video memory. If such a driver is available on the OS, it may be used.
[0167]
The image data may be transmitted and received between the terminal device 1 and the display device 2 in a compressed image format (for example, a JPEG format) to reduce the load on the network.
[0168]
In the above description, an example in which various requests such as a display request and a single screen display request are performed by operating the input unit 23 of the display device 2, that is, a case in which the configuration of the display screen is determined by the display device 2 initiative. However, it is also possible from each terminal device 1 side. In this case, the meeting attendee (user) operates the input unit 13 to input the intention from the terminal device 1 operated by the conference attendee. This input information is notified to the control unit 16 via the user interface unit 14, and the control unit 16 sends the terminal name and the IP address of the terminal device 1 to the display device 2 via the communication unit 17 and the network 3. And transmitting a request corresponding to the input information. This request is received by the communication unit 28 of the display device 2 via the network 3 and notified to the control unit 27. Subsequent operations are the same as described above, and thus various requests can be made from each terminal device 1 as well.
[0169]
Note that the terminal device 1 can also specify a capture range by including information for specifying whether to perform full-screen capture or partial capture in the various requests.
[0170]
Further, the priority may be appropriately specified by a user operation as described above, or may be given in advance to a plurality of terminal devices 1 that are to be connected to the display device 2. You may. When the terminal device information is registered in advance in the display status management file 34, the priority given to the terminal device 1 is automatically set in the priority item of the display status management file 34. The configuration is as follows.
[0171]
Although the present embodiment has been described assuming that the temporary / divided area is determined based on the temporary / divided area setting file 35, the temporary / divided area may be determined by calculation each time.
[0172]
In the case of partial capture, the case where the image size is returned from the terminal device 1 to the display device 2 and the true divided area is recreated on the display device 2 side based on the returned image size has been exemplified. The re-creation process may also be performed on the terminal device 1 side.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a network configuration of a display system including a network-compatible display device according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a terminal device.
FIG. 3 is a block diagram illustrating a configuration of a network-compatible display device.
FIG. 4 is a diagram illustrating a functional configuration of a network-compatible display device.
FIG. 5 is a diagram showing each item of terminal device information managed by a display status management file.
FIG. 6 is a flowchart (1/2) showing a flow of the operation of the present embodiment.
FIG. 7 is a flowchart (2/2) showing a flow of the operation of the present embodiment.
FIG. 8 is a schematic diagram showing a state in which four display screens of the terminal devices 1a to 1d are displayed on the display screen of the display device in multiple screens.
FIG. 9 is a flowchart showing the flow of a divided area information creation process.
FIG. 10 is a diagram showing an example of a specific configuration of a display status management file.
11A is a diagram illustrating an example of a specific configuration of a table stored in a temporary / divided area setting file, and FIG. 11B is a diagram illustrating a temporary divided area based on the table in FIG.
FIG. 12 is an explanatory diagram of a true divided area size and a true origin.
FIG. 13 is a diagram showing an example of a divided area information file.
FIG. 14 is a flowchart showing an operation on the terminal device side receiving a capture start instruction and a display status management file from the display device.
FIG. 15 is a schematic diagram for explaining an enlarged display function.
16A is a diagram showing an example of a temporary / divided area setting table referred to when the priority is changed, and FIG. 16B is a diagram showing a temporary divided area based on the table of FIG. .
FIG. 17 is a diagram showing an example of a true divided area when the priority is changed.
FIG. 18 is a diagram showing an example of a divided area information file created when the priority is changed.
FIG. 19 is a schematic diagram for explaining a single screen display function.
FIG. 20 is a schematic diagram for explaining an interrupt function.
FIG. 21 is a schematic diagram for explaining a screen erasing function.
FIG. 22 is a flowchart illustrating an operation of the terminal device that has received a difference capture start instruction and a display status management file from the display device.
FIG. 23 is a diagram illustrating an example of a screen comparison process when a mouse pointer is moved.
24 is an explanatory diagram of the screen comparison process in FIG.
FIG. 25 is a configuration diagram illustrating an example of a conventional display system.
[Explanation of symbols]
1 Terminal equipment
2 Display device
3 network
11 Display
16 control unit
17 Communication unit
18 Screen capture processing unit
19 Image conversion unit
21 Display
22 Display control unit
23 Input section
27 Control unit
28 Communication unit
41 Divided area information creation unit (display size determination unit)
42 Image synthesis unit
43 Image processing unit
100 display system

Claims (35)

画面キャプチャ機能を有し、該画面キャプチャ機能によって取得したキャプチャ画像データをネットワークを介して送信する複数の端末機器と、表示部を有し、前記端末機器から送信された前記キャプチャ画像データをネットワークを介して受信し、画面分割により1画面の画像データに合成して前記表示部の表示画面に表示させる多画面表示機能を有するネットワーク対応表示装置とを備え、
前記ネットワーク対応表示装置の前記表示画面への多画面表示のために必要な処理である、前記画面キャプチャ機能により取得された前記キャプチャ画像データの画像サイズのサイズ変換処理を前記端末機器側で行うようにし、前記ネットワーク対応表示装置側では、そのサイズ変換後のキャプチャ画像データを前記端末機器から取得して前記合成を行うようにしたことを特徴とする表示システム。
A plurality of terminal devices having a screen capture function and transmitting captured image data obtained by the screen capture function via a network, and a display unit, and transmitting the captured image data transmitted from the terminal device to a network. And a network-compatible display device having a multi-screen display function of combining the data into image data of one screen by screen division and displaying the image data on the display screen of the display unit.
The terminal device side performs a size conversion process of an image size of the captured image data acquired by the screen capture function, which is a process required for multi-screen display on the display screen of the network-compatible display device. Wherein the network-compatible display device acquires the captured image data after the size conversion from the terminal device and performs the synthesis.
前記ネットワーク対応表示装置は、前記表示部の表示画面を、表示すべき端末機器台数分に分割し、その表示すべき端末機器に割り当てる分割画面の表示サイズを決定して該当端末機器に送信し、その表示サイズを受信した端末機器は、前記サイズ変換処理の際、前記キャプチャ画像データの画像サイズを、前記受信した前記表示サイズにサイズ変換することを特徴とする請求項1記載の表示システム。The network-compatible display device divides the display screen of the display unit into the number of terminal devices to be displayed, determines the display size of the divided screen to be allocated to the terminal device to be displayed, and transmits the display size to the terminal device. 2. The display system according to claim 1, wherein the terminal device having received the display size converts the image size of the captured image data into the received display size during the size conversion process. 3. 前記端末機器は、前記画面キャプチャ機能によって取得したキャプチャ画像データを、前記サイズ変換処理に加え、更に前記ネットワーク対応表示装置の前記表示部の表示色数への色変換処理を行ってから前記ネットワーク対応表示装置に送信することを特徴とする請求項1又は請求項2記載の表示システム。The terminal device, in addition to the size conversion process, the captured image data obtained by the screen capture function, further performs a color conversion process to the number of display colors of the display unit of the network compatible display device, and then performs the network compatible The display system according to claim 1, wherein the display system transmits the data to a display device. 前記ネットワーク対応表示装置は、前記端末機器に表示サイズを送信する際に、自身の前記表示部の表示色数も送信し、前記端末機器は、前記ネットワーク対応表示装置から受信した前記表示色数に基づいて前記色変換処理を行うことを特徴とする請求項3記載の表示システム。When transmitting the display size to the terminal device, the network-compatible display device also transmits the number of display colors of its own display unit, and the terminal device changes the display color number received from the network-compatible display device to the display color number. The display system according to claim 3, wherein the color conversion process is performed based on the color conversion process. 前記ネットワーク対応表示装置がプロジェクタであることを特徴とする請求項1乃至請求項4の何れかに記載の表示システム。The display system according to any one of claims 1 to 4, wherein the network-compatible display device is a projector. 前記ネットワーク対応表示装置がプラズマディスプレイであることを特徴とする請求項1乃至請求項4の何れかに記載の表示システム。The display system according to any one of claims 1 to 4, wherein the network-compatible display device is a plasma display. 前記ネットワーク対応表示装置が液晶モニタであることを特徴とする請求項1乃至請求項4の何れかに記載の表示システム。The display system according to claim 1, wherein the network-compatible display device is a liquid crystal monitor. 前記ネットワーク対応表示装置が有機ELディスプレイであることを特徴とする請求項1乃至請求項4の何れかに記載のネットワーク対応表示装置。The network-compatible display device according to any one of claims 1 to 4, wherein the network-compatible display device is an organic EL display. 前記端末機器がパソコンまたはPDAであることを特徴とする請求項1乃至請求項8の何れかに記載の表示システム。9. The display system according to claim 1, wherein the terminal device is a personal computer or a PDA. 画面キャプチャ機能をそれぞれ備えた複数の端末機器とネットワークを介して接続されるネットワーク対応表示装置であって、
表示部と、
前記各端末機器との双方向通信が可能な通信部と、
表示制御部とを備え、
前記各端末機器それぞれで前記画面キャプチャ機能により取得され所定の画像サイズにサイズ変換されたキャプチャ画像データを前記通信部で受信し、前記表示制御部は、前記通信部で受信した前記各キャプチャ画像データを画面分割により1画面の画像データに合成して前記表示部の表示画面に表示させる多画面表示機能を有することを特徴とするネットワーク対応表示装置。
A network-compatible display device connected via a network to a plurality of terminal devices each having a screen capture function,
A display unit,
A communication unit capable of bidirectional communication with each of the terminal devices;
A display control unit,
Each of the terminal devices receives the captured image data obtained by the screen capture function and converted to a predetermined image size by the communication unit, and the display control unit receives the captured image data received by the communication unit. A multi-screen display function for synthesizing the image data into one screen image data by screen division and displaying the image data on the display screen of the display unit.
前記表示制御部は、現在の表示画面に新たな画面を割り込ませて表示させる割り込み機能を有することを特徴とする請求項10記載のネットワーク対応表示装置。11. The network-compatible display device according to claim 10, wherein the display control unit has an interrupt function of interrupting and displaying a new screen on a current display screen. 前記ネットワーク対応表示装置に接続されている複数の端末機器の中から、前記表示画面にキャプチャ画像データを表示させる端末機器をユーザが任意に選択できるようにしたことを特徴とする請求項10又は請求項11記載のネットワーク対応表示装置。11. The user can arbitrarily select a terminal device for displaying captured image data on the display screen from among a plurality of terminal devices connected to the network-compatible display device. Item 12. A network-compatible display device according to item 11. 前記表示画面にキャプチャ画像データを表示させる端末機器の選択を、前記通信部の双方向通信によってネットワーク対応表示装置側からも、端末機器側からも可能とすることを特徴とする請求項10乃至請求項12の何れかに記載のネットワーク対応表示装置。11. The terminal device for displaying captured image data on the display screen can be selected from both the network-compatible display device side and the terminal device side by bidirectional communication of the communication unit. Item 13. The network-compatible display device according to any one of Items 12. 前記表示制御部は、前記表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を拡大表示させる拡大表示機能を有することを特徴とする請求項10乃至請求項13の何れかに記載のネットワーク対応表示装置。11. The display control unit according to claim 10, wherein the display control unit has an enlarged display function of enlarging and displaying a predetermined divided screen from among a plurality of divided screens forming a multi-screen displayed on the display screen. Item 14. The network-compatible display device according to any one of Items 13. 前記表示制御部は、前記表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を前記表示画面全体の表示に切り替える単画面切替機能を有することを特徴とする請求項10乃至請求項13の何れかに記載のネットワーク対応表示装置。The display control unit has a single-screen switching function of switching a predetermined divided screen to display the entire display screen from among a plurality of divided screens forming a multi-screen displayed on the display screen. The network-compatible display device according to any one of claims 10 to 13. 前記表示制御部は、前記表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を消去させる消去機能を有することを特徴とする請求項10乃至請求項13の何れかに記載のネットワーク対応表示装置。14. The display control unit according to claim 10, wherein the display control unit has an erasing function for erasing a predetermined divided screen from among a plurality of divided screens constituting a multi-screen displayed on the display screen. The network-compatible display device according to any one of the above. 前記所定の分割画面は、ユーザ操作に基づいて選択されたものであることを特徴とする請求項14乃至請求項16の何れかに記載のネットワーク対応表示装置。17. The network-compatible display device according to claim 14, wherein the predetermined split screen is selected based on a user operation. 前記所定の分割画面は、前記通信部の双方向通信によってネットワーク対応表示装置側からも、端末機器側からも選択可能であることを特徴とする請求項17記載のネットワーク対応表示装置。18. The network-compatible display device according to claim 17, wherein the predetermined divided screen can be selected from both the network-compatible display device and the terminal device by bidirectional communication of the communication unit. 前記端末機器から受信した前記キャプチャ画像データが、前記端末機器の表示画面の全部または一部範囲を指定してキャプチャして得られた画像データであることを特徴とする請求項10乃至請求項18の何れかに記載のネットワーク対応表示装置。19. The image data obtained from the terminal device, wherein the captured image data is image data obtained by designating a whole or a part of a display screen of the terminal device and capturing the image. The network-compatible display device according to any one of the above. 前記端末機器から取得するキャプチャデータが、端末機器の表示画面上の変化を検出し、画面上の変化分のみをキャプチャして得られた画像データであることを特徴とする請求項10乃至請求項18の何れかに記載のネットワーク対応表示装置。The captured data acquired from the terminal device is image data obtained by detecting a change on a display screen of the terminal device and capturing only a change on the screen. 19. The network-compatible display device according to any one of 18. 前記表示部の表示画面を、表示すべき端末機器台数分に分割し、その表示すべき端末機器に割り当てる分割画面の表示サイズを決定する表示サイズ決定部と、該表示サイズ決定部で決定された表示サイズを前記通信部により該当の各端末機器にそれぞれ送信する制御部とを備え、該制御部は、前記表示サイズを送信した各端末機器から、その端末機器に割り当てた分割画面の表示サイズにサイズ変換されたキャプチャ画像データを前記通信部で受信し、受信した各キャプチャ画像データを1画面の画像データに合成して前記表示部に表示するように前記表示制御部を制御することを特徴とする請求項10乃至請求項20の何れかに記載のネットワーク対応表示装置。The display screen of the display unit is divided into the number of terminal devices to be displayed, a display size determination unit that determines a display size of the divided screen to be allocated to the terminal device to be displayed, and the display size determination unit determines A control unit for transmitting the display size to each of the corresponding terminal devices by the communication unit.The control unit converts the display size from the terminal device that has transmitted the display size to the display size of the divided screen assigned to the terminal device. The communication unit receives the size-converted captured image data, and controls the display control unit so that each of the received captured image data is combined with image data of one screen and displayed on the display unit. The network-compatible display device according to any one of claims 10 to 20. 表示すべき端末機器に割り当てる分割画面のアスペクト比を、その端末機器の表示部の表示画面のアスペクト比と同じとしたことを特徴とする請求項21記載のネットワーク対応表示装置。22. The network-compatible display device according to claim 21, wherein an aspect ratio of a divided screen assigned to a terminal device to be displayed is the same as an aspect ratio of a display screen of a display unit of the terminal device. 前記制御部は、端末機器に表示サイズを送信する際に、前記表示部の表示色数も送信し、前記表示サイズおよび前記表示色数を送信した端末機器から、その端末機器に割り当てた分割画面の表示サイズにサイズ変換され、且つ前記表示色数に変換されたキャプチャ画像データを前記通信部で受信し、受信した各キャプチャ画像データを1画面の画像データに合成して前記表示部に表示するように前記表示制御部を制御することを特徴とする請求項10乃至請求項22の何れかに記載のネットワーク対応表示装置。The control unit, when transmitting the display size to the terminal device, also transmits the number of display colors of the display unit, from the terminal device that transmitted the display size and the number of display colors, the divided screen assigned to the terminal device The communication unit receives the captured image data that has been converted to the display size and converted to the number of display colors, and combines each of the received captured image data into one-screen image data to be displayed on the display unit. The network-compatible display device according to any one of claims 10 to 22, wherein the display control unit is controlled as described above. 前記通信部の通信プロトコルがTCP/IPであることを特徴とする請求項10乃至請求項23の何れかに記載のネットワーク対応表示装置。24. The network-compatible display device according to claim 10, wherein a communication protocol of the communication unit is TCP / IP. 前記ネットワークが、LAN、無線LAN、近距離無線LANのうちの何れかであることを特徴とする請求項10乃至請求項24の何れかに記載のネットワーク対応表示装置。The network-compatible display device according to any one of claims 10 to 24, wherein the network is any one of a LAN, a wireless LAN, and a short-range wireless LAN. 請求項10乃至請求項25の何れかに記載のネットワーク対応表示装置を搭載したことを特徴とするネットワーク対応プロジェクタ。A network-compatible projector, comprising the network-compatible display device according to any one of claims 10 to 25. 前記表示部が液晶ライトバルブ、LCOSライトバルブ、DMDの何れかであることを特徴とする請求項26記載のネットワーク対応プロジェクタ。27. The network-compatible projector according to claim 26, wherein the display unit is one of a liquid crystal light valve, an LCOS light valve, and a DMD. 請求項10乃至請求項25の何れかに記載のネットワーク対応表示装置を搭載し、前記表示部がプラズマディスプレイパネルであることを特徴とするネットワーク対応プラズマディスプレイ。26. A network-compatible plasma display, comprising the network-compatible display device according to any one of claims 10 to 25, wherein the display unit is a plasma display panel. 請求項10乃至請求項25の何れかに記載のネットワーク対応表示装置を搭載し、前記表示部が液晶パネルであることを特徴とするネットワーク対応液晶モニタ。26. A network compatible liquid crystal monitor, comprising the network compatible display device according to claim 10, wherein the display unit is a liquid crystal panel. 請求項10乃至請求項25の何れかに記載のネットワーク対応表示装置を搭載し、前記表示部が有機ELパネルであることを特徴とするネットワーク対応有機ELディスプレイ。26. A network-compatible organic EL display, comprising the network-compatible display device according to claim 10, wherein the display unit is an organic EL panel. 請求項10乃至請求項25の何れかに記載のネットワーク対応表示装置の前記表示制御部をCPUにより実現させることを特徴とする表示制御プログラム。A display control program, wherein the display control unit of the network-compatible display device according to any one of claims 10 to 25 is realized by a CPU. 請求項10乃至請求項25の何れかに記載のネットワーク対応表示装置にネットワークを介して接続される端末機器であって、
表示部と、
前記ネットワーク対応表示装置との双方向通信が可能な通信部と、
前記表示部の表示画面に表示された内容をキャプチャする画面キャプチャ処理部と、
前記画面キャプチャ処理部でキャプチャしたキャプチャ画像データを所定の画像サイズにサイズ変換する画像変換部と、
該画像変換部でサイズ変換されたキャプチャ画像データを前記通信部から前記ネットワーク対応表示装置に送信させる制御部とを備え、
前記ネットワーク対応表示装置の前記表示画面に表示される多画面のうちの1分割画面に表示されるキャプチャ画像データを生成するものであることを特徴とする端末機器。
A terminal device connected to the network-compatible display device according to any one of claims 10 to 25 via a network,
A display unit,
A communication unit capable of two-way communication with the network-compatible display device;
A screen capture processing unit that captures the content displayed on the display screen of the display unit,
An image conversion unit that converts the size of the captured image data captured by the screen capture processing unit to a predetermined image size,
A control unit that transmits the captured image data whose size has been converted by the image conversion unit from the communication unit to the network-compatible display device,
A terminal device for generating captured image data to be displayed on one divided screen among multiple screens displayed on the display screen of the network-compatible display device.
前記ネットワーク対応表示装置の前記表示画面は、表示すべき端末機器台数分に分割され、その表示すべき端末機器に割り当てられる分割画面の表示サイズが決められており、前記画像変換部は、前記画面キャプチャ処理部で取得したキャプチャ画像データを、自端末機器に割り当てられた表示サイズにサイズ変換することを特徴とする請求項32記載の端末機器。The display screen of the network-compatible display device is divided into the number of terminal devices to be displayed, the display size of the divided screen allocated to the terminal device to be displayed is determined, the image conversion unit, 33. The terminal device according to claim 32, wherein the size of the captured image data acquired by the capture processing unit is converted into a display size assigned to the own terminal device. 前記画像変換部は、前記サイズ変換に加えて、更に、前記ネットワーク対応表示装置の前記表示部の表示色数に色変換を行い、前記制御部は、前記サイズ変換処理および前記色変換処理を施したキャプチャ画像データを前記通信部から前記ネットワーク対応表示装置に送信することを特徴とする請求項32又は請求項33記載の端末機器。The image conversion unit performs, in addition to the size conversion, a color conversion to the number of display colors of the display unit of the network-compatible display device, and the control unit performs the size conversion process and the color conversion process. 34. The terminal device according to claim 32, wherein the captured image data is transmitted from the communication unit to the network-compatible display device. 請求項32乃至請求項34の何れかに記載の端末機器の各処理部をCPUにより実現させることを特徴とする制御プログラム。35. A control program for causing a processing unit of the terminal device according to claim 32 to be realized by a CPU.
JP2002214406A 2002-07-23 2002-07-23 Display system Expired - Fee Related JP4010199B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2002214406A JP4010199B2 (en) 2002-07-23 2002-07-23 Display system
CN03150183.4A CN1268122C (en) 2002-07-23 2003-07-18 Display system, network answering display device, terminal apparatus and controlling program
DE60316388T DE60316388T2 (en) 2002-07-23 2003-07-22 Image display system, network interactive image display device, terminal and access control program
EP03254570A EP1385336B1 (en) 2002-07-23 2003-07-22 Display system, network interactive display device, terminal, and control program
US10/623,518 US20040130568A1 (en) 2002-07-23 2003-07-22 Display system, network interactive display device, terminal, and control program
US12/588,714 US8656302B2 (en) 2002-07-23 2009-10-26 Display system, network interactive display device, terminal, and control program
US14/139,369 US20140115528A1 (en) 2002-07-23 2013-12-23 Display system, network interactive display device, terminal, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002214406A JP4010199B2 (en) 2002-07-23 2002-07-23 Display system

Publications (3)

Publication Number Publication Date
JP2004054783A true JP2004054783A (en) 2004-02-19
JP2004054783A5 JP2004054783A5 (en) 2005-02-24
JP4010199B2 JP4010199B2 (en) 2007-11-21

Family

ID=31936737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002214406A Expired - Fee Related JP4010199B2 (en) 2002-07-23 2002-07-23 Display system

Country Status (1)

Country Link
JP (1) JP4010199B2 (en)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292876A (en) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd Image display system
JP2006058608A (en) * 2004-08-20 2006-03-02 Victor Co Of Japan Ltd Display device for presentation, and display method
JP2006189574A (en) * 2005-01-05 2006-07-20 Mitsubishi Electric Corp Collaborative work system for large screen display apparatus, and management method of display region
JP2007013353A (en) * 2005-06-29 2007-01-18 Nec Corp Character/data transmission/reception system, terminal management equipment and character/data transmission/reception method to be used for the same and its program
JP2007011485A (en) * 2005-06-28 2007-01-18 Chugoku Electric Power Co Inc:The Method, device and program for acquiring image data
JP2007148350A (en) * 2005-10-28 2007-06-14 Sharp Corp Image output device, image display device, image output communications system, image list display system, program, recording medium, and image output method
JPWO2005088602A1 (en) * 2004-03-10 2008-01-31 松下電器産業株式会社 Image transmission system and image transmission method
JP2008118317A (en) * 2006-11-02 2008-05-22 Casio Comput Co Ltd Projection device
JP2008146495A (en) * 2006-12-12 2008-06-26 Sony Corp Display control system, display controller, display control method, display control program, image output device, image output method, image output program, and display device
JP2009510816A (en) * 2005-09-27 2009-03-12 聯想(北京)有限公司 Display signal wireless transmission method and apparatus, and display device
JP2010211722A (en) * 2009-03-12 2010-09-24 Casio Computer Co Ltd Display apparatus, display method, and program
CN101902652A (en) * 2009-05-29 2010-12-01 精工爱普生株式会社 Image display system, image display device and method for displaying image
US7895269B2 (en) 2004-11-02 2011-02-22 Canon Kabushiki Kaisha Information processing apparatus and method in which data rasterized on a plurality of memories is transmitted to corresponding external apparatuses
WO2011158574A1 (en) * 2010-06-16 2011-12-22 シャープ株式会社 Information processor provided with camera, method for controlling the information rpocessor, and storage medium
JP2012069096A (en) * 2010-08-25 2012-04-05 Telework Management:Kk Information transmission system, information terminal and information transmission method
JP2012511288A (en) * 2008-12-11 2012-05-17 クアルコム,インコーポレイテッド Dynamic resource sharing between multiple wireless devices
JP2013084279A (en) * 2012-11-14 2013-05-09 Seiko Epson Corp Graphical user interface device, image display device and control method
JP2013097158A (en) * 2011-10-31 2013-05-20 Nec Access Technica Ltd Display system, display method, and display device
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US8726156B2 (en) 2007-08-07 2014-05-13 Seiko Epson Corporation Graphical user interface device
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9002947B2 (en) 2010-03-15 2015-04-07 Seiko Epson Corporation Display device, terminal device, display system, display method, and image alteration method
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9170767B2 (en) 2010-07-29 2015-10-27 Seiko Epson Corporation Information storage medium, terminal device, display system, and image generating method
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
JP2017161883A (en) * 2015-09-14 2017-09-14 株式会社リコー Display system
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
JP2018036470A (en) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 Display system, display device, method for controlling display device, and program
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US10248373B2 (en) 2009-05-06 2019-04-02 Roche Diagnostics Operations, Inc. Analysis system for analyzing biological samples, data processing method and computer program product
US10303419B2 (en) 2016-07-06 2019-05-28 Ricoh Company, Ltd. Information processing system, display processing apparatus, display processing method, and recording medium
JP2019109803A (en) * 2017-12-20 2019-07-04 コニカミノルタ株式会社 Touch panel sharing support device, touch panel sharing method, and computer program
US10564921B2 (en) 2016-03-09 2020-02-18 Ricoh Company, Ltd. Display device, display method, and display system for determining image display size
JP2022153986A (en) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 Display control method and display system

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2005088602A1 (en) * 2004-03-10 2008-01-31 松下電器産業株式会社 Image transmission system and image transmission method
JP5295500B2 (en) * 2004-03-10 2013-09-18 パナソニック株式会社 Image transmission system, image transmission method, image projection apparatus, and program
JP2005292876A (en) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd Image display system
JP2006058608A (en) * 2004-08-20 2006-03-02 Victor Co Of Japan Ltd Display device for presentation, and display method
US7895269B2 (en) 2004-11-02 2011-02-22 Canon Kabushiki Kaisha Information processing apparatus and method in which data rasterized on a plurality of memories is transmitted to corresponding external apparatuses
JP2006189574A (en) * 2005-01-05 2006-07-20 Mitsubishi Electric Corp Collaborative work system for large screen display apparatus, and management method of display region
JP4646633B2 (en) * 2005-01-05 2011-03-09 三菱電機株式会社 Collaborative work system for large screen display device and display area management method
JP2007011485A (en) * 2005-06-28 2007-01-18 Chugoku Electric Power Co Inc:The Method, device and program for acquiring image data
JP4621551B2 (en) * 2005-06-28 2011-01-26 中国電力株式会社 Image data acquisition method, image data acquisition device, and program
JP4595712B2 (en) * 2005-06-29 2010-12-08 日本電気株式会社 Character / data transmission / reception system, terminal management apparatus, character / data transmission / reception method used therefor, and program thereof
JP2007013353A (en) * 2005-06-29 2007-01-18 Nec Corp Character/data transmission/reception system, terminal management equipment and character/data transmission/reception method to be used for the same and its program
JP2009510816A (en) * 2005-09-27 2009-03-12 聯想(北京)有限公司 Display signal wireless transmission method and apparatus, and display device
US8060148B2 (en) 2005-09-27 2011-11-15 Lenovo (Beijing) Limited Method and appratus for wirelessly transmitting display signals, and display device
JP2007148350A (en) * 2005-10-28 2007-06-14 Sharp Corp Image output device, image display device, image output communications system, image list display system, program, recording medium, and image output method
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
JP2008118317A (en) * 2006-11-02 2008-05-22 Casio Comput Co Ltd Projection device
JP2008146495A (en) * 2006-12-12 2008-06-26 Sony Corp Display control system, display controller, display control method, display control program, image output device, image output method, image output program, and display device
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
US8726156B2 (en) 2007-08-07 2014-05-13 Seiko Epson Corporation Graphical user interface device
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
JP2012511288A (en) * 2008-12-11 2012-05-17 クアルコム,インコーポレイテッド Dynamic resource sharing between multiple wireless devices
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
JP2010211722A (en) * 2009-03-12 2010-09-24 Casio Computer Co Ltd Display apparatus, display method, and program
US10248373B2 (en) 2009-05-06 2019-04-02 Roche Diagnostics Operations, Inc. Analysis system for analyzing biological samples, data processing method and computer program product
CN101902652A (en) * 2009-05-29 2010-12-01 精工爱普生株式会社 Image display system, image display device and method for displaying image
CN101902652B (en) * 2009-05-29 2013-04-24 精工爱普生株式会社 Image display system, image display device, and image display method
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US9002947B2 (en) 2010-03-15 2015-04-07 Seiko Epson Corporation Display device, terminal device, display system, display method, and image alteration method
JP2012004798A (en) * 2010-06-16 2012-01-05 Sharp Corp Information processor, program for information display and control method of information processor
WO2011158574A1 (en) * 2010-06-16 2011-12-22 シャープ株式会社 Information processor provided with camera, method for controlling the information rpocessor, and storage medium
US9170767B2 (en) 2010-07-29 2015-10-27 Seiko Epson Corporation Information storage medium, terminal device, display system, and image generating method
JP2012069096A (en) * 2010-08-25 2012-04-05 Telework Management:Kk Information transmission system, information terminal and information transmission method
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US10382494B2 (en) 2011-01-21 2019-08-13 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US10911498B2 (en) 2011-01-21 2021-02-02 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9723359B2 (en) 2011-02-04 2017-08-01 Qualcomm Incorporated Low latency wireless display for graphics
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
JP2013097158A (en) * 2011-10-31 2013-05-20 Nec Access Technica Ltd Display system, display method, and display device
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
JP2013084279A (en) * 2012-11-14 2013-05-09 Seiko Epson Corp Graphical user interface device, image display device and control method
JP2017161883A (en) * 2015-09-14 2017-09-14 株式会社リコー Display system
US10564921B2 (en) 2016-03-09 2020-02-18 Ricoh Company, Ltd. Display device, display method, and display system for determining image display size
US10303419B2 (en) 2016-07-06 2019-05-28 Ricoh Company, Ltd. Information processing system, display processing apparatus, display processing method, and recording medium
JP2018036470A (en) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 Display system, display device, method for controlling display device, and program
JP2019109803A (en) * 2017-12-20 2019-07-04 コニカミノルタ株式会社 Touch panel sharing support device, touch panel sharing method, and computer program
JP2022153986A (en) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 Display control method and display system

Also Published As

Publication number Publication date
JP4010199B2 (en) 2007-11-21

Similar Documents

Publication Publication Date Title
JP4010199B2 (en) Display system
JP4010198B2 (en) Network-compatible display device, network-compatible projector, and display control program
EP1385336B1 (en) Display system, network interactive display device, terminal, and control program
JP4692529B2 (en) Graphical user interface device
US9298412B2 (en) Conferencing system, server, image display method, and computer program product
JP5295500B2 (en) Image transmission system, image transmission method, image projection apparatus, and program
JP5585506B2 (en) Program, information storage medium, terminal device, and display system
JP2002118738A (en) Image display device and method, information processing unit using the image display device, and storage medium
US9002947B2 (en) Display device, terminal device, display system, display method, and image alteration method
WO1999040563A1 (en) Projection display and display method therefor, and image display
JP4479761B2 (en) Conference system, connection method
JP2013041181A (en) Network system, image projection device, and program
JP5825324B2 (en) Terminal device for assigning image to divided screen displayed by image display device, control method for terminal device, and computer program
JP2008123408A (en) Projection apparatus, program, projection method, and projection system
JP2008158342A (en) Information processor, method of controlling information processor, program, and recording medium
JP5445661B2 (en) Graphical user interface device and control method
JP5944000B2 (en) Image display system, information terminal, information terminal control method and control program
JP5136663B2 (en) Graphical user interface device
JP2005292876A (en) Image display system
JP2004252649A (en) Network conference room reservation system
JP2014057348A (en) Conference system, server, image display method, computer program and recording medium
JP5408033B2 (en) CONFERENCE SYSTEM, SERVER, IMAGE DISPLAY METHOD, COMPUTER PROGRAM, AND RECORDING MEDIUM
JP2004013849A (en) Projector system
JP5338697B2 (en) Image transfer system and image transfer method in image transfer system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130914

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees