JP2009110258A - 画面共有システム - Google Patents

Abstract

【課題】画像データの品質劣化を抑えて、複数の端末が１つの画面を共有する画面共有システムを得る。
【解決手段】ネットワーク２に複数のクライアント端末とサーバ１が接続され、クライアント端末は、入力される入力イベントを取得し、この取得したイベントをサーバ１へイベント送受信部により送信し、サーバ１では、画像描画処理部１２によってこのイベントに応じた画像をＧＵＩ部１８の画面に表示し、この画面情報をイベントに応じて複数のクライアント端末にユニキャスト通信及びマルチキャスト通信のいずれかの通信方式で送信し、これを受信した複数のクライアント端末でＧＵＩ部に表示するようにした。
【選択図】図２

Description

この発明は、ネットワークに接続された複数の端末が１つの画面を共有する画面共有システムに関するものである。

従来の画面共有システムは、ネットワークに接続された複数の端末が、頻繁に画像変更が行われる場合でも、各端末装置が同期した画像を表示することができる。
（例えば、特許文献１参照）

特開２００５−１８４６０号公報（第４〜９頁、図１）

従来の画像転送システムは、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）に基づいたマルチキャスト通信によって分割された画像データを送受信する手段を設けているが、ＵＤＰ通信は誤り訂正手段を持たない通信プロトコルであるので、転送される画像データ品質の劣化が問題であった。

この発明は、上記のような課題を解決するためになされたものであり、画像データの品質劣化を抑えて、複数の端末が１つの画面を共有する画面共有システムを得ることを目的にしている。

この発明に係わる画面共有システムにおいては、ネットワークに接続された複数のクライアント端末が、ネットワークに接続されたサーバの画面を共有する画面共有システムにおいて、
クライアント端末は、入力イベントが入力される入力部、この入力部で入力されたイベントをサーバへユニキャスト通信により送信するイベント送信部、サーバからユニキャスト通信により送信される画面情報を受信するユニキャスト受信部、サーバからマルチキャスト通信により送信される画面情報を受信するマルチキャスト受信部、及びユニキャスト受信部またはマルチキャスト受信部により受信された画面情報に基づき、画像を表示する第一の画像表示部を備え、
また、サーバは、クライアント端末からユニキャスト通信により送信されたイベントを受信するイベント受信部、このイベント受信部により受信されたイベントによって画面に画像を表示する第二の画像表示部、クライアント端末に画面情報をユニキャスト通信により送信するユニキャスト送信部、及びクライアント端末に画面情報をマルチキャスト通信により送信するマルチキャスト送信部を備え、
サーバは、受信されたイベントに応じて、ユニキャスト通信及びマルチキャスト通信のいずれの通信方式によって送信するかを決定するとともに、この決定した通信方式により画面情報をクライアント端末に送信するものである。

この発明は、以上説明したように、ネットワークに接続された複数のクライアント端末が、ネットワークに接続されたサーバの画面を共有する画面共有システムにおいて、
クライアント端末は、入力イベントが入力される入力部、この入力部で入力されたイベントをサーバへユニキャスト通信により送信するイベント送信部、サーバからユニキャスト通信により送信される画面情報を受信するユニキャスト受信部、サーバからマルチキャスト通信により送信される画面情報を受信するマルチキャスト受信部、及びユニキャスト受信部またはマルチキャスト受信部により受信された画面情報に基づき、画像を表示する第一の画像表示部を備え、
また、サーバは、クライアント端末からユニキャスト通信により送信されたイベントを受信するイベント受信部、このイベント受信部により受信されたイベントによって画面に画像を表示する第二の画像表示部、クライアント端末に画面情報をユニキャスト通信により送信するユニキャスト送信部、及びクライアント端末に画面情報をマルチキャスト通信により送信するマルチキャスト送信部を備え、
サーバは、受信されたイベントに応じて、ユニキャスト通信及びマルチキャスト通信のいずれの通信方式によって送信するかを決定するとともに、この決定した通信方式により画面情報をクライアント端末に送信するので、マルチキャスト通信で発生するデータ損失の影響をユニキャスト通信で補い、データ損失の影響を低減することができる。

実施の形態１．
以下、この発明の実施の形態１について詳細に説明する。
図１は、この発明の実施の形態１による画面共有システムを示す構成図である。
図１において、クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄは、サーバ１とネットワーク２に接続され、サーバ１上の画面を共有することができる。
サーバ１とクライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄは、ネットワーク２を通して、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ：ユニキャスト通信）とＵＤＰ（マルチキャスト通信）で通信することができる。また、各クライアント端末からのキーワードイベントやマウスイベントをサーバ１にＴＣＰ（ユニキャスト通信）にて送信し、その結果、表示されるサーバ１の画面を全クライアント端末３Ａ、３Ｂ、３Ｃ、３ＤにＴＣＰ（ユニキャスト通信）とＵＤＰ（マルチキャスト通信）にて送信し、全クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄで、サーバ画面を共有することができる。

図２は、この発明の実施の形態１による画面共有システムのサーバを示す機能構成図である。
図２において、サーバ１は、次の機能により構成されている。
画像描画処理部１２は、画像データを表示するために画像を描画する機能である。画像分割部１３は、画面情報を分割する機能である。マルチキャスト送信部１４は、画像データをＵＤＰ（マルチキャスト通信）にて送信する機能である。ユニキャスト通信部１５は、画像データをＴＣＰ（ユニキャスト通信）にて送信する機能である。イベント処理部１６は、イベントを処理する。イベント送受信部１７（イベント受信部）は、クライアント端末３からのイベント情報を受信するなど、イベント情報を送受信する機能である。ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部１８は、画像描画処理部１２からの画像を画面表示する機能である。なお、ＧＵＩ部１８と画像描画処理部１２は、第二の画像表示部を構成する。

図３は、この発明の実施の形態１による画面共有システムのクライアント端末を示す機能構成図である。
図３において、クライアント端末３は、次の機能により構成されている。
画像描画処理部３２は、画像データを表示するために画像を描画する機能である。マルチキャスト受信部３３は、画像データをＵＤＰ（マルチキャスト通信）にて受信する機能である。ユニキャスト受信部３４は、画像データをＴＣＰ（ユニキャスト通信）にて受信する機能である。イベント処理部３５は、入力されたイベント情報を処理する。イベント送受信部３６（イベント送信部）は、イベント処理されたイベント情報をサーバ１へ送信するなど、サーバ１との間でイベント情報を送受信する機能である。ＧＵＩ部３７は、画像描画処理部３２の画像を表示する機能である。入力部３８は、キーボード情報やマウスからイベントを入力する機能である。
なお、ＧＵＩ部３７と画像描画処理部３２は、第一の画像表示部を構成する。

次に、動作について説明する。
図１の各クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄから入力されたキーボード情報、マウス情報のイベント情報がＴＣＰ（ユニキャスト通信）にて、サーバ１に送信される。サーバ１では、送信されたイベント情報をＴＣＰ（ユニキャスト通信）にて受信し、イベント情報を処理し、画面表示する。
画面表示された画面情報をサーバ１では、各クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄに対して、ＴＣＰ（ユニキャスト通信）かＵＤＰ（マルチキャスト通信）にて送信する。各クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄでは、ＴＣＰ（ユニキャスト通信）かＵＤＰ（マルチキャスト通信）にて送信された画面情報を受信し、画面に表示する。これによって、各クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄでは、画面を共有することができる。

次に、図２のサーバ側の動作について説明する。
各クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄから送信されたイベント情報（キーボードイベント、マウスイベント、全画面要求イベント、クライアント追加イベント）をイベント送受信部１７で、ＴＣＰ（ユニキャスト通信）にて受信し、イベント処理部１６では、イベントを処理し、画像描画処理部１２では、イベント情報によって描画処理をし、ＧＵＩ部１８では画面に画像を表示する。
また、画像描画処理部１２では、送られてきたイベント情報によって、全クライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄに画面情報を送信する通信方式を決定する。クライアント追加イベント時などの全画面表示や全画面要求イベントの場合は、通信方式をＴＣＰ（ユニキャスト通信）通信方式とする。それ以外の場合は、ＵＤＰ（マルチキャスト通信）通信方式とする。
画像分割部１３では、送信サイズに画面情報を分割し、画像描画処理部１２で決定された通信方式を基にマルチキャスト送信部１４かユニキャスト送信部１５にて全クライアントに送信される。この際、分割されたデータと共にデータの該当する座標情報を付加して送信している。

次に、図３のクライアント端末側の動作について説明する。
クライアント端末３において、入力部３８でイベント入力され、イベント処理部３５でイベントが処理され、イベント送受信部３６にて、ＴＣＰ（ユニキャスト通信）にてサーバへ送信する。
また、マルチキャスト受信部３３、ユニキャスト受信部３４では、サーバから画面情報を受信し、画像描画処理部３２で画面情報に付加されている座標情報を基に処理し、ＧＵＩ部３７で画面表示する。

実施の形態１によれば、画面情報の共有化手法として、ＴＣＰ（ユニキャスト通信）とＵＤＰ（マルチキャスト通信）の２つの通信手段を使用することによって、ＵＤＰ（マルチキャスト通信）で発生するデータ損失の影響をＴＣＰ（ユニキャスト通信）で補い、データ損失の影響を最小限にすることができるという効果がある。
また、ＴＣＰ（ユニキャスト通信）だけで画面共有するのに比べて、ＵＤＰ（マルチキャスト通信）を使用することによって、ネットワークの負荷低減、高いリアルタイム性を実現するという効果がある。

実施の形態２．
実施の形態１では、画面情報をＴＣＰ（ユニキャスト通信）とＵＤＰ（マルチキャスト通信）の通信手段により共有する場合について述べたが、実施の形態２は、画面情報をサーバとクライアント端末間で送受信する際に最適なサイズで圧縮・展開をすることによって、リアルタイム性の高い画面共有化を実現するものである。
図４は、この発明の実施の形態２による画面共有システムのサーバを示す機能構成図である。
図４において、１、２、１２〜１８は図１におけるものと同一のものである。図４では、サーバ１に、画像データを圧縮する機能である画像圧縮部１１を設けている。

図５は、この発明の実施の形態２による画面共有システムのクライアント端末を示す機能構成図である。
図５において、２、３、３２〜３８は図３におけるものと同一のものである。図５では、クライアント端末３に、圧縮されている画像データを展開する機能である画像展開部３１を設けている。

次に、動作について説明する。
まず、サーバ側の動作について図４を用いて説明する。
サーバ１は、各クライアント端末３から送信されたイベント情報（キーボードイベント、マウスイベント、全画面要求イベント、クライアント追加イベント）をイベント送受信部１７でＴＣＰ（ユニキャスト通信）にて受信し、イベント処理部１６では、イベントを処理し、画像描画処理部１２では、イベント情報によって描画処理をし、ＧＵＩ部１８では画面に画像を表示する。
また、画像描画処理部１２では、送られてきたイベント情報によって、各クライアント端末３に画面情報を送信する通信方式を決定する。クライアント追加イベントなどの全画面表示や全画面要求イベントの場合は、通信方式をＴＣＰ（ユニキャスト通信）通信方式とする。それ以外の場合は、ＵＤＰ（マルチキャスト通信）通信方式とする。画像分割部１３では、圧縮するのに最適なサイズで画面情報を分割し、画像圧縮部１１では、画像分割部１３で決定されたサイズで圧縮をし、画像描画処理部１２で決定された通信方式を基にマルチキャスト送信部１４かユニキャスト送信部１５にて各クライアント３に送信される。
この際、圧縮されたデータと共に圧縮データの該当する座標情報を付加して送信している。また、画像分割部１３で決定されるサイズは、通信方式によって決定される。ＴＣＰ（マルチキャスト通信）では、誤り訂正手段が存在するため、ある程度大きいサイズで分割、圧縮した方が圧縮回数が減り、リアルタイム性を確保できるが、ＵＤＰ（ユニキャスト通信）では、誤り訂正手段が存在しないため、大きいサイズで分割、圧縮すると１つのデータ損失が全体に与える影響が大きくなる。
したがって、ＵＤＰ（ユニキャスト通信）では、分割・圧縮サイズは小さいサイズになるように決定する。

次に、図５を用いてクライアント端末側の動作について説明する。
クライアント端末３において、入力部３８ではイベント情報が入力され、イベント処理部３５で処理され、イベント送受信部３６にて、ＴＣＰ（ユニキャスト通信）にてサーバ１へ送信する。
また、マルチキャスト受信部３３、ユニキャスト受信部３４では、サーバ１から画像圧縮データを受信し、画像展開部３１で展開し、画像描画処理部３２では圧縮データに付加されている座標情報を基に処理し、ＧＵＩ部３７で画面表示する。

実施の形態２によれば、通信手段から送信サイズを決定し、分割・圧縮して送信するため、高いリアルタイム性と圧縮によるネットワーク負荷低減が実現できるという効果がある。
また、ＵＤＰ（ユニキャスト通信）で送信する場合でも、データ損失が全体に与える影響を最小限にするサイズで送信しているため、画面共有での品質劣化を防ぐという効果がある。

実施の形態３．
実施の形態２では、画面情報を圧縮・展開する場合について述べたが、実施の形態３では、画面情報をサーバからクライアント端末に送信する際に画面情報の変化を判断して抽出し、差分情報のみを送信する機能を備えることで、リアルタイム性の高い画面共有化を実現することができる。
図６は、この発明の実施の形態３による画面共有システムのサーバを示す機能構成図である。
図６において、１、２、１１〜１８は図４におけるものと同一のものである。図６では、サーバ１に、画像情報の変化を抽出し、差分情報を取得する画面差分抽出部１９を設けている。

次に、サーバ１の動作を図６を用いて説明する。
各クライアント端末３から送信されたイベント情報（キーボードイベント、マウスイベント、全画面要求イベント、クライアント追加イベント）をイベント送受信部１７でＴＣＰ（ユニキャスト通信）にて受信し、イベント処理部１６では、イベントを処理し、画像描画処理部１２では、イベント情報によって描画処理をし、ＧＵＩ部１８では画面に画像を表示する。
また、画像描画処理部１２では、送られてきたイベント情報によって、各クライアント端末３に画面情報を送信する通信方式を決定する。クライアント追加イベントなどの全画面表示や全画面要求イベントの場合は、通信方式をＴＣＰ（ユニキャスト通信）通信方式とする。それ以外の場合は、ＵＤＰ（マルチキャスト通信）通信方式とする。
画面差分抽出部１９では、画面情報から画面変化の部分のみを抽出し、差分情報を取得し、画像分割部１３では、圧縮するのに最適なサイズで画面情報を分割し、画像圧縮部１１では、画像データを圧縮し、画像描画処理部１２で決定された通信方式を基にマルチキャスト送信部１４かユニキャスト送信部１５にて各クライアントに送信する。

実施の形態３によれば、画面変化部分を抽出し、差分情報のみを送受信すればよいので、高いリアルタイム性とネットワークの負荷低減を実現するという効果がある。

実施の形態４．
実施の形態１〜実施の形態３では、ＴＣＰ（ユニキャスト通信）とＵＤＰ（マルチキャスト通信）の２つの通信手段を備える場合について述べたが、実施の形態４は、図７に示すように、適用する環境によってＴＣＰ（ユニキャスト）のみ使用するユニキャストモードと、ＴＣＰ（ユニキャスト通信）とＵＤＰ（マルチキャスト通信）を共存させるユニキャスト・マルチキャストモードを設定で切り替えるようにした。
図７は、この発明の実施の形態４による画面共有システムを示す構成図である。
図７において、１〜３は図１におけるものと同一のものである。図７では、画面共有システムがユニキャストモード５ａと、ユニキャスト・マルチキャストモード５ｂを有している。そして、ユニキャストモード５ａでは、サーバ１により制御される大画面４が設けられている。

ユニキャストモード５ａは、大画面４を制御するサーバ１を操作することが困難な場合などに、遠隔にあるクライアント端末３からサーバ１の画面情報を共有し、クライアント端末３から大画面４を操作することができる環境である。このような環境では、クライアント端末３は１台しかないため、ＴＣＰ（ユニキャスト通信）のみ使用することが望まれる。
ユニキャスト・マルチキャストモード５ｂは、一つのサーバ１に対して、複数台のクライアント端末３Ａ、３Ｂ、３Ｃ、３Ｄ、３Ｅ、３Ｆが接続されている環境である。このような環境では、クライアント端末数が多いため、ＴＣＰ（ユニキャスト通信）のみでは通信負荷が大きくなるので、ＴＣＰ（ユニキャスト通信）とＵＤＰ（マルチキャスト通信）の共存が望まれる。
このように、画面共有システムは、使用する環境によって、サーバの設定でモードを切り替える機能を備えている。

実施の形態４によれば、使用する環境に適したモードを切り替える機能を備えているため、様々な環境に対応することができ、高い保守性、高い環境適応性を実現するという効果がある。

実施の形態５．
実施の形態１〜実施の形態３では、サーバで画面情報の更新を判断し、各クライアント端末に送信するサーバープッシュ型の場合について述べたが、実施の形態５では、クライアント端末から画面情報取得要求があった場合にのみ、サーバが画面情報を送信するクライアントプル型を実現する機能を備えている。
図８は、この発明の実施の形態５による画面共有システムの処理を示すフローチャートであり、クライアントプル型で実現する画面共有システムの処理である。

次に、図８を用いて、実施の形態５による画面共有システムの処理について説明する。
図８において、クライアント端末から画面情報取得要求をサーバにＴＣＰ（ユニキャスト通信）で送信する（画面情報取得要求送信、Ｓ２１）。
サーバでは、クライアント端末からの画面情報取得要求をＴＣＰ（ユニキャスト通信）で受信し（取得要求受信、Ｓ１１）、画面情報を画像分割し（画像分割、Ｓ１２）、分割された画像を圧縮し（画像圧縮、Ｓ１３）、クライアント端末に送信する（画像転送、Ｓ１４）。
クライアント端末では、画像を受信し（画像受信、Ｓ２２）、受信した画像を展開し（画像展開、Ｓ２３）、描画処理をし（描画処理、Ｓ２４）、画面に表示する（表示、Ｓ２５）。

実施の形態５によれば、低帯域のような環境では、サーバプッシュ型の画面共有システムは、画面更新周期で画面共有が実施され、連続的に画面変化が発生する状況に対しては不向きであったが、クライアントプル型の画面共有システムでは、クライアント端末が必要な時に要求するので、ネットワーク負荷低減を実現でき、低帯域や頻繁な画面更新が発生する環境でも画面共有システムを実現することができるという効果がある。

この発明の実施の形態１による画面共有システムを示す構成図である。 この発明の実施の形態１による画面共有システムのサーバを示す機能構成図である。 この発明の実施の形態１による画面共有システムのクライアント端末を示す機能構成図である。 この発明の実施の形態２による画面共有システムのサーバを示す機能構成図である。 この発明の実施の形態２による画面共有システムのクライアント端末を示す機能構成図である。 この発明の実施の形態３による画面共有システムのサーバを示す機能構成図である。 この発明の実施の形態４による画面共有システムを示す構成図である。 この発明の実施の形態５による画面共有システムの処理を示すフローチャートである。

符号の説明

１ サーバ
２ ネットワーク
３ クライアント端末
４ 大画面
５ａ ユニキャストモード
５ｂ ユニキャスト・マルチキャストモード
１１ 画像圧縮部
１２ 画像描画処理部
１３ 画像分割部
１４ マルチキャスト送信部
１５ ユニキャスト送信部
１６ イベント処理部
１７ イベント送受信部
１８ ＧＵＩ部
１９ 画面差分抽出部
３１ 画像展開部
３２ 画像描画処理部
３３ マルチキャスト受信部
３４ ユニキャスト受信部
３５ イベント処理部
３６ イベント送受信部
３７ ＧＵＩ部
３８ 入力部

Claims (5)

1. ネットワークに接続された複数のクライアント端末が、上記ネットワークに接続されたサーバの画面を共有する画面共有システムにおいて、
   上記クライアント端末は、入力イベントが入力される入力部、この入力部で入力されたイベントを上記サーバへユニキャスト通信により送信するイベント送信部、上記サーバからユニキャスト通信により送信される画面情報を受信するユニキャスト受信部、上記サーバからマルチキャスト通信により送信される画面情報を受信するマルチキャスト受信部、及び上記ユニキャスト受信部または上記マルチキャスト受信部により受信された画面情報に基づき、画像を表示する第一の画像表示部を備え、
   また、上記サーバは、上記クライアント端末からユニキャスト通信により送信されたイベントを受信するイベント受信部、このイベント受信部により受信されたイベントによって画面に画像を表示する第二の画像表示部、上記クライアント端末に画面情報をユニキャスト通信により送信するユニキャスト送信部、及び上記クライアント端末に画面情報をマルチキャスト通信により送信するマルチキャスト送信部を備え、
   上記サーバは、受信されたイベントに応じて、ユニキャスト通信及びマルチキャスト通信のいずれの通信方式によって送信するかを決定するとともに、この決定した通信方式により上記画面情報を上記クライアント端末に送信することを特徴とする画面共有システム。
2. 上記サーバは、上記ユニキャスト通信または上記マルチキャスト通信にそれぞれ応じたサイズで上記画面情報を分割する画像分割部、及びこの画像分割部により分割された画面情報を圧縮する画像圧縮部を備えるとともに、
   上記クライアント端末は、上記圧縮された画面情報を展開する画像展開部を備えたことを特徴とする請求項１記載の画面共有システム。
3. 上記サーバから上記クライアント端末に送信される画面情報は、上記画面情報の差分であることを特徴とする請求項１または請求項２記載の画面共有システム。
4. 上記サーバは、上記ユニキャスト通信及びマルチキャスト通信を用いて上記画面情報を送信する第一のモードと、上記ユニキャスト通信のみで上記画面情報を送信する第二のモードとを切替えることを特徴とする請求項１〜請求項３のいずれかに記載の画面共有システム。
5. 上記サーバは、上記クライアント端末からの要求により、上記画面情報を上記クライアント端末に送信することを特徴とする請求項１〜請求項４のいずれかに記載の画面共有システム。

Images