JP2007311957A - シンクライアントシステム - Google Patents

Abstract

【課題】
シンクライアントシステムにおいて、高画質の映像再生方式を提供し、ＴＶ電話端末やＴＶ会議端末として利用できるようにする。
【解決手段】
シンクライアントサーバ装置に映像再生処理部を設け、シンクライアント端末に映像描画処理を設け、シンクライアントサーバ装置側では、映像表示領域に透過色を設定し画面データとしてリモコン経由で送信し、また同時に映像データを別ルートで送信し、シンクライアント端末側では、これらの画面データと映像データをオーバーレイ表示にて同一画面上に表示することにより実現できる。
【選択図】 図５

Description

本発明は、シンクライアントシステムおよびシンクライアントシステムに使用して好適なシンクライアント端末、シンクライアントサーバ装置等に関し、さらに詳しくはシンクライアントシステムに適用されるシンクライアント端末が、例えばＴＶ電話端末やＴＶ会議端末としても利用可能なシステム、端末、サーバ装置、方法等に関する。

近年、パーソナルコンピュータ（ＰＣ）やネットワーク機器の低価格化が進み、従業員の大半にＰＣのような端末を配布し、業務の効率化を図っている企業が多数を占めるようになっている。ＰＣが低価格化し、利用が増えると、企業内の機器管理者のメンテナンス作業もＰＣの数に比例して増える。このメンテナンス作業とは、例えばオペレーティングシステム（ＯＳ）や業務アプリケーション（ＡＰ）のバージョンアップやバグフィックス、ハードウェア的な障害への対応、ウィルス対策やウィルス駆除などが挙げられる。このようなメンテナンスなどにかかる運用管理コストは非常に大きくなり、無視できない問題となってきている。これは、従業員数が増加すると、それに比例して莫大なものになる。

この管理コストを低減する一手法として、サーバベースコンピューティングと呼ばれるシステム運用の方式がある。これは、例えば、従業員が使うＰＣ（クライアント）には最低限の機能しか持たせないようにし、サーバ側でアプリケーション（プログラム）やファイル（含データ）などの資源を一括管理し、該プログラムやデータを、ＰＣ端末からリモート操作でアクセスするシステムである。

更に詳しくは、ＰＣ端末で作業を実行する際には、ＰＣ端末側のキーボードやマウス等の操作をもって、サーバ側のアプリケーションプログラムを起動し、該アプリケーションに基づきＰＣ端末側で表示される画面データを作成し、該画面データをＰＣ端末側にリモートコントロール（以下、リモコンと称する）にて送信してなるものであり、また端末側にはデータが保存できないように構成してなるものである。端末とサーバとを結合するＩＰネットワークには、ＰＣ端末からのキーボート（キーストローク）／マウス（マウスクリック）データやサーバからのアプリケーションの画面データ（画面遷移）等の情報が流れる。ここで、リモコンによる画面データの送信は、つまりサーバ側からネットワークを通してＰＣ端末側に送信され、ＰＣ端末側で表示される画面データの送信方法は、サーバ側にて画面の更新部分を検出し、更新された画面データを圧縮して送信し、ＰＣ端末側ではこれを受信して画面情報として設定することにより画面更新を行う。この方式では、更新された差分情報だけが転送される事により、ネットワーク上を流れるデータ転送量は低く抑えることができる。

以上のように、ＰＣ端末にリモート操作プログラム以外のアプリケーションプログラムやデータを保存させないようにすることによって、ハードディスク装置などの記憶装置を持たないシンクライアント（Thin Client：以下ＴＣと略す）端末を、サーバベースコンピューティングの端末として利用することが可能である。ＴＣ端末は、昨今の個人情報保護法施行に基づき、個人情報を漏洩しない端末として注目されており、このＴＣ端末を使ったサーバベースコンピューティングシステムが普及しつつある。

シンクライアント端末を利用したサーバベースコンピューティングシステムは、情報漏洩対策システムとして非特許文献１にて解説されている。従来方式の画面転送型のほか、ネットワークブート型、ブレードＰＣ型などの特長が解説されている。

日経コミュニケーション(2005.11.25号)P50-P53

上記従来ＴＣシステムにおいて、転送画面データの変更差分データ量が比較的少ない静止画を含む画面データを送る場合には特に問題はない。しかし、動画などの映像を画面データとしてリモートコントロール（以下、リモコンと略す）を通して送信（リモコンによる画面データ転送）しようとすると、動画の場合、上記変更差分データの量が大きくなり、その結果として常に膨大な量の変更差分データがＩＰネットワーク上に流れることになる。その結果、ＩＰネットワークの負荷が上がり、ＩＰネットワーク帯域を確保できない場合は、変更差分データの欠落が発生し、映像（動画）画質が落ちるという課題があった。

本願発明の目的は、映像（動画）をＴＣ端末側に転送（又は送信や配信）するに適したシンクライアントシステム、サーバ装置および、該転送情報を受信し表示するＴＣ端末を提供することにある。

また、他の目的は、ＴＣ端末をＴＶ会議端末として利用することが可能なシンクライアントシステム、サーバ装置、端末、方法を提供することにある。

本願発明は、係る課題に鑑みなされたものであり、ＴＣサーバ装置側では、ＴＣ端末で表示される、画面データ（静止画）を作成し、リモコン−ＩＰネットワーク（論理的な通信路）、つまりリモコンを含む遠隔操作通信路を通してＴＣ端末側に送信（配信）する。画面データには、該画面データとは別に配信される映像が再生される領域を予め決定する透過色を設定してある。また、映像（動画）は、リモコン（遠隔操作通信路）とは別の通信路（ＩＰネットワークの論理的な通信路）、つまりリモコンを通さずにＴＣ端末側に配信する。

ＴＣ端末側では、ＴＣサーバ装置から送られてくる画面データと映像（動画）をそれぞれ別の通信路を介して受信し、これらの画面データと映像をオーバーレイ表示（screen overlay）方法により重ね合わせて表示可能に構成する。

本発明によれば、映像（動画）は、画面データを送信する遠隔操作通信路とは別の通信路にて、映像データ送信に最適なデータ形式にてＴＣ端末へ送信することにより、ネットワーク帯域消費を抑えることができる。

また、静止画ではなく動画再生するために最適なデータ形式で送ることができるため、動画再生するＴＣ端末側で高画質の映像を再生することができる。

また、ＴＣ端末側に音声の送受信手段と映像の送信手段を実装することにより、ＴＣサーバ装置とは異なる他の通信端末（例えば映像配信サーバ装置）と音声と映像の送受信ができるＴＶ電話端末またはＴＶ会議端末として利用可能である。

また、ＴＣ端末ではデータ、音声、映像等を保存することができないように構成しているため、上記通信端末が音楽や映像の配信サーバ装置である場合は、音楽や映像配信サービス時の著作権保護が可能な特徴を持つ端末となりうる。

図１は、本発明の一実施例を説明する上で、前提となるＴＣ端末を利用したＴＣシステムの概略図である。

同図において、ＴＣシステムは、主に個人が自由に利用可能なＴＣ端末１３０と、ＴＣ端末１３０が接続して実行することができるアプリケーションプログラムやデータ等を管理するＴＣサーバ装置１１０と、それらを接続するＩＰネットワーク１９０から構成される。

ＴＣサーバ装置１１０は、ＯＳ（オペレーションシステム）１１４、各種のアプリケーションプログラム１１５、記憶装置１１３、ＣＰＵ１１１、メモリ１１２、リモコン（リモコンＳＶ）１１６等を備えている。

ＴＣ端末１３０は、該ＴＣサーバ装置１１０から転送されるデータを固定磁気ディスク装置などの外部記憶装置に記憶できないように構成されており、入出力デバイス（表示装置１３６、キーボード１３７、マウス１３８）とその制御部（デバイス制御部１３３）、データ送受信を行うリモコン（リモコンＣＬ）１３５、ＯＳ１３４、ＣＰＵ１３１、メモリ１３２を主な構成要素としている。

ユーザが所望するＴＣ端末１３０のデータ処理は、ＴＣサーバ装置１１０側のアプリケーション１１５で実行される。このため、ＴＣ端末１３０におけるアプリケーションプログラムの更新等が不要になり、端末側の管理コスト削減が図れると共に、ＴＣ端末１３０には機密データなどが保持されないため、万が一、ＴＣ端末１３０の紛失や盗難などが発生しても、情報の外部漏洩を防ぐ、高いセキュリティを実現できる。

ＴＣサーバ装置１１０とＴＣ端末１３０との間の入出力情報（画面データ及びキーボート／マウスデータ）の送受信は、リモコンＳＶ１１６とＩＰネットワーク１９０（論理的な通信路）とリモコンＣＬ１３５とをもって構成される通信路（セッション）で、それぞれＩＰパケットの送受信により実行される。

ＴＣサーバ１１０側の画面データを、リモコンＳＶ１１６、ＩＰネットワーク１９０、リモコンＣＬ１３５を通してＴＣ端末１３０側に転送する通信経路（セッション）は、以下遠隔操作通信路と称する。

かかるＴＣシステムにおいて、ＴＣサーバ１１０のアプリケーションプログラム１１５に基づき作成される画面データ（アプリケーションの画面）１６０は、遠隔操作通信路を通してＴＣ端末１３０側に転送され、ＴＣ端末１３０側の表示装置１３６にて表示される。

図２は、ＴＣサーバ装置の出力情報である画面データがＴＣ端末で表示される一連の処理を示す概略図である。

図２のＴＣサーバ装置およびＴＣ端末は、構成の一部を省略して示しているが、図１のＴＣサーバ装置１１０およびＴＣ端末１３０と同一の構成を備えており、ＴＣサーバ装置１１０の画面表示用メモリであるＶＲＡＭ（Video Random Access Memory）−ＳＶ２１０はメモリ１１２の一部であり、ＴＣ端末１３０の画面表示用メモリであるＶＲＡＭ−ＣＬ２２０はメモリ１３２の一部である。

図２において、ＴＣサーバ装置１１０上のアプリケーションプログラム１１５が画面表示処理として動作した場合、該アプリケーションプログラムから画面データ２３１がＶＲＡＭ−ＳＶ２１０に書き込まれる。リモコンＳＶ１１６は、ＶＲＡＭ−ＳＶ２１０の画面データを常に監視しており、画面データの更新を検知すると変更差分データを取得２３２し、遠隔操作通信路を通してリモコンＣＬ１３５に送信する。リモコンＣＬ１３５はこの変更差分データを受信し、画面の更新情報としてＶＲＡＭ−ＣＬ２２０に書き込む２３３。これにより更新された画面情報は、デバイス制御１３３を経由して表示装置１３６に表示されることになる。

以上の一連の動作により、ＴＣサーバ装置１１０側のアプリケーションの処理結果が、ＴＣ端末１３０側で表示されることになる。

次に、図２の画面データ転送処理におけるリモコンの処理フローを、図３および図４を利用して以下に詳述する。

図３（ａ）は、ＴＣサーバ装置１１０の画面イメージを示す図であり、画面データ３００はすべてＶＲＡＭ−ＳＶ２１０に保持される。画面データ３００は画面解像度と表示色数に応じた情報を持つ。例えば、画面解像度が１２８０×１０２４ドット、１０２４×７６８ドットなどであり、表示色数は２４ビット色／１６ビット色／８ビット色などである。また、画面更新の検出のために、画面を一定の大きさ単位に分割する。ここでは、例えば、画面解像度が１０２４×７６８ドットで、ブロックの大きさを１６×１６ドットにした場合の画面イメージ３００と画面ブロック３０１を図示している。

図３（ｂ）は、画面ブロックテーブル３１０を説明する図である。画面ブロックテーブル３１０は、前記画面ブロックの左上の画面ブロックから右向きに順にブロック番号３１１を付与し、対応するブロックデータ３１２を保持しておくテーブルである。ブロックデータ３１２は、１ドット毎の色情報をデータ並びで保持しており、例えば、２４ビット色で「白」を表す場合は、ＲＧＢデータで(ＦＦ，ＦＦ，ＦＦ)となる。この画面ブロックテーブル３１０は、リモコンＳＶ１１６が画面更新の有無を検出するために利用するものである。

図４（ａ）はリモコンＳＶ１１６の画面データ送信処理フローを示し、図４（ｂ）はリモコンＣＬ１３５の画面データ受信フローを示すものである。

図４（ａ）において、リモコンＳＶ１１６は、最初に画面ブロックテーブル３１０を初期化する（処理４１１）。例えば、画面ブロックテーブル３１０の全ブロックデータを（ＦＦ，ＦＦ，ＦＦ）に設定する。

次に、画面情報に更新があればリモコンＣＬに変更差分データを送信するループに入る（処理４１２〜処理４１７）。すなわち、図３（ａ）に示す画面左上のブロックから右側に順番に画面情報を取り出し、画面右下のブロックまで取り出したら再び左上のブロックに戻る画面監視ループである。

画面監視ループの最初では、ＶＲＡＭ−ＳＶ２１０から指定されたブロック番号に対応する画面ブロックデータを取得する（処理４１２）。

次に、取得した画面ブロックデータと、画面ブロックテーブルに格納されている、該当ブロック番号のデータとを比較する（処理４１３）。

データ比較の結果、データが一致する場合は画面が更新されていないと判断し、次のブロックデータ取り出し処理(処理４１２)に戻る。

データ比較の結果、データが不一致の場合は画面が更新されていると判断し、取得した画面ブロックデータを画面ブロックテーブルの該当するブロック番号の値として格納する（処理４１４）。

次に、取得した画面ブロックデータを圧縮する（処理４１５）。圧縮方法にはさまざまな方式があるが、例えば、減色（例えば２４ビット色を１６ビット色または８ビット色に変換）や、静止画圧縮方式であるＪＰＥＧ圧縮などを利用する。

次に、圧縮結果の画面ブロックデータをブロック番号と共に遠隔操作通信路を通してリモコンＣＬ１３５に送信する（処理４１６）。

最後に、この一連の処理を一定間隔で繰り返し、リモコンＳＶ１１６のプログラムが終了するまで続ける（処理４１７）。

次に図４（ｂ）を用いて、リモコンＣＬ１３５の処理フローを説明する。

リモコンＣＬ１３５では、リモコンＳＶ１１６から送られてくる画面ブロックデータを受信し、これを該当するＶＲＡＭ−ＣＬ２２０に書き込むことにより、ＴＣ端末１３０側の表示装置１３６に更新画面を表示するものである。

まず、リモコンＳＶ１１６から送られてくるブロック番号と画面ブロックデータを受信する（処理４３１）。

次に、圧縮されている画面ブロックデータを伸張する（処理４３２）。

次に、受信したブロック番号に対応するＶＲＡＭ−ＣＬ２２０の該当箇所に、伸張した画面ブロックデータを書き込む（処理４３３）。これにより、受信した画面更新内容が表示装置１３６に表示される。

最後に、リモコンＣＬ１３５の動作が終了するまで前記の一連の処理を繰り返す。

以上の図４（ａ）および（ｂ）に示すリモコン間の画面データの受け渡し処理では、画面変化のあるブロックだけを効率良く送信できることになる。

係る画面データ転送技術にあっては、上述したように静止画を基本とする画面データを送る場合には特に問題はない。文書や表計算などのアプリケーションプログラムの画面表示は静止画であるため、その変更差分データ量、つまり転送データが比較的少なくて済むので、ネットワーク上の負荷は特に問題となることはない。

しかし、映像（動画）を再生するアプリケーションプログラムの場合は、画面更新の頻度が非常に高くなる。特に映像（動画）の画面サイズが大きい場合には画面更新の頻度および更新される領域が大きくなる。これを前述の図４の処理方式にて実施した場合は、画面ブロックの変更判定（処理４１３）では映像を再生するほぼすべてのブロックが変更ありの判定となり、これらすべてのブロックがＴＣ端末側に送信されることになる。すなわち、ＴＣサーバ装置１１０側では、一つの映像（動画）データを複数のブロックに分割して、これをブロック単位に圧縮して送信し、ＴＣ端末１３０側では、ブロック単位に受信したデータを伸張して、最終的に元の一つの映像画面に組み立てるということをすることになる。このように前述の処理方式は、映像（動画）を送る場合には効率が悪く、ネットワーク負荷も大きくなるという課題がある。

本発明は、係る課題を是正するためになされたものである。以下、その実施例について説明する。

図５は、本発明の方式を概略的に示す図である。すなわち、図１に示すＴＣ端末を利用したＴＣシステムにおいて、映像（動画）を高画質で再生するための方式を示している。

ＴＣサーバ装置５１０は、その一部の構成を省略しているが、図１および図２に示すＴＣサーバ装置１１０と同一の構成を備えており、さらに、映像データの映像をＩＰネットワーク１９０の論理的な通信路（非遠隔操作通信路）を介して送信するための映像再生処理部５１１を備えている。サーバ装置と端末間の呼制御は、例えばＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）で実行し、映像通信は、例えばＴＣＰやＵＤＰを使用する。ＴＣ端末５２０は、その一部の構成を省略しているが、図１および図２に示すＴＣ端末１３０と同一の構成を備えており、さらに、映像描画処理部５２１を備えている。

本発明では、図５に示すように、ＴＣサーバ装置５１０からＴＣ端末５２０に画面データを伝えるとき、従来の画面データを通知する通信路５４４と、映像データを通知する通信路５４３を分けて送信し、受信側で重ねあわせて表示させる方式である。

映像再生処理部５１１は、映像データ格納部５４０に格納されている映像データを取得し、ＩＰネットワーク１９０の論理的な通信路（非遠隔操作通信路）、つまりリモコンを含む遠隔操作通信路とは別の通信路５４３を通してＴＣ端末５２０へ配信する。この画面イメージは図５の５６１に示すとおりである。ＴＣ端末５２０はこの映像を受信し、映像描画処理部５２１にてＶＲＡＭ−ＣＬ２２０に書き込まれる。一方、ＶＲＡＭ−ＣＬ２２０には、リモコンＣＬを介した画面データが既に書き込まれている。この画面イメージは図５の５６２に示すとおりである。映像描画処理部５２１では、映像データを書き込む際には重ね合わせ表示をする。この重ね合わせ表示は、オーバーレイ表示（screen overlay）手法を用いる。このオーバーレイ表示を用いることにより、静止画の中に映像（動画）を再生した画面を組合せて表示することができるため、映像（動画）を高画質で表示することができる。これにより、表示装置１３６に最終的に表示される画面イメージは例えば、図５の５６３に示すとおりである。

次に、本発明による映像（動画）の転送および表示について図６の処理フローを用いて詳述する。

図６（ａ）は、ＴＣサーバ装置５１０側の映像再生処理フローを示し、図６（ｂ）はＴＣ端末５２０側の映像描画処理フローを示すものである。

まず、表示する映像の制御データを、遠隔操作通信路を通してＴＣ端末５２０側に送信する（処理６１１）。映像表示制御データとしては、映像表示位置、映像表示サイズ、透過色である。映像表示位置は、映像再生処理部５１１が設定した映像を表示する画面位置であり、画面の左上からのドット数で表され、例えば（１００，１００）のようになる。映像表示サイズは、映像再生処理部５１１が設定した映像を表示する画面サイズであり、縦横の画面ドット数で表される。映像表示サイズは映像フォーマットによりサイズが決まっていることもあり、ＱＣＩＦ（Quarter Common Intermediate Format）では１７６×１４４ドット、ＱＶＧＡ（Quarter Video Graphics Array）では３２０×２４０である。透過色は、オーバーレイ表示用に定義する色データである。透過色は、透過色が設定されているドットが透過になる性質上、あまり利用されない色を定義するのが普通であり、例えばＲＧＢが（ＦＦ，００，ＦＦ）のようなものである。

次に、ＶＲＡＭ−ＳＶ上の映像表示領域に透過色を設定する（処理６１２）本処理によりＶＲＡＭ−ＳＶに透過色が設定されると、前述した図４に示すリモコンの画面データ転送処理により、画面の変更差分データとしてＴＣ端末側に送られ、リモコンＣＬ５２２を介してＶＲＡＭ−ＣＬ２２０中に書き込まれる。

次に、映像送信処理を実行する（処理６１３）。映像送信処理は、映像データ読込み６１４、映像データのフォーマット変換６１５、映像データの送信処理６１６を繰り返し、一連の映像データを送り出す。一般に映像データはさまざまな形式（映像フォーマット）で記録されているため、映像フォーマット変換６１５により、ＴＣ端末側で読込める形式に変換する。映像フォマット変換はネットワークの負荷が軽減され、ＴＣ端末にとって最適化となるようにすると良い。

図６（ｂ）は、ＴＣ端末５２０側の映像描画部５２１の処理フローを示す。

まず、ＴＣサーバから送られて来る映像表示制御データを受信し、映像表示位置、映像表示サイズ、透過色をメモリ１３２に記憶する（処理６２１）。

次に映像受信処理では、ＴＣサーバ装置からの映像データを順次受信し、映像データを組立てＶＲＡＭ−ＣＬに書き込むことにより映像を再生する処理である（処理６２２）。映像受信処理６２２では、映像データ受信６２３、映像データデコード６２４、オーバーレイ描画６２５の一連の処理により映像をＶＲＡＭ−ＣＬに書き込む。映像を書き込む場合には処理６２１で受信した表示位置、表示サイズに従い書き込み、透過色を使ってオーバーレイ方式により書き込む。

本方式により、映像データを転送するのに最適な映像フォーマットを利用することによりネットワーク負荷を最小限にすることが出来る。

また、映像データを高画質で再生し、オーバーレイ表示により、映像データは高画質で再生できるために、ＴＣ端末側で高画質な映像表示が可能となる。

図５および図６に示す本発明による映像表示時に、図４に示すリモコンの画面データ処理をそのまま用いると、映像表示領域で正しくオーバーレイ表示されない。すなわち、透過色を含む画面ブロックデータに対して減色処理をすると、透過色の色情報が変わることになり、変更された色情報の部分には正しくオーバーレイ表示されない。

図７は、この問題を解決するためのリモコンの処理方式を示したフローである。すなわち、図４（ａ）のＴＣサーバ側処理に、画面ブロックデータに透過色を含むかどうかの判定を追加する（ステップ７１１）。この判定により、透過色を含む場合は、そのブロックを圧縮せずにそのまま送信する。一方、図４（ｂ）のＴＣ端末側の処理には、データ受信後、圧縮データかどうかの判定を設ける（ステップ７３１）。これはブロックデータの容量から圧縮されているかどうかを判定するものである。圧縮されていないデータである場合は、このデータをそのままＶＲＡＭ−ＣＬに書き込むようにする。

これによりＴＣサーバ装置側で設定した透過色は、正しくＴＣ端末側に伝わりＶＲＡＭ−ＣＬに設定されるため、映像表示領域には正しくオーバーレイ表示がなされるようになる。

図８は、ＴＣ端末をＴＶ会議端末として利用する場合の構成および動作を説明する図である。

ＴＶ会議システムは、ＴＶ会議サーバ装置９２０とＴＶ会議端末９３０、９４０、９５０とこれらを結合するＩＰネットワーク１９０から構成される。

ＴＶ会議サーバ装置９２０は、ＴＶ会議システム全体を制御するＴＶ会議制御部９２１が搭載されている。ＴＶ会議では複数拠点間で音声と映像を共有する必要があり、このための機能としてＭＣＵ（Multipoint Control Unit：多地点接続装置）９２２が、ＴＶ会議制御部９２１内部に搭載されている。ＭＣＵ９２２は、多地点でのＴＶ会議では、各ＴＶ会議端末から音声・映像データを受信し、音声はミキシングした後にＴＶ会議端末に送信し、映像は送信する端末の種別に応じて合成やフォーマット変換を施した後にＴＶ会議端末に送信している。

ＴＶ会議端末は、ＴＶ会議専用端末９５０とＰＣ端末９４０とＴＣ端末９３０であるが、ＴＣ端末９３０をＴＶ会議端末として機能させるためにＴＣサーバ装置９１０が構成される。

ＴＶ会議専用端末９５０は、カメラ９５１、映像表示画面９５２、マイク９５４、スピーカ９５３などから構成され、ＴＶ会議サーバ装置９２０と音声・映像データの送受信９６３が可能である。

ＰＣ端末９４０はＴＶ会議端末として機能するために、カメラ９４２およびヘッドセット９４３をＵＳＢポートに接続し、本体にはこれらのデバイスをコントロールして、ＴＶ会議サーバ装置９２０と音声・映像データの送受信９６４ができるアプリケーションプログラム９４１を搭載している。

ＴＣ端末９３０をＴＶ会議端末として利用するために、図５のＴＣサーバ装置５１０およびＴＣ端末５２０の構成に必要機能を追加している。すなわち、ＴＣサーバ装置９１０には、ＴＣ端末用ＴＶ会議プログラム９１１を追加し、ＴＣ端末９３０には、カメラ９４２およびヘッドセット９４３を接続し、これらを制御する映像送信部９３１および音声送受信部９３２を追加している。本構成によるＴＣサーバ装置９１０とＴＣ端末９３０とで、ＴＶ会議端末として機能するＰＣ端末９４０と同等の位置づけになる。

前記構成されているＴＶ会議システムで送受信される音声・映像データは、すべてＩＰネットワーク１９０を経由するものであり、音声・映像データはＩＰネットワーク上ではＩＰパケットとして受け渡されるものである。また、ＴＶ会議サーバ装置９２０と各ＴＶ会議端末とはお互いのＩＰアドレスを元に双方向通信がなされており、ＴＣ端末用ＴＶ会議プログラム９１１はＴＶ会議サーバ装置に対してはクライアントの関係で通信がなされている。

ＴＣ端末９３０における音声の送受信は、音声送受信部９３２が行う。音声送受信部９３２は、ヘッドセット９４３のマイクから入力される自音声をＭＣＵ９２２に伝え、逆にＭＣＵ９２２から送られてくる音声を受信して、ヘッドセット９４３のスピーカを鳴らす。

ＴＣ端末９３０における映像データの送信は、映像送信処理部９３１が行う。映像送信部９３１は、接続されたカメラ９４２から入力される自映像をＭＣＵ９２２に送信するものである。

ＴＣ端末９３０における映像データの受信処理には、本発明の方式を利用するものである。すなわち、図５では、映像データはＴＣサーバ装置５１０が送信しているが、図８の構成では映像データはＭＣＵ９２２が送信することになる。

ＭＣＵからの映像データを映像描画処理部５２１にて受信し、ＴＣ端末で高画質表示するために、本発明の方式を利用する。

まず、ＴＣ端末用ＴＶ会議プログラム９１１は、ＭＣＵ９２２から受信する映像の表示領域に透過色を設定してＶＲＡＭ−ＳＶ２１０に書き込む。この後、リモコンＳＶ５１２およびリモコンＣＬ５２２が図７に示す処理フローに従って、透過色を含む画面データをＶＲＡＭ−ＣＬ２２０に書き込む。

次に、ＴＣ端末用ＴＶ会議プログラム９１１は、ＴＣ端末９３０に映像表示のための制御データとして、映像の表示位置、表示サイズおよび透過色を通知する（９６２）。これは図６に示す処理６１１および処理６２１である。加えて、実際の映像データが送られてくるＴＶ会議サーバのＩＰアドレスも通知する。

その後、ＴＣ端末用ＴＶ会議プログラム９１１は、ＴＶ会議制御部９２１に映像データ送信要求９６５を出す。このときのパラメータとして、送信先ＩＰアドレスとしてＴＣ端末９３０のＩＰアドレスを、また映像フォーマットとして映像描画処理部５２１が扱う映像フォーマットを指定する。

これを受けたＴＶ会議制御部９２１は、指定されたＩＰアドレスに指定された映像フォーマットで映像データを送信する（９６７）。

映像描画処理部５２１は、この映像データ９６７を受信し、既に透過色が設定されているＶＲＡＭ−ＣＬ２２０に、オーバーレイ手法を用いて重ね合わせ表示を行う。

これにより、ＴＣ端末９３０の表示装置１３６には、ＭＣＵ９２２で合成された多地点の映像データが高画質で表示されることになる。

本方式を利用することにより、２者間のＴＶ電話や、多地点のＴＶ会議での映像が高画質で表示できることになり、ＴＶ会議で重要となる相手の顔の表情などをより鮮明に表現することが可能となる。

また、音声・映像データはＩＰネットワーク上を最適なフォーマットで通すことができるため、ネットワーク負荷を最小限にとどめることができる。

また、ＴＶ会議サーバ９２０は任意の映像配信サーバであっても良く、図８に示すＴＣサーバ装置９１０およびＴＣ端末９３０の構成にて音声・映像を受信することが可能である。これにより、映像広告や映画などをＴＣ端末において高画質で鑑賞することが可能となる。

企業情報システムにおいて、ＴＣ端末上で映像広告などの映像コンテンツを高画質で見ることができる。またＴＣ端末をＴＶ電話やＴＶ会議の端末としても利用できるようになる。

一般的なシンクライアントシステムの概略構成を示す図 シンクライアントシステムにおける画面表示の流れを説明する図 画面ブロックイメージと画面ブロックテーブルを示す図 リモコンによる画面データの送受信フローを示す図 本発明における高画質映像表示を実現する構成を示す図 本発明における映像送信処理および映像描画処理フローを示す図 本発明におけるリモコンによる画面データの送受信フローを示す図 シンクライアント端末をＴＶ会議端末として利用可能とする構成を示した図

符号の説明

５１０：シンクライアントサーバ装置、５２０：シンクライアント端末、５１１：映像再生処理部、５１２：リモコンＳＶ、２１０：ＶＲＡＭ−ＳＶ、５２１：映像描画処理部、５２２：リモコンＣＬ、２２０：ＶＲＡＭ−ＣＬ、１３３:デバイス制御部、１３６：表示装置

Claims (9)

1. データおよびデータ作成プログラムを管理するクライアントサーバ装置と、上記クライアントサーバ装置を遠隔操作することが可能なクライアント端末と、上記クライアント端末と上記クライアントサーバ装置を結合するネットワークとから構成されるシンクライアントシステムにおいて、
   上記クライアントサーバ装置には、
   上記クライアント端末からの遠隔操作に基づき作成され、かつ映像表示領域を有し、該映像表示領域に透過色を設定したアプリケーション画面データを生成する手段と、
   該アプリケーション画面データを上記ネットワークを通して上記クライアントサーバ装置に送信するリモートコントロール部を含む画面データ送信手段および上記映像表示領域に表示される映像を上記ネットワークを通して上記クライアント端末に送信する映像送信手段を設け、
   上記クライアント端末には、
   上記クライアントサーバ装置を遠隔操作し、該サーバ装置から送られてくる上記アプリケーション画面データを受信するリモートコントロール部を含む画面データ受信手段と、
   上記映像を受信する映像受信手段および上記画面データと上記映像とを同一画面として表示する映像描画手段を設け、
   上記クライアントサーバ装置は上記画面データを上記リモートコントロール部と上記ネットワークからなる第１の通信路を通して、また上記映像を上記第１の通信路とは別で上記リモートコントロール部を含まない上記ネットワークからなる第２の通信路を通して上記クライアント端末に送信し、
   上記クライアント端末は上記画面データと上記映像とを別々の通信路にて受信し、これらを重ね合わせ表示することを特徴とする
   シンクライアントシステム。
2. 上記映像送信手段は、映像表示領域を除いて圧縮処理を施し、上記クライアント端末による映像表示領域を高画質に表示可能に構成したことを特徴とする
   請求項１記載のシンクライアントシステム。
3. データおよびデータ作成プログラムを管理するクライアントサーバ装置を、ネットワークを通して遠隔操作可能なクライアント端末であって、
   上記クライアントサーバ装置を上記ネットワークを通して遠隔操作するリモートコントロール手段と、
   上記クライアントサーバ装置から、上記ネットワークと上記リモートコントロール手段を含む遠隔操作通信路を通して送信されてくる、映像表示領域に透過色が設定されたアプリケーション画面データを受信する画面データ受信手段と、
   上記クライアントサーバ装置が制御可能なネットワーク上に接続されている任意の映像配信装置から、上記遠隔操作通信路とは別で上記リモートコントロール手段を含まない非遠隔操作通信路を通して送信されてくる映像を受信する映像受信手段と、
   上記画面データと上記映像とを表示手段に重ね合わせて表示する映像描画手段と、
   を備えたクライアント端末。
4. 上記映像描画手段が、上記クライアントサーバ装置からの画面データと映像を同一画面として重ね合わせて表示するオーバーレイ表示である請求項３記載のクライアント端末。
5. データおよびデータ作成プログラムを管理するクライアントサーバ装置であって、
   クライアント端末からの遠隔操作に基づき、映像表示領域を有し、該映像表示領域に透過色を設定したアプリケーション画面データを生成する手段と、
   該アプリケーション画面データをクライアントサーバ装置とクライアント端末とを結合するネットワークおよび上記端末から上記サーバ装置を遠隔操作するリモートコントロール手段とから構成される遠隔操作通信路を通して配信する手段と、
   上記画面データに重ね合わせて表示される映像を上記遠隔操作通信路とは別の非遠隔操作通信路により上記クライアント端末に送信する映像送信手段と、
   を具備したクライアントサーバ装置。
6. データおよびデータ作成プログラムを管理するクライアントサーバ装置にて作成されるアプリケーション画面データおよび映像を、リモートコントロール部およびネットワークからなる遠隔操作通信路を通してクライアントサーバ装置を遠隔操作することが可能なクライアント端末に送信する方法において、
   上記クライアントサーバ装置から上記遠隔操作通信路を通して送信済みアプリケーション画面データとこれから送信しようとするアプリケーションデータとを比較し、両者に変化があるか否かを判定するステップと、
   上記画面データに変化がある場合、その変更差分データをメモリ部に登録するステップと、
   該登録変更差分データを減色、圧縮するステップと、
   該減色、圧縮データを、上記遠隔操作通信路を通して上記クライアント端末側へ送信するステップと、
   上記映像が上記クライアント端末で表示される映像表示領域を設定するステップと、
   上記映像表示領域に透過色を設定するステップと、
   上記映像表示領域および上記透過色を上記遠隔操作通信路を通して上記クライアント端末に送信するステップと、
   上記透過色が設定された映像表示領域を、上記リモートコントロール部を含む遠隔操作通信路を通して上記クライアント端末に送信するステップと、
   上記映像を上記遠隔操作通信路とは別の通信路を通して上記クライアント端末に送信するステップと、
   からなる画面データおよび映像の送信方法。
7. 上記画面データが複数のブロックに細分化され、該ブロック毎に変更差分データがあるか否かを判定する請求項６記載の画面データおよび映像の送信方法。
8. データおよびデータ作成プログラムを管理するクライアントサーバ装置にて作成されるアプリケーション画面データおよび映像を、リモートコントロール部およびネットワークからなる遠隔操作通信路を通してクライアントサーバ装置を遠隔操作することが可能なクライアント端末にて受信し表示する方法において、
   上記クライアントサーバ装置から、上記遠隔操作通信路を通して送信済みアプリケーション画面データとこれから送信しようとするアプリケーション画面データとの変更差分データを受信するステップと、
   該受信変更差分データをディスプレイに表示されるデータとし表示用メモリに書き込むステップと、
   上記クライアントサーバ装置で設定された映像表示領域および該映像表示領域に設定された透過色を上記遠隔操作通信路を通して受信するステップと、
   上記クライアントサーバ装置にて符号化および所定のフォーマットに変換された映像を上記遠隔操作通信路とは別の通信路を通して受信するステップと
   上記受信映像を復号化し、該復号映像に所定の表示処理を施すステップと、
   上記表示処理された映像を上記表示用メモリに書き込むステップと、
   上記メモリに書き込まれた画面データと映像とを重ね合わせてディスプレイに表示するステップと、
   からなる画面データおよび映像の受信表示方法。
9. 上記メモリがＶＲＡＭであり、上記表示がオーバーレイ表示である請求項８記載の画面データおよび映像の受信表示方法。
   

Images