JP2012118751A - 外部入力装置、表示データ作成方法、プログラム - Google Patents

Abstract

【課題】資料などの表示データを複数の機器が共有可能な遠隔通信システムにおいて、画面上を指示する指示手段も共有可能な外部入力装置を提供すること。
【解決手段】ネットワーク２を介して接続された他の機器１０ｄｂに、音声又は映像が含まれる会議データを配信する遠隔通信端末１０ａａと接続された外部入力装置４０ａａであって、電子資料を表示する表示手段４００と、表示手段に表示されるカーソルの操作を受け付けるカーソル操作手段２１２と、電子資料の画像データを取得する画像データ取得手段４５１３と、カーソルの少なくとも座標データが含まれるカーソル情報を取得するカーソル情報取得手段４５１２と、カーソル情報取得手段がカーソル情報を取得する第１の頻度を決定する情報取得頻度決定手段４５１１と、画像データにカーソルを合成した表示データを作成する表示データ作成手段４５１４と、表示データを他の機器に送信する送信手段４１と、を有する。
【選択図】図１９

Description

本発明は、他の遠隔通信端末に画面の表示データを送信することで、他の遠隔通信端末と表示データを共有する遠隔通信端末等に関する。

インターネット等の通信ネットワークの普及、高速化に伴い、遠隔地同士でテレビ会議などを行う遠隔通信システムが利用されるようになった。遠隔通信システムを利用すれば、出張経費及び出張時間を削減することができる。

テレビ会議を実現することが可能な遠隔通信システムでは、複数の遠隔通信端末同士が直接又はサーバを介するなどして画像データ及び音声データの送受信を行う。近年のブロードバンド環境の充実化により、高画質の画像データや高音質の音声データの送受信が可能となったため、テレビ会議の相手の状況を把握し易くなり、会話による高度な意思疎通も容易になっている。

ところで、遠隔通信システムは、こちらの状況を知らせるための音声データやこちら側のユーザなどが映った画像データだけでなく、会議で用いる資料の表示データを会議の相手に送信することも多い。資料の表示データにより、テレビ会議の相手はこちら側と同じ資料を参照することができる。

遠隔通信端末が、音声データや画像データを送る場合も、表示データを送信する場合も、ネットワークを経由して配信装置にそれらのデータを送信し、受信した配信装置がそれらのデータを相手先の遠隔通信端末に配信する技術が考案されている（例えば、特許文献１参照。）。このようにすることによって、テレビ会議の参加者はテレビ会議が実施されている間、相手の声を聞いたり顔を見たりすることも、資料を参照することもできる。

ところで、会議の場において、例えばプレゼンテーション資料をプロジェクタ等に映して説明する際に、説明者は説明を分かりやすくするために指示棒やレーザーポインタを使用することが多い。これと同様に、テレビ会議で用いる資料をテレビ会議の相手と共有する際に、資料のみを相手に参照させるよりも何かしらの指示手段があった方が情報を伝えやすい。

テレビ会議において、こちら側のユーザが資料等の表示データを相手先に送信する場合、こちら側の遠隔通信端末が資料が表示された画面をキャプチャする。キャプチャには、一般的なキーボードに搭載されている「Print Screen」ボタンが使用されるが、「Print Screen」ボタンではマウスカーソルがキャプチャされないという制限がある。

このため、引用文献１のように、こちら側の遠隔通信端末が単に表示データを送信するだけでは、マウスカーソルなどの指示情報を遠隔通信端末間で共有することができないという問題がある。このため、遠隔地に離れたユーザが互いに資料のどの部分を見ているか伝えにくい。

このような問題については、マウスカーソルも同時にキャプチャできるソフトウェアが市場に有料又は無料で流通しており、遠隔通信システムの開発者はテレビ会議に利用することができる。

しかしながら、マウスカーソルなどの指示手段をキャプチャするソフトウェアだけでは、マウスカーソルのキャプチャは可能であるが、そのままではその表示データを遠隔地と共有することはできない。また、マウスカーソルと画面データが合成された状態でキャプチャされるため、送信先の端末がマウスの動きを滑らかに再現するためにはキャプチャの頻度が多くなり遠隔通信端末や通信網の負荷が増大してしまうという問題もある。

本発明は、資料などの表示データを複数の遠隔通信端末が共有可能な遠隔通信システムにおいて、画面上を指示する指示手段も共有可能な外部入力装置を提供することを目的とする。

上記課題に鑑み、本発明は、ネットワークを介して接続された他の機器に、音声又は映像が含まれる会議データを配信する遠隔通信端末と接続された外部入力装置であって、画像を表示する表示手段と、前記表示手段に表示されるカーソルの操作を受け付けるカーソル操作手段と、前記画像の画像データを取得する画像データ取得手段と、前記カーソルの少なくとも座標データが含まれるカーソル情報を取得するカーソル情報取得手段と、前記カーソル情報取得手段が前記カーソル情報を取得する第１の頻度を決定する情報取得頻度決定手段と、前記画像データに前記カーソルを合成した表示データを作成する表示データ作成手段と、前記表示データを他の機器に送信する送信手段と、を有することを特徴とする。

資料などの表示データを複数の遠隔通信端末が共有可能な遠隔通信システムにおいて、画面上を指示する指示手段も共有可能な外部入力装置を提供することができる。

遠隔通信システムの構成図の一例である。 遠隔通信端末のハードウェア構成図の一例である。 遠隔通信管理システムのハードウェア構成図の一例である。 遠隔通信システム１を構成する各端末、装置及びシステムの機能ブロック図の一例である。 外部入力装置の機能ブロック図の一例である。 資料管理テーブルの一例を示す図である。 変更品質管理テーブルの一例を示す図である。 中継装置管理テーブルの一例を示す図である。 端末認証管理テーブルの一例を示す図である。 端末管理テーブルの一例を示す図である。 宛先リスト管理テーブルの一例を示す図である。 セッション管理テーブルの一例を示す図である。 アドレス優先度管理テーブルの一例を示す図である。 伝送速度優先度管理テーブルの一例を示す図である。 品質管理テーブルの一例を示す図である。 遠隔通信端末間で画像データ及び音声データを送受信する処理を示したシーケンス図の一例である。 外部入力装置がＨＤＤに記憶している資料データを表示して、その画面全体を共有する手順を示すシーケンス図の一例である。 遠隔通信端末の画像表示制御部が表示する画面の画面例を示す図である。 図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置が資料の画像データと指示情報を取り込む手順を示すシーケンス図の一例である ２つの画像の合成を模式的に説明する図の一例である。 図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置が資料の画像データと指示情報を取り込む手順を示すフローチャート図の一例である 図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置が資料の画像データと指示情報を取り込む手順を示す図の一例である（シーケンス図）。 図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置が資料の画像データと指示情報を取り込む手順を示す図の一例である（フローチャート図）。 図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置が資料の画像データと指示情報を取り込む手順を示す図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。
本実施形態の遠隔通信システム１の概略的な特徴は、以下のようになる。
（１）資料の画像データとマウスカーソル等の指示情報を別々にキャプチャして１つの表示データに合成すること（資料の画像データにマウスカーソルを合成できる）
（２）資料の画像データの取り込み頻度と、マウスカーソル等の指示情報の取り込み頻度をそれぞれ決定できること（処理負荷を軽減しながら配信先でもマウスカーソルを滑らかに移動させることができる）
（３）資料の画像データの変化の有無やマウスカーソルの移動量に応じて、表示データを作成するか否かを決定すること（画面に変化がなければ表示データを作成しないので、処理負荷や通信網の負荷を抑制できる）

図１は、遠隔通信システムの構成図の一例である。遠隔通信システムは、一例として地域Ａと地域Ｂに分かれて遠隔通信端末１０が分かれて配置されているが、最小、２つの遠隔通信端末があれば遠隔通信が可能である。

遠隔通信システム１は、複数の遠隔通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）、各遠隔通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）用のディスプレイ（１００ａａ，１００ａｂ，…，１００ｄｂ）、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）、及び遠隔通信管理システム５０、プログラム提供システム、及び、外部入力装置を有する。

なお、本実施形態では、遠隔通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）のうち任意の遠隔通信端末を示す場合には「遠隔通信端末１０」を用い、ディスプレイ（１００ａａ，１００ａｂ，…，１００ｄｂ）のうち任意のディスプレイを示す場合には「ディスプレイ１００」を用い、中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）のうち任意の中継装置を示す場合には「中継装置３０」を用い、外部入力装置（４０ａａ，４０ａｂ，…，１４０ｄｂ）のうち任意の外部入力装置を示す場合には「外部入力装置４０」を用いる。

遠隔通信端末１０は、他の遠隔通信端末１０との間で、画像データ、音声データ等の送受信を行う。本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であってもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。中継装置３０は、複数の遠隔通信端末１０の間で、画像データ及び音声データの中継を行う。遠隔通信管理システム５０は、遠隔通信端末１０及び中継装置３０を一元的に管理する。

外部入力装置４０は、遠隔通信端末１０と接続され、遠隔通信端末１０に対して資料データを表示するための表示データを送信する。ここでの資料データとは、たとえば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて利用されるデータを意味する。

また、図１に示されている複数のルータ（７０ａ，７０ｂ，…，７０ｆ）は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ（７０ａ，７０ｂ，…，７０ｆ）のうち任意のルータを示す場合には「ルータ７０」を用いる。

プログラム提供システム９０は、遠隔通信端末１０に各種機能又は各種手段を実現させるための遠隔通信端末用プログラムが記憶された、不図示のＨＤＤ(Hard Disk Drive)を備えており、遠隔通信端末１０に、遠隔通信端末用プログラムを送信することができる。 また、プログラム提供システム９０のＨＤＤには、中継装置３０に各種機能又は各種手段を実現させるための中継装置用プログラムも記憶されており、中継装置３０に、中継装置用プログラムを送信することができる。更に、プログラム提供システム９０のＨＤＤには、遠隔通信管理システム５０に各種機能又は各種手段を実現させるための遠隔通信管理用プログラムも記憶されており、遠隔通信管理システム５０に、遠隔通信管理用プログラムを送信することができる。

また、遠隔通信端末１０ａａ、遠隔通信端末１０ａｂ、中継装置３０ａ、及び、ルータ７０ａは、ＬＡＮ２ａによって互いに通信可能に接続されている。遠隔通信端末１０ｂａ、遠隔通信端末１０ｂｂ、中継装置３０ｂ、及び、ルータ７０ｂは、ＬＡＮ２ｂによって互いに通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ｃが含まれた専用線２ａｂによって通信可能に接続されており、所定の地域Ａ内で構築されている。例えば、地域Ａは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。

一方、遠隔通信端末１０ｃａ、遠隔通信端末１０ｃｂ、中継装置３０ｃ、及び、ルータ７０ｄは、ＬＡＮ２ｃによって互いに通信可能に接続されている。遠隔通信端末１０ｄａ、遠隔通信端末１０ｄｂ、中継装置３０ｄ、及び、ルータ７０ｅは、ＬＡＮ２ｄによって互いに通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｆが含まれた専用線２ｃｄによって通信可能に接続されており、所定の地域Ｂ内で構築されている。例えば、地域Ｂはアメリカであり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。

地域Ａ及び地域Ｂは、それぞれルータ（７０ｃ，７０ｆ）からインターネット２ｉを介して通信可能に接続されている。

また、遠隔通信管理システム５０、及び、プログラム提供システム９０は、インターネット２ｉを介して、遠隔通信端末１０及び中継装置３０と通信可能に接続されている。遠隔通信管理システム５０、及びプログラム提供システム９０は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。

なお、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、本実施形態の通信ネットワーク２が構築されている。

また、図１において、各遠隔通信端末１０、各中継装置３０、遠隔通信管理システム５０、各ルータ７０、及び、プログラム提供システム９０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、遠隔通信端末１０ａａのＩＰアドレスは「１．２．１．３」である。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが。説明を簡略化するため、ＩＰｖ４を用いて説明する。

＜＜ハードウェア構成＞＞
次に、各機器のハードウェア構成を説明する。本実施形態では、中継先としての遠隔通信端末１０で画像データの受信に遅延が生じた場合に、中継装置３０によって画像データの画像の解像度を変更してから、中継先としての遠隔通信端末１０へ画像データを送信する場合について説明する。

図２は、遠隔通信端末１０のハードウェア構成図の一例である。図２に示されているように、本実施形態の遠隔通信端末１０は、遠隔通信端末１０全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、遠隔通信端末用プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、画像データや音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、遠隔通信端末１０の宛先を選択する場合などに操作される操作ボタン１０８、遠隔通信端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ１１１、ＣＰＵ１０１の制御に従って被写体を撮像し画像データを得るＣＣＤ(Charge Coupled Device)１１２、このＣＣＤ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力するマイク１１４、音声を出力するスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１００に画像データを伝送するディスプレイＩ／Ｆ１１７、外部の装置と各種データを送受信する外部装置Ｉ／Ｆ１１８及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、記録メディア１０６は、遠隔通信端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。更に、ＣＣＤ１１２は、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子であり、被写体を撮像するものであればＣＣＤに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いてもよい。また、ディスプレイ１００は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成されている。

更に、上記遠隔通信端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

図３は、本発明の一実施形態に係る遠隔通信管理システム５０のハードウェア構成図の一例である。遠隔通信管理システム５０は、遠隔通信管理システム５０全体の動作を制御するＣＰＵ２０１、遠隔通信管理用プログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、各種データを記憶するＨＤ(Hard Disk)２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)２１３に対するデータの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ２１５及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

なお、上記遠隔通信管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

また、外部入力装置４０は、上記遠隔通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、外部入力装置４０を制御するための外部入力装置用プログラムが記録されている。この場合も、外部入力装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

また、中継装置３０は、上記遠隔通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、中継装置３０を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

更に、プログラム提供システム９０は、上記遠隔通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、プログラム提供システム９０を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

なお、上記着脱可能な記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

図４は、本実施形態の遠隔通信システム１を構成する各端末、装置及びシステムの機能ブロック図の一例である。図４では、遠隔通信端末１０、中継装置３０、及び遠隔通信管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。外部入力装置４０は、遠隔通信端末１０とデータを送受信することができるように接続されている。図１に示されているプログラム提供システム９０は、テレビ会議の通信において直接関係ないため、図４では省略されている。また、図５は、外部入力装置４０の機能ブロック図の一例である。

＜遠隔通信端末の機能構成＞
遠隔通信端末１０は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４ａ、画像表示制御部１４ｂ、音声入力部１５ａ、音声出力部１５ｂ、選択処理部１６、遅延検出部１７、外部情報送受信部１８、及び記憶・読出処理部１９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、遠隔通信端末１０は、図２に示されているＳＳＤ１０５によって構築される記憶部１０００を有している。

（遠隔通信端末の各機能部）
次に、遠隔通信端末の各部を詳細に説明する。遠隔通信端末１０の送受信部１１は、図２に示されているネットワークＩ／Ｆ１１１によって実現され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。操作入力受付部１２は、図２に示されている操作ボタン１０８、及び電源スイッチ１０９によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、図２に示されている電源スイッチ１０９をＯＮにすると、図４に示されている操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする。ログイン要求部１３は、図２に示されているＣＰＵ１０１からの命令によって実現され、上記電源ＯＮの受け付けを契機として、送受信部１１から通信ネットワーク２を介して遠隔通信管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び遠隔通信端末１０ａｂの現時点のＩＰアドレスを自動的に送信する。

撮像部１４ａは、図２に示されているＣＣＤ１１２、及び撮像素子Ｉ／Ｆ１１３によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。画像表示制御部１４ｂは、図２に示されているディスプレイＩ／Ｆ１１７によって実現され、外付けのディスプレイ１００に対して画像データを送信するための制御を行う。音声入力部１５ａは、図２に示されているマイク１１４、及び音声入出力Ｉ／Ｆ１１６によって実現され、ユーザの音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。音声出力部１５ｂは、図２に示されているスピーカ１１５、及び音声入出力Ｉ／Ｆ１１６によって実現され、音声データに係る音声信号を音声に変換して出力する。

選択処理部１６は、複数の中継装置３０から最終的に１つの中継装置３０に絞り込む最終絞り込み処理を行うため、図２に示されているＣＰＵ１０１からの命令によって、計測部１６ａ、算出部１６ｂ、及び選択部１６ｃを実現する。このうち、計測部１６ａは、送受信部１１によって受信された後述の事前送信情報毎に、送受信部１１によって事前送信情報が受信される際の受信日時を計測する。算出部１６ｂは、計測部１６ａによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間を算出する。選択部１６ｃは、算出部１６ｂによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置３０を選択することで、最終的に１つの中継装置を選択する。

遅延検出部１７は、図２に示されているＣＰＵ１０１からの命令によって実現され、他の遠隔通信端末１０から中継装置３０を介して送られて来る画像データ又は音声データの遅延時間（ｍｓ）を検出する。また、外部情報送受信部１８は、外部装置Ｉ／Ｆ２１５により外部入力装置４０とデータを送受信する。また、記憶・読出処理部１９は、図２に示すＳＳＤ１０５を実体として、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。記憶部１０００には、遠隔通信端末１０を識別するための端末ＩＤ(Identification)、及びパスワード、並びに、画像データ、及び音声データ、各種データを送信する中継装置３０を識別する中継装置ＩＤ、宛先端末のＩＰアドレス等が記憶される。

また、記憶部１０００には、外部入力装置４０に送信され、外部入力装置４０上で動作する表示データ取得部４５１及び表示データ送信部４５２が記憶されている。表示データ取得部４５１は、外部入力装置４０の表示データを取得するものであり、表示データ送信部４５２は、表示データ取得部４５１が取得した表示データを遠隔通信端末１０に送信するものである。表示データとは、表示装置の画面に表示された画像をＪＰＥＧ（Joint Photographic Experts Group）やＢｉｔｍａｐ等の形式にした画像データ、ＧＤＩ（Graphics Device Interface ）等の形式にした描画コマンドを表す。表示データには資料データが含まれる場合も資料データが含まれない単なるデスクトップ画面の場合もある。

なお、本実施形態の端末ＩＤ、及び後述の中継装置ＩＤは、それぞれ遠隔通信端末１０、及び中継装置３０を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ＩＤ、及び中継装置ＩＤは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも２つが組み合わされた識別情報であってもよい。また、以下では、テレビ会議の開始を要求する要求元としての遠隔通信端末１０を「要求元端末１０Ａ」とし、要求先である宛先としての遠隔通信端末１０を「宛先端末１０Ｂ」として説明する。

＜外部入力装置の機能構成＞
外部入力装置４０は、図５（ａ）に示されているように、送受信部４１、接続検出部４２、インストール判定部４３、プログラム取得部４４、操作入力受付部４６、表示制御部４７、マウント部４８及び記憶・読出処理部４９を有している。また、表示データ取得部４５１及び表示データ送信部４５２が図示されている。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、外部入力装置４０は、図３に示されているディスプレイ２０８によって構築される表示装置４００を有している。また、外部入力装置４０は、Ｗｉｎｄｏｗｓ（登録商標）等のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を搭載し、これにより、他の装置と接続したときにはプログラムを実行する機能を備えている。

＜外部入力装置の各機能部＞
次に、外部入力装置４０の各部を詳細に説明する。外部入力装置４０の送受信部４１は、図３に示されているネットワークＩ／Ｆ２０９によって実現され、遠隔通信端末１０から各種データ（情報）の送受信を行う。接続検出部４２は外部装置Ｉ／Ｆ２１５により遠隔通信端末１０とデータの送受信が可能となったことを検出する。インストール判定部４３は外部入力装置４０に表示データ取得部４５１、表示データ送信部４５２がインストールされているか否かを判定する。プログラム取得部４４は、送受信部４１を経由して接続された遠隔通信端末１０の記憶部１０００から表示データ取得部４５１、表示データ送信部４５２を取得し、インストールする。操作入力受付部４６は、ユーザの操作による入力を受け付ける。表示制御部４７は、後述する記憶・読出処理部４９が読み出した画像を表示装置４００に表示させる。マウント部４８は、外部入力装置４０に接続されている各種装置の記憶部をマウントする。記憶・読出処理部４９は、図３に示されているＨＤＤ２０５を実体とし各種データを記憶したり、ＨＤＤ２０５に記憶された各種データを読み出したりする処理を行う。ＨＤＤ２０５には、資料管理テーブル等が記憶される。

また、図５（ｂ）に示すように、外部入力装置の表示データ取得部４５１は、情報取得頻度決定部４５１１、指示情報取得部４５１２、画面情報取得部４５１３、及び、表示データ作成部４５１４を有する。

情報取得頻度決定部４５１１は、画像データと指示情報の取得頻度を決定する（例えば１秒に１回）。このように比較的短い間隔で画像データと指示情報を取得することで、遠隔通信システム１は、画像データを連続した画像、つまり動画として配信することができる。取得頻度は固定であってもよいし、可変とすることもできる。情報取得頻度決定部４５１１は、例えば、遠隔通信管理システム５０に遅延時間を問い合わせ、遠隔通信管理システム５０がセッション管理テーブル（図１２参照）から読み出した遅延時間に応じて、取得頻度を決定する（例えば、遅延時間が５０ｍｓなら取得頻度は０．３秒、遅延時間が１００ｍｓなら取得頻度を０．６秒、遅延時間が２００ｍｓなら取得頻度を１秒）。または、情報取得頻度決定部４５１１が、遠隔通信管理システム５０に問い合わせる必要をなくすため、遠隔通信管理システム５０が、端末管理テーブル（図１０参照）で稼働中であることが確認された遠隔通信端末１０に遅延時間を配信するとしてもよい。

画面情報取得部４５１３は、外部入力装置４０が表示装置４００に表示している資料の画像データを取得する。画像データの取得には、ハードコピーやキャプチャと呼ばれる手法を利用する。画面情報取得部４５１３は、例えばＯＳに画面のハードコピーをクリップボードに記憶するよう要求し、ＯＳからクリップボードの画像データを取得する。

指示情報取得部４５１２は、マウスカーソルなどの位置や画像データなどの指示情報を取得する。後述するように、指示情報は、画面におけるマウスカーソルの座標データ、又は、画面におけるマウスカーソルの座標データとその画像データである。マウスカーソルの座標データは、所定のコマンドでＯＳに問い合わせることで取得できる。マウスカーソルの画像データは、同様にＯＳから取得してもよいし、予め既知のマウスカーソルのアイコンを画像データとしてもよい。

表示データ作成部４５１４は、資料の画像データと指示情報を合成して表示データを作成する。外部入力装置４０は表示データを遠隔通信端末１０に送信するので、各ユーザはマウスカーソルが画面上の資料で特定する位置を共通に把握することができる。

（資料管理テーブル）
外部入力装置４０のＨＤＤ２０５には、資料管理テーブルが記憶される。
図６は資料管理テーブルの一例を示す図である。資料管理テーブルでは、資料の名称である資料名、資料の大きさを表すサイズ、資料が作成されるために用いられたアプリケーションソフトウェアの名称を表すアプリケーション名、資料が最後に更新された更新日時、資料データ等が関連付けられて管理される。

＜中継装置の機能構成＞
次に、中継装置３０の機能又は手段について説明する。中継装置３０は、送受信部３１、状態検知部３２、データ品質確認部３３、変更品質管理部３４、データ品質変更部３５、及び記憶・読出処理部３９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、中継装置３０は、図３に示されているＨＤ２０４により構築される記憶部３０００を有している。

（変更品質管理テーブル）
記憶部３０００には、図７に示されているような変更品質管理テーブルによって構成されている変更品質管理ＤＢ３００１が構築される。変更品質管理テーブルでは、画像データの中継先としての遠隔通信端末３０のＩＰアドレス、及びこの中継先に中継装置３０が中継する画像データの画質が関連付けられて管理される。

解像度は、例えば、横が１６０画素、縦が１２０画素から成り、ベース画像となる低解像度の画像と、横が３２０画素、縦が２４０画素から成る中解像度の画像と、横が６４０画素、縦が４８０画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。例えば、図７に示されている変更品質管理テーブルにおいて、中継装置３０が、ＩＰアドレス「１．３．２．４」の宛先端末１０ｄｂに対して画像データを中継する場合には、この中継される画像データの画質（画像の品質）は「高品質」である。

＜中継装置の各機能部＞
次に、中継装置３０の各機能構成について詳細に説明する。なお、以下では、中継装置３０の各部を説明するにあたって、図２に示されている各構成要素のうち、中継装置３０の各部を実現させるための主な構成要素との関係も説明する。

図４に示されている中継装置３０の送受信部３１は、図３に示されているネットワークＩ／Ｆ２０９によって実現され、通信ネットワーク２を介して他の端末、装置、又はシステムと各種データ（情報）の送受信を行う。状態検知部３２は、図３に示されているＣＰＵ２０１からの命令によって実現され、この状態検知部３２を有する中継装置３０の稼動状態を検知する。稼動状態としては、「ＯＮライン」、「ＯＦＦライン」、又は「故障中」の状態がある。

データ品質確認部３３は、図３に示されているＣＰＵ２０１からの命令によって実現され、宛先端末１０ＢのＩＰアドレスを検索キーとして、図７の変更品質管理テーブルを検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。変更品質管理部３４は、図３に示されているＣＰＵ２０１からの命令によって実現され、遠隔通信管理システム５０から送られて来る、後述の品質情報に基づいて、変更品質管理ＤＢ３００１の内容を変更する。例えば、端末ＩＤが「０１ａａ」である要求元端末１０ａａと、端末ＩＤが「０１ｄｂ」である宛先端末１０ｄｂとの間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末ｂｂと宛先端末ｃａが通信ネットワーク２を介してテレビ会議を開始すること等によって、宛先端末１０ｄｂで画像データの受信の遅延が生じた場合には、中継装置３０は今まで中継していた画像データの画質を、高画質から中画質に下げる必要がある。このような場合に、中画質を示す品質情報に基づいて、中継装置３０が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理ＤＢ３００１の内容が変更される。

データ品質変更部３５は、図３に示されているＣＰＵ２０１からの命令によって実現され、送信元端末１０から送られて来た画像データの画質を、上記変更された変更品質管理ＤＢ３００１の内容に基づいて変更する。記憶・読出処理部３９は、図３に示されているＨＤＤ２０５によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出す処理を行う。

＜遠隔通信管理システムの機能構成＞
次に、遠隔通信管理システム５０の機能又は手段について説明する。遠隔通信管理システム５０は、送受信部５１、端末認証部５２、状態管理部５３、端末抽出部５４、端末状態取得部５５、絞込部５６、セッション管理部５７、品質決定部５８、記憶・読出処理部５９、及び遅延時間管理部６０を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、遠隔通信管理システム５０は、図３に示されているＨＤ２０４により構築される記憶部５０００を有している。

（中継装置管理テーブル）
記憶部５０００には、図８に示されているような中継装置管理テーブルによって構成されている中継装置管理ＤＢ５００１が構築されている。この中継装置管理テーブルでは、各中継装置３０の中継装置ＩＤ毎に、各中継装置３０の稼動状態、稼動状態が示される状態情報が遠隔通信管理システム５０で受信された受信日時、中継装置３０のＩＰアドレス、及び中継装置３０における最大データ伝送速度（Ｍｂｐｓ）が関連付けられて管理される。例えば、図７に示されている中継装置管理テーブルにおいて、中継装置ＩＤが「１１１ａ」の中継装置３０ａは、稼動状態が「ＯＮライン」で、遠隔通信管理システム５０で状態情報が受信された日時が「２００９年１１月１０日の１３時００分」で、この中継装置３０ａのＩＰアドレスが「１．２．１．２」で、この中継装置３０ａにおける最大データ伝送速度が１００Ｍｂｐｓであることが示されている。

（端末認証管理テーブル）
更に、記憶部５０００には、図９に示されているような端末認証管理テーブルによって構成されている端末認証管理ＤＢ５００２が構築されている。この端末認証管理テーブルでは、遠隔通信管理システム５０によって管理される全ての遠隔通信端末１０の各端末ＩＤに対して、各パスワードが関連付けられて管理される。例えば、図８に示されている端末認証管理テーブルにおいて、遠隔通信端末１０ａａの端末ＩＤは「０１ａａ」で、パスワードは「ａａａａ」であることが示されている。

（端末管理テーブル）
また、記憶部５０００には、図１０に示されているような端末管理テーブルによって構成されている端末管理ＤＢ５００３が構築されている。この端末管理テーブルでは、各遠隔通信端末１０の端末ＩＤ毎に、各遠隔通信端末１０の稼動状態、後述のログイン要求情報が遠隔通信管理システム５０で受信された受信日時、及び遠隔通信端末１０のＩＰアドレスが関連付けられて管理される。例えば、図９に示されている端末管理テーブルにおいて、端末ＩＤが「０１ａａ」の遠隔通信端末１０ａａは、稼動状態が「ＯＮライン」で、遠隔通信管理システム５０でログイン要求情報が受信された日時が「２００９年１１月１０日の１３時４０分」で、この遠隔通信端末１０ａａのＩＰアドレスが「１．２．１．３」であることが示されている。

（宛先リスト管理テーブル）
更に、記憶部５０００には、図１１に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００４が構築されている。この宛先リスト管理テーブルでは、テレビ会議の開始を要求する要求元端末１０Ａの端末ＩＤに対して、宛先端末１０Ｂの候補として登録されている宛先端末１０Ｂの端末ＩＤが全て関連付けられて管理される。例えば、図１１に示されている宛先リスト管理テーブルにおいて、端末ＩＤが「０１ａａ」である要求元端末１０ａａからテレビ会議の開始を要求することができる宛先端末１０Ｂの候補は、端末ＩＤが「０１ａｂ」の遠隔通信端末１０ａｂ、端末ＩＤが「０１ｂａ」の遠隔通信端末１０ｂａ、及び端末ＩＤが「０１ｄｂ」の遠隔通信端末１０ｄｂの３つであることが示されている。この宛先端末１０Ｂの候補は、要求元端末１０Ａから遠隔通信管理システム５０に対する追加又は削除の要請により、追加又は削除されることで更新される。

（セッション管理テーブル）
また、この記憶部５０００には、図１２に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ５００５が構築されている。このセッション管理テーブルでは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤ毎に、画像データ、音声データ及び表示データの中継に使用される中継装置３０の中継装置ＩＤ、要求元端末１０Ａの端末ＩＤ、宛先端末１０Ｂの端末ＩＤ、宛先端末１０Ｂにおいて画像データが受信される際の受信の遅延時間（ｍｓ）、及びこの遅延時間が示されている遅延情報を宛先端末１０Ｂから送られて来て遠隔通信管理システム５０で受信された受信日時が関連付けられて管理される。例えば、図１１に示されているセッション管理テーブルにおいて、選択用セッションＩＤ「ｓｅ１」を用いて実行されたセッションで選択された中継装置３０ａ（中継装置ＩＤ「１１１ａ」）は、端末ＩＤが「０１ａａ」の要求元端末１０ａａと、端末ＩＤが「０１ｄｂ」の宛先端末１０ｄｂとの間で、画像データ及び音声データを中継しており、宛先端末１０ｄｂにおいて「２００９年１１月１０日の１４時００分」時点における画像データの遅延時間が２００（ｍｓ）であることが示されている。なお、２つの遠隔通信端末１０の間でテレビ会議を行う場合には、上記宛先端末１０Ｂではなく要求元端末１０Ａから送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、３つ以上の遠隔通信端末１０の間でテレビ会議を行う場合には、画像データ、音声データ及び表示データの受信側の遠隔通信端末１０から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。

（アドレス優先度管理テーブル）
更に、記憶部５０００には、図１３に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理ＤＢ５００６が構築されている。このアドレス優先度管理テーブルでは、一般的なＩＰｖ４におけるＩＰアドレスのうちの４組のドットアドレス(Dot Address)部分の同異に応じて、アドレス優先度のポイントが高くなるように関連付けられて管理される。例えば、図１３に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて３つの値が同じＩＰアドレスの場合には、アドレス優先度のポイントが「５」である。ドットアドレスの上位から下位にかけて２つの値が同じＩＰアドレスの場合には、アドレス優先度のポイントが「３」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から２番目の値が異なるＩＰアドレスの場合には、アドレス優先度のポイントが「１」である。この場合、上位から３番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるＩＰアドレスの場合には、アドレス優先度のポイントが「０」である。この場合、上位から２番目、３番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。

（伝送速度優先度管理テーブル）
また、記憶部５０００に構築されている優先度管理ＤＢ５００６には、図１４に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置３０における最大データ伝送速度（Ｍｂｐｓ）の値に応じて、伝送速度優先度のポイントが高くなるように関連付けられて管理される。例えば、図１４に示されている伝送速度優先度管理テーブルにおいて、中継装置３０における最大データ伝送速度が１０００Ｍｂｐｓ以上の場合には、伝送速度優先度のポイントが「５」である。中継装置３０における最大データ伝送速度が１００Ｍｂｐｓ以上１０００Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「３」である。中継装置３０における最大データ伝送速度が１０Ｍｂｐｓ以上１００Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「１」である。中継装置３０における最大データ伝送速度が１０Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「０」である。

（品質管理テーブル）
更に、記憶部５０００には、図１５に示されているような品質管理テーブルによって構成されている品質管理ＤＢ５００７が構築されている。この品質管理テーブルでは、要求元端末１０Ａ又は宛先端末１０Ｂにおける画像データの遅延時間（ｍｓ）に応じて、中継装置３０で中継させる画像データの画質（画像の品質）が関連付けられて管理される。

（遠隔通信管理システムの各機能部）
次に、遠隔通信管理システム５０の各機能部について詳細に説明する。なお、以下では、遠隔通信管理システム５０の各部を説明するにあたって、図３に示されている各構成要素のうち、遠隔通信管理システム５０の各部を実現させるための主な構成要素との関係も説明する。

送受信部５１は、図３に示されているネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。端末認証部５２は、送受信部５１を介して受信されたログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとし、記憶部５０００の端末認証管理ＤＢ５００２を検索し、端末認証管理ＤＢ５００２に同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う。状態管理部５３は、ログイン要求してきた要求元端末１０Ａの稼動状態を管理すべく、端末管理テーブル（図１０参照）に、この要求元端末１０Ａの端末ＩＤ、要求元端末１０Ａの稼動状態、遠隔通信管理システム５０でログイン要求情報が受信された受信日時、及び要求元端末１０ＡのＩＰアドレスを関連付けて記憶して管理する。

端末抽出部５４は、ログイン要求した要求元端末１０Ａの端末ＩＤをキーとして、宛先リスト管理テーブル（図１１参照）を検索し、要求元端末１０Ａと遠隔通信することができる宛先端末１０Ｂの候補の端末ＩＤを読み出すことで、端末ＩＤを抽出する。また、端末抽出部５４は、ログイン要求してきた要求元端末１０Ａの端末ＩＤをキーとして、宛先リスト管理テーブル（図１１参照）を検索し、上記要求元端末１０Ａの端末ＩＤを宛先端末１０Ｂの候補として登録している他の要求元端末１０Ａの端末ＩＤも抽出する。

端末状態取得部５５は、上記端末抽出部５４によって抽出された宛先端末１０Ｂの候補の端末ＩＤを検索キーとして、端末管理ＤＢテーブル（図１０参照）を検索し、上記端末抽出部５４によって抽出された端末ＩＤ毎に稼動状態を読み出す。これにより、端末状態取得部５５は、ログイン要求してきた要求元端末１０Ａと遠隔通信することができる宛先端末１０Ｂの候補の稼動状態を取得することができる。また、端末状態取得部５５は、上記端末抽出部５４によって抽出された端末ＩＤを検索キーとして、端末管理テーブル（図１０参照）を検索し、ログイン要求してきた要求元端末１０Ａの稼動状態も取得する。

絞込部５６は、複数の中継装置３０から最終的に１つの中継装置３０に絞り込む最終絞り込み処理を支援するため、最終絞り込み処理前の一次絞り込み処理を行うため、選択用セッションＩＤ生成部５６ａ、端末ＩＰアドレス抽出部５６ｂ、一次選択部５６ｃ、及び優先度決定部５６ｄを有している。このうち、選択用セッションＩＤ生成部５６ａは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤを生成する。端末ＩＰアドレス抽出部５６ｂは、要求元端末１０Ａから送られてきた開始要求情報に含まれている要求元端末１０Ａの端末ＩＤ、及宛先端末１０Ｂの端末ＩＤに基づいて、端末管理テーブル（図１０参照）を検索することにより、対応するそれぞれの遠隔通信端末１０のＩＰアドレスを抽出する。一次選択部５６ｃは、中継装置管理テーブル（図７参照）で管理されている中継装置３０のうち、稼動状態が「ＯＮライン」となっている中継装置３０の中継装置ＩＤを選択することにより、中継装置３０の選択を行う。

また、一次選択部５６ｃは、上記端末ＩＰアドレス抽出部５６ｂによって抽出された、要求元端末１０ＡのＩＰアドレス、及び宛先端末１０ＢのＩＰアドレスに基づいて、中継装置管理テーブル（図８参照）を検索することにより、上記選択された中継装置３０のＩＰアドレスのドットアドレス毎に、上記要求元端末１０Ａ及び宛先端末１０Ｂの各ＩＰアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部５６ｃは、中継装置毎に、アドレス優先度のポイントにおいて遠隔通信端末１０に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位２つの中継装置３０を選択することにより、中継装置３０の更なる選択を行う。

なお、本実施形態では、ポイントが高い上位２つの中継装置３０を選択することにしているが、これに限られるものではなく、中継装置３０を１つでも多く絞り込むことができれば、ポイントが高い上位３つ以上の中継装置３０を選択するようにしてもよい。

優先度決定部５６ｄは、優先度管理テーブル（図１３参照）を参照して、上記一次選択部５６ｃによって調査された中継装置３０毎に、アドレス優先度のポイントを決定する。また、優先度決定部５６ｄは、中継装置管理テーブル（図８参照）で管理されている各中継装置３０の最大データ伝送速度に基づいて、伝送速度優先度管理テーブル（図１４参照）を検索することにより、上記一次選択部５６ｃによって絞り込まれた中継装置３０毎に伝送速度優先度のポイントを決定する。

セッション管理部５７は、記憶部５０００のセッション管理テーブル（図１２参照）に、選択用セッションＩＤ生成部５６ａで生成された選択用セッションＩＤ、要求元端末の端末ＩＤ、及び宛先端末の端末ＩＤを関連付けて記憶して管理する。また、セッション管理部５７は、セッション管理テーブル（図１１参照）に対して、選択用セッションＩＤ毎に、遠隔通信端末１０の選択部１６ｃで最終的に１つに選択された中継装置３０の中継装置ＩＤを記憶して管理する。

品質決定部５８は、上記遅延時間を検索キーとして、品質管理テーブル（図１５参照）を検索し、対応する画像データの画質を抽出することで、中継装置３０に中継させる画像データの画質を決定する。記憶・読出処理部５９は、図３に示されているＨＤＤ２０５によって実行され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出す処理を行う。遅延時間管理部６０は、上記宛先端末１０ＢのＩＰアドレスを検索キーとして、端末管理テーブル（図１０参照）を検索することで、対応する端末ＩＤを抽出し、更に、セッション管理テーブル（図１２参照）のセッション管理テーブルにおいて、抽出した端末ＩＤが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。

＜＜動作手順＞＞
図１６は、遠隔通信端末１０間で画像データ及び音声データを送受信する処理を示したシーケンス図の一例である。要求元端末１０ａａと宛先端末１０ｄｂとの間で、テレビ会議を行うために、画像データ及び音声データを送受信する処理を説明する。

まず、要求元端末１０ａａは、撮像部１４ａで撮像された被写体の画像データ、及び音声入力部１５ａで入力された音声の音声データを、送受信部１１から通信ネットワーク２を介して中継装置３０ａへ送信する（ステップＳ８１）。なお、本実施形態では、低解像度、中解像度、及び高解像度の３つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置３０ａでは、送受信部３１で上記３つの解像度の画像データ及び音声データを受信する。そして、データ品質確認部３３が、宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を検索キーとして、変更品質管理テーブル（図７参照）を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する（ステップＳ８２）。本実施形態では、確認された画像データの画像の画質が「高画質」であり、送受信部３１で受信した画像データの画質と同じであるため、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末１０ｄｂに転送する（ステップＳ８３）。これにより、宛先端末１０ｄｂは、送受信部１１で画像データ及び音声データを受信し、画像表示制御部１４ｂがディスプレイ１００に上記画像データに基づく画像を表示させると共に、音声出力部１５ｂが音声データに基づく音声を出力させることができる。

次に、遠隔通信端末１０ｄｂの遅延検出部１７は、送受信部１１で受信された画像データの受信の遅延時間を一定時間毎（例えば、１秒毎）に検出する（ステップＳ８４）。なお、本実施形態では、遅延時間が２００（ｍｓ）である場合について、以下説明を続ける。

宛先端末１０ｄｂの送受信部１１は、通信ネットワーク２を介して遠隔通信管理システム５０へ、遅延時間「２００（ｍｓ）」を示す遅延情報を送信する（ステップＳ８５）。

これにより、遠隔通信管理システム５０は、遅延時間を把握すると共に、遅延情報の送信元である遠隔通信端末１０ｄｂのＩＰアドレス「１．３．２．４」を把握することができる。

次に、遠隔通信管理システム５０の遅延時間管理部６０は、上記宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を検索キーとして、端末管理テーブル（図１０参照）を検索することで、対応する端末ＩＤ「０１ｄｂ」を抽出し、更に、セッション管理ＤＢ５００５のセッション管理テーブル（図１２参照）において、上記端末ＩＤ「０１ｄｂ」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「２００（ｍｓ）」を記憶して管理する（ステップＳ８６）。

次に、品質決定部５８は、上記遅延時間「２００（ｍｓ）」を検索キーとして、品質管理テーブル（図１４参照）を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する（ステップＳ８７）。

次に、送受信部５１は、セッション管理テーブル（図１２参照）において、上記端末ＩＤ「０１ｄｂ」に関連付けられている中継装置ＩＤ「１１１ａ」を検索キーとして、中継装置管理ＤＢテーブル（図８参照）を検索し、対応する中継装置３０ａのＩＰアドレス「１．２．１．２」を抽出する（ステップＳ８８）。そして、送受信部５１は、通信ネットワーク２を介して中継装置３０ａへ、上記ステップＳ８７によって決定された画像データの画質「中画質」を示す品質情報を送信する（ステップＳ８９）。この品質情報には、上記ステップＳ８６において検索キーとして用いた宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」が含まれている。これにより、中継装置３０ａでは、変更品質管理部３４が、変更品質管理テーブル（図７参照）に、送信先の遠隔通信端末１０（ここでは、宛先端末１０ｄｂ）のＩＰアドレス「１．３．２．４」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する（ステップＳ９０）。

次に、遠隔通信端末１０ａａは、引き続き上記ステップＳ８１と同様に、中継装置３０ａへ、低画質、中画質、及び高画質の３つから成る高画質の画像データ、並びに、音声データを送信する（ステップＳ９１）。これにより、中継装置３０ａでは、上記ステップＳ８２と同様に、データ品質確認部３３が、宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を検索キーとして、変更品質管理テーブル（図７参照）を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する（ステップＳ９２）。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部３１で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部３５は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する（ステップＳ９３）。そして、送受信部３１は、通信ネットワーク２を介して遠隔通信端末１０ｄｂへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する（ステップＳ９４）。このように、画像データを受信する宛先端末１０ｄｂで、受信の遅延が生じた場合には、中継装置３０ａは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。

次に、図１７を用いて、中継装置３０が決定された後に、外部入力装置４０がＨＤＤ２０５に記憶している資料データを表示して、その画面全体を共有する手順を説明する。ここでは、遠隔通信端末１０ａａに接続されている外部入力装置４０ａａが表示している情報を、宛先端末である遠隔通信端末１０ｄｂに表示させる例を説明する。

前述したように、中継装置３０が決定されると、Ｓ６７−２１で遠隔通信管理システム５０が送信した中継装置ＩＤ「１１１ａ」、宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を、遠隔通信端末１０ａａの送受信部１１が受信し、受信した中継装置ＩＤ「１１１ａ」、ＩＰアドレス「１．３．２．４」を記憶・読出処理部１９が記憶部１０００に記憶させる（ステップＳ６７−２２）。

また、外部入力装置４０ａａ、遠隔通信端末１０ａａが互いに接続されると、外部入力装置４０ａａの接続検出部４２がそれを検知する（ステップＳ７０）。接続検出部４２が、外部入力装置４０ａａ、遠隔通信端末１０ａａが互いに接続されたことを検知すると、インストール判定部４３は、表示データ送信部４５２が既にインストールされているか否かを判定する（ステップＳ７１）。ステップＳ７１で、表示データ送信部４５２がインストールされていないと判定された場合は、プログラム取得部４４が、遠隔通信端末１０ａａに記憶されているデータ送信部４５２を取得し、インストールする（ステップＳ７２）。

ステップＳ７２で、表示データ送信部４５２がインストールされると、外部入力装置４０ａａは表示データ取得部４５１が処理を実行する許可を遠隔通信端末１０ａａに要求する（ステップＳ７３）。遠隔通信端末１０ａａが外部入力装置４０ａａに対して、表示データ取得部４５１の処理の実行を許可すると、表示データ取得部４５１は表示データを取得する（ステップＳ７４）。次に、表示データ送信部４５２が、表示データ取得部４５１で取得された表示データを遠隔通信端末１０ａａに対して送信する（ステップＳ７５）。

ステップＳ７１で表示データ送信部４５２がインストールされていると判定された場合は、ステップＳ７３以降の処理に移る。

送信先の遠隔通信端末１０ｄｂの外部情報送受信部１８が表示データを受信すると、記憶・読出処理部１９が、記憶部１０００に記憶されている中継装置ＩＤ「１１１ａ」、宛先となる遠隔通信端末１０ｄｂのＩＰアドレス「１．３．２．４」を取得する（ステップＳ７７）。そして、ステップＳ７７で取得された中継装置ＩＤ「１１１ａ」で示される中継装置３０に対して、送受信部１１が、表示データ、及び、宛先となる遠隔通信端末１０ｄｂのＩＰアドレス「１．３．２．４」を送信する（ステップＳ７８）。ステップＳ７８で遠隔通信端末１０ａａから送信された表示データを受信すると、中継装置３０は遠隔通信端末１０ｄｂのＩＰアドレス「１．３．２．４」に基づいて、表示データの品質を変更し（ステップＳ７９）、遠隔通信端末１０ｄｂに表示データを送信する（ステップＳ８０）。ステップＳ７７の処理の詳細は、上述した、音声データ及び画像データの品質を変更する処理（ステップＳ８１〜ステップＳ９４）と同じであるため、説明を省略する。

中継装置３０から送信された表示データを遠隔通信端末１０ｄｂの送受信部１１が受信すると、画像表示制御部１４ｂが表示データを表示させる。

図１８は、遠隔通信端末１０ｄｂの画像表示制御部１４ｂが表示する画面の画面例を示す。図１８に示される例では画面左部に外部入力装置４０ａａが表示する表示データが表示されている。図１８に示すように表示データにマウスカーソル５０５が含まれる点が特徴の１つとなる。なお、図示する以外のウィンドウは別の表示データや操作メニューである。

また、画面右上部には遠隔通信端末１０ａａの撮像部１４ａによって撮像され、送受信部１１によって送信された画像データが表示される。また、画面右下部には遠隔通信端末１０ｄｂの撮像部１４ａによって撮像された画像データが表示される。

〔指示情報の表示〕
続いて、指示情報の取得について説明する。外部入力装置４０ａａを操作するユーザは、マウス２１２やキーボード２１１を操作してマウスカーソルを表示装置４００内で移動させる。表示装置４００には資料が表示されているので、マウスカーソルの位置は資料の文字や１行、図形、又は、ある範囲を指示する。

本実施形態では、このマウスカーソルの表示データにおける座標データが指示情報である。なお、ユーザがマウス２１２を使用せずにトラックポインタでマウスカーソルを移動させたり、タッチパネルを指先で触ってマウスカーソルを移動させてもよく、本実施形態ではポインティングデバイスの種類は問わない。また、マウスカーソルはどのような形状や色を有していてもよい。

また、指示情報にはマウスカーソルの画像を含めることが好適となる。こうすることで、遠隔通信端末１０ａａと１０ｄｂで同じ形状や色のマウスカーソルを表示することができる。しかし、座標データさえあれば、遠隔通信端末１０ａａが有しているマウスカーソル用のアイコンの画像を表示データに合成することができる。また、同様に、遠隔通信端末１０ｄｂは自機が有するマウスカーソルの画像（アイコン）を使って表示データに合成することもできる。

また、遠隔通信端末１０でなく外部入力装置４０が、予めマウスカーソル用のアイコンの画像データを記憶していれば、外部入力装置４０が表示データにマウスカーソルの画像データを合成することができる。

図１９は、図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置４０ａａが資料の画像データと指示情報を取り込む手順を示すシーケンス図の一例である。「７５：表示データ取得」がＳ７５に相当するステップである。図１９では、ステップＳ７５の中で「７５−１：画像データ取得」、「７５−２:指示情報取得」、「７５−３：画像データに指示情報を合成」とが行われている。

まず、画面情報取得部４５１３は、外部入力装置（例えばノートＰＣ）１０ａａが表示している資料の画像データを取得する（Ｓ７５−１）。資料の画像データはいったんＲＡＭ２０３等に記憶される。

次に、指示情報取得部４５１２は、「７５−２:指示情報取得」の中で、マウスカーソルの画像データを取得する（Ｓ７５−２１）。マウスカーソルの画像データはいったんＲＡＭ２０３等に記憶される。また、指示情報取得部４５１２は、マウスカーソルの座標データを取得する（Ｓ７５−２２）。

次に、表示データ作成部４５１４は、資料の画像データの、座標データが示す位置にマウスカーソルの画像データを合成して表示データを作成する（Ｓ７５−３）。

図２０は、２つの画像の合成を模式的に説明する図の一例である。図２０の画像データ５０１は、外部入力装置４０ａａが表示装置４００に表示している画面の全体であり、その中に資料が表示されるウィンドウ５０１１が表示されている。マウスカーソルは画像データ５０１の全体を移動でき、ウィンドウ５０１１は画像データ５０１の全体を占めることもできる。画面情報取得部４５１３は画像データ５０１の全体の画像データもウィンドウ５０１１だけの画像データも取り込むことができる。本実施形態では、この違いを区別せずに資料の画像データと称している。

マウスカーソルの画像データ５０２はＳ７５−２で取得され、マウスカーソルの座標データ５０３はＳ７５−３で取得される。座標データは資料の画像データの左上の頂点を原点とするピクセル単位でマウスカーソルの２次元上の位置を示す座標である。

したがって、表示データ作成部４５１４は、例えばマウスカーソルの先端部を座標データが示す、資料の画像データ５０１又は５０１１の位置に配置することで、資料の画像データにマウスカーソルを合成することができる。なお、合成とは、資料の画像データにマウスカーソルの画像データを配置して（重なる画素の画素値を置き換えて）１つの画像データとすることである。

このようにして作成された図２０下部の表示データ５０４は図１７又は図１９のステップＳ７６で遠隔通信端末１０ａａに送信され、遠隔通信端末１０ａａから中継装置３０に送信される。

以上説明したように、本実施例の遠隔通信システム１は、資料などの表示データにおいて画面上の位置を指示するマウスカーソルの座標データや画像データを各遠隔通信端末間で共有することができる。

実施例１では、画面情報取得部４５１３が資料の画像データを取得する頻度と、指示情報取得部４５１２が指示情報を取得する頻度が同じであった。本実施例では、資料の画像データの取得頻度を指示情報の取得頻度よりも低減する遠隔通信システム１について説明する。こうすることで、外部入力装置４０の負荷を減らし、マウスカーソルの動きを滑らかにすることができる。

例えばテレビ会議において、各遠隔通信端末１０がプレゼンテーション資料を共有している場合、プレゼンテーション資料の画面に比べ、相対的にマウスカーソルの位置の方が高い頻度で変化する。すなわち、資料の画面は静止したまま（同じまま）、マウスカーソルだけが移動することが多い。

このため、指示情報取得部４５１２がｎ回、指示情報を取得したら１回だけ、画面情報取得部４５１３が資料の画像データを取得するとしても、ユーザが違和感を感じることはほとんどないと考えられる。この考え方を利用して、本実施例の表示データ作成部４５１４は、最後に画面情報取得部４５１３が取得した資料の画像データをｎ回使用して（使い回して）、これとサイクル毎に取得する指示情報を用いて表示データを作成する。

図２１は、図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置４０ａａが資料の画像データと指示情報を取り込む手順を示すフローチャート図の一例である。図２１は説明の都合上、シーケンス図でなくフローチャート図とした。

画面情報取得部４５１３は、変数ｉを用いて資料の画像データを取得するか否かを制御する。ここで、情報取得頻度決定部４５１１は資料の画像データと指示情報の取得頻度を決定していたが、本実施例では情報取得頻度決定部４５１１は、指示情報の取得頻度と、指示情報の取得頻度に対する資料の画像データの取得頻度を決定する。例えば、資料の画像データの取得頻度は、指示情報の取得頻度ｎ回に対し１回、のように決定される。したがって、情報取得頻度決定部４５１１はこの"ｎ"回（例えば、２以上の自然数であり上限を１００とする）を決定する。決定方法は種々あるが、例えば外部入力装置４０ａａのスペックに応じたり、ユーザの設定を受け付けるなどの方法がある。

まず、画面情報取得部４５１３は、外部入力装置４０ａａが起動して最初に資料の画像データを取得する際、変数ｉに１を設定することで初期化する。そして、画面情報取得部４５１３はi＝1か否かを判定し（Ｓ７５−０）、i＝1の場合にだけ、資料の画像データを取得する（Ｓ７５−１）。画面情報取得部４５１３はＲＡＭ２０３に記憶されている最後の資料の画像データを更新する。

i＝1でない場合、画面情報取得部４５１３は資料の画像データを取得することなく、指示情報取得部４５１２がマウスカーソルの画像データを取得する（Ｓ７５−２１）。次に、指示情報取得部４５１２はマウスカーソルの座標データを取得する（Ｓ７５−２２）。

次に、表示データ作成部４５１４は資料の画像データにマウスカーソルの画像データを合成する（Ｓ７５−３）。表示データの作成の一連の処理が終了すると、表示データ作成部４５１４は変数ｉを1つ 増やす。

そして、表示データ作成部４５１４はi = nか否かを判定し（Ｓ７５−６）、ｉ＝ｎの場合は変数iを" 1" に初期化する（Ｓ７５−７）。

以上のような処理により、指示情報がｎ回取得される毎に１回、外部入力装置４０ａａは資料の画像データを取得することができる。

したがって、動きの少ない資料の画像データの取得頻度を小さくし、動きの多いマウスカーソルの取得頻度を大きくすることができ、処理の負荷を低く保ちながら多くの表示データを送信できる。よって、効率的（負荷低）、効果的（なめらかなカーソル動作）に遠隔通信端末１０の相手に表示データを伝えることができる。

実施例１と実施例２では、時間間隔の違いはあるが固定的なタイミングで外部入力装置４０が資料の画像データと資料情報を取得した。しかし、複数の遠隔通信端末１０間で共有する画面（資料、マウスカーソルの位置）は当然あらかじめ決まっているものではなく、ユーザが操作することで変化するものである。

そこで、本実施例では、表示されている資料の画像データの変化又はマウスカーソルの位置の変化量に応じて資料の画像データの取得頻度及び指示情報の取得頻度を変えることができる外部入力装置４０について説明する。資料やマウスカーソルの位置に変化がなければ、外部入力装置４０は資料の画像データや指示情報を取得しないので、効率的に表示データの作成及び送信を行うことができる。

図２２、２３は、図１７の「ステップＳ７５の表示データ取得」の際、外部入力装置４０ａａが指示情報を取り込む手順を示す図の一例である。このうち図２２はシーケンス図であり、図２３は図２２の処理の一部を詳細に説明するフローチャート図である。

図２２、２３の処理の概略を説明すると、資料の画像データに変更があるか、又は、マウスカーソルが 距離ｍ以上移動した場合にのみ、表示データ作成部４５１４が表示データを作成し、遠隔通信端末１０ｄｂに送信する手順である。よって、資料の画像データか指示情報のどちらか一方に更新があれば、外部入力装置４０ａａは資料の画像データと指示情報の合成を行い表示データを送信するが、どちらも更新されていなかった場合は、合成も送信も行わず同じサイクルを繰り返す。

まず、指示情報取得部４５１２は、外部入力装置４０ａａの起動した際に、変数ｍに"ｙ"を設定する。"ｙ"は定数であり、例えば数十ピクセルなど、マウスカーソルの移動量を判定する閾値である。

まず、画面情報取得部４５１３は、外部入力装置（例えばノートＰＣ）４０ａａが表示している資料の画像データを取得する（Ｓ７５−１）。資料の画像データはいったんＲＡＭ２０３等に記憶される。

そして、画面情報取得部４５１３は、今回、ＲＡＭ２０３に記憶された資料の画像データと前回の画像データが異なる場合にだけ、前回の画像データを今回の画像データで置き換える（Ｓ７５−１１）。

ステップＳ７５−１１の処理を図２３のフローチャート図にて説明する。画面情報取得部４５１３は、今回、ＲＡＭ２０３に記憶された資料の画像データと前回の画像データが異なるか否かを判定する（Ｓ７５−１１１）。そして、前回の画像データを今回の画像データで置き換える（Ｓ７５−１１２）。

ここで「資料の画像データが異なる」とは、ＲＡＭ２０３に保存されている前回の画像データと今回の画像データをピクセル単位で比較し、1ピクセルの画素値でも異なっていることをいう。このように判定することで、今回と前回の資料の画像データが異なっているか否かを正確に判定できる。また、１ピクセルの画素値が異なっているか否かでなく、１０〜１００ピクセル以上の画素値が異なっている場合に「資料の画像データが異なる」と判定することもできる。このように判定することで、資料の画像データの変化の大きい場合にだけ、「資料の画像データが異なる」と判定できる。

また、画素値をサンプリングして判定してもよい。すなわち、画面情報取得部４５１３は、今回と前回の資料の画像データの同じ位置の画素値を例えば縦横８〜１６画素毎にそれぞれ取り出して比較し、1ピクセルの画素値でも異なっている場合に「資料の画像データが異なる」と判定することもできる。こうすることで、ある程度の正確さを保ちながら、比較処理を高速化できる。

また、資料の画像データが異なるとは、ユーザがキーボード２１１やマウス２１２を操作して資料の画像データに変化をもたらしたことになるので、キーボード２１１やマウス２１２の操作から「資料の画像データが異なる」か否かを判定することができる。画面情報取得部４５１３は、予め登録された表示中の資料の画像データに変化をもたらす操作（キーボード２１１のＰａｇｅＵｐ、ＰａｇｅＤｏｗｎ、マウス２１２のページ捲りメニューの左クリック、右クリックメニューからのページ捲り操作）を監視し、このような操作が検出された場合に「資料の画像データが異なる」と判定する。この場合、比較のために資料の画像データを取り込む必要がないので、外部入力装置４０ａａの処理負荷を低減できる。

図２２に戻り、次に、指示情報取得部４５１２は、マウスカーソルの座標データを取得する（Ｓ７５−２２）。マウスカーソルの座標データはいったんＲＡＭ２０３等に記憶される。

そして、指示情報取得部４５１２は、今回、取得したマウスカーソルの座標データと、前回、取得したマウスカーソルの座標データを比較して距離がｍ以上の場合にだけ、前回のマウスカーソルの画像データを今回のマウスカーソルの座標データで置き換える（Ｓ７５−２１）。

ステップＳ７５−２１の処理を図２３のフローチャート図にて説明する。指示情報取得部４５１２は、今回、取得したマウスカーソルの座標データと、前回、取得したマウスカーソルの座標データを比較して距離がｍ以上か否かを判定する（Ｓ７５−２１１）。

「距離がｍ 以上」とは、２つのマウスカーソルの座標のユークリッド距離が m 以上であることをいう。２座標間のユークリッド距離ではなく、x座標又はy座標のどちらか一方の変化量がｍ以上であることを判定基準としてもよい。

また、「距離が m 以上」であることに加え、又は、「距離が m 以上」か否かに関係なく、指示情報取得部４５１２はマウスカーソルの移動速度がｖ以上か、及び、マウスカーソルの加速度がα以上か否かを判定してもよい。図２３の手順がほぼ一定時間毎に実行されるとすると、指示情報取得部４５１２が取得した毎回のマウスカーソルの座標データの差異をサイクル時間で除算することで速度が算出される。また、加速度は、単位時間当たりの速度の変化速度であるので、真得るカーソルの速度の変化をサイクル時間で除算することで加速度が算出される。

指示情報取得部４５１２は、過去の複数の座標データから速度と加速度を算出し（必要であれば平均を求める処理などを行い）、速度が速度ｖ以上、又は／及び、加速度がα以上の場合、座標データを更新することができる。

距離がｍ以上の場合、指示情報取得部４５１２は、前回のマウスカーソルの座標データを今回の座標データで置き換える（Ｓ７５−２１２）。

マウスカーソルの位置が大きく移動したので、指示情報取得部４５１２はマウスカーソルの画像データを取得する（Ｓ７５−２１３）。マウスカーソルの画像データはいったんＲＡＭ２０３等に記憶される。

図２２に戻り、次に、表示データ作成部４５１４は、資料の画像データ又は指示情報のどちらか１つ以上に更新があった場合に、資料の画像データの座標データが示す位置に、マウスカーソルの画像データを合成して表示データを作成する（Ｓ７５−３）。

ステップＳ７５−３の処理を図２３のフローチャート図にて説明する。表示データ作成部４５１４は、資料の画像データ又は指示情報のどちらかに１つ以上に更新があったか否かを判定する（Ｓ７５−３１）。更新の有無は、例えば、資料の画像データの更新フラグ、マウスカーソルの座標データの更新フラグを監視するなどで判定される。

資料の画像データ又はマウスカーソルの座標データのどちらかに１つ以上に更新があった場合、表示データ作成部４５１４は資料の画像データにマウスカーソルの画像データを合成する（Ｓ７５−３２）。

このように、資料かマウスカーソルのどちらかに変化があった場合にだけ表示データを作成することで、画面の変化が乏しい間は処理負荷・通信負荷を低減することができる。

また、マウスカーソルの座標データの移動距離、速度又は加速度を閾値と比較するだけでなく、情報取得頻度決定部４５１１が移動距離、速度又は加速度に応じて指示情報の取得頻度を増減させてもよい。例えば、情報取得頻度決定部４５１１は、図２３の実行後、図２３のステップＳ７５−２２、Ｓ７５−２１、Ｓ７５−３だけをｋ（１以上の自然数）回実行する。こうすれば、資料の画像データの取得頻度はそのままに、指示情報の取得頻度を大きくできる。移動距離、速度又は加速度の大きさに応じて、この"ｋ"を大きくすれば、移動距離、速度又は加速度が大きくなるほど指示情報の取得頻度を大きくできる。

こうすることで、マウスカーソルの移動量が多いほど指示情報を高頻度に取得でき、マウスカーソルが速く移動してもマウスカーソルの動きを滑らかにすることができる。

実施例３では、表示データの作成頻度を低減することができたが、資料の画像データの比較はサイクル毎に行われている。本実施例では、実施例２と同様に、画面情報取得部４５１３が資料の画像データの比較頻度を低減する遠隔通信システム１について説明する。こうすることで、実施例３よりもさらに外部入力装置４０ａａの負荷を減らしながら通信負荷を低減できる。

図２４は、図１７の「ステップＳ７５の 表示データ取得」の際、外部入力装置４０ａａが資料の画像データと指示情報を取り込む手順を示すフローチャート図の一例である。図２４の手順は、図２３と同様であるが、ステップＳ７５−０にて、画面情報取得部４５１３はi＝1か否かを判定し（Ｓ７５−０）、i＝1の場合にだけ、画面情報取得部４５１３は、資料の画像データを取得する（Ｓ７５−１）。資料の画像データを取得した場合の処理（Ｓ７５−１１，７５−２２、７５−２１、７５−３）については実施例３と同様である。

ステップＳ７５−０にて、i＝1でない場合、画面情報取得部４５１３は資料の画像データを取得することなく、指示情報取得部４５１２がマウスカーソルの画像データを取得する（Ｓ７５−２２）。

以降の処理は実施例３と同様であるが、表示データ作成部４５１４が資料の画像データにマウスカーソルの画像データを合成すると（Ｓ７５−３２）、表示データ作成部４５１４は変数ｉを1つ 増やす。

そして、表示データ作成部４５１４はi = nか否かを判定し（Ｓ７５−６）、ｉ＝ｎの場合は変数iを" 1" に初期化する（Ｓ７５−７）。

以上のような処理により、表示データがｎ回作成される毎に１回、資料の画像データを取得して、過去の資料の画像データと比較すればよいことになり、外部入力装置４０ａａの処理負荷を低減することができる。

したがって、資料の画像データの取得頻度を、指示情報の取得頻度よりも低減でき、さらに今回と前回の資料の画像データを比較しても異なっていなければＲＡＭ２０３の画像データを更新する必要もなく、資料かマウスカーソルのどちらかに変化がなければ表示データを作成する必要がない。このため、実施例３よりも処理負荷・通信負荷を低減することができる。

なお、本実施例においても、情報取得頻度決定部４５１１はマウスカーソルの移動距離、速度又は加速度に応じて指示情報の取得頻度を増減させることができ、資料の画像データの取得頻度は抑制したまま、遠隔通信端末１０ｄｂは滑らかに移動するマウスカーソルを表示することができる。

１ 遠隔通信システム
１０ 遠隔通信端末
１１ 送受信部（表示データ送信手段の一例）
１２ 操作入力受付部
１３ ログイン要求部
１４ａ 撮像部
１４ｂ 画像表示制御部
１５ａ 音声入力部
１５ｂ 音声出力部
１６ 選択処理部
１６ａ 計測部
１６ｂ 算出部
１６ｃ 選択部
１７ 遅延検出部
１８ 外部情報送受信部（表示データ受信手段の一例）
１９ 記憶・読出処理部
３０ 中継装置
４０ 外部入力装置
４１ 送受信部
４２ 接続検出部
４３ インストール判定部
４４ プログラム取得部
４５１ 表示データ取得部
４５２ 表示データ送信部
４５１１ 情報取得頻度決定部
４５１２ 指示情報取得部
４５１３ 画面情報取得部
４５１４ 表示データ作成部
４６ 操作入力受付部
４７ 表示制御部
４８ マウント部
４９ 記憶・読出処理部
５０ 遠隔通信管理システム
４００ 表示装置
１０００ 記憶部（宛先情報記憶手段の一例）
３０００ 記憶部
３００１ 変更品質管理ＤＢ
５０００ 記憶部
５００１ 中継装置管理ＤＢ
５００２ 端末認証管理ＤＢ
５００３ 端末管理ＤＢ
５００４ 宛先リスト管理ＤＢ
５００５ セッション管理ＤＢ
５００６ 優先度管理ＤＢ
５００７ 品質管理ＤＢ

米国特許第６７６０７４９号明細書

Claims (12)

1. ネットワークを介して接続された他の機器に、音声又は映像が含まれる会議データを配信する遠隔通信端末と接続された外部入力装置であって、
   画像を表示する表示手段と、
   前記表示手段に表示されるカーソルの操作を受け付けるカーソル操作手段と、
   前記画像の画像データを取得する画像データ取得手段と、
   前記カーソルの少なくとも座標データが含まれるカーソル情報を取得するカーソル情報取得手段と、
   前記カーソル情報取得手段が前記カーソル情報を取得する第１の頻度を決定する情報取得頻度決定手段と、
   前記画像データに前記カーソルを合成した表示データを作成する表示データ作成手段と、
   前記表示データを前記遠隔通信端末に送信する送信手段と、
   を有することを特徴とする外部入力装置。
2. 前記カーソル情報には、前記座標データに加え、前記カーソルのカーソル画像データが含まれ、
   前記カーソル情報取得手段は、前記座標データと前記カーソル画像データを取得する、
   ことを特徴とする請求項１記載の外部入力装置。
3. 前記カーソルはマウスカーソルである、ことを特徴とする請求項１又は２記載の外部入力装置。
4. 前記表示データ作成手段は、前記画像データの、前記座標データが指示する位置に前記カーソル画像データを合成することで前記表示データを作成する、
   ことを特徴とする請求項２記載の外部入力装置。
5. 前記情報取得頻度決定手段は、前記画像データ取得手段が前記画像データを取得する頻度を、前記第１の頻度と異なる第２の頻度に決定する、
   ことを特徴とする請求項１〜４いずれか１項記載の外部入力装置。
6. 前記第１の頻度は前記第２の頻度よりも大きい、ことを特徴とする請求項５記載の外部入力装置。
7. 前記表示手段に表示されている前記画像の前記画像データが変化したこと、又は、前記座標データが閾値以上変化したことを検出する変化検出手段、を有し、
   前記表示データ作成手段は、前記変化検出手段が前記画像データの変化を検出したか、又は、前記座標データが閾値以上変化したことを検出した場合、前記表示データを作成する、
   ことを特徴とする請求項１〜４いずれか１項記載の外部入力装置。
8. 前記変化検出手段は、前記画像データの変化量が閾値以上の場合に、前記画像データが変化したことを検出する、
   ことを特徴とする請求項７記載の外部入力装置。
9. 前記情報取得頻度決定手段は、前記画像データ取得手段が前記画像データを取得する頻度を、前記第１の頻度より小さい第２の頻度に決定する、
   ことを特徴とする請求項７記載の外部入力装置。
10. 前記情報取得頻度決定手段は、前記座標データの変化量、変化速度又は加速度が大きいほど、前記第１の頻度を大きくする、
    ことを特徴とする請求項７又は８記載の外部入力装置。
11. ネットワークを介して接続された他の機器に、音声又は映像が含まれる会議データを配信する遠隔通信端末と接続された外部入力装置の表示データ作成方法であって、
    表示手段が、画像を表示するステップと、
    カーソル操作手段が、前記表示手段に表示されるカーソルの操作を受け付けるステップと、
    画像データ取得手段が、前記画像の画像データを取得するステップと、
    カーソル情報取得手段が、前記カーソルの少なくとも座標データが含まれるカーソル情報を取得するステップと、
    情報取得頻度決定手段が、前記カーソル情報取得手段が前記カーソル情報を取得する第１の頻度を決定するステップと、
    表示データ作成手段が、前記画像データに前記カーソルを合成した表示データを作成するステップと、
    送信手段が、前記表示データを前記遠隔通信端末に送信するステップと、
    を有することを特徴とする表示データ作成方法。
12. ネットワークを介して接続された他の機器に、音声又は映像が含まれる会議データを配信する遠隔通信端末と接続された外部入力装置に、
    表示手段に画像を表示させる表示ステップと、
    前記表示手段に表示されるカーソルの操作を受け付けるカーソル操作ステップと、
    前記画像の画像データを取得する画像データ取得ステップと、
    前記カーソルの少なくとも座標データが含まれるカーソル情報を取得するカーソル情報取得ステップと、
    前記カーソル情報取得ステップが実行され前記カーソル情報が取得される第１の頻度を決定する情報取得頻度決定ステップと、
    前記画像データに前記カーソルを合成した表示データを作成する表示データ作成ステップと、
    前記表示データを前記遠隔通信端末に送信する送信ステップと、
    を実行させるプログラム。
    
    
    

Images