以下、図1乃至図33を用いて、本発明の一実施形態について説明する。なお、本実施形態においては、伝送端末は、相手側の伝送端末へ、音声データを送信することで音声通信を行い、画像データを送信することで画像通信を行う。
<<実施形態の全体構成>>
図1は、本発明の本実施形態に係る伝送システム1の概略図である。図2は、伝送システムにおける画像データ、音声データ、及び各種管理情報の送受信の状態を示した概念図である。図3は、画像データの画質を説明する概念図である。
また、伝送システムには、伝送管理システムを介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムや、伝送管理システムを介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム等が例として挙げられる。
本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定した上で、伝送システム、伝送管理システム、及び伝送端末について説明する。即ち、本発明の伝送端末及び伝送管理システムは、テレビ会議システムに適用されるだけでなく、コミュニケーションシステム、又は伝送システムにも適用される。なお、本実施形態では、「テレビ会議」と説明しているが、「ビデオ会議」と言われることもあり、両者は同じ内容である。
まず、図1に示されている伝送システム1は、複数の伝送端末(10aa,10ab,…)、各伝送端末(10aa,10ab,…)用の表示手段としてのディスプレイ(120aa,120ab,…)、複数の中継装置(30a,30b,30c,30d)、伝送管理システム50、プログラム提供システム90、及びメンテナンスシステム100によって構築されている。
複数の端末10は、コンテンツデータの一例としての画像データ及び音声データの送受信による伝送を行う。
なお、以下では、「伝送端末」を単に「端末」として表し、「伝送管理システム」を単に「管理システム」として表す。また、複数の端末(10aa,10ab,…)のうち任意の端末は、「端末10」と表され、複数のディスプレイ(120aa,120ab,…)のうち任意のディスプレイは「ディスプレイ120」と表され、複数の中継装置(30a,30b,30c,30d)のうち任意の中継装置は「中継装置30」と表されている。更に、テレビ会議の開始を要求する要求元としての端末は「要求元端末」と表され、要求先である宛先(中継先)としての端末は「宛先端末」と表されている。
また、図2に示されているように、伝送システム1において、要求元端末と宛先端末との間では、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、要求元端末と宛先端末との間では、中継装置30を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの4つの各データを送受信するための4つのセッションが確立される。ここでは、これら4つのセッションをまとめて、画像・音声データ用セッションsedとして示している。
ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図3(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図3(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図3(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。
図1に示されている中継装置30は、複数の端末10の間で、コンテンツデータの中継を行う。管理システム50は、端末10からのログイン認証、端末10の通話状況の管理、宛先リストの管理等、及び中継装置30の通信状況等を一元的に管理する。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。
複数のルータ(70a,70b,70c,70d,70ab,70cd)は、画像データ及び音声データの最適な経路の選択を行う。なお、以下では、ルータ(70a,70b,70c,70d,70ab,70cd)のうち任意のルータは「ルータ70」と表されている。
プログラム提供システム90は、後述のHD(Hard Disk)204を備えており、端末10に各種機能を実現させる(又は、端末10を各種手段として機能させる)ための端末用プログラムが記憶され、端末10に端末用プログラムを送信することができる。また、プログラム提供システム90のHD204には、中継装置30に各種機能を実現させる(又は、中継装置30を各種手段として機能させる)ための中継装置用プログラムも記憶されており、中継装置30に、中継装置用プログラムを送信することができる。更に、プログラム提供システム90のHD204には、管理システム50に各種機能を実現させる(又は、管理システム50を各種手段として機能させる)ための伝送管理用プログラムも記憶されており、管理システム50に、伝送管理用プログラムを送信することができる。
メンテナンスシステム100は、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、又は保守を行うためのコンピュータである。例えば、メンテナンスシステム100が国内に設置され、端末10、中継装置30、管理システム50、又はプログラム提供システム90が国外に設置されている場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、端末10、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。
ところで、端末(10aa,10ab,10ac,・・・)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。端末(10ba,10bb,10bc,・・・)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、端末(10ca,10cb,10cc,・・・)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。端末10d(a,10db,10dc,・・・)、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域A及び地域Bは、それぞれルータ(70ab,70cd)からインターネット2iを介して通信可能に接続されている。
また、管理システム50、及びプログラム提供システム90は、インターネット2iを介して、端末10、及び中継装置30と通信可能に接続されている。管理システム50、及びプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)や、Bluetooth(登録商標)等の無線による通信が行われる箇所があってもよい。
また、図1において、各端末10、各中継装置30、管理システム50、各ルータ70、及びプログラム提供システム90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
なお、各端末10は、複数の事業所間での通話や、同じ事業所内の異なる部屋間での通話だけでなく、同じ部屋内での通話や、屋外と屋内又は屋外と屋外での通話で使われてもよい。各端末10が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。図4は、本実施形態に係る端末10の外観図である。以下、端末10の長手方向をX軸方向、水平面内でX軸方向に直交する方向をY軸方向、X軸方向及びY軸方向に直交する方向(鉛直方向)をZ軸方向として説明する。
図4に示されているように、端末10は、筐体1100、アーム1200、及びカメラハウジング1300を備えている。このうち、筐体1100の前側壁面1110には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して端末10の後方の外気を取り込み、排気面1121を介して端末10の後方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
筐体1100の右側壁面1130側には、操作パネル1150が形成されている。この操作パネル1150には、後述の複数の操作ボタン(108a〜108e)、後述の電源スイッチ109、及び後述のアラームランプ119が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音声出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述の外部機器接続I/F118に対して電気的にケーブルを接続するための複数の接続口(1132a〜1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F118に対して電気的にディスプレイ120用のケーブル120cを接続するための不図示の接続口が設けられている。
なお、以下では、操作ボタン(108a〜108e)のうち任意の操作ボタンを示す場合には「操作ボタン108」を用い、接続口(1132a〜1132c)のうち任意の接続口を示す場合には「接続口1132」を用いて説明する。
次に、アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図4は、チルト角θ1が90度の状態を示している。
カメラハウジング1300には、後述の内蔵型のカメラ112が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。そして、カメラハウジング1300は、トルクヒンジ1310を介してアーム1200に取り付けられており、カメラハウジング1300がアーム1200に対して、図4で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
なお、中継装置30、管理システム50、及びプログラム提供システム90は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
図5は、本発明の本実施形態に係る端末10のハードウェア構成図である。図5に示されているように、本実施形態の端末10は、端末10全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、端末10の宛先を選択する場合などに操作される操作ボタン108、端末10の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、端末10の各種機能の異常を知らせるアラームランプ119、及び上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。なお、端末10の機種によっては、カメラ112及び撮像素子I/F113を備えていないものがある。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア106は、端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
図6は、本発明の本実施形態に係る管理システムのハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、伝送管理用プログラム等の各種データを記憶するHD204、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各構成要素を図6に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
なお、上記伝送管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記伝送管理用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
また、中継装置30は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、中継装置30を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記中継装置用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
また、プログラム提供システム90及びメンテナンスシステム100は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、HD204には、プログラム提供システム90を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記プログラム提供システム用プログラムは、HD204ではなくROM202に記憶されるようにしてもよい。
なお、上記着脱可能な記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。本実施形態では、宛先(中継先)としての端末10で画像データの受信に遅延が生じた場合に、中継装置30によって画像データの画像の解像度を変更してから、中継先としての端末10へ画像データを送信する場合について説明する。
図7は、本実施形態の伝送システム1を構成する各端末、装置及びシステムの機能ブロック図である。図7では、端末10、中継装置30、及び管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。また、図1に示されているプログラム提供システム90は、テレビ会議の通信において直接関係ないため、図7では省略されている。
<端末の機能構成>
端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音声入力部15a、音声出力部15b、最終絞込部16、表示制御部17、遅延検出部18、記憶・読出処理部19、及びメッセージ作成部20を有している。これら各部は、図5に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末用プログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、端末10は、図5に示されているRAM103、及び図5に示されているフラッシュメモリ104によって構築される記憶部1000を有している。
(端末の各機能構成)
次に、図5及び図7を用いて、端末10の各機能構成について詳細に説明する。なお、以下では、端末10の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、端末10の各機能構成を実現させるための主な構成要素との関係も説明する。
図7に示されている端末10の送受信部11は、図5に示されているCPU101からの命令、及び図5に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。この送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各端末10の稼動状態(オンラインかオフラインかの状態)だけでなく、オンラインであっても更に通話可能であるか、通話中であるか、離席中であるか等の詳細な状態を示す。また、この状態情報は、各端末10の稼動状態だけでなく、端末10でケーブル120cが端末10から外れていたり、音声を出力するが画像は出力させなかったり、音声を出力さないようにする(MUTE)等、様々な状態を示す。以下では、一例として、状態情報が稼動状態を示す場合について説明する。
操作入力受付部12は、図5に示されているCPU101からの命令、並びに図5に示されている操作ボタン108及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図5に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする。
ログイン要求部13は、図5に示されているCPU101からの命令によって実現され、上記電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ109をONの状態からOFFにすると、送受信部11が管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、端末10が電源ONから電源OFFになったことを把握することができる。
撮像部14は、図5に示されているCPU101からの命令、並びに図5に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。なお、端末10の機種によっては、撮像部14を備えていないものがある。
音声入力部15aは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、マイク114によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを入力する。音声出力部15bは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ115から音声を出力させる。
最終絞込部16は、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を行うため、図5に示されているCPU101からの命令によって、図8に示されるような計測部16a、算出部16b、及び最終選択部16cを実現する。
このうち、計測部16aは、送受信部11によって受信された後述の事前送信情報毎に、送受信部11によって事前送信情報が受信される際の受信日時を計測する。算出部16bは、計測部16aによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間(T)を算出する。最終選択部16cは、算出部16bによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置30を選択することで、最終的に1つの中継装置を選択する。
表示制御部17は、図5に示されているCPU101からの命令、及び図5に示されているディスプレイI/F117によって実現され、後述のように、受信された解像度の異なる画像データを組み合わせ、この組み合わされた画像データをディスプレイ120に送信するための制御を行う。また、表示制御部17は、管理システム50から受信した宛先リストの情報をディスプレイ120に送信して、ディスプレイ120に宛先リストを表示させることができる。更に、表示制御部17は、図29乃至図32に示されているような画面をディスプレイ120に表示させる。図29乃至図32の画面については、後ほど説明する。
遅延検出部18は、図5に示されているCPU101からの命令によって実現され、他の端末10から中継装置30を介して送られて来る画像データ又は音声データの遅延時間(ms)を検出する。
記憶・読出処理部19は、図5に示されているCPU101からの命令及び図5に示すSSD105によって実行され、又はCPU101からの命令によって実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。この記憶部1000には、端末10を識別するための端末ID(Identification)、及びパスワード等が記憶される。
メッセージ作成部20は、図5に示されているCPU101からの命令によって実現され、記憶部1000から、予め記憶されている画像通信状態情報を読み出して、この画像通信状態情報を含んだ画像通信状態メッセージ(m)を作成する。この画像通信状態情報及び画像通信状態メッセージ(m)については、後ほど説明する。
また、記憶部1000には、後述の画像通信状態情報が記憶されている。更に、記憶部1000には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。
なお、本実施形態の端末ID及び後述の中継装置IDは、それぞれ端末10及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
<中継装置の機能構成>
中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、及び記憶・読出処理部39を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD204からRAM203上に展開された中継装置用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置30は、図6に示されているRAM203、及び/又は図6に示されているHD204によって構築される記憶部3000を有している。なお、図10は、変更品質管理テーブルを示す概念図である。
(変更品質管理テーブル)
記憶部3000には、図10に示されているような変更品質管理テーブルによって構成されている変更品質管理DB(Data Base)3001が構築される。変更品質管理テーブルでは、画像データの中継先(宛先)としての端末10のIPアドレス、及びこの中継先に中継装置30が中継する画像データの画質が関連付けられて管理される。
(中継装置の各機能構成)
次に、中継装置30の各機能構成について詳細に説明する。なお、以下では、中継装置30の各機能構成を説明するにあたって、図6に示されている各構成要素のうち、中継装置30の各機能構成を実現させるための主な構成要素との関係も説明する。
図7に示されている中継装置30の送受信部31は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。
状態検知部32は、図6に示されているCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「オンライン」、「オフライン」、「通話中」又は「一時中断」の状態がある。
データ品質確認部33は、図6に示されているCPU201からの命令によって実現され、宛先端末のIPアドレスを検索キーとして、変更品質管理DB3001(図10参照)を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。
変更品質管理部34は、図6に示されているCPU201からの命令によって実現され、管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理DB3001の内容を変更する。例えば、端末IDが「01aa」である要求元端末(端末10aa)と、端末IDが「01db」である宛先端末(端末10db)との間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末(端末10bb)と宛先端末(端末10ca)が通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末(端末10db)で画像データの受信の遅延が生じた場合には、中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の内容が変更される。
データ品質変更部35は、図6に示されているCPU201からの命令によって実現され、送信元端末から送られて来た画像データの画質を、上記変更された変更品質管理DB3001の内容に基づいて変更する。
記憶・読出処理部39は、図6に示されているCPU201からの命令、及び図6に示されているHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。
<管理システムの機能構成>
管理システム50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態抽出部55、一次絞込部56、セッション管理部57、品質決定部58、記憶・読出処理部59、遅延時間管理部60、及びメッセージ作成部61を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD204からRAM203上に展開された管理システム用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、管理システム50は、図6に示されているHD204により構築される記憶部5000を有している。
なお、図8は、最終絞込部の機能構成図である。図9は、一次絞込部の機能構成図である。図11は、中継装置管理テーブルを示す概念図である。図12は、端末認証管理テーブルを示す概念図である。図13は、端末管理テーブルを示す概念図である。図14は、宛先リスト管理テーブルを示す概念図である。図15は、セッション管理テーブルを示す概念図である。図16は、アドレス優先度管理テーブルを示す概念図である。図17は、伝送速度優先度管理テーブルを示す概念図である。図18は、品質管理テーブルを示す概念図である。
(中継装置管理テーブル)
記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図11に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「オンライン」で、管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」で、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
(端末認証管理テーブル)
更に、記憶部5000には、図12に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図12に示されている端末認証管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(端末管理テーブル)
また、記憶部5000には、図13に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各端末10の端末ID毎に、各端末10を宛先とした場合の宛先名、各端末10の稼動状態、後述の画像通信状態、後述のログイン要求情報が管理システム50で受信された受信日時、及び端末10のIPアドレスが関連付けられて管理される。例えば、図13に示されている端末管理テーブルにおいて、端末IDが「01aa」の端末10aaは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(伝送中)」で、画像通信状態が「ON」管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」で、この端末10aaのIPアドレスが「1.2.1.3」であることが示されている。
ここで、画像通信状態情報について説明する。画像通信状態情報は、端末10の画像通信に関する状態を示しており、以下の4つのパターンが存在する。
ON:端末10が画像通信中である状態
OFF:端末10が画像通信停止中である状態(但し、端末10は、画像通信を行うための撮像部14である画像通信機能を備えている。)
NA:端末10が画像通信機能を有していない状態(端末10は、画像通信を行うための撮像部14である画像通信機能を備えていない。)
DC:画像通信状態が不明な状態(端末10がオフライン等により端末10から画像通信状態が送られて来ていない状態、又は初期状態である。)
このうち、記憶部1000には、当初、DCを示す画像通信状態情報が記憶されており、撮像部14が、DCからON又はOFFを示す画像通信状態情報に上書きする。NAを示す画像通信状態情報は、端末10の工場出荷時から予め記憶部1000に記憶される。
(宛先リスト管理テーブル)
更に、記憶部5000には、図14に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議における通話の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図14に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末(端末10aa)からテレビ会議における通話の開始を要求することができる宛先端末(端末10db)の候補は、端末IDが「01ab」の端末10ab、端末IDが「01ba」の端末10ba、及び端末IDが「01bb」の端末10bb等であることが示されている。この宛先端末の候補は、任意の要求元端末から管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
(セッション管理テーブル)
また、この記憶部5000には、図15に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションID毎に、画像データ及び音声データの中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けられて管理される。例えば、図15に示されているセッション管理テーブルにおいて、選択用セッションID「se1」を用いて実行されたセッションで選択された中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の要求元端末(端末10aa)と、端末IDが「01db」の宛先端末(端末10db)との間で、画像データ及び音声データを中継しており、宛先端末(端末10db)において「2009年11月10日の14時00分」時点における画像データの遅延時間が200(ms)であることが示されている。なお、2つの端末10の間でテレビ会議を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、3つ以上の端末10の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の端末10から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
(アドレス優先度管理テーブル)
更に、記憶部5000には、図16に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理DB5006が構築されている。このアドレス優先度管理テーブルでは、任意の端末10と任意の中継装置30において、一般的なIPv4におけるIPアドレスのうちの4組のドットアドレス(Dot Address)部分の「同」が多い程、アドレス優先度のポイントが高くなるように、ドットアドレスの同異とアドレス優先度とが関連付けられて管理される。この「同」は、ドットアドレス部分が同じであることを意味し、「異」は、ドットアドレス部分が異なることを意味する。例えば、図16に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて3つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「5」である。ドットアドレスの上位から下位にかけて2つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「3」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から2番目の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「1」である。この場合、上位から3番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「0」である。この場合、上位から2番目、3番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
(伝送速度優先度管理テーブル)
また、記憶部5000に構築されている優先度管理DB5006には、図17に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置30における最大データ伝送速度(Mbps)の値が大きくなる程、伝送速度優先度のポイントが高くなるように、最大テータ伝送速度と伝送速度優先度とが関連付けられて管理される。例えば、図17に示されている伝送速度優先度管理テーブルにおいて、中継装置30における最大データ伝送速度が1000Mbps以上の場合には、伝送速度優先度のポイントが「5」である。中継装置30における最大データ伝送速度が100Mbps以上1000Mbps未満の場合には、伝送速度優先度のポイントが「3」である。中継装置30における最大データ伝送速度が10Mbps以上100Mbps未満の場合には、伝送速度優先度のポイントが「1」である。中継装置30における最大データ伝送速度が10Mbps未満の場合には、伝送速度優先度のポイントが「0」である。
(品質管理テーブル)
更に、記憶部5000には、図18に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末又は宛先端末における画像データの遅延時間(ms)が長い程、中継装置30で中継させる画像データの画質を下げるように、画像データの遅延時間と画像データの画質(画像の品質)とが関連付けられて管理される。
(管理システムの各機能構成)
次に、管理システム50の各機能構成について詳細に説明する。なお、以下では、管理システム50の各機能構成を説明するにあたって、図6に示されている各構成要素のうち、管理システム50の各機能構成を実現させるための主な構成要素との関係も説明する。
送受信部51は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
端末認証部52は、図6に示されているCPU201からの命令によって実現され、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。
状態管理部53は、図6に示されているCPU201からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理DB5003(図13参照)に、この要求元端末の端末ID、要求元端末の稼動状態、管理システム50でログイン要求情報が受信された受信日時、及び要求元端末のIPアドレスを関連付けて記憶して管理する。また、状態管理部53は、利用者が端末10の電源スイッチ109の状態をONからOFFにすることで、端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5003(図13参照)のオンラインを示す稼動状態をオフラインに変更する。
端末抽出部54は、図6に示されているCPU201からの命令によって実現され、ログイン要求した要求元端末の端末IDをキーとして、宛先リスト管理DB5004(図14参照)を検索し、要求元端末と通話することができる宛先端末の候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理DB5004(図14参照)を検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。
更に、端末抽出部54は、画像通信状態メッセージ(m)を送信した端末の端末IDを要求元端末の端末IDとして、宛先リスト管理DB5004を検索することにより、対応する宛先端末の端末IDを全て抽出する。
端末状態抽出部55は、図6に示されているCPU201からの命令によって実現され、上記端末抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理DB5003(図13参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、端末状態抽出部55は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末状態抽出部55は、上記端末抽出部54によって抽出された端末IDを検索キーとして、端末管理DB5003を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
更に、端末状態抽出部55は、宛先端末の端末IDを検索キーとして端末管理DB5003(図13参照)を検索することにより、対応する画像通信状態情報を抽出する。また、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、画像通信中の端末10、画像通信停止中の端末10、又は、画像通信機能を有している端末10のIPアドレスを抽出する。
一次絞込部56は、図6に示されているCPU201からの命令によって実現され、複数の中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を支援するため、この最終絞り込み処理前の一次絞り込み処理を行う。そのために、一次絞込部56は、図5に示されているCPU201からの命令によって、図9に示されているように、選択用セッションID生成部56a、端末IPアドレス抽出部56b、一次選択部56c、及び優先度決定部56dを実現する。
このうち、選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する。端末IPアドレス抽出部56bは、要求元端末から送られてきた開始要求情報に含まれている要求元端末の端末ID、及宛先端末の端末IDに基づいて、端末管理DB5003(図13参照)を検索することにより、対応するそれぞれの端末10のIPアドレスを抽出する。一次選択部56cは、中継装置管理DB5001(図11参照)で管理されている中継装置30のうち、稼動状態が「オンライン」となっている中継装置30の中継装置IDを選択することにより、中継装置30の選択を行う。
また、一次選択部56cは、上記端末IPアドレス抽出部56bによって抽出された、要求元端末のIPアドレス、及び宛先端末のIPアドレスに基づいて、中継装置管理DB5001(図11参照)を検索することにより、上記選択された中継装置30のIPアドレスのドットアドレス毎に、上記要求元端末及び宛先端末の各IPアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部56cは、中継装置毎に、アドレス優先度のポイントにおいて端末10に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択することにより、中継装置30の更なる選択を行う。なお、本実施形態では、ポイントが高い上位2つの中継装置30を選択することにしているが、これに限られるものではなく、中継装置30を1つでも多く絞り込むことができれば、ポイントが高い上位3つ以上の中継装置30を選択するようにしてもよい。
優先度決定部56dは、優先度管理DB5006(図16参照)を参照して、上記一次選択部56cによって調査された中継装置30毎に、アドレス優先度のポイントを決定する。また、優先度決定部56dは、中継装置管理DB5001(図11参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006(図17参照)を検索することにより、上記一次選択部56cによる第1次の絞り込み処理によって絞り込まれた中継装置30毎に伝送速度優先度のポイントを決定する。
続いて、セッション管理部57は、図6に示されているCPU201からの命令によって実現され、記憶部5000のセッション管理DB5005(図15参照)に、選択用セッションID生成部56aで生成された選択用セッションID、要求元端末の端末ID、及び宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理DB5005(図15参照)に対して、選択用セッションID毎に、端末10の最終選択部16cで最終的に1つに選択された中継装置30の中継装置IDを記憶して管理する。
品質決定部58は、上記遅延時間を検索キーとして、品質管理DB5007(図18参照)を検索し、対応する画像データの画質を抽出することで、中継装置30に中継させる画像データの画質を決定する。
記憶・読出処理部59は、図6に示されているCPU201からの命令、及び図6に示されているHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
遅延時間管理部60は、図6に示されているCPU201からの命令によって実現され、上記宛先端末のIPアドレスを検索キーとして、端末管理DB5003(図13参照)を検索することで、対応する端末IDを抽出し、更に、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、上記抽出した端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
メッセージ作成部61は、各端末30の画像通信状態に応じた通信制御メッセージを作成する。この通信制御メッセージを作成する処理に関しては、後ほど図28を用いて詳細に説明する。また、メッセージ作成部61は、端末10から送られてきた画像通信状態メッセージ(m)から、送信元の端末10に係る画像通信状態情報、及び端末10のIPアドレスを取得する。更に、メッセージ作成部61は、端末管理DB5003(図13参照)において、画像通信状態メッセージ(m)から取得されたIPアドレスに対応する画像通信状態の属性部分に、画像通信状態メッセージ(m)から取得された画像通信状態情報を上書きして書き換える。
また、メッセージ作成部61は、端末管理DB5003(図13参照)から、画像通信状態メッセージ(m)から取得されたIPアドレスに対応した端末IDを抽出する。更に、メッセージ作成部61は、端末管理DB5003(図13参照)から抽出された画像通信状態情報を参照して、要求元端末と全ての宛先端末のそれぞれが画像通信機能を有しているかを判断する。
<<実施形態の処理または動作>>
次に、図19乃至図33を用いて、本実施形態に係る伝送システム1における処理方法を説明する。なお、図19は、各中継装置30から管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を示したシーケンス図である。図20は、複数の端末10の間で通話を開始する準備段階の処理を示したシーケンス図である。図21は、中継装置30を絞り込む処理を示したシーケンス図である。図22は、中継装置30を絞り込む処理を示した処理フロー図である。図23は、中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。図24は、端末10が中継装置30を選択する処理を示したシーケンス図である。図25は、端末で中継装置30を選択する処理を示した処理フロー図である。図33は、端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。
まず、図19を用いて、各中継装置30から管理システム50に送信された各中継装置30の状態を示す状態情報を管理する処理を説明する。まず、各中継装置30では、図7に示されている状態検知部32が、自装置である中継装置30の稼動状態を定期的に検知している(ステップS1−1〜4)。そして、管理システム50側で各中継装置30の稼動状態をリアルタイムで管理させるべく、各中継装置30の送受信部31は、定期的に通信ネットワーク2を介して管理システム50へ各状態情報を送信する(ステップS2−1〜4)。これら各状態情報には、中継装置30毎の中継装置IDと、これら各中継装置IDに係る中継装置30の状態検知部32で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置(30a,30b,30d)は、正常に稼動して「オンライン」となっている一方で、中継装置30cは稼働中ではあるが、中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて、「オフライン」となっている場合が示されている。
次に、管理システム50では、各中継装置30から送られて来た各状態情報を送受信部51が受信し、記憶・読出処理部59を介して記憶部5000の中継装置管理DB5001(図11参照)に、中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜4)。これにより、図11に示されるような中継装置管理テーブルに対して、中継装置ID毎に「オンライン」、「オフライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ID毎に、管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置30から状態情報が送られない場合には、図11に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
次に、図20を用いて、端末10aaと端末10dbとの間で、通話を開始する前の準備段階における各管理情報の送受信処理について説明する。なお、図20では、全て図2に示されている管理情報用セッションseiによって、各種管理情報が送受信される。
まず、利用者が、図5に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源ONの受け付けを契機とし、送受信部11から通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自端末である端末10aaを識別するための端末ID及びパスワードが含まれている。これら端末ID及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、端末10aaから管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である端末10abのIPアドレスを把握することができる。
次に、管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002(図12参照)を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末ID及びパスワードが管理されているため、正当な利用権限を有する端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理DB5003(図13参照)に、端末10aaの端末ID、稼動状態、上記ログイン要求情報が受信された受信日時、及び端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、図13に示されている端末管理テーブルには、端末ID「01aa」に、稼動状態「オンライン」、受信日時「2009.11.10.13:40」及び端末10aaのIPアドレス「1.2.1.3」が関連付けて管理されることになる。
そして、管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
管理システム50の端末抽出部54は、ログイン要求した要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図14参照)を検索し、要求元端末(端末10aa)と通信することができる宛先端末の候補の端末IDを読み出すことによって抽出する(ステップS26)。ここでは、要求元端末(端末10aa)の端末ID「01aa」に対応する宛先端末(端末10ab,10ba,10db)のそれぞれの端末ID(「01ab」、「01ba」、「01db」)が抽出されることになる。
次に、端末状態抽出部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理DB5003(図13参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態(「オフライン」、「オンライン」、「オンライン」)を読み出すことにより、端末(10ab,10ba,10db)の各稼動状態を取得する(ステップS27)。
次に、送受信部51は、上記ステップS27で使用された検索キーとしての端末ID(「01ab」、「01ba」、「01db」)と、それぞれに対応する宛先端末(端末10ab,10ba,10db)のそれぞれの稼動状態(「オフライン」、「オンライン」、「オンライン」)とが含まれた宛先状態情報を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS28)。これにより、要求元端末(端末10aa)は、この要求元端末(端末10aa)と通信することができる宛先端末の候補である端末(10ab,10ba,10db)の現時点のそれぞれの稼動状態(「オフライン」、「オンライン」、「オンライン」)を把握することができる。
更に、管理システム50の端末抽出部54は、ログイン要求してきた要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図14参照)を検索し、上記要求元端末(端末10aa)の端末ID「01aa」を宛先端末の候補として登録している他の要求元端末の端末IDを抽出する(ステップS29)。図14に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末の端末IDは、「01ab」、「01ba」、及び「01db」である。
次に、管理システム50の端末状態抽出部55は、上記ログイン要求して来た要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、端末管理DB5003(図13参照)を検索し、ログイン要求してきた要求元端末(端末10aa)の稼動状態を取得する(ステップS30)。
そして、送受信部51は、上記ステップS29で抽出された端末ID(「01ab」、「01ba」、「01db」)に係るそれぞれの端末(10ab,10ba,10db)のうち、端末管理DB5003(図13参照)で稼動状態が「オンライン」となっている端末(10ba,10db)に、上記ステップS30で取得された要求元端末(端末10aa)の端末ID「01aa」と稼動状態「オンライン」が含まれる宛先状態情報を送信する(ステップS31−1,2)。なお、送受信部51が端末(10ba,10db)に宛先状態情報を送信する際に、各端末ID(「01ba」、「01db」)に基づいて、図13に示されている端末管理テーブルで管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末(端末10aa)を宛先として通信することができる他の宛先端末(端末10db,10ba)のぞれぞれに、上記ログイン要求した要求元端末(端末10aa)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。
一方、他の端末10でも、上記ステップ21と同様に、利用者が図6に示されている電源スイッチ109をONにすると、図7に示されている操作入力受付部12が電源ONを受け付け、上記ステップS22〜S31−1,2の処理と同様の処理を行うため、その説明を省略する。
続いて、図21を用いて、中継装置30を絞り込む処理を説明する。なお、図21では、全て図21に示されている管理情報用セッションseiによって、各種管理情報が送受信される。また、本実施形態においては、要求元端末(端末10aa)は、宛先の候補としての端末10のうち、上記ステップS32によって受信した端末の状態情報により、稼動状態がオンラインである端末(10ba,10db)の少なくとも一方と通話を行うことができる。そこで、以下では、要求元端末(端末10aa)の利用者が、宛先端末(端末10db)と通話を開始することを選択した場合について説明する。
まず、利用者が図5に示されている操作ボタン108を押下して端末10dbを選択すると、図7に示されている操作入力受付部12は、宛先端末(端末10db)との通話を開始する要求を受け付ける(ステップS41)。そして、要求元端末(端末10aa)の送受信部11は、端末10aaの端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」が含まれ、通話を開始したい旨を示す開始要求情報を、管理システム50へ送信する(ステップS42)。これにより、管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することができる。
そして、状態管理部53は、開始要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」及び宛先端末(端末10db)の端末ID「01db」に基づき、端末管理DB5003(図13参照)の端末管理テーブルにおいて、上記端末ID「01aa」及び端末ID「01db」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS43)。なお、この状態では、要求元端末(端末10aa)と宛先端末(端末10db)は、通話を開始していないが、通話中状態となり、他の端末10が要求元端末(端末10aa)又は宛先端末(端末10db)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
次に、中継装置30を選択するためのセッションを実行する処理を説明する。まず、図9に示されている選択用セッションID生成部56aは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する(ステップS44)。そして、セッション管理部57は、記憶部5000のセッション管理DB5005(図15参照)に、上記ステップS44で生成された選択用セッションID「se1」、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」を関連付けて記憶して管理する(ステップS45)。
次に、図7に示されている管理システム50の一次絞込部56は、中継装置管理DB5001、端末管理DB5003、及び優先度管理DB5006に基づいて、要求元端末(端末10aa)と、宛先端末(端末10db)との通話を中継するための中継装置30の一次絞り込みを行う(ステップS46)。
ここで、図9及び図22を用いて、ステップS46における処理を更に詳細に説明する。まず、図9に示されている端末IPアドレス抽出部56bは、要求元端末(端末10aa)から送られてきた開始通信情報に含まれている要求元端末(端末10aa)の端末ID「01aa」、及宛先端末(端末10db)の端末ID「01db」に基づいて、端末管理DB5003(図13参照)を検索することにより、それぞれに対応する端末(10aa,10db)のIPアドレス(「1.2.1.3」,「1.3.2.4」)を抽出する(ステップS46−1)。
次に、一次選択部56cは、中継装置管理DB5001(図11参照)で管理されている中継装置30の稼動状態のうち、「オンライン」になっている中継装置(30a,30b,30d)の各中継装置ID(111a,111b,111d)を選択する(ステップS46−2)。また、一次選択部56cは、上記ステップS46−1で抽出された、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」に基づいて、中継装置管理DB5001(図11参照)を検索することにより、上記ステップS46−2によって選択された中継装置(30a,30b,30d)の各IPアドレス(「1.2.1.2.」,「1.2.2.2」,「1.3.2.2」)のドットアドレス毎に、上記要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレス(「1.2.1.3」,「1.3.2.4」)における各ドットアドレスと同じであるか異なるかを調査する(ステップS46−3)。
次に、優先度決定部56dは、優先度管理DB5006(図16参照)を参照して、上記ステップ46−3によって調査された中継装置(30a,30b,30d)毎に、アドレス優先度のポイントを決定する(ステップS46−4)。この決定処理の結果を表に表すと、図23に示されているような状態になる。なお、図23は、中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図23では、中継装置ID毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各中継装置30の要求元端末(端末10aa)に対するポイント及び宛先端末(端末10db)に対するポイントが示されている。統合ポイントは、アドレス優先度の2つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。
本実施形態では、中継装置30aのIPアドレス「1.2.1.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.同.異」であるため、図23に示されているように、アドレス優先度のポイントは「5」になる。また、図1に示されているように、中継装置30aのIPアドレス「1.2.1.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、図16に示されているように、「同.異.異.異」であるため、図23に示されているように、アドレス優先度のポイントは「1」になる。また、中継装置30bのIPアドレス「1.2.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.異.異」であるため、アドレス優先度のポイントは「3」になる。また、中継装置30bのIPアドレス「1.2.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.異.同.異」であるため、アドレス優先度のポイントは「1」になる。更に、中継装置30dのIPアドレス「1.3.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、中継装置30dのIPアドレス「1.3.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.同.同.異」であるため、アドレス優先度のポイントは「5」になる。
次に、図22に戻って、優先度決定部56dは、中継装置管理DB5001(図11参照)で管理されている各中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006(図17参照)を検索することにより、上記ステップS46−2によって第1次絞り込み処理によって絞り込まれた中継装置(30a,30b,30d)毎に伝送速度優先度のポイントを決定する(ステップS46−5)。本実施形態では、図11に示されているように、中継装置30aの最大データ伝送速度が100(Mbps)であるため、図17に示されている伝送速度優先度を参照すると、伝送速度優先度が3ポイントになる。また、同様に、中継装置30bの最大データ伝送速度について計算すると1000(Mbps)であるため、伝送速度優先度が5ポイントになる。また同様に、中継装置30dの最大データ伝送速度について計算すると10(Mbps)であるため、伝送速度優先度が1ポイントになる。
次に、一次選択部56cは、中継装置(30a,30b,30d)毎に、アドレス優先度のポイントにおいて端末(10aa,10db)のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの中継装置30を選択する(ステップ46−6)。本実施形態では、図23に示されているように、中継装置ID(111a,111b,111d)は、それぞれ統合ポイントが「8」、「8」、「6」であるため、中継装置ID「111a」に係る中継装置30a、及び中継装置ID「111b」に係る中継装置30bが選択されることになる。
以上のステップS46における絞り込み処理が終了すると、図7に示されている送受信部51は、通信ネットワーク2を介して、宛先端末(端末10db)へ、上記絞り込まれた中継装置30の数を伝達するための中継装置絞込情報を送信する(ステップS47)。この中継装置絞込情報には、上記ステップ46によって絞り込まれた中継装置30の数「2」、要求元端末(端末10aa)の端末ID「01aa」、及び上記選択用セッションID「se1」が含まれている。これにより、端末10dbは、選択用セッションID「se1」におけるセッションの実行において、中継装置30の数がいくつで、どの端末10から通話を開始したいとの要求があったのかを把握することができると共に、中継装置絞込情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。
そして、端末10dbは、送受信部11から通信ネットワーク2を介して管理システム50へ、上記中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する(ステップS48)。この受信完了情報には、セッションID「se1」が含まれている。これにより、管理システム50は、セッションID「se1」で実行されている中継装置数の伝達が完了した旨と共に、送信元である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。
次に、図24及び図25を用いて、宛先端末(端末10db)が中継装置30を選択する処理を説明する。なお、図24では、全て図2に示されている管理情報用セッションseiによって、各種管理情報が送受信される。
まず、管理システム50は、テレビ会議の通話を開始する前に、上記ステップS46によって絞り込まれた中継装置(30a,30b)のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する(ステップS61−1,2)。この事前中継要求情報には、セッションID「se1」、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、各中継装置(30a,30b)は、どの選択用セッションのものであるか、要求元端末が何であるか、及び宛先端末が何であるかを把握することができると共に、事前中継要求情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。
次に、各中継装置(30a,30b)のそれぞれは、送受信部31から通信ネットワーク2を介して、上記ステップS61−1,2によって把握した要求元端末(端末10aa)へ、通話の開始前に自装置としての各中継装置(30a,30b)へ、後述のping(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す事前送信要求情報を送信する(ステップS62−1,2)。この事前送信情報には、セッションID「se1」が含まれている。これにより、要求元端末(端末10aa)は、セッションID「se1」で実行されている中継装置30の選択処理において、各中継装置(30a,30b)に事前送信情報を送信することを把握すると共に、事前送信要求情報の送信元である中継装置(30a,30b)のそれぞれのIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
なお、管理システム50から直接、要求元端末に対して、宛先端末のIPアドレスを通知せずに、上記ステップS61−1のように中継装置30aに対して宛先端末のIPアドレスを通知し、上記ステップS61−2のように中継装置30aが要求元端末に対し、自装置(中継装置30a)に対して事前送信要求情報を送信するように要求するのは、各端末10には、他の端末10のIPアドレスを知らせないようにして、セキュリティーを確保するためである。
次に、要求元端末(端末10aa)は、送受信部11から通信ネットワーク2を介して各中継装置(30a,30b)へ事前送信情報を送信する(ステップS63−1,2)。この事前送信情報は、画像データ及び音声データの送信に先立って、これら画像データ及び音声データの代わりに各中継装置(30a,30b)を介して宛先端末(端末10db)へ送信されることで、要求元端末(端末10aa)の送信から宛先端末(端末10db)の受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末(端末10aa)、中継装置(30a,30b)、及び宛先端末(端末10db)が通信可能に接続されていることを確認するためのping、要求元端末(端末10aa)から事前送信情報が送信された送信日時、及びセッションID「se1」が含まれている。これにより、各中継装置(30a,30b)は、選択用セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することができる。
次に、各中継装置(30a,30b)は、上記ステップS61−1,2によって受信された事前中継要求情報に含まれている宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、上記事前送信情報を中継する(ステップS64−1,2)。これにより、宛先端末(端末10db)は、セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元(中継元)である中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。
次に、宛先端末(端末10db)の最終絞込部16は、事前送信情報に基づいて、最終的にテレビ会議の通話で画像データ及び音声データを中継する1つの中継装置30に絞り込む(ステップS65)。
ここで、図8及び図25を用いて、ステップS65における処理を更に詳細に説明する。まず、図8に示されている最終絞込部16の計測部16aは、各中継装置(30a,30b)によって中継された事前送信情報毎に、端末10dbの送受信部11で受信した際の受信日時を計測する(ステップS65−1)。次に、算出部16bは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する(ステップS65−2)。次に、最終選択部16cは、セッションID「se1」におけるセッションの実行において、中継予定の中継装置30の数「2」に相当する数の事前送信情報を全て受信したかを判断する(ステップS65−3)。そして、全て受信していない場合には(NO)、最終選択部16cは、端末10dbで事前送信情報を受信してから所定時間(ここでは1分間)経過したかを判断する(ステップS65−4)。更に、所定時間経過していない場合には(NO)、上記ステップS65−1に戻る。一方、上記ステップ65−3において、全て受信した場合(YES)、又は上記ステップS65−4において、所定時間経過した場合(YES)には、最終選択部16cは、これまでに算出部16bで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置30を1つ選択する(ステップS65−5)。本実施形態では、中継装置30aによって中継された事前送信情報が、中継装置30bによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、中継装置30aが選択される例を示している。
次に、宛先端末(端末10db)は、送受信部11から通信ネットワーク2を介して管理システム50へ、中継装置30aを選択した旨を示す選択情報を送信する(ステップS66)。この選択情報には、セッションID「se1」、及び、選択された中継装置30aの中継装置ID「111a」が含まれている。これにより、管理システム50は、セッションID「se1」におけるセッションの実行において、中継装置30aが選択されたことを把握できると共に、選択情報の送信元である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。
次に、管理システム50のセッション管理部57は、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、セッションID「se1」が含まれるレコードの中継装置IDのフィールド部分に、上記最終的に1つに選択された中継装置30aの中継装置ID「111a」を記憶して管理する(ステップS67)。そして、管理システム50の送受信部51は、通信ネットワーク2を介して中継装置30aへ、中継を開始する旨の要求が示された中継開始要求情報を送信する(ステップS68)。この中継開始要求情報には、中継される要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレス(「1.2.1.3」,「1.3.2.4」)が含まれている。これにより、中継装置30aは、自装置である中継装置30aが選択されたことを把握できるため、端末(10aa,10db)の間で、低解像度、中解像度、及び高解像度の3つ画像データ、並びに、音声データを通話するためのセッションを確立する(ステップS69)。よって、端末(10aa,10db)は、テレビ会議の通話を開始することができる。
なお、上記ステップS47において、管理システム50が宛先端末(端末10db)に中継装置絞込情報を送信することに伴い、ステップS48〜S64−1,2を経て、宛先端末(端末10db)側で中継装置の選択処理(ステップS65)を行ったが、これに限るものではなく、上記ステップS47において、管理システム50が要求元端末(端末10aa)に中継装置絞込情報を送信することで、その後ステップS64−1,2までは、各情報の送信元と受信元が、要求元端末(端末10aa)と宛先端末(端末10db)とで入れ替わるようにしてもよい。これにより、要求元端末(端末10aa)が上記ステップS65に替わって中継装置の選択処理を行うことができ、また、上記ステップS66に替わって選択情報の送信も行うことができる。
続いて、図26乃至図28を用いて、他拠点(複数の端末10)でテレビ会議を行う場合において、通信制御メッセージが作成されて各端末10に送信された後、各端末10で通信制御メッセージに基づく処理が行われるまでの処理を説明する。図26では、端末10aa、端末10ba、及び端末10dbの3つによってテレビ会議を行う場合が示されている。なお、図26は、通信制御メッセージの作成及び送受信する処理を示したシーケンス図である。図27は、主に通信制御メッセージを作成する処理を示したフロー図である。図28は、通信制御メッセージを作成する処理の一部を詳細に示したフロー図である。なお、本実施形態では、多拠点としての3つの端末(10aa,10ba,10db)が会議する場合について説明する。
まず、図26に示されているように、各端末10(ここでは、端末10aa)のメッセージ作成部20は、記憶部1000から、予め記憶されている画像通信状態情報を読み出して、この画像通信状態情報を含んだ画像通信状態メッセージ(m)を作成する(ステップS71)。この画像通信状態メッセージ(m)には、この端末10aaのIPアドレス「1.2.1.3」が含まれている。なお、IPアドレスの代わりに、宛先名が含まれてもよい。この画像通信状態メッセージ(m)は、例えば,RFC3921のXMPP(eXtensible Messaging and Presence Protocol)に従うXML(eXtensible Markup Language)形式で作成することができる。なお、後述する通信制御メッセージや表示制御メッセージも同様の形式で作成される。
次に、端末10aaの送受信部11は、通信ネットワーク2を介して管理システム50へ、上記ステップS71で作成された画像通信状態メッセージ(m)を送信する(ステップS72)。これにより、管理システム50の送受信部51は、画像通信状態メッセージ(m)を受信する。
次に、管理システム50のメッセージ作成部61は、各端末30の画像通信状態に応じた通信制御メッセージを作成する(ステップS73)。このステップS73に関しては、図27を用いて詳細に説明する。
まず、メッセージ作成部61は、送受信部51で受信された画像通信状態メッセージ(m)から、送信元の端末10aaに係る画像通信状態情報、及び端末10aaのIPアドレス「1.2.1.3」を取得する(ステップS73−1)。そして、メッセージ作成部61は、端末管理DB5003(図13参照)において、上記ステップS73−1によって取得されたIPアドレスに対応する画像通信状態の属性部分に、上記ステップS73−1によって取得された画像通信状態情報を上書きして書き換える(ステップS73−2)。
次に、メッセージ作成部61は、端末管理DB5003(図13参照)から、上記ステップS73−1によって取得されたIPアドレスに対応した端末IDを抽出する(ステップS73−3)。
次に、端末抽出部54は、上記ステップS73−3によって抽出された端末IDを要求元端末の端末IDとして、宛先リスト管理DB5004を検索することにより、対応する宛先端末の端末IDを全て抽出する(ステップS73−4)。そして、端末状態抽出部55は、宛先端末の端末IDに基づいて端末管理DB5003(図13参照)を検索することにより、対応する画像通信状態情報を抽出する(ステップS73−5)。
次に、メッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態情報を参照して、要求元端末と全ての宛先端末のそれぞれが画像通信機能を有しているかを判断する(ステップS73−6)。そして、要求元端末と全ての宛先端末のいずれにも画像通信機能がない場合には(NO)、ステップS73の処理は終了する。この場合、後述のステップS74によるメッセージ送信処理(図26、図27参照)は行われない。
一方、要求元端末と全ての宛先端末の中のいずれかに画像通信機能がある場合には(YES)、メッセージ作成部61は、各端末10の画像通信状態に応じて、後述の通信制御メッセージを作成する(ステップS73−7)。
続いて、図28を用い、上記ステップS73−7に関して更に詳細に説明する。まず、メッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、多拠点による会話中の複数の端末(10aa,10ba,10db)のうち、2つ以上の複数の端末10が画像通信中であるかを判断する(ステップS101)。このステップS101によって、複数の端末10が画像通信中であると判断された場合には(YES)、更にメッセージ作成部61は、残りの端末10のうちで画像通信停止中の端末10があるかを判断する(ステップS102)。このステップS103によって、画像通信停止中の端末10があると判断された場合には(YES)、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS102によって、あると判断された画像通信停止中の端末10のIPアドレスを抽出する(ステップS103)。そして、メッセージ作成部61は、複数の端末が画像通信中である旨の通信制御メッセージ(M3)を作成する(ステップS104)。具体的には、通信制御メッセージ(M3)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップS103で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
一方、上記ステップS101によって、複数の端末10が画像通信中でないと判断された場合には(NO)、メッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、単一の端末10のみが画像通信中であるかを判断する(ステップS105)。このステップS105によって、単一の端末10のみが画像通信中であると判断された場合には(YES)、更にメッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、画像通信中の端末10以外の全ての端末10が画像通信機能を有していないかを判断する(ステップS106)。このステップS106によって、画像通信中の端末10以外の全ての端末10が画像通信機能を有していないと判断された場合には(YES)、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS105によって画像通信中であると判断された単一の端末10のIPアドレスを抽出する(ステップS107)。そして、メッセージ作成部61は、画像通信を強制的に停止させる旨の通信制御メッセージ(M4)を作成する(ステップS108)。具体的には、通信制御メッセージ(M4)は、”DATA_IMAGE_OFF”のメッセージの他に、ステップS107で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
一方、上記ステップS106によって、画像通信中の端末10以外の全ての端末10が画像通信機能を有していないと判断されなかった場合には(NO)、即ち、画像通信中の端末10以外の端末10のうち少なくとも1つが画像通信機能を有していると判断された場合には、更にメッセージ作成部61は、上記ステップS73−5によって抽出された画像通信状態を参照して、画像通信機能を有している端末10中に、画像通信停止中の端末10があるかを判断する(ステップS109)。このステップS109によって、画像通信停止中の端末10があると判断された場合には(YES)、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS105によって、あると判断された画像通信中の端末10のIPアドレスを抽出する(ステップS110)。そして、メッセージ作成部61は、他の複数の端末が画像通信停止中である旨の通信制御メッセージ(M1)を作成する(ステップS104)。具体的には、通信制御メッセージ(M1)は、”MESSAGE_IMAGE_OFF”のメッセージの他に、上記ステップS110で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
更に、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS109によって、あると判断された画像通信停止中の端末10のIPアドレスを抽出する(ステップS112)。そして、メッセージ作成部61は、他の単一の端末が画像通信中である旨の通信制御メッセージ(M2)を作成する(ステップS113)。具体的には、通信制御メッセージ(M2)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップS112で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
一方、(1)上記ステップS102によって、残りの端末10のうちで画像通信停止中の端末10があると判断されなかった場合(NO)、(2)上記ステップS105によって、単一の端末10のみが画像通信中でないと判断された場合(NO)、即ち、画像通信中の端末10が全くない場合、又は、(3)上記ステップS109によって、画像通信停止中の端末10がないと判断された場合(NO)には、端末状態抽出部55は、端末管理DB5003(図13参照)を参照し、上記ステップS73−6によって画像通信機能を有していると判断された端末10のIPアドレスを抽出する(ステップS114)。そして、メッセージ作成部61は、複数の端末10の各ディスプレイ120で表示されている所定の表示メッセージを消去させる旨の表示制御メッセージ(M5)を作成する(ステップS115)。具体的には、表示制御メッセージ(M5)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップS114で抽出された送信先のIPアドレスと、送信元である管理システム50のIPアドレスとを含む。
以上より、メッセージ作成部61によって通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)が作成されることになる。
次に、管理システム50の送受信部51は、通信ネットワーク2を介して、多拠点による3つの端末(10aa,10ba,10db)に、これらの端末のそれぞれの画像通信状態及び会話相手の端末の画像通信状態に応じて作成された通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)を送信する(ステップS74)。なお、図26では、ステップS74のうち、管理システム50から端末baへの送信がステップS74−1、管理システム50から端末dbへの送信がステップS74−2、管理システム50から端末aaへの送信がステップS74−3で表されている。
具体的には、上記ステップS103が実行された場合には、管理システム50の送受信部51は、このステップS103で抽出されたIPアドレスに対して、上記ステップS104で作成された通信制御メッセージ(M3)を送信する。また、上記ステップS107が実行された場合には、送受信部51は、このステップS107で抽出されたIPアドレスに対して上記ステップS108で作成された通信制御メッセージ(M4)を送信する。また、上記ステップS110が実行された場合には、送受信部51は、この抽出されたIPアドレスに対して上記ステップS111で作成された通信制御メッセージ(M1)を送信する。また、上記ステップS112が実行された場合には、送受信部51は、このステップS112で抽出されたIPアドレスに対して上記ステップS113で作成された通信制御メッセージ(M2)を送信する。また、上記ステップS114が実行された場合には、送受信部51は、このステップS114で抽出されたIPアドレスに対して上記ステップS115で作成された通信制御メッセージ(M5)を送信する。
これにより、各端末(10aa,10ba,10db)は、通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)の内容に基づく処理を行う(ステップS75−1〜3)。
続いて、図7、及び図29乃至図32を用いて、ステップS75−1〜3で行われる処理について説明する。なお、図29乃至図32は、端末10側のディスプレイ120に表示されたテレビ会議用画面の一例を示した図である。このうち、ディスプレイ120に表示されたテレビ会議用画面P1には、メイン画面P2、サブ画面P3、及びサブ画面P4が含まれている。サブ画面P4の下の2つ、及び最下のサブ画面から左側に更に3つのサブ画面が含まれている。また、テレビ会議用画面P1の最下部には、表示メッセージを表示させるメッセージ表示領域P5、上記メイン画面とサブ画面で表示されている画像を切り換える際にマウスのポインタ等で押下される「画面切り換え」ボタンP6、及び、自端末のカメラ112の電源がオンされて自端末側から画像通信を行っているか又は自端末のカメラ112の電源がオフされて自端末側から画像通信を行っていないかを示すカメラアイコンP7が表示されている。なお、カメラアイコンP7に「×」が表示されている場合には、自端末のカメラ112の電源がオンになっている状態であり、利用者がこれから電源をオフにできることが表示されている。一方、カメラアイコンP7に「×」が表示されていない場合には、自端末のカメラ112の電源がオフになっている状態であり、利用者がこれから電源をオンにできることが表示されている。
まず、上記ステップS104において、他の複数の端末が画像通信停止中である旨の通信制御メッセージ(M3)が作成された場合、図29に示されているように、端末10の表示制御部17は、ディスプレイ120のメッセージ表示領域P5に、例えば、「他拠点からの画像は受信しています。自端末のカメラはオフです。」という内容の表示メッセージを表示させる。なお、メイン画面P2にはメインとなる相手側の画像が表示されており、サブ画面P3には本来、自端末側の画像が表示されるが、ここでは表示されておらず、更に、サブ画面P4にはサブとなる相手側の画像が表示されている。
これにより、利用者は、図29に示されているテレビ会議用画像P1を見ることで、自端末から画像データを送信していない状態であり、かつ、他端末から画像データが送られて来ている状態であると認識することができる。なお、利用者が、自端末から画像データを送信したい場合には、イコンP7を押下することによって、画像データの送信を開始することができる。このカメラアイコンP7が押下されると、カメラアイコンP7上に「×」が表示される。
また、上記ステップS108において、画像通信を強制的に停止させる旨の通信制御メッセージ(M4)が作成された場合、CPU101からの命令に従って、端末10の撮像部14は撮像を停止すると共に、送受信部11は画像データの送信を停止する(画像通信を停止する)。また、表示制御部17は、図30に示されているように、テレビ会議用画面P1の全ての画面P2,P3,P4等を非表示とすると共に、カメラアイコンP7から「×」を消去する。なお、撮像部14は、図5に示されているカメラ112だけでなく、外部機器接続I/Fに接続される外付けのカメラも含む。
これにより、利用者は、図30に示されているテレビ会議用画像P1を見ることで、自端末から画像データを送信していない状態であり、自端末のカメラ112は撮像を停止している状態であり、しかも、他端末から画像データが送られて来ていない状態であると認識することができる。
更に、上記ステップS111において、他の全ての端末が画像通信停止中である旨の通信制御メッセージ(M1)が作成された場合、端末10の表示制御部17は、図31に示されているように、ディスプレイ120のメッセージ表示領域P5に、例えば、「他拠点からの画像は受信していません。自端末のカメラはオンです。」という内容の表示メッセージを表示させる。なお、図31では、メイン画面P2及びサブ画面P4には何も表示されておらず、サブ画面P3には自端末側の画像が表示されている。
これにより、利用者は、図31に示されているテレビ会議用画面P1を見ることで、自端末のみが画像データを送信している状態であり、かつ、他端末の全てから画像データが送られて来ていない状態であると認識することができる。
更にまた、上記ステップS113において、他の単一の端末が画像通信中である旨の通信制御メッセージ(M2)が作成された場合、端末10の表示制御部17は、図32に示されているように、メッセージ表示領域P5に、例えば、「他の1箇所からの画像を受信しています。自端末のカメラはオフです。」という内容の表示メッセージを表示させる。なお、図32では、メイン画面P2には一箇所の相手側の画像が表示されており、サブ画面P3,P4には何も表示されていない。
これにより、利用者は、図32に示されているテレビ会議用画面P1を見ることで、自端末から画像データを送信していない状態であり、かつ、複数の相手側の端末のうち、一箇所のみから画像データが送られて来ている状態であると認識することができる。
このように、一方の端末10側で図31の画像が表示され、他方の端末10で図32の画像が表示されている場合には、各利用者は、両側の画像通信の状態を合わせることで、お互いに画像通信を行ったり、お互いに画像通信を行わなかったりすることを選択することができる。
また、上記ステップS115において、表示メッセージを消去する旨の表示制御メッセージ(M5)が作成された場合、端末10の表示制御部17は、メッセージ表示領域P5に表示されている表示メッセージを消去する。
なお、画像通信機能を有している端末10は、図26のステップS72による処理だけでなく、テレビ会議中に、図29に示されているカメラアイコンP7が押下されることによっても、画像通信状態メッセージを送信することができる。具体的には、利用者によって図29に示されているように「×」が表示されるカメラアイコンP7となるように選択された場合には、端末10のメッセージ作成部20は、画像通信停止中である旨の画像通信状態メッセージを作成する。また、利用者によって図30に示されているように「×」が表示されていないカメラアイコンP7となるように選択された場合には、端末10のメッセージ作成部20は、画像通信中である旨の画像通信状態メッセージを作成する。
続いて、図7及び図33を用いて、要求元端末と宛先端末との間で、テレビ会議の通話を行うために、画像データ及び音声データを送受信する処理を説明する。なお、端末10aaから端末10dbに画像データ及び音声データを送信する一方向の処理と、端末10dbから端末10aaに画像データ及び音声データを送信する逆方向の処理とで、画像データ及び音声データの送受信や後述の遅延時間の検出等は同じ処理であるため、上記一方向の通信について説明し、上記逆方向の通信は省略する。
まず、要求元端末(端末10aa)は、図2に示されている画像・音声データ用セッションsedによって、撮像部14aで撮像された被写体の画像データ、及び音声入力部15aで入力された音声の音声データを、送受信部11から通信ネットワーク2を介して中継装置30aへ送信する(ステップS81)。なお、本実施形態では、図3に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置30aでは、送受信部31で上記3つの解像度の画像データ及び音声データを受信する。そして、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図10参照)を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された画像データの画質が「高画質」であり、送受信部31で受信した画像データの画質と同じであるため、中継装置30aは、画像・音声データ用セッションsedによって、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末(端末10db)に転送する(ステップS83)。これにより、宛先端末(端末10db)は、送受信部11で、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、及び音声データを受信する。そして、表示制御部17が、3つの画質の画像データを組み合わせて、ディスプレイ120に画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
次に、端末10dbの遅延検出部18は、送受信部11で受信された画像データの受信の遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、遅延時間が200(ms)である場合について、以下説明を続ける。
宛先端末(端末10db)の送受信部11は、図2に示されている管理情報用セッションseiによって、通信ネットワーク2を介して管理システム50へ、遅延時間「200(ms)」を示す遅延情報を送信する(ステップS85)。これにより、管理システム50は、遅延時間を把握すると共に、遅延情報の送信元である端末10dbのIPアドレス「1.3.2.4」を把握することができる。
次に、管理システム50の遅延時間管理部60は、上記宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、端末管理DB5003(図13参照)を検索することで、対応する端末ID「01db」を抽出し、更に、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、上記端末ID「01db」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「200(ms)」を記憶して管理する(ステップS86)。
次に、品質決定部58は、上記遅延時間「200(ms)」を検索キーとして、品質管理DB5007(図18参照)を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。
次に、送受信部51は、セッション管理DB(図15参照)のセッション管理テーブルにおいて、上記端末ID「01db」に関連付けられている中継装置ID「111a」を検索キーとして、中継装置管理DB5001(図11参照)を検索し、対応する中継装置30aのIPアドレス「1.2.1.2」を抽出する(ステップS88)。そして、送受信部51は、図2に示されている管理情報用セッションseiによって、通信ネットワーク2を介して中継装置30aへ、上記ステップ87によって決定された画像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、中継装置30aでは、変更品質管理部34が、変更品質管理DB3001(図10参照)に、送信先の端末10(ここでは、端末10db)のIPアドレス「1.3.2.4」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。
次に、端末10aaは、引き続き上記ステップS81と同様に、画像・音声データ用セッションsedによって、中継装置30aへ、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、並びに、音声データを送信する(ステップS91)。これにより、中継装置30aでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図10参照)を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する(ステップS92)。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部31で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部35は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する(ステップS93)。
そして、送受信部31は、画像・音声データ用セッションsedによって、通信ネットワーク2を介して端末10dbへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する(ステップS94)。これにより、宛先端末(端末10db)は、送受信部11で、低解像度、中解像度の2つから成る中画質の画像データ、及び音声データを受信する。そして、表示制御部17が、2つの解像度の画像データを組み合わせて、ディスプレイ120に画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。
このように、画像データを受信する宛先端末(端末10db)で、受信の遅延が生じた場合には、中継装置30aは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、管理システム50は、各端末10の画像通信状態を示す画像通信状態情報に基づいて、所定の端末10に画像通信を制御させるための所定の通信制御メッセージを作成し、画像通信を制御させる端末10に対して、通信制御メッセージを送信する。これにより、伝送管理システムは、所定の伝送端末に対して、相手側の端末10の画像通信状態に応じた画像通信を行わせることができるため、無駄な画像通信を防止することができるという効果を奏する。また、これにより、無駄な電力消費や通信費等を掛けずに済むという効果を奏する。
また、通信ネットワーク2のうち、中継装置30のIPアドレス等のLAN2の環境を把握することができたとしても、インターネット2i全体の環境まで把握することは困難であるため、まずは把握できる環境の情報から、画像データ及び音声データを中継する複数の中継装置の30うち2つ以上まで絞り込む。そして、次に複数の端末10の間で画像データ及び音声データを実際に送受信する前に、画像データ及び音声データに替えて、事前送信情報を送受信させてみることで、実際に最も早く事前送信情報を中継することができる1つの中継装置30に絞り込むことができるという効果を奏する。
即ち、端末10のIPアドレスの何れかに近い上位2つ以上のIPアドレスがそれぞれ割り当てられている中継装置30を選択することで、最終的に使用される中継装置30の候補を2つ以上残すことができる。これにより、その後、実際に候補としての各中継装置30を介して、要求元端末と宛先端末の間で事前送信情報を送受信することで、上記2つ以上の候補の中継装置30のうち、送受信に要した所要時間が最短の事前送信情報を中継した中継装置30に絞り込むことができる。よって、現状の通信ネットワーク2の環境下で最大限に高品質の画像データ又は音声データを送受信することを実現することができるという効果を奏する。
また、本実施形態では、中継装置30を絞り込む際に、テレビ会議を行う端末10のIPアドレスに近いIPアドレスの中継装置30を優先的に選択するだけでなく、各中継装置30における最大データ伝送速度も考慮して、2つ以上の中継装置30が選択されている。これにより、現実の通信ネットワーク2の環境に即した中継装置30の候補を絞り込むことができるという効果を奏する。
更に、本実施形態では、中継装置30を絞り込む際に、稼動状態がオンラインである中継装置30の中から絞り込むため、現実の通信ネットワーク2の環境に更に即した中継装置30の候補を絞り込むことができる。
〔実施形態の補足〕
上記実施形態における中継装置30、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
また、上記各実施形態の端末用プログラム、中継装置用プログラム、又は伝送管理用プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記端末用プログラム、中継装置用プログラム、及び伝送管理用プログラムが利用者等に提供される場合に用いられる。
更に、上記実施形態では、図10に示されている変更品質管理テーブル、及び図18に示されている品質管理テーブルによって、中継装置30で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。また、音声データが3種類の解像度(高解像度、中解像度、低解像度)のデータに分かれて送受信されるようにしてもよい。
また、図11、図13、及び図15では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。
更に、上記実施形態では、図11で中継装置のIPアドレス、図13で端末のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で中継装置30を特定するための中継装置特定情報、又は通信ネットワーク2上で端末10を特定するための端末特定情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。なお、「通信ネットワーク2で中継装置30を特定するための中継装置特定情報」だけでなく、「通信ネットワーク2上における中継装置30への接続先を示した中継装置接続先情報」、又は「通信ネットワーク2上における中継装置30への宛先を示した中継装置宛先情報」と表現してもよい。同じく、「通信ネットワーク2で端末10を特定するための端末特定情報」だけでなく、「通信ネットワーク2上における端末10への接続先を示した端末接続先情報」、又は「通信ネットワーク2上における端末10への宛先を示した端末宛先情報」と表現してもよい。
また、上記実施形態では、伝送システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、伝送システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、端末10の一方が自動車に搭載されたカーナビゲーション装置に相当し、端末10の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。また、伝送システム1は、携帯電話機の通信システムであってもよい。この場合、例えば、端末10は携帯電話機に相当する。
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末側でユーザが接触した感覚が、他方の端末側に伝達される。更に、コンテンツデータは、嗅覚(smell)データであってもよい。この場合、一方の端末側の匂い(臭い)が、他の端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ、及び嗅覚データのうち、少なくとも1つのデータであればよい。
また、上記実施形態では、伝送システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。