JP2012134939A - Communication terminal, communication method, and program for communication terminal - Google Patents
Communication terminal, communication method, and program for communication terminal Download PDFInfo
- Publication number
- JP2012134939A JP2012134939A JP2011168464A JP2011168464A JP2012134939A JP 2012134939 A JP2012134939 A JP 2012134939A JP 2011168464 A JP2011168464 A JP 2011168464A JP 2011168464 A JP2011168464 A JP 2011168464A JP 2012134939 A JP2012134939 A JP 2012134939A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- data
- communication terminal
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、所定のデータを表示装置の画面に表示させるための表示データ、及び撮像された画像データを、他の通信端末から通信ネットワークを介して受信可能な通信端末に関する。 The present invention relates to a communication terminal capable of receiving display data for displaying predetermined data on a screen of a display device and captured image data from another communication terminal via a communication network.
近年、出張経費及び出張時間を削減する要請に伴い、インターネット等の通信ネットワークを介してテレビ会議などを行う通信システムが普及している。このような通信システムでは、複数の通信端末の間で資料データをディスプレイに表示するための表示データ、及び画像データ、音声データの送受信が行われることにより、テレビ会議を実現することができる。また、近年のブロードバンド環境の充実化により、高画質の画像データ、高音質の音声データを送受信することが可能となったため、テレビ会議の相手の状況を把握し易くなり、会話による意思疎通の充実度を向上することができるようになった。 2. Description of the Related Art In recent years, a communication system for performing a video conference or the like via a communication network such as the Internet has become widespread along with a request for reducing business trip expenses and business trip time. In such a communication system, a video conference can be realized by transmitting / receiving display data, image data, and audio data for displaying document data on a display among a plurality of communication terminals. In addition, with the recent enhancement of the broadband environment, it has become possible to send and receive high-quality image data and high-quality audio data, making it easier to grasp the status of the other party in the video conference and enhancing communication through conversations. The degree can be improved.
また、通信端末が、大容量の表示データを同時に送受信することも可能になったため、ディスプレイに画像データと表示データを同時に表示させることで、テレビ会議の参加者は相手の状況を把握しながら、会議資料も確認することができるようになった（特許文献１）。 In addition, since it is now possible for the communication terminal to send and receive large amounts of display data at the same time, by displaying image data and display data simultaneously on the display, participants in the video conference can grasp the situation of the other party, Meeting materials can now be confirmed (Patent Document 1).
しかしながら、テレビ会議中に資料を用いない場合がある。その場合、ディスプレイの資料データを表示する領域には何も表示されずに、テレビ会議の参加者を表す画像データの表示領域は元のままとなっている。何も表示されない領域をなくし、画像データの表示領域を広げることによって、より画像データを見やすくなるが、そのためには手動の操作で画像領域を変更しなければならない。会議中の参加者がそのような操作を行うのは煩わしいという課題がある。 However, there are cases where materials are not used during a video conference. In that case, nothing is displayed in the area for displaying the document data on the display, and the display area for the image data representing the participant of the video conference remains unchanged. By eliminating the area where nothing is displayed and expanding the display area of the image data, it becomes easier to see the image data. However, for this purpose, the image area must be changed manually. There is a problem that it is troublesome for participants during the conference to perform such operations.
請求項１に係る発明は、所定のデータを表示装置の画面に表示させるための表示データ、及び撮像された画像データを、他の通信端末から通信ネットワークを介して受信可能な通信端末であって、前記表示データが受信されたか否かを表す受信情報と、前記画像データに基づいて前記画面上に表示される画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段と、前記表示データ及び前記画像データを受信することが可能な受信手段と、前記受信手段で受信した受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出手段と、前記抽出手段で抽出された前記配置情報に基づいて、前記画像データによる画像を前記画面に表示させる表示制御手段と、を有することを特徴とする。
The invention according to
以上説明したように本発明によれば、通信端末がテレビ会議の相手の外部入力装置で表示している表示データを受信したか否かに基づいて記憶手段から抽出された配置情報によって表示装置の画面を効率的に利用することによって、テレビ会議の参加者が操作を行う煩わしさをなくすことができる。 As described above, according to the present invention, the communication terminal can display the display device according to the arrangement information extracted from the storage unit based on whether the display data displayed on the external input device of the other party of the video conference is received. By efficiently using the screen, it is possible to eliminate the troublesome operation of the participants of the video conference.
＜＜実施形態の全体構成＞＞
以下、図１乃至図３３を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係るテレビ会議に用いられる通信システム１の概略図であり、まずは図１を用いて、本実施形態の概略を説明する。なお、テレビ会議という用語には、一般にビデオ会議と呼ばれているものも含んでいる。
<< Overall Configuration of Embodiment >>
Hereinafter, an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic diagram of a
図１に示す通信システム１は、複数の通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）、各通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）用のディスプレイ（１１ａａ，１１ａｂ，…，１１ｄｂ）、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）、通信管理システム５０、及び配置情報提供システム８０によって構築されている。
The
なお、本実施形態では、通信端末（１０ａａ，１０ａｂ，…，１０ｄｂ）のうち任意の通信端末を示す場合には「通信端末１０」を用い、ディスプレイ（１１ａａ，１１ａｂ，…，１１ｄｂ）のうち任意のディスプレイを示す場合には「ディスプレイ１００」を用い、中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）のうち任意の中継装置を示す場合には「中継装置３０」を用いる。
In the present embodiment, “
通信端末１０は、他の通信端末１０との間で、画像データ、音声データ等の送受信を行う。本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であてもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。中継装置３０は、複数の通信端末１０の間で、画像データ及び音声データの中継を行う。通信管理システム５０は、通信端末１０及び中継装置３０を一元的に管理する。配置情報提供システム８０は、通信端末１０の画面での画像データ、後述する資料データを配置するための配置情報を、通信端末１０に提供する。
The
外部入力装置４０は、通信端末１０と接続され、通信端末１０に対して資料データを表示した画面を取得した表示データの送信を行う。ここでの資料データとは、たとえば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等で作成されたデータを表す。また、画面を取得するとは、コンピュータのディスプレイに表示された静止画や動画を保存することを表す。
The
また、図１に示されている複数のルータ（７０ａ，７０ｂ，…，７０ｇ）は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ（７０ａ，７０ｂ，…，７０ｇ）のうち任意のルータを示す場合には「ルータ７０」を用いる。プログラム提供システム９０は、通信端末１０に各種機能又は各種手段を実現させるための通信端末用プログラムが記憶された、不図示のＨＤ(Hard Disk)を備えており、通信端末１０に、通信端末用プログラムを送信することができる。また、プログラム提供システム９０のＨＤには、中継装置３０に各種機能又は各種手段を実現させるための中継装置用プログラムも記憶されており、中継装置３０に、中継装置用プログラムを送信することができる。更に、プログラム提供システム９０のＨＤには、通信管理システム５０に各種機能又は各種手段を実現させるための通信管理用プログラムも記憶されており、通信管理システム５０に、通信管理用プログラムを送信することができる。
Also, the plurality of routers (70a, 70b,..., 70g) shown in FIG. 1 perform selection of optimal paths for image data and audio data. In the present embodiment, “router 70” is used to indicate an arbitrary router among the routers (70a, 70b,..., 70g). The program providing system 90 includes an HD (Hard Disk) (not shown) in which a communication terminal program for causing the
また、通信端末１０ａａ、通信端末１０ａｂ、中継装置３０ａ、及びルータ７０ａは、ＬＡＮ２ａによって通信可能に接続されている。通信端末１０ｂａ、通信端末１０ｂｂ、中継装置３０ｂ、及びルータ７０ｂは、ＬＡＮ２ｂによって通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ｃが含まれた専用線２ａｂによって通信可能に接続されており、所定の地域Ａ内で構築されている。例えば、地域Ａは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。
The communication terminal 10aa, the communication terminal 10ab, the
一方、通信端末１０ｃａ、通信端末１０ｃｂ、中継装置３０ｃ、及びルータ７０ｃは、ＬＡＮ２ｃによって通信可能に接続されている。通信端末１０ｄａ、通信端末１０ｄｂ、中継装置３０ｄ、及びルータ７０ｄは、ＬＡＮ２ｄによって通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｅが含まれた専用線２ｃｄによって通信可能に接続されており、所定の地域Ｂ内で構築されている。例えば、地域Ｂはアメリカであり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。地域Ａ及び地域Ｂは、それぞれルータ（７０ｃ，７０ｅ）からインターネット２ｉを介して通信可能に接続されている。
On the other hand, the communication terminal 10ca, the communication terminal 10cb, the
また、通信管理システム５０、及びプログラム提供システム９０は、インターネット２ｉを介して、通信端末１０、及び中継装置３０と通信可能に接続されている。通信管理システム５０、及びプログラム提供システム９０は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。
In addition, the
なお、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、本実施形態の通信ネットワーク２が構築されている。
In the present embodiment, the
また、図１において、各通信端末１０、各中継装置３０、通信管理システム５０、各ルータ７０、及びプログラム提供システム９０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、通信端末１０ａａのＩＰアドレスは「１．２．１．３」である。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが。説明を簡略化するため、ＩＰｖ４を用いて説明する。
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。本実施形態では、中継先としての通信端末１０で画像データの受信に遅延が生じた場合に、中継装置３０によって画像データの画像の解像度を変更してから、中継先としての通信端末１０へ画像データを送信する場合について説明する。
Further, in FIG. 1, four sets of numbers shown under each
<< Hardware Configuration of Embodiment >>
Next, the hardware configuration of this embodiment will be described. In the present embodiment, when there is a delay in the reception of image data at the
図２は、本実施形態に係る通信端末の外観図である。以下、通信端末１０の長手方向をＸ軸方向、水平面内でＸ軸方向に直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向に直交する方向（鉛直方向）をＺ軸方向として説明する。
FIG. 2 is an external view of the communication terminal according to the present embodiment. Hereinafter, the longitudinal direction of the
図２に示されているように、通信端末１０は、筐体１１００、アーム１２００、及びカメラハウジング１３００を備えている。このうち、筐体１１００の前側壁面１１１０には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体１１００の後側壁面１１２０には、複数の排気孔が形成された排気面１１２１が設けられている。これにより、筐体１１００に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して通信端末１０の後方の外気を取り込み、排気面１１２１を介して通信端末１０の後方へ排気することができる。筐体１１００の右側壁面１１３０には、収音用孔１１３１が形成され、後述する内蔵型のマイク１１４によって音声、物音、雑音等の音が収音可能となっている。
As illustrated in FIG. 2, the
筐体１１００の右側壁面１１３０側には、操作パネル１１５０が形成されている。この操作パネル１１５０には、後述の複数の操作ボタン（１０８ａ〜１０８ｅ）、後述の電源スイッチ１０９、及び後述のアラームランプ１１９が設けられていると共に、後述の内蔵型のスピーカ１１５からの出力音を通すための複数の音声出力孔によって形成された音出面１１５１が形成されている。また、筐体１１００の左側壁面１１４０側には、アーム１２００及びカメラハウジング１３００を収容するための凹部としての収容部１１６０が形成されている。筐体１１００の右側壁面１１３０には、後述の外部機器接続Ｉ／Ｆ１１８に対して電気的にケーブルを接続するための複数の接続口（１１３２ａ〜１１３２ｃ）が設けられている。一方、筐体１１００の左側壁面１１４０には、後述の外部機器接続Ｉ／Ｆ１１８に対して電気的にディスプレイ１２０用のケーブル１２０ｃを接続するための不図示の接続口が設けられている。
An
なお、以下では、操作ボタン（１０８ａ〜１０８ｅ）のうち任意の操作ボタンを示す場合には「操作ボタン１０８」を用い、接続口（１１３２ａ〜１１３２ｃ）のうち任意の接続口を示す場合には「接続口１１３２」を用いて説明する。
In the following description, “
次に、アーム１２００は、トルクヒンジ１２１０を介して筐体１１００に取り付けられており、アーム１２００が筐体１１００に対して、１３５度のチルト角θ１の範囲で、上下方向に回転可能に構成されている。図２は、チルト角θ１が９０度の状態を示している。
Next, the
カメラハウジング１３００には、内蔵型のカメラ１０２１が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング１３００には、トルクヒンジ１３１０が形成されている。カメラハウジング１３００は、トルクヒンジ１３１０を介して、アーム１２００に取り付けられている。そして、カメラハウジング１３００は、トルクヒンジ１３１０を介してアーム１２００に取り付けられており、カメラハウジング１３００がアーム１２００に対して、図２で示されている状態を０度として±１８０度のパン角θ２の範囲で、且つ、±４５度のチルト角θ３の範囲で、上下左右方向に回転可能に構成されている。
The
なお、中継装置３０、管理システム５０、及びプログラム提供システム９０は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
The
図３は、本発明の一実施形態に係る通信端末１０のハードウェア構成図である。図３に示されているように、本実施形態の通信端末１０は、通信端末１０全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、通信端末用プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、画像データや音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、通信端末１０の宛先を選択する場合などに操作される操作ボタン１０８、通信端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ１１１、ＣＰＵ１０１の制御に従って被写体を撮像し画像データを得るカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力するマイク１１４、音声を出力するスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１００に画像データを伝送するディスプレイＩ／Ｆ１１７、外部の装置と各種データを送受信する外部入力装置Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９及び上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
FIG. 3 is a hardware configuration diagram of the
なお、記録メディア１０６は、通信端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。更に、カメラ１１２は、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子であり、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いてもよい。また、ディスプレイ１００は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成されている。
The
更に、上記通信端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
Further, the communication terminal program may be installed in an installable or executable format, recorded on a computer-readable recording medium such as the
図４は、本発明の一実施形態に係る通信管理システムのハードウェア構成図である。通信管理システム５０は、通信管理システム５０全体の動作を制御するＣＰＵ２０１、通信管理用プログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、各種データを記憶するＨＤ(Hard Disk)２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８、後述の通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)２１３に対するデータの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び、上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。
FIG. 4 is a hardware configuration diagram of the communication management system according to the embodiment of the present invention. The
なお、上記通信管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
The communication management program is a file in an installable or executable format, and may be recorded and distributed on a computer-readable recording medium such as the
また、中継装置３０は、上記通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、中継装置３０を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
Further, since the
また、外部入力装置４０は、上記通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、外部入力装置４０を制御するための資料管理用プログラムが記録されている。この場合も、資料管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
Further, since the
更に、プログラム提供システム９０は、上記通信管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＲＯＭ２０２には、プログラム提供システム９０を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
Furthermore, since the program providing system 90 has the same hardware configuration as the
なお、上記着脱可能な記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図５は、本実施形態の通信システム１を構成する各端末、装置及びシステムの機能ブロック図である。図５では、通信端末１０、中継装置３０、及び通信管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。外部入力装置４０は、通信端末１０とデータ通信することができるように接続されている。また、図６は、画像データの画質を説明する概念図である。図７は、変更品質管理テーブルを示す概念図である。図８は、中継装置管理テーブルを示す概念図である。図９は、端末認証管理テーブルを示す概念図である。図１０は、端末管理テーブルを示す概念図である。図１１は、宛先リスト管理テーブルを示す概念図である。図１２は、セッション管理テーブルを示す概念図である。図１３は、アドレス優先度管理テーブルを示す概念図である。図１４は、伝送速度優先度管理テーブルを示す概念図である。図１５は、品質管理テーブルを示す概念図である。図２４は、記憶部に記憶されている配置情報管理テーブルを示す概念図である。図２５は、記憶部に記憶されている領域管理テーブルを示す概念図である。図２６は、配置情報に基づいて表示された画面の例を示した図である。図２７は、外部入力装置の機能ブロック図である。図２８は、資料管理テーブルを示す概念図である。
As another example of the detachable recording medium, the recording medium is provided by being recorded on a computer-readable recording medium such as a CD-R (Compact Disc Recordable), a DVD (Digital Versatile Disk), or a Blu-ray Disc. May be.
<< Functional Configuration of Embodiment >>
Next, the functional configuration of this embodiment will be described. FIG. 5 is a functional block diagram of each terminal, device, and system constituting the
＜通信端末の機能構成＞
通信端末１０は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４ａ、表示制御部１４ｂ、配置情報選択部１４ｃ、領域決定部１４ｄ、音声入力部１５ａ、音声出力部１５ｂ、最終絞込部１６、遅延検出部１７、外部情報送受信部１８、及び記憶・読出処理部１９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、通信端末１０は、図３に示されているＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０５のいずれかによって構築される記憶部１０００を有している。
<Functional configuration of communication terminal>
The
（配置情報管理テーブル）
記憶部１０００には、図２４に示されているような配置情報管理テーブルによって構成されている配置情報管理ＤＢ１００１が構築されている。この配置情報管理テーブルでは、配置情報Ｎｏに関連付けて、画面内の各領域に表示するデータ（情報）を表す情報である配置情報と送受信部１１が表示データを受信したか否かを示す受信情報である共有フラグが記憶されている。図２４に例を示すように、配置情報Ｎｏ「１」に対して、配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」、共有フラグ「ＵＮＳＨＡＲＥＤ」が記憶されている。
(Location information management table)
In the
（領域管理テーブル）
記憶部１０００には、図２５に示されているような領域管理テーブルによって構成されている領域管理ＤＢ１００２が構築されている。この領域管理テーブルでは、配置情報に関連付けて、画面内の各領域に表示するデータが記憶されている。図２５に例を示すように配置情報が「ＳＨＡＲＥＤ＿ＭＵＬＴＩ」の場合には、領域１に受信した表示データを表示させ、領域２には通信相手の端末である通信端末１０ａａの撮像部１４ａが撮像した画像データを表示させ、領域３には自身の端末である通信端末１０ｄｂの撮像部１４ａが撮像した画像データを表示させることを表している。また、配置情報が「ＶＩＥＷ＿ＭＵＬＴＩ」の場合には、領域１に通信相手の端末である通信端末１０ａａの撮像部１４ａが撮像した画像データを表示させ、領域２には、自身の端末である通信端末１０ｄｂの撮像部１４ａが撮像した画像データを表示させ、領域３には何も表示させないことを表している。領域１乃至領域３は大きさ及び画面内における位置によって決められている。図２６に示す例は、各情報を表示させる画面内の領域を定めている情報である。図２６（１）には配置情報が「ＳＨＡＲＥＤ＿ＭＵＬＴＩ」の場合の画面、図２６（２）には配置情報が「ＶＩＥＷ＿ＭＵＬＴＩ」の場合の画面が表示されており、画面左部の領域を領域１、画面の右上部の領域を領域２、画面の右中部の領域を領域３としている。
(Area management table)
In the
なお，配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」の場合，領域１には現在、参加者が注目すべき画像データを通信端末は表示するようにして、発話している側の通信端末の撮像部が撮影した画像データとしてもよい。この画像データを特定するため、各通信端末の音声入力部は音声レベルに基づき発話を検出した場合、表示データ制御部は、該当する通信端末の端末ＩＤを中継装置に転送する。中継装置はこの端末ＩＤを各通信端末に同報的に配信するので、各通信端末は領域１に表示すべき画像データを特定することができる。なお、表示データ制御部は中継装置でなく、該当する通信端末の端末ＩＤを通信管理システムに送信してもよい。また，領域２には発話していない側の画像データを表示する。
In the case of the arrangement information “VIEW_MULTI”, the image data which the communication terminal currently displays in the
表示データとは、通信端末１０に接続されている外部入力装置４０の表示装置４００に表示されている画面を示す情報である。文書作成ソフトウェア、表計算ソフトウェア等によって作成され、管理される資料データを表示させている画面であり、図３に示されているカメラ１１２によって入力される画像データとは区別されるものとする。
The display data is information indicating a screen displayed on the
（通信端末の各機能部）
次に、通信端末の各部を詳細に説明する。通信端末１０の送受信部１１は、図３に示されているネットワークＩ／Ｆ１１１によって実現され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。操作入力受付部１２は、図３に示されている操作ボタン１０８、及び電源スイッチ１０９によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図３に示されている電源スイッチ１０９をＯＮにすると、図５に示されている操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする。ログイン要求部１３は、図３に示されているＣＰＵ１０１からの命令によって実現され、上記電源ＯＮの受け付けを契機として、送受信部１１から通信ネットワーク２を介して通信管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び通信端末１０ａｂの現時点のＩＰアドレスを自動的に送信する。
(Each functional part of the communication terminal)
Next, each part of the communication terminal will be described in detail. The transmission /
撮像部１４ａは、図３に示されているカメラ１１２、及び撮像素子Ｉ／Ｆ１１３によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。表示制御部１４ｂは、図３に示されているディスプレイＩ／Ｆ１１７によって実現され、外付けのディスプレイ１００に対して画像データを表示させるための制御を行う。表示制御部１４ｂがディスプレイ１００に表示させる画面の配置情報を抽出する。
The
配置情報選択部１４ｃは、送受信部１１が表示データを受信したか否かを示す受信情報に基づいて、配置情報を選択する。領域決定部１４ｄは、配置情報選択部１４ｃが選択した配置情報に基づいて、各画像データおよび表示データを表示させる領域を決定する。
The arrangement information selection unit 14c selects arrangement information based on reception information indicating whether the transmission /
音声入力部１５ａは、図３に示されているマイク１１４、及び音声入出力Ｉ／Ｆ１１６によって実現され、利用者の音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。音声出力部１５ｂは、図３に示されているスピーカ１１５、及び音声入出力Ｉ／Ｆ１１６によって実現され、音声データに係る音声信号を音声に変換して出力する。
The
最終絞込部１６は、複数の中継装置３０から最終的に１つの中継装置３０に絞り込む最終絞り込み処理を行うため、図３に示されているＣＰＵ１０１からの命令によって、計測部１６ａ、算出部１６ｂ、及び最終選択部１６ｃを実現する。このうち、計測部１６ａは、送受信部１１によって受信された後述の事前送信情報毎に、送受信部１１によって事前送信情報が受信される際の受信日時を計測する。算出部１６ｂは、計測部１６ａによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間を算出する。最終選択部１６ｃは、算出部１６ｂによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置３０を選択することで、最終的に１つの中継装置を選択する。
The
遅延検出部１７は、図３に示されているＣＰＵ１０１からの命令によって実現され、他の通信端末１０から中継装置３０を介して送られて来る画像データ、音声データ、表示データの遅延時間（ｍｓ）を検出する。また、外部情報送受信部１８は、外部入力装置Ｉ／Ｆ２１５により外部にある入力装置とデータを送受信する。
The
記憶・読出処理部１９は、図３に示すＳＳＤ１０５によって実行され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。記憶部１０００には、通信端末１０を識別するための端末ＩＤ(Identification)、及びパスワード、並びに、画像データ、及び音声データ等が記憶される。
The storage / reading processing unit 19 is executed by the
なお、本実施形態の端末ＩＤ、及び後述の中継装置ＩＤは、それぞれ通信端末１０、及び中継装置３０を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ＩＤ、及び中継装置ＩＤは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも２つが組み合わされた識別情報であってもよい。また、以下では、テレビ会議の開始を要求する要求元としての通信端末１０を「要求元端末１０Ａ」とし、要求先である宛先としての通信端末１０を「宛先端末１０Ｂ」として説明する。
It should be noted that the terminal ID of this embodiment and the relay device ID described later are identification information such as language, characters, symbols, or various signs used to uniquely identify the
＜中継装置の機能構成＞
次に、中継装置３０の機能又は手段について説明する。中継装置３０は、送受信部３１、状態検知部３２、データ品質確認部３３、変更品質管理部３４、データ品質変更部３５、及び記憶・読出処理部３９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、中継装置３０は、図４に示されているＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０５のいずれかによってにより構築される記憶部３０００を有している。
<Functional configuration of relay device>
Next, functions or means of the
（変更品質管理テーブル）
記憶部３０００には、図７に示されているような変更品質管理テーブルによって構成されている変更品質管理ＤＢ３００１が構築される。変更品質管理テーブルでは、画像データの中継先としての通信端末３０のＩＰアドレス、及びこの中継先に中継装置３０が中継する画像データの画質が関連付けられて管理される。
(Change quality control table)
In the storage unit 3000, a change quality management DB 3001 configured by a change quality management table as shown in FIG. In the change quality management table, the IP address of the
ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図６（ａ）に示されているように、横が１６０画素、縦が１２０画素から成り、ベース画像となる低解像度の画像と、図６（ｂ）に示されているように、横が３２０画素、縦が２４０画素から成る中解像度の画像と、図６（ｃ）に示されているように、横が６４０画素、縦が４８０画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。例えば、図７に示されている変更品質管理テーブルにおいて、中継装置３０が、ＩＰアドレス「１．３．２．４」の宛先端末１０ｄｂに対して画像データを中継する場合には、この中継される画像データの画質（画像の品質）は「高品質」である。
Here, the resolution of the image data handled in the present embodiment will be described. As shown in FIG. 6 (a), the horizontal image is composed of 160 pixels and the vertical image is 120 pixels, and a low-resolution image serving as a base image and a horizontal image as illustrated in FIG. 6 (b). There are a medium resolution image composed of 320 pixels and 240 pixels vertically, and a high resolution image composed of 640 pixels horizontally and 480 pixels vertically as shown in FIG. 6C. Among these, when passing through a narrow band route, low-quality image data consisting only of low-resolution image data serving as a base image is relayed. When the band is relatively wide, low-resolution image data serving as a base image and medium-quality image data composed of medium-resolution image data are relayed. When the bandwidth is very wide, high-resolution image data composed of low-resolution image data serving as base image quality, intermediate-resolution image data, and high-resolution image data is relayed. For example, in the modified quality management table shown in FIG. 7, when the
＜中継装置の各機能部＞
次に、中継装置３０の各機能構成について詳細に説明する。なお、以下では、中継装置３０の各部を説明するにあたって、図３に示されている各構成要素のうち、中継装置３０の各部を実現させるための主な構成要素との関係も説明する。
<Each functional unit of the relay device>
Next, each functional configuration of the
図５に示されている中継装置３０の送受信部３１は、図４に示されているネットワークＩ／Ｆ２０９によって実現され、通信ネットワーク２を介して他の端末、装置、又はシステムと各種データ（情報）の送受信を行う。状態検知部３２は、図４に示されているＣＰＵ２０１からの命令によって実現され、この状態検知部３２を有する中継装置３０の稼動状態を検知する。稼動状態としては、「ＯＮライン」、「ＯＦＦライン」、又は「故障中」の状態がある。
The transmission /
データ品質確認部３３は、図４に示されているＣＰＵ２０１からの命令によって実現され、宛先端末１０ＢのＩＰアドレスを検索キーとして、変更品質管理テーブル（図７参照）を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。変更品質管理部３４は、図４に示されているＣＰＵ２０１からの命令によって実現され、通信管理システム５０から送られて来る、後述の品質情報に基づいて、変更品質管理ＤＢ３００１の内容を変更する。例えば、端末ＩＤが「０１ａａ」である要求元端末１０ａａと、端末ＩＤが「０１ｄｂ」である宛先端末１０ｄｂとの間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末ｂｂと宛先端末ｃａが通信ネットワーク２を介してテレビ会議を開始すること等によって、宛先端末１０ｄｂで画像データの受信の遅延が生じた場合には、中継装置３０は今まで中継していた画像データの画質を、高画質から中画質に下げる必要がある。このような場合に、中画質を示す品質情報に基づいて、中継装置３０が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理ＤＢ３００１の内容が変更される。
The data
データ品質変更部３５は、図４に示されているＣＰＵ２０１からの命令によって実現され、送信元端末１０から送られて来た画像データの画質を、上記変更された変更品質管理ＤＢ３００１の内容に基づいて変更する。記憶・読出処理部３９は、図４に示されているＨＤＤ２０５によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出す処理を行う。
The data
＜外部入力装置の機能構成＞
外部入力装置４０は、図２７に示されているように、送受信部４１、操作入力受付部４２、表示制御部４３、表示データ取得部４４、表示データ送信部４５、及び記憶・読出処理部４９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、外部入力装置４０は、図４に示されているＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０５のいずれかによって構築される記憶部４０００を有している。
<Functional configuration of external input device>
As shown in FIG. 27, the
（資料管理テーブル）
記憶部４０００には、図２８に示されているような資料管理テーブルによって構成されている資料管理ＤＢ(Data Base)４００１が構築される。資料管理テーブルでは、資料の名称である資料名、資料の大きさを表すサイズ、資料が作成されるために用いられたアプリケーションソフトウェアの名称を表すアプリケーション名、資料が最後に更新された更新日時、資料データが関連付けられて管理される。例えば、図２８に示されている資料管理テーブルにおいて、資料名「××設計書」、サイズ「１８２ｋＢ」、アプリケーション名「文書作成ソフトウェア」、更新日時「２０１０／０３／１９」、資料データ「××設計書．ｘｌｓ」が関連付けられていることが示されている。
(Material management table)
In the storage unit 4000, a material management DB (Data Base) 4001 configured by a material management table as shown in FIG. In the material management table, the material name that is the name of the material, the size that represents the size of the material, the application name that represents the name of the application software used to create the material, the update date and time when the material was last updated, Material data is associated and managed. For example, in the material management table shown in FIG. 28, the material name “XX design document”, size “182 kB”, application name “document creation software”, update date “2010/03/19”, material data “×”. X design document.xls ”is shown to be associated.
＜外部入力装置の各機能部＞
次に、外部入力装置４０の各部を詳細に説明する。外部入力装置４０の送受信部４１は、図４に示されている外部入力装置Ｉ／Ｆ２１５によって実現され、通信端末１０と各種データ（情報）を送受信する。操作入力受付部４２は、利用者の操作による入力を受け付ける。表示制御部４３は、表示装置４００に後述する記憶・読出処理部４９が読み出した画像を表示させる。表示データ取得部４４は、外部入力装置４０が表示させる画面に関する表示データを取得するものであり、表示データ送信部４５は、表示データ取得部４４が取得した表示データを通信端末１０に送信するものである。
<Functional parts of external input device>
Next, each part of the
記憶・読出処理部４９は、図４に示すＨＤＤ２０５によって実行され、記憶部４０００に各種データを記憶したり、記憶部４０００に記憶された各種データを読み出したりする処理を行う。記憶部４０００には、会議中に共有させる資料データ等が記憶される。
The storage /
＜通信管理システムの機能構成＞
次に、通信管理システム５０の機能又は手段について説明する。通信管理システム５０は、図５に示されるように、送受信部５１、端末認証部５２、状態管理部５３、端末抽出部５４、端末状態取得部５５、絞込部５６、セッション管理部５７、品質決定部５８、記憶・読出処理部５９、及び遅延時間管理部６０を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ２０２に記憶されているプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、通信管理システム５０は、図４に示されているＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０５のいずれかによって構築される記憶部５０００を有している。
<Functional configuration of communication management system>
Next, functions or means of the
（中継装置管理テーブル）
記憶部５０００には、図８に示されているような中継装置管理テーブルによって構成されている中継装置管理ＤＢ５００１が構築されている。この中継装置管理テーブルでは、各中継装置３０の中継装置ＩＤ毎に、各中継装置３０の稼動状態、稼動状態が示される状態情報が通信管理システム５０で受信された受信日時、中継装置３０のＩＰアドレス、及び中継装置３０における最大データ伝送速度（Ｍｂｐｓ）が関連付けられて管理される。例えば、図８に示されている中継装置管理テーブルにおいて、中継装置ＩＤが「１１１ａ」の中継装置３０ａは、稼動状態が「ＯＮライン」で、通信管理システム５０で状態情報が受信された日時が「２００９年１１月１０日の１３時００分」で、この中継装置３０ａのＩＰアドレスが「１．２．１．２」で、この中継装置３０ａにおける最大データ伝送速度が１００Ｍｂｐｓであることが示されている。
(Relay device management table)
In the storage unit 5000, a relay device management DB 5001 configured by a relay device management table as shown in FIG. 8 is constructed. In this relay device management table, for each relay device ID of each
（端末認証管理テーブル）
更に、記憶部５０００には、図９に示されているような端末認証管理テーブルによって構成されている端末認証管理ＤＢ５００２が構築されている。この端末認証管理テーブルでは、通信管理システム５０によって管理される全ての通信端末１０の各端末ＩＤに対して、各パスワードが関連付けられて管理される。例えば、図９に示されている端末認証管理テーブルにおいて、通信端末１０ａａの端末ＩＤは「０１ａａ」で、パスワードは「ａａａａ」であることが示されている。
(Terminal authentication management table)
Furthermore, in the storage unit 5000, a terminal authentication management DB 5002 configured by a terminal authentication management table as shown in FIG. In this terminal authentication management table, each password is associated with each terminal ID of all
（端末管理テーブル）
また、記憶部５０００には、図１０に示されているような端末管理テーブルによって構成されている端末管理ＤＢ５００３が構築されている。この端末管理テーブルでは、各通信端末１０の端末ＩＤ毎に、各通信端末１０の稼動状態、後述のログイン要求情報が通信管理システム５０で受信された受信日時、及び通信端末１０のＩＰアドレスが関連付けられて管理される。例えば、図１０に示されている端末管理テーブルにおいて、端末ＩＤが「０１ａａ」の通信端末１０ａａは、稼動状態が「ＯＮライン」で、通信管理システム５０でログイン要求情報が受信された日時が「２００９年１１月１０日の１３時４０分」で、この通信端末１０ａａのＩＰアドレスが「１．２．１．３」であることが示されている。
(Terminal management table)
Further, in the storage unit 5000, a terminal management DB 5003 configured by a terminal management table as shown in FIG. 10 is constructed. In this terminal management table, for each terminal ID of each
（宛先リスト管理テーブル）
更に、記憶部５０００には、図１１に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００４が構築されている。この宛先リスト管理テーブルでは、テレビ会議の開始を要求する要求元端末１０Ａの端末ＩＤに対して、宛先端末１０Ｂの候補として登録されている宛先端末１０Ｂの端末ＩＤが全て関連付けられて管理される。例えば、図１１に示されている宛先リスト管理テーブルにおいて、端末ＩＤが「０１ａａ」である要求元端末１０ａａからテレビ会議の開始を要求することができる宛先端末１０Ｂの候補は、端末ＩＤが「０１ａｂ」の通信端末１０ａｂ、端末ＩＤが「０１ｂａ」の通信端末１０ｂａ、及び端末ＩＤが「０１ｄｂ」の通信端末１０ｄｂの３つであることが示されている。この宛先端末１０Ｂの候補は、要求元端末１０Ａから通信管理システム５０に対する追加又は削除の要請により、追加又は削除されることで更新される。
(Destination list management table)
Further, in the storage unit 5000, a destination list management DB 5004 configured by a destination list management table as shown in FIG. In this destination list management table, all terminal IDs of destination terminals 10B registered as candidates for destination terminal 10B are managed in association with terminal IDs of request source terminal 10A requesting the start of a video conference. For example, in the destination list management table shown in FIG. 11, a candidate for the destination terminal 10B that can request the start of the video conference from the request source terminal 10aa having the terminal ID “01aa” has the terminal ID “01ab”. ", The communication terminal 10ab having the terminal ID" 01ba "and the communication terminal 10db having the terminal ID" 01db ". The destination terminal 10B candidates are updated by addition or deletion in response to a request for addition or deletion from the request source terminal 10A to the
（セッション管理テーブル）
また、この記憶部５０００には、図１２に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ５００５が構築されている。このセッション管理テーブルでは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤ毎に、中継装置３０の中継装置ＩＤ、要求元端末１０Ａの端末ＩＤ、宛先端末１０Ｂの端末ＩＤ、遅延時間（ｍｓ）、及び受信日時が関連付けられて管理される。ここで、遅延時間（ｍｓ）とは、宛先端末１０Ｂにおいて画像データが受信される際の受信の遅延時間であり、受信日時とは、この遅延時間が示されている遅延情報を宛先端末１０Ｂから送られて来て通信管理システム５０で受信された日時である。
(Session management table)
Further, in this storage unit 5000, a session management DB 5005 configured by a session management table as shown in FIG. 12 is constructed. In this session management table, for each selection session ID used to execute a session for selecting the
例えば、図１２に示されているセッション管理テーブルにおいて、選択用セッションＩＤ「ｓｅ１」を用いて実行されたセッションで選択された中継装置３０ａ（中継装置ＩＤ「１１１ａ」）は、端末ＩＤが「０１ａａ」の要求元端末１０ａａと、端末ＩＤが「０１ｄｂ」の宛先端末１０ｄｂとの間で、画像データ及び音声データを中継していることが示されている。また、宛先端末１０ｄｂにおいて「２００９年１１月１０日の１４時００分」時点における画像データの遅延時間が２００（ｍｓ）であることが示されている。
For example, in the session management table shown in FIG. 12, the
なお、２つの通信端末１０の間でテレビ会議を行う場合には、上記宛先端末１０Ｂではなく要求元端末１０Ａから送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、３つ以上の通信端末１０の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の通信端末１０から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
When a video conference is performed between the two
（アドレス優先度管理テーブル）
更に、記憶部５０００には、図１３に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理ＤＢ５００６が構築されている。このアドレス優先度管理テーブルでは、一般的なＩＰｖ４におけるＩＰアドレスのうちの４組のドットアドレス(Dot Address)部分の同異に応じて、アドレス優先度のポイントが高くなるように関連付けられて管理される。例えば、図１３に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて３つの値が同じＩＰアドレスの場合には、アドレス優先度のポイントが「５」である。ドットアドレスの上位から下位にかけて２つの値が同じＩＰアドレスの場合には、アドレス優先度のポイントが「３」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から２番目の値が異なるＩＰアドレスの場合には、アドレス優先度のポイントが「１」である。この場合、上位から３番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるＩＰアドレスの場合には、アドレス優先度のポイントが「０」である。この場合、上位から２番目、３番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
(Address priority management table)
Further, in the storage unit 5000, a priority management DB 5006 configured by an address priority management table as shown in FIG. 13 is constructed. In this address priority management table, in accordance with the difference in the four dot address (Dot Address) portions of the general IPv4 IP addresses, the address priority points are associated and managed so as to increase. The For example, in the address priority management table shown in FIG. 13, when the three values are the same IP address from the top to the bottom of the dot address, the address priority point is “5”. When the two values are the same IP address from the top to the bottom of the dot address, the address priority point is “3”. In this case, whether the value of the lowest dot address is the same or not is not related to the priority. In the case of IP addresses having the same highest value of dot addresses and different second values from the top, the address priority point is “1”. In this case, whether or not the values of the third and lowest dot addresses from the top are the same has no relation to the priority. In the case of IP addresses having different uppermost values of dot addresses, the address priority point is “0”. In this case, whether or not the values of the second, third, and lowest dot addresses from the top are the same has no relation to the priority.
（伝送速度優先度管理テーブル）
また、記憶部５０００に構築されている優先度管理ＤＢ５００６には、図１４に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置３０における最大データ伝送速度（Ｍｂｐｓ）の値に応じて、伝送速度優先度のポイントが高くなるように関連付けられて管理される。例えば、図１４に示されている伝送速度優先度管理テーブルにおいて、中継装置３０における最大データ伝送速度が１０００Ｍｂｐｓ以上の場合には、伝送速度優先度のポイントが「５」である。中継装置３０における最大データ伝送速度が１００Ｍｂｐｓ以上１０００Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「３」である。中継装置３０における最大データ伝送速度が１０Ｍｂｐｓ以上１００Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「１」である。中継装置３０における最大データ伝送速度が１０Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「０」である。
(Transmission speed priority management table)
The priority management DB 5006 built in the storage unit 5000 also includes a transmission speed priority management table as shown in FIG. In this transmission rate priority management table, the transmission rate priority points are associated and managed in accordance with the value of the maximum data transmission rate (Mbps) in the
（品質管理テーブル）
更に、記憶部５０００には、図１５に示されているような品質管理テーブルによって構成されている品質管理ＤＢ５００７が構築されている。この品質管理テーブルでは、要求元端末１０Ａ又は宛先端末１０Ｂにおける画像データの遅延時間（ｍｓ）に応じて、中継装置３０で中継させる画像データの画質（画像の品質）が関連付けられて管理される。
(Quality control table)
Furthermore, in the storage unit 5000, a quality management DB 5007 configured by a quality management table as shown in FIG. In this quality management table, the image quality (image quality) of the image data relayed by the
（通信管理システムの各機能部）
次に、通信管理システム５０の各機能部について詳細に説明する。なお、以下では、通信管理システム５０の各部を説明するにあたって、図５に示されている各構成要素のうち、通信管理システム５０の各部を実現させるための主な構成要素との関係も説明する。
(Each functional part of the communication management system)
Next, each functional unit of the
送受信部５１は、図４に示されているネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。端末認証部５２は、送受信部５１を介して受信されたログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとし、記憶部５０００の端末認証管理ＤＢ５００２を検索し、端末認証管理ＤＢ５００２に同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う。状態管理部５３は、ログイン要求してきた要求元端末１０Ａの稼動状態を管理すべく、端末管理テーブル（図１１参照）に、この要求元端末１０Ａの端末ＩＤ、要求元端末１０Ａの稼動状態、通信管理システム５０でログイン要求情報が受信された受信日時、及び要求元端末１０ＡのＩＰアドレスを関連付けて記憶して管理する。
The transmission / reception unit 51 is executed by the network I /
端末抽出部５４は、ログイン要求した要求元端末１０Ａの端末ＩＤをキーとして、宛先リスト管理テーブル（図１１参照）を検索し、要求元端末１０Ａと通信することができる宛先端末１０Ｂの候補の端末ＩＤを読み出すことで、端末ＩＤを抽出する。また、端末抽出部５４は、ログイン要求してきた要求元端末１０Ａの端末ＩＤをキーとして、宛先リスト管理テーブル（図１１参照）を検索し、上記要求元端末１０Ａの端末ＩＤを宛先端末１０Ｂの候補として登録している他の要求元端末１０Ａの端末ＩＤも抽出する。
The
端末状態取得部５５は、上記端末抽出部５４によって抽出された宛先端末１０Ｂの候補の端末ＩＤを検索キーとして、端末管理ＤＢテーブル（図１０参照）を検索し、上記端末抽出部５４によって抽出された端末ＩＤ毎に稼動状態を読み出す。これにより、端末状態取得部５５は、ログイン要求してきた要求元端末１０Ａと通信することができる宛先端末１０Ｂの候補の稼動状態を取得することができる。また、端末状態取得部５５は、上記端末抽出部５４によって抽出された端末ＩＤを検索キーとして、端末管理テーブル（図１０参照）を検索し、ログイン要求してきた要求元端末１０Ａの稼動状態も取得する。
The terminal status acquisition unit 55 searches the terminal management DB table (see FIG. 10) using the candidate terminal ID of the destination terminal 10B extracted by the
絞込部５６は、複数の中継装置３０から最終的に１つの中継装置３０に絞り込む最終絞り込み処理を支援するため、最終絞り込み処理前の一次絞り込み処理を行うため、選択用セッションＩＤ生成部５６ａ、端末ＩＰアドレス抽出部５６ｂ、一次選択部５６ｃ、及び優先度決定部５６ｄを有している。このうち、選択用セッションＩＤ生成部５６ａは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤを生成する。端末ＩＰアドレス抽出部５６ｂは、要求元端末１０Ａから送られてきた開始要求情報に含まれている要求元端末１０Ａの端末ＩＤ、及宛先端末１０Ｂの端末ＩＤに基づいて、端末管理テーブル（図１０参照）を検索することにより、対応するそれぞれの通信端末１０のＩＰアドレスを抽出する。一次選択部５６ｃは、中継装置管理テーブル（図８参照）で管理されている中継装置３０のうち、稼動状態が「ＯＮライン」となっている中継装置３０の中継装置ＩＤを選択することにより、中継装置３０の選択を行う。
The narrowing
また、一次選択部５６ｃは、上記端末ＩＰアドレス抽出部５６ｂによって抽出された、要求元端末１０ＡのＩＰアドレス、及び宛先端末１０ＢのＩＰアドレスに基づいて、中継装置管理テーブル（図８参照）を検索することにより、上記選択された中継装置３０のＩＰアドレスのドットアドレス毎に、上記要求元端末１０Ａ及び宛先端末１０Ｂの各ＩＰアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部５６ｃは、中継装置毎に、アドレス優先度のポイントにおいて通信端末１０に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位２つの中継装置３０を選択することにより、中継装置３０の更なる選択を行う。
Further, the
なお、本実施形態では、ポイントが高い上位２つの中継装置３０を選択することにしているが、これに限られるものではなく、中継装置３０を１つでも多く絞り込むことができれば、ポイントが高い上位３つ以上の中継装置３０を選択するようにしてもよい。
In the present embodiment, the top two
優先度決定部５６ｄは、優先度管理テーブル（図１３参照）を参照して、上記一次選択部５６ｃによって調査された中継装置３０毎に、アドレス優先度のポイントを決定する。また、優先度決定部５６ｄは、中継装置管理テーブル（図８参照）で管理されている各中継装置３０の最大データ伝送速度に基づいて、優先度管理テーブル（図１４参照）を検索することにより、上記一次選択部５６ｃによって絞り込まれた中継装置３０毎に伝送速度優先度のポイントを決定する。
The priority determination unit 56d refers to the priority management table (see FIG. 13) and determines an address priority point for each
セッション管理部５７は、記憶部５０００のセッション管理テーブル（図１２参照）に、選択用セッションＩＤ生成部５６ａで生成された選択用セッションＩＤ、要求元端末の端末ＩＤ、及び宛先端末の端末ＩＤを関連付けて記憶して管理する。また、セッション管理部５７は、セッション管理テーブル（図１２参照）に対して、選択用セッションＩＤ毎に、通信端末１０の選択部１６ｃで最終的に１つに選択された中継装置３０の中継装置ＩＤを記憶して管理する。
The session management unit 57 stores the selection session ID generated by the selection session ID generation unit 56a, the terminal ID of the request source terminal, and the terminal ID of the destination terminal in the session management table (see FIG. 12) of the storage unit 5000. Store and manage in association. In addition, the session management unit 57 selects the relay device of the
品質決定部５８は、上記遅延時間を検索キーとして、品質管理テーブル（図１５参照）を検索し、対応する画像データの画質を抽出することで、中継装置３０に中継させる画像データの画質を決定する。記憶・読出処理部５９は、図４に示されているＨＤＤ２０５によって実行され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出す処理を行う。遅延時間管理部６０は、上記宛先端末１０ＢのＩＰアドレスを検索キーとして、端末管理テーブル（図１０参照）を検索することで、対応する端末ＩＤを抽出し、更に、セッション管理テーブル（図１２参照）のセッション管理テーブルにおいて、上記抽出した端末ＩＤが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
The
＜＜実施形態の処理・動作＞＞
以上が、本実施形態に係る通信システム１の構成及び機能（又は手段）の説明であり、続いて、図１６乃至図２３、図２９乃至図３３を用いて、本実施形態に係る通信システム１における処理方法を説明する。なお、図１６は、各中継装置３０から通信管理システム１に送信された各中継装置３０の状態を示す状態情報を管理する処理を示したシーケンス図である。図１７は、複数の通信端末１０の間で通信を開始する準備段階の処理を示したシーケンス図である。図１８は、中継装置３０を絞り込む処理を示したシーケンス図である。図１９は、中継装置３０を絞り込む処理を示した処理フロー図である。図２０は、中継装置３０の絞り込み処理を行う際のポイントの計算状態を示した図である。図２１は、通信端末１０が中継装置３０を選択する処理を示したシーケンス図である。図２２は、通信端末で中継装置３０を選択する処理を示した処理フロー図である。図２３は、通信端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。図２９は、通信端末が画像データ、資料データを表示する処理を示したシーケンス図である。図３０は、通信端末が画像データ及び表示データを表示する処理における配置を決定する処理を示したフロー図である。図３１は、表示データの送信を停止する処理を示した処理フロー図である。図３２は、利用者の操作に基づいて配置情報が決定される処理を示した処理フロー図である。図３３は、利用者の操作に基づく配置情報の状態遷移を示した状態遷移図である。
<< Processing and Operation of Embodiment >>
The above is the description of the configuration and function (or means) of the
まず、図１６を用いて、各中継装置３０から通信管理システム５０に送信された各中継装置３０の状態を示す状態情報を管理する処理を説明する。まず、各中継装置３０では、図５に示されている状態検知部３２が、自装置である中継装置３０の稼動状態を定期的に検知している（Ｓ１−１〜Ｓ１−４）。そして、通信管理システム５０側で各中継装置３０の稼動状態をリアルタイムで管理させるべく、各中継装置３０の送受信部３１は、定期的に通信ネットワーク２を介して通信管理システム５０へ各状態情報を送信する（ステップＳ２−１〜Ｓ２−４）。これら各状態情報には、中継装置３０毎の中継装置ＩＤと、これら各中継装置ＩＤに係る中継装置３０の状態検知部３２で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置（３０ａ，３０ｂ，３０ｄ）は、正常に稼動して「ＯＮライン」となっている一方で、中継装置３０ｃは稼働中ではあるが、中継装置３０ｃの中継動作を実行するためのプログラムに何らかの不具合が生じて、「ＯＦＦライン」となっている場合が示されている。
First, a process for managing state information indicating the state of each
次に、通信管理システム５０では、各中継装置３０から送られて来た各状態情報を送受信部５１が受信し、記憶・読出処理部５９を介して記憶部５０００の中継装置状態管理テーブル（図８参照）に、中継装置ＩＤ毎に状態情報を記憶して管理する（ステップＳ３−１〜Ｓ３−４）。これにより、図８に示されるような中継装置管理テーブルに対して、中継装置ＩＤ毎に「ＯＮライン」、「ＯＦＦライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ＩＤ毎に、通信管理システム５０で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置３０から状態情報が送られない場合には、図８に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
Next, in the
次に、図１７を用いて、通信端末１０ａａと通信端末１０ｄｂとの間で、通信を開始する前の準備段階の処理について説明する。まず、利用者が、図２に示されている電源スイッチ１０９をＯＮにすると、図５に示されている操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする（ステップＳ２１）。そして、ログイン要求部１３は、上記電源ＯＮの受信を契機とし、送受信部１１から通信ネットワーク２を介して通信管理システム５０に、ログイン要求を示すログイン要求情報を自動的に送信する（ステップＳ２２）。このログイン要求情報には、要求元としての自装置である通信端末１０ａａを識別するための端末ＩＤ、及びパスワードが含まれている。これら端末ＩＤ、及びパスワードは、記憶・読出処理部１９を介して記憶部１０００から読み出されて、送受信部１１に送られたデータである。なお、通信端末１０ａａから通信管理システム５０へログイン要求情報が送信される際は、受信側である通信管理システム５０は、送信側である通信端末１０ａｂのＩＰアドレスを把握することができる。
Next, processing in a preparatory stage before starting communication between the communication terminal 10aa and the communication terminal 10db will be described using FIG. First, when the user turns on the
次に、通信管理システム５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとして、記憶部５０００の端末認証管理テーブル（図９参照）を検索し、端末認証管理ＤＢ５００２に同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う（ステップＳ２３）。この端末認証部５２によって、同一の端末ＩＤ及びパスワードが管理されているため、正当な利用権限を有する通信端末１０からのログイン要求であると判断された場合には、状態管理部５３は、端末管理テーブル（図１０参照）に、通信端末１０ａａの端末ＩＤ、稼動状態、上記ログイン要求情報が受信された受信日時、及び通信端末１０ａａのＩＰアドレスを関連付けて記憶する（ステップＳ２４）。これにより、図１０に示されている端末管理テーブルには、通信端末ＩＤ「０１ａａ」に、稼動状態「ＯＮライン」、受信日時「２００９．１１．１０．１３：４０」及び端末ＩＰアドレス「１．２．１．３」が関連付けて管理されることになる。
Next, the
そして、通信管理システム５０の送受信部５１は、上記端末認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介して、上記ログイン要求してきた要求元端末１０ａａに送信する（ステップＳ２５）。本実施形態では、端末認証部５２によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
Then, the transmission / reception unit 51 of the
通信管理システム５０の端末抽出部５４は、ログイン要求した要求元端末１０ａａの端末ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理テーブル（図１１参照）を検索し、要求元端末１０ａａと通信することができる宛先端末１０Ｂの候補の端末ＩＤを読み出すことによって抽出する（ステップＳ２６）。ここでは、要求元端末１０ａａの端末ＩＤ「０１ａａ」に対応する宛先端末（１０ａｂ，１０ｂａ，１０ｄｂ）のそれぞれの端末ＩＤ「０１ａｂ」、「０１ｂａ」、「０１ｄｂ」が抽出されることになる。
The
次に、端末状態取得部５５は、上記端末抽出部５４によって抽出された宛先端末１０Ｂの候補の端末ＩＤ（「０１ａｂ」、「０１ｂａ」、「０１ｄｂ」）を検索キーとして、端末管理テーブル（図１０参照）を検索し、上記端末抽出部５４によって抽出された端末ＩＤ毎に稼動状態（「ＯＦＦライン」、「ＯＮライン」、「ＯＮライン」）を読み出すことにより、通信端末（１０ａｂ，１０ｂａ，１０ｄｂ）の各稼動状態を取得する（ステップＳ２７）。
Next, the terminal status acquisition unit 55 uses the terminal IDs (“01ab”, “01ba”, “01db”) of the candidate destination terminal 10B extracted by the
次に、送受信部５１は、上記ステップＳ２７で使用された検索キーとしての端末ＩＤ（「０１ａｂ」、「０１ｂａ」、「０１ｄｂ」）と、対応する宛先端末（１０ａｂ，１０ｂａ，１０ｄｂ）の稼動状態（「ＯＦＦライン」、「ＯＮライン」、「ＯＮライン」）とが含まれた宛先状態情報を、通信ネットワーク２を介して要求元端末１０ａａに送信する（ステップＳ２８）。これにより、要求元端末１０ａａは、この要求元端末１０ａａと通信することができる宛先端末１０Ｂの候補である通信端末（１０ａｂ，１０ｂａ，１０ｄｂ）の現時点のそれぞれの稼動状態（「ＯＦＦライン」、「ＯＮライン」、「ＯＮライン」）を把握することができる。 Next, the transmission / reception unit 51 operates the terminal ID (“01ab”, “01ba”, “01db”) as the search key used in step S27 and the operating state of the corresponding destination terminal (10ab, 10ba, 10db). The destination state information including (“OFF line”, “ON line”, “ON line”) is transmitted to the request source terminal 10aa via the communication network 2 (step S28). As a result, the request source terminal 10aa can operate the communication terminals (10ab, 10ba, 10db) that are candidates for the destination terminal 10B that can communicate with the request source terminal 10aa at the current operation state (“OFF line”, “ "ON line", "ON line").
更に、通信管理システム５０の端末抽出部５４は、ログイン要求してきた要求元端末１０ａａの端末ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理テーブル（図１１参照）を検索し、上記要求元端末１０ａａの端末ＩＤ「０１ａａ」を宛先端末１０Ｂの候補として登録している他の要求元端末１０Ａの端末ＩＤを抽出する（ステップＳ２９）。図１１に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末１０Ａの端末ＩＤは、「０１ａｂ」、「０１ｂａ」、及び「０１ｄｂ」である。
Further, the
次に、通信管理システム５０の端末状態取得部５５は、上記ログイン要求して来た要求元端末１０ａａの端末ＩＤ「０１ａａ」を検索キーとして、端末状態管理テーブル（図１０参照）を検索し、ログイン要求してきた要求元端末１０ａａの稼動状態を取得する（ステップＳ３０）。
Next, the terminal state acquisition unit 55 of the
そして、送受信部５１は、上記ステップＳ２９で抽出された端末ＩＤ（「０１ａｂ」、「０１ｂａ」、及び「０１ｄｂ」）に係る通信端末（１０ａｂ，１０ｂａ，１０ｄｂ）のうち、端末管理テーブル（図１０参照）で稼動状態が「ＯＮライン」となっている通信端末（１０ｂａ，１０ｄｂ）に、上記ステップＳ３０で取得された要求元端末１０ａａの端末ＩＤ「０１ａａ」と稼動状態「ＯＮライン」が含まれる宛先状態情報を送信する（ステップＳ３１−１，Ｓ３１−２）。なお、送受信部５１が通信端末（１０ｂａ，１０ｄｂ）に宛先状態情報を送信する際に、各端末ＩＤ（「０１ｂａ」、「０１ｄｂ」）に基づいて、図１０に示されている端末管理テーブルで管理されている端末のＩＰアドレスを参照する。これにより、ログイン要求した要求元端末１０ａａを宛先として通信することができる他の宛先端末（１０ｄｂ，１０ｂａ）のぞれぞれに、上記ログイン要求した要求元端末１０ａａの端末ＩＤ「０１ａａ」、及び稼動状態「ＯＮライン」を伝えることができる。 Then, the transmission / reception unit 51 includes the terminal management table (FIG. 10) among the communication terminals (10ab, 10ba, 10db) related to the terminal IDs (“01ab”, “01ba”, and “01db”) extracted in step S29. The communication terminal (10ba, 10db) whose operation state is “ON line” in the reference) includes the terminal ID “01aa” and the operation state “ON line” of the request source terminal 10aa acquired in step S30. The destination state information is transmitted (steps S31-1, S31-2). When the transmission / reception unit 51 transmits the destination state information to the communication terminals (10ba, 10db), the terminal management table shown in FIG. 10 is used based on each terminal ID (“01ba”, “01db”). Refers to the IP address of the managed terminal. Thus, the terminal ID “01aa” of the request source terminal 10aa that requested the login is sent to each of the other destination terminals (10db, 10ba) that can communicate with the request source terminal 10aa that requested the login, and The operating status “ON line” can be communicated.
一方、他の通信端末１０でも、上記ステップＳ２１と同様に、利用者が図４に示されている電源スイッチ１０９をＯＮにすると、図５に示されている操作入力受付部１２が電源ＯＮを受け付け、上記ステップＳ２２〜Ｓ３１−１、３１−２の処理と同様の処理を行うため、その説明を省略する。
On the other hand, in the
続いて、図１８を用いて、中継装置３０を絞り込む処理を説明する。なお、本実施形態においては、要求元端末１０ａａは、宛先の候補としての通信端末１０のうち、上記ステップＳ２８によって受信した宛先状態情報により、稼動状態がＯＮラインである通信端末（１０ｂａ，１０ｄｂ）の少なくとも一方と通信を行うことができる。そこで、以下では、要求元端末１０ａａの利用者が、宛先端末１０ｄｂと通信を開始することを選択した場合について説明する。
Next, processing for narrowing down the
まず、利用者が図３に示されている操作ボタン１０８を押下して通信端末１０ｄｂを選択すると、図５に示されている操作入力受付部１２は、宛先を通信端末１０ｄｂとする選択を受け付ける（ステップＳ４１）。そして、通信端末１０ａａの送受信部１１は、要求元端末１０ａａの端末ＩＤ「０１ａａ」、及び宛先端末１０ｄｂの端末ＩＤ「０１ｄｂ」が含まれ、通信を開始したい旨を示す開始要求情報を、通信管理システム５０へ送信する（ステップＳ４２）。これにより、通信管理システム５０の送受信部５１は、上記開始要求情報を受信すると共に、送信元である要求元端末１０ａａのＩＰアドレス「１．２．１．３」を把握することになる。そして、状態管理部５３は、開始要求情報に含まれる要求元端末１０ａａの端末ＩＤ「０１ａａ」及び宛先端末１０ｄｂの端末ＩＤ「０１ｄｂ」に基づき、端末管理テーブル（図１０参照）の端末管理テーブルにおいて、上記端末ＩＤ「０１ａａ」及び端末ＩＤ「０１ｄｂ」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する（ステップＳ４３）。なお、この状態では、要求元端末１０ａａと宛先端末１０ｄｂは、通信（通話）を開始していないが、通話中状態となり、他の通信端末１０が要求元端末１０ａａ又は宛先端末１０ｄｂと通信しようとすると、いわゆる通話中状態を示す旨の音声又は表示が出力される。
First, when the user presses the
次に、ステップＳ４４〜Ｓ４８、及びステップＳ６１−１〜６６により、中継装置３０を選択するためのセッションを実行する処理を説明する。まず、選択用セッションＩＤ生成部５６ａは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤを生成する（ステップＳ４４）。そして、セッション管理部５７は、記憶部５０００のセッション管理テーブル（図１２参照）に、上記ステップＳ４４で生成された選択用セッションＩＤ「ｓｅ１」、要求元端末１０ａａの端末ＩＤ「０１ａａ」、及び宛先端末１０ｄｂの端末ＩＤ「０１ｄｂ」を関連付けて記憶して管理する（ステップＳ４５）。
Next, processing for executing a session for selecting the
次に、通信管理システム５０の絞込部５６は、中継装置管理ＤＢ５００１、端末管理ＤＢ５００３、及び優先度管理ＤＢ５００６に基づいて、要求元端末１０ａａと、宛先端末１０ｄｂとの通信を中継するための中継装置３０の一次絞り込みを行う（ステップＳ４６）。
Next, the narrowing-down
ここで、図１９を用いて、ステップＳ４６における処理を更に詳細に説明する。まず、端末ＩＰアドレス抽出部５６ｂは、要求元端末１０ａａから送られてきた開始通信情報に含まれている要求元端末１０ａａの端末ＩＤ「０１ａａ」、及宛先端末１０ｄｂの端末ＩＤ「０１ｄｂ」に基づいて、端末管理テーブル（図１０参照）を検索することにより、対応する通信端末（１０ａａ，１０ｄｂ）のＩＰアドレス（「１．２．１．３」,「１．３．２．４」）を抽出する（ステップＳ４６−１）。次に、一次選択部５６ｃは、中継装置管理テーブル（図８参照）で管理されている中継装置３０の稼動状態のうち、「ＯＮライン」になっている中継装置（３０ａ，３０ｂ，３０ｄ）の各中継装置ＩＤ（１１１ａ，１１１ｂ，１１１ｄ）を選択する（ステップＳ４６−２）。また、一次選択部５６ｃは、上記ステップＳ４６−１で抽出された、要求元端末１０ａａのＩＰアドレス「１．２．１．３」、及び宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」に基づいて、中継装置管理テーブル（図８参照）を検索することにより、上記ステップＳ４６−２によって選択された中継装置（３０ａ，３０ｂ，３０ｄ）の各ＩＰアドレス（「１．２．１．２．」，「１．２．２．２」，「１．３．２．２」）のドットアドレス毎に、上記要求元端末１０ａａ及び宛先端末１０ｄｂの各ＩＰアドレス（「１．２．１．３」，「１．３．２．４」）における各ドットアドレスと同じであるか異なるかを調査する（ステップＳ４６−３）。
Here, the process in step S46 will be described in more detail with reference to FIG. First, the terminal IP address extraction unit 56b is based on the terminal ID “01aa” of the request source terminal 10aa and the terminal ID “01db” of the destination terminal 10db included in the start communication information transmitted from the request source terminal 10aa. By searching the terminal management table (see FIG. 10), the IP address (“1.2.1.3”, “1.3.2.4”) of the corresponding communication terminal (10aa, 10db) is obtained. Extract (step S46-1). Next, the
次に、優先度決定部５７ｃは、優先度管理テーブル（図１３参照）を参照して、上記ステップ４６−３によって調査された中継装置（３０ａ，３０ｂ，３０ｄ）毎に、アドレス優先度のポイントを決定する（ステップＳ４６−４）。この決定処理の結果を表に表すと、図２０に示されているような状態になる。なお、図２０は、中継装置３０の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図２０では、中継装置ＩＤ毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各中継装置３０の要求元端末１０ａａに対するポイント及び宛先端末１０ｄｂに対するポイントが示されている。統合ポイントは、アドレス優先度の２つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。
Next, the priority determination unit 57c refers to the priority management table (see FIG. 13), and determines the point of address priority for each relay device (30a, 30b, 30d) investigated in the above step 46-3. Is determined (step S46-4). When the result of this determination process is shown in a table, the state shown in FIG. 20 is obtained. FIG. 20 is a diagram illustrating a calculation state of priority points when the
本実施形態では、中継装置３０ａのＩＰアドレス「１．２．１．２」は要求元端末１０ａａのＩＰアドレス「１．２．１．３」に対して、「同．同．同．異」であるため、図２０に示されているように、アドレス優先度のポイントは「５」になる。また、中継装置３０ａのＩＰアドレス「１．２．１．２」は宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」に対して、「同．異．異．異」であるため、アドレス優先度のポイントは「１」になる。また、中継装置３０ｂのＩＰアドレス「１．２．２．２」は要求元端末１０ａａのＩＰアドレス「１．２．１．３」に対して、「同．同．異．異」であるため、アドレス優先度のポイントは「３」になる。また、中継装置３０ｂのＩＰアドレス「１．２．２．２」は宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」に対して、「同．異．同．異」であるため、アドレス優先度のポイントは「１」になる。更に、中継装置３０ｄのＩＰアドレス「１．３．２．２」は要求元端末１０ａａのＩＰアドレス「１．２．１．３」に対して、「同．異．異．異」であるため、アドレス優先度のポイントは「１」になる。また、中継装置３０ｄのＩＰアドレス「１．３．２．２」は宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」に対して、「同．同．同．異」であるため、アドレス優先度のポイントは「５」になる。
In the present embodiment, the IP address “1.2.1.2” of the
次に、図１９に戻って、優先度決定部５７ｄは、中継装置管理テーブル（図８参照）で管理されている各中継装置３０の最大データ伝送速度に基づいて、優先度管理テーブル（図１４参照）を検索することにより、上記ステップＳ４６−２によって第１次絞り込み処理によって絞り込まれた中継装置（３０ａ，３０ｂ，３０ｄ）毎に伝送速度優先度のポイントを決定する（ステップＳ４６−５）。本実施形態では、図８に示されているように、中継装置３０ａの最大データ伝送速度が１００（Ｍｂｐｓ）であるため、図１４に示されている伝送速度優先度を参照すると、伝送速度優先度が３ポイントになる。また、同様に、中継装置３０ｂの最大データ伝送速度について計算すると１０００（Ｍｂｐｓ）であるため、伝送速度優先度が５ポイントになる。また同様に、中継装置３０ｄの最大データ伝送速度について計算すると１０（Ｍｂｐｓ）であるため、伝送速度優先度が１ポイントになる。
Next, returning to FIG. 19, the priority determination unit 57 d determines the priority management table (FIG. 14) based on the maximum data transmission rate of each
次に、一次選択部５６ｃは、中継装置（３０ａ，３０ｂ，３０ｄ）毎に、アドレス優先度のポイントにおいて通信端末（１０ａａ，１０ｄｂ）のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位２つの中継装置３０を選択する（ステップ４６−６）。本実施形態では、図２０に示されているように、中継装置ＩＤ（１１１ａ，１１１ｂ，１１１ｄ）は、それぞれ統合ポイントが「８」、「８」、「６」であるため、中継装置ＩＤ「１１１ａ」に係る中継装置３０ａ、及び中継装置ＩＤ「１１１ｂ」に係る中継装置３０ｂが選択されることになる。
Next, for each relay device (30a, 30b, 30d), the
以上のステップＳ４６における絞り込み処理が終了すると、図５に示されている送受信部５１は、通信ネットワーク２を介して、宛先端末１０ｄｂへ、上記絞り込まれた中継装置３０の数を伝達するための中継装置絞込情報を送信する（ステップＳ４７）。この中継装置絞込情報には、上記ステップＳ４６によって絞り込まれた中継装置３０の数「２」、要求元端末１０ａａの端末ＩＤ「０１ａａ」、及び上記選択用セッションＩＤ「ｓｅ１」が含まれている。これにより、通信端末１０ｄｂは、選択用セッションＩＤ「ｓｅ１」におけるセッションの実行において、中継装置３０の数がいくつで、どの通信端末１０からテレビ会議を開始したいとの要求があったのかを把握することができると共に、中継装置絞込情報の送信元である通信管理システム５０のＩＰアドレス「１．１．１．２」を把握することができる。
When the narrowing-down process in step S46 is completed, the transmission / reception unit 51 illustrated in FIG. 5 relays the number of
そして、通信端末１０ｄｂは、送受信部１１から通信ネットワーク２を介して通信管理システム５０へ、上記中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する（ステップＳ４８）。この受信完了情報には、セッションＩＤ「ｓｅ１」が含まれている。これにより、通信管理システム５０は、セッションＩＤ「ｓｅ１」で実行されている中継装置数の伝達が完了した旨と共に、送信元である宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を把握することができる。
Then, the communication terminal 10db transmits reception completion information indicating that reception of the relay device narrowing information is completed from the transmission /
次に、図２１を用いて、宛先端末１０ａａが中継装置３０を選択する処理を説明する。まず、通信管理システム５０は、テレビ会議を開始する前に、上記ステップＳ４６によって絞り込まれた中継装置（３０ａ，３０ｂ）のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する（ステップＳ６１−１、６１−２）。この事前中継要求情報には、セッションＩＤ「ｓｅ１」、要求元端末１０ａａのＩＰアドレス「０１ａａ」、及び宛先端末１０ｄｂが含まれている。これにより、中継装置（３０ａ，３０ｂ）は、どの選択用セッションのものであるか、要求元端末１０Ａが何であるか、及び宛先端末１０Ｂが何であるかを把握することができると共に、事前中継要求情報の送信元である通信管理システム５０のＩＰアドレス「１．１．１．２」を把握することができる。
Next, a process in which the destination terminal 10aa selects the
次に、各中継装置（３０ａ，３０ｂ）のそれぞれは、送受信部３１から通信ネットワーク２を介して、上記ステップＳ６１−１，６１−２によって把握した要求元端末１０ａａへ、テレビ会議の開始前に自装置としての各中継装置（３０ａ，３０ｂ）へ、後述のｐｉｎｇ(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す事前送信要求情報を送信する（ステップＳ６２−１，６２−２）。この事前送信情報には、セッションＩＤ「ｓｅ１」が含まれている。これにより、要求元端末１０ａａは、セッションＩＤ「ｓｅ１」で実行されている中継装置３０の選択処理において、各中継装置（３０ａ，３０ｂ）に事前送信情報を送信することを把握すると共に、事前送信要求情報の送信元である中継装置（３０ａ，３０ｂ）のＩＰアドレス（「１．２．１．２」，「１．２．２．２」）を把握することができる。
Next, each of the relay devices (30a, 30b) sends the transmission /
なお、通信管理システム５０から直接、要求元端末１０ｂａに対して、宛先端末１０ｄｂのＩＰアドレスを通知せずに、上記ステップＳ６１−１のように中継装置１０ａａに対して宛先端末１０ｄｂのＩＰアドレスを通知し、上記ステップ６１−２のように中継装置１０ａａが要求元端末１０ｂａに対し、自装置（中継装置１０ａａ）に対して事前送信要求情報を送信するように要求するのは、各通信端末１０には、他の通信端末１０のＩＰアドレスを知らせないようにして、セキュリティーを確保するためである。
Note that the
次に、要求元端末１０ａａは、送受信部１１から通信ネットワーク２を介して中継装置（３０ａ，３０ｂ）へ事前送信情報を送信する（ステップＳ６３−１，６３−２）。この事前送信情報は、画像データ及び音声データの送信に先立って、これら画像データ及び音声データの代わりに各中継装置（３０ａ，３０ｂ）を介して宛先端末１０ｄｂへ送信されることで、要求元端末１０ａａの送信から宛先端末ｄｂの受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末１０ａａ、中継装置（３０ａ，３０ｂ）、及び宛先端末１０ｄｂが通信可能に接続されていることを確認するためのｐｉｎｇ、要求元端末１０ａａから事前送信情報が送信された送信日時、及びセッションＩＤ「ｓｅ１」が含まれている。これにより、各中継装置（３０ａ，３０ｂ）は、選択用セッションＩＤ「ｓｅ１」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末１０ａａのＩＰアドレス「１．２．１．３」を把握することができる。
Next, the request source terminal 10aa transmits the pre-transmission information from the transmission /
次に、各中継装置（３０ａ，３０ｂ）は、上記ステップＳ６１−１，６１−２によって受信した事前中継要求情報に含まれている宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」に対して、上記事前送信情報を中継する（ステップＳ６４−１，６４−２）。これにより、宛先端末１０ｄｂは、セッションＩＤ「ｓｅ１」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元（中継元）である中継装置（３０ａ，３０ｂ）のＩＰアドレス（「１．２．１．２」，「１．２．２．２」）を把握することができる。 Next, each relay device (30a, 30b) sets the IP address “1.3.2.4” of the destination terminal 10db included in the prior relay request information received in steps S61-1, 61-2. On the other hand, the prior transmission information is relayed (steps S64-1 and 64-2). As a result, the destination terminal 10db can grasp that the pre-transmission information has been sent in the execution of the session with the session ID “se1”, and can also determine the relay device (transmission source) that is the transmission source (relay source) of the pre-transmission information. 30a, 30b) IP addresses ("1.2.1.2", "1.2.2.2") can be grasped.
次に、宛先端末１０ｄｂの選択処理部１６は、事前送信情報に基づいて、最終的にテレビ会議で画像データ及び音声データを中継する１つの中継装置３０に絞り込む（ステップ６５）。
Next, the
ここで、図５及び図２２を用いて、ステップＳ６５における処理を更に詳細に説明する。まず、図５に示されている選択処理部１６の計測部１６ａは、各中継装置（３０ａ，３０ｂ）によって中継された事前送信情報毎に、通信端末１０ｄｂの送受信部１１で受信した際の受信日時を計測する（ステップＳ６５−１）。次に、算出部１６ｂは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する（ステップＳ６５−２）。次に、選択部１６ｃは、セッションＩＤ「ｓｅ１」におけるセッションの実行において、中継予定の中継装置３０の数「２」に相当する数の事前送信情報を全て受信したかを判断する（ステップＳ６５−３）。そして、全て受信していない場合には（ＮＯ）、選択部１６ｃは、通信端末１０ｄｂで事前送信情報を受信してから所定時間（ここでは１分間）経過したかを判断する（ステップＳ６５−４）。更に、所定時間経過していない場合には（ＮＯ）、上記ステップＳ６５−１に戻る。一方、上記ステップ６５−３において、全て受信した場合（ＹＥＳ）、又は上記ステップＳ６５−４において、所定時間経過した場合（ＹＥＳ）には、選択部１６ｃは、これまでに算出部１６ｂで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置３０を１つ選択する（ステップＳ６５−５）。本実施形態では、中継装置３０ａによって中継された事前送信情報が、中継装置３０ｂによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、中継装置３０ａが選択される例を示している。
Here, the process in step S65 will be described in more detail with reference to FIGS. First, the measurement unit 16a of the
なお、上記実施形態では、宛先端末１０ｄｂ側で中継装置３０ａが絞り込まれたが、これに限るものではなく、宛先端末１０ｄｂが要求元端末１０ａａ又は通信管理システム５０へ、事前送信情報の送信から受信までの所要時間を示した所要時間情報を全て送信することで、要求元端末１０ａａ側又は通信管理システム５０側で、最終的に１つの中継装置３０ａが絞り込まれるようにしてもよい。
In the above embodiment, the
次に、宛先端末１０ｄｂは、送受信部１１から通信ネットワーク２を介して通信管理システム５０へ、中継装置３０ａを選択した旨を示す選択情報を送信する（ステップＳ６６）。この選択情報には、セッションＩＤ「ｓｅ１」、及び、選択された中継装置３０ａの中継装置ＩＤ「１１１ａ」が含まれている。これにより、通信管理システム５０は、セッションＩＤ「ｓｅ１」におけるセッションの実行において、中継装置３０ａが選択されたことを把握できると共に、選択情報の送信元である通信端末１０ｄｂのＩＰアドレス「１．３．２．４」を把握することができる。
Next, the destination terminal 10db transmits selection information indicating that the
次に、通信管理システム５０のセッション管理部５７は、セッション管理ＤＢ５００５のセッション管理テーブル（図１２参照）において、選択用セッションＩＤ「ｓｅ１」が含まれるレコードの中継装置ＩＤのフィールド部分に、上記最終的に１つに選択された中継装置３０ａの中継装置ＩＤ「１１１ａ」を記憶して管理し（ステップＳ６７−１）、送受信部５１は中継装置ＩＤ「１１１ａ」、宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を要求元端末１０ａａに送信する（ステップＳ６７−２１）。そして、通信管理システム５０の送受信部５１は、通信ネットワーク２を介して中継装置３０ａへ、中継を開始する旨の要求が示された中継開始要求情報を送信する（ステップＳ６８）。この中継開始要求情報には、中継される要求元端末１０ａａ及び宛先端末１０ｄｂの各ＩＰアドレス（「１．２．１．３」，「１．３．２．４」）が含まれている。これにより、中継装置３０ａは、通信端末（１０ａａ，１０ｄｂ）の間で、低解像度、中解像度、及び高解像度の３つ画像データ、並びに、音声データを通信するためのセッションを確立する（ステップＳ６９）。これにより、通信端末（１０ａａ，１０ｄｂ）は、テレビ会議を開始することができる。
Next, the session management unit 57 of the
なお、上記ステップＳ４７において、通信管理システム５０が宛先端末１０ｄｂに中継装置絞込情報を送信することに伴い、ステップＳ４８〜Ｓ６４−１，６４−２を経て、宛先端末１０ｄｂ側で中継装置の選択処理（ステップＳ６５）を行ったが、これに限るものではなく、上記ステップＳ４７において、通信管理システム５０が要求元端末１０ａａに中継装置絞込情報を送信することで、その後ステップＳ６４−１，６４−２までは、各情報の送信元と受信元が、要求元端末１０ａａと宛先端末１０ｄｂとで入れ替わるようにしてもよい。これにより、要求元端末１０ａａが上記ステップＳ６５に替わって中継装置の選択処理を行うことができ、また、上記ステップＳ６６に替わって選択情報の送信も行うことができる。
In step S47, the
続いて、図５及び図２３を用いて、要求元端末１０ａａと宛先端末１０ｄｂとの間で、テレビ会議を行うために、画像データ及び音声データを送受信する処理を説明する。まず、要求元端末１０ａａは、撮像部１４ａで撮像された被写体の画像データ、及び音声入力部１５ａで入力された音声の音声データを、送受信部１１から通信ネットワーク２を介して中継装置３０ａへ送信する（ステップＳ８１）。なお、本実施形態では、図６に示されている低解像度、中解像度、及び高解像度の３つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置３０ａでは、送受信部３１で上記３つの解像度の画像データ及び音声データを受信する。そして、データ品質確認部３３が、宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を検索キーとして、変更品質管理テーブル（図７参照）を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する（ステップＳ８２）。本実施形態では、確認された画像データの画像の画質が「高画質」であり、送受信部３１で受信した画像データの画質と同じであるため、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末１０ｄｂに転送する（ステップＳ８３）。これにより、宛先端末１０ｄｂは、送受信部１１で画像データ及び音声データを受信し、画像表示制御部１４ｂがディスプレイ１００に上記画像データに基づく画像を表示させると共に、音声出力部１５ｂが音声データに基づく音声を出力させることができる。
Next, a process of transmitting and receiving image data and audio data in order to perform a video conference between the request source terminal 10aa and the destination terminal 10db will be described with reference to FIGS. First, the request source terminal 10aa transmits the image data of the subject imaged by the
次に、通信端末１０ｄｂの遅延検出部１７は、送受信部１１で受信された画像データの受信の遅延時間を一定時間毎（例えば、１秒毎）に検出する（ステップＳ８４）。なお、本実施形態では、遅延時間が２００（ｍｓ）である場合について、以下説明を続ける。
Next, the
宛先端末１０ｄｂの送受信部１１は、通信ネットワーク２を介して通信管理システム５０へ、遅延時間「２００（ｍｓ）」を示す遅延情報を送信する（ステップＳ８５）。これにより、通信管理システム５０は、遅延時間を把握すると共に、遅延情報の送信元である通信端末１０ｄｂのＩＰアドレス「１．３．２．４」を把握することができる。
The transmission /
次に、通信管理システム５０の遅延時間管理部６０は、上記宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を検索キーとして、端末管理テーブル（図１０参照）を検索することで、対応する端末ＩＤ「０１ｄｂ」を抽出し、更に、セッション管理ＤＢ５００５のセッション管理テーブル（図１２参照）において、上記端末ＩＤ「０１ｄｂ」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「２００（ｍｓ）」を記憶して管理する（ステップＳ８６）。
Next, the delay
次に、品質決定部５８は、上記遅延時間「２００（ｍｓ）」を検索キーとして、品質管理テーブル（図１５参照）を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する（ステップＳ８７）。
Next, the
次に、送受信部５１は、セッション管理テーブル（図１２参照）のセッション管理テーブルにおいて、上記端末ＩＤ「０１ｄｂ」に関連付けられている中継装置ＩＤ「１１１ａ」を検索キーとして、中継装置管理ＤＢテーブル（図８参照）を検索し、対応する中継装置３０ａのＩＰアドレス「１．２．１．２」を抽出する（ステップＳ８８）。そして、送受信部５１は、通信ネットワーク２を介して中継装置３０ａへ、上記ステップＳ８７によって決定された画像データの画質「中画質」を示す品質情報を送信する（ステップＳ８９）。この品質情報には、上記ステップＳ８６において検索キーとして用いた宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」が含まれている。これにより、中継装置３０ａでは、変更品質管理部３４が、変更品質管理テーブル（図７参照）に、送信先の通信端末１０（ここでは、宛先端末１０ｄｂ）のＩＰアドレス「１．３．２．４」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する（ステップＳ９０）。
Next, the transmission / reception unit 51 uses the relay device ID “111a” associated with the terminal ID “01db” in the session management table of the session management table (see FIG. 12) as a search key. 8) and the IP address “1.2.1.2” of the
次に、通信端末１０ａａは、引き続き上記ステップＳ８１と同様に、中継装置３０ａへ、低画質、中画質、及び高画質の３つから成る高画質の画像データ、並びに、音声データを送信する（ステップＳ９１）。これにより、中継装置３０ａでは、上記ステップＳ８２と同様に、データ品質確認部３３が、宛先端末１０ｄｂのＩＰアドレス「１．３．２．４」を検索キーとして、変更品質管理テーブル（図７参照）を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する（ステップＳ９２）。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部３１で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部３５は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する（ステップＳ９３）。そして、送受信部３１は、通信ネットワーク２を介して通信端末１０ｄｂへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する（ステップＳ９４）。このように、画像データを受信する宛先端末１０ｄｂで、受信の遅延が生じた場合には、中継装置３０ａは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
Next, similarly to step S81, the communication terminal 10aa continuously transmits high-quality image data including three images of low image quality, medium image quality, and high image quality, and audio data to the
続いて、図２９を用いて、通信端末１０ａａに接続されている外部入力装置４０ａａの資料データが表示された画面を表す表示データと、通信端末１０ａａで入力された画像データを、通信端末１０ｄｂが表示する処理を説明する。 Subsequently, referring to FIG. 29, the communication terminal 10db displays the display data representing the screen on which the material data of the external input device 40aa connected to the communication terminal 10aa is displayed and the image data input by the communication terminal 10aa. The display process will be described.
あらかじめ、画像データや表示データを、通信端末１０の画面に表示させる領域、大きさ等を定めた配置情報を通信端末１０が記憶しておく。具体的には、配置情報提供システム８０からインターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｄを介して通信管理端末１０ｄｂの送受信部１１が、配置情報を受信し（ステップＳ７０−５）、記憶・読出処理部１９が記憶部１０００に構築されている領域管理ＤＢ１００２に記憶する（ステップＳ７０−６）。
The
会議が開始されると、通信端末１０ａａの撮像部１４ａが会議参加者等の画像データを撮像する（ステップＳ７３）。ステップＳ７３で撮像された画像データを、送受信部１１が中継装置３０ａに送信する（ステップＳ７４−１）。画像データを受信した中継装置３０ａは、画像の品質を変換し（ステップＳ７５−１）、通信端末１０ａａ、通信端末１０ｄｂへ送信する（ステップＳ７６−１、ステップＳ７６−１’）。そして、通信端末１０ａａ、通信端末１０ｄｂの各送受信部１１が中継装置３０ａから送信された画像データを受信する。
When the conference is started, the
同様にして、通信端末１０ｄｂの撮像部１４ａが会議参加者等の画像データを撮像し、送受信部１１が撮像された画像データを、中継装置３０ａに送信する。画像データを受信した中継装置３０ａは、画像の品質を変換し、通信端末１０ｄｂ、通信端末１０ａａへ送信する。そして、通信端末１０ｄｂ、通信端末１０ａａの各送受信部１１が中継装置３０ａから送信された画像データを受信する（不図示のステップ）。
Similarly, the
一方、外部入力装置４０ａａの操作入力受付部４２は操作者から資料名、サイズ、アプリケーション名、更新日時のうち一以上の情報を受け付ける（ステップＳ７１−１）と、記憶・読出処理部４９は、操作入力受付部４２で受け付けた情報を検索キーとして記憶部４０００の資料管理ＤＢ４００１を検索し、対応した資料データを抽出する（ステップＳ７１−２）。そして、表示制御部４３が、抽出された資料データを表示装置４００に表示させるよう制御し（ステップＳ７１−３）、表示装置が資料データを表示する（ステップＳ７１−４）。次に、表示データ取得部４４が表示データを取得し（ステップＳ７１−５）、取得した表示データを送受信部４１が通信端末１０ａａの外部情報送受信部１８に対して送信する（ステップＳ７２）。
On the other hand, when the operation
なお、ステップＳ７１−１乃至ステップＳ７１−４は省略可能であり，省略した場合はデスクトップ画面の表示データをステップＳ７２において送信する。このとき、操作者から受け付けられた送信開始指示によってステップＳ７１−５が実施される。また、操作入力受付部は、表示装置に表示されたボタンを押下することによって受け付けるようにしてもよいし，外部入力装置４０ａａと通信端末１０ａａをケーブル等で接続することによって実現してもよい。 Note that steps S71-1 to S71-4 can be omitted, and if omitted, display data of the desktop screen is transmitted in step S72. At this time, Step S71-5 is performed according to the transmission start instruction received from the operator. The operation input receiving unit may be received by pressing a button displayed on the display device, or may be realized by connecting the external input device 40aa and the communication terminal 10aa with a cable or the like.
ステップＳ７２で受信した表示データを、送受信部１１が中継装置３０ａに送信する（ステップＳ７７）。表示データを受信した中継装置３０ａは、その表示データを通信端末１０ａａ、通信端末１０ｄｂへ送信する（ステップＳ７８、ステップＳ７８’）。そして、中継装置３０ａから送信された表示データを通信端末１０ｄｂの送受信部１１が受信し、配置情報決定部１４ｃが配置情報を決定する（Ｓ７９）。
The transmission /
ステップＳ７５−１、Ｓ７５−２及びステップＳ７５−３で画像の品質を変換する処理の詳細は、上述で説明した音声データ及び画像データの品質を変更する処理（ステップＳ８１〜ステップＳ９４）と同じであるため、説明を省略する。 The details of the process of converting the image quality in steps S75-1, S75-2, and S75-3 are the same as the process of changing the quality of the audio data and the image data described above (steps S81 to S94). Therefore, the description is omitted.
次に、図３０を用いて、ステップＳ７９で実施される配置情報が決定される処理を詳細に説明する。 Next, the process for determining the placement information performed in step S79 will be described in detail with reference to FIG.
まず、配置情報決定部１４ｃは、送受信部１１が画像データを受信したか否かを判定する（ステップＳ７９１）。画像データが受信されていなければ、表示制御部１４ｂは何も表示させないで終了する。ステップＳ７９１で画像データが受信されていれば、配置情報選択部１４ｃは、送受信部１１が表示データを受信したか否かを判定する（ステップＳ７９２）。ステップＳ７９２で表示データが受信されていなければ、記憶・読出処理部１９が共有フラグ「ＵＮＳＨＡＲＥＤ」とする（ステップＳ７９３）。そして、配置情報選択部１４ｂが、共有フラグ「ＵＮＳＨＡＲＥＤ」を検索キーにして、図２４に示す配置情報管理テーブルを検索し、共有フラグに関連付けて記憶されている配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」を選択する（ステップＳ７９４）。次に、領域決定部１４ｄが、ステップＳ７９４で選択された配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」を検索キーにして、図２５に示す領域管理テーブルを検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データまたは表示データを決定する（ステップＳ７９５）。
First, the arrangement information determination unit 14c determines whether or not the transmission /
ステップＳ７９２で表示データが受信されていれば、記憶・読出処理部１９が共有フラグ「ＳＨＡＲＥＤ」とする（ステップＳ７９６）。そして、配置情報選択部１４ｂが、共有フラグ「ＳＨＡＲＥＤ」を検索キーにして、図２４に示す配置情報管理テーブルを検索し、共有フラグに関連付けて記憶されている配置情報「ＳＨＡＲＥＤ＿ＭＵＬＴＩ」を選択する（ステップＳ７９７）。次に、領域決定部１４ｄが、ステップＳ７９４で選択された配置情報「ＳＨＡＲＥＤ＿ＭＵＬＴＩ」を検索キーにして、図２５に示す領域管理テーブルを検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データ、表示データを決定する（ステップＳ７９８）。 If the display data is received in step S792, the storage / reading processing unit 19 sets the sharing flag “SHARED” (step S796). Then, the arrangement information selection unit 14b searches the arrangement information management table shown in FIG. 24 using the shared flag “SHARED” as a search key, and selects arrangement information “SHARED_MULTI” stored in association with the shared flag ( Step S797). Next, the area determination unit 14d searches the area management table shown in FIG. 25 using the arrangement information “SHARED_MULTI” selected in step S794 as a search key, and displays it in each area stored in association with the arrangement information. The image data to be displayed and the display data are determined (step S798).
ステップＳ７９で配置情報が決定されると、表示制御部１４ｂが、ステップＳ７９で決定された各領域に画像データ、表示データを表示させる（ステップＳ８０）。 When the arrangement information is determined in step S79, the display control unit 14b displays the image data and the display data in each area determined in step S79 (step S80).
続いて、外部入力装置４０ａａが表示データを送信している状態から，送信を停止する処理について図３１を用いて説明する。 Next, processing for stopping transmission from a state in which the external input device 40aa is transmitting display data will be described with reference to FIG.
まず、 外部入力装置４０ａａの送受信部１１は通信端末１０ａａに表示データの送信停止情報を送信する（ステップＳ１１）。この送信停止情報は、利用者によって押下された送信停止指示を操作入力受付部１２が受け付けることによって送信される。また、送信停止情報は外部入力装置４０ａａと通信端末１０ａａを接続するケーブル等が取り外されることによっても送信される。
First, the transmission /
ステップＳ１１で、通信端末１０ａａによって送信停止情報が受信されると、通信端末１０ａａの送受信部１１が中継装置３０に送信停止情報を送信する（ステップＳ１２）。この送信停止情報を受信した中継装置３０の送受信部３１は通信端末１０ａａおよび通信端末１０ｄｂに対して送信停止情報を送信する（ステップＳ１３）。
In step S11, when the transmission stop information is received by the communication terminal 10aa, the transmission /
通信端末１０ａａの送受信部１１が中継装置から送信停止情報を受信する（ステップＳ１３）と、記憶・読出処理部１９が共有フラグを「ＵＮＳＨＡＲＥＤ」とする（ステップＳ１４）。
When the transmission /
次に、通信端末１０ａａの配置情報選択部１４ｃは共有フラグ「ＵＮＳＨＡＲＥＤ」を検索キーとして配置情報管理ＤＢ１００１を検索し、対応する配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」を抽出する（ステップＳ１５）。そして、領域決定部１４ｄが、ステップＳ１５で抽出された配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」を検索キーにして、領域管理ＤＢ１００２を検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データを決定する（ステップＳ１６）。表示制御部１４ｂが、ここでの決定に基づいて図２６（１）に示す各領域に画像データを表示させる（ステップＳ１７）。 Next, the arrangement information selection unit 14c of the communication terminal 10aa searches the arrangement information management DB 1001 using the shared flag “UNSHARED” as a search key, and extracts the corresponding arrangement information “VIEW_MULTI” (step S15). Then, the area determination unit 14d searches the area management DB 1002 using the arrangement information “VIEW_MULTI” extracted in step S15 as a search key, and determines image data to be displayed in each area stored in association with the arrangement information. (Step S16). The display control unit 14b displays the image data in each area shown in FIG. 26 (1) based on the determination here (step S17).
同様にして、ステップＳ１３で中継装置３０から送信された送信停止情報を通信端末１０ａａの送受信部１１が中継装置から送信停止情報を受信する（ステップＳ１３’）と、記憶・読出処理部１９が共有フラグを「ＵＮＳＨＡＲＥＤ」とする（ステップＳ１４’）。
Similarly, when the transmission /
次に、通信端末１０ａａの配置情報選択部１４ｃは共有フラグ「ＵＮＳＨＡＲＥＤ」を検索キーとして配置情報管理ＤＢ１００１を検索し、対応する配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」を抽出する（ステップＳ１５’）。そして、領域決定部１４ｄが、ステップＳ１５で抽出された配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」を検索キーにして、領域管理ＤＢ１００２を検索し、配置情報に関連付けて記憶されている各領域に表示させる画像データを決定する（ステップＳ１６’）。表示制御部１４ｂが、ここでの決定に基づいて図２６（１）に示す各領域に画像データを表示させる（ステップＳ１７’）。 Next, the arrangement information selection unit 14c of the communication terminal 10aa searches the arrangement information management DB 1001 using the shared flag “UNSHARED” as a search key, and extracts the corresponding arrangement information “VIEW_MULTI” (step S15 ′). Then, the area determination unit 14d searches the area management DB 1002 using the arrangement information “VIEW_MULTI” extracted in step S15 as a search key, and determines image data to be displayed in each area stored in association with the arrangement information. (Step S16 ′). The display control unit 14b displays the image data in each area shown in FIG. 26 (1) based on the determination here (step S17 ').
外部入力装置４０ａａが表示データを送信している状態から，送信を停止するときの制御を上述したが、外部入力装置４０ｄｂが表示データを送信している状態から，送信を停止するときの制御も同様となり、ここでの説明は省略する。 Although the control when the transmission is stopped from the state where the external input device 40aa is transmitting display data has been described above, the control when the transmission is stopped when the external input device 40db is transmitting display data is also described. The description is omitted here.
上述の実施形態では、外部入力装置４０から表示データを受信しているか否かを示す受信情報である共有フラグに基づいて、各領域に表示させる画像データ、表示データを決定しているが、通信端末１０の操作入力受付部１２が利用者の操作を受け付けることによって、各領域に表示させる画像データ、表示データを決定してもよい。具体的には、図３２に示されるように、まず、共有フラグが「ＳＨＡＲＥＤ」であるか否か、判定される（ステップＳ５１）。ここで、共有フラグが「ＳＨＡＲＥＤ」でない場合、処理は終了する。ステップＳ５１で、共有フラグが「ＳＨＡＲＥＤ」である場合、そのときのディスプレイへの表示にかかる配置情報に基づいて、次に選択される配置情報が決定される（ステップＳ５２）。
In the above-described embodiment, image data and display data to be displayed in each area are determined based on a shared flag that is reception information indicating whether display data is received from the
ここで、図３３を用いて、利用者の操作に基づいて配置情報が決定される処理の詳細を、説明する。まず、共有フラグが「ＳＨＡＲＥＤ」であるときに、操作入力受付部１２が操作入力を受け付ける（図３３の（１））と、配置情報「ＶＩＥＷ＿ＭＵＬＴＩ」を検索キーとして領域情報管理テーブルを検索し、各領域に表示させる画像データ、表示データを決定する。これによって、通信端末１０は外部入力装置４０から表示データを受信していても、表示制御部１４ｂは表示データを表示させずに、画像データだけを表示させることになる。さらに、この状態で、操作入力受付部１２が操作入力を受け付ける（図３３の（２））と、配置情報「ＳＨＡＲＥＤ＿ＭＵＬＴＩ」を検索キーとして領域情報管理テーブルを検索し、各領域に表示させる画像データ、表示データを決定する。これによって、通信端末は、表示データと画像データを表示させることになる。
Here, with reference to FIG. 33, details of processing for determining arrangement information based on a user's operation will be described. First, when the sharing flag is “SHARED”, when the operation
このようにすることによって、外部入力装置４０から表示データを受信している場合も、会議の状態に応じて利用者の判断で表示データを表示するか否かを制御することが可能となる。
In this way, even when display data is received from the
＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、会議参加者が外部入力装置に保存されている資料データ（例えば，プレゼンテーション，ワード，スプレッドシートなどのデータ）を会議で利用したいと思ったとき，通信端末に外部入力装置を接続して，資料データを画面に表示させ，この表示データを通信端末に送信することによって，手動で操作することなしに通信端末のディスプレイに表示データを大きく表示させることができる．
また，資料データの利用が必要なくなったときには，表示データの送信を停止することによって，手動で操作することなしに通信端末のディスプレイに映像データを大きく表示させることができる。
<< Main effects of embodiment >>
As described above, according to the present embodiment, when a conference participant wishes to use material data (for example, data such as a presentation, a word, and a spreadsheet) stored in an external input device in a conference, communication is performed. By connecting an external input device to the terminal, displaying the document data on the screen, and sending this display data to the communication terminal, the display data of the communication terminal can be displayed in a large size without manual operation. it can.
Also, when the use of the material data is no longer necessary, the transmission of the display data is stopped so that the video data can be displayed largely on the display of the communication terminal without manual operation.
従って，資料データの要否に関連する操作性が向上するとともに，会議参加者は大きく表示されたデータに意識を集中することができ，会議を円滑に進めることが可能になる。 Therefore, the operability related to the necessity of the material data is improved, and the conference participants can concentrate their consciousness on the large displayed data, thereby enabling the conference to proceed smoothly.
更に、通信ネットワーク２のうち、中継装置３０のＩＰアドレス等のＬＡＮ２の環境を入手することができたとしても、インターネット２ｉの環境までは入手することは困難であるため、まずは入手できる環境の情報から、画像データ及び音声データを中継する複数の中継装置３０うち２つ以上に絞り込む。そして、次に複数の通信端末１０の間で画像データ及び音声データを実際に送受信する前に、画像データ及び音声データに替えて、事前送信情報を送受信させてみることで、実際に最も早く事前送信情報を中継することができる１つの中継装置３０に絞り込むことができるという効果を奏する。
Furthermore, even if the environment of
即ち、通信端末１０のＩＰアドレスの何れかに近い上位２つ以上のＩＰアドレスがそれぞれ割り当てられている中継装置３０を選択することで、最終的に使用される中継装置３０の候補を２つ以上残すことができる。これにより、その後、実際に候補としての各中継装置３０を介して、要求元端末１０Ａと宛先端末１０Ｂの間で事前送信情報を送受信することで、上記２つ以上の候補の中継装置３０のうち、送受信に要した所要時間が最短の事前送信情報を中継した中継装置３０に絞り込むことができる。よって、現状の通信ネットワーク２の環境下で最大限に高品質の画像データ又は音声データを送受信することを実現することができるという効果を奏する。
That is, by selecting the
また、本実施形態では、中継装置３０を絞り込む際に、テレビ会議を行う通信端末１０のＩＰアドレスに近いＩＰアドレスの中継装置３０を優先的に選択するだけでなく、各中継装置３０における最大データ伝送速度も考慮して、２つ以上の中継装置３０が選択されている。これにより、現実の通信ネットワーク２の環境に即した中継装置３０の候補を絞り込むことができるという効果を奏する。
In the present embodiment, when narrowing down the
更に、本実施形態では、中継装置３０を絞り込む際に、稼動状態がＯＮラインである中継装置３０の中から絞り込むため、現実のネットワーク２の環境に更に即した中継装置３０の候補を絞り込むことができる。
Furthermore, in this embodiment, when narrowing down the
また、本実施形態では、中継装置３０を絞り込む処理を実施せず、予め決められた中継装置を経由してデータを送受信するようにしてもよい。
＜＜実施形態の補足＞＞
なお、会議システムとして距離的に離れた場所間の会議の例を示しているが、会議には、距離的に離れている場合だけでなく、同じ建物内の会議室のように距離的に近い会議室の間、また、同じ部屋であっても肉声が聞こえないような場所間の会議を含む。すなわち会議とは直接対面して生のままで行う会議ではなく、会議装置を介して行う会議を意味する。また、会議とは複数の人の間のみでなく１人対１人で行う打合せのような場合を含む。
In the present embodiment, the process of narrowing down the
<< Supplement of Embodiment >>
In addition, although the example of the meeting between the places distant from each other is shown as a meeting system, the distance to the meeting is close to the distance as in a meeting room in the same building as well as a case where they are separated from each other. Includes meetings between meeting rooms and between places where the same room cannot hear the voice. In other words, the conference means a conference that is performed directly via a conference device, not a conference that is performed directly face-to-face. In addition, the conference includes not only a meeting between a plurality of people but also a meeting held by one person.
また、上記各実施形態における通信管理システム５０、及びプログラム提供システム９０は、単一のコンピュータによって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム９０が単一のコンピュータによって構築されている場合には、プログラム提供システム９０によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム９０が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
Further, the
また、上記本実施形態の通信端末用プログラム、中継装置用プログラム、及び通信管理用プログラムが記憶された記録媒体、並びに、これらプログラムが記憶されたＨＤ２０４、及びこのＨＤ２０４を備えたプログラム提供システム９０は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記通信端末用プログラム、中継装置用プログラム、及び通信管理用プログラムが利用者等に提供される場合に用いられる。
In addition, the communication terminal program, the relay device program, and the communication management program of the present embodiment, the
更に、上記実施形態では、図７に示されている変更品質管理テーブル、及び図１５に示されている品質管理テーブルによって、中継装置３０で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。
Furthermore, in the above-described embodiment, as an example of the image quality of the image data relayed by the
また、図８、図１０、及び図１２では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。 8, 10, and 12 manage the reception date and time. However, the present invention is not limited to this, and at least the reception time of the reception date and time may be managed.
更に、上記実施形態では、図８で中継装置のＩＰアドレス、図１０で通信端末のＩＰアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク２上で中継装置３０を特定するための中継装置特定情報、又は通信ネットワーク２上で通信端末１０を特定するための端末特定情報であれば、それぞれのＦＱＤＮ(Fully Qualified Domain Name)を管理してもよい。この場合、周知のＤＮＳ(Domain Name System)サーバによって、ＦＱＤＮに対応するＩＰアドレスが取得されることになる。なお、「通信ネットワーク２で中継装置３０を特定するための中継装置特定情報」だけでなく、「通信ネットワーク２上における中継装置３０への接続先を示した中継装置接続先情報」、又は「通信ネットワーク２上における中継装置３０への宛先を示した中継装置宛先情報」と表現してもよい。同じく、「通信ネットワーク２で通信端末１０を特定するための端末特定情報」だけでなく、「通信ネットワーク２上における通信端末１０への接続先を示した端末接続先情報」、又は「通信ネットワーク２上における通信端末１０への宛先を示した端末宛先情報」と表現してもよい。
Furthermore, in the above embodiment, the IP address of the relay device is managed in FIG. 8 and the IP address of the communication terminal is managed in FIG. 10, but the present invention is not limited to this, and the
また、上記実施形態では、通信システム１の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、ＩＰ(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、通信システム１は、カーナビゲーションシステムであってもよい。この場合、例えば、通信端末３０の一方が自動車に搭載されたカーナビゲーション装置に相当し、通信端末３０の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。
In the above embodiment, the case of a video conference system has been described as an example of the
更に、外部入力装置４０は表示装置４００にデータを表示させる場合について説明したが、この表示装置４００は外部入力装置４０と別の装置でもよいし、外部入力装置４０に備えられているものでもよい。
Further, although the case where the
１０ 通信端末
１１ 送受信部（受信手段の一例）
１４ａ 撮像部
１４ｂ 表示制御部（表示制御手段の一例）
１４ｃ 配置情報選択部（抽出手段の一例）
１４ｄ 領域決定部（抽出手段の一例）
１６ 最終絞込部
１６ａ 計測部
１６ｂ 算出部
１６ｃ 最終選択部
１７ 遅延検出部
１８ 表示データ送受信部
３１ 送受信部
３２ 状態検知部
３３ データ品質確認部
３４ 変更品質管理部
３５ データ品質変更部
４０ 外部入力装置
４１ 送受信部
４２ 操作入力受付部
４３ 表示制御部
４４ 表示データ取得部
４９ 記憶・読出処理部
５０ 通信管理システム
５１ 送受信部
５２ 端末認証部
５３ 状態管理部
５４ 端末抽出部
５５ 端末状態取得部
５６ 一次絞込部
５６ａ 選択用セッションＩＤ生成部
５６ｂ 端末ＩＰアドレス抽出部
５６ｃ 一次選択部５６ｃ
５６ｄ 優先度決定部
５７ セッション管理部
５８ 品質決定部
６０ 遅延時間管理部
４００ 表示装置
１０００ 記憶部（記憶手段の一例）
１００１ 配置情報管理ＤＢ
３０００ 記憶部
３００１ 変更品質管理ＤＢ
４０００ 記憶部
４００１ 資料管理ＤＢ
５００１ 中継装置管理ＤＢ
５００２ 端末認証管理ＤＢ
５００３ 端末管理ＤＢ
５００４ 宛先リスト管理ＤＢ
５００５ セッション管理ＤＢ
５００６ 優先度管理ＤＢ
５００７ 品質管理ＤＢ
10
14a Imaging unit 14b Display control unit (an example of display control means)
14c Arrangement information selection unit (an example of extraction means)
14d area determination unit (an example of extraction means)
DESCRIPTION OF
56d priority determination unit 57
1001 Location information management DB
3000 storage unit 3001 change quality management DB
4000 storage unit 4001 document management DB
5001 Relay device management DB
5002 Terminal authentication management DB
5003 Terminal management DB
5004 Destination list management DB
5005 Session management DB
5006 Priority management DB
5007 Quality Management DB
Claims (8)
前記表示データが前記通信端末で受信されたか否かを表す受信情報と、前記画像データに基づく前記画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段と、
前記表示データ及び前記画像データを受信することが可能な受信手段と、
前記受信手段で受信された前記受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出手段と、
前記抽出手段で抽出された前記配置情報に基づいて、前記画像データによる前記画像を前記画面上に表示させる表示制御手段と、
を有することを特徴とする通信端末。
A communication terminal that receives display data for displaying predetermined data on a screen of a display device and image data of a captured image from another communication terminal via a communication network,
Storage means for storing reception information indicating whether or not the display data is received by the communication terminal and arrangement information indicating at least one of a size and a position of the image based on the image data;
Receiving means capable of receiving the display data and the image data;
Extraction means for extracting the corresponding arrangement information from the storage means based on the received information received by the receiving means;
Display control means for displaying the image based on the image data on the screen based on the arrangement information extracted by the extraction means;
A communication terminal comprising:
前記表示制御手段は、
前記受信情報が、前記受信手段が前記表示データを受信したことを示す場合は、
前記配置情報に基づく配置で表示される前記受信した表示データによる画像は、
前記配置情報に基づく配置で表示される前記受信した画像データによる画像より、
大きく表示されることを特徴とする通信端末。
The communication terminal according to claim 1,
The display control means includes
When the reception information indicates that the reception means has received the display data,
An image based on the received display data displayed in an arrangement based on the arrangement information is
From the image by the received image data displayed in the arrangement based on the arrangement information,
A communication terminal characterized by being displayed large.
前記表示制御手段は、
前記受信情報が、前記受信手段が前記表示データを受信したことを示す場合は、前記受信手段で受信された前記画像データによる画像を、前記記憶手段で記憶された前記配置情報のうち所定の配置情報である第一の配置情報に基づいて表示させ、
前記受信情報が、前記受信手段が前記表示データを受信していないことを示す場合は、前記受信手段で受信された前記画像データによる画像を、前記記憶手段で記憶された前記配置情報のうち前記第一の配置情報とは異なる第二の配置情報に基づいて表示させ、
さらに、前記第二の配置情報に基づく配置で表示される前記画像データによる画像は、前記第一の配置情報に基づく配置で表示される前記画像データによる画像より、大きく表示されることを特徴とする通信端末。
The communication terminal according to claim 2,
The display control means includes
If the received information indicates that the receiving means has received the display data, an image based on the image data received by the receiving means is a predetermined arrangement of the arrangement information stored in the storage means. Display based on the first placement information that is information,
If the reception information indicates that the reception means has not received the display data, an image based on the image data received by the reception means is selected from the arrangement information stored in the storage means. Display based on second arrangement information different from the first arrangement information,
Further, the image based on the image data displayed in the layout based on the second layout information is displayed larger than the image based on the image data displayed in the layout based on the first layout information. Communication terminal.
前記表示制御手段は、
前記第二の配置情報に基づく配置で表示される前記画像データによる画像は、前記第一の配置情報に基づく配置で表示される前記画像データによる画像より、画面の中央に近い位置で表示されることを特徴とする通信端末。
The communication terminal according to claim 3,
The display control means includes
The image based on the image data displayed with the layout based on the second layout information is displayed at a position closer to the center of the screen than the image based on the image data displayed with the layout based on the first layout information. A communication terminal characterized by that.
前記画像データが表す画像及び前記表示データが表す画像を表示させる位置または大きさに関する指示を受け付ける受付手段を有し、
前記表示制御手段は、前記受付手段で受け付けた指示に基づいて、画像データ及び表示データが表す画像を表示させる位置または大きさを変更することを特徴とする通信端末。
The communication terminal according to claim 1,
Receiving means for receiving an instruction related to a position or size for displaying the image represented by the image data and the image represented by the display data;
The communication terminal characterized in that the display control means changes the position or size at which the image data and the image represented by the display data are displayed based on the instruction received by the receiving means.
前記受付手段は、前記画像データが表す画像及び前記表示データが表す画像の位置を交換する指示を受け付け、
前記表示制御手段は、前記受付手段で指示を受け付けると、複数の前記画像データのうち、第一の画像データが表す画像と、第二の画像データが表す画像、及び前記表示データが表す画像の位置を切り替えることを特徴とする通信端末。
The communication terminal according to claim 5, wherein
The accepting means accepts an instruction to exchange the position of the image represented by the image data and the image represented by the display data;
When the display control unit receives an instruction from the reception unit, among the plurality of image data, the image represented by the first image data, the image represented by the second image data, and the image represented by the display data A communication terminal characterized by switching positions.
前記通信端末は
前記表示データが前記通信端末で受信されたか否かを表す受信情報と、前記画像データに基づく前記画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段を有し、
前記通信端末は、
前記表示データ及び前記画像データを受信することが可能な受信ステップと、
前記受信ステップで受信された前記受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出ステップと、
前記抽出ステップで抽出された前記配置情報に基づいて、前記画像データによる画像を前記画面上に表示させる表示制御ステップ
を含むことを特徴とする通信方法。
A communication method executed by a communication terminal that receives display data for displaying predetermined data on a screen of a display device and image data of a captured image from another communication terminal via a communication network,
Storage means for storing the communication information in association with reception information indicating whether the display data is received by the communication terminal and arrangement information indicating at least one of the size and position of the image based on the image data Have
The communication terminal is
A receiving step capable of receiving the display data and the image data;
An extraction step of extracting the corresponding arrangement information from the storage means based on the reception information received in the reception step;
A communication method comprising: a display control step of displaying an image based on the image data on the screen based on the arrangement information extracted in the extraction step.
前記通信端末は、
前記表示データが前記通信端末で受信されたか否かを表す受信情報と、前記画像データに基づく前記画像の大きさ及び位置の少なくとも一方を表す配置情報とを関連付けて記憶する記憶手段を有し、
前記通信端末が、
前記表示データ及び前記画像データを受信することが可能な受信ステップと、
前記受信ステップで受信された前記受信情報に基づいて、前記記憶手段から対応する前記配置情報を抽出する抽出ステップと、
前記抽出ステップで抽出された前記配置情報に基づいて、前記画像データによる画像を前記画面上に表示させる表示制御ステップ
とをコンピュータに実行させることを特徴とする通信プログラム。 A communication program executed by a communication terminal that receives display data for displaying predetermined data on a screen of a display device and image data of a captured image from another communication terminal via a communication network,
The communication terminal is
Storage means for associating and storing reception information indicating whether or not the display data has been received by the communication terminal and arrangement information indicating at least one of the size and position of the image based on the image data;
The communication terminal is
A receiving step capable of receiving the display data and the image data;
An extraction step of extracting the corresponding arrangement information from the storage means based on the reception information received in the reception step;
A communication program causing a computer to execute a display control step of displaying an image based on the image data on the screen based on the arrangement information extracted in the extraction step.
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011168464A JP2012134939A (en) | 2010-11-30 | 2011-08-01 | Communication terminal, communication method, and program for communication terminal |
| EP11838108.6A EP2636214B1 (en) | 2010-11-04 | 2011-10-28 | Communication terminal, communication method and computer readable information recording medium |
| CN201180064090.5A CN103299608B (en) | 2010-11-04 | 2011-10-28 | A kind of communication terminal and communication means |
| PCT/JP2011/075522 WO2012060458A1 (en) | 2010-11-04 | 2011-10-28 | Communication terminal, communication method and computer readable information recording medium |
| US13/883,481 US9654730B2 (en) | 2010-11-04 | 2011-10-28 | Communication terminal, communication method and computer readable information recording medium |
| SG2013034236A SG190144A1 (en) | 2010-11-04 | 2011-10-28 | Communication terminal, communication method and computer readable information recording medium |
| CA2814941A CA2814941C (en) | 2010-11-04 | 2011-10-28 | Communication terminal, communication method and computer readable information recording medium |
| AU2011324322A AU2011324322B2 (en) | 2010-11-04 | 2011-10-28 | Communication terminal, communication method and computer readable information recording medium |
| US15/472,999 US9876987B2 (en) | 2010-11-04 | 2017-03-29 | Communication terminal, communication method and computer readable information recording medium |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010267757 | 2010-11-30 | ||
| JP2010267757 | 2010-11-30 | ||
| JP2011168464A JP2012134939A (en) | 2010-11-30 | 2011-08-01 | Communication terminal, communication method, and program for communication terminal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012134939A true JP2012134939A (en) | 2012-07-12 |
Family
ID=46649950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011168464A Pending JP2012134939A (en) | 2010-11-04 | 2011-08-01 | Communication terminal, communication method, and program for communication terminal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012134939A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015162885A (en) * | 2014-02-28 | 2015-09-07 | 株式会社リコー | Management device, communication system, program and communication management method |
| JP2015201824A (en) * | 2014-03-31 | 2015-11-12 | 株式会社リコー | Transmission terminal, program, transmission method, and transmission system |
| JP7331486B2 (en) | 2019-06-21 | 2023-08-23 | 株式会社リコー | Teleconferencing system, audio defect detection method, and audio defect detection program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003163905A (en) * | 2001-11-27 | 2003-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Television conference system and method therefor |
| JP2005086677A (en) * | 2003-09-10 | 2005-03-31 | Pioneer Electronic Corp | Communication equipment |
| JP2007104273A (en) * | 2005-10-04 | 2007-04-19 | Tdk Corp | Messaging system, server device, and program |
| JP2007221363A (en) * | 2006-02-15 | 2007-08-30 | Fuji Xerox Co Ltd | Electronic conference system, electronic conference supporting program, electronic conference control apparatus, ifnormation terminal apparatus, and electronic conference supporting method |
| JP2009130880A (en) * | 2007-11-28 | 2009-06-11 | Nec Saitama Ltd | Mobile communication terminal and menu display method of the mobile communication terminal |
| JP2010206745A (en) * | 2009-03-06 | 2010-09-16 | Brother Ind Ltd | Communication terminal, display control method, and display control program |
-
2011
- 2011-08-01 JP JP2011168464A patent/JP2012134939A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003163905A (en) * | 2001-11-27 | 2003-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Television conference system and method therefor |
| JP2005086677A (en) * | 2003-09-10 | 2005-03-31 | Pioneer Electronic Corp | Communication equipment |
| JP2007104273A (en) * | 2005-10-04 | 2007-04-19 | Tdk Corp | Messaging system, server device, and program |
| JP2007221363A (en) * | 2006-02-15 | 2007-08-30 | Fuji Xerox Co Ltd | Electronic conference system, electronic conference supporting program, electronic conference control apparatus, ifnormation terminal apparatus, and electronic conference supporting method |
| JP2009130880A (en) * | 2007-11-28 | 2009-06-11 | Nec Saitama Ltd | Mobile communication terminal and menu display method of the mobile communication terminal |
| JP2010206745A (en) * | 2009-03-06 | 2010-09-16 | Brother Ind Ltd | Communication terminal, display control method, and display control program |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015162885A (en) * | 2014-02-28 | 2015-09-07 | 株式会社リコー | Management device, communication system, program and communication management method |
| JP2015201824A (en) * | 2014-03-31 | 2015-11-12 | 株式会社リコー | Transmission terminal, program, transmission method, and transmission system |
| US10503676B2 (en) | 2014-03-31 | 2019-12-10 | Ricoh Company, Ltd. | Transmission terminal, non-transitory recording medium, transmission method, and transmission system |
| JP2020174360A (en) * | 2014-03-31 | 2020-10-22 | 株式会社リコー | Transmission terminal, program, transmission method, and transmission system |
| US10909059B2 (en) | 2014-03-31 | 2021-02-02 | Ricoh Company, Ltd. | Transmission terminal, non-transitory recording medium, transmission method, and transmission system |
| US11379395B2 (en) | 2014-03-31 | 2022-07-05 | Ricoh Company, Ltd. | Transmission terminal, non-transitory recording medium, transmission method, and transmission system |
| JP7331486B2 (en) | 2019-06-21 | 2023-08-23 | 株式会社リコー | Teleconferencing system, audio defect detection method, and audio defect detection program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7303499B2 (en) | First transmission terminal, transmission method, transmission program and transmission system | |
| JP5962098B2 (en) | Transmission terminal, transmission system, display control method, and program | |
| JP5793869B2 (en) | Transmission management system, transmission management method, and transmission management program | |
| JP5811334B2 (en) | Transmission management system, transmission management method, program, and transmission system | |
| JP6171303B2 (en) | Transmission terminal, transmission method, and program | |
| JP2013051664A (en) | Communication terminal, communication system, and communication program | |
| JP5983792B2 (en) | Transmission system and transmission method | |
| JP6672588B2 (en) | Transmission system, method, program and system | |
| JP2012134944A (en) | Transmission management system, transmission system, and program for transmission management system | |
| JP2012075073A (en) | Transmission management system, transmission system, program for transmission management, program provision system, and maintenance system | |
| JP5397563B1 (en) | Transmission management system, transmission system, program for transmission management system, and control method | |
| JP6536716B2 (en) | Transmission system, first transmission terminal, transmission method, display method and program | |
| JP2014072703A (en) | Transmission management system, transmission system, transmission management method, and program | |
| JP2012134939A (en) | Communication terminal, communication method, and program for communication terminal | |
| JP5831050B2 (en) | Transmission terminal, transmission terminal program, program providing system, and maintenance system | |
| JP5621516B2 (en) | Remote communication terminal and remote communication program | |
| JP5899710B2 (en) | Transmission system | |
| JP5853502B2 (en) | Transmission system | |
| JP5884965B2 (en) | Transmission management system, transmission system, and selection method | |
| JP5821469B2 (en) | Communication terminal and communication program | |
| JP6593392B2 (en) | Transmission method, relay device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160322 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160426 |