JP2016015748A - Transmission terminal, transmission method, and program - Google Patents

Transmission terminal, transmission method, and program Download PDF

Info

Publication number
JP2016015748A
JP2016015748A JP2015164562A JP2015164562A JP2016015748A JP 2016015748 A JP2016015748 A JP 2016015748A JP 2015164562 A JP2015164562 A JP 2015164562A JP 2015164562 A JP2015164562 A JP 2015164562A JP 2016015748 A JP2016015748 A JP 2016015748A
Authority
JP
Japan
Prior art keywords
terminal
data relay
transmission
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015164562A
Other languages
Japanese (ja)
Other versions
JP6103003B2 (en
Inventor
浅井 貴浩
Takahiro Asai
貴浩 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015164562A priority Critical patent/JP6103003B2/en
Publication of JP2016015748A publication Critical patent/JP2016015748A/en
Application granted granted Critical
Publication of JP6103003B2 publication Critical patent/JP6103003B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a transmission system which, even when data cannot be relayed due to a failure in an extension-data relay system, is capable of keeping communication between transmission terminals.SOLUTION: A base-data relay system comprises: a plurality of base-data relaying units; and a selection unit for selecting one of the base-data relaying units for every communication between transmission terminals. Base data essential to reproduce an image or voice is relayed from the base-data relay system, and extension data for improving the quality of the image or voice is relayed by the extension-data relay system.

Description

本発明は、画像データ及び音声データの少なくとも一方を中継装置又は中継システムにより中継し伝送端末間で通信するための伝送システムに関する。   The present invention relates to a transmission system for communicating between transmission terminals by relaying at least one of image data and audio data by a relay device or a relay system.

近年、出張経費及び出張時間を削減する要請に伴い、インターネット等の通信ネットワークを介してテレビ会議を行うテレビ会議システム等の伝送システムが普及している。このような伝送システムでは、複数の伝送端末の間で画像データ及び音声データの送受信が行われることにより、テレビ会議を実現することができる。また、近年のブロードバンド環境の充実化により、高画質の画像データや高音質の音声データの送受信が可能となったため、テレビ会議の相手の状況を把握し易くなり、会話による意思疎通の充実度を向上することができるようになった。   In recent years, transmission systems such as a video conference system that conducts a video conference via a communication network such as the Internet have become widespread along with a request for reducing business trip expenses and business trip time. In such a transmission system, a video conference can be realized by transmitting and receiving image data and audio data among a plurality of transmission terminals. In addition, with the recent enhancement of the broadband environment, it has become possible to send and receive high-quality image data and high-quality audio data, making it easier to understand the status of the other party in the video conference and enhancing the level of communication through conversation. It became possible to improve.

また、近年の伝送システムでは、通信ネットワークにおけるLAN(Local Area Network)毎に、テレビ会議端末等の伝送端末の間で画像データ及び音声データを中継する中継装置が設置されている。これらの中継装置により、テレビ会議の通信処理を分散して各中継装置の負荷を軽減すると共に、中継する画像データや音声データなどのデータ伝送量を分散することができる。   In recent transmission systems, a relay device that relays image data and audio data between transmission terminals such as a video conference terminal is installed for each LAN (Local Area Network) in a communication network. With these relay apparatuses, it is possible to distribute the video conference communication processing to reduce the load on each relay apparatus and to distribute the amount of data transmission such as image data and audio data to be relayed.

従来は、複数の中継装置のうち、1つの中継装置を選択して使用するにあたり、一般的にテレビ会議を行うテレビ会議端末と同じLANに接続されている中継装置を使用していた。つまり、伝送端末のIPアドレスに近いIPアドレスの中継装置を選択することで、この選択された中継装置を介して、高画質の画像データや高音質の音声データを送受信することができる(特許文献1参照)。   Conventionally, when one relay device is selected and used from among a plurality of relay devices, a relay device connected to the same LAN as a video conference terminal that generally performs a video conference has been used. That is, by selecting a relay device having an IP address close to the IP address of the transmission terminal, high-quality image data and high-quality sound data can be transmitted / received via the selected relay device (Patent Literature). 1).

また、従来は、宛先の端末にビデオ信号を送信するにあたり、このビデオ信号を基本層及び拡張層のデータに符号化し、中継サーバを介して各データを別チャネルにより送信していた。この場合、基本層のデータを高信頼性のチャネルにより送信し、拡張層のデータを低信頼性のチャネルにより送信することにより、拡張層のデータを送信できなかった場合でも、宛先の端末は基本層のデータを用いてビデオを再生することができる(特許文献2参照)。   Conventionally, when a video signal is transmitted to a destination terminal, the video signal is encoded into data of a base layer and an enhancement layer, and each data is transmitted through a relay server via a different channel. In this case, even if the extension layer data cannot be transmitted by transmitting the base layer data through the high-reliability channel and transmitting the enhancement layer data through the low-reliability channel, the destination terminal is A video can be reproduced using layer data (see Patent Document 2).

しかしながら、テレビ会議システムにおいて、テレビ会議端末のIPアドレスに近いIPアドレスの中継装置を使用すれば、通信の状況によっては、特定の中継装置に負荷が集中することも考えられる。即ち、ネットワーク上のあるローカルエリアのテレビ会議端末の使用頻度が高いような場合には、そのエリアに設置された中継装置の使用頻度が高くなる。そして、この中継装置に掛かる負荷が許容量を超えた場合には、中継装置に障害が発生して画像データや音声データを送受信できなくなるという課題が生じる。   However, in a video conference system, if a relay device having an IP address close to the IP address of the video conference terminal is used, the load may be concentrated on a specific relay device depending on the communication situation. That is, when the frequency of use of the video conference terminal in a certain local area on the network is high, the frequency of use of the relay device installed in that area is high. When the load applied to the relay device exceeds an allowable amount, a problem occurs in that a failure occurs in the relay device and image data and audio data cannot be transmitted / received.

また、従来は、複数の端末間で通信される基本層のデータ及び拡張層のデータを特定の中継サーバを介して送信する必要がある。即ち、特定の中継サーバで処理すべきデータの量が極めて大きくなることから、この中継サーバに掛かる負荷が許容量を超えた場合には、中継サーバに障害が発生して画像データや音声データを送受信できなくなるという課題が生じる。   Conventionally, it is necessary to transmit basic layer data and enhancement layer data communicated between a plurality of terminals via a specific relay server. That is, since the amount of data to be processed by a specific relay server becomes extremely large, if the load on this relay server exceeds the allowable amount, a failure occurs in the relay server, and image data and audio data are There arises a problem that transmission / reception becomes impossible.

請求項1に係る発明は、画像又は音声の再生に必須な基本データと前記画像又は前記音声の品質を高めるための拡張データとを、伝送端末間で通信ネットワークを介して送受信するための伝送システムであって、送信元としての伝送端末から送信される前記基本データを宛先としての伝送端末に中継する基本データ中継部を複数有するとともに、これらの基本データ中継部の中から伝送端末間の通信毎に一つの基本データ中継部を選択する選択部を有する基本データ中継システムと、前記送信元としての伝送端末から送信される前記拡張データを前記宛先としての伝送端末に中継する拡張データ中継部を有する拡張データ中継システムと、を有することを特徴とする伝送システムである。
請求項2に係る発明は、前記基本データ中継システムが、各々の基本データ中継部を識別するための基本データ中継部識別情報と、該基本データ中継部識別情報により識別される基本データ中継部に前記基本データを送信する伝送端末の数である接続数と、を関連付けて管理する接続数管理部を有し、前記選択部が、複数の基本データ中継部の中から前記接続数の最も少ない基本データ中継部を選択することを特徴とする請求項1に記載の伝送システムである。
請求項3に係る発明は、前記基本データ中継部が、基本データの送信を要求する旨の情報を前記送信元としての伝送端末に送信し、この要求に対する応答で送信された基本データを宛先としての伝送端末に中継し、前記拡張データ中継部が、拡張データの送信を要求する旨の情報を前記送信元としての伝送端末に送信し、この要求に対する応答で送信された拡張データを宛先としての伝送端末に中継することを特徴とする請求項1又は2に記載の伝送システムである。
請求項4に係る発明は、前記拡張データ中継システムを複数有し、複数の拡張データ中継システムの中から選択された拡張データ中継システムに拡張データの中継の開始を要求する拡張データ中継要求部と、予め定められた基本データ中継システムに基本データの中継の開始を要求する基本データ中継要求部と、を有する伝送管理システムを備えることを特徴とする請求項1乃至3のいずれかに記載の伝送システムである。
請求項5に係る発明は、画像データ及び音声データの少なくとも一方のデータを、前記基本データと前記拡張データとに符号化する符号化部と、符号化された基本データを前記基本データ中継システムに送信し、符号化された拡張データを前記拡張データ中継装置に送信する送信部と、を有する伝送端末を備えることを特徴とする請求項1乃至4のいずれかに記載の伝送システムである。
The invention according to claim 1 is a transmission system for transmitting and receiving basic data essential for reproduction of an image or sound and extension data for enhancing the quality of the image or sound between transmission terminals via a communication network. And having a plurality of basic data relay units for relaying the basic data transmitted from the transmission terminal as the transmission source to the transmission terminal as the destination, and for each communication between the transmission terminals from these basic data relay units A basic data relay system having a selection unit that selects one basic data relay unit, and an extended data relay unit that relays the extension data transmitted from the transmission terminal as the transmission source to the transmission terminal as the destination An extended data relay system.
According to a second aspect of the present invention, the basic data relay system includes basic data relay unit identification information for identifying each basic data relay unit, and a basic data relay unit identified by the basic data relay unit identification information. A connection number management unit for managing the number of connections, which is the number of transmission terminals that transmit the basic data, in association with each other, and the selection unit is a basic unit having the smallest number of connections among a plurality of basic data relay units The transmission system according to claim 1, wherein a data relay unit is selected.
In the invention according to claim 3, the basic data relay unit transmits information indicating that transmission of basic data is requested to the transmission terminal as the transmission source, and the basic data transmitted in response to the request is set as the destination. The extension data relay unit transmits information to request transmission of extension data to the transmission terminal as the transmission source, and the extension data transmitted in response to this request is used as a destination. The transmission system according to claim 1, wherein the transmission system relays to a transmission terminal.
According to a fourth aspect of the present invention, there is provided an extended data relay requesting unit that has a plurality of the extended data relay systems, and requests the extended data relay system selected from the plurality of extended data relay systems to start extension data relay. 4. A transmission according to claim 1, further comprising a basic data relay requesting unit that requests a predetermined basic data relay system to start basic data relay. System.
According to a fifth aspect of the present invention, there is provided an encoding unit that encodes at least one of image data and audio data into the basic data and the extension data, and the encoded basic data in the basic data relay system. The transmission system according to claim 1, further comprising: a transmission terminal that includes a transmission unit that transmits and transmits the encoded extension data to the extension data relay device.

以上説明したように本発明によれば、画像又は音声の再生に必須な基本データを、基本データ中継部を複数有するとともに、これらの基本データ中継装置の中から伝送端末間の通信毎に一つの基本データ中継部を選択する選択部を有する基本データ中継システムにより中継し、この画像又は音声の品質を高めるための拡張データを拡張データ中継装置により中継することができる。これにより、拡張データ中継装置に障害が発生して拡張データを中継することができなくなっても、基本データ中継装置により基本データを中継することができるので、伝送端末間の通信を継続することができる。   As described above, according to the present invention, the basic data essential for image or audio reproduction has a plurality of basic data relay units, and one basic data relay unit is provided for each communication between transmission terminals from these basic data relay devices. It is possible to relay by the basic data relay system having a selection unit for selecting the basic data relay unit, and relay the extension data for improving the quality of the image or the voice by the extension data relay device. Thus, even if a failure occurs in the extended data relay device and the extended data cannot be relayed, the basic data can be relayed by the basic data relay device, so that communication between transmission terminals can be continued. it can.

本発明の一実施形態に係る伝送システムの概略図である。1 is a schematic diagram of a transmission system according to an embodiment of the present invention. 本発明の一実施形態に係る伝送端末のハードウェア構成図である。It is a hardware block diagram of the transmission terminal which concerns on one Embodiment of this invention. 本発明の一実施形態に係る伝送管理システム、中継装置、又はプログラム提供サーバのハードウェア構成図である。It is a hardware block diagram of the transmission management system, relay apparatus, or program provision server which concerns on one Embodiment of this invention. 本発明の一実施形態に係る伝送システムを構成する各端末、装置及びシステムの機能ブロック図である。It is a functional block diagram of each terminal, apparatus, and system which comprise the transmission system which concerns on one Embodiment of this invention. H.264/SVCのコーデックにより符号化されたデータと再生画像の関係を示す模式図である。H. 2 is a schematic diagram illustrating a relationship between data encoded by a H.264 / SVC codec and a reproduced image. FIG. 画像データの画質を説明する概念図である。It is a conceptual diagram explaining the image quality of image data. 接続数管理テーブルを示す概念図である。It is a conceptual diagram which shows a connection number management table. 変更品質管理テーブルを示す概念図である。It is a conceptual diagram which shows a change quality management table. 中継装置管理テーブルを示す概念図である。It is a conceptual diagram which shows a relay apparatus management table. 端末認証管理テーブルを示す概念図である。It is a conceptual diagram which shows a terminal authentication management table. 端末管理テーブルを示す概念図である。It is a conceptual diagram which shows a terminal management table. 宛先リスト管理テーブルを示す概念図である。It is a conceptual diagram which shows a destination list management table. セッション管理テーブルを示す概念図である。It is a conceptual diagram which shows a session management table. アドレス優先度管理テーブルを示す概念図である。It is a conceptual diagram which shows an address priority management table. 伝送速度優先度管理テーブルを示す概念図である。It is a conceptual diagram which shows a transmission rate priority management table. 品質管理テーブルを示す概念図である。It is a conceptual diagram which shows a quality management table. 基本データ中継システム管理テーブルを示す概念図である。It is a conceptual diagram which shows a basic data relay system management table. 各中継装置30の稼動状態を示す状態情報を管理する処理を示したシーケンス図である。FIG. 6 is a sequence diagram illustrating a process for managing state information indicating an operation state of each relay device 30. 伝送端末間で通信を開始する準備段階の処理を示したシーケンス図である。It is the sequence diagram which showed the process of the preparation stage which starts communication between transmission terminals. 中継装置30を絞り込む処理を示したシーケンス図である。FIG. 6 is a sequence diagram illustrating processing for narrowing down relay devices 30. 中継装置30を絞り込む処理を示した処理フロー図である。FIG. 10 is a process flow diagram illustrating a process of narrowing down relay devices 30. 中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。FIG. 10 is a diagram illustrating a calculation state of priority points when the relay device 30 performs a narrowing process. 伝送端末10が中継装置30を選択する処理を示したシーケンス図である。FIG. 10 is a sequence diagram illustrating a process in which a transmission terminal 10 selects a relay device 30. 伝送端末で中継装置30を選択する処理を示した処理フロー図である。FIG. 5 is a process flow diagram illustrating a process of selecting a relay device 30 at a transmission terminal. 伝送端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。It is the sequence diagram which showed the process which transmits / receives image data and audio | voice data between transmission terminals. 伝送端末間で基本データを基本データ中継システムにより中継し送受信する処理を示したシーケンス図である。It is the sequence diagram which showed the process which relays basic data by a basic data relay system between transmission terminals, and is transmitted / received. 本実施形態に係る端末の外観図である。It is an external view of the terminal which concerns on this embodiment.

<<実施形態の全体構成>>
以下、図1乃至図27を用いて、本発明の一実施形態について説明する。図1は、本発明の一実施形態に係る伝送システム1の概略図であり、まずは図1を用いて、本実施形態の概略を説明する。
<< Overall Configuration of Embodiment >>
Hereinafter, an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic diagram of a transmission system 1 according to an embodiment of the present invention. First, the outline of the present embodiment will be described with reference to FIG.

伝送システムには、伝送管理システムを介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムや、伝送管理システムを介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム、音声会議システム、音声電話システム、PC(Personal Computer)画面共有システム等が例として挙げられる。   The transmission system includes a data providing system for transmitting content data in one direction from one transmission terminal to the other transmission terminal via the transmission management system, information and emotions between a plurality of transmission terminals via the transmission management system, etc. A communication system that communicates with each other is included. This communication system is a system for mutually transmitting information, emotions, etc. between a plurality of communication terminals (corresponding to “transmission terminal”) via a communication management system (corresponding to “transmission management system”). Examples thereof include a conference system, a videophone system, a voice conference system, a voice phone system, and a PC (Personal Computer) screen sharing system.

本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定した上で、伝送システム、伝送管理システム、及び伝送端末について説明する。即ち、本発明の伝送端末及び伝送管理システムは、テレビ会議システムに適用されるだけでなく、コミュニケーションシステム、又は伝送システムにも適用される。   In the present embodiment, assuming a video conference system as an example of a communication system, a video conference management system as an example of a communication management system, and a video conference terminal as an example of a communication terminal, a transmission system, a transmission management system, The transmission terminal will be described. That is, the transmission terminal and the transmission management system of the present invention are not only applied to a video conference system, but also applied to a communication system or a transmission system.

図1に示す伝送システム1は、複数の伝送端末(10aa,10ab,…,10db)、各伝送端末(10aa,10ab,…,10db)用のディスプレイ(120aa,120ab,…,120db)、複数の基本データ中継装置(430a,430b)と選択装置410とにより構成される基本データ中継システム40、複数の拡張データ中継装置(30a,30b,30c,30d)、伝送管理システム50、プログラム提供システム90、及びメンテナンスシステム100によって構築されている。   1 includes a plurality of transmission terminals (10aa, 10ab,..., 10db), a display (120aa, 120ab,..., 120db) for each transmission terminal (10aa, 10ab,. A basic data relay system 40 comprising a basic data relay device (430a, 430b) and a selection device 410, a plurality of extended data relay devices (30a, 30b, 30c, 30d), a transmission management system 50, a program providing system 90, And the maintenance system 100.

複数の端末10は、コンテンツデータの一例としての画像データ及び音声データの送受信による伝送を行う。なお、以下では、「伝送端末」を単に「端末」として表し、「伝送管理システム」を単に「管理システム」として表す。また、本実施形態では、端末(10aa,10ab,…,10db)のうち任意の端末を示す場合には「端末10」を用い、ディスプレイ(120aa,120ab,…,120db)のうち任意のディスプレイを示す場合には「ディスプレイ120」を用い、基本データ中継装置(430a,430b)のうち任意の基本データ中継装置を示す場合には「基本データ中継装置430」を用い、拡張データ中継装置(30a,30b,30c,30d)のうち任意の拡張データ中継装置を示す場合には「拡張データ中継装置30」を用いる。   The plurality of terminals 10 perform transmission by transmitting and receiving image data and audio data as an example of content data. In the following, “transmission terminal” is simply represented as “terminal”, and “transmission management system” is simply represented as “management system”. Further, in the present embodiment, “terminal 10” is used to indicate an arbitrary terminal among terminals (10aa, 10ab,..., 10db), and an arbitrary display among displays (120aa, 120ab,..., 120db) is displayed. “Display 120” is used for the display, and “basic data relay device 430” is used for indicating any of the basic data relay devices (430a, 430b), and the extended data relay device (30a, 430b) is used. 30b, 30c, 30d), the “extended data relay device 30” is used to indicate any extended data relay device.

端末10は、他の端末10との間で、画像データ、音声データ等の通信を行う。本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であってもよい。また、画像データの画像には、動画と静止画の両方が含まれてもよい。基本データ中継システム40の基本データ中継装置430は、複数の端末10の間で、画像データ及び音声データの少なくとも一方のデータに基づき作成され、画像又は音声の再生に必須な基本データの中継を行う。基本データ中継システム40の選択装置410は、複数の基本データ中継装置430の中から基本データの中継に用いられる基本データ中継装置を端末間の通信毎に選択する。拡張データ中継装置30は、複数の端末10の間で、上記の画像又は音声の品質を高めるための拡張データの中継を行う。管理システム50は、端末10、基本データ中継システム40及び拡張データ中継装置30を一元的に管理する。   The terminal 10 communicates with other terminals 10 such as image data and audio data. In the present embodiment, the case where the image of the image data is a moving image will be described. The image of the image data may include both a moving image and a still image. The basic data relay device 430 of the basic data relay system 40 is created based on at least one of image data and audio data among a plurality of terminals 10 and relays basic data essential for image or audio reproduction. . The selection device 410 of the basic data relay system 40 selects a basic data relay device to be used for relaying basic data from a plurality of basic data relay devices 430 for each communication between terminals. The extended data relay device 30 relays extended data for improving the quality of the image or sound between the plurality of terminals 10. The management system 50 centrally manages the terminal 10, the basic data relay system 40, and the extended data relay device 30.

また、図1に示されている複数のルータ(70a,70b,…,70g)は、画像データ及び音声データの最適な経路の選択を行う。なお、本実施形態では、ルータ(70a,70b,…,70g)のうち任意のルータを示す場合には「ルータ70」を用いる。   Also, the plurality of routers (70a, 70b,..., 70g) shown in FIG. 1 perform selection of optimal paths for image data and audio data. In the present embodiment, “router 70” is used to indicate an arbitrary router among the routers (70a, 70b,..., 70g).

プログラム提供システム90は、端末10に各種機能又は各種手段を実現させるための端末用プログラムが記憶された、不図示のHD(Hard Disk)を備えており、端末10に、端末用プログラムを送信することができる。また、プログラム提供システム90のHDには、基本データ中継システム40に各種機能又は各種手段を実現させるための選択装置用プログラム及び基本データ中継装置用プログラムも記憶されており、基本データ中継システム40の各装置に、これらのプログラムを送信することができる。また、プログラム提供システム90のHDには、拡張データ中継装置30に各種機能又は各種手段を実現させるための拡張データ中継装置用プログラムも記憶されており、拡張データ中継装置30に、拡張データ中継装置用プログラムを送信することができる。更に、プログラム提供システム90のHDには、管理システム50に各種機能又は各種手段を実現させるための伝送管理用プログラムも記憶されており、管理システム50に、伝送管理用プログラムを送信することができる。   The program providing system 90 includes an HD (Hard Disk) (not shown) that stores a terminal program for realizing various functions or various means in the terminal 10, and transmits the terminal program to the terminal 10. be able to. The HD of the program providing system 90 also stores a selection device program and a basic data relay device program for causing the basic data relay system 40 to realize various functions or various means. These programs can be transmitted to each device. The HD of the program providing system 90 also stores an extended data relay device program for causing the extended data relay device 30 to realize various functions or various means, and the extended data relay device 30 stores the extended data relay device. Program can be sent. Further, the HD of the program providing system 90 also stores a transmission management program for causing the management system 50 to realize various functions or various means, and can transmit the transmission management program to the management system 50. .

メンテナンスシステム100は、端末10、拡張データ中継装置30、基本データ中継システム40、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、又は保守を行うためのコンピュータである。例えば、メンテナンスシステム100が国内に設置され、端末10、拡張データ中継装置30、基本データ中継システム40、管理システム50、又はプログラム提供システム90が国外に設置されている場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、端末10、拡張データ中継装置30、基本データ中継システム40、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、端末10、拡張データ中継装置30、基本データ中継システム40、管理システム50、及びプログラム提供システム90のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。   The maintenance system 100 is a computer for maintaining, managing, or maintaining at least one of the terminal 10, the extended data relay device 30, the basic data relay system 40, the management system 50, and the program providing system 90. For example, when the maintenance system 100 is installed in the country and the terminal 10, the extended data relay device 30, the basic data relay system 40, the management system 50, or the program providing system 90 is installed outside the country, the maintenance system 100 Maintenance such as maintenance, management, and maintenance of at least one of the terminal 10, the extended data relay device 30, the basic data relay system 40, the management system 50, and the program providing system 90 is performed remotely via the network 2. In addition, the maintenance system 100 does not go through the communication network 2, and does not include the model number and manufacturing in at least one of the terminal 10, the extended data relay device 30, the basic data relay system 40, the management system 50, and the program providing system 90. Maintenance such as management of number, sales destination, maintenance inspection, or failure history.

また、端末10aa、端末10ab、拡張データ中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。端末10ba、端末10bb、拡張データ中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70cが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。   Further, the terminal 10aa, the terminal 10ab, the extended data relay device 30a, and the router 70a are communicably connected via the LAN 2a. The terminal 10ba, the terminal 10bb, the extended data relay device 30b, and the router 70b are connected to be communicable via the LAN 2b. The LAN 2a and the LAN 2b are communicably connected via a dedicated line 2ab including the router 70c, and are constructed in a predetermined area A. For example, the region A is Japan, the LAN 2a is constructed in a Tokyo office, and the LAN 2b is constructed in an Osaka office.

一方、端末10ca、端末10cb、拡張データ中継装置30c、及びルータ70fは、LAN2cによって通信可能に接続されている。端末10da、端末10db、拡張データ中継装置30d、及びルータ70gは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70eが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカであり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域A及び地域Bは、それぞれルータ(70c,70e)からインターネット2iを介して通信可能に接続されている。   On the other hand, the terminal 10ca, the terminal 10cb, the extended data relay device 30c, and the router 70f are communicably connected via a LAN 2c. The terminal 10da, the terminal 10db, the extended data relay device 30d, and the router 70g are connected to be communicable via the LAN 2d. The LAN 2c and the LAN 2d are communicably connected by a dedicated line 2cd including the router 70e, and are constructed in a predetermined area B. For example, region B is the United States, LAN 2c is built in a New York office, and LAN 2d is Washington D.C. C. Is built in the office. Area A and area B are connected to each other via routers (70c, 70e) via the Internet 2i.

なお、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。   In the present embodiment, the communication network 2 of the present embodiment is constructed by the LAN 2a, the LAN 2b, the dedicated line 2ab, the Internet 2i, the dedicated line 2cd, the LAN 2c, and the LAN 2d.

基本データ中継システム40の、選択装置410、基本データ中継装置430a及び基本データ中継装置430bは、Lan2eによって通信可能に接続されている。基本データ中継システム40は、通信ネットワーク2を介して端末10と通信可能に接続されている。基本データ中継システム40、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよいが、地域A又は地域Bのローカルエリア内の通信量の影響を受けにくくするために、これら以外の地域に設置することが好ましい。   The selection device 410, the basic data relay device 430a, and the basic data relay device 430b of the basic data relay system 40 are communicably connected by Lan2e. The basic data relay system 40 is communicably connected to the terminal 10 via the communication network 2. Basic data relay system 40 may be installed in region A or region B, or may be installed in a region other than these, but is not easily affected by the traffic in the local area of region A or region B Therefore, it is preferable to install in areas other than these.

また、管理システム50、及びプログラム提供システム90は、インターネット2iを介して、端末10、及び基本データ中継システム430、拡張データ中継装置30と通信可能に接続されている。管理システム50、及びプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。   The management system 50 and the program providing system 90 are communicably connected to the terminal 10, the basic data relay system 430, and the extended data relay device 30 via the Internet 2i. The management system 50 and the program providing system 90 may be installed in the region A or the region B, or may be installed in a region other than these.

また、図1において、各端末10、選択装置410、各基本データ中継装置410、各拡張データ中継装置30、管理システム50、各ルータ70、プログラム提供システム90、及びメンテナンスシステム100の上又は下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。   Also, in FIG. 1, above or below each terminal 10, selection device 410, each basic data relay device 410, each extended data relay device 30, management system 50, each router 70, program providing system 90, and maintenance system 100. The four sets of numbers shown simply indicate IP addresses in general IPv4. For example, the IP address of the terminal 10aa is “1.2.1.3”. In addition, IPv6 may be used instead of IPv4, but IPv4 will be used for the sake of simplicity.

尚、図1において、選択装置410には2つのIPアドレスが示されている。これは、選択装置が、端末10、管理システム50又はプログラム提供システム90と通信するためのIPアドレス(1.4.1.1)と基本データ中継装置430と通信するためのIPアドレス(1.4.2.1)とを有していることを意味する。これにより、端末10や管理システム50は、複数の基本データ中継装置を有する基本データ中継システム40を一つの「基本データ中継装置」とみなして通信することができる。図1において、ルータ70もネットワーク内の端末、装置又はシステムと通信するためのIPアドレスと、ネットワーク外の端末、装置又はシステムと通信するためのIPアドレスとを有しているが、ネットワーク外の端末と通信するための(WAN(Wide Area Network)側の)IPアドレスの記載を省略している。   In FIG. 1, the selection device 410 shows two IP addresses. This is because the selection device communicates with the terminal 10, the management system 50, or the program providing system 90 and the IP address (1.4.1.1) for communicating with the basic data relay device 430. 4.2.1). Thus, the terminal 10 and the management system 50 can communicate by regarding the basic data relay system 40 having a plurality of basic data relay devices as one “basic data relay device”. In FIG. 1, the router 70 also has an IP address for communicating with a terminal, device or system in the network and an IP address for communicating with a terminal, device or system outside the network. The description of the IP address (on the WAN (Wide Area Network) side) for communication with the terminal is omitted.

<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。本実施形態では、中継先としての端末10で画像データの受信に遅延が生じた場合に、拡張データ中継装置30によって画像データの画像の解像度を変更してから、中継先としての端末10へ画像データを送信する場合について説明する。
<< Hardware Configuration of Embodiment >>
Next, the hardware configuration of this embodiment will be described. In the present embodiment, when there is a delay in receiving image data at the terminal 10 as the relay destination, the image data of the image data is changed by the extended data relay device 30 and then the image is sent to the terminal 10 as the relay destination. A case where data is transmitted will be described.

図27は、本実施形態に係る端末の外観図である。図27に示されているように、端末10は、筐体1021、アーム1074、及びカメラハウジング1075を備えている。このうち、筐体1021の前側壁1021aの略全面には、複数の吸気孔1021eが形成されており、筐体1021の後側壁1021bの略全域には、不図示の複数の排気孔が形成されている。これにより、筐体1021に内蔵された冷却ファンの駆動によって、吸気孔1021eを介して端末10の前方の外気を取り込み、排気孔を介して端末10の後方へ排気することができる。前側壁1021aの中央部には、収音用孔1021fが形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。筐体1021の下部側面には、外部機器(外付けのカメラ、マイク、スピーカ等)のケーブル端子を接続するためのハードウェアI/Fに対応した接続口1021gが形成されている。   FIG. 27 is an external view of a terminal according to the present embodiment. As illustrated in FIG. 27, the terminal 10 includes a housing 1021, an arm 1074, and a camera housing 1075. Among these, a plurality of intake holes 1021e are formed on substantially the entire front wall 1021a of the housing 1021, and a plurality of exhaust holes (not shown) are formed on substantially the entire rear wall 1021b of the housing 1021. ing. Thus, by driving a cooling fan built in the housing 1021, the outside air in front of the terminal 10 can be taken in through the intake hole 1021e and exhausted to the rear of the terminal 10 through the exhaust hole. A sound collecting hole 1021f is formed at the center of the front side wall 1021a, and sounds such as voice, sound, and noise can be collected by a built-in microphone 114 described later. A connection port 1021g corresponding to a hardware I / F for connecting a cable terminal of an external device (external camera, microphone, speaker, etc.) is formed on the lower side surface of the housing 1021.

また、筐体1021の正面視、左側には、操作パネル1022が形成されている。この操作パネル1022には、後述の操作ボタン108、及び後述の電源スイッチ109が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音声出力孔1022fが形成されている。また、筐体1021の正面視、右側には、アーム1074及びカメラハウジング1075を収容するための凹部としての収容部1021pが形成されている。   An operation panel 1022 is formed on the left side of the housing 1021 when viewed from the front. The operation panel 1022 is provided with a later-described operation button 108 and a later-described power switch 109, and a plurality of sound output holes 1022 f for allowing an output sound from a later-described built-in speaker 115 to pass therethrough. ing. Further, an accommodation portion 1021p as a recess for accommodating the arm 1074 and the camera housing 1075 is formed on the right side of the housing 1021 when viewed from the front.

アーム1074は、トルクヒンジ1073を介して筐体1021に取り付けられており、アーム1074が筐体1021に対して、正面を0度として±180度のパン角θ1の範囲で、且つ、90度のチルト角θ2の範囲(概ね45度の傾き時にクリック感が発生するようになっている)で、上下左右方向に回転可能に構成されている。   The arm 1074 is attached to the housing 1021 via the torque hinge 1073, and the arm 1074 has a pan angle θ1 of ± 180 degrees with respect to the housing 1021 within a range of ± 180 degrees and 90 degrees. It is configured to be rotatable in the vertical and horizontal directions within the range of the tilt angle θ2 (a click feeling is generated when the tilt is approximately 45 degrees).

カメラハウジング1075には、後述の内蔵型のカメラ112が設けられており、ユーザや部屋等を撮像することができる。また、カメラハウジング1075には、トルクヒンジ1075aが形成されている。カメラハウジング1075は、トルクヒンジ1075aを介して、アーム1074に取り付けられている。そして、カメラハウジング1075がアーム1074に対して直線状となるようにした状態を0度とし、端末10の前方側に概ね100度、端末10の後方側に概ね90度のチルト角θ3の範囲で回転可能に構成されている。   The camera housing 1075 is provided with a built-in camera 112 to be described later, and can capture images of a user, a room, and the like. The camera housing 1075 is formed with a torque hinge 1075a. The camera housing 1075 is attached to the arm 1074 via a torque hinge 1075a. The state in which the camera housing 1075 is linear with respect to the arm 1074 is defined as 0 degree, and the tilt angle θ3 is approximately 100 degrees on the front side of the terminal 10 and approximately 90 degrees on the rear side of the terminal 10. It is configured to be rotatable.

なお、拡張データ中継装置30、基本データ中継システム40、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。   The extended data relay device 30, the basic data relay system 40, the management system 50, the program providing system 90, and the maintenance system 100 have the same external appearance as a general server computer.

図2は、本発明の一実施形態に係る端末10のハードウェア構成図である。図2に示されているように、本実施形態の端末10は、端末10全体の動作を制御するCPU(Central Processing Unit)101、端末用プログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、画像データや音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、端末10の宛先を選択する場合などに操作される操作ボタン108、端末10の電源のON/OFFを切り換えるための電源スイッチ109、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F111を備えている。   FIG. 2 is a hardware configuration diagram of the terminal 10 according to an embodiment of the present invention. As shown in FIG. 2, the terminal 10 of this embodiment includes a CPU (Central Processing Unit) 101 that controls the operation of the entire terminal 10, a ROM (Read Only Memory) 102 that stores a terminal program, and a CPU 101. A RAM (Random Access Memory) 103 used as a work area, a flash memory 104 that stores various data such as image data and audio data, and an SSD (SSD) that controls reading or writing of various data to the flash memory 104 according to the control of the CPU 101 Solid State Drive) 105, a media drive 107 that controls reading or writing (storage) of data to a recording medium 106 such as a flash memory, an operation button 108 that is operated when a destination of the terminal 10 is selected, and a power source of the terminal 10 Power switch for switching ON / OFF 109, and a network I / F 111 for data transmission using the communication network 2 described later.

また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、図27に示されている接続口1021gに取り付けられ各種の外部機器を接続するための外部機器接続I/F118、及び上記各構成要素を図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。   The terminal 10 also includes a built-in camera 112 that captures an image of a subject under the control of the CPU 101 to obtain image data, an image sensor I / F 113 that controls driving of the camera 112, a built-in microphone 114 that inputs sound, and sound. The built-in speaker 115 for outputting the sound, the sound input / output I / F 116 for processing the input / output of the sound signal between the microphone 114 and the speaker 115 according to the control of the CPU 101, and the image data on the external display 120 according to the control of the CPU 101. As shown in FIG. 2, the display I / F 117 for transmission, the external device connection I / F 118 for connecting various external devices attached to the connection port 1021g shown in FIG. Are provided with a bus line 110 such as an address bus and a data bus. .

ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。   The display 120 is a display unit configured by a liquid crystal or an organic EL that displays an image of a subject, an operation icon, and the like. The display 120 is connected to the display I / F 117 by a cable 120c. The cable 120c may be an analog RGB (VGA) signal cable, a component video cable, or an HDMI (High-Definition Multimedia Interface) or DVI (Digital Video Interactive) signal. It may be a cable.

カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。   The camera 112 includes a lens and a solid-state image sensor that converts light into electric charges and digitizes a subject image (video). As the solid-state image sensor, a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) is used. Etc. are used.

外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。   External devices such as an external camera, an external microphone, and an external speaker can be connected to the external device connection I / F 118 by a USB (Universal Serial Bus) cable or the like. When an external camera is connected, the external camera is driven in preference to the built-in camera 112 under the control of the CPU 101. Similarly, when an external microphone is connected or when an external speaker is connected, each of the external microphones and the built-in speaker 115 is given priority over the internal microphone 114 and the internal speaker 115 according to the control of the CPU 101. An external speaker is driven.

なお、記録メディア106は、端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。   The recording medium 106 is detachable from the terminal 10. Further, as long as it is a non-volatile memory that reads or writes data according to the control of the CPU 101, not only the flash memory 104 but also an EEPROM (Electrically Erasable and Programmable ROM) or the like may be used.

更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   Further, the terminal program may be recorded in a computer-readable recording medium such as the recording medium 106 and distributed as a file in an installable or executable format.

図3は、本発明の一実施形態に係る管理システムのハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、伝送管理用プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、各種データを記憶するHD(Hard Disk)204、CPU201の制御にしたがってHD204に対するデータの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対するデータの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各構成要素を図3に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。   FIG. 3 is a hardware configuration diagram of the management system according to the embodiment of the present invention. The management system 50 includes a CPU 201 that controls the overall operation of the management system 50, a ROM 202 that stores a transmission management program, a RAM 203 that is used as a work area for the CPU 201, an HD (Hard Disk) 204 that stores various data, and a control of the CPU 201. The HDD (Hard Disk Drive) 205 that controls the reading or writing of data to the HD 204, the media drive 207 that controls the reading or writing (storage) of data to the recording medium 206 such as a flash memory, a cursor, menu, window, character Or a display 208 for displaying various information such as images, a network I / F 209 for transmitting data using the communication network 2 described later, and a plurality of keys for inputting characters, numerical values, various instructions, and the like. Taki -Reading or writing data to / from the board 211, the mouse 212 for selecting and executing various instructions, selecting the processing target, moving the cursor, etc., and a CD-ROM (Compact Disc Read Only Memory) 213 as an example of a removable recording medium And a bus line 210 such as an address bus and a data bus for electrically connecting the above-described components as shown in FIG.

なお、上記伝送管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   The transmission management program is a file in an installable or executable format, and may be recorded and distributed on a computer-readable recording medium such as the recording medium 206 or CD-ROM 213. .

また、選択装置410は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、選択装置410を制御するための選択装置用プログラムが記録されている。この場合も、選択装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   The selection device 410 has the same hardware configuration as that of the management system 50, and thus the description thereof is omitted. However, the ROM 202 stores a selection device program for controlling the selection device 410. Also in this case, the selection device program is a file in an installable format or an executable format, and may be recorded on a computer-readable recording medium such as the recording medium 206 or the CD-ROM 213 and distributed. Good.

また、基本データ中継装置430は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、基本データ中継装置430を制御するための基本データ中継装置用プログラムが記録されている。この場合も、基本データ中継装置プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   The basic data relay device 430 has the same hardware configuration as that of the management system 50, and thus the description thereof is omitted. However, the ROM 202 stores a basic data relay device program for controlling the basic data relay device 430. Also in this case, the basic data relay device program is a file in an installable or executable format, and is recorded on a computer-readable recording medium such as the recording medium 206 or CD-ROM 213 and distributed. Also good.

また、拡張データ中継装置30は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、拡張データ中継装置30を制御するための拡張データ中継装置用プログラムが記録されている。この場合も、拡張データ中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   The extended data relay device 30 has the same hardware configuration as that of the management system 50, and thus the description thereof is omitted. However, the ROM 202 stores an extended data relay device program for controlling the extended data relay device 30. Also in this case, the extended data relay apparatus program is a file in an installable or executable format, and is recorded on a computer-readable recording medium such as the recording medium 206 or the CD-ROM 213 for distribution. May be.

更に、プログラム提供システム90は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、プログラム提供システム90を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   Furthermore, since the program providing system 90 has the same hardware configuration as that of the management system 50, the description thereof is omitted. However, a program providing program for controlling the program providing system 90 is recorded in the ROM 202. Also in this case, the program providing program is a file in an installable or executable format, and may be recorded and distributed on a computer-readable recording medium such as the recording medium 206 or the CD-ROM 213. Good.

また、メンテナンスシステム100は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、メンテナンスシステム100を制御するためのメンテナンス用プログラムが記録されている。この場合も、メンテナンス用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。   Further, since the maintenance system 100 has the same hardware configuration as that of the management system 50, the description thereof is omitted. However, a maintenance program for controlling the maintenance system 100 is recorded in the ROM 202. Also in this case, the maintenance program is a file in an installable or executable format, and may be recorded and distributed on a computer-readable recording medium such as the recording medium 206 or the CD-ROM 213. .

なお、上記着脱可能な記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。   As another example of the detachable recording medium, the recording medium is provided by being recorded on a computer-readable recording medium such as a CD-R (Compact Disc Recordable), a DVD (Digital Versatile Disk), or a Blu-ray Disc. May be.

<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図4は、本実施形態の伝送システム1を構成する各端末、装置及びシステムの機能ブロック図である。図4では、端末10、基本データ中継システム40、拡張データ中継装置30、及び管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。また、図1に示されているプログラム提供システム90は、テレビ会議の通信において直接関係ないため、図4では省略されている。
<< Functional Configuration of Embodiment >>
Next, the functional configuration of this embodiment will be described. FIG. 4 is a functional block diagram of each terminal, device, and system constituting the transmission system 1 of the present embodiment. In FIG. 4, the terminal 10, the basic data relay system 40, the extended data relay device 30, and the management system 50 are connected so that data communication can be performed via the communication network 2. Further, the program providing system 90 shown in FIG. 1 is omitted in FIG. 4 because it is not directly related to the video conference communication.

<端末の機能構成>
端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14a、画像表示制御部14b、音声入力部15a、音声出力部15b、最終絞込部16、遅延検出部17、記憶・読出処理部19、符号化部20、及び復号化部21を有している。これら各部は、図2に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、端末10は、図2に示されているSSD105によって構築される記憶部1000を有している。
<Functional configuration of terminal>
The terminal 10 includes a transmission / reception unit 11, an operation input reception unit 12, a login request unit 13, an imaging unit 14a, an image display control unit 14b, an audio input unit 15a, an audio output unit 15b, a final narrowing unit 16, a delay detection unit 17, A storage / reading processing unit 19, an encoding unit 20, and a decoding unit 21 are included. Each of these units is a function or means realized by any one of the constituent elements shown in FIG. 2 operating according to a command from the CPU 201 according to a program stored in the ROM 202. Further, the terminal 10 includes a storage unit 1000 constructed by the SSD 105 shown in FIG.

<端末の各機能部>
次に、端末の各部を詳細に説明する。端末10の送受信部11は、図2に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(情報)の送受信を行う。操作入力受付部12は、図2に示されている操作ボタン108、及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図2に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする。
<Functional parts of terminal>
Next, each part of the terminal will be described in detail. The transmission / reception unit 11 of the terminal 10 is realized by the network I / F 111 illustrated in FIG. 2, and transmits / receives various data (information) to / from other terminals, devices, or systems via the communication network 2. The operation input receiving unit 12 is realized by the operation button 108 and the power switch 109 shown in FIG. 2 and receives various inputs by the user. For example, when the user turns on the power switch 109 shown in FIG. 2, the operation input receiving unit 12 shown in FIG. 4 receives the power ON and turns on the power.

ログイン要求部13は、図2に示されているCPU101からの命令によって実現され、上記電源ONの受け付けを契機として、送受信部11から通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末10の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ108をONの状態からOFFにすると、送受信部11が管理システム50へ電源をOFFする旨の状態情報またはOFFラインの状態情報を送信した後に、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、端末10が電源ONから電源OFFになったことを把握することができる。   The login request unit 13 is realized by a command from the CPU 101 shown in FIG. 2, and requests that the login is made from the transmission / reception unit 11 to the management system 50 via the communication network 2 when the power-on is accepted. And the current IP address of the request source terminal 10 are automatically transmitted. When the user turns the power switch 108 from the ON state to the OFF state, after the transmission / reception unit 11 transmits the state information indicating that the power is turned off or the OFF line state information to the management system 50, the operation input reception unit 12 Turn off the power completely. As a result, the management system 50 side can grasp that the terminal 10 has been turned off from being turned on.

撮像部14aは、図2に示されているCPU101からの命令、並びに図2に示されているカメラ112、及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。画像表示制御部14bは、図2に示されているディスプレイI/F117によって実現され、外付けのディスプレイ120に対して画像データを送信するための制御を行う。   The imaging unit 14a is realized by an instruction from the CPU 101 shown in FIG. 2 and the camera 112 and the imaging device I / F 113 shown in FIG. Output image data. The image display control unit 14 b is realized by the display I / F 117 illustrated in FIG. 2, and performs control for transmitting image data to the external display 120.

音声入力部15aは、図2に示されているCPU101からの命令、並びに図2に示されている音声入出力I/F116によって実現され、マイク114によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを出力する。音声出力部15bは、図2に示されているCPU101からの命令、並びに図2に示されている音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ115から音声を出力させる。   The voice input unit 15a is realized by the instruction from the CPU 101 shown in FIG. 2 and the voice input / output I / F 116 shown in FIG. 2, and the user's voice is converted into a voice signal by the microphone 114. Thereafter, audio data relating to the audio signal is output. The audio output unit 15b is realized by the instruction from the CPU 101 shown in FIG. 2 and the audio input / output I / F 116 shown in FIG. 2, and outputs an audio signal related to the audio data to the speaker. To output sound.

最終絞込部16は、複数の拡張データ中継装置30から最終的に1つの拡張データ中継装置30に絞り込む最終絞り込み処理を行うため、図2に示されているCPU101からの命令によって、計測部16a、算出部16b、及び最終選択部16cを実現する。   The final narrowing unit 16 performs a final narrowing process for finally narrowing down from a plurality of extended data relay devices 30 to one extended data relay device 30, so that the measuring unit 16 a according to a command from the CPU 101 shown in FIG. , The calculation unit 16b, and the final selection unit 16c.

このうち、計測部16aは、送受信部11によって受信された後述の事前送信情報毎に、送受信部11によって事前送信情報が受信される際の受信日時を計測する。算出部16bは、計測部16aによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間を算出する。最終選択部16cは、算出部16bによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された拡張データ中継装置30を選択することで、最終的に1つの拡張データ中継装置を選択する。   Among these, the measurement unit 16 a measures the reception date and time when the pre-transmission information is received by the transmission / reception unit 11 for each pre-transmission information described later received by the transmission / reception unit 11. For each pre-transmission information whose reception date and time is measured by the measurement unit 16a, the calculation unit 16b determines the pre-transmission information based on the difference between the measured reception time and the transmission date and time included in the pre-transmission information. The time required from transmission to reception is calculated. The final selection unit 16c finally selects one extended data relay by selecting the extended data relay device 30 to which the pre-transmission information that required the shortest required time is selected from the required times calculated by the calculation unit 16b. Select a device.

遅延検出部17は、図2に示されているCPU101からの命令によって実現され、他の端末10から拡張データ中継装置30を介して送られて来る拡張データの拡張データ遅延時間(ms)を検出する。   The delay detection unit 17 is realized by an instruction from the CPU 101 shown in FIG. 2 and detects an extended data delay time (ms) of extended data sent from another terminal 10 via the extended data relay device 30. To do.

記憶・読出処理部19は、図2に示されているCPU101からの命令、並びに図2に示すSSD105によって実行され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。記憶部1000には、端末10を識別するための端末ID(Identification)、及びパスワード、並びに、画像データ、及び音声データ等が記憶される。更に、記憶部1000には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音声データによってスピーカ150から音声が出力される。   The storage / read processing unit 19 is executed by the instruction from the CPU 101 shown in FIG. 2 and the SSD 105 shown in FIG. 2, and stores various data in the storage unit 1000 or various data stored in the storage unit 1000. The process which reads is performed. The storage unit 1000 stores a terminal ID (Identification) for identifying the terminal 10, a password, image data, audio data, and the like. Furthermore, the storage unit 1000 overwrites and stores image data and audio data received when a call is made with the destination terminal. Among these, the image is displayed on the display 120 by the image data before being overwritten, and the sound is output from the speaker 150 by the sound data before being overwritten.

なお、本実施形態の端末ID、及び後述の拡張データ中継装置IDは、それぞれ端末10、及び拡張データ中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID、及び拡張データ中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。   Note that the terminal ID of this embodiment and the extended data relay device ID, which will be described later, are a language, characters, symbols, various signs, etc. used to uniquely identify the terminal 10 and the extended data relay device 30, respectively. Indicates identification information. Further, the terminal ID and the extended data relay device ID may be identification information in which at least two of the language, characters, symbols, and various signs are combined.

符号化部20は、図2に示されているCPU101からの命令によって実現され、撮像部14aにより出力された画像データ及び音声入力部15aにより出力された音声データの少なくとも一つを、所定の方法により符号化(元の(あるいは類似の)データに戻せるような変換を加えること)する。この符号化は、例えば、端末10の記憶部1000に記憶されているコーデック(符号化方式を使ってデータの符号化と復号化を双方向にできるプログラム)に従ったCPU101からの命令によって、符号化部20による処理が行われることで実現される。   The encoding unit 20 is realized by a command from the CPU 101 shown in FIG. 2, and at least one of the image data output from the imaging unit 14 a and the audio data output from the audio input unit 15 a is received by a predetermined method. To encode (add a transformation that can be converted back to the original (or similar) data). This encoding is performed, for example, by an instruction from the CPU 101 in accordance with a codec (a program that can bidirectionally encode and decode data using an encoding method) stored in the storage unit 1000 of the terminal 10. This is realized by performing processing by the conversion unit 20.

画像データのうち映像データを符号化するための符号化方式としては、例えば、MPEG(Moving Picture Experts Group)により標準化された符号化方式や、国際電気通信連合電気通信標準化部門の勧告する符号化方式が挙げられ、MPEG−4やH.264/annex G(以後、H.264/SVC(Scalable Video Coding)と記載する)等が例示される。音声データを圧縮するための符号化方式としては、例えば、MPEGにより標準化された符号化方式や、国際電気通信連合電気通信標準化部門の勧告された符号化方式が挙げられ、AACやG.729等が例示される。画像データのうち静止画像データを圧縮するための符号化方式としては、GIF(Graphics Interchange Format)、JPEG(Joint Photographic Experts Group)、PNG(Portable Network Graphics)等が挙げられる。   As an encoding method for encoding video data among image data, for example, an encoding method standardized by MPEG (Moving Picture Experts Group) or an encoding method recommended by the Telecommunication Standardization Division of the International Telecommunication Union MPEG-4 and H.264. H.264 / annex G (hereinafter referred to as H.264 / SVC (Scalable Video Coding)). As an encoding method for compressing audio data, for example, an encoding method standardized by MPEG and an encoding method recommended by the Telecommunication Standardization Department of the International Telecommunication Union can be cited. 729 etc. are exemplified. Examples of encoding methods for compressing still image data among image data include GIF (Graphics Interchange Format), JPEG (Joint Photographic Experts Group), PNG (Portable Network Graphics), and the like.

符号化部20は、画像データ及び音声データの少なくとも一つを、映像又は音声を再生するために必須な基本データと、この基本データと組み合わせてより高品質な映像又は音声を再生するために必要な拡張データと、に符号化する。この場合、符号化部20は基本データと拡張データに分けて符号化できる任意の符号化方式を用いることがでる。このような、画像データ(映像データ)用の符号化方式としては、例えば、国際電気通信連合電気通信標準化部門により勧告されたH.264/SVCが挙げられる。尚、拡張データは、高品質な映像又は音声を再生するために必要なデータであるので、画像データ又は音声データを符号化した場合、通常、拡張データのデータ量は基本データのデータ量よりも大きくなる。   The encoding unit 20 is necessary for reproducing at least one of image data and audio data, basic data essential for reproducing video or audio, and reproducing high-quality video or audio in combination with the basic data. Encoding to the extended data. In this case, the encoding unit 20 can use an arbitrary encoding method that can be encoded separately into basic data and extension data. As such an encoding method for image data (video data), for example, H.264 recommended by the Telecommunication Standardization Division of the International Telecommunication Union. H.264 / SVC. The extended data is data necessary for reproducing high-quality video or audio. Therefore, when image data or audio data is encoded, the data amount of the extended data is usually larger than the data amount of the basic data. growing.

復号化部21は、図2に示されているCPU101からの命令によって実現され、符号化されたデータを、所定の方法により復号化(元の(あるいは類似の)データに戻すこと)する。この復号化は、例えば、端末10の記憶部1000に記憶されているコーデックに従ったCPU101からの命令によって復号化部21による処理が行われることで実現される。このコーデックとしては、符号化部20が符号化に用いた符号化方式に対応するコーデックが用いられる。   The decoding unit 21 is realized by a command from the CPU 101 shown in FIG. 2, and decodes the encoded data (returns to the original (or similar) data) by a predetermined method. This decryption is realized, for example, by performing processing by the decryption unit 21 in accordance with an instruction from the CPU 101 according to the codec stored in the storage unit 1000 of the terminal 10. As this codec, a codec corresponding to the encoding method used by the encoding unit 20 for encoding is used.

ここで、H.264/SVCのコーデックにより符号化されたデータを復号化する処理の具体例を、図5のH.264/SVCのコーデックにより符号化されたデータと再生画像の関係を示す模式図を用いて説明する。図5では、画像データが1つの基本データと2つの拡張データ(拡張データ1,拡張データ2)に符号化されている。そして、基本データは、基本データ中継装置430により中継され、端末10の送受信部11により受信される。また、2つの拡張データは、拡張データ中継装置30により中継され、端末10の送受信部11により受信される。   Here, H. A specific example of a process for decoding data encoded by the H.264 / SVC codec is shown in FIG. A description will be given with reference to a schematic diagram showing a relationship between data encoded by a H.264 / SVC codec and a reproduced image. In FIG. 5, the image data is encoded into one basic data and two extension data (extension data 1, extension data 2). The basic data is relayed by the basic data relay device 430 and received by the transmission / reception unit 11 of the terminal 10. The two extension data are relayed by the extension data relay device 30 and received by the transmission / reception unit 11 of the terminal 10.

端末10が、基本データを受信してから所定の時間内に、この基本データに対応する拡張データ1及び拡張データ2(ある時点の画像データを符号化することによりこの基本データともに作成された拡張データを意味する)を受信すると、復号化部21は、基本データ、拡張データ1、及び拡張データ2を復号化する。この場合、復号化された画像データに基づき、画像表示制御部14bは高解像度の画像を表示する(図5の時間T1における再生画像参照)。端末10が、基本データを受信してから所定の時間内に、この基本データに対応する拡張データ1のみを受信すると、復号化部21は、基本データ、拡張データ1を復号化する。この場合、復号化された画像データに基づき、画像表示制御部14bは中解像度の画像を表示する(図5の時間T2における再生画像参照)。端末10が、基本データを受信してから所定の時間内に、この基本データに対応する拡張データを受信することができなかった場合には、復号化部21は、基本データを復号化する。この場合、復号化された画像データに基づき、画像表示制御部14bは低解像度の画像を表示する(図5の時間T3における再生画像参照)。   Within a predetermined time after the terminal 10 receives the basic data, the extension data 1 and the extension data 2 corresponding to the basic data (the extension created together with the basic data by encoding the image data at a certain point in time). When receiving (meaning data), the decoding unit 21 decodes the basic data, the extended data 1 and the extended data 2. In this case, based on the decoded image data, the image display control unit 14b displays a high-resolution image (see the reproduced image at time T1 in FIG. 5). When the terminal 10 receives only the extended data 1 corresponding to the basic data within a predetermined time after receiving the basic data, the decoding unit 21 decodes the basic data and the extended data 1. In this case, based on the decoded image data, the image display control unit 14b displays a medium-resolution image (see the reproduced image at time T2 in FIG. 5). If the terminal 10 cannot receive the extended data corresponding to the basic data within a predetermined time after receiving the basic data, the decoding unit 21 decodes the basic data. In this case, based on the decoded image data, the image display control unit 14b displays a low-resolution image (see the reproduced image at time T3 in FIG. 5).

<基本データ中継システムの全体構成>
図1に示す基本データ中継システム40は、選択装置410と、この選択装置410とLAN2eにより通信可能に接続される複数の基本データ中継装置(430a,430b)と、によって構成されている。基本データ中継装置430は、複数の端末10の間で、上記の基本データの中継を行う。選択装置410は、この選択装置410に接続される複数の基本データ中継装置430の中から、基本データの中継に用いられる基本データ中継装置を端末間の通信毎に選択する。本実施形態において、基本データは、画像又は音声を再生するために必須なデータであるので、基本データを中継する基本データ中継装置430は、高い可用性(ここでは、装置の止まりにくさを意味する)を必要とする。そこで、選択装置410は、端末10間で基本データを通信するセッション毎に、基本データを中継する基本データ中継装置430を選択することにより、基本データ中継装置430に掛かる負荷を分散し、可用性を高める。また、選択装置410は、故障などにより基本データ中継装置430が基本データを中継することができなくなった場合に、この基本データを中継する新たな基本データ中継装置430を選択することにより可用性を高める。この選択装置410としては、負荷分散装置(ロードバランサーとも言う)を用いることができ、負荷分散装置の有する一般的な機能(セッション維持機能、故障監視機能、連続サービス機能等)を有していても良い。
<Overall configuration of basic data relay system>
The basic data relay system 40 shown in FIG. 1 includes a selection device 410 and a plurality of basic data relay devices (430a, 430b) connected to the selection device 410 via a LAN 2e so as to be communicable. The basic data relay device 430 relays the basic data between the plurality of terminals 10. The selection device 410 selects a basic data relay device used for relaying basic data from a plurality of basic data relay devices 430 connected to the selection device 410 for each communication between terminals. In the present embodiment, since the basic data is essential data for reproducing images or sounds, the basic data relay device 430 that relays the basic data has high availability (here, it means difficulty in stopping the device). ) Is required. Therefore, the selection device 410 distributes the load on the basic data relay device 430 by selecting the basic data relay device 430 that relays the basic data for each session in which the basic data is communicated between the terminals 10, thereby improving the availability. Increase. Further, when the basic data relay device 430 cannot relay the basic data due to a failure or the like, the selection device 410 increases the availability by selecting a new basic data relay device 430 that relays the basic data. . As the selection device 410, a load balancer (also called a load balancer) can be used, and even if it has general functions (session maintenance function, failure monitoring function, continuous service function, etc.) that the load balancer has. good.

<選択装置の機能構成>
基本データ中継システム40の選択装置410は、送受信部411、選択部412、及び記憶・読出処理部419を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、選択装置410は、図3に示されているHD204によって構築される記憶部4100を有している。
<Functional configuration of selection device>
The selection device 410 of the basic data relay system 40 includes a transmission / reception unit 411, a selection unit 412, and a storage / read processing unit 419. Each of these units is a function or means realized by any one of the components shown in FIG. 3 operating according to a command from the CPU 201 according to a program stored in the ROM 202. Further, the selection device 410 includes a storage unit 4100 constructed by the HD 204 shown in FIG.

(接続数管理テーブル)
記憶部4100には、図7に示されているような接続数管理テーブルによって構成されている接続数管理DB4101が構築される。この接続数管理テーブルでは、選択装置410に接続される基本データ中継装置430を識別するための基本データ中継装置識別情報と、この基本データ中継装置に基本データを送信する端末の数である接続数と、が関連付けられて管理される。この基本データ中継装置識別情報としては、基本データ中継装置430を特定するための情報であれば特に制限はなく、IPアドレスが好適に用いられる。例えば、図7に示されている接続数管理テーブルにおいて、IPアドレスが「1.4.2.2」の基本データ中継装置は、4つの端末と接続している。
(Connection count management table)
In the storage unit 4100, a connection number management DB 4101 configured by a connection number management table as shown in FIG. In this connection number management table, basic data relay device identification information for identifying the basic data relay device 430 connected to the selection device 410, and the number of connections that is the number of terminals that transmit basic data to this basic data relay device. And are managed in association with each other. The basic data relay device identification information is not particularly limited as long as it is information for specifying the basic data relay device 430, and an IP address is preferably used. For example, in the connection number management table shown in FIG. 7, the basic data relay apparatus with the IP address “1.4.2.2” is connected to four terminals.

<選択装置の各機能部>
次に、選択装置410の各部を詳細に説明する。選択装置410の送受信部411は、図3に示されているネットワークI/F209によって実現され、通信ネットワーク2やLAN2e等を介して他の端末、装置又はシステムと各種データ(情報)の送受信を行う。選択部412は、接続数管理テーブル(図7参照)で管理されている基本データ中継装置(430a,430b)のうち、接続数の最も少ない基本データ中継装置の中から基本データの中継に用いられる基本データ中継装置を端末間の通信毎に選択する。なお、本実施形態では、接続数の最も少ない基本データ中継装置430を選択することにしているが、この方法に限られるものではなく、基本データ中継装置を端末間の通信毎に選択するための他の方法を用いても良い。接続数管理部413は、基本データ中継装置420に基本データを送信する端末10の数である接続数を、基本データ中継装置を識別するための基本データ中継装置識別情報ごとに接続数管理テーブル(図7参照)に記憶させて管理する。ここで、この接続数を取得する方法は、特に限定されないが、選択部412が基本データ中継装置を選択する度に、或は、通信が終了する度に接続数を更新する方法や、選択装置410を介して送受信される基本データの数を計測する方法等が挙げられる。記憶・読出処理部419は、図3に示されているHDD205によって実行され、記憶部4100に各種データを記憶したり、記憶部4100に記憶された各種データを読み出す処理を行ったりする。
<Each functional part of the selection device>
Next, each part of the selection device 410 will be described in detail. The transmission / reception unit 411 of the selection device 410 is realized by the network I / F 209 illustrated in FIG. 3, and transmits / receives various data (information) to / from other terminals, devices, or systems via the communication network 2 or the LAN 2e. . The selection unit 412 is used for relaying basic data from among the basic data relay devices with the smallest number of connections among the basic data relay devices (430a, 430b) managed in the connection number management table (see FIG. 7). A basic data relay device is selected for each communication between terminals. In this embodiment, the basic data relay device 430 having the smallest number of connections is selected. However, the present invention is not limited to this method, and the basic data relay device is selected for each communication between terminals. Other methods may be used. The connection number management unit 413 determines the number of connections, which is the number of terminals 10 that transmit basic data to the basic data relay device 420, for each basic data relay device identification information for identifying the basic data relay device ( (See FIG. 7). Here, a method for obtaining the number of connections is not particularly limited, but a method of updating the number of connections every time the selection unit 412 selects a basic data relay device or every time communication ends, or a selection device. For example, a method of measuring the number of basic data transmitted / received via 410 may be used. The storage / reading processing unit 419 is executed by the HDD 205 shown in FIG. 3, and stores various data in the storage unit 4100 and performs processing for reading out various data stored in the storage unit 4100.

<基本データ中継装置の全体構成>
基本データ中継装置430は、送受信部431及び基本データ中継部436を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
<Overall configuration of basic data relay device>
The basic data relay device 430 includes a transmission / reception unit 431 and a basic data relay unit 436. Each of these units is a function or means realized by any one of the components shown in FIG. 3 operating according to a command from the CPU 201 according to a program stored in the ROM 202.

<基本データ中継装置の機能構成>
次に、基本データ中継装置430の各部を説明する。基本データ中継装置430の送受信部431は、図3に示されているネットワークI/F209によって実現され、LAN2eを介して他の端末、装置、又はシステムと各種データ(情報)の送受信を行う。基本データ中継部436は、送信元としての端末から送信された基本データを宛先としての端末に中継する。
<Functional configuration of basic data relay device>
Next, each unit of the basic data relay device 430 will be described. The transmission / reception unit 431 of the basic data relay device 430 is realized by the network I / F 209 illustrated in FIG. 3 and transmits / receives various data (information) to / from other terminals, devices, or systems via the LAN 2e. The basic data relay unit 436 relays basic data transmitted from a terminal as a transmission source to a terminal as a destination.

<拡張データ中継装置の機能構成>
次に、拡張データ中継装置30の機能又は手段について説明する。拡張データ中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、拡張データ中継部36、及び記憶・読出処理部39を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、拡張データ中継装置30は、図3に示されているHD204により構築される記憶部3000を有している。
<Functional configuration of extended data relay device>
Next, functions or means of the extended data relay device 30 will be described. The extended data relay apparatus 30 includes a transmission / reception unit 31, a state detection unit 32, a data quality confirmation unit 33, a change quality management unit 34, a data quality change unit 35, an extended data relay unit 36, and a storage / read processing unit 39. ing. Each of these units is a function or means realized by any one of the components shown in FIG. 3 operating according to a command from the CPU 201 according to a program stored in the ROM 202. The extended data relay device 30 has a storage unit 3000 constructed by the HD 204 shown in FIG.

(変更品質管理テーブル)
記憶部3000には、図8に示されているような変更品質管理テーブルによって構成されている変更品質管理DB(Data Base)3001が構築される。変更品質管理テーブルでは、画像データの中継先としての端末10のIPアドレス、及びこの中継先に拡張データ中継装置30が中継する画像データの画質(中継する拡張データ)が関連付けられて管理される。
(Change quality control table)
In the storage unit 3000, a change quality management DB (Data Base) 3001 configured by a change quality management table as shown in FIG. In the change quality management table, the IP address of the terminal 10 as a relay destination of image data, and the image quality of the image data relayed by the extended data relay device 30 (extended data to be relayed) are managed in association with the relay destination.

ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図6(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図6(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図6(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。例えば、図8に示されている変更品質管理テーブルにおいて、拡張データ中継装置30が、IPアドレス「1.3.2.4」の宛先端末(端末10db)に対して画像データを中継する場合には、この中継される画像データの画質(画像の品質)は「高品質」である。   Here, the resolution of the image data handled in the present embodiment will be described. As shown in FIG. 6 (a), the horizontal image is composed of 160 pixels and the vertical image is 120 pixels, and a low-resolution image serving as a base image and a horizontal image as illustrated in FIG. 6 (b). There are a medium resolution image composed of 320 pixels and 240 pixels vertically, and a high resolution image composed of 640 pixels horizontally and 480 pixels vertically as shown in FIG. 6C. Among these, when passing through a narrow band route, low-quality image data consisting only of low-resolution image data serving as a base image is relayed. When the band is relatively wide, low-resolution image data serving as a base image and medium-quality image data composed of medium-resolution image data are relayed. When the bandwidth is very wide, high-resolution image data composed of low-resolution image data serving as base image quality, intermediate-resolution image data, and high-resolution image data is relayed. For example, in the modified quality management table shown in FIG. 8, when the extended data relay device 30 relays image data to the destination terminal (terminal 10db) having the IP address “1.3.2.4”. The image quality (image quality) of the relayed image data is “high quality”.

<拡張データ中継装置の各機能部>
次に、拡張データ中継装置30の各機能構成について詳細に説明する。なお、以下では、拡張データ中継装置30の各部を説明するにあたって、図2に示されている各構成要素のうち、拡張データ中継装置30の各部を実現させるための主な構成要素との関係も説明する。
<Each functional part of the extended data relay device>
Next, each functional configuration of the extended data relay device 30 will be described in detail. In the following, in describing each part of the extended data relay device 30, the relationship between main components for realizing each part of the extended data relay device 30 among the components shown in FIG. explain.

図4に示されている拡張データ中継装置30の送受信部31は、図3に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(情報)の送受信を行う。状態検知部32は、図3に示されているCPU201からの命令によって実現され、この状態検知部32を有する拡張データ中継装置30の稼動状態を検知する。稼動状態としては、「ONライン」、「OFFライン」、又は「故障中」の状態がある。   The transmission / reception unit 31 of the extended data relay device 30 shown in FIG. 4 is realized by the network I / F 209 shown in FIG. 3, and other terminals, devices, or systems and various data via the communication network 2. (Information) is transmitted and received. The state detection unit 32 is realized by a command from the CPU 201 illustrated in FIG. 3, and detects the operating state of the extended data relay device 30 having the state detection unit 32. The operating state includes “ON line”, “OFF line”, and “failing” state.

データ品質確認部33は、図3に示されているCPU201からの命令によって実現され、宛先端末のIPアドレスを検索キーとして、変更品質管理DB3001(図4参照)を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。変更品質管理部34は、図3に示されているCPU201からの命令によって実現され、管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理DB3001の内容を変更する。例えば、端末IDが「01aa」である要求元端末(端末10aa)と、端末IDが「01db」である宛先端末(端末10db)との間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末(端末10bb)と宛先端末(端末(10ca)が通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末(端末10db)で画像データの受信の遅延が生じた場合には、拡張データ中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる必要がある。このような場合に、中画質を示す品質情報に基づいて、拡張データ中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の内容が変更される。   The data quality confirmation unit 33 is realized by a command from the CPU 201 shown in FIG. 3, searches the change quality management DB 3001 (see FIG. 4) using the IP address of the destination terminal as a search key, and relays correspondingly. The image quality of the relayed image data is confirmed by extracting the image quality of the image data. The change quality management unit 34 is realized by a command from the CPU 201 shown in FIG. 3 and changes the contents of the change quality management DB 3001 based on quality information to be described later sent from the management system 50. For example, a video conference is performed by transmitting and receiving high-quality image data between a request source terminal (terminal 10aa) whose terminal ID is “01aa” and a destination terminal (terminal 10db) whose terminal ID is “01db”. While the session is being performed, the request source terminal (terminal 10bb) and the destination terminal (terminal (10ca)) that perform another video conference start the video conference via the communication network 2 or the like, so that the destination terminal (terminal 10db) When the delay in receiving the image data occurs, the extended data relay device 30 needs to reduce the image quality of the image data relayed so far from the high image quality to the medium image quality. Based on the quality information indicating the image quality, the contents of the modified quality management DB 3001 are changed so that the image quality of the image data relayed by the extended data relay device 30 is lowered from the high image quality to the medium image quality. It is.

データ品質変更部35は、図3に示されているCPU201からの命令によって実現され、送信元としての端末10から送られて来た画像データの画質を、上記変更された変更品質管理DB3001の内容に基づいて変更する。拡張データ中継部36は、送信元としての端末から送信された拡張データを宛先としての端末に中継する。記憶・読出処理部39は、図3に示されているHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。   The data quality changing unit 35 is realized by a command from the CPU 201 shown in FIG. 3, and changes the image quality of the image data sent from the terminal 10 as the transmission source to the contents of the changed change quality management DB 3001. Change based on. The extension data relay unit 36 relays extension data transmitted from a terminal as a transmission source to a terminal as a destination. The storage / reading processing unit 39 is realized by the HDD 205 shown in FIG. 3, and stores various data in the storage unit 3000 or reads various data stored in the storage unit 3000.

<管理システムの機能構成>
次に、管理システム50の機能又は手段について説明する。管理システム50は、送受信部51、端末認証部52、状態管理部53、端末抽出部54、端末状態取得部55、一次絞込部56、セッション管理部57、品質決定部58、記憶・読出処理部59、拡張データ遅延時間管理部60、拡張データ中継要求部61、及び基本データ中継要求部62を有している。これら各部は、図3に示されている各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、管理システム50は、図3に示されているHD204により構築される記憶部5000を有している。
<Functional configuration of management system>
Next, functions or means of the management system 50 will be described. The management system 50 includes a transmission / reception unit 51, a terminal authentication unit 52, a state management unit 53, a terminal extraction unit 54, a terminal state acquisition unit 55, a primary narrowing unit 56, a session management unit 57, a quality determination unit 58, and a storage / read process. A unit 59, an extended data delay time management unit 60, an extended data relay request unit 61, and a basic data relay request unit 62. Each of these units is a function or means realized by any one of the components shown in FIG. 3 operating according to a command from the CPU 201 according to a program stored in the ROM 202. Further, the management system 50 has a storage unit 5000 constructed by the HD 204 shown in FIG.

(拡張データ中継装置管理テーブル)
記憶部5000には、図9に示されているような拡張データ中継装置管理テーブルによって構成されている拡張データ中継装置管理DB5001が構築されている。この拡張データ中継装置管理テーブルでは、各拡張データ中継装置30の拡張データ中継装置ID毎に、各拡張データ中継装置30の稼動状態、稼動状態が示される状態情報が管理システム50で受信された受信日時、拡張データ中継装置30のIPアドレス、及び拡張データ中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図9に示されている拡張データ中継装置管理テーブルにおいて、拡張データ中継装置IDが「111a」の拡張データ中継装置30aは、稼動状態が「ONライン」で、管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」で、この拡張データ中継装置30aのIPアドレスが「1.2.1.2」で、この拡張データ中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
(Extended data relay device management table)
In the storage unit 5000, an extended data relay device management DB 5001 configured by an extended data relay device management table as shown in FIG. 9 is constructed. In this extended data relay device management table, for each extended data relay device ID of each extended data relay device 30, the operating status of each extended data relay device 30 and the status information indicating the operating status received by the management system 50 are received. The date and time, the IP address of the extended data relay device 30, and the maximum data transmission rate (Mbps) in the extended data relay device 30 are associated and managed. For example, in the extended data relay device management table shown in FIG. 9, the extended data relay device 30a with the extended data relay device ID “111a” is in the “ON line” operating state, and the management system 50 has the status information. The received date and time is “November 10, 2009, 13:00” and the IP address of the extended data relay device 30a is “1.2.1.2”. The maximum data in the extended data relay device 30a It is shown that the transmission rate is 100 Mbps.

(端末認証管理テーブル)
更に、記憶部5000には、図10に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図10に示されている端末認証管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(Terminal authentication management table)
Furthermore, in the storage unit 5000, a terminal authentication management DB 5002 configured by a terminal authentication management table as shown in FIG. In this terminal authentication management table, each password is associated with each terminal ID of all terminals 10 managed by the management system 50 and managed. For example, the terminal authentication management table shown in FIG. 10 indicates that the terminal ID of the terminal 10aa is “01aa” and the password is “aaaa”.

(端末管理テーブル)
また、記憶部5000には、図11に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、各端末10の端末ID毎に、各端末10の稼動状態、後述のログイン要求情報が管理システム50で受信された受信日時、及び端末10のIPアドレスが関連付けられて管理される。例えば、図11に示されている端末管理テーブルにおいて、端末IDが「01aa」の端末10aaは、稼動状態が「ONライン」で、管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」で、この端末10aaのIPアドレスが「1.2.1.3」であることが示されている。
(Terminal management table)
Further, in the storage unit 5000, a terminal management DB 5003 configured by a terminal management table as shown in FIG. 11 is constructed. In this terminal management table, for each terminal ID of each terminal 10, the operating state of each terminal 10, the reception date and time when login request information described later is received by the management system 50, and the IP address of the terminal 10 are managed in association with each other. The For example, in the terminal management table shown in FIG. 11, the terminal 10aa with the terminal ID “01aa” is “ON line” and the date and time when the login request information is received by the management system 50 is “2009”. "November 10, 13:40" indicates that the IP address of the terminal 10aa is "1.2.1.3".

(宛先リスト管理テーブル)
更に、記憶部5000には、図12に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、テレビ会議の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている端末の端末IDが全て関連付けられて管理される。例えば、図12に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末(端末10aa)からテレビ会議の開始を要求することができる宛先端末の候補は、端末IDが「01ab」の端末10ab、端末IDが「01ba」の端末10ba、及び端末IDが「01db」の端末10dbの3つであることが示されている。この宛先端末の候補は、要求元端末から管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
(Destination list management table)
Further, in the storage unit 5000, a destination list management DB 5004 configured by a destination list management table as shown in FIG. In this destination list management table, all terminal IDs of terminals registered as destination terminal candidates are managed in association with terminal IDs of request source terminals that request the start of a video conference. For example, in the destination list management table illustrated in FIG. 12, a destination terminal candidate that can request the start of a video conference from a request source terminal (terminal 10 aa) whose terminal ID is “01aa” has a terminal ID of It is shown that there are three terminals: a terminal 10ab with “01ab”, a terminal 10ba with a terminal ID “01ba”, and a terminal 10db with a terminal ID “01db”. This destination terminal candidate is updated by being added or deleted in response to a request for addition or deletion from the request source terminal to the management system 50.

(セッション管理テーブル)
また、この記憶部5000には、図13に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、拡張データ中継装置30を選択するためのセッションの実行に用いられる選択用セッションID毎に、画像データ及び音声データの中継に使用される拡張データ中継装置30の拡張データ中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の拡張データ遅延時間(ms)、及びこの拡張データ遅延時間が示されている拡張データ遅延情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けられて管理される。例えば、図13に示されているセッション管理テーブルにおいて、選択用セッションID「se1」を用いて実行されたセッションで選択された拡張データ中継装置30a(拡張データ中継装置ID「111a」)は、端末IDが「01aa」の要求元端末(端末10aa)と、端末IDが「01db」の宛先端末(端末10db)との間で、画像データ及び音声データを中継しており、宛先端末(端末10db)において「2009年11月10日の14時00分」時点における画像データの拡張データ遅延時間が200(ms)であることが示されている。なお、2つの端末10の間でテレビ会議を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた拡張データ遅延情報に基づいて、拡張データ遅延情報の受信日時を管理してもよい。但し、3つ以上の端末10の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の端末10から送信されてきた拡張データ遅延情報に基づいて、拡張データ遅延情報の受信日時を管理する。
(Session management table)
Further, in this storage unit 5000, a session management DB 5005 configured by a session management table as shown in FIG. 13 is constructed. In this session management table, the extended data relay device of the extended data relay device 30 used for relaying image data and audio data for each selection session ID used to execute a session for selecting the extended data relay device 30 ID, terminal ID of request source terminal, terminal ID of destination terminal, extended data delay time (ms) of reception when image data is received at destination terminal, and extended data delay indicating this extended data delay time Information received from the destination terminal and received by the management system 50 is associated and managed. For example, in the session management table shown in FIG. 13, the extended data relay device 30a (extended data relay device ID “111a”) selected in the session executed using the selection session ID “se1” is the terminal The image data and audio data are relayed between the request source terminal (terminal 10aa) whose ID is “01aa” and the destination terminal (terminal 10db) whose terminal ID is “01db”, and the destination terminal (terminal 10db) Shows that the extended data delay time of the image data at “14:00 on November 10, 2009” is 200 (ms). When a video conference is performed between the two terminals 10, the reception date and time of the extended data delay information may be managed based on the extended data delay information transmitted from the request source terminal instead of the destination terminal. Good. However, when a video conference is performed between three or more terminals 10, the reception date and time of the extended data delay information is based on the extended data delay information transmitted from the terminal 10 on the image data and audio data receiving side. Manage.

(アドレス優先度管理テーブル)
更に、記憶部5000には、図14に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理DB5006が構築されている。このアドレス優先度管理テーブルでは、任意の端末10と任意の中継装置30において、一般的なIPv4におけるIPアドレスのうちの4組のドットアドレス(Dot Address)部分の同異に応じて、アドレス優先度のポイントが高くなるように関連付けられて管理される。例えば、図14に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて3つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「5」である。ドットアドレスの上位から下位にかけて2つの値が同じIPアドレスの場合には、アドレス優先度のポイントが「3」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から2番目の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「1」である。この場合、上位から3番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるIPアドレスの場合には、アドレス優先度のポイントが「0」である。この場合、上位から2番目、3番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
(Address priority management table)
Furthermore, in the storage unit 5000, a priority management DB 5006 configured by an address priority management table as shown in FIG. 14 is constructed. In this address priority management table, in any terminal 10 and any relay device 30, the address priority is determined according to the difference in the four dot address (Dot Address) portions of the general IPv4 IP addresses. The points are managed in association with each other. For example, in the address priority management table shown in FIG. 14, when the three values are the same IP address from the top to the bottom of the dot address, the address priority point is “5”. When the two values are the same IP address from the top to the bottom of the dot address, the address priority point is “3”. In this case, whether the value of the lowest dot address is the same or not is not related to the priority. In the case of IP addresses having the same highest value of dot addresses and different second values from the top, the address priority point is “1”. In this case, whether or not the values of the third and lowest dot addresses from the top are the same has no relation to the priority. In the case of IP addresses having different uppermost values of dot addresses, the address priority point is “0”. In this case, whether or not the values of the second, third, and lowest dot addresses from the top are the same has no relation to the priority.

(伝送速度優先度管理テーブル)
また、記憶部5000に構築されている優先度管理DB5006には、図15に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、拡張データ中継装置30における最大データ伝送速度(Mbps)の値に応じて、伝送速度優先度のポイントが高くなるように関連付けられて管理される。例えば、図15に示されている伝送速度優先度管理テーブルにおいて、拡張データ中継装置30における最大データ伝送速度が1000Mbps以上の場合には、伝送速度優先度のポイントが「5」である。拡張データ中継装置30における最大データ伝送速度が100Mbps以上1000Mbps未満の場合には、伝送速度優先度のポイントが「3」である。拡張データ中継装置30における最大データ伝送速度が10Mbps以上100Mbps未満の場合には、伝送速度優先度のポイントが「1」である。拡張データ中継装置30における最大データ伝送速度が10Mbps未満の場合には、伝送速度優先度のポイントが「0」である。
(Transmission speed priority management table)
The priority management DB 5006 built in the storage unit 5000 also includes a transmission speed priority management table as shown in FIG. In this transmission rate priority management table, the transmission rate priority points are associated and managed in accordance with the value of the maximum data transmission rate (Mbps) in the extended data relay device 30 so as to increase. For example, in the transmission rate priority management table shown in FIG. 15, when the maximum data transmission rate in the extended data relay device 30 is 1000 Mbps or higher, the transmission rate priority point is “5”. When the maximum data transmission rate in the extended data relay device 30 is 100 Mbps or more and less than 1000 Mbps, the transmission rate priority point is “3”. When the maximum data transmission rate in the extended data relay device 30 is 10 Mbps or more and less than 100 Mbps, the point of the transmission rate priority is “1”. When the maximum data transmission rate in the extended data relay device 30 is less than 10 Mbps, the transmission rate priority point is “0”.

(品質管理テーブル)
更に、記憶部5000には、図16に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末又は宛先端末における画像データの拡張データ遅延時間(ms)に応じて、拡張データ中継装置30で中継させる画像データの画質(中継させる拡張データ)が関連付けられて管理される。
(Quality control table)
Furthermore, in the storage unit 5000, a quality management DB 5007 configured by a quality management table as shown in FIG. In this quality management table, the image data of the image data relayed by the extended data relay device 30 (extended data to be relayed) is associated and managed in accordance with the extended data delay time (ms) of the image data at the request source terminal or the destination terminal. Is done.

(基本データ中継システム管理テーブル)
記憶部5000には、図17に示されているような基本データ中継システム管理テーブルによって構成されている基本データ中継システム管理DB5008が構築されている。この基本データ中継システム管理テーブルでは、基本データ中継システム40の基本データ中継システムID、及び基本データ中継システム40の選択装置410のIPアドレスが関連付けられて管理される。例えば、図17に示されている基本データ中継システム管理テーブルにおいて、基本データ中継システムIDが「222a」の基本データ中継システムの選択装置は、IPアドレスが「1.4.1.1」であることが示されている。
(Basic data relay system management table)
In the storage unit 5000, a basic data relay system management DB 5008 configured by a basic data relay system management table as shown in FIG. 17 is constructed. In this basic data relay system management table, the basic data relay system ID of the basic data relay system 40 and the IP address of the selection device 410 of the basic data relay system 40 are managed in association with each other. For example, in the basic data relay system management table shown in FIG. 17, the selection device of the basic data relay system whose basic data relay system ID is “222a” has the IP address “1.4.1.1”. It has been shown.

<管理システムの各機能部>
次に、管理システム50の各機能部について詳細に説明する。なお、以下では、管理システム50の各部を説明するにあたって、図3に示されている各構成要素のうち、管理システム50の各部を実現させるための主な構成要素との関係も説明する。
<Each functional part of the management system>
Next, each functional unit of the management system 50 will be described in detail. In the following, in describing each part of the management system 50, a relationship with main constituent elements for realizing each part of the management system 50 among the constituent elements illustrated in FIG. 3 will also be described.

送受信部51は、図2に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。   The transmission / reception unit 51 is executed by the network I / F 209 illustrated in FIG. 2, and transmits / receives various data (or information) to / from other terminals, devices, or systems via the communication network 2.

端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとし、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。状態管理部53は、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理DB5003の端末管理テーブル(図11参照)に、この要求元端末の端末ID、要求元端末の稼動状態、管理システム50でログイン要求情報が受信された受信日時、及び要求元端末10のIPアドレスを関連付けて記憶して管理する。   The terminal authentication unit 52 searches the terminal authentication management DB 5002 in the storage unit 5000 using the terminal ID and password included in the login request information received via the transmission / reception unit 51 as search keys, and is identical to the terminal authentication management DB 5002. Terminal authentication is performed by determining whether or not the terminal ID and password are managed. The state management unit 53 stores the terminal ID of the request source terminal, the operation status of the request source terminal in the terminal management table (see FIG. 11) of the terminal management DB 5003 in order to manage the operation status of the request source terminal that has requested login. The management system 50 stores and manages the reception date and time when the login request information is received and the IP address of the request source terminal 10 in association with each other.

端末抽出部54は、ログイン要求した要求元端末の端末IDをキーとして、宛先リスト管理DB5004の宛先リスト管理テーブル(図12参照)を検索し、要求元端末と通信することができる宛先端末の候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理テーブルを検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。   The terminal extraction unit 54 searches the destination list management table (see FIG. 12) in the destination list management DB 5004 using the terminal ID of the request source terminal that requested the login as a key, and can be a destination terminal candidate that can communicate with the request source terminal. The terminal ID is extracted by reading the terminal ID. Also, the terminal extraction unit 54 searches the destination list management table using the terminal ID of the request source terminal that has requested login as a key, and requests other requests that register the terminal ID of the request source terminal as candidates for the destination terminal. The terminal ID of the original terminal is also extracted.

端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理DB5003の端末管理テーブル(図11参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態を読み出す。これにより、端末状態取得部55は、ログイン要求してきた要求元端末と通信することができる宛先端末の候補の稼動状態を取得することができる。また、端末状態取得部55は、上記端末抽出部54によって抽出された端末IDを検索キーとして、端末管理テーブルを検索し、ログイン要求してきた要求元端末の稼動状態も取得する。   The terminal status acquisition unit 55 searches the terminal management table (see FIG. 11) of the terminal management DB 5003 using the terminal ID of the destination terminal candidate extracted by the terminal extraction unit 54 as a search key, and the terminal extraction unit 54 The operating state is read for each extracted terminal ID. Thereby, the terminal state acquisition unit 55 can acquire the operation state of the candidate destination terminal that can communicate with the request source terminal that has requested the login. In addition, the terminal state acquisition unit 55 searches the terminal management table using the terminal ID extracted by the terminal extraction unit 54 as a search key, and also acquires the operating state of the request source terminal that requested the login.

一次絞込部56は、複数の拡張データ中継装置30から最終的に1つの中継装置30に絞り込む最終絞り込み処理を支援するため、最終絞り込み処理前の一次絞り込み処理を行うため、選択用セッションID生成部56a、端末IPアドレス抽出部56b、一次選択部56c、及び優先度決定部56dを有している。このうち、選択用セッションID生成部56aは、拡張データ中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する。端末IPアドレス抽出部56bは、要求元端末から送られてきた開始要求情報に含まれている要求元端末の端末ID、及宛先端末の端末IDに基づいて、端末管理DB5003の端末管理テーブル(図11参照)を検索することにより、対応するそれぞれの端末10のIPアドレスを抽出する。一次選択部56cは、拡張データ中継装置管理DB5001(図9参照)で管理されている拡張データ中継装置30のうち、稼動状態が「ONライン」となっている拡張データ中継装置30の拡張データ中継装置IDを選択することにより、拡張データ中継装置30の選択を行う。   The primary narrowing unit 56 generates a session ID for selection in order to perform the primary narrowing process before the final narrowing process in order to support the final narrowing process that finally narrows down from a plurality of extended data relay apparatuses 30 to one relay apparatus 30. Unit 56a, terminal IP address extracting unit 56b, primary selecting unit 56c, and priority determining unit 56d. Among these, the selection session ID generation unit 56 a generates a selection session ID used for executing a session for selecting the extended data relay device 30. Based on the terminal ID of the request source terminal and the terminal ID of the destination terminal included in the start request information sent from the request source terminal, the terminal IP address extraction unit 56b is connected to the terminal management table (FIG. 11), the corresponding IP address of each terminal 10 is extracted. The primary selection unit 56c, among the extended data relay devices 30 managed by the extended data relay device management DB 5001 (see FIG. 9), the extended data relay of the extended data relay device 30 whose operation state is “ON line”. By selecting the device ID, the extension data relay device 30 is selected.

また、一次選択部56cは、上記端末IPアドレス抽出部56bによって抽出された、要求元端末のIPアドレス、及び宛先端末のIPアドレスに基づいて、拡張データ中継装置管理DB5001の拡張データ中継装置管理テーブル(図9参照)を検索することにより、上記選択された拡張データ中継装置30のIPアドレスのドットアドレス毎に、上記要求元端末及び宛先端末の各IPアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部56cは、拡張データ中継装置毎に、アドレス優先度のポイントにおいて端末10に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの拡張データ中継装置30を選択することにより、拡張データ中継装置30の更なる選択を行う。   Further, the primary selection unit 56c, based on the IP address of the request source terminal and the IP address of the destination terminal extracted by the terminal IP address extraction unit 56b, the extended data relay device management table of the extended data relay device management DB 5001. By searching (see FIG. 9), for each dot address of the IP address of the selected extended data relay device 30, the same or different dot addresses in the IP addresses of the request source terminal and the destination terminal Investigate. Further, for each extended data relay device, the primary selection unit 56c has the higher two points with the higher points among the integrated points obtained by integrating the higher points with respect to the terminal 10 and the transmission speed priority points at the address priority points. By selecting the extension data relay device 30, the extension data relay device 30 is further selected.

なお、本実施形態では、ポイントが高い上位2つの拡張データ中継装置30を選択することにしているが、これに限られるものではなく、拡張データ中継装置30を1つでも多く絞り込むことができれば、ポイントが高い上位3つ以上の拡張データ中継装置30を選択するようにしてもよい。   In the present embodiment, the top two extended data relay devices 30 with high points are selected. However, the present invention is not limited to this, and if the number of extended data relay devices 30 can be reduced as much as possible, You may make it select the upper 3 or more extended data relay apparatus 30 with a high point.

優先度決定部56dは、優先度管理DB5006のアドレス優先度管理テーブル(図14参照)を参照して、上記一次選択部56cによって調査された拡張データ中継装置30毎に、アドレス優先度のポイントを決定する。また、優先度決定部56dは、拡張データ中継装置管理DB5001(図4参照)で管理されている各拡張データ中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006の伝送速度優先度管理テーブル(図15参照)を検索することにより、上記一次選択部56cによる第1次の絞り込み処理によって絞り込まれた拡張データ中継装置30毎に伝送速度優先度のポイントを決定する。   The priority determination unit 56d refers to the address priority management table (see FIG. 14) of the priority management DB 5006, and determines an address priority point for each extended data relay device 30 investigated by the primary selection unit 56c. decide. Also, the priority determination unit 56d performs transmission rate priority management in the priority management DB 5006 based on the maximum data transmission rate of each extended data relay device 30 managed in the extended data relay device management DB 5001 (see FIG. 4). By searching the table (see FIG. 15), a transmission speed priority point is determined for each extended data relay device 30 narrowed down by the first narrowing-down process by the primary selection unit 56c.

セッション管理部57は、記憶部5000のセッション管理DB5005(図4参照)に、選択用セッションID生成部56aで生成された選択用セッションID、要求元端末の端末ID、及び宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理DB5005(図4参照)に対して、選択用セッションID毎に、端末10の最終選択部16cで最終的に1つに選択された拡張データ中継装置30の拡張データ中継装置IDを記憶して管理する。   The session management unit 57 stores the selection session ID generated by the selection session ID generation unit 56a, the terminal ID of the request source terminal, and the terminal ID of the destination terminal in the session management DB 5005 (see FIG. 4) of the storage unit 5000. Store and manage in association. In addition, the session management unit 57 selects one of the extended data relay devices 30 that is finally selected by the final selection unit 16c of the terminal 10 for each selection session ID with respect to the session management DB 5005 (see FIG. 4). Stores and manages the extended data relay device ID.

品質決定部58は、上記拡張データ遅延時間を検索キーとして、品質管理DB5007の品質管理テーブル(図16参照)を検索し、対応する画像データの画質を抽出することで、拡張データ中継装置30に中継させる画像データの画質を決定する。記憶・読出処理部59は、図3に示されているHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。   The quality determination unit 58 searches the quality management table (see FIG. 16) of the quality management DB 5007 using the extended data delay time as a search key, and extracts the image quality of the corresponding image data, so that the extended data relay apparatus 30 The image quality of the image data to be relayed is determined. The storage / reading processing unit 59 is executed by the HDD 205 shown in FIG. 3, and stores various data in the storage unit 5000 or reads various data stored in the storage unit 5000.

拡張データ遅延時間管理部60は、上記宛先端末のIPアドレスを検索キーとして、端末管理DB5003の端末管理テーブル(図11参照)を検索することで、対応する端末IDを抽出し、更に、セッション管理DB5005のセッション管理テーブル(図13参照)において、上記抽出した端末IDが含まれるレコードにおける拡張データ遅延時間のフィールド部分に、上記拡張データ遅延情報で示されている拡張データ遅延時間を記憶して管理する。   The extended data delay time management unit 60 extracts the corresponding terminal ID by searching the terminal management table (see FIG. 11) of the terminal management DB 5003 using the IP address of the destination terminal as a search key, and further manages the session management. In the session management table (see FIG. 13) of the DB 5005, the extended data delay time indicated by the extended data delay information is stored and managed in the field portion of the extended data delay time in the record including the extracted terminal ID. To do.

拡張データ中継要求部61は、複数の拡張データ中継装置(30a,30b,30c,30d)から選択された拡張データ中継装置に、拡張データの中継の開始を要求する。この場合、拡張データ中継要求部61は、拡張データの中継の開始を要求する旨が示された拡張データ中継要求情報を、送受信部511を介して選択された拡張データ中継装置に送信する。   The extension data relay request unit 61 requests the extension data relay apparatus selected from the plurality of extension data relay apparatuses (30a, 30b, 30c, 30d) to start extension data relay. In this case, the extended data relay request unit 61 transmits the extended data relay request information indicating that the start of extension data relay is requested to the selected extended data relay device via the transmission / reception unit 511.

基本データ中継要求部62は、予め定められた基本データ中継システム40に、基本データの中継の開始を要求する。具体的には、基本データ中継要求部62は、端末10から通信を開始したい旨を示す開始要求情報を受信すると、基本データ中継システム管理DBの基本データ中継システム管理テーブル(図17参照)から、基本データ中継システムの選択装置のIPアドレスを取得する。そして、基本データ中継要求部62は、取得されたIPアドレスに基づき、送受信部511を介して、選択装置410に基本データの中継の開始を要求する旨が示された基本データ中継要求情報を送信する。   The basic data relay request unit 62 requests a predetermined basic data relay system 40 to start relaying basic data. Specifically, when the basic data relay request unit 62 receives start request information indicating that communication is to be started from the terminal 10, from the basic data relay system management table (see FIG. 17) of the basic data relay system management DB, The IP address of the selection device of the basic data relay system is acquired. Based on the acquired IP address, the basic data relay request unit 62 transmits basic data relay request information indicating that the selection device 410 is requested to start relaying of basic data via the transmission / reception unit 511. To do.

<<実施形態の処理または動作>>
以上が、本実施形態に係る伝送システム1の構成及び機能(又は手段)の説明であり、続いて、図18乃至図26を用いて、本実施形態に係る伝送システム1における処理方法を説明する。なお、図18は、各拡張データ中継装置30から管理システム50に送信された各拡張データ中継装置30の状態を示す状態情報を管理する処理を示したシーケンス図である。図19は、複数の端末10の間で通信を開始する準備段階の処理を示したシーケンス図である。図20は、拡張データ中継装置30を絞り込む処理を示したシーケンス図である。図21は、拡張データ中継装置30を絞り込む処理を示した処理フロー図である。図22は、拡張データ中継装置30の絞り込み処理を行う際のポイントの計算状態を示した図である。図23は、端末10が拡張データ中継装置30を選択する処理を示したシーケンス図である。図24は、端末で拡張データ中継装置30を選択する処理を示した処理フロー図である。図25は、端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。図26は、端末間で基本データを基本データ中継システムにより中継し送受信する処理を示したシーケンス図である。
<< Processing or Operation of Embodiment >>
The above is the description of the configuration and function (or means) of the transmission system 1 according to the present embodiment, and subsequently, the processing method in the transmission system 1 according to the present embodiment is described with reference to FIGS. 18 to 26. . FIG. 18 is a sequence diagram showing processing for managing status information indicating the status of each extended data relay device 30 transmitted from each extended data relay device 30 to the management system 50. FIG. 19 is a sequence diagram showing a preparation stage process for starting communication between a plurality of terminals 10. FIG. 20 is a sequence diagram illustrating a process of narrowing down the extended data relay device 30. FIG. 21 is a process flow diagram showing a process for narrowing down the extended data relay device 30. FIG. 22 is a diagram illustrating a point calculation state when the extension data relay device 30 performs the narrowing-down process. FIG. 23 is a sequence diagram illustrating processing in which the terminal 10 selects the extended data relay device 30. FIG. 24 is a process flow diagram illustrating a process of selecting the extended data relay device 30 at the terminal. FIG. 25 is a sequence diagram showing processing for transmitting and receiving image data and audio data between terminals. FIG. 26 is a sequence diagram showing processing for relaying basic data between terminals by the basic data relay system and transmitting / receiving.

まず、図18を用いて、各拡張データ中継装置30から管理システム50に送信された各拡張データ中継装置30の状態を示す状態情報を管理する処理を説明する。まず、各拡張データ中継装置30では、図4に示されている状態検知部32が、自装置である拡張データ中継装置30の稼動状態を定期的に検知している(S1−1〜S1−4)。そして、管理システム50側で各拡張データ中継装置30の稼動状態をリアルタイムで管理させるべく、各拡張データ中継装置30の送受信部31は、定期的に通信ネットワーク2を介して管理システム50へ各状態情報を送信する(ステップS2−1〜S2−4)。これら各状態情報には、拡張データ中継装置30毎の拡張データ中継装置IDと、これら各拡張データ中継装置IDに係る拡張データ中継装置30の状態検知部32で検知された稼動状態とが含まれている。なお、本実施形態では、拡張データ中継装置(30a,30b,30d)は、正常に稼動して「ONライン」となっている一方で、拡張データ中継装置30cは稼働中ではあるが、拡張データ中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて、「OFFライン」となっている場合が示されている。   First, a process for managing status information indicating the status of each extended data relay device 30 transmitted from each extended data relay device 30 to the management system 50 will be described with reference to FIG. First, in each extension data relay device 30, the state detection unit 32 shown in FIG. 4 periodically detects the operating state of the extension data relay device 30 as its own device (S1-1 to S1-). 4). The transmission / reception unit 31 of each extended data relay device 30 periodically sends each status to the management system 50 via the communication network 2 so that the management system 50 can manage the operation status of each extended data relay device 30 in real time. Information is transmitted (steps S2-1 to S2-4). Each of these status information includes the extended data relay device ID for each extended data relay device 30 and the operating status detected by the status detection unit 32 of the extended data relay device 30 related to each of these extended data relay devices ID. ing. In the present embodiment, the extended data relay devices (30a, 30b, 30d) operate normally and are “ON line”, while the extended data relay device 30c is in operation, but the extended data A case where a problem occurs in the program for executing the relay operation of the relay device 30c and the line is “OFF line” is shown.

次に、管理システム50では、各拡張データ中継装置30から送られて来た各状態情報を送受信部51が受信し、記憶・読出処理部59を介して記憶部5000の拡張データ中継装置状態管理DB5001(図9参照)に、拡張データ中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜S3−4)。これにより、図9に示されるような拡張データ中継装置管理テーブルに対して、拡張データ中継装置ID毎に「ONライン」、「OFFライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、拡張データ中継装置ID毎に、管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、拡張データ中継装置30から状態情報が送られない場合には、図9に示されている拡張データ中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。   Next, in the management system 50, the transmission / reception unit 51 receives each status information sent from each extension data relay device 30, and the extension data relay device status management of the storage unit 5000 via the storage / read processing unit 59 The DB 5001 (see FIG. 9) stores and manages status information for each extension data relay device ID (steps S3-1 to S3-4). As a result, the operating state of “ON line”, “OFF line”, or “failing” is stored for each extended data relay device ID in the extended data relay device management table as shown in FIG. Managed. At this time, the reception date and time when the status information is received by the management system 50 is also stored and managed for each extended data relay device ID. If status information is not sent from the extended data relay device 30, the field portion of the operation status and the field portion of the reception date and time in each record of the extended data relay device management table shown in FIG. 9 are blank. Or the operation status and the reception date and time at the previous reception.

次に、図19を用いて、端末10aaと端末10dbとの間で、通信を開始する前の準備段階の処理について説明する。まず、利用者が、図2に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源ONの受信を契機とし、送受信部11から通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自装置である端末10aaを識別するための端末ID、及びパスワードが含まれている。これら端末ID、及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、端末10aaから管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である端末10aaのIPアドレスを把握することができる。   Next, processing in a preparation stage before starting communication between the terminal 10aa and the terminal 10db will be described with reference to FIG. First, when the user turns on the power switch 109 shown in FIG. 2, the operation input receiving unit 12 shown in FIG. 4 receives the power ON and turns on the power (step S21). The login request unit 13 automatically transmits login request information indicating a login request from the transmission / reception unit 11 to the management system 50 via the communication network 2 in response to the reception of the power ON (step S22). This log-in request information includes a terminal ID for identifying the terminal 10aa that is the own apparatus as a request source, and a password. These terminal ID and password are data read from the storage unit 1000 via the storage / read processing unit 19 and sent to the transmission / reception unit 11. When the login request information is transmitted from the terminal 10aa to the management system 50, the management system 50 that is the receiving side can grasp the IP address of the terminal 10aa that is the transmitting side.

次に、管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の端末認証管理DB5002の端末認証管理テーブル(図10参照)を検索し、端末認証管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末ID及びパスワードが管理されているため、正当な利用権限を有する端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理DB5003(図11参照)に、端末10aaの端末ID、稼動状態、上記ログイン要求情報が受信された受信日時、及び端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、図11に示されている端末管理テーブルには、端末ID「01aa」に、稼動状態「ONライン」、受信日時「2009.11.10.13:40」及び端末IPアドレス「1.2.1.3」が関連付けて管理されることになる。   Next, the terminal authentication unit 52 of the management system 50 uses the terminal ID and password included in the login request information received via the transmission / reception unit 51 as search keys, and the terminal authentication management of the terminal authentication management DB 5002 of the storage unit 5000. Terminal authentication is performed by searching the table (see FIG. 10) and determining whether the same terminal ID and password are managed in the terminal authentication management DB 5002 (step S23). Since the same terminal ID and password are managed by the terminal authentication unit 52, if it is determined that the login request is from the terminal 10 having a valid usage right, the state management unit 53 The DB 5003 (see FIG. 11) stores the terminal ID of the terminal 10aa, the operating state, the reception date and time when the login request information is received, and the IP address of the terminal 10aa in association with each other (step S24). Accordingly, in the terminal management table shown in FIG. 11, the terminal ID “01aa”, the operation state “ON line”, the reception date and time “2009.11.10.13:40”, and the terminal IP address “1. 2.1.3 "will be managed in association with each other.

そして、管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。   Then, the transmission / reception unit 51 of the management system 50 sends the authentication result information indicating the authentication result obtained by the terminal authentication unit 52 via the communication network 2 to the request source terminal (terminal 10aa) that made the login request. (Step S25). In the present embodiment, the case where the terminal authentication unit 52 determines that the terminal has a valid usage right will be described below.

管理システム50の端末抽出部54は、ログイン要求した要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004の宛先リスト管理テーブル(図12参照)を検索し、要求元端末(端末10aa)と通信することができる宛先端末の候補の端末IDを読み出すことによって抽出する(ステップS26)。ここでは、要求元端末(端末10aa)の端末ID「01aa」に対応する宛先端末(10ab,10ba,10db)のそれぞれの端末ID「01ab」、「01ba」、「01db」が抽出されることになる。   The terminal extraction unit 54 of the management system 50 searches the destination list management table (see FIG. 12) in the destination list management DB 5004 using the terminal ID “01aa” of the request source terminal (terminal 10aa) that requested the login as a search key, and makes a request. Extraction is performed by reading out terminal IDs of candidate destination terminals that can communicate with the original terminal (terminal 10aa) (step S26). Here, the terminal IDs “01ab”, “01ba”, and “01db” of the destination terminals (10ab, 10ba, 10db) corresponding to the terminal ID “01aa” of the request source terminal (terminal 10aa) are extracted. Become.

次に、端末状態取得部55は、上記端末抽出部54によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理DB5003(図11参照)を検索し、上記端末抽出部54によって抽出された端末ID毎に稼動状態(「OFFライン」、「ONライン」、「ONライン」)を読み出すことにより、端末(10ab,10ba,10db)の各稼動状態を取得する(ステップ27)。   Next, the terminal state acquisition unit 55 uses the terminal IDs of the destination terminal candidates (“01ab”, “01ba”, “01db”) extracted by the terminal extraction unit 54 as search keys, and the terminal management DB 5003 (FIG. 11). Terminal) (10ab, 10ba, 10db) by retrieving the operating state ("OFF line", "ON line", "ON line") for each terminal ID extracted by the terminal extraction unit 54 Each operation state is acquired (step 27).

次に、送受信部51は、上記ステップ27で使用された検索キーとしての端末ID(「01ab」、「01ba」、「01db」)と、対応する宛先端末(端末10ab,10ba,10db)の稼動状態(「OFFライン」、「ONライン」、「ONライン」)とが含まれた宛先状態情報を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS28)。これにより、要求元端末(端末10aa)は、この要求元端末(端末10aa)と通信することができる宛先端末の候補である端末(10ab,10ba,10db)の現時点のそれぞれの稼動状態(「OFFライン」、「ONライン」、「ONライン」)を把握することができる。   Next, the transmission / reception unit 51 operates the terminal ID (“01ab”, “01ba”, “01db”) as the search key used in step 27 and the corresponding destination terminal (terminal 10ab, 10ba, 10db). The destination status information including the status (“OFF line”, “ON line”, “ON line”) is transmitted to the request source terminal (terminal 10aa) via the communication network 2 (step S28). As a result, the request source terminal (terminal 10aa) has the current operating states (“OFF” of the terminals (10ab, 10ba, 10db) that are candidates for destination terminals that can communicate with the request source terminal (terminal 10aa). Line "," ON line "," ON line ").

更に、管理システム50の端末抽出部54は、ログイン要求してきた要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理DB5004(図12参照)を検索し、上記要求元端末(端末10aa)の端末ID「01aa」を宛先端末の候補として登録している他の要求元端末の端末IDを抽出する(ステップS29)。図12に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末の端末IDは、「01ab」、「01ba」、及び「01db」である。   Further, the terminal extraction unit 54 of the management system 50 searches the destination list management DB 5004 (see FIG. 12) using the terminal ID “01aa” of the request source terminal (terminal 10aa) that requested the login as a search key, and the request source The terminal IDs of other requesting terminals that have registered the terminal ID “01aa” of the terminal (terminal 10aa) as candidates for the destination terminal are extracted (step S29). In the destination list management table shown in FIG. 12, the terminal IDs of the other request source terminals to be extracted are “01ab”, “01ba”, and “01db”.

次に、管理システム50の端末状態取得部55は、上記ログイン要求して来た要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、端末管理DB5003(図11参照)を検索し、ログイン要求してきた要求元端末(端末10aa)の稼動状態を取得する(ステップS30)。   Next, the terminal status acquisition unit 55 of the management system 50 searches the terminal management DB 5003 (see FIG. 11) using the terminal ID “01aa” of the request source terminal (terminal 10aa) that requested the login as a search key. Then, the operating state of the request source terminal (terminal 10aa) that has made the login request is acquired (step S30).

そして、送受信部51は、上記ステップS29で抽出された端末ID(「01ab」、「01ba」、及び「01db」)に係る端末(10ab,10ba,10db)のうち、端末管理テーブル(図11参照)で稼動状態が「ONライン」となっている端末(10ba,10db)に、上記ステップS30で取得された要求元端末(端末10aa)の端末ID「01aa」と稼動状態「ONライン」が含まれる宛先状態情報を送信する(ステップS31−1,S31−2)。なお、送受信部51が端末(10ba,10db)に宛先状態情報を送信する際に、各端末ID(「01ba」、「01db」)に基づいて、図11に示されている端末管理テーブルで管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末(端末10aa)を宛先として通信することができる他の宛先端末(端末10db,10ba)のぞれぞれに、上記ログイン要求した要求元端末(端末10aa)の端末ID「01aa」、及び稼動状態「ONライン」を伝えることができる。   Then, the transmission / reception unit 51 includes the terminal management table (see FIG. 11) among the terminals (10ab, 10ba, 10db) related to the terminal IDs (“01ab”, “01ba”, and “01db”) extracted in step S29. ) Includes the terminal ID “01aa” and the operation state “ON line” of the request source terminal (terminal 10aa) acquired in step S30 in the terminals (10ba, 10db) whose operation state is “ON line”. Destination status information is transmitted (steps S31-1, S31-2). When the transmission / reception unit 51 transmits the destination status information to the terminals (10ba, 10db), management is performed in the terminal management table shown in FIG. 11 based on each terminal ID (“01ba”, “01db”). Refers to the IP address of the terminal being used. Accordingly, the request source terminal (terminal 10aa) that requested the login is sent to each of the other destination terminals (terminals 10db and 10ba) that can communicate with the request source terminal (terminal 10aa) that requested the login. The terminal ID “01aa” and the operation state “ON line” can be transmitted.

一方、他の端末10でも、上記ステップS21と同様に、利用者が図3に示されている電源スイッチ109をONにすると、図4に示されている操作入力受付部12が電源ONを受け付け、上記ステップS22〜S31−1,2の処理と同様の処理を行うため、その説明を省略する。   On the other hand, in the other terminals 10 as well, when the user turns on the power switch 109 shown in FIG. 3, the operation input accepting unit 12 shown in FIG. Since the same processing as the processing of steps S22 to S31-1, 2 is performed, the description thereof is omitted.

次に、図26を用いて、基本データ及び音声データを基本データ中継装置430により中継して、端末間で通信をする処理について説明する。なお、本実施形態においては、要求元端末(端末10aa)は、宛先の候補としての端末10のうち、上記ステップS28によって受信した宛先状態情報により、稼動状態がONラインである端末(10ba,10db)の少なくとも一方と通信を行うことができる。そこで、以下では、要求元端末(端末10aa)の利用者が、宛先端末(端末10db)と通信を開始することを選択した場合について説明する。   Next, with reference to FIG. 26, a description will be given of a process in which basic data and voice data are relayed by the basic data relay device 430 and communication is performed between terminals. In the present embodiment, the request source terminal (terminal 10aa) is the terminal (10ba, 10db) whose operation state is ON line based on the destination state information received in step S28 among the terminals 10 as destination candidates. ). Therefore, hereinafter, a case will be described in which the user of the request source terminal (terminal 10aa) selects to start communication with the destination terminal (terminal 10db).

まず、利用者が図2に示されている操作ボタン108を押下して端末10dbを選択すると、図4に示されている操作入力受付部12は、宛先端末(端末10db)との通信を開始する要求を受け付ける(ステップS41)。そして、端末10aaの送受信部11は、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」が含まれ、通信を開始したい旨を示す開始要求情報を、管理システム50へ送信する(ステップS42)。これにより、管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することになる。   First, when the user presses the operation button 108 shown in FIG. 2 to select the terminal 10db, the operation input reception unit 12 shown in FIG. 4 starts communication with the destination terminal (terminal 10db). The request to be received is accepted (step S41). The transmission / reception unit 11 of the terminal 10aa includes the terminal ID “01aa” of the request source terminal (terminal 10aa) and the terminal ID “01db” of the destination terminal (terminal 10db), and indicates a start request indicating that communication is to be started. Information is transmitted to the management system 50 (step S42). Thereby, the transmission / reception unit 51 of the management system 50 receives the start request information and grasps the IP address “1.2.1.3” of the request source terminal (terminal 10aa) that is the transmission source. .

続いて、基本データ中継要求部62は、基本データ中継システム管理DBの基本データ中継システム管理テーブル(図17参照)から、基本データ中継システムの選択装置のIPアドレスを取得する(ステップS101)。ここでは選択装置のIPアドレス「1.4.1.1」が取得される。また、基本データ中継要求部62は、開始要求情報に含まれる要求元端末ID及び宛先端末IDを検索キーとして、端末管理DBの端末管理テーブル(図11参照)から、要求元端末のIPアドレスと宛先端末のIPアドレスを取得する(ステップS102)。ここでは要求元端末のIPアドレス「1.2.1.3」と宛先端末のIPアドレス「1.3.2.4」が取得される。   Subsequently, the basic data relay request unit 62 acquires the IP address of the selection device of the basic data relay system from the basic data relay system management table (see FIG. 17) of the basic data relay system management DB (step S101). Here, the IP address “1.4.1.1” of the selected device is acquired. Further, the basic data relay request unit 62 uses the request source terminal ID and the destination terminal ID included in the start request information as search keys, from the terminal management table (see FIG. 11) of the terminal management DB, and the IP address of the request source terminal. The IP address of the destination terminal is acquired (step S102). Here, the IP address “1.2.1.3” of the request source terminal and the IP address “1.3.2.4” of the destination terminal are acquired.

次に基本データ中継要求部62は、取得したIPアドレスに基づき、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれ、基本データの中継の開始を要求する旨を示す基本データ中継開始要求情報を、送受信部51を介して選択装置へ送信する(ステップS103)。   Next, the basic data relay request unit 62, based on the acquired IP address, the IP address “1.2.1.3” of the request source terminal (terminal 10aa) and the IP address “1. 3.2.4 ”is included, and basic data relay start request information indicating that the start of basic data relay is requested is transmitted to the selection device via the transmission / reception unit 51 (step S103).

選択装置410の送受信部411がこの基本データ中継開始要求情報を受信すると、選択部412は、接続数管理DB4101の接続数管理テーブル(図7参照)で管理されている基本データ中継装置(430a,430b)のうち、接続数の最も少ない基本データ中継装置のIPアドレスを取得する(ステップS104)。ここでは基本データ中継装置のIPアドレス「1.4.2.3」が取得される。続いて、接続数管理部413は、記憶・読出処理部419を介して、接続数管理テーブルのIPアドレス「1.4.2.3」に関連付けられた接続数である「2」を「4」に更新する(S105)。   When the transmission / reception unit 411 of the selection device 410 receives this basic data relay start request information, the selection unit 412 receives the basic data relay device (430a, 430a, 430b), the IP address of the basic data relay apparatus with the smallest number of connections is acquired (step S104). Here, the IP address “1.4.2.3” of the basic data relay apparatus is acquired. Subsequently, the connection number management unit 413 sets the connection number “2” associated with the IP address “1.4.2.3” of the connection number management table to “4” via the storage / read processing unit 419. (S105).

次に、選択装置410の送受信部411は、取得したIPアドレスに基づき、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれ、基本データ及び音声データの中継の開始を要求する旨を示す基本データ中継開始要求情報を、基本データ中継装置430bへ送信する(ステップS106)。これにより、基本データ中継装置430bの基本データ中継部436は、宛先である要求元端末(端末10aa)又は宛先端末(端末10db)を指定して、選択装置410のIPアドレスが含まれ、基本データ及び音声データの送信を要求する旨の基本データ送信要求情報を、選択装置410に送信する(ステップS107−1,S107−2)。選択装置410は、受信した基本データ送信要求情報を、宛先である要求元端末(端末10aa)又は宛先端末(端末10db)に送信する(ステップS108−1,S108−2)。要求元端末(端末10aa)と宛先端末(端末10db)は、それぞれこの要求に対する応答で基本データ及び音声データを、選択装置410を介して基本データ中継装置430bに送信する。基本データ中継装置430bの中継部436が、一方の端末から受信した基本データ等を他方の端末に中継することにより、基本データを通信するためのセッションを確立する(ステップS108)。   Next, the transmission / reception unit 411 of the selection device 410, based on the acquired IP address, the IP address “1.2.1.3” of the request source terminal (terminal 10aa) and the IP address “of the destination terminal (terminal 10db)”. Basic data relay start request information indicating that a start of relay of basic data and voice data is requested is transmitted to the basic data relay device 430b (step S106). Thereby, the basic data relay unit 436 of the basic data relay device 430b designates the request source terminal (terminal 10aa) or the destination terminal (terminal 10db) as the destination, includes the IP address of the selection device 410, and includes basic data Basic data transmission request information for requesting transmission of audio data is transmitted to the selection device 410 (steps S107-1 and S107-2). The selection device 410 transmits the received basic data transmission request information to the request source terminal (terminal 10aa) or the destination terminal (terminal 10db) that is the destination (steps S108-1 and S108-2). The request source terminal (terminal 10aa) and the destination terminal (terminal 10db) respectively transmit basic data and voice data to the basic data relay device 430b via the selection device 410 in response to this request. The relay unit 436 of the basic data relay device 430b establishes a session for communicating basic data by relaying basic data received from one terminal to the other terminal (step S108).

続いて、図20を用いて、拡張データを要求元端末(端末10aa)と宛先端末(端末10db)との間で通信する処理について説明する。管理システム50の送受信部51が端末10aaから通信を開始したい旨を示す開始要求情報を受信すると(図20及び図26のステップS42)、状態管理部53は、開始要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」及び宛先端末(端末10db)の端末ID「01db」に基づき、端末管理DB5003の端末管理テーブル(図11参照)において、上記端末ID「01aa」及び端末ID「01db」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS43)。なお、この状態では、要求元端末(端末10aa)と宛先端末(端末10db)は、通信(通話)を開始していないが、通話中状態となり、他の端末10が要求元端末(端末10aa)又は宛先端末(端末10db)と通信しようとすると、いわゆる通話中状態を示す旨の音声又は表示が出力される。   Next, processing for communicating extended data between the request source terminal (terminal 10aa) and the destination terminal (terminal 10db) will be described with reference to FIG. When the transmission / reception unit 51 of the management system 50 receives start request information indicating that communication is to be started from the terminal 10aa (step S42 in FIGS. 20 and 26), the state management unit 53 includes the request source terminal included in the start request information Based on the terminal ID “01aa” of the (terminal 10aa) and the terminal ID “01db” of the destination terminal (terminal 10db), in the terminal management table (see FIG. 11) of the terminal management DB 5003, the terminal ID “01aa” and the terminal ID “ Both of the field portions of the operation state of the records each including “01db” are changed to “busy” (step S43). In this state, the request source terminal (terminal 10aa) and the destination terminal (terminal 10db) have not started communication (call), but are in a call state, and the other terminal 10 is in the request source terminal (terminal 10aa). Alternatively, when attempting to communicate with the destination terminal (terminal 10db), a voice or display indicating a so-called call state is output.

次に、ステップS44〜S48、及びステップS61−1〜66により、拡張データ中継装置30を選択するためのセッションを実行する処理を説明する。まず、選択用セッションID生成部56aは、拡張データ中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する(ステップS44)。そして、セッション管理部57は、記憶部5000のセッション管理DB5005(図4参照)に、上記ステップS44で生成された選択用セッションID「se1」、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10db)の端末ID「01db」を関連付けて記憶して管理する(ステップS45)。   Next, a process for executing a session for selecting the extended data relay device 30 in steps S44 to S48 and steps S61-1 to S66 will be described. First, the selection session ID generation unit 56a generates a selection session ID used to execute a session for selecting the extended data relay device 30 (step S44). Then, the session management unit 57 stores the selection session ID “se1” generated in step S44 and the terminal ID “01aa” of the request source terminal (terminal 10aa) in the session management DB 5005 (see FIG. 4) of the storage unit 5000. And the terminal ID “01db” of the destination terminal (terminal 10db) are stored and managed in association with each other (step S45).

次に、管理システム50の一次絞込部56は、拡張データ中継装置管理DB5001、端末管理DB5003、及び優先度管理DB5006に基づいて、要求元端末(端末10aa)と、宛先端末(端末10db)との通信を中継するための拡張データ中継装置30の一次絞り込みを行う(ステップS46)。   Next, the primary narrowing-down unit 56 of the management system 50 includes a request source terminal (terminal 10aa) and a destination terminal (terminal 10db) based on the extended data relay apparatus management DB 5001, terminal management DB 5003, and priority management DB 5006. First, the extension data relay device 30 for relaying the communication is narrowed down (step S46).

ここで、図21を用いて、ステップS46における処理を更に詳細に説明する。まず、端末IPアドレス抽出部56bは、要求元端末(端末10aa)から送られてきた開始通信情報に含まれている要求元端末(端末10aa)の端末ID「01aa」、及宛先端末(端末10db)の端末ID「01db」に基づいて、端末管理DB5003(図11参照)を検索することにより、対応する端末(10aa,10db)のIPアドレス(「1.2.1.3」,「1.3.2.4」)を抽出する(ステップS46−1)。次に、一次選択部56cは、拡張データ中継装置管理DB5001(図9参照)で管理されている拡張データ中継装置30の稼動状態のうち、「ONライン」になっている拡張データ中継装置(30a,30b,30d)の各拡張データ中継装置ID(111a,111b,111d)を選択する(ステップS46−2)。また、一次選択部56cは、上記ステップS46−1で抽出された、要求元端末(端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(端末10db)のIPアドレス「1.3.2.4」に基づいて、拡張データ中継装置管理DB5001(図9参照)を検索することにより、上記ステップS46−2によって選択された拡張データ中継装置(30a,30b,30d)の各IPアドレス(「1.2.1.2.」,「1.2.2.2」,「1.3.2.2」)のドットアドレス毎に、上記要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレス(「1.2.1.3」,「1.3.2.4」)における各ドットアドレスと同じであるか異なるかを調査する(ステップS46−3)。   Here, the process in step S46 will be described in more detail with reference to FIG. First, the terminal IP address extraction unit 56b sends the terminal ID “01aa” of the request source terminal (terminal 10aa) included in the start communication information sent from the request source terminal (terminal 10aa) and the destination terminal (terminal 10db). ) Of the terminal management DB 5003 (see FIG. 11) based on the terminal ID “01db” of the corresponding terminal (10aa, 10db), the IP address (“1.2.1.3”, “1. 3.2.4 ") is extracted (step S46-1). Next, the primary selection unit 56c, among the operating states of the extended data relay device 30 managed by the extended data relay device management DB 5001 (see FIG. 9), the extended data relay device (30a) that is “ON line”. , 30b, 30d) of each extended data relay device ID (111a, 111b, 111d) is selected (step S46-2). Further, the primary selection unit 56c extracts the IP address “1.2.1.3” of the request source terminal (terminal 10aa) and the IP address “1” of the destination terminal (terminal 10db) extracted in step S46-1. .3.2.4 "is used to search the extended data relay device management DB 5001 (see FIG. 9), so that each of the extended data relay devices (30a, 30b, 30d) selected in step S46-2 is searched. For each dot address of the IP address (“1.2.1.2.”, “1.2.2.2”, “1.3.2.2”), the request source terminal (terminal 10aa) and the destination It is investigated whether it is the same as or different from each dot address in each IP address (“1.2.1.3”, “1.3.2.4”) of the terminal (terminal 10db) (step S46-3). .

次に、優先度決定部57cは、優先度管理DB5006(図14参照)を参照して、上記ステップS46−3によって調査された拡張データ中継装置(30a,30b,30d)毎に、アドレス優先度のポイントを決定する(ステップS46−4)。この決定処理の結果を表に表すと、図22に示されているような状態になる。なお、図22は、拡張データ中継装置30の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図22では、拡張データ中継装置ID毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各拡張データ中継装置30の要求元端末(端末10aa)に対するポイント及び宛先端末(端末10db)に対するポイントが示されている。統合ポイントは、アドレス優先度の2つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。   Next, the priority determination unit 57c refers to the priority management DB 5006 (see FIG. 14), and sets the address priority for each extended data relay device (30a, 30b, 30d) investigated in step S46-3. Are determined (step S46-4). When the result of this determination process is shown in a table, the state shown in FIG. 22 is obtained. FIG. 22 is a diagram illustrating a calculation state of priority points when the extension data relay device 30 performs the narrowing process. In FIG. 22, an address priority point, a transmission speed priority point, and an integration point are shown for each extended data relay apparatus ID. Further, the address priority points further indicate a point for the request source terminal (terminal 10aa) and a point for the destination terminal (terminal 10db) of each extended data relay device 30. The integration point is the sum of the higher one of the two address priority points and the transmission speed priority point.

本実施形態では、拡張データ中継装置30aのIPアドレス「1.2.1.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.同.異」であるため、図22に示されているように、アドレス優先度のポイントは「5」になる。また、拡張データ中継装置30aのIPアドレス「1.2.1.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、拡張データ中継装置30bのIPアドレス「1.2.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.同.異.異」であるため、アドレス優先度のポイントは「3」になる。また、拡張データ中継装置30bのIPアドレス「1.2.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.異.同.異」であるため、アドレス優先度のポイントは「1」になる。更に、拡張データ中継装置30dのIPアドレス「1.3.2.2」は要求元端末(端末10aa)のIPアドレス「1.2.1.3」に対して、「同.異.異.異」であるため、アドレス優先度のポイントは「1」になる。また、拡張データ中継装置30dのIPアドレス「1.3.2.2」は宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、「同.同.同.異」であるため、アドレス優先度のポイントは「5」になる。   In the present embodiment, the IP address “1.2.1.2” of the extended data relay device 30a is different from the IP address “1.2.1.3” of the request source terminal (terminal 10aa). Therefore, the address priority point is “5” as shown in FIG. Further, the IP address “1.2.1.2” of the extended data relay device 30a is “same. Different. Different. Different” from the IP address “1.3.2.4” of the destination terminal (terminal 10db). Therefore, the address priority point is “1”. In addition, the IP address “1.2.2.2” of the extended data relay device 30b is different from the IP address “1.2.1.3” of the request source terminal (terminal 10aa). “No”, the point of address priority is “3”. In addition, the IP address “1.2.2.2” of the extended data relay device 30b is different from the IP address “1.3.2.4” of the destination terminal (terminal 10db). Therefore, the address priority point is “1”. Further, the IP address “1.3.2.2” of the extended data relay device 30d is “same. Different. Different.” With respect to the IP address “1.2.1.3” of the request source terminal (terminal 10aa). Because it is “different”, the address priority point is “1”. In addition, the IP address “1.3.2.2” of the extended data relay device 30d is different from the IP address “1.3.2.4” of the destination terminal (terminal 10db). Therefore, the address priority point is “5”.

次に、図21に戻って、優先度決定部57dは、拡張データ中継装置管理DB5001(図9参照)で管理されている各拡張データ中継装置30の最大データ伝送速度に基づいて、優先度管理DB5006の伝送速度優先度管理テーブル(図15参照)を検索することにより、上記ステップS46−2によって第1次絞り込み処理によって絞り込まれた拡張データ中継装置(30a,30b,30d)毎に伝送速度優先度のポイントを決定する(ステップS46−5)。本実施形態では、図9に示されているように、拡張データ中継装置30aの最大データ伝送速度が100(Mbps)であるため、図15に示されている伝送速度優先度を参照すると、伝送速度優先度が3ポイントになる。また、同様に、拡張データ中継装置30bの最大データ伝送速度について計算すると1000(Mbps)であるため、伝送速度優先度が5ポイントになる。また同様に、拡張データ中継装置30dの最大データ伝送速度について計算すると10(Mbps)であるため、伝送速度優先度が1ポイントになる。   Next, returning to FIG. 21, the priority determination unit 57d performs priority management based on the maximum data transmission rate of each extended data relay device 30 managed by the extended data relay device management DB 5001 (see FIG. 9). By searching the transmission rate priority management table (see FIG. 15) in the DB 5006, transmission rate priority is assigned to each extended data relay device (30a, 30b, 30d) narrowed down by the first narrowing-down process in step S46-2. The degree point is determined (step S46-5). In the present embodiment, as shown in FIG. 9, since the maximum data transmission rate of the extended data relay device 30a is 100 (Mbps), referring to the transmission rate priority shown in FIG. Speed priority is 3 points. Similarly, when the maximum data transmission rate of the extended data relay device 30b is calculated to be 1000 (Mbps), the transmission rate priority is 5 points. Similarly, if the maximum data transmission rate of the extended data relay device 30d is calculated to be 10 (Mbps), the transmission rate priority is 1 point.

次に、一次選択部56cは、拡張データ中継装置(30a,30b,30d)毎に、アドレス優先度のポイントにおいて端末(10aa,10db)のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位2つの拡張データ中継装置30を選択する(ステップS46−6)。本実施形態では、図22に示されているように、拡張データ中継装置ID(111a,111b,111d)は、それぞれ統合ポイントが「8」、「8」、「5」であるため、拡張データ中継装置ID「111a」に係る拡張データ中継装置30a、及び拡張データ中継装置ID「111b」に係る拡張データ中継装置30bが選択されることになる。   Next, the primary selection unit 56c determines, for each extension data relay device (30a, 30b, 30d), the higher point of the terminals (10aa, 10db) and the transmission speed priority point at the address priority point. Among the integrated points that have been integrated, the top two extended data relay devices 30 with the highest points are selected (step S46-6). In the present embodiment, as shown in FIG. 22, the extension data relay device IDs (111a, 111b, 111d) have the integration points “8”, “8”, and “5”, respectively. The extended data relay device 30a related to the relay device ID “111a” and the extended data relay device 30b related to the extended data relay device ID “111b” are selected.

以上のステップS46における絞り込み処理が終了すると、図4に示されている送受信部51は、通信ネットワーク2を介して、宛先端末(端末10db)へ、上記絞り込まれた拡張データ中継装置30の数を伝達するための拡張データ中継装置絞込情報を送信する(ステップS47)。この拡張データ中継装置絞込情報には、上記ステップS46によって絞り込まれた拡張データ中継装置30の数「2」、要求元端末(端末10aa)の端末ID「01aa」、及び上記選択用セッションID「se1」が含まれている。これにより、端末10dbは、選択用セッションID「se1」におけるセッションの実行において、拡張データ中継装置30の数がいくつで、どの端末10からテレビ会議を開始したいとの要求があったのかを把握することができると共に、拡張データ中継装置絞込情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。   When the narrowing-down process in step S46 is completed, the transmission / reception unit 51 illustrated in FIG. 4 sends the number of narrowed extended data relay apparatuses 30 to the destination terminal (terminal 10db) via the communication network 2. The extended data relay device narrowing information for transmission is transmitted (step S47). The extended data relay device narrowing information includes the number “2” of extended data relay devices 30 narrowed down in step S46, the terminal ID “01aa” of the request source terminal (terminal 10aa), and the selection session ID “ se1 ”is included. Thereby, the terminal 10db grasps the number of the extended data relay devices 30 and the terminal 10 from which the request for starting the video conference is made in the execution of the session with the selection session ID “se1”. And the IP address “1.1.1.2” of the management system 50 that is the transmission source of the extended data relay device narrowing information can be grasped.

そして、端末10dbは、送受信部11から通信ネットワーク2を介して管理システム50へ、上記拡張データ中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する(ステップS48)。この受信完了情報には、セッションID「se1」が含まれている。これにより、管理システム50は、セッションID「se1」で実行されている拡張データ中継装置数の伝達が完了した旨と共に、送信元である宛先端末(端末10db)のIPアドレス「1.3.2.4」を把握することができる。   Then, the terminal 10db transmits reception completion information indicating that reception of the extended data relay device narrowing information is completed from the transmission / reception unit 11 to the management system 50 via the communication network 2 (step S48). This reception completion information includes the session ID “se1”. As a result, the management system 50 completes the transmission of the number of extended data relay apparatuses executed with the session ID “se1”, and the IP address “1.3.2” of the destination terminal (terminal 10db) that is the transmission source. .4 ".

次に、図23を用いて、宛先端末(端末10aa)が拡張データ中継装置30を選択する処理を説明する。まず、管理システム50は、テレビ会議を開始する前に、上記ステップS46によって絞り込まれた拡張データ中継装置(30a,30b)のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する(ステップS61−1,2)。この事前中継要求情報には、セッションID「se1」、要求元端末(端末10aa)のIPアドレス「01aa」、及び宛先端末(端末10db)が含まれている。これにより、拡張データ中継装置(30a,30b)は、どの選択用セッションのものであるか、要求元端末が何であるか、及び宛先端末が何であるかを把握することができると共に、事前中継要求情報の送信元である管理システム50のIPアドレス「1.1.1.2」を把握することができる。   Next, a process in which the destination terminal (terminal 10aa) selects the extended data relay device 30 will be described with reference to FIG. First, before starting a video conference, the management system 50 provides pre-relay request information for requesting relay in advance to each of the extended data relay devices (30a, 30b) narrowed down in step S46. Transmit (steps S61-1, 2). This pre-relay request information includes the session ID “se1”, the IP address “01aa” of the request source terminal (terminal 10aa), and the destination terminal (terminal 10db). As a result, the extended data relay device (30a, 30b) can grasp which selection session it belongs to, what is the request source terminal, and what is the destination terminal, as well as a prior relay request. It is possible to grasp the IP address “1.1.1.2” of the management system 50 that is the information transmission source.

次に、各拡張データ中継装置(30a,30b)のそれぞれは、送受信部31から通信ネットワーク2を介して、上記ステップS61−1,2によって把握した要求元端末(端末10aa)へ、テレビ会議の開始前に自装置としての各拡張データ中継装置(30a,30b)へ、後述のping(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す事前送信要求情報を送信する(ステップS62−1,2)。この事前送信情報には、セッションID「se1」が含まれている。これにより、要求元端末(端末10aa)は、セッションID「se1」で実行されている拡張データ中継装置30の選択処理において、各拡張データ中継装置(30a,30b)に事前送信情報を送信することを把握すると共に、事前送信要求情報の送信元である拡張データ中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。   Next, each of the extended data relay devices (30a, 30b) performs a video conference from the transmission / reception unit 31 to the request source terminal (terminal 10aa) grasped in steps S61-1, 2 via the communication network 2. Prior to the start, prior transmission request information indicating that prior transmission information including ping (Packet Internet Groper) described later is to be transmitted is transmitted to each of the extended data relay devices (30a, 30b) as its own device (step S62). -1,2). This pre-transmission information includes the session ID “se1”. Thereby, the request source terminal (terminal 10aa) transmits the advance transmission information to each of the extended data relay devices (30a, 30b) in the selection process of the extended data relay device 30 executed with the session ID “se1”. And the IP address (“1.2.1.2”, “1.2.2.2”) of the extended data relay device (30a, 30b) that is the transmission source of the advance transmission request information. be able to.

なお、管理システム50から直接、要求元端末(端末10aa)に対して、宛先端末(端末10db)のIPアドレスを通知せずに、上記ステップ61−1のように拡張データ中継装置30aに対して宛先端末(端末10db)のIPアドレスを通知し、上記ステップS61−2のように拡張データ中継装置10aaが要求元端末(端末10aa)に対し、自装置(拡張データ中継装置10aa)に対して事前送信要求情報を送信するように要求するのは、各端末10には、他の端末10のIPアドレスを知らせないようにして、セキュリティーを確保するためである。   It should be noted that the management system 50 does not directly notify the request source terminal (terminal 10aa) of the IP address of the destination terminal (terminal 10db), but sends it to the extended data relay device 30a as in step 61-1. The IP address of the destination terminal (terminal 10db) is notified, and the extended data relay device 10aa notifies the requesting terminal (terminal 10aa) to the own device (extended data relay device 10aa) in advance as in step S61-2. The reason for requesting transmission of the transmission request information is to ensure security by not letting each terminal 10 know the IP address of the other terminal 10.

次に、要求元端末(端末10aa)は、送受信部11から通信ネットワーク2を介して拡張データ中継装置(30a,30b)へ事前送信情報を送信する(ステップS63−1,2)。この事前送信情報は、画像データ及び音声データの送信に先立って、これら画像データ及び音声データの代わりに各拡張データ中継装置(30a,30b)を介して宛先端末(端末10db)へ送信されることで、要求元端末(端末10aa)の送信から宛先端末(端末10db)の受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末(端末10aa)、拡張データ中継装置(30a,30b)、及び宛先端末(端末10db)が通信可能に接続されていることを確認するためのping、要求元端末(端末10aa)から事前送信情報が送信された送信日時、及びセッションID「se1」が含まれている。これにより、各拡張データ中継装置(30a,30b)は、選択用セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末(端末10aa)のIPアドレス「1.2.1.3」を把握することができる。   Next, the request source terminal (terminal 10aa) transmits the pre-transmission information from the transmission / reception unit 11 to the extension data relay devices (30a, 30b) via the communication network 2 (steps S63-1, 2). Prior to transmission of image data and audio data, this pre-transmission information is transmitted to the destination terminal (terminal 10db) via each extended data relay device (30a, 30b) instead of these image data and audio data. Thus, the information is used to measure the time required from transmission of the request source terminal (terminal 10aa) to reception of the destination terminal (terminal 10db). In addition, the advance transmission information includes a ping for confirming that the request source terminal (terminal 10aa), the extended data relay device (30a, 30b), and the destination terminal (terminal 10db) are communicably connected. The transmission date and time when the pre-transmission information is transmitted from the request source terminal (terminal 10aa) and the session ID “se1” are included. As a result, each of the extended data relay devices (30a, 30b) can grasp that the pre-transmission information has been sent in the execution of the session with the selection session ID “se1”, and the transmission source of the pre-transmission information It is possible to grasp the IP address “1.2.1.3” of the request source terminal (terminal 10aa).

次に、各拡張データ中継装置(30a,30b)は、上記ステップS61−1,2によって受信した事前中継要求情報に含まれている宛先端末(端末10db)のIPアドレス「1.3.2.4」に対して、上記事前送信情報を中継する(ステップS64−1,2)。これにより、宛先端末(端末10db)は、セッションID「se1」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元(中継元)である拡張データ中継装置(30a,30b)のIPアドレス(「1.2.1.2」,「1.2.2.2」)を把握することができる。   Next, each extended data relay device (30a, 30b) receives the IP address “1.3.2. Of the destination terminal (terminal 10db) included in the prior relay request information received in steps S61-1, 2 above. 4 "is relayed to the advance transmission information (steps S64-1, 2). Thereby, the destination terminal (terminal 10db) can grasp that the pre-transmission information has been sent in the execution of the session with the session ID “se1”, and is a transmission source (relay source) of the pre-transmission information. The IP address ("1.2.1.2", "1.2.2.2") of the extended data relay device (30a, 30b) can be grasped.

次に、宛先端末(端末10db)の最終絞込部16は、事前送信情報に基づいて、最終的にテレビ会議で画像データ及び音声データを中継する1つの拡張データ中継装置30に絞り込む(ステップS65)。   Next, the final narrowing unit 16 of the destination terminal (terminal 10db) finally narrows down to one extended data relay device 30 that relays image data and audio data in the video conference based on the pre-transmission information (step S65). ).

ここで、図4及び図24を用いて、ステップS65における処理を更に詳細に説明する。まず、図4に示されている最終絞込部16の計測部16aは、各拡張データ中継装置(30a,30b)によって中継された事前送信情報毎に、端末10dbの送受信部11で受信した際の受信日時を計測する(ステップS65−1)。次に、算出部16bは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する(ステップS65−2)。次に、最終選択部16cは、セッションID「se1」におけるセッションの実行において、中継予定の拡張データ中継装置30の数「2」に相当する数の事前送信情報を全て受信したかを判断する(ステップS65−3)。そして、全て受信していない場合には(NO)、最終選択部16cは、端末10dbで事前送信情報を受信してから所定時間(ここでは1分間)経過したかを判断する(ステップS65−4)。更に、所定時間経過していない場合には(NO)、上記ステップS65−1に戻る。一方、上記ステップ65−3において、全て受信した場合(YES)、又は上記ステップS65−4において、所定時間経過した場合(YES)には、最終選択部16cは、これまでに算出部16bで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した拡張データ中継装置30を1つ選択する(ステップS65−5)。本実施形態では、拡張データ中継装置30aによって中継された事前送信情報が、拡張データ中継装置30bによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、拡張データ中継装置30aが選択される例を示している。   Here, the process in step S65 will be described in more detail with reference to FIGS. First, when the measurement unit 16a of the final narrowing unit 16 illustrated in FIG. 4 receives the pre-transmission information relayed by each extension data relay device (30a, 30b) by the transmission / reception unit 11 of the terminal 10db. Is received (step S65-1). Next, the calculation unit 16b determines, for each pre-transmission information whose reception time is measured, from the transmission of each pre-transmission information based on the difference between the reception date and time and the transmission date and time included in the pre-transmission information. The time required until reception is calculated (step S65-2). Next, the final selection unit 16c determines whether or not the number of pieces of pre-transmission information corresponding to the number “2” of the extended data relay apparatuses 30 scheduled to be relayed has been received in the execution of the session with the session ID “se1” ( Step S65-3). If not all have been received (NO), the final selection unit 16c determines whether or not a predetermined time (here, 1 minute) has elapsed since the terminal 10db received the pre-transmission information (step S65-4). ). Further, if the predetermined time has not elapsed (NO), the process returns to step S65-1. On the other hand, when all the data is received in step 65-3 (YES) or when a predetermined time has elapsed (YES) in step S65-4, the final selection unit 16c has been calculated by the calculation unit 16b so far. One extended data relay device 30 that relays the pre-transmission information that requires the shortest required time is selected (step S65-5). In this embodiment, it is assumed that the pre-transmission information relayed by the extended data relay device 30a has a shorter required time from transmission to reception than the pre-transmission information relayed by the extended data relay device 30b. An example in which 30a is selected is shown.

なお、上記実施形態では、宛先端末(端末10db)側で拡張データ中継装置30aが絞り込まれたが、これに限るものではなく、宛先端末(端末10db)が要求元端末(端末10aa)又は管理システム50へ、事前送信情報の送信から受信までの所要時間を示した所要時間情報を全て送信することで、要求元端末(端末10aa)側又は管理システム50側で、最終的に1つの拡張データ中継装置30aが絞り込まれるようにしてもよい。   In the above embodiment, the extended data relay device 30a is narrowed down on the destination terminal (terminal 10db) side, but the present invention is not limited to this, and the destination terminal (terminal 10db) is the request source terminal (terminal 10aa) or the management system. 50, by transmitting all the required time information indicating the required time from the transmission of the pre-transmission information to the reception, finally one extended data relay is performed on the requesting terminal (terminal 10aa) side or the management system 50 side. The device 30a may be narrowed down.

次に、宛先端末(端末10db)は、送受信部11から通信ネットワーク2を介して管理システム50へ、拡張データ中継装置30aを選択した旨を示す選択情報を送信する(ステップS66)。この選択情報には、セッションID「se1」、及び、選択された拡張データ中継装置30aの拡張データ中継装置ID「111a」が含まれている。これにより、管理システム50は、セッションID「se1」におけるセッションの実行において、拡張データ中継装置30aが選択されたことを把握できると共に、選択情報の送信元である端末10dbのIPアドレス「1.3.2.4」を把握することができる。   Next, the destination terminal (terminal 10db) transmits selection information indicating that the extended data relay device 30a has been selected from the transmission / reception unit 11 to the management system 50 via the communication network 2 (step S66). This selection information includes the session ID “se1” and the extension data relay device ID “111a” of the selected extension data relay device 30a. As a result, the management system 50 can grasp that the extended data relay device 30a has been selected in the execution of the session with the session ID “se1”, and the IP address “1.3” of the terminal 10db that is the transmission source of the selection information. .2.4 ".

次に、管理システム50のセッション管理部57は、セッション管理DB5005(図13参照)のセッション管理テーブルにおいて、セッションID「se1」が含まれるレコードの拡張データ中継装置IDのフィールド部分に、上記最終的に1つに選択された拡張データ中継装置30aの拡張データ中継装置ID「111a」を記憶して管理する(ステップS67)。そして、管理システム50の拡張データ中継要求部61は、送受信部51を介して拡張データ中継装置30aへ、中継を開始する旨の要求が示された中継開始要求情報を送信する(ステップS68)。この中継開始要求情報には、中継される要求元端末(端末10aa)及び宛先端末(端末10db)の各IPアドレス(「1.2.1.3」,「1.3.2.4」)が含まれている。これにより、拡張データ中継装置30aの拡張データ中継部36は、拡張データ中継装置30aのIPアドレスが含まれ、拡張データの送信を要求する旨の拡張データ送信要求情報を要求元端末(端末10aa)と宛先端末(端末10db)に送信する(ステップS69−1,S69−2)。要求元端末(端末10aa)と宛先端末(端末10db)は、それぞれ拡張データを拡張データ中継装置30aに送信する。拡張データ中継装置30aの中継部36が、一方の端末から受信した拡張データを他方の端末に中継することにより、拡張データを通信するためのセッションを確立する(ステップS70)。   Next, the session management unit 57 of the management system 50 adds the final data to the field portion of the extended data relay device ID of the record including the session ID “se1” in the session management table of the session management DB 5005 (see FIG. 13). The extension data relay device ID “111a” of the selected extension data relay device 30a is stored and managed (step S67). Then, the extended data relay request unit 61 of the management system 50 transmits relay start request information indicating a request to start relaying to the extended data relay device 30a via the transmission / reception unit 51 (step S68). In this relay start request information, each IP address (“1.2.1.3”, “1.3.2.4”) of the request source terminal (terminal 10aa) and destination terminal (terminal 10db) to be relayed is included. It is included. As a result, the extended data relay unit 36 of the extended data relay device 30a includes the IP address of the extended data relay device 30a and sends extended data transmission request information requesting transmission of extended data to the request source terminal (terminal 10aa). To the destination terminal (terminal 10db) (steps S69-1 and S69-2). The request source terminal (terminal 10aa) and the destination terminal (terminal 10db) each transmit the extended data to the extended data relay device 30a. The relay unit 36 of the extended data relay device 30a establishes a session for communicating extended data by relaying the extended data received from one terminal to the other terminal (step S70).

なお、上記ステップS47において、管理システム50が宛先端末(端末10db)に拡張データ中継装置絞込情報を送信することに伴い、ステップS48〜S64−1,2を経て、宛先端末(端末10db)側で拡張データ中継装置の選択処理(ステップS65)を行ったが、これに限るものではなく、上記ステップS47において、管理システム50が要求元端末(端末10aa)に拡張データ中継装置絞込情報を送信することで、その後ステップS64−1,2までは、各情報の送信元と受信元が、要求元端末(端末10aa)と宛先端末(端末10db)とで入れ替わるようにしてもよい。これにより、要求元端末(端末10aa)が上記ステップS65に替わって拡張データ中継装置の選択処理を行うことができ、また、上記ステップS66に替わって選択情報の送信も行うことができる。   In step S47, the management system 50 transmits the extended data relay device narrowing information to the destination terminal (terminal 10db), and the destination terminal (terminal 10db) side passes through steps S48 to S64-1,2. However, the present invention is not limited to this, and in step S47, the management system 50 transmits the extended data relay device narrowing information to the request source terminal (terminal 10aa). Thus, after that, until steps S64-1 and S64-2, the transmission source and reception source of each information may be switched between the request source terminal (terminal 10aa) and the destination terminal (terminal 10db). Accordingly, the request source terminal (terminal 10aa) can perform the extension data relay device selection process instead of step S65, and can also transmit the selection information instead of step S66.

続いて、図4及び図25を用いて、要求元端末(端末10aa)と宛先端末(端末10db)との間で、テレビ会議を行うために、拡張データを送受信する処理を説明する。なお、端末10aaから端末10dbに画像データ及び音声データを送信する一方向の処理と、端末10dbから端末10aaに画像データ及び音声データを送信する逆方向の処理とで、画像データ及び音声データの送受信や後述の遅延時間の検出等は同じ処理であるため、上記一方向の通信について説明し、上記逆方向の通信は省略する。   Next, a process for transmitting / receiving extension data to perform a video conference between the request source terminal (terminal 10aa) and the destination terminal (terminal 10db) will be described with reference to FIGS. Note that image data and audio data are transmitted and received in one-way processing for transmitting image data and audio data from the terminal 10aa to the terminal 10db and in reverse processing for transmitting image data and audio data from the terminal 10db to the terminal 10aa. Since the delay time detection and the like described later are the same process, the one-way communication will be described, and the reverse communication will be omitted.

まず、要求元端末(端末10aa)の符号化部は、撮像部14aで撮像された被写体の画像データ、及び音声入力部15aで入力された音声の音声データを、記憶部1000に記憶されたコーデックを用いて符号化する。ここでは、符号化部20は、画像データを1つの基本データと2つの拡張データ(拡張データ1、拡張データ2)に符号化する。次に要求元端末(端末10aa)は、符号化されたデータのうち拡張データを送受信部11から通信ネットワーク2を介して拡張データ中継装置30aへ送信する(ステップS81)。これにより、拡張データ中継装置30aでは、送受信部31で上記2つの拡張データ(拡張データ1、拡張データ2)を受信する。そして、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図8参照)を検索し、対応した中継する画像データの画質(中継する拡張データ)を抽出することで、中継する画像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された画像データの画像の画質が「高画質」であり、中継する拡張データの変更はないので、そのままのデータ(拡張データ1、拡張データ2)で、宛先端末(端末10db)に転送する(ステップS83)。これにより、宛先端末(端末10db)は、送受信部11で拡張データ(拡張データ1、拡張データ2)を受信する。宛先端末(端末10db)の復号化部21は、この拡張データ(拡張データ1、拡張データ2)と、別途、基本データ中継装置430から受信した基本データと、によって高画質の画像データを復号化する。また、宛先端末(端末10db)の復号化部21は、別途、基本データ中継装置430から受信した音声データを復号化する。このようにして、画像表示制御部14bがディスプレイ120に上記画像データに基づく画像を表示させると共に、音声出力部15bが音声データに基づく音声を出力させることができる。   First, the encoding unit of the request source terminal (terminal 10aa) receives the image data of the subject imaged by the imaging unit 14a and the audio data of the audio input by the audio input unit 15a, and the codec stored in the storage unit 1000. Is encoded using. Here, the encoding unit 20 encodes the image data into one basic data and two extension data (extension data 1 and extension data 2). Next, the request source terminal (terminal 10aa) transmits the extension data of the encoded data from the transmission / reception unit 11 to the extension data relay device 30a via the communication network 2 (step S81). Thereby, in the extended data relay device 30a, the transmission / reception unit 31 receives the two extended data (extended data 1 and extended data 2). Then, the data quality confirmation unit 33 searches the change quality management DB 3001 (see FIG. 8) using the IP address “1.3.2.4” of the destination terminal (terminal 10db) as a search key, and the corresponding relay image The image quality of the image data to be relayed is confirmed by extracting the image quality of the data (extended data to be relayed) (step S82). In the present embodiment, the image quality of the confirmed image data is “high quality”, and there is no change of the extended data to be relayed. Therefore, the destination terminal (terminal data) is the same data (extended data 1, extended data 2). 10db) (step S83). As a result, the destination terminal (terminal 10db) receives the extension data (extension data 1, extension data 2) by the transmission / reception unit 11. The decoding unit 21 of the destination terminal (terminal 10db) decodes the high-quality image data using the extension data (extension data 1, extension data 2) and the basic data separately received from the basic data relay device 430. To do. Also, the decoding unit 21 of the destination terminal (terminal 10db) separately decodes the voice data received from the basic data relay device 430. In this manner, the image display control unit 14b can display an image based on the image data on the display 120, and the audio output unit 15b can output audio based on the audio data.

次に、端末10dbの遅延検出部17は、送受信部11で受信された拡張データの受信の拡張データ遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、拡張データ遅延時間が200(ms)である場合について、以下説明を続ける。   Next, the delay detection unit 17 of the terminal 10db detects the extended data delay time of reception of the extended data received by the transmission / reception unit 11 at regular time intervals (for example, every second) (step S84). In the present embodiment, the following description is continued for the case where the extended data delay time is 200 (ms).

宛先端末(端末10db)の送受信部11は、通信ネットワーク2を介して管理システム50へ、拡張データ遅延時間「200(ms)」を示す拡張データ遅延情報を送信する(ステップS85)。これにより、管理システム50は、拡張データ遅延時間を把握すると共に、拡張データ遅延情報の送信元である端末10dbのIPアドレス「1.3.2.4」を把握することができる。   The transmission / reception unit 11 of the destination terminal (terminal 10db) transmits the extended data delay information indicating the extended data delay time “200 (ms)” to the management system 50 via the communication network 2 (step S85). As a result, the management system 50 can grasp the extended data delay time and the IP address “1.3.2.4” of the terminal 10db that is the transmission source of the extended data delay information.

次に、管理システム50の拡張データ遅延時間管理部60は、上記宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、端末管理DB5003(図11参照)を検索することで、対応する端末ID「01db」を抽出し、更に、セッション管理DB5005(図13参照)のセッション管理テーブルにおいて、上記端末ID「01db」のレコードにおける拡張データ遅延時間のフィールド部分に、上記拡張データ遅延情報で示されている拡張データ遅延時間「200(ms)」を記憶して管理する(ステップS86)。   Next, the extended data delay time management unit 60 of the management system 50 searches the terminal management DB 5003 (see FIG. 11) using the IP address “1.3.2.4” of the destination terminal (terminal 10db) as a search key. Then, the corresponding terminal ID “01db” is extracted, and in the session management table of the session management DB 5005 (see FIG. 13), the field portion of the extended data delay time in the record of the terminal ID “01db” The extended data delay time “200 (ms)” indicated by the extended data delay information is stored and managed (step S86).

次に、品質決定部58は、上記拡張データ遅延時間「200(ms)」を検索キーとして、品質管理DB5007(図16参照)を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。   Next, the quality determination unit 58 searches the quality management DB 5007 (see FIG. 16) using the extended data delay time “200 (ms)” as a search key, and extracts the image quality “medium image quality” of the corresponding image data. Thus, the image quality is determined as “medium image quality” (step S87).

次に、送受信部51は、セッション管理DB(図13参照)のセッション管理テーブルにおいて、上記端末ID「01db」に関連付けられている拡張データ中継装置ID「111a」を検索キーとして、拡張データ中継装置管理DB5001(図9参照)を検索し、対応する拡張データ中継装置30aのIPアドレス「1.2.1.2」を抽出する(ステップS88)。そして、送受信部51は、通信ネットワーク2を介して拡張データ中継装置30aへ、上記ステップS87によって決定された画像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末(端末10db)のIPアドレス「1.3.2.4」が含まれている。これにより、拡張データ中継装置30aでは、変更品質管理部34が、変更品質管理DB3001(図8参照)に、送信先の端末10(ここでは、宛先端末(端末10db))のIPアドレス「1.3.2.4」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。   Next, the transmission / reception unit 51 uses the extended data relay device ID “111a” associated with the terminal ID “01db” in the session management table of the session management DB (see FIG. 13) as a search key. The management DB 5001 (see FIG. 9) is searched to extract the IP address “1.2.1.2” of the corresponding extended data relay device 30a (step S88). Then, the transmission / reception unit 51 transmits quality information indicating the image quality “medium image quality” of the image data determined in step S87 to the extended data relay device 30a via the communication network 2 (step S89). This quality information includes the IP address “1.3.2.4” of the destination terminal (terminal 10db) used as the search key in step S86. Thereby, in the extended data relay device 30a, the change quality management unit 34 stores the IP address “1...” Of the destination terminal 10 (here, the destination terminal (terminal 10db)) in the change quality management DB 3001 (see FIG. 8). “3.2.4” and the image quality “medium image quality” of the image data to be relayed are stored and managed in association with each other (step S90).

次に、端末10aaは、引き続き上記ステップS81と同様に、拡張データ中継装置30aへ、拡張データ(拡張データ1、拡張データ3)の2つから成る拡張データを送信する(ステップS91)。これにより、拡張データ中継装置30aでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末(端末10db)のIPアドレス「1.3.2.4」を検索キーとして、変更品質管理DB3001(図8参照)を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する(ステップS92)。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部31で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部35は、中継する拡張データを、拡張データ1及び拡張データ2から拡張データ1に抑制することで、画像データの画像の品質を変更する(ステップS93)。そして、送受信部31は、通信ネットワーク2を介して端末10dbへ、拡張データ1を送信する(ステップS94)。このように、画像データを受信する宛先端末(端末10db)で、受信の遅延が生じた場合には、拡張データ中継装置30aは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。   Next, similarly to step S81, the terminal 10aa continuously transmits the extension data including the extension data (extension data 1, extension data 3) to the extension data relay device 30a (step S91). As a result, in the extended data relay device 30a, the data quality confirmation unit 33 uses the IP address “1.3.2.4” of the destination terminal (terminal 10db) as a search key in the same way as in step S82 described above. The DB 3001 (see FIG. 8) is searched, and the image quality “medium image quality” of the corresponding image data to be relayed is extracted to check the image quality of the image data to be relayed (step S92). In this embodiment, since the image quality of the confirmed image data is “medium image quality” and lower than the image quality “high image quality” of the image data received by the transmission / reception unit 31, the data quality changing unit 35 relays. The quality of the image data is changed by suppressing the extension data from the extension data 1 and the extension data 2 to the extension data 1 (step S93). Then, the transmitting / receiving unit 31 transmits the extension data 1 to the terminal 10db via the communication network 2 (step S94). In this way, when reception delay occurs at the destination terminal (terminal 10db) that receives the image data, the extended data relay device 30a changes the quality of the image, and the person participating in the video conference feels uncomfortable. Can not be given.

<<実施形態の主な効果>>
以上説明したように本実施形態によれば、画像又は音声の再生に必須な基本データを、基本データ中継部を複数有するとともに、これらの基本データ中継部の中から端末間の通信毎に一つの基本データ中継部を選択する選択部を有する基本データ中継システムにより中継し、この画像又は音声の品質を高めるための拡張データを拡張データ中継装置により中継することができる。これにより、拡張データ中継装置に障害が発生して拡張データを中継することができなくなっても、基本データ中継装置により基本データを中継することができるので、端末間の通信を継続することができる。
<< Main effects of embodiment >>
As described above, according to the present embodiment, the basic data essential for image or audio reproduction is provided with a plurality of basic data relay units, and one basic data relay unit is provided for each communication between terminals. It is possible to relay by the basic data relay system having a selection unit for selecting the basic data relay unit, and relay the extension data for improving the quality of the image or the voice by the extension data relay device. As a result, even if a failure occurs in the extended data relay device and the extended data cannot be relayed, the basic data can be relayed by the basic data relay device, so that communication between terminals can be continued. .

また、本実施形態によれば、基本データを送信する端末の数である接続数を基本データ中継装置毎に管理し、接続数の最も少ない基本データ中継装置の中から基本データの中継に用いられる基本データ中継装置を選択する。各端末から送信される基本データはほぼ同じ容量であるので、上記のように基本データ中継装置を選択することで、各基本データ用中継装置に掛かる負荷がほぼ等しくなる。   In addition, according to the present embodiment, the number of connections, which is the number of terminals that transmit basic data, is managed for each basic data relay device, and used for relaying basic data from among the basic data relay devices with the smallest number of connections. Select the basic data relay device. Since the basic data transmitted from each terminal has almost the same capacity, the load applied to each basic data relay device becomes almost equal by selecting the basic data relay device as described above.

また、本実施形態によれば、基本データ中継装置が、端末に基本データの送信を要求し、この要求に対する応答で送信された基本データを宛先としての端末に中継する。更に、拡張データ中継装置が、端末に拡張データの送信を要求し、この要求に対する応答で送信された拡張データを宛先としての端末に中継する。これにより、基本データを可用性の高い基本データ中継装置により中継し、拡張データを拡張データ中継装置により中継することができる。このため、拡張データ中継装置に障害が発生して拡張データを中継することができなくなっても、基本データ中継装置により基本データを中継することができるので、端末間の通信を継続することができる。   Further, according to the present embodiment, the basic data relay device requests the terminal to transmit basic data, and relays the basic data transmitted in response to the request to the terminal as the destination. Further, the extended data relay apparatus requests the terminal to transmit the extended data, and relays the extended data transmitted in response to the request to the terminal as the destination. Thereby, basic data can be relayed by a highly available basic data relay device, and extended data can be relayed by an extended data relay device. For this reason, even if a failure occurs in the extended data relay device and the extended data cannot be relayed, the basic data can be relayed by the basic data relay device, so that communication between terminals can be continued. .

また、本実施形態によれば、管理システムが、複数の拡張データ中継装置から選択された拡張データ中継システムに、拡張データの中継の開始を要求し、予め定められた基本データ中継システムに、基本データの中継の開始を要求する。これにより、基本データのデータ量は拡張データのデータ量よりも通常小さいため、予め定められた基本データ中継システムを用いた場合でも、この基本データ中継システムに大きな負荷が掛からない。また、データ量が大きく伝送の遅れが発生し易い拡張データについては、伝送速度等の特性に応じて選択された拡張データ中継装置により中継することにより通信の品質を向上させることができる。   Further, according to the present embodiment, the management system requests the extension data relay system selected from the plurality of extension data relay apparatuses to start the extension data relay, and the basic data relay system determined in advance Request to start relaying data. Thereby, since the data amount of the basic data is usually smaller than the data amount of the extended data, even when a predetermined basic data relay system is used, a large load is not applied to the basic data relay system. Further, for extended data that has a large amount of data and is likely to be delayed in transmission, the quality of communication can be improved by relaying it with an extended data relay device selected according to characteristics such as transmission speed.

また、本実施形態によれば、端末10が、画像データ及び音声データの少なくとも一方のデータを、基本データと拡張データとに符号化し、符号化された基本データを基本データ中継システムに送信し、符号化された拡張データを拡張データ中継装置に送信する。これにより、基本データを可用性の高い基本データ中継装置により中継し、拡張データを拡張データ中継装置により中継することができる。このため、拡張データ中継装置に障害が発生して拡張データを中継することができなくなっても、基本データ中継装置により基本データを中継することができるので、端末間の通信を継続することができる。   Further, according to the present embodiment, the terminal 10 encodes at least one of image data and audio data into basic data and extension data, and transmits the encoded basic data to the basic data relay system. The encoded extension data is transmitted to the extension data relay apparatus. Thereby, basic data can be relayed by a highly available basic data relay device, and extended data can be relayed by an extended data relay device. For this reason, even if a failure occurs in the extended data relay device and the extended data cannot be relayed, the basic data can be relayed by the basic data relay device, so that communication between terminals can be continued. .

また、本実施形態によれば、通信ネットワーク2のうち、拡張データ中継装置30のIPアドレス等のLAN2の環境を入手することができたとしても、インターネット2iの環境までは入手することは困難であるため、まずは入手できる環境の情報から、画像データ及び音声データを中継する複数の拡張データ中継装置30のうち2つ以上まで絞り込む。そして、次に複数の端末10の間で画像データ及び音声データを実際に送受信する前に、画像データ及び音声データに替えて、事前送信情報を送受信させてみることで、実際に最も早く事前送信情報を中継することができる1つの拡張データ中継装置30に絞り込むことができるという効果を奏する。   Further, according to the present embodiment, even if the LAN 2 environment such as the IP address of the extended data relay device 30 can be obtained in the communication network 2, it is difficult to obtain the environment of the Internet 2i. Therefore, first, the available environment information is narrowed down to two or more of a plurality of extended data relay devices 30 that relay image data and audio data. Then, before actually transmitting / receiving the image data and audio data among the plurality of terminals 10, it is actually transmitted the earliest in advance by transmitting / receiving the pre-transmission information instead of the image data and audio data. There is an effect that the information can be narrowed down to one extended data relay device 30 capable of relaying information.

即ち、端末10のIPアドレスの何れかに近い上位2つ以上のIPアドレスがそれぞれ割り当てられている拡張データ中継装置30を選択することで、最終的に使用される拡張データ中継装置30の候補を2つ以上残すことができる。これにより、その後、実際に候補としての各拡張データ中継装置30を介して、要求元端末と宛先端末の間で事前送信情報を送受信することで、上記2つ以上の候補の拡張データ中継装置30のうち、送受信に要した所要時間が最短の事前送信情報を中継した拡張データ中継装置30に絞り込むことができる。よって、現状の通信ネットワーク2の環境下で最大限に高品質の画像データ又は音声データを送受信することを実現することができるという効果を奏する。   That is, by selecting the extended data relay device 30 to which the upper two or more IP addresses close to any of the IP addresses of the terminal 10 are respectively selected, the candidate of the extended data relay device 30 to be finally used is selected. Two or more can be left. As a result, the advance transmission information is transmitted / received between the request source terminal and the destination terminal via each of the extended data relay apparatuses 30 as actual candidates, thereby the two or more candidate extended data relay apparatuses 30. Among them, it is possible to narrow down to the extended data relay device 30 that relays the pre-transmission information having the shortest time required for transmission and reception. Therefore, it is possible to realize transmission and reception of high-quality image data or audio data to the maximum in the current communication network 2 environment.

また、本実施形態では、拡張データ中継装置30を絞り込む際に、テレビ会議を行う端末10のIPアドレスに近いIPアドレスの拡張データ中継装置30を優先的に選択するだけでなく、各拡張データ中継装置30における最大データ伝送速度も考慮して、2つ以上の拡張データ中継装置30が選択されている。これにより、現実の通信ネットワーク2の環境に即した拡張データ中継装置30の候補を絞り込むことができるという効果を奏する。   Further, in the present embodiment, when narrowing down the extended data relay device 30, not only the extended data relay device 30 having an IP address close to the IP address of the terminal 10 that performs the video conference is preferentially selected but also each extended data relay device is selected. Two or more extended data relay apparatuses 30 are selected in consideration of the maximum data transmission rate in the apparatus 30. Thereby, there is an effect that candidates for the extended data relay device 30 can be narrowed down in accordance with the environment of the actual communication network 2.

更に、本実施形態では、拡張データ中継装置30を絞り込む際に、稼動状態がONラインである拡張データ中継装置30の中から絞り込むため、現実の通信ネットワーク2の環境に更に即した拡張データ中継装置30の候補を絞り込むことができる。   Furthermore, in the present embodiment, when the extension data relay device 30 is narrowed down, the extension data relay device is further matched with the environment of the actual communication network 2 in order to narrow down from the extension data relay device 30 whose operation state is ON line. Thirty candidates can be narrowed down.

<<実施形態の補足>>
なお、上記各実施形態における管理システム50、及びプログラム提供システム90は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
<< Supplement of Embodiment >>
The management system 50 and the program providing system 90 in each of the above embodiments may be constructed by a single computer, or may be constructed by a plurality of computers arbitrarily assigned by dividing each unit (function or means). May be. In addition, when the program providing system 90 is constructed by a single computer, the program transmitted by the program providing system 90 may be transmitted by dividing it into a plurality of modules. It may be transmitted. Further, when the program providing system 90 is constructed by a plurality of computers, a plurality of modules may be divided and transmitted from each computer.

また、上記各実施形態における基本データ中継システム40は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。   In addition, the basic data relay system 40 in each of the above embodiments may be constructed by a single computer, or may be constructed by a plurality of computers arbitrarily assigned by dividing each unit (function or means). Good. In addition, when the program providing system 90 is constructed by a single computer, the program transmitted by the program providing system 90 may be transmitted by dividing it into a plurality of modules. It may be transmitted. Further, when the program providing system 90 is constructed by a plurality of computers, a plurality of modules may be divided and transmitted from each computer.

また、上記各実施形態における拡張データ中継装置30は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。   Further, the extended data relay device 30 in each of the above embodiments may be constructed by a single computer, or may be constructed by a plurality of computers arbitrarily assigned by dividing each unit (function or means). Good. In addition, when the program providing system 90 is constructed by a single computer, the program transmitted by the program providing system 90 may be transmitted by dividing it into a plurality of modules. It may be transmitted. Further, when the program providing system 90 is constructed by a plurality of computers, a plurality of modules may be divided and transmitted from each computer.

また、上記本実施形態の端末用プログラム、拡張データ中継装置用プログラム、及び伝送管理用プログラムが記憶された記録媒体、並びに、これらプログラムが記憶されたHD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記端末用プログラム、拡張データ中継装置用プログラム、及び伝送管理用プログラムが利用者等に提供される場合に用いられる。   Further, the terminal program, the extended data relay device program, and the transmission management program of the present embodiment, the HD 204 storing the program, and the program providing system 90 including the HD 204 are stored. Are used when the terminal program, the extended data relay device program, and the transmission management program are provided to users or the like domestically or abroad as a program product.

更に、上記実施形態では、図8に示されている変更品質管理テーブル、及び図16に示されている品質管理テーブルによって、拡張データ中継装置30で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。   Furthermore, in the above-described embodiment, as an example of the image quality of the image data relayed by the extended data relay device 30 by the change quality management table shown in FIG. 8 and the quality management table shown in FIG. The image data is managed by focusing on the resolution of the image. However, the present invention is not limited to this. Other examples of the quality include the depth of the image quality of the image data, the sampling frequency in the sound of the sound data, and the sound in the sound of the sound data. You may manage by paying attention to bit length.

また、図9、図11、及び図13では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。   9, 11, and 13, the reception date and time are managed. However, the present invention is not limited to this, and at least the reception time of the reception date and time may be managed.

更に、上記実施形態では、図7で基本データ中継装置のIPアドレス、図9で拡張データ中継装置のIPアドレス、図11で端末のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で拡張データ中継装置30を特定するための拡張データ中継装置特定情報、又は通信ネットワーク2上で端末10を特定するための端末特定情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。なお、「通信ネットワーク2で拡張データ中継装置30を特定するための拡張データ中継装置特定情報」だけでなく、「通信ネットワーク2上における拡張データ中継装置30への接続先を示した拡張データ中継装置接続先情報」、又は「通信ネットワーク2上における拡張データ中継装置30への宛先を示した拡張データ中継装置宛先情報」と表現してもよい。同じく、「通信ネットワーク2で端末10を特定するための端末特定情報」だけでなく、「通信ネットワーク2上における端末10への接続先を示した端末接続先情報」、又は「通信ネットワーク2上における端末10への宛先を示した端末宛先情報」と表現してもよい。   Further, in the above embodiment, the IP address of the basic data relay apparatus is managed in FIG. 7, the IP address of the extended data relay apparatus in FIG. 9, and the IP address of the terminal in FIG. 11, but this is not restrictive. If the extended data relay device specifying information for specifying the extended data relay device 30 on the communication network 2 or the terminal specifying information for specifying the terminal 10 on the communication network 2, each FQDN (Fully Qualified Domain) is used. Name) may be managed. In this case, an IP address corresponding to the FQDN is acquired by a known DNS (Domain Name System) server. Not only “extended data relay device specifying information for specifying the extended data relay device 30 in the communication network 2” but also “extended data relay device indicating a connection destination to the extended data relay device 30 on the communication network 2”. It may be expressed as “connection destination information” or “extended data relay device destination information indicating a destination to the extended data relay device 30 on the communication network 2”. Similarly, not only “terminal specifying information for specifying the terminal 10 in the communication network 2” but also “terminal connection destination information indicating a connection destination to the terminal 10 on the communication network 2” or “on the communication network 2 It may be expressed as “terminal destination information indicating a destination to the terminal 10”.

また、上記実施形態では、伝送システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、伝送システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、端末30の一方が自動車に搭載されたカーナビゲーション装置に相当し、端末30の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。   In the above embodiment, a video conference system has been described as an example of the transmission system 1. However, the present invention is not limited to this, and a telephone system such as an IP (Internet Protocol) telephone or an Internet telephone may be used. . Further, the transmission system 1 may be a car navigation system. In this case, for example, one of the terminals 30 corresponds to a car navigation device mounted on a car, and the other of the terminals 30 is mounted on a management terminal or management server of a management center that manages car navigation, or another car. This corresponds to a car navigation device.

また、上記実施形態では、基本データ中継装置430が端末10に基本データ等を送信する旨の要求をし、端末10がこの要求に応じて基本データを基本データ中継装置430に送信する場合について説明したが、これに限るものではない。この場合、例えば、管理システム50が端末10に基本データ中継システム40の選択装置410のIPアドレスを送信し、端末10がこのIPアドレスに基づき基本データ中継システム40に基本データの中継を要求しても良い。   In the above embodiment, the basic data relay device 430 requests the terminal 10 to transmit basic data or the like, and the terminal 10 transmits basic data to the basic data relay device 430 in response to the request. However, it is not limited to this. In this case, for example, the management system 50 transmits the IP address of the selection device 410 of the basic data relay system 40 to the terminal 10, and the terminal 10 requests the basic data relay system 40 to relay basic data based on this IP address. Also good.

また、上記実施形態では、端末間の通信を開始するときに選択部412が基本データ中継装置を選択する場合について説明したが、これに限るものではない。この場合、例えば、基本データ中継装置の故障時や基本データ中継装置のメンテナンス時等において、基本データ中継装置が基本データを中継できなくなった場合に、新たな基本データ中継装置を選択して、連続的に基本データ通信セッションを維持する構成としても良い。これにより、基本データ中継装置に障害が発生して基本データを中継することができなくなっても、選択装置によって新たに選択された基本データ中継装置により基本データを中継することができるので、端末間の通信を継続することができる。   Moreover, although the said embodiment demonstrated the case where the selection part 412 selects a basic data relay apparatus when starting communication between terminals, it is not restricted to this. In this case, for example, when the basic data relay device becomes unable to relay basic data due to a failure of the basic data relay device or maintenance of the basic data relay device, a new basic data relay device is selected and continuously Alternatively, a basic data communication session may be maintained. As a result, even if the basic data relay device fails and the basic data cannot be relayed, the basic data can be relayed by the basic data relay device newly selected by the selection device. Communication can be continued.

また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末側でユーザが接触した感覚が、他方の端末側に伝達される。更に、コンテンツデータは、嗅覚(smell)データであってもよい。この場合、一方の端末側の匂い(臭い)が、他の端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ、及び嗅覚データのうち、少なくとも1つのデータであればよい。   In the above embodiment, image data and audio data have been described as an example of content data. However, the present invention is not limited to this, and touch data may be used. In this case, the feeling that the user touched on one terminal side is transmitted to the other terminal side. Further, the content data may be smell data. In this case, the odor (odor) on one terminal side is transmitted to the other terminal side. The content data may be at least one of image data, audio data, tactile data, and olfactory data.

また、上記実施形態では、伝送システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。   Further, in the above embodiment, the case where a video conference is performed by the transmission system 1 has been described. However, the present invention is not limited to this, and a general conversation such as a meeting, a family or a friend, or information in one direction is performed. It may be used for presentation.

10 伝送端末
11 送受信部(送信部の一例)
16 最終絞込部
16a 計測部
16b 算出部
16c 最終選択部
17 遅延検出部
19 記憶・読出処理部
20 符号化部
21 復号化部
30 拡張データ中継装置
31 送受信部
32 状態検知部
33 データ品質確認部
34 変更品質管理部
35 データ品質変更部
36 拡張データ中継部
39 記憶・読出処理部
40 基本データ中継システム
51 送受信部
52 端末認証部
53 状態管理部
54 端末抽出部
55 端末状態取得部
56 一次絞込部
56a 選択用セッションID生成部
56b 端末IPアドレス抽出部
56c 一次選択部56c
56d 優先度決定部
57 セッション管理部
58 品質決定部
59 記憶・読出処理部
60 拡張データ遅延時間管理部
61 拡張データ中継要求部
62 基本データ中継要求部
101 CPU
102 ROM
103 RAM
104 フラッシュメモリ
105 SSD
106 メディア
107 メディアドライブ
108 操作ボタン
109 電源スイッチ
110 バスライン
111 ネットワークI/F
112 カメラ
113 撮像素子I/F
114 マイク
115 スピーカ
116 音声入力I/F
117 ディスプレイI/F
118 外部機器接続I/F
120 ディスプレイ
410 選択装置
411 送受信部
412 選択部
413 接続数管理部
419 記憶・読出処理部
431 送受信部
436 基本データ中継部
1000 記憶部
3000 記憶部
3001 変更品質管理DB
4100 記憶部
4101 接続数管理DB
5000 記憶部
5001 拡張データ中継装置管理DB
5002 端末認証管理DB
5003 端末管理DB
5004 宛先リスト管理DB
5005 セッション管理DB
5006 優先度管理DB
5007 品質管理DB
5008 基本データ中継システム管理DB
10 Transmission terminal 11 Transmission / reception unit (an example of a transmission unit)
16 final narrowing unit 16a measuring unit 16b calculating unit 16c final selecting unit 17 delay detecting unit 19 storage / reading processing unit 20 encoding unit 21 decoding unit 30 extended data relay device 31 transmission / reception unit 32 state detection unit 33 data quality confirmation unit 34 Change Quality Management Unit 35 Data Quality Change Unit 36 Extended Data Relay Unit 39 Storage / Read Processing Unit 40 Basic Data Relay System 51 Transmission / Reception Unit 52 Terminal Authentication Unit 53 Status Management Unit 54 Terminal Extraction Unit 55 Terminal Status Acquisition Unit 56 Primary Refinement Unit 56a Selection session ID generation unit 56b Terminal IP address extraction unit 56c Primary selection unit 56c
56d priority determination unit 57 session management unit 58 quality determination unit 59 storage / read processing unit 60 extended data delay time management unit 61 extended data relay request unit 62 basic data relay request unit 101 CPU
102 ROM
103 RAM
104 Flash memory 105 SSD
106 Media 107 Media drive 108 Operation button 109 Power switch 110 Bus line 111 Network I / F
112 Camera 113 Image sensor I / F
114 Microphone 115 Speaker 116 Audio input I / F
117 Display I / F
118 External device connection I / F
120 Display 410 Selection Device 411 Transmission / Reception Unit 412 Selection Unit 413 Connection Number Management Unit 419 Storage / Read Processing Unit 431 Transmission / Reception Unit 436 Basic Data Relay Unit 1000 Storage Unit 3000 Storage Unit 3001 Change Quality Management DB
4100 Storage unit 4101 Connection number management DB
5000 storage unit 5001 extended data relay device management DB
5002 Terminal authentication management DB
5003 Terminal management DB
5004 Destination list management DB
5005 Session management DB
5006 Priority management DB
5007 Quality Management DB
5008 Basic data relay system management DB

特開2008−227577号公報JP 2008-227577 A 特表2009−508454号公報Special table 2009-508454 gazette

請求項1に係る発明は、画像データ及び音声データの少なくとも1つを、所定の符号化の方式を利用して、映像又は音声を再生するために必須な基本データ、及び該基本データと組み合わせて復号化することで前記再生する映像又は音声の品質を高める拡張データに分けて符号化する符号化部と、前記符号化部によって符号化された基本データおよび拡張データを他の伝送端末に対して送信する送信部と、前記他の伝送端末において前記所定の符号化の方式を利用して符号化された基本データおよび拡張データを受信する受信部と、を有し、前記基本データを中継可能な基本データ中継装置が選択されると、前記基本データ中継装置と自伝送端末との間で確立される第一のセッションを利用して、前記送信部及び前記受信部は、前記基本データを送信又は受信し、前記基本データ中継装置とは異なる、前記拡張データを中継可能な拡張データ中継装置が選択されると、前記拡張データ中継装置と自伝送端末との間で確立される前記第一のセッションとは異なる第二のセッションを利用して、前記送信部及び前記受信部は、前記拡張データを送信又は受信すること、を特徴とする伝送端末である

The invention according to claim 1 combines at least one of image data and audio data with basic data essential for reproducing video or audio using a predetermined encoding method, and the basic data. An encoding unit that performs encoding by dividing into extension data that enhances the quality of the video or audio to be reproduced by decoding, and the basic data and extension data encoded by the encoding unit to other transmission terminals A transmitting unit for transmitting, and a receiving unit for receiving basic data and extension data encoded using the predetermined encoding method in the other transmission terminal, and capable of relaying the basic data When the basic data relay device is selected, the transmitting unit and the receiving unit use the first session established between the basic data relay device and the own transmission terminal to When an extended data relay device capable of relaying the extended data, which is different from the basic data relay device, is selected, the first data established between the extended data relay device and its own transmission terminal is selected. The transmission unit and the reception unit transmit or receive the extension data by using a second session different from the one session .

Claims (5)

画像又は音声の再生に必須な基本データと前記画像又は前記音声の品質を高めるための拡張データとを、伝送端末間で通信ネットワークを介して送受信するための伝送システムであって、
送信元としての伝送端末から送信される前記基本データを宛先としての伝送端末に中継する基本データ中継部を複数有するとともに、これらの基本データ中継部の中から伝送端末間の通信毎に一つの基本データ中継部を選択する選択部を有する基本データ中継システムと、
前記送信元としての伝送端末から送信される前記拡張データを前記宛先としての伝送端末に中継する拡張データ中継部を有する拡張データ中継システムと、
を有することを特徴とする伝送システム。
A transmission system for transmitting and receiving basic data essential for reproduction of an image or sound and extension data for improving the quality of the image or the sound via a communication network between transmission terminals,
A plurality of basic data relay units that relay the basic data transmitted from the transmission terminal as the transmission source to the transmission terminal as the destination, and one basic data for each communication between the transmission terminals from these basic data relay units A basic data relay system having a selection unit for selecting a data relay unit;
An extended data relay system having an extended data relay unit that relays the extended data transmitted from the transmission terminal as the transmission source to the transmission terminal as the destination;
A transmission system comprising:
前記基本データ中継システムが、
各々の基本データ中継部を識別するための基本データ中継部識別情報と、該基本データ中継部識別情報により識別される基本データ中継部に前記基本データを送信する伝送端末の数である接続数と、を関連付けて管理する接続数管理部を有し、
前記選択部が、複数の基本データ中継部の中から前記接続数の最も少ない基本データ中継部を選択することを特徴とする請求項1に記載の伝送システム。
The basic data relay system is
Basic data relay unit identification information for identifying each basic data relay unit, and the number of connections that is the number of transmission terminals that transmit the basic data to the basic data relay unit identified by the basic data relay unit identification information; , And a connection number management unit for managing
The transmission system according to claim 1, wherein the selection unit selects a basic data relay unit having the smallest number of connections from a plurality of basic data relay units.
前記基本データ中継部が、基本データの送信を要求する旨の情報を前記送信元としての伝送端末に送信し、この要求に対する応答で送信された基本データを宛先としての伝送端末に中継し、
前記拡張データ中継部が、拡張データの送信を要求する旨の情報を前記送信元としての伝送端末に送信し、この要求に対する応答で送信された拡張データを宛先としての伝送端末に中継することを特徴とする請求項1又は2に記載の伝送システム。
The basic data relay unit transmits information requesting transmission of basic data to the transmission terminal as the transmission source, and relays the basic data transmitted in response to the request to the transmission terminal as the destination,
The extension data relay unit transmits information requesting transmission of extension data to the transmission terminal as the transmission source, and relays the extension data transmitted in response to the request to the transmission terminal as the destination. The transmission system according to claim 1 or 2, characterized in that
前記拡張データ中継システムを複数有し、
複数の拡張データ中継システムの中から選択された拡張データ中継システムに拡張データの中継の開始を要求する拡張データ中継要求部と、
予め定められた基本データ中継システムに基本データの中継の開始を要求する基本データ中継要求部と、を有する伝送管理システム
を備えることを特徴とする請求項1乃至3のいずれかに記載の伝送システム。
A plurality of the extended data relay systems;
An extended data relay request unit that requests the extended data relay system selected from a plurality of extended data relay systems to start relaying extended data;
The transmission system according to claim 1, further comprising: a basic data relay requesting unit that requests a predetermined basic data relay system to start the relay of basic data. .
画像データ及び音声データの少なくとも一方のデータを、前記基本データと前記拡張データとに符号化する符号化部と、
符号化された基本データを前記基本データ中継システムに送信し、符号化された拡張データを前記拡張データ中継装置に送信する送信部と、を有する伝送端末
を備えることを特徴とする請求項1乃至4のいずれかに記載の伝送システム。
An encoding unit that encodes at least one of image data and audio data into the basic data and the extension data;
A transmission terminal comprising: a transmission unit that transmits encoded basic data to the basic data relay system and transmits encoded extended data to the extended data relay device. 5. The transmission system according to any one of 4.
JP2015164562A 2010-02-24 2015-08-24 Transmission terminal, transmission method, and program Expired - Fee Related JP6103003B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015164562A JP6103003B2 (en) 2010-02-24 2015-08-24 Transmission terminal, transmission method, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010038665 2010-02-24
JP2010038665 2010-02-24
JP2015164562A JP6103003B2 (en) 2010-02-24 2015-08-24 Transmission terminal, transmission method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011000561A Division JP5999873B2 (en) 2010-02-24 2011-01-05 Transmission system, transmission method, and program

Publications (2)

Publication Number Publication Date
JP2016015748A true JP2016015748A (en) 2016-01-28
JP6103003B2 JP6103003B2 (en) 2017-03-29

Family

ID=55231581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015164562A Expired - Fee Related JP6103003B2 (en) 2010-02-24 2015-08-24 Transmission terminal, transmission method, and program

Country Status (1)

Country Link
JP (1) JP6103003B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225159A (en) * 1998-02-04 1999-08-17 Atr Kankyo Tekio Tsushin Kenkyusho:Kk Multi-cast communications system
JP2003069563A (en) * 2001-08-22 2003-03-07 Nippon Telegr & Teleph Corp <Ntt> Method and system for multi-location meeting
JP2006081086A (en) * 2004-09-13 2006-03-23 Matsushita Electric Ind Co Ltd Routing apparatus, routing method, communication terminal device and packet communication system
JP2006520554A (en) * 2003-02-21 2006-09-07 三菱電機株式会社 Method and system for transferring video over a network including multiple paths
JP2009518996A (en) * 2005-09-07 2009-05-07 ヴィドヨ,インコーポレーテッド System and method for conference server architecture for low latency and distributed conferencing applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11225159A (en) * 1998-02-04 1999-08-17 Atr Kankyo Tekio Tsushin Kenkyusho:Kk Multi-cast communications system
JP2003069563A (en) * 2001-08-22 2003-03-07 Nippon Telegr & Teleph Corp <Ntt> Method and system for multi-location meeting
JP2006520554A (en) * 2003-02-21 2006-09-07 三菱電機株式会社 Method and system for transferring video over a network including multiple paths
JP2006081086A (en) * 2004-09-13 2006-03-23 Matsushita Electric Ind Co Ltd Routing apparatus, routing method, communication terminal device and packet communication system
JP2009518996A (en) * 2005-09-07 2009-05-07 ヴィドヨ,インコーポレーテッド System and method for conference server architecture for low latency and distributed conferencing applications

Also Published As

Publication number Publication date
JP6103003B2 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
JP5999873B2 (en) Transmission system, transmission method, and program
JP5962098B2 (en) Transmission terminal, transmission system, display control method, and program
JP6260596B2 (en) Transmission terminal, data transmission method, and program
JP5655499B2 (en) Transmission management system, transmission system, transmission management program, program providing system, and maintenance system
JP5793869B2 (en) Transmission management system, transmission management method, and transmission management program
JP6171303B2 (en) Transmission terminal, transmission method, and program
JP5811334B2 (en) Transmission management system, transmission management method, program, and transmission system
JP5821433B2 (en) Transmission management system, transmission system, and program for transmission management system
JP5983792B2 (en) Transmission system and transmission method
JP5942364B2 (en) Transmission management system, transmission system, and program
JP2013051664A (en) Communication terminal, communication system, and communication program
JP2014017825A (en) Transmission management system, transmission system, program for transmission management system, and control method
JP2019193279A (en) Transmission management system, transmission system, program, program providing system, and maintenance system
JP2014072703A (en) Transmission management system, transmission system, transmission management method, and program
JP5831050B2 (en) Transmission terminal, transmission terminal program, program providing system, and maintenance system
JP5899710B2 (en) Transmission system
JP5853502B2 (en) Transmission system
JP6103003B2 (en) Transmission terminal, transmission method, and program
JP5884965B2 (en) Transmission management system, transmission system, and selection method
JP6593392B2 (en) Transmission method, relay device, and program
JP2017069932A (en) Transmission management system, relay device selection method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R151 Written notification of patent or utility model registration

Ref document number: 6103003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees