JP6536716B2 - Transmission system, first transmission terminal, transmission method, display method and program - Google Patents
Transmission system, first transmission terminal, transmission method, display method and program Download PDFInfo
- Publication number
- JP6536716B2 JP6536716B2 JP2018104441A JP2018104441A JP6536716B2 JP 6536716 B2 JP6536716 B2 JP 6536716B2 JP 2018104441 A JP2018104441 A JP 2018104441A JP 2018104441 A JP2018104441 A JP 2018104441A JP 6536716 B2 JP6536716 B2 JP 6536716B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- transmission
- image
- transmission terminal
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明は、複数の伝送端末間で会話をするためのコンテンツデータの通信を管理する発明に関する。 The present invention relates to an invention of managing communication of content data for conversation among a plurality of transmission terminals.
中継装置を介して複数の伝送端末間でコンテンツデータを送受信する伝送システムの一例として、インターネット等の通信ネットワークを介してテレビ会議などを行うテレビ会議システムが挙げられる。このようなテレビ会議システムは、近年の出張経費及び出張時間の削減に伴い、必要性が向上している。このようなテレビ会議システムでは、伝送端末の一例であるテレビ会議端末が複数台用いられている。そして、これらテレビ会議端末間で画像データ及び音声データの送受信が行われることにより、テレビ会議を実現することができる。 As an example of a transmission system that transmits and receives content data between a plurality of transmission terminals via a relay device, there is a video conference system that performs a video conference or the like via a communication network such as the Internet. The need for such a video conference system has increased with the recent reductions in travel expenses and travel time. In such a video conference system, a plurality of video conference terminals, which are an example of transmission terminals, are used. Then, by transmitting and receiving image data and audio data between these video conference terminals, a video conference can be realized.
ところが、自宅などのプライベートな場所のように、テレビ会議をするには不適切な環境が存在する。このような環境下でテレビ会議を行う場合の対策として、相手側の伝送端末が置かれた環境状態を取得して、画像通信又は音声通信を規制する伝送端末が提案されている（特許文献１参照）。 However, there is an inappropriate environment for making a video conference, such as a private place such as a home. As a measure for performing a video conference under such an environment, there has been proposed a transmission terminal which acquires an environmental state in which a transmission terminal on the other party is placed and regulates image communication or voice communication (Patent Document 1) reference).
しかしながら、特許文献１に開示されている伝送端末は、相手側の伝送端末の周りの環境を考慮して画像通信又は音声通信の規制を行っているだけであって、相手側の伝送端末自体の画像通信状態を考慮して画像通信を規制している訳ではない。即ち、特許文献１に開示されている伝送端末は、相手側の伝送端末が、音声通信機能を有しているが画像通信機能を有していない、又は画像通信機能を有していても画像通信を行っていない等の画像通信状態を考慮して、画像通信の規制を行っている訳ではない。そのため、例えば、伝送端末は、相手側の伝送端末が上述のような画像通信状態の場合に画像通信を行ったとしても、相手側の伝送端末が画像通信に対応できないため、無駄な画像通信を行うことになるという課題が生じる。
However, the transmission terminal disclosed in
請求項１に係る発明は、音声通信が可能な第一の伝送端末と第二の伝送端末を含む複数の伝送端末とセッションを管理する管理システムとを含む伝送システムであって、前記管理システムは、前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションを管理するセッション管理手段と、前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信手段と、を備え、前記第一の伝送端末は、前記セッションによって画像及び音声を送信する第二の送信手段と、前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御手段と、を有し、前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させることを特徴とする伝送システムである。
The invention according to
請求項１１に記載の発明は、音声通信が可能な第一の伝送端末と第二の伝送端末の間で確立されるセッションを管理するセッション管理手段と、前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信手段と、を有する管理システムとネットワークを介して接続される第一の伝送端末であって、前記セッションによって画像及び音声を送信する第二の送信手段と、前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を前記表示画面に表示させる表示制御手段と、を有し、前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させることを特徴とする第一の伝送端末である。
The invention according to claim 11 is a session management means for managing a session established between a first transmission terminal capable of voice communication and a second transmission terminal, the first transmission terminal, and the second transmission terminal. Information indicating the communication state of the image of the second transmission terminal when the second transmission terminal stops communication of the image while the transmission terminal of the second embodiment transmits the image and the voice by the session; A first transmission terminal connected via a network with a management system having a first transmission means for transmitting to a first transmission terminal, the second transmission means for transmitting an image and voice by the session And receiving means for receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmitting means, and the second transmitting means for transmitting the image and sound. And a display control means for displaying on the display screen a state indicating that the transmission terminal of the second communication terminal is communicating an image, the display control means communicating the communication state of the received second transmission terminal image And a state indicating that the communication of the image from the second transmission terminal is being stopped is displayed on the display screen.
以上説明したように本発明によれば、伝送管理システムは、各伝送端末の画像通信状態を示す画像通信状態情報に基づいて、所定の伝送端末に画像通信を制御させるための所定の通信制御メッセージを作成し、前記画像通信を制御させる伝送端末に対して、通信制御メッセージを送信する。これにより、伝送管理システムは、所定の伝送端末に対して、相手側の伝送端末の画像通信状態に応じた画像通信を行わせることができるため、無駄な画像通信を防止することができるという効果を奏する。 As described above, according to the present invention, the transmission management system causes the predetermined transmission terminal to control the image communication based on the image communication state information indicating the image communication state of each transmission terminal. And transmit a communication control message to the transmission terminal that controls the image communication. As a result, the transmission management system can cause the predetermined transmission terminal to perform image communication according to the image communication state of the transmission terminal on the other party side, so that unnecessary image communication can be prevented. Play.
以下、図１乃至図３３を用いて、本発明の一実施形態について説明する。なお、本実施形態においては、伝送端末は、相手側の伝送端末へ、音声データを送信することで音声通信を行い、画像データを送信することで画像通信を行う。 Hereinafter, an embodiment of the present invention will be described with reference to FIGS. 1 to 33. In the present embodiment, the transmission terminal performs voice communication by transmitting voice data to the transmission terminal on the other side, and performs image communication by transmitting image data.
＜＜実施形態の全体構成＞＞
図１は、本発明の本実施形態に係る伝送システム１の概略図である。図２は、伝送システムにおける画像データ、音声データ、及び各種管理情報の送受信の状態を示した概念図である。図３は、画像データの画質を説明する概念図である。
<< Whole Configuration of Embodiment >>
FIG. 1 is a schematic view of a
また、伝送システムには、伝送管理システムを介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムや、伝送管理システムを介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム（「伝送管理システム」に相当）を介して複数のコミュニケーション端末（「伝送端末」に相当）間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム等が例として挙げられる。 Also, the transmission system includes a data providing system for transmitting content data in one direction from one transmission terminal to the other transmission terminal via the transmission management system, information between a plurality of transmission terminals via the transmission management system, and the like. It includes a communication system that mutually communicates emotions and the like. This communication system is a system for mutually transmitting information, emotions and the like between a plurality of communication terminals (corresponding to "transmission terminals") via a communication management system (corresponding to "transmission management system"). A conference system, a video telephone system, etc. are mentioned as an example.
本実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、コミュニケーション管理システムの一例としてのテレビ会議管理システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定した上で、伝送システム、伝送管理システム、及び伝送端末について説明する。即ち、本発明の伝送端末及び伝送管理システムは、テレビ会議システムに適用されるだけでなく、コミュニケーションシステム、又は伝送システムにも適用される。なお、本実施形態では、「テレビ会議」と説明しているが、「ビデオ会議」と言われることもあり、両者は同じ内容である。 In this embodiment, assuming a video conference system as an example of a communication system, a video conference management system as an example of a communication management system, and a video conference terminal as an example of a communication terminal, a transmission system, a transmission management system, And the transmission terminal will be described. That is, the transmission terminal and the transmission management system of the present invention are applied not only to the video conference system but also to the communication system or the transmission system. In the present embodiment, the “television conference” is described, but it may be referred to as a “video conference”, and both have the same contents.
まず、図１に示されている伝送システム１は、複数の伝送端末（１０ａａ，１０ａｂ，…）、各伝送端末（１０ａａ，１０ａｂ，…）用の表示手段としてのディスプレイ（１２０ａａ，１２０ａｂ，…）、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）、伝送管理システム５０、プログラム提供システム９０、及びメンテナンスシステム１００によって構築されている。
First, the
複数の端末１０は、コンテンツデータの一例としての画像データ及び音声データの送受信による伝送を行う。
The plurality of
なお、以下では、「伝送端末」を単に「端末」として表し、「伝送管理システム」を単に「管理システム」として表す。また、複数の端末（１０ａａ，１０ａｂ，…）のうち任意の端末は、「端末１０」と表され、複数のディスプレイ（１２０ａａ，１２０ａｂ，…）のうち任意のディスプレイは「ディスプレイ１２０」と表され、複数の中継装置（３０ａ，３０ｂ，３０ｃ，３０ｄ）のうち任意の中継装置は「中継装置３０」と表されている。更に、テレビ会議の開始を要求する要求元としての端末は「要求元端末」と表され、要求先である宛先（中継先）としての端末は「宛先端末」と表されている。
In the following, “transmission terminal” is simply represented as “terminal”, and “transmission management system” is simply represented as “management system”. Further, any of the plurality of terminals (10aa, 10ab, ...) is represented as "terminal 10", and any of the plurality of displays (120aa, 120ab, ...) is represented as "
また、図２に示されているように、伝送システム１において、要求元端末と宛先端末との間では、管理システム５０を介して、各種の管理情報を送受信するための管理情報用セッションｓｅｉが確立される。また、要求元端末と宛先端末との間では、中継装置３０を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの４つの各データを送受信するための４つのセッションが確立される。ここでは、これら４つのセッションをまとめて、画像・音声データ用セッションｓｅｄとして示している。
Further, as shown in FIG. 2, in the
ここで、本実施形態で扱われる画像データの画像の解像度について説明する。図３（ａ）に示されているように、横が１６０画素、縦が１２０画素から成り、ベース画像となる低解像度の画像と、図３（ｂ）に示されているように、横が３２０画素、縦が２４０画素から成る中解像度の画像と、図３（ｃ）に示されているように、横が６４０画素、縦が４８０画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが中継される。 Here, the resolution of the image of the image data handled in the present embodiment will be described. As shown in FIG. 3A, the low resolution image, which is 160 pixels wide and 120 pixels high and is a base image, and as shown in FIG. 3B, is horizontal As shown in FIG. 3C, there are a medium resolution image consisting of 320 pixels and 240 vertical pixels, and a high resolution image consisting of 640 horizontal pixels and 480 vertical pixels. Among these, when passing through a narrow band path, low-quality image data consisting only of low-resolution image data to be a base image is relayed. When the bandwidth is relatively wide, low-resolution image data to be a base image and medium-quality image data consisting of medium-resolution image data are relayed. Further, when the bandwidth is very wide, high-quality image data consisting of low-resolution image data serving as a base image, medium-resolution image data, and high-resolution image data is relayed.
図１に示されている中継装置３０は、複数の端末１０の間で、コンテンツデータの中継を行う。管理システム５０は、端末１０からのログイン認証、端末１０の通話状況の管理、宛先リストの管理等、及び中継装置３０の通信状況等を一元的に管理する。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。
The
複数のルータ（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ａｂ，７０ｃｄ）は、画像データ及び音声データの最適な経路の選択を行う。なお、以下では、ルータ（７０ａ，７０ｂ，７０ｃ，７０ｄ，７０ａｂ，７０ｃｄ）のうち任意のルータは「ルータ７０」と表されている。 A plurality of routers (70a, 70b, 70c, 70d, 70ab, 70cd) perform selection of the optimal path of image data and voice data. In the following, any of the routers (70a, 70b, 70c, 70d, 70ab, 70cd) is represented as "router 70".
プログラム提供システム９０は、後述のＨＤ(Hard Disk)２０４を備えており、端末１０に各種機能を実現させる（又は、端末１０を各種手段として機能させる）ための端末用プログラムが記憶され、端末１０に端末用プログラムを送信することができる。また、プログラム提供システム９０のＨＤ２０４には、中継装置３０に各種機能を実現させる（又は、中継装置３０を各種手段として機能させる）ための中継装置用プログラムも記憶されており、中継装置３０に、中継装置用プログラムを送信することができる。更に、プログラム提供システム９０のＨＤ２０４には、管理システム５０に各種機能を実現させる（又は、管理システム５０を各種手段として機能させる）ための伝送管理用プログラムも記憶されており、管理システム５０に、伝送管理用プログラムを送信することができる。
The program providing system 90 includes an HD (Hard Disk) 204 described later, and stores a terminal program for causing the terminal 10 to realize various functions (or causing the terminal 10 to function as various means). The terminal program can be sent to The
メンテナンスシステム１００は、端末１０、中継装置３０、管理システム５０、及びプログラム提供システム９０のうちの少なくとも１つの維持、管理、又は保守を行うためのコンピュータである。例えば、メンテナンスシステム１００が国内に設置され、端末１０、中継装置３０、管理システム５０、又はプログラム提供システム９０が国外に設置されている場合、メンテナンスシステム１００は、通信ネットワーク２を介して遠隔的に、端末１０、中継装置３０、管理システム５０、及びプログラム提供システム９０のうちの少なくとも１つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム１００は、通信ネットワーク２を介さずに、端末１０、中継装置３０、管理システム５０、及びプログラム提供システム９０のうちの少なくとも１つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。
The
ところで、端末（１０ａａ，１０ａｂ，１０ａｃ，・・・）、中継装置３０ａ、及びルータ７０ａは、ＬＡＮ２ａによって通信可能に接続されている。端末（１０ｂａ，１０ｂｂ，１０ｂｃ，・・・）、中継装置３０ｂ、及びルータ７０ｂは、ＬＡＮ２ｂによって通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ａｂが含まれた専用線２ａｂによって通信可能に接続されており、所定の地域Ａ内で構築されている。例えば、地域Ａは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。
The terminals (10aa, 10ab, 10ac, ...), the
一方、端末（１０ｃａ，１０ｃｂ，１０ｃｃ，・・・）、中継装置３０ｃ、及びルータ７０ｃは、ＬＡＮ２ｃによって通信可能に接続されている。端末１０ｄ（ａ，１０ｄｂ，１０ｄｃ，・・・）、中継装置３０ｄ、及びルータ７０ｄは、ＬＡＮ２ｄによって通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｃｄが含まれた専用線２ｃｄによって通信可能に接続されており、所定の地域Ｂ内で構築されている。例えば、地域Ｂはアメリカ合衆国であり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。地域Ａ及び地域Ｂは、それぞれルータ（７０ａｂ，７０ｃｄ）からインターネット２ｉを介して通信可能に接続されている。
On the other hand, the terminals (10ca, 10cb, 10cc,...), The
また、管理システム５０、及びプログラム提供システム９０は、インターネット２ｉを介して、端末１０、及び中継装置３０と通信可能に接続されている。管理システム５０、及びプログラム提供システム９０は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。
The
なお、本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用線２ａｂ、インターネット２ｉ、専用線２ｃｄ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、本実施形態の通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、WｉＦｉ（Wireless Fidelity）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線による通信が行われる箇所があってもよい。
In the present embodiment, the communication network 2 of the present embodiment is constructed by the
また、図１において、各端末１０、各中継装置３０、管理システム５０、各ルータ７０、及びプログラム提供システム９０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。例えば、端末１０ａａのＩＰアドレスは「１．２．１．３」である。また、ＩＰｖ４ではなく、ＩＰｖ６を用いてもよいが、説明を簡略化するため、ＩＰｖ４を用いて説明する。
Also, in FIG. 1, four sets of numbers shown under each terminal 10, each
なお、各端末１０は、複数の事業所間での通話や、同じ事業所内の異なる部屋間での通話だけでなく、同じ部屋内での通話や、屋外と屋内又は屋外と屋外での通話で使われてもよい。各端末１０が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。 Each terminal 10 is not only a call between a plurality of business establishments or a call between different rooms within the same business establishment, but also a call within the same room or a conversation between outdoor and indoor or outdoor and outdoor. It may be used. When each terminal 10 is used outdoors, wireless communication such as a cellular phone communication network is performed.
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。図４は、本実施形態に係る端末１０の外観図である。以下、端末１０の長手方向をＸ軸方向、水平面内でＸ軸方向に直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向に直交する方向（鉛直方向）をＺ軸方向として説明する。
<< Hardware Configuration of Embodiment >>
Next, the hardware configuration of the present embodiment will be described. FIG. 4 is an external view of the terminal 10 according to the present embodiment. Hereinafter, the longitudinal direction of the terminal 10 will be described as an X axis direction, a direction perpendicular to the X axis direction in a horizontal plane as a Y axis direction, and a direction (vertical direction) orthogonal to the X axis direction and the Y axis direction as a Z axis direction.
図４に示されているように、端末１０は、筐体１１００、アーム１２００、及びカメラハウジング１３００を備えている。このうち、筐体１１００の前側壁面１１１０には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体１１００の後側壁面１１２０には、複数の排気孔が形成された排気面１１２１が設けられている。これにより、筐体１１００に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して端末１０の後方の外気を取り込み、排気面１１２１を介して端末１０の後方へ排気することができる。筐体１１００の右側壁面１１３０には、収音用孔１１３１が形成され、後述する内蔵型のマイク１１４によって音声、物音、雑音等の音が収音可能となっている。
As shown in FIG. 4, the terminal 10 includes a
筐体１１００の右側壁面１１３０側には、操作パネル１１５０が形成されている。この操作パネル１１５０には、後述の複数の操作ボタン（１０８ａ〜１０８ｅ）、後述の電源スイッチ１０９、及び後述のアラームランプ１１９が設けられていると共に、後述の内蔵型のスピーカ１１５からの出力音を通すための複数の音声出力孔によって形成された音出面１１５１が形成されている。また、筐体１１００の左側壁面１１４０側には、アーム１２００及びカメラハウジング１３００を収容するための凹部としての収容部１１６０が形成されている。筐体１１００の右側壁面１１３０には、後述の外部機器接続Ｉ／Ｆ１１８に対して電気的にケーブルを接続するための複数の接続口（１１３２ａ〜１１３２ｃ）が設けられている。一方、筐体１１００の左側壁面１１４０には、後述の外部機器接続Ｉ／Ｆ１１８に対して電気的にディスプレイ１２０用のケーブル１２０ｃを接続するための不図示の接続口が設けられている。
An
なお、以下では、操作ボタン（１０８ａ〜１０８ｅ）のうち任意の操作ボタンを示す場合には「操作ボタン１０８」を用い、接続口（１１３２ａ〜１１３２ｃ）のうち任意の接続口を示す場合には「接続口１１３２」を用いて説明する。
In the following, the "
次に、アーム１２００は、トルクヒンジ１２１０を介して筐体１１００に取り付けられており、アーム１２００が筐体１１００に対して、１３５度のチルト角θ１の範囲で、上下方向に回転可能に構成されている。図４は、チルト角θ１が９０度の状態を示している。
Next, the
カメラハウジング１３００には、後述の内蔵型のカメラ１１２が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング１３００には、トルクヒンジ１３１０が形成されている。カメラハウジング１３００は、トルクヒンジ１３１０を介して、アーム１２００に取り付けられている。そして、カメラハウジング１３００は、トルクヒンジ１３１０を介してアーム１２００に取り付けられており、カメラハウジング１３００がアーム１２００に対して、図４で示されている状態を０度として±１８０度のパン角θ２の範囲で、且つ、±４５度のチルト角θ３の範囲で、上下左右方向に回転可能に構成されている。
The
なお、中継装置３０、管理システム５０、及びプログラム提供システム９０は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
The
図５は、本発明の本実施形態に係る端末１０のハードウェア構成図である。図５に示されているように、本実施形態の端末１０は、端末１０全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、端末１０の宛先を選択する場合などに操作される操作ボタン１０８、端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ(Interface)１１１を備えている。
FIG. 5 is a hardware configuration diagram of the terminal 10 according to the present embodiment of the present invention. As shown in FIG. 5, the terminal 10 according to the present embodiment includes a program used to drive the
また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。なお、端末１０の機種によっては、カメラ１１２及び撮像素子Ｉ／Ｆ１１３を備えていないものがある。
The terminal 10 also has a built-in
ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示部である。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High-Definition Multimedia Interface)やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。
The
カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。
The
外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカが駆動する。
An external device such as an external camera, an external microphone, and an external speaker can be connected to the external device connection I /
なお、記録メディア１０６は、端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。
The recording medium 106 is configured to be removable from the terminal 10. Further, as long as the nonvolatile memory performs reading or writing of data according to the control of the
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ１０４ではなくＲＯＭ１０２に記憶させるようにしてもよい。
Furthermore, the terminal program may be recorded and distributed in a computer readable recording medium such as the recording medium 106 in the form of an installable or executable file. The terminal program may be stored in the
図６は、本発明の本実施形態に係る管理システムのハードウェア構成図である。管理システム５０は、管理システム５０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、伝送管理用プログラム等の各種データを記憶するＨＤ２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)２１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び、上記各構成要素を図６に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。
FIG. 6 is a hardware configuration diagram of a management system according to the present embodiment of the present invention. The
なお、上記伝送管理用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記伝送管理用プログラムは、ＨＤ２０４ではなくＲＯＭ２０２に記憶されるようにしてもよい。
The transmission management program may be a file in an installable format or an executable format, and may be distributed by being recorded in a computer readable storage medium such as the
また、中継装置３０は、上記管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＨＤ２０４には、中継装置３０を制御するための中継装置用プログラムが記録されている。この場合も、中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記中継装置用プログラムは、ＨＤ２０４ではなくＲＯＭ２０２に記憶されるようにしてもよい。
Further, since the
また、プログラム提供システム９０及びメンテナンスシステム１００は、上記管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。但し、ＨＤ２０４には、プログラム提供システム９０を制御するためのプログラム提供用プログラムが記録されている。この場合も、プログラム提供用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記プログラム提供システム用プログラムは、ＨＤ２０４ではなくＲＯＭ２０２に記憶されるようにしてもよい。
Further, since the program providing system 90 and the
なお、上記着脱可能な記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 In addition, as another example of the removable recording medium, it is configured to be provided by being recorded on a computer-readable recording medium such as a compact disc recordable (CD-R), a digital versatile disc (DVD), and a Blu-ray disc. You may
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。本実施形態では、宛先（中継先）としての端末１０で画像データの受信に遅延が生じた場合に、中継装置３０によって画像データの画像の解像度を変更してから、中継先としての端末１０へ画像データを送信する場合について説明する。
<< Functional Configuration of Embodiment >>
Next, the functional configuration of the present embodiment will be described. In the present embodiment, when there is a delay in receiving image data at the terminal 10 as the destination (relay destination), the resolution of the image of the image data is changed by the
図７は、本実施形態の伝送システム１を構成する各端末、装置及びシステムの機能ブロック図である。図７では、端末１０、中継装置３０、及び管理システム５０が、通信ネットワーク２を介してデータ通信することができるように接続されている。また、図１に示されているプログラム提供システム９０は、テレビ会議の通信において直接関係ないため、図７では省略されている。
FIG. 7 is a functional block diagram of each terminal, apparatus and system that constitute the
＜端末の機能構成＞
端末１０は、送受信部１１、操作入力受付部１２、ログイン要求部１３、撮像部１４、音声入力部１５ａ、音声出力部１５ｂ、最終絞込部１６、表示制御部１７、遅延検出部１８、記憶・読出処理部１９、及びメッセージ作成部２０を有している。これら各部は、図５に示されている各構成要素のいずれかが、フラッシュメモリ１０４からＲＡＭ１０３上に展開された端末用プログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末１０は、図５に示されているＲＡＭ１０３、及び図５に示されているフラッシュメモリ１０４によって構築される記憶部１０００を有している。
<Functional configuration of terminal>
The terminal 10 includes a transmission / reception unit 11, an operation
（端末の各機能構成）
次に、図５及び図７を用いて、端末１０の各機能構成について詳細に説明する。なお、以下では、端末１０の各機能構成を説明するにあたって、図５に示されている各構成要素のうち、端末１０の各機能構成を実現させるための主な構成要素との関係も説明する。
(Each functional configuration of the terminal)
Next, each functional configuration of the terminal 10 will be described in detail using FIGS. 5 and 7. In the following, in describing each functional configuration of the terminal 10, among the components shown in FIG. 5, the relationship with the main components for realizing each functional configuration of the terminal 10 will also be described. .
図７に示されている端末１０の送受信部１１は、図５に示されているＣＰＵ１０１からの命令、及び図５に示されているネットワークＩ／Ｆ１１１によって実現され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。この送受信部１１は、所望の宛先端末と通話を開始する前から、管理システム５０より、宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各端末１０の稼動状態（オンラインかオフラインかの状態）だけでなく、オンラインであっても更に通話可能であるか、通話中であるか、離席中であるか等の詳細な状態を示す。また、この状態情報は、各端末１０の稼動状態だけでなく、端末１０でケーブル１２０ｃが端末１０から外れていたり、音声を出力するが画像は出力させなかったり、音声を出力さないようにする（ＭＵＴＥ）等、様々な状態を示す。以下では、一例として、状態情報が稼動状態を示す場合について説明する。
The transmission / reception unit 11 of the terminal 10 shown in FIG. 7 is realized by an instruction from the
操作入力受付部１２は、図５に示されているＣＰＵ１０１からの命令、並びに図５に示されている操作ボタン１０８及び電源スイッチ１０９によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図５に示されている電源スイッチ１０９をＯＮにすると、図７に示されている操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする。
The operation
ログイン要求部１３は、図５に示されているＣＰＵ１０１からの命令によって実現され、上記電源ＯＮの受け付けを契機として、送受信部１１から通信ネットワーク２を介して管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のＩＰアドレスを自動的に送信する。また、利用者が電源スイッチ１０９をＯＮの状態からＯＦＦにすると、送受信部１１が管理システム５０へ電源をＯＦＦする旨の状態情報を送信した後に、操作入力受付部１２が電源を完全にＯＦＦにする。これにより、管理システム５０側では、端末１０が電源ＯＮから電源ＯＦＦになったことを把握することができる。
The
撮像部１４は、図５に示されているＣＰＵ１０１からの命令、並びに図５に示されているカメラ１１２及び撮像素子Ｉ／Ｆ１１３によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。なお、端末１０の機種によっては、撮像部１４を備えていないものがある。
The
音声入力部１５ａは、図５に示されているＣＰＵ１０１からの命令、及び図５に示されている音声入出力Ｉ／Ｆ１１６によって実現され、マイク１１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを入力する。音声出力部１５ｂは、図５に示されているＣＰＵ１０１からの命令、及び図５に示されている音声入出力Ｉ／Ｆ１１６によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ１１５から音声を出力させる。
The
最終絞込部１６は、複数の中継装置３０から最終的に１つの中継装置３０に絞り込む最終絞り込み処理を行うため、図５に示されているＣＰＵ１０１からの命令によって、図８に示されるような計測部１６ａ、算出部１６ｂ、及び最終選択部１６ｃを実現する。
Since the
このうち、計測部１６ａは、送受信部１１によって受信された後述の事前送信情報毎に、送受信部１１によって事前送信情報が受信される際の受信日時を計測する。算出部１６ｂは、計測部１６ａによって受信日時が計測された事前送信情報毎に、この計測された受信時間と、この事前送信情報に含まれている送信日時との差に基づいて、事前送信情報の送信から受信までの所要時間(T)を算出する。最終選択部１６ｃは、算出部１６ｂによって算出された所要時間のうち最短の所要時間を要した事前送信情報が中継された中継装置３０を選択することで、最終的に１つの中継装置を選択する。
Among these, the measuring
表示制御部１７は、図５に示されているＣＰＵ１０１からの命令、及び図５に示されているディスプレイＩ／Ｆ１１７によって実現され、後述のように、受信された解像度の異なる画像データを組み合わせ、この組み合わされた画像データをディスプレイ１２０に送信するための制御を行う。また、表示制御部１７は、管理システム５０から受信した宛先リストの情報をディスプレイ１２０に送信して、ディスプレイ１２０に宛先リストを表示させることができる。更に、表示制御部１７は、図２９乃至図３２に示されているような画面をディスプレイ１２０に表示させる。図２９乃至図３２の画面については、後ほど説明する。
The
遅延検出部１８は、図５に示されているＣＰＵ１０１からの命令によって実現され、他の端末１０から中継装置３０を介して送られて来る画像データ又は音声データの遅延時間（ｍｓ）を検出する。
The delay detection unit 18 is realized by an instruction from the
記憶・読出処理部１９は、図５に示されているＣＰＵ１０１からの命令及び図５に示すＳＳＤ１０５によって実行され、又はＣＰＵ１０１からの命令によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。この記憶部１０００には、端末１０を識別するための端末ＩＤ(Identification）、及びパスワード等が記憶される。
Storage /
メッセージ作成部２０は、図５に示されているＣＰＵ１０１からの命令によって実現され、記憶部１０００から、予め記憶されている画像通信状態情報を読み出して、この画像通信状態情報を含んだ画像通信状態メッセージ(m)を作成する。この画像通信状態情報及び画像通信状態メッセージ(m)については、後ほど説明する。
The
また、記憶部１０００には、後述の画像通信状態情報が記憶されている。更に、記憶部１０００には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ１２０に画像が表示され、上書きされる前の音声データによってスピーカ１１５から音声が出力される。
Further, the
なお、本実施形態の端末ＩＤ及び後述の中継装置ＩＤは、それぞれ端末１０及び中継装置３０を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ＩＤ及び中継装置ＩＤは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも２つが組み合わされた識別情報であってもよい。
The terminal ID of the present embodiment and a relay device ID described later indicate identification information such as a language, characters, symbols, or various marks used to uniquely identify the terminal 10 and the
＜中継装置の機能構成＞
中継装置３０は、送受信部３１、状態検知部３２、データ品質確認部３３、変更品質管理部３４、データ品質変更部３５、及び記憶・読出処理部３９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開された中継装置用プログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置３０は、図６に示されているＲＡＭ２０３、及び／又は図６に示されているＨＤ２０４によって構築される記憶部３０００を有している。なお、図１０は、変更品質管理テーブルを示す概念図である。
<Functional configuration of relay device>
The
（変更品質管理テーブル）
記憶部３０００には、図１０に示されているような変更品質管理テーブルによって構成されている変更品質管理ＤＢ(Data Base)３００１が構築される。変更品質管理テーブルでは、画像データの中継先（宛先）としての端末１０のＩＰアドレス、及びこの中継先に中継装置３０が中継する画像データの画質が関連付けられて管理される。
(Change Quality Management Table)
In the storage unit 3000, a change quality management DB (Data Base) 3001 configured of a change quality management table as shown in FIG. 10 is constructed. In the change quality management table, the IP address of the terminal 10 as a relay destination (destination) of the image data and the image quality of the image data relayed by the
（中継装置の各機能構成）
次に、中継装置３０の各機能構成について詳細に説明する。なお、以下では、中継装置３０の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、中継装置３０の各機能構成を実現させるための主な構成要素との関係も説明する。
(Each functional configuration of relay device)
Next, each functional configuration of the
図７に示されている中継装置３０の送受信部３１は、図６に示されているＣＰＵ２０１からの命令、及び図６に示されているネットワークＩ／Ｆ２０９によって実現され、通信ネットワーク２を介して他の端末、装置、又はシステムと各種データ（または情報）の送受信を行う。
The transmission /
状態検知部３２は、図６に示されているＣＰＵ２０１からの命令によって実現され、この状態検知部３２を有する中継装置３０の稼動状態を検知する。稼動状態としては、「オンライン」、「オフライン」、「通話中」又は「一時中断」の状態がある。
The
データ品質確認部３３は、図６に示されているＣＰＵ２０１からの命令によって実現され、宛先端末のＩＰアドレスを検索キーとして、変更品質管理ＤＢ３００１（図１０参照）を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。
The data
変更品質管理部３４は、図６に示されているＣＰＵ２０１からの命令によって実現され、管理システム５０から送られて来る、後述の品質情報に基づいて、変更品質管理ＤＢ３００１の内容を変更する。例えば、端末ＩＤが「０１ａａ」である要求元端末（端末１０ａａ）と、端末ＩＤが「０１ｄｂ」である宛先端末（端末１０ｄｂ）との間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末（端末１０ｂｂ）と宛先端末（端末１０ｃａ）が通信ネットワーク２を介してテレビ会議を開始すること等によって、宛先端末（端末１０ｄｂ）で画像データの受信の遅延が生じた場合には、中継装置３０は今まで中継していた画像データの画質を、高画質から中画質に下げる。このような場合に、中画質を示す品質情報に基づいて、中継装置３０が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理ＤＢ３００１の内容が変更される。
The change
データ品質変更部３５は、図６に示されているＣＰＵ２０１からの命令によって実現され、送信元端末から送られて来た画像データの画質を、上記変更された変更品質管理ＤＢ３００１の内容に基づいて変更する。
The data
記憶・読出処理部３９は、図６に示されているＣＰＵ２０１からの命令、及び図６に示されているＨＤＤ２０５によって実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出す処理を行う。
Storage /
＜管理システムの機能構成＞
管理システム５０は、送受信部５１、端末認証部５２、状態管理部５３、端末抽出部５４、端末状態抽出部５５、一次絞込部５６、セッション管理部５７、品質決定部５８、記憶・読出処理部５９、遅延時間管理部６０、及びメッセージ作成部６１を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開された管理システム用プログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は機能する手段である。また、管理システム５０は、図６に示されているＨＤ２０４により構築される記憶部５０００を有している。
<Functional configuration of management system>
The
なお、図８は、最終絞込部の機能構成図である。図９は、一次絞込部の機能構成図である。図１１は、中継装置管理テーブルを示す概念図である。図１２は、端末認証管理テーブルを示す概念図である。図１３は、端末管理テーブルを示す概念図である。図１４は、宛先リスト管理テーブルを示す概念図である。図１５は、セッション管理テーブルを示す概念図である。図１６は、アドレス優先度管理テーブルを示す概念図である。図１７は、伝送速度優先度管理テーブルを示す概念図である。図１８は、品質管理テーブルを示す概念図である。 FIG. 8 is a functional block diagram of the final narrowing unit. FIG. 9 is a functional configuration diagram of the primary narrowing unit. FIG. 11 is a conceptual diagram showing the relay device management table. FIG. 12 is a conceptual diagram showing a terminal authentication management table. FIG. 13 is a conceptual diagram showing a terminal management table. FIG. 14 is a conceptual diagram showing a destination list management table. FIG. 15 is a conceptual diagram showing a session management table. FIG. 16 is a conceptual diagram showing an address priority management table. FIG. 17 is a conceptual diagram showing a transmission speed priority management table. FIG. 18 is a conceptual diagram showing a quality management table.
（中継装置管理テーブル）
記憶部５０００には、図１１に示されているような中継装置管理テーブルによって構成されている中継装置管理ＤＢ５００１が構築されている。この中継装置管理テーブルでは、各中継装置３０の中継装置ＩＤ毎に、各中継装置３０の稼動状態、稼動状態が示される状態情報が管理システム５０で受信された受信日時、中継装置３０のＩＰアドレス、及び中継装置３０における最大データ伝送速度（Ｍｂｐｓ）が関連付けられて管理される。例えば、図１１に示されている中継装置管理テーブルにおいて、中継装置ＩＤが「１１１ａ」の中継装置３０ａは、稼動状態が「オンライン」で、管理システム５０で状態情報が受信された日時が「２００９年１１月１０日の１３時００分」で、この中継装置３０ａのＩＰアドレスが「１．２．１．２」で、この中継装置３０ａにおける最大データ伝送速度が１００Ｍｂｐｓであることが示されている。
(Relay device management table)
In the storage unit 5000, a relay device management DB 5001 configured by the relay device management table as shown in FIG. 11 is constructed. In this relay device management table, for each relay device ID of each
（端末認証管理テーブル）
更に、記憶部５０００には、図１２に示されているような端末認証管理テーブルによって構成されている端末認証管理ＤＢ５００２が構築されている。この端末認証管理テーブルでは、管理システム５０によって管理される全ての端末１０の各端末ＩＤに対して、各パスワードが関連付けられて管理される。例えば、図１２に示されている端末認証管理テーブルにおいて、端末１０ａａの端末ＩＤは「０１ａａ」で、パスワードは「ａａａａ」であることが示されている。
(Terminal authentication management table)
Further, in the storage unit 5000, a terminal authentication management DB 5002 configured of a terminal authentication management table as shown in FIG. 12 is constructed. In the terminal authentication management table, each password is associated with each terminal ID of all the
（端末管理テーブル）
また、記憶部５０００には、図１３に示されているような端末管理テーブルによって構成されている端末管理ＤＢ５００３が構築されている。この端末管理テーブルでは、各端末１０の端末ＩＤ毎に、各端末１０を宛先とした場合の宛先名、各端末１０の稼動状態、後述の画像通信状態、後述のログイン要求情報が管理システム５０で受信された受信日時、及び端末１０のＩＰアドレスが関連付けられて管理される。例えば、図１３に示されている端末管理テーブルにおいて、端末ＩＤが「０１ａａ」の端末１０ａａは、端末名が「日本 東京事業所 ＡＡ端末」で、稼動状態が「オンライン（伝送中）」で、画像通信状態が「ＯＮ」管理システム５０でログイン要求情報が受信された日時が「２００９年１１月１０日の１３時４０分」で、この端末１０ａａのＩＰアドレスが「１．２．１．３」であることが示されている。
(Terminal management table)
Further, in the storage unit 5000, a terminal management DB 5003 configured by a terminal management table as shown in FIG. 13 is constructed. In this terminal management table, for each terminal ID of each terminal 10, a destination name when each terminal 10 is a destination, an operating state of each terminal 10, an image communication state described later, and login request information described later The received date and time received and the IP address of the terminal 10 are associated and managed. For example, in the terminal management table shown in FIG. 13, the terminal 10aa with the terminal ID "01aa" has the terminal name "Japan Tokyo Business Office AA terminal" and the operating status is "Online (during transmission)", The date and time when the login request information is received by the image communication state "ON"
ここで、画像通信状態情報について説明する。画像通信状態情報は、端末１０の画像通信に関する状態を示しており、以下の４つのパターンが存在する。
ＯＮ：端末１０が画像通信中である状態
ＯＦＦ：端末１０が画像通信停止中である状態（但し、端末１０は、画像通信を行うための撮像部１４である画像通信機能を備えている。）
ＮＡ：端末１０が画像通信機能を有していない状態（端末１０は、画像通信を行うための撮像部１４である画像通信機能を備えていない。）
ＤＣ：画像通信状態が不明な状態（端末１０がオフライン等により端末１０から画像通信状態が送られて来ていない状態、又は初期状態である。）
このうち、記憶部１０００には、当初、ＤＣを示す画像通信状態情報が記憶されており、撮像部１４が、ＤＣからＯＮ又はＯＦＦを示す画像通信状態情報に上書きする。ＮＡを示す画像通信状態情報は、端末１０の工場出荷時から予め記憶部１０００に記憶される。
Here, the image communication state information will be described. The image communication state information indicates the state of image communication of the terminal 10, and the following four patterns exist.
ON: The state in which the terminal 10 is in image communication OFF: The state in which the terminal 10 is in suspension of image communication (However, the terminal 10 has an image communication function which is an
NA: A state in which the terminal 10 does not have an image communication function (the terminal 10 does not have an image communication function that is an
DC: A state in which the image communication state is unknown (the state in which the image communication state is not sent from the terminal 10 due to the terminal 10 being offline or the like, or in the initial state)
Among these, the
（宛先リスト管理テーブル）
更に、記憶部５０００には、図１４に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００４が構築されている。この宛先リスト管理テーブルでは、テレビ会議における通話の開始を要求する要求元端末の端末ＩＤに対して、宛先端末の候補として登録されている宛先端末の端末ＩＤが全て関連付けられて管理される。例えば、図１４に示されている宛先リスト管理テーブルにおいて、端末ＩＤが「０１ａａ」である要求元端末（端末１０ａａ）からテレビ会議における通話の開始を要求することができる宛先端末（端末１０ｄｂ）の候補は、端末ＩＤが「０１ａｂ」の端末１０ａｂ、端末ＩＤが「０１ｂａ」の端末１０ｂａ、及び端末ＩＤが「０１ｂｂ」の端末１０ｂｂ等であることが示されている。この宛先端末の候補は、任意の要求元端末から管理システム５０に対する追加又は削除の要請により、追加又は削除されることで更新される。
(Destination list management table)
Further, in the storage unit 5000, a destination list management DB 5004 configured of a destination list management table as shown in FIG. 14 is constructed. In this destination list management table, all terminal IDs of destination terminals registered as candidates of destination terminals are managed in association with the terminal ID of a request source terminal that requests the start of a telephone call in a video conference. For example, in the destination list management table shown in FIG. 14, the destination terminal (terminal 10db) that can request the start of a call in a video conference from the request source terminal (terminal 10aa) whose terminal ID is "01aa" It is shown that the candidates are the terminal 10ab having the terminal ID "01ab", the terminal 10ba having the terminal ID "01ba", and the terminal 10bb having the terminal ID "01bb". The candidate of the destination terminal is updated by being added or deleted by a request for addition or deletion from any request source terminal to the
（セッション管理テーブル）
また、この記憶部５０００には、図１５に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ５００５が構築されている。このセッション管理テーブルでは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤ毎に、画像データ及び音声データの中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の端末ＩＤ、宛先端末の端末ＩＤ、宛先端末において画像データが受信される際の受信の遅延時間（ｍｓ）、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て管理システム５０で受信された受信日時が関連付けられて管理される。例えば、図１５に示されているセッション管理テーブルにおいて、選択用セッションＩＤ「ｓｅ１」を用いて実行されたセッションで選択された中継装置３０ａ（中継装置ＩＤ「１１１ａ」）は、端末ＩＤが「０１ａａ」の要求元端末（端末１０ａａ）と、端末ＩＤが「０１ｄｂ」の宛先端末（端末１０ｄｂ）との間で、画像データ及び音声データを中継しており、宛先端末（端末１０ｄｂ）において「２００９年１１月１０日の１４時００分」時点における画像データの遅延時間が２００（ｍｓ）であることが示されている。なお、２つの端末１０の間でテレビ会議を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、３つ以上の端末１０の間でテレビ会議を行う場合には、画像データ及び音声データの受信側の端末１０から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
(Session management table)
Further, in the storage unit 5000, a session management DB 5005 configured of a session management table as shown in FIG. 15 is constructed. In this session management table, for each session ID for selection used to execute a session for selecting the
（アドレス優先度管理テーブル）
更に、記憶部５０００には、図１６に示されているようなアドレス優先度管理テーブルによって構成されている優先度管理ＤＢ５００６が構築されている。このアドレス優先度管理テーブルでは、任意の端末１０と任意の中継装置３０において、一般的なＩＰｖ４におけるＩＰアドレスのうちの４組のドットアドレス(Dot Address)部分の「同」が多い程、アドレス優先度のポイントが高くなるように、ドットアドレスの同異とアドレス優先度とが関連付けられて管理される。この「同」は、ドットアドレス部分が同じであることを意味し、「異」は、ドットアドレス部分が異なることを意味する。例えば、図１６に示されているアドレス優先度管理テーブルにおいて、ドットアドレスの上位から下位にかけて３つの値が同じＩＰアドレスの場合には、アドレス優先度のポイントが「５」である。ドットアドレスの上位から下位にかけて２つの値が同じＩＰアドレスの場合には、アドレス優先度のポイントが「３」である。この場合、最下位のドットアドレスの値が同じであるか否かは優先度に関係ない。ドットアドレスの最上位の値が同じで、上位から２番目の値が異なるＩＰアドレスの場合には、アドレス優先度のポイントが「１」である。この場合、上位から３番目及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。ドットアドレスの最上位の値が異なるＩＰアドレスの場合には、アドレス優先度のポイントが「０」である。この場合、上位から２番目、３番目、及び最下位のドットアドレスの値が同じであるか否かは優先度には関係ない。
(Address priority management table)
Furthermore, in the storage unit 5000, a priority management DB 5006 configured by an address priority management table as shown in FIG. 16 is constructed. In this address priority management table, in the
（伝送速度優先度管理テーブル）
また、記憶部５０００に構築されている優先度管理ＤＢ５００６には、図１７に示されているような伝送速度優先度管理テーブルも含まれている。この伝送速度優先度管理テーブルでは、中継装置３０における最大データ伝送速度（Ｍｂｐｓ）の値が大きくなる程、伝送速度優先度のポイントが高くなるように、最大テータ伝送速度と伝送速度優先度とが関連付けられて管理される。例えば、図１７に示されている伝送速度優先度管理テーブルにおいて、中継装置３０における最大データ伝送速度が１０００Ｍｂｐｓ以上の場合には、伝送速度優先度のポイントが「５」である。中継装置３０における最大データ伝送速度が１００Ｍｂｐｓ以上１０００Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「３」である。中継装置３０における最大データ伝送速度が１０Ｍｂｐｓ以上１００Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「１」である。中継装置３０における最大データ伝送速度が１０Ｍｂｐｓ未満の場合には、伝送速度優先度のポイントが「０」である。
(Transmission speed priority management table)
The priority management DB 5006 built in the storage unit 5000 also includes a transmission speed priority management table as shown in FIG. In this transmission speed priority management table, the maximum data transmission speed and transmission speed priority are set so that the point of transmission speed priority becomes higher as the value of the maximum data transmission speed (Mbps) in the
（品質管理テーブル）
更に、記憶部５０００には、図１８に示されているような品質管理テーブルによって構成されている品質管理ＤＢ５００７が構築されている。この品質管理テーブルでは、要求元端末又は宛先端末における画像データの遅延時間（ｍｓ）が長い程、中継装置３０で中継させる画像データの画質を下げるように、画像データの遅延時間と画像データの画質（画像の品質）とが関連付けられて管理される。
(Quality control table)
Further, in the storage unit 5000, a quality management DB 5007 configured of a quality management table as shown in FIG. 18 is constructed. In this quality management table, the delay time of the image data and the image quality of the image data are reduced so that the image quality of the image data relayed by the
（管理システムの各機能構成）
次に、管理システム５０の各機能構成について詳細に説明する。なお、以下では、管理システム５０の各機能構成を説明するにあたって、図６に示されている各構成要素のうち、管理システム５０の各機能構成を実現させるための主な構成要素との関係も説明する。
(Each functional configuration of management system)
Next, each functional configuration of the
送受信部５１は、図６に示されているＣＰＵ２０１からの命令、及び図６に示されているネットワークＩ／Ｆ２０９によって実行され、通信ネットワーク２を介して他の端末、装置又はシステムと各種データ（または情報）の送受信を行う。
The transmission /
端末認証部５２は、図６に示されているＣＰＵ２０１からの命令によって実現され、送受信部５１を介して受信されたログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとして、記憶部５０００の端末認証管理ＤＢ５００２を検索し、端末認証管理ＤＢ５００２に同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う。
The
状態管理部５３は、図６に示されているＣＰＵ２０１からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理ＤＢ５００３（図１３参照）に、この要求元端末の端末ＩＤ、要求元端末の稼動状態、管理システム５０でログイン要求情報が受信された受信日時、及び要求元端末のＩＰアドレスを関連付けて記憶して管理する。また、状態管理部５３は、利用者が端末１０の電源スイッチ１０９の状態をＯＮからＯＦＦにすることで、端末１０から送られてきた、電源をＯＦＦする旨の状態情報に基づいて、端末管理ＤＢ５００３（図１３参照）のオンラインを示す稼動状態をオフラインに変更する。
The
端末抽出部５４は、図６に示されているＣＰＵ２０１からの命令によって実現され、ログイン要求した要求元端末の端末ＩＤをキーとして、宛先リスト管理ＤＢ５００４（図１４参照）を検索し、要求元端末と通話することができる宛先端末の候補の端末ＩＤを読み出すことで、端末ＩＤを抽出する。また、端末抽出部５４は、ログイン要求してきた要求元端末の端末ＩＤをキーとして、宛先リスト管理ＤＢ５００４（図１４参照）を検索し、上記要求元端末の端末ＩＤを宛先端末の候補として登録している他の要求元端末の端末ＩＤも抽出する。
The
更に、端末抽出部５４は、画像通信状態メッセージ(m)を送信した端末の端末ＩＤを要求元端末の端末ＩＤとして、宛先リスト管理ＤＢ５００４を検索することにより、対応する宛先端末の端末ＩＤを全て抽出する。
Furthermore, the
端末状態抽出部５５は、図６に示されているＣＰＵ２０１からの命令によって実現され、上記端末抽出部５４によって抽出された宛先端末の候補の端末ＩＤを検索キーとして、端末管理ＤＢ５００３（図１３参照）を検索し、上記端末抽出部５４によって抽出された端末ＩＤ毎に稼動状態を読み出す。これにより、端末状態抽出部５５は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末状態抽出部５５は、上記端末抽出部５４によって抽出された端末ＩＤを検索キーとして、端末管理ＤＢ５００３を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
The terminal
更に、端末状態抽出部５５は、宛先端末の端末ＩＤを検索キーとして端末管理ＤＢ５００３（図１３参照）を検索することにより、対応する画像通信状態情報を抽出する。また、端末状態抽出部５５は、端末管理ＤＢ５００３（図１３参照）を参照し、画像通信中の端末１０、画像通信停止中の端末１０、又は、画像通信機能を有している端末１０のＩＰアドレスを抽出する。
Furthermore, the terminal
一次絞込部５６は、図６に示されているＣＰＵ２０１からの命令によって実現され、複数の中継装置３０から最終的に１つの中継装置３０に絞り込む最終絞り込み処理を支援するため、この最終絞り込み処理前の一次絞り込み処理を行う。そのために、一次絞込部５６は、図５に示されているＣＰＵ２０１からの命令によって、図９に示されているように、選択用セッションＩＤ生成部５６ａ、端末ＩＰアドレス抽出部５６ｂ、一次選択部５６ｃ、及び優先度決定部５６ｄを実現する。
The primary narrowing-down
このうち、選択用セッションＩＤ生成部５６ａは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤを生成する。端末ＩＰアドレス抽出部５６ｂは、要求元端末から送られてきた開始要求情報に含まれている要求元端末の端末ＩＤ、及宛先端末の端末ＩＤに基づいて、端末管理ＤＢ５００３（図１３参照）を検索することにより、対応するそれぞれの端末１０のＩＰアドレスを抽出する。一次選択部５６ｃは、中継装置管理ＤＢ５００１（図１１参照）で管理されている中継装置３０のうち、稼動状態が「オンライン」となっている中継装置３０の中継装置ＩＤを選択することにより、中継装置３０の選択を行う。
Among these, the selection session ID generation unit 56 a generates a selection session ID used to execute a session for selecting the
また、一次選択部５６ｃは、上記端末ＩＰアドレス抽出部５６ｂによって抽出された、要求元端末のＩＰアドレス、及び宛先端末のＩＰアドレスに基づいて、中継装置管理ＤＢ５００１（図１１参照）を検索することにより、上記選択された中継装置３０のＩＰアドレスのドットアドレス毎に、上記要求元端末及び宛先端末の各ＩＰアドレスにおける各ドットアドレスと同じであるか異なるかを調査する。更に、一次選択部５６ｃは、中継装置毎に、アドレス優先度のポイントにおいて端末１０に対する高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位２つの中継装置３０を選択することにより、中継装置３０の更なる選択を行う。なお、本実施形態では、ポイントが高い上位２つの中継装置３０を選択することにしているが、これに限られるものではなく、中継装置３０を１つでも多く絞り込むことができれば、ポイントが高い上位３つ以上の中継装置３０を選択するようにしてもよい。
Also, the
優先度決定部５６ｄは、優先度管理ＤＢ５００６（図１６参照）を参照して、上記一次選択部５６ｃによって調査された中継装置３０毎に、アドレス優先度のポイントを決定する。また、優先度決定部５６ｄは、中継装置管理ＤＢ５００１（図１１参照）で管理されている各中継装置３０の最大データ伝送速度に基づいて、優先度管理ＤＢ５００６（図１７参照）を検索することにより、上記一次選択部５６ｃによる第１次の絞り込み処理によって絞り込まれた中継装置３０毎に伝送速度優先度のポイントを決定する。
The
続いて、セッション管理部５７は、図６に示されているＣＰＵ２０１からの命令によって実現され、記憶部５０００のセッション管理ＤＢ５００５（図１５参照）に、選択用セッションＩＤ生成部５６ａで生成された選択用セッションＩＤ、要求元端末の端末ＩＤ、及び宛先端末の端末ＩＤを関連付けて記憶して管理する。また、セッション管理部５７は、セッション管理ＤＢ５００５（図１５参照）に対して、選択用セッションＩＤ毎に、端末１０の最終選択部１６ｃで最終的に１つに選択された中継装置３０の中継装置ＩＤを記憶して管理する。
Subsequently, the
品質決定部５８は、上記遅延時間を検索キーとして、品質管理ＤＢ５００７（図１８参照）を検索し、対応する画像データの画質を抽出することで、中継装置３０に中継させる画像データの画質を決定する。
The
記憶・読出処理部５９は、図６に示されているＣＰＵ２０１からの命令、及び図６に示されているＨＤＤ２０５によって実行され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出す処理を行う。
Storage /
遅延時間管理部６０は、図６に示されているＣＰＵ２０１からの命令によって実現され、上記宛先端末のＩＰアドレスを検索キーとして、端末管理ＤＢ５００３（図１３参照）を検索することで、対応する端末ＩＤを抽出し、更に、セッション管理ＤＢ５００５（図１５参照）のセッション管理テーブルにおいて、上記抽出した端末ＩＤが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間を記憶して管理する。
The delay
メッセージ作成部６１は、各端末３０の画像通信状態に応じた通信制御メッセージを作成する。この通信制御メッセージを作成する処理に関しては、後ほど図２８を用いて詳細に説明する。また、メッセージ作成部６１は、端末１０から送られてきた画像通信状態メッセージ(m)から、送信元の端末１０に係る画像通信状態情報、及び端末１０のＩＰアドレスを取得する。更に、メッセージ作成部６１は、端末管理ＤＢ５００３（図１３参照）において、画像通信状態メッセージ(m)から取得されたＩＰアドレスに対応する画像通信状態の属性部分に、画像通信状態メッセージ(m)から取得された画像通信状態情報を上書きして書き換える。
The
また、メッセージ作成部６１は、端末管理ＤＢ５００３（図１３参照）から、画像通信状態メッセージ(m)から取得されたＩＰアドレスに対応した端末ＩＤを抽出する。更に、メッセージ作成部６１は、端末管理ＤＢ５００３（図１３参照）から抽出された画像通信状態情報を参照して、要求元端末と全ての宛先端末のそれぞれが画像通信機能を有しているかを判断する。
Further, the
＜＜実施形態の処理または動作＞＞
次に、図１９乃至図３３を用いて、本実施形態に係る伝送システム１における処理方法を説明する。なお、図１９は、各中継装置３０から管理システム５０に送信された各中継装置３０の状態を示す状態情報を管理する処理を示したシーケンス図である。図２０は、複数の端末１０の間で通話を開始する準備段階の処理を示したシーケンス図である。図２１は、中継装置３０を絞り込む処理を示したシーケンス図である。図２２は、中継装置３０を絞り込む処理を示した処理フロー図である。図２３は、中継装置３０の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。図２４は、端末１０が中継装置３０を選択する処理を示したシーケンス図である。図２５は、端末で中継装置３０を選択する処理を示した処理フロー図である。図３３は、端末間で画像データ及び音声データを送受信する処理を示したシーケンス図である。
<< Process or Operation of Embodiment >>
Next, a processing method in the
まず、図１９を用いて、各中継装置３０から管理システム５０に送信された各中継装置３０の状態を示す状態情報を管理する処理を説明する。まず、各中継装置３０では、図７に示されている状態検知部３２が、自装置である中継装置３０の稼動状態を定期的に検知している（ステップＳ１−１〜４）。そして、管理システム５０側で各中継装置３０の稼動状態をリアルタイムで管理させるべく、各中継装置３０の送受信部３１は、定期的に通信ネットワーク２を介して管理システム５０へ各状態情報を送信する（ステップＳ２−１〜４）。これら各状態情報には、中継装置３０毎の中継装置ＩＤと、これら各中継装置ＩＤに係る中継装置３０の状態検知部３２で検知された稼動状態とが含まれている。なお、本実施形態では、中継装置（３０ａ，３０ｂ，３０ｄ）は、正常に稼動して「オンライン」となっている一方で、中継装置３０ｃは稼働中ではあるが、中継装置３０ｃの中継動作を実行するためのプログラムに何らかの不具合が生じて、「オフライン」となっている場合が示されている。
First, processing for managing state information indicating the state of each
次に、管理システム５０では、各中継装置３０から送られて来た各状態情報を送受信部５１が受信し、記憶・読出処理部５９を介して記憶部５０００の中継装置管理ＤＢ５００１（図１１参照）に、中継装置ＩＤ毎に状態情報を記憶して管理する（ステップＳ３−１〜４）。これにより、図１１に示されるような中継装置管理テーブルに対して、中継装置ＩＤ毎に「オンライン」、「オフライン」、又は「故障中」のいずれかの稼動状態が記憶されて管理される。またこの際に、中継装置ＩＤ毎に、管理システム５０で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置３０から状態情報が送られない場合には、図１１に示されている中継装置管理テーブルの各レコードにおける稼動状態のフィールド部分及び受信日時のフィールド部分が空白になるか、又は、前回の受信時の稼動状態及び受信日時をそれぞれ示す。
Next, in the
次に、図２０を用いて、端末１０ａａと端末１０ｄｂとの間で、通話を開始する前の準備段階における各管理情報の送受信処理について説明する。なお、図２０では、全て図２に示されている管理情報用セッションｓｅｉによって、各種管理情報が送受信される。 Next, transmission / reception processing of each management information in the preparation stage before the start of a call between the terminal 10aa and the terminal 10db will be described using FIG. In FIG. 20, various management information is transmitted and received by the management information session sei shown in FIG.
まず、利用者が、図５に示されている電源スイッチ１０９をＯＮにすると、図７に示されている操作入力受付部１２が電源ＯＮを受け付けて、電源をＯＮにする（ステップＳ２１）。そして、ログイン要求部１３は、上記電源ＯＮの受け付けを契機とし、送受信部１１から通信ネットワーク２を介して管理システム５０に、ログイン要求を示すログイン要求情報を自動的に送信する（ステップＳ２２）。このログイン要求情報には、要求元としての自端末である端末１０ａａを識別するための端末ＩＤ及びパスワードが含まれている。これら端末ＩＤ及びパスワードは、記憶・読出処理部１９を介して記憶部１０００から読み出されて、送受信部１１に送られたデータである。なお、端末１０ａａから管理システム５０へログイン要求情報が送信される際は、受信側である管理システム５０は、送信側である端末１０ａｂのＩＰアドレスを把握することができる。
First, when the user turns on the
次に、管理システム５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている端末ＩＤ及びパスワードを検索キーとして、記憶部５０００の端末認証管理ＤＢ５００２（図１２参照）を検索し、端末認証管理ＤＢ５００２に同一の端末ＩＤ及びパスワードが管理されているかを判断することによって端末認証を行う（ステップＳ２３）。この端末認証部５２によって、同一の端末ＩＤ及びパスワードが管理されているため、正当な利用権限を有する端末１０からのログイン要求であると判断された場合には、状態管理部５３は、端末管理ＤＢ５００３（図１３参照）に、端末１０ａａの端末ＩＤ、稼動状態、上記ログイン要求情報が受信された受信日時、及び端末１０ａａのＩＰアドレスを関連付けて記憶する（ステップＳ２４）。これにより、図１３に示されている端末管理テーブルには、端末ＩＤ「０１ａａ」に、稼動状態「オンライン」、受信日時「２００９．１１．１０．１３：４０」及び端末１０ａａのＩＰアドレス「１．２．１．３」が関連付けて管理されることになる。
Next, the
そして、管理システム５０の送受信部５１は、上記端末認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介して、上記ログイン要求してきた要求元端末（端末１０ａａ）に送信する（ステップＳ２５）。本実施形態では、端末認証部５２によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
Then, the transmission /
管理システム５０の端末抽出部５４は、ログイン要求した要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理ＤＢ５００４（図１４参照）を検索し、要求元端末（端末１０ａａ）と通信することができる宛先端末の候補の端末ＩＤを読み出すことによって抽出する（ステップＳ２６）。ここでは、要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」に対応する宛先端末（端末１０ａｂ，１０ｂａ，１０ｄｂ）のそれぞれの端末ＩＤ（「０１ａｂ」、「０１ｂａ」、「０１ｄｂ」）が抽出されることになる。
The
次に、端末状態抽出部５５は、上記端末抽出部５４によって抽出された宛先端末の候補の端末ＩＤ（「０１ａｂ」、「０１ｂａ」、「０１ｄｂ」）を検索キーとして、端末管理ＤＢ５００３（図１３参照）を検索し、上記端末抽出部５４によって抽出された端末ＩＤ毎に稼動状態（「オフライン」、「オンライン」、「オンライン」）を読み出すことにより、端末（１０ａｂ，１０ｂａ，１０ｄｂ）の各稼動状態を取得する（ステップＳ２７）。
Next, the terminal
次に、送受信部５１は、上記ステップＳ２７で使用された検索キーとしての端末ＩＤ（「０１ａｂ」、「０１ｂａ」、「０１ｄｂ」）と、それぞれに対応する宛先端末（端末１０ａｂ，１０ｂａ，１０ｄｂ）のそれぞれの稼動状態（「オフライン」、「オンライン」、「オンライン」）とが含まれた宛先状態情報を、通信ネットワーク２を介して要求元端末（端末１０ａａ）に送信する（ステップＳ２８）。これにより、要求元端末（端末１０ａａ）は、この要求元端末（端末１０ａａ）と通信することができる宛先端末の候補である端末（１０ａｂ，１０ｂａ，１０ｄｂ）の現時点のそれぞれの稼動状態（「オフライン」、「オンライン」、「オンライン」）を把握することができる。
Next, the transmitting / receiving
更に、管理システム５０の端末抽出部５４は、ログイン要求してきた要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理ＤＢ５００４（図１４参照）を検索し、上記要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」を宛先端末の候補として登録している他の要求元端末の端末ＩＤを抽出する（ステップＳ２９）。図１４に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末の端末ＩＤは、「０１ａｂ」、「０１ｂａ」、及び「０１ｄｂ」である。
Furthermore, the
次に、管理システム５０の端末状態抽出部５５は、上記ログイン要求して来た要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」を検索キーとして、端末管理ＤＢ５００３（図１３参照）を検索し、ログイン要求してきた要求元端末（端末１０ａａ）の稼動状態を取得する（ステップＳ３０）。
Next, the terminal
そして、送受信部５１は、上記ステップＳ２９で抽出された端末ＩＤ（「０１ａｂ」、「０１ｂａ」、「０１ｄｂ」）に係るそれぞれの端末（１０ａｂ，１０ｂａ，１０ｄｂ）のうち、端末管理ＤＢ５００３（図１３参照）で稼動状態が「オンライン」となっている端末（１０ｂａ，１０ｄｂ）に、上記ステップＳ３０で取得された要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」と稼動状態「オンライン」が含まれる宛先状態情報を送信する（ステップＳ３１−１，２）。なお、送受信部５１が端末（１０ｂａ，１０ｄｂ）に宛先状態情報を送信する際に、各端末ＩＤ（「０１ｂａ」、「０１ｄｂ」）に基づいて、図１３に示されている端末管理テーブルで管理されている端末のＩＰアドレスを参照する。これにより、ログイン要求した要求元端末（端末１０ａａ）を宛先として通信することができる他の宛先端末（端末１０ｄｂ，１０ｂａ）のぞれぞれに、上記ログイン要求した要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」、及び稼動状態「オンライン」を伝えることができる。
Then, the transmission /
一方、他の端末１０でも、上記ステップ２１と同様に、利用者が図６に示されている電源スイッチ１０９をＯＮにすると、図７に示されている操作入力受付部１２が電源ＯＮを受け付け、上記ステップＳ２２〜Ｓ３１−１,２の処理と同様の処理を行うため、その説明を省略する。
On the other hand, even in the
続いて、図２１を用いて、中継装置３０を絞り込む処理を説明する。なお、図２１では、全て図２１に示されている管理情報用セッションｓｅｉによって、各種管理情報が送受信される。また、本実施形態においては、要求元端末（端末１０ａａ）は、宛先の候補としての端末１０のうち、上記ステップＳ３２によって受信した端末の状態情報により、稼動状態がオンラインである端末（１０ｂａ，１０ｄｂ）の少なくとも一方と通話を行うことができる。そこで、以下では、要求元端末（端末１０ａａ）の利用者が、宛先端末（端末１０ｄｂ）と通話を開始することを選択した場合について説明する。
Subsequently, a process of narrowing down the
まず、利用者が図５に示されている操作ボタン１０８を押下して端末１０ｄｂを選択すると、図７に示されている操作入力受付部１２は、宛先端末（端末１０ｄｂ）との通話を開始する要求を受け付ける（ステップＳ４１）。そして、要求元端末（端末１０ａａ）の送受信部１１は、端末１０ａａの端末ＩＤ「０１ａａ」、及び宛先端末（端末１０ｄｂ）の端末ＩＤ「０１ｄｂ」が含まれ、通話を開始したい旨を示す開始要求情報を、管理システム５０へ送信する（ステップＳ４２）。これにより、管理システム５０の送受信部５１は、上記開始要求情報を受信すると共に、送信元である要求元端末（端末１０ａａ）のＩＰアドレス「１．２．１．３」を把握することができる。
First, when the user presses the
そして、状態管理部５３は、開始要求情報に含まれる要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」及び宛先端末（端末１０ｄｂ）の端末ＩＤ「０１ｄｂ」に基づき、端末管理ＤＢ５００３（図１３参照）の端末管理テーブルにおいて、上記端末ＩＤ「０１ａａ」及び端末ＩＤ「０１ｄｂ」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する（ステップＳ４３）。なお、この状態では、要求元端末（端末１０ａａ）と宛先端末（端末１０ｄｂ）は、通話を開始していないが、通話中状態となり、他の端末１０が要求元端末（端末１０ａａ）又は宛先端末（端末１０ｄｂ）と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
Then, based on the terminal ID "01aa" of the request source terminal (terminal 10aa) and the terminal ID "01db" of the destination terminal (terminal 10db) included in the start request information, the
次に、中継装置３０を選択するためのセッションを実行する処理を説明する。まず、図９に示されている選択用セッションＩＤ生成部５６ａは、中継装置３０を選択するためのセッションの実行に用いられる選択用セッションＩＤを生成する（ステップＳ４４）。そして、セッション管理部５７は、記憶部５０００のセッション管理ＤＢ５００５（図１５参照）に、上記ステップＳ４４で生成された選択用セッションＩＤ「ｓｅ１」、要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」、及び宛先端末（端末１０ｄｂ）の端末ＩＤ「０１ｄｂ」を関連付けて記憶して管理する（ステップＳ４５）。
Next, processing for executing a session for selecting the
次に、図７に示されている管理システム５０の一次絞込部５６は、中継装置管理ＤＢ５００１、端末管理ＤＢ５００３、及び優先度管理ＤＢ５００６に基づいて、要求元端末（端末１０ａａ）と、宛先端末（端末１０ｄｂ）との通話を中継するための中継装置３０の一次絞り込みを行う（ステップＳ４６）。
Next, the primary narrowing-down
ここで、図９及び図２２を用いて、ステップＳ４６における処理を更に詳細に説明する。まず、図９に示されている端末ＩＰアドレス抽出部５６ｂは、要求元端末（端末１０ａａ）から送られてきた開始通信情報に含まれている要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」、及宛先端末（端末１０ｄｂ）の端末ＩＤ「０１ｄｂ」に基づいて、端末管理ＤＢ５００３（図１３参照）を検索することにより、それぞれに対応する端末（１０ａａ，１０ｄｂ）のＩＰアドレス（「１．２．１．３」,「１．３．２．４」）を抽出する（ステップＳ４６−１）。
Here, the process in step S46 will be described in more detail using FIG. 9 and FIG. First, the terminal IP
次に、一次選択部５６ｃは、中継装置管理ＤＢ５００１（図１１参照）で管理されている中継装置３０の稼動状態のうち、「オンライン」になっている中継装置（３０ａ，３０ｂ，３０ｄ）の各中継装置ＩＤ（１１１ａ，１１１ｂ，１１１ｄ）を選択する（ステップＳ４６−２）。また、一次選択部５６ｃは、上記ステップＳ４６−１で抽出された、要求元端末（端末１０ａａ）のＩＰアドレス「１．２．１．３」、及び宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」に基づいて、中継装置管理ＤＢ５００１（図１１参照）を検索することにより、上記ステップＳ４６−２によって選択された中継装置（３０ａ，３０ｂ，３０ｄ）の各ＩＰアドレス（「１．２．１．２．」，「１．２．２．２」，「１．３．２．２」）のドットアドレス毎に、上記要求元端末（端末１０ａａ）及び宛先端末（端末１０ｄｂ）の各ＩＰアドレス（「１．２．１．３」，「１．３．２．４」）における各ドットアドレスと同じであるか異なるかを調査する（ステップＳ４６−３）。
Next, among the operation states of the
次に、優先度決定部５６ｄは、優先度管理ＤＢ５００６（図１６参照）を参照して、上記ステップ４６−３によって調査された中継装置（３０ａ，３０ｂ，３０ｄ）毎に、アドレス優先度のポイントを決定する（ステップＳ４６−４）。この決定処理の結果を表に表すと、図２３に示されているような状態になる。なお、図２３は、中継装置３０の絞り込み処理を行う際の優先度のポイントの計算状態を示した図である。この図２３では、中継装置ＩＤ毎に、アドレス優先度のポイント、伝送速度優先度のポイント、及び統合ポイントが示されている。また、アドレス優先度のポイントは、更に、各中継装置３０の要求元端末（端末１０ａａ）に対するポイント及び宛先端末（端末１０ｄｂ）に対するポイントが示されている。統合ポイントは、アドレス優先度の２つのポイントのうちの高い方のポイントと、伝送速度優先度のポイントの合計である。
Next, the
本実施形態では、中継装置３０ａのＩＰアドレス「１．２．１．２」は要求元端末（端末１０ａａ）のＩＰアドレス「１．２．１．３」に対して、「同．同．同．異」であるため、図２３に示されているように、アドレス優先度のポイントは「５」になる。また、図１に示されているように、中継装置３０ａのＩＰアドレス「１．２．１．２」は宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」に対して、図１６に示されているように、「同．異．異．異」であるため、図２３に示されているように、アドレス優先度のポイントは「１」になる。また、中継装置３０ｂのＩＰアドレス「１．２．２．２」は要求元端末（端末１０ａａ）のＩＰアドレス「１．２．１．３」に対して、「同．同．異．異」であるため、アドレス優先度のポイントは「３」になる。また、中継装置３０ｂのＩＰアドレス「１．２．２．２」は宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」に対して、「同．異．同．異」であるため、アドレス優先度のポイントは「１」になる。更に、中継装置３０ｄのＩＰアドレス「１．３．２．２」は要求元端末（端末１０ａａ）のＩＰアドレス「１．２．１．３」に対して、「同．異．異．異」であるため、アドレス優先度のポイントは「１」になる。また、中継装置３０ｄのＩＰアドレス「１．３．２．２」は宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」に対して、「同．同．同．異」であるため、アドレス優先度のポイントは「５」になる。
In the present embodiment, the IP address "1.2.1.2" of the
次に、図２２に戻って、優先度決定部５６ｄは、中継装置管理ＤＢ５００１（図１１参照）で管理されている各中継装置３０の最大データ伝送速度に基づいて、優先度管理ＤＢ５００６（図１７参照）を検索することにより、上記ステップＳ４６−２によって第１次絞り込み処理によって絞り込まれた中継装置（３０ａ，３０ｂ，３０ｄ）毎に伝送速度優先度のポイントを決定する（ステップＳ４６−５）。本実施形態では、図１１に示されているように、中継装置３０ａの最大データ伝送速度が１００（Ｍｂｐｓ）であるため、図１７に示されている伝送速度優先度を参照すると、伝送速度優先度が３ポイントになる。また、同様に、中継装置３０ｂの最大データ伝送速度について計算すると１０００（Ｍｂｐｓ）であるため、伝送速度優先度が５ポイントになる。また同様に、中継装置３０ｄの最大データ伝送速度について計算すると１０（Ｍｂｐｓ）であるため、伝送速度優先度が１ポイントになる。
Next, referring back to FIG. 22, based on the maximum data transmission speed of each
次に、一次選択部５６ｃは、中継装置（３０ａ，３０ｂ，３０ｄ）毎に、アドレス優先度のポイントにおいて端末（１０ａａ，１０ｄｂ）のうち高い方のポイントと、伝送速度優先度のポイントを統合した統合ポイントのうち、ポイントが高い上位２つの中継装置３０を選択する（ステップ４６−６）。本実施形態では、図２３に示されているように、中継装置ＩＤ（１１１ａ，１１１ｂ，１１１ｄ）は、それぞれ統合ポイントが「８」、「８」、「６」であるため、中継装置ＩＤ「１１１ａ」に係る中継装置３０ａ、及び中継装置ＩＤ「１１１ｂ」に係る中継装置３０ｂが選択されることになる。
Next, the
以上のステップＳ４６における絞り込み処理が終了すると、図７に示されている送受信部５１は、通信ネットワーク２を介して、宛先端末（端末１０ｄｂ）へ、上記絞り込まれた中継装置３０の数を伝達するための中継装置絞込情報を送信する（ステップＳ４７）。この中継装置絞込情報には、上記ステップ４６によって絞り込まれた中継装置３０の数「２」、要求元端末（端末１０ａａ）の端末ＩＤ「０１ａａ」、及び上記選択用セッションＩＤ「ｓｅ１」が含まれている。これにより、端末１０ｄｂは、選択用セッションＩＤ「ｓｅ１」におけるセッションの実行において、中継装置３０の数がいくつで、どの端末１０から通話を開始したいとの要求があったのかを把握することができると共に、中継装置絞込情報の送信元である管理システム５０のＩＰアドレス「１．１．１．２」を把握することができる。
When the narrowing-down process in step S46 described above is completed, the transmitting / receiving
そして、端末１０ｄｂは、送受信部１１から通信ネットワーク２を介して管理システム５０へ、上記中継装置絞込情報の受信が完了した旨を示す受信完了情報を送信する（ステップＳ４８）。この受信完了情報には、セッションＩＤ「ｓｅ１」が含まれている。これにより、管理システム５０は、セッションＩＤ「ｓｅ１」で実行されている中継装置数の伝達が完了した旨と共に、送信元である宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」を把握することができる。
Then, the terminal 10 db transmits reception completion information indicating that the reception of the relay apparatus narrowing down information is completed from the transmission / reception unit 11 to the
次に、図２４及び図２５を用いて、宛先端末（端末１０ｄｂ）が中継装置３０を選択する処理を説明する。なお、図２４では、全て図２に示されている管理情報用セッションｓｅｉによって、各種管理情報が送受信される。
Next, a process in which the destination terminal (terminal 10db) selects the
まず、管理システム５０は、テレビ会議の通話を開始する前に、上記ステップＳ４６によって絞り込まれた中継装置（３０ａ，３０ｂ）のそれぞれに対して、事前に中継を要求する旨の事前中継要求情報を送信する（ステップＳ６１−１，２）。この事前中継要求情報には、セッションＩＤ「ｓｅ１」、要求元端末（端末１０ａａ）のＩＰアドレス「１．２．１．３」、及び宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」が含まれている。これにより、各中継装置（３０ａ，３０ｂ）は、どの選択用セッションのものであるか、要求元端末が何であるか、及び宛先端末が何であるかを把握することができると共に、事前中継要求情報の送信元である管理システム５０のＩＰアドレス「１．１．１．２」を把握することができる。
First, before starting a video conference call, the
次に、各中継装置（３０ａ，３０ｂ）のそれぞれは、送受信部３１から通信ネットワーク２を介して、上記ステップＳ６１−１，２によって把握した要求元端末（端末１０ａａ）へ、通話の開始前に自装置としての各中継装置（３０ａ，３０ｂ）へ、後述のｐｉｎｇ(Packet Internet Groper)が含まれた事前送信情報を送信させる旨を示す事前送信要求情報を送信する（ステップＳ６２−１，２）。この事前送信情報には、セッションＩＤ「ｓｅ１」が含まれている。これにより、要求元端末（端末１０ａａ）は、セッションＩＤ「ｓｅ１」で実行されている中継装置３０の選択処理において、各中継装置（３０ａ，３０ｂ）に事前送信情報を送信することを把握すると共に、事前送信要求情報の送信元である中継装置（３０ａ，３０ｂ）のそれぞれのＩＰアドレス（「１．２．１．２」，「１．２．２．２」）を把握することができる。
Next, each of the relay devices (30a, 30b) transmits the call from the transmission /
なお、管理システム５０から直接、要求元端末に対して、宛先端末のＩＰアドレスを通知せずに、上記ステップＳ６１−１のように中継装置３０ａに対して宛先端末のＩＰアドレスを通知し、上記ステップＳ６１−２のように中継装置３０ａが要求元端末に対し、自装置（中継装置３０ａ）に対して事前送信要求情報を送信するように要求するのは、各端末１０には、他の端末１０のＩＰアドレスを知らせないようにして、セキュリティーを確保するためである。
The
次に、要求元端末（端末１０ａａ）は、送受信部１１から通信ネットワーク２を介して各中継装置（３０ａ，３０ｂ）へ事前送信情報を送信する（ステップＳ６３−１，２）。この事前送信情報は、画像データ及び音声データの送信に先立って、これら画像データ及び音声データの代わりに各中継装置（３０ａ，３０ｂ）を介して宛先端末（端末１０ｄｂ）へ送信されることで、要求元端末（端末１０ａａ）の送信から宛先端末（端末１０ｄｂ）の受信までの所要時間を計測するために用いられる情報である。また、この事前送信情報には、要求元端末（端末１０ａａ）、中継装置（３０ａ，３０ｂ）、及び宛先端末（端末１０ｄｂ）が通信可能に接続されていることを確認するためのｐｉｎｇ、要求元端末（端末１０ａａ）から事前送信情報が送信された送信日時、及びセッションＩＤ「ｓｅ１」が含まれている。これにより、各中継装置（３０ａ，３０ｂ）は、選択用セッションＩＤ「ｓｅ１」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元である要求元端末（端末１０ａａ）のＩＰアドレス「１．２．１．３」を把握することができる。
Next, the request source terminal (terminal 10aa) transmits the prior transmission information from the transmission / reception unit 11 to each of the relay devices (30a, 30b) via the communication network 2 (steps S63-1 and 2). The prior transmission information is transmitted to the destination terminal (terminal 10db) via the relay devices (30a, 30b) instead of the image data and audio data prior to transmission of the image data and audio data. It is information used to measure the required time from the transmission of the request source terminal (terminal 10aa) to the reception of the destination terminal (terminal 10db). Further, in the prior transmission information, ping for confirming that the request source terminal (terminal 10 aa), the relay apparatuses (30 a, 30 b), and the destination terminal (
次に、各中継装置（３０ａ，３０ｂ）は、上記ステップＳ６１−１，２によって受信された事前中継要求情報に含まれている宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」に対して、上記事前送信情報を中継する（ステップＳ６４−１，２）。これにより、宛先端末（端末１０ｄｂ）は、セッションＩＤ「ｓｅ１」におけるセッションの実行において、事前送信情報が送られて来たことを把握できると共に、この事前送信情報の送信元（中継元）である中継装置（３０ａ，３０ｂ）のＩＰアドレス（「１．２．１．２」，「１．２．２．２」）を把握することができる。 Next, each relay device (30a, 30b) transmits the IP address “1.3.2.4 of the destination terminal (terminal 10db) included in the prior relay request information received in step S61-1 and 2). , Relay the above-mentioned prior transmission information (step S64-1, 2). Thereby, the destination terminal (terminal 10db) can grasp that the preliminary transmission information has been sent in the execution of the session with the session ID "se1", and is the transmission source (relay source) of the preliminary transmission information. The IP addresses (“1.2.1.2”, “1.2.2.2”) of the relay devices (30a, 30b) can be grasped.
次に、宛先端末（端末１０ｄｂ）の最終絞込部１６は、事前送信情報に基づいて、最終的にテレビ会議の通話で画像データ及び音声データを中継する１つの中継装置３０に絞り込む（ステップＳ６５）。
Next, the
ここで、図８及び図２５を用いて、ステップＳ６５における処理を更に詳細に説明する。まず、図８に示されている最終絞込部１６の計測部１６ａは、各中継装置（３０ａ，３０ｂ）によって中継された事前送信情報毎に、端末１０ｄｂの送受信部１１で受信した際の受信日時を計測する（ステップＳ６５−１）。次に、算出部１６ｂは、上記受信時間が計測された事前送信情報毎に、上記受信日時と上記事前送信情報に含まれている送信日時との差に基づいて、各事前送信情報の送信から受信までの所要時間を算出する（ステップＳ６５−２）。次に、最終選択部１６ｃは、セッションＩＤ「ｓｅ１」におけるセッションの実行において、中継予定の中継装置３０の数「２」に相当する数の事前送信情報を全て受信したかを判断する（ステップＳ６５−３）。そして、全て受信していない場合には（ＮＯ）、最終選択部１６ｃは、端末１０ｄｂで事前送信情報を受信してから所定時間（ここでは１分間）経過したかを判断する（ステップＳ６５−４）。更に、所定時間経過していない場合には（ＮＯ）、上記ステップＳ６５−１に戻る。一方、上記ステップ６５−３において、全て受信した場合（ＹＥＳ）、又は上記ステップＳ６５−４において、所定時間経過した場合（ＹＥＳ）には、最終選択部１６ｃは、これまでに算出部１６ｂで算出された所要時間のうち最短の所要時間を要した事前送信情報を中継した中継装置３０を１つ選択する（ステップＳ６５−５）。本実施形態では、中継装置３０ａによって中継された事前送信情報が、中継装置３０ｂによって中継された事前送信情報よりも送信から受信までの所要時間が短かったものとして、中継装置３０ａが選択される例を示している。
Here, the process in step S65 will be described in more detail using FIG. 8 and FIG. First, the measuring
次に、宛先端末（端末１０ｄｂ）は、送受信部１１から通信ネットワーク２を介して管理システム５０へ、中継装置３０ａを選択した旨を示す選択情報を送信する（ステップＳ６６）。この選択情報には、セッションＩＤ「ｓｅ１」、及び、選択された中継装置３０ａの中継装置ＩＤ「１１１ａ」が含まれている。これにより、管理システム５０は、セッションＩＤ「ｓｅ１」におけるセッションの実行において、中継装置３０ａが選択されたことを把握できると共に、選択情報の送信元である宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」を把握することができる。
Next, the destination terminal (terminal 10db) transmits selection information indicating that the
次に、管理システム５０のセッション管理部５７は、セッション管理ＤＢ５００５（図１５参照）のセッション管理テーブルにおいて、セッションＩＤ「ｓｅ１」が含まれるレコードの中継装置ＩＤのフィールド部分に、上記最終的に１つに選択された中継装置３０ａの中継装置ＩＤ「１１１ａ」を記憶して管理する（ステップＳ６７）。そして、管理システム５０の送受信部５１は、通信ネットワーク２を介して中継装置３０ａへ、中継を開始する旨の要求が示された中継開始要求情報を送信する（ステップＳ６８）。この中継開始要求情報には、中継される要求元端末（端末１０ａａ）及び宛先端末（端末１０ｄｂ）の各ＩＰアドレス（「１．２．１．３」，「１．３．２．４」）が含まれている。これにより、中継装置３０ａは、自装置である中継装置３０ａが選択されたことを把握できるため、端末（１０ａａ，１０ｄｂ）の間で、低解像度、中解像度、及び高解像度の３つ画像データ、並びに、音声データを通話するためのセッションを確立する（ステップＳ６９）。よって、端末（１０ａａ，１０ｄｂ）は、テレビ会議の通話を開始することができる。
Next, in the session management table of the session management DB 5005 (see FIG. 15), the
なお、上記ステップＳ４７において、管理システム５０が宛先端末（端末１０ｄｂ）に中継装置絞込情報を送信することに伴い、ステップＳ４８〜Ｓ６４−１，２を経て、宛先端末（端末１０ｄｂ）側で中継装置の選択処理（ステップＳ６５）を行ったが、これに限るものではなく、上記ステップＳ４７において、管理システム５０が要求元端末（端末１０ａａ）に中継装置絞込情報を送信することで、その後ステップＳ６４−１，２までは、各情報の送信元と受信元が、要求元端末（端末１０ａａ）と宛先端末（端末１０ｄｂ）とで入れ替わるようにしてもよい。これにより、要求元端末（端末１０ａａ）が上記ステップＳ６５に替わって中継装置の選択処理を行うことができ、また、上記ステップＳ６６に替わって選択情報の送信も行うことができる。
In step S47, as the
続いて、図２６乃至図２８を用いて、他拠点（複数の端末１０）でテレビ会議を行う場合において、通信制御メッセージが作成されて各端末１０に送信された後、各端末１０で通信制御メッセージに基づく処理が行われるまでの処理を説明する。図２６では、端末１０ａａ、端末１０ｂａ、及び端末１０ｄｂの３つによってテレビ会議を行う場合が示されている。なお、図２６は、通信制御メッセージの作成及び送受信する処理を示したシーケンス図である。図２７は、主に通信制御メッセージを作成する処理を示したフロー図である。図２８は、通信制御メッセージを作成する処理の一部を詳細に示したフロー図である。なお、本実施形態では、多拠点としての３つの端末（１０ａａ，１０ｂａ，１０ｄｂ）が会議する場合について説明する。 Subsequently, when performing a video conference at another site (a plurality of terminals 10) using FIGS. 26 to 28, after a communication control message is created and transmitted to each terminal 10, communication control is performed in each terminal 10 A process until processing based on a message is described. FIG. 26 shows a case where a video conference is performed by three terminals 10aa, 10ba, and 10db. FIG. 26 is a sequence diagram showing a process of creating and transmitting and receiving a communication control message. FIG. 27 is a flow diagram mainly showing a process of creating a communication control message. FIG. 28 is a flowchart showing in detail a part of the process of creating a communication control message. In the present embodiment, a case will be described where three terminals (10 aa, 10 ba, 10 db) as multi-sites meet.
まず、図２６に示されているように、各端末１０（ここでは、端末１０ａａ）のメッセージ作成部２０は、記憶部１０００から、予め記憶されている画像通信状態情報を読み出して、この画像通信状態情報を含んだ画像通信状態メッセージ(m)を作成する（ステップＳ７１）。この画像通信状態メッセージ(m)には、この端末１０ａａのＩＰアドレス「１．２．１．３」が含まれている。なお、ＩＰアドレスの代わりに、宛先名が含まれてもよい。この画像通信状態メッセージ(m)は、例えば，RFC3921のXMPP(eXtensible Messaging and Presence Protocol)に従うＸＭＬ(eXtensible Markup Language)形式で作成することができる。なお、後述する通信制御メッセージや表示制御メッセージも同様の形式で作成される。
First, as shown in FIG. 26, the
次に、端末１０ａａの送受信部１１は、通信ネットワーク２を介して管理システム５０へ、上記ステップＳ７１で作成された画像通信状態メッセージ(m)を送信する（ステップＳ７２）。これにより、管理システム５０の送受信部５１は、画像通信状態メッセージ(m)を受信する。
Next, the transmission / reception unit 11 of the terminal 10aa transmits the image communication status message (m) created in step S71 to the
次に、管理システム５０のメッセージ作成部６１は、各端末３０の画像通信状態に応じた通信制御メッセージを作成する（ステップＳ７３）。このステップＳ７３に関しては、図２７を用いて詳細に説明する。
Next, the
まず、メッセージ作成部６１は、送受信部５１で受信された画像通信状態メッセージ(m)から、送信元の端末１０ａａに係る画像通信状態情報、及び端末１０ａａのＩＰアドレス「１．２．１．３」を取得する（ステップＳ７３−１）。そして、メッセージ作成部６１は、端末管理ＤＢ５００３（図１３参照）において、上記ステップＳ７３−１によって取得されたＩＰアドレスに対応する画像通信状態の属性部分に、上記ステップＳ７３−１によって取得された画像通信状態情報を上書きして書き換える（ステップＳ７３−２）。
First, from the image communication status message (m) received by the transmission /
次に、メッセージ作成部６１は、端末管理ＤＢ５００３（図１３参照）から、上記ステップＳ７３−１によって取得されたＩＰアドレスに対応した端末ＩＤを抽出する（ステップＳ７３−３）。
Next, the
次に、端末抽出部５４は、上記ステップＳ７３−３によって抽出された端末ＩＤを要求元端末の端末ＩＤとして、宛先リスト管理ＤＢ５００４を検索することにより、対応する宛先端末の端末ＩＤを全て抽出する（ステップＳ７３−４）。そして、端末状態抽出部５５は、宛先端末の端末ＩＤに基づいて端末管理ＤＢ５００３（図１３参照）を検索することにより、対応する画像通信状態情報を抽出する（ステップＳ７３−５）。
Next, the
次に、メッセージ作成部６１は、上記ステップＳ７３−５によって抽出された画像通信状態情報を参照して、要求元端末と全ての宛先端末のそれぞれが画像通信機能を有しているかを判断する（ステップＳ７３−６）。そして、要求元端末と全ての宛先端末のいずれにも画像通信機能がない場合には（ＮＯ）、ステップＳ７３の処理は終了する。この場合、後述のステップＳ７４によるメッセージ送信処理（図２６、図２７参照）は行われない。
Next, the
一方、要求元端末と全ての宛先端末の中のいずれかに画像通信機能がある場合には（ＹＥＳ）、メッセージ作成部６１は、各端末１０の画像通信状態に応じて、後述の通信制御メッセージを作成する（ステップＳ７３−７）。
On the other hand, if one of the request source terminal and all the destination terminals has the image communication function (YES), the
続いて、図２８を用い、上記ステップＳ７３−７に関して更に詳細に説明する。まず、メッセージ作成部６１は、上記ステップＳ７３−５によって抽出された画像通信状態を参照して、多拠点による会話中の複数の端末（１０ａａ，１０ｂａ，１０ｄｂ）のうち、２つ以上の複数の端末１０が画像通信中であるかを判断する（ステップＳ１０１）。このステップＳ１０１によって、複数の端末１０が画像通信中であると判断された場合には（ＹＥＳ）、更にメッセージ作成部６１は、残りの端末１０のうちで画像通信停止中の端末１０があるかを判断する（ステップＳ１０２）。このステップＳ１０３によって、画像通信停止中の端末１０があると判断された場合には（ＹＥＳ）、端末状態抽出部５５は、端末管理ＤＢ５００３（図１３参照）を参照し、上記ステップＳ１０２によって、あると判断された画像通信停止中の端末１０のＩＰアドレスを抽出する（ステップＳ１０３）。そして、メッセージ作成部６１は、複数の端末が画像通信中である旨の通信制御メッセージ(M3)を作成する（ステップＳ１０４）。具体的には、通信制御メッセージ(M3)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップＳ１０３で抽出された送信先のＩＰアドレスと、送信元である管理システム５０のＩＰアドレスとを含む。
Subsequently, step S73-7 will be described in more detail with reference to FIG. First, the
一方、上記ステップＳ１０１によって、複数の端末１０が画像通信中でないと判断された場合には（ＮＯ）、メッセージ作成部６１は、上記ステップＳ７３−５によって抽出された画像通信状態を参照して、単一の端末１０のみが画像通信中であるかを判断する（ステップＳ１０５）。このステップＳ１０５によって、単一の端末１０のみが画像通信中であると判断された場合には（ＹＥＳ）、更にメッセージ作成部６１は、上記ステップＳ７３−５によって抽出された画像通信状態を参照して、画像通信中の端末１０以外の全ての端末１０が画像通信機能を有していないかを判断する（ステップＳ１０６）。このステップＳ１０６によって、画像通信中の端末１０以外の全ての端末１０が画像通信機能を有していないと判断された場合には（ＹＥＳ）、端末状態抽出部５５は、端末管理ＤＢ５００３（図１３参照）を参照し、上記ステップＳ１０５によって画像通信中であると判断された単一の端末１０のＩＰアドレスを抽出する（ステップＳ１０７）。そして、メッセージ作成部６１は、画像通信を強制的に停止させる旨の通信制御メッセージ(M4)を作成する（ステップＳ１０８）。具体的には、通信制御メッセージ(M4)は、”DATA_IMAGE_OFF”のメッセージの他に、ステップＳ１０７で抽出された送信先のＩＰアドレスと、送信元である管理システム５０のＩＰアドレスとを含む。
On the other hand, when it is determined that the plurality of
一方、上記ステップＳ１０６によって、画像通信中の端末１０以外の全ての端末１０が画像通信機能を有していないと判断されなかった場合には（ＮＯ）、即ち、画像通信中の端末１０以外の端末１０のうち少なくとも１つが画像通信機能を有していると判断された場合には、更にメッセージ作成部６１は、上記ステップＳ７３−５によって抽出された画像通信状態を参照して、画像通信機能を有している端末１０中に、画像通信停止中の端末１０があるかを判断する（ステップＳ１０９）。このステップＳ１０９によって、画像通信停止中の端末１０があると判断された場合には（ＹＥＳ）、端末状態抽出部５５は、端末管理ＤＢ５００３（図１３参照）を参照し、上記ステップＳ１０５によって、あると判断された画像通信中の端末１０のＩＰアドレスを抽出する（ステップＳ１１０）。そして、メッセージ作成部６１は、他の複数の端末が画像通信停止中である旨の通信制御メッセージ(M1)を作成する（ステップＳ１０４）。具体的には、通信制御メッセージ(M1)は、”MESSAGE_IMAGE_OFF”のメッセージの他に、上記ステップＳ１１０で抽出された送信先のＩＰアドレスと、送信元である管理システム５０のＩＰアドレスとを含む。
On the other hand, if it is not determined in step S106 that all the
更に、端末状態抽出部５５は、端末管理ＤＢ５００３（図１３参照）を参照し、上記ステップＳ１０９によって、あると判断された画像通信停止中の端末１０のＩＰアドレスを抽出する（ステップＳ１１２）。そして、メッセージ作成部６１は、他の単一の端末が画像通信中である旨の通信制御メッセージ(M2)を作成する（ステップＳ１１３）。具体的には、通信制御メッセージ(M2)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップＳ１１２で抽出された送信先のＩＰアドレスと、送信元である管理システム５０のＩＰアドレスとを含む。
Furthermore, the terminal
一方、(1)上記ステップＳ１０２によって、残りの端末１０のうちで画像通信停止中の端末１０があると判断されなかった場合（ＮＯ）、(2)上記ステップＳ１０５によって、単一の端末１０のみが画像通信中でないと判断された場合（ＮＯ）、即ち、画像通信中の端末１０が全くない場合、又は、(3)上記ステップＳ１０９によって、画像通信停止中の端末１０がないと判断された場合（ＮＯ）には、端末状態抽出部５５は、端末管理ＤＢ５００３（図１３参照）を参照し、上記ステップＳ７３−６によって画像通信機能を有していると判断された端末１０のＩＰアドレスを抽出する（ステップＳ１１４）。そして、メッセージ作成部６１は、複数の端末１０の各ディスプレイ１２０で表示されている所定の表示メッセージを消去させる旨の表示制御メッセージ(M5)を作成する（ステップＳ１１５）。具体的には、表示制御メッセージ(M5)は、”MESSAGE_IMAGE_ON”のメッセージの他に、ステップＳ１１４で抽出された送信先のＩＰアドレスと、送信元である管理システム５０のＩＰアドレスとを含む。
On the other hand, (1) when it is not determined that there is a terminal 10 whose image communication is suspended among the remaining
以上より、メッセージ作成部６１によって通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)が作成されることになる。
As described above, the communication control message (M1, M2, M3, or M4) or the display control message (M5) is generated by the
次に、管理システム５０の送受信部５１は、通信ネットワーク２を介して、多拠点による３つの端末（１０ａａ，１０ｂａ，１０ｄｂ）に、これらの端末のそれぞれの画像通信状態及び会話相手の端末の画像通信状態に応じて作成された通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)を送信する（ステップＳ７４）。なお、図２６では、ステップＳ７４のうち、管理システム５０から端末ｂａへの送信がステップＳ７４−１、管理システム５０から端末ｄｂへの送信がステップＳ７４−２、管理システム５０から端末ａａへの送信がステップＳ７４−３で表されている。
Next, the transmitting / receiving
具体的には、上記ステップＳ１０３が実行された場合には、管理システム５０の送受信部５１は、このステップＳ１０３で抽出されたＩＰアドレスに対して、上記ステップＳ１０４で作成された通信制御メッセージ(M3)を送信する。また、上記ステップＳ１０７が実行された場合には、送受信部５１は、このステップＳ１０７で抽出されたＩＰアドレスに対して上記ステップＳ１０８で作成された通信制御メッセージ(M4)を送信する。また、上記ステップＳ１１０が実行された場合には、送受信部５１は、この抽出されたＩＰアドレスに対して上記ステップＳ１１１で作成された通信制御メッセージ(M1)を送信する。また、上記ステップＳ１１２が実行された場合には、送受信部５１は、このステップＳ１１２で抽出されたＩＰアドレスに対して上記ステップＳ１１３で作成された通信制御メッセージ(M2)を送信する。また、上記ステップＳ１１４が実行された場合には、送受信部５１は、このステップＳ１１４で抽出されたＩＰアドレスに対して上記ステップＳ１１５で作成された通信制御メッセージ(M5)を送信する。
Specifically, when step S103 is executed, the transmission /
これにより、各端末（１０ａａ，１０ｂａ，１０ｄｂ）は、通信制御メッセージ (M1、M2、M3、若しくはM4)、又は表示制御メッセージ(M5)の内容に基づく処理を行う（ステップＳ７５−１〜３）。 Thereby, each terminal (10aa, 10ba, 10db) performs processing based on the contents of the communication control message (M1, M2, M3, or M4) or the display control message (M5) (steps S75-1 to S3). .
続いて、図７、及び図２９乃至図３２を用いて、ステップＳ７５−１〜３で行われる処理について説明する。なお、図２９乃至図３２は、端末１０側のディスプレイ１２０に表示されたテレビ会議用画面の一例を示した図である。このうち、ディスプレイ１２０に表示されたテレビ会議用画面Ｐ１には、メイン画面Ｐ２、サブ画面Ｐ３、及びサブ画面Ｐ４が含まれている。サブ画面Ｐ４の下の２つ、及び最下のサブ画面から左側に更に３つのサブ画面が含まれている。また、テレビ会議用画面Ｐ１の最下部には、表示メッセージを表示させるメッセージ表示領域Ｐ５、上記メイン画面とサブ画面で表示されている画像を切り換える際にマウスのポインタ等で押下される「画面切り換え」ボタンＰ６、及び、自端末のカメラ１１２の電源がオンされて自端末側から画像通信を行っているか又は自端末のカメラ１１２の電源がオフされて自端末側から画像通信を行っていないかを示すカメラアイコンＰ７が表示されている。なお、カメラアイコンＰ７に「×」が表示されている場合には、自端末のカメラ１１２の電源がオンになっている状態であり、利用者がこれから電源をオフにできることが表示されている。一方、カメラアイコンＰ７に「×」が表示されていない場合には、自端末のカメラ１１２の電源がオフになっている状態であり、利用者がこれから電源をオンにできることが表示されている。
Subsequently, the processes performed in steps S75-1 to S75-3 will be described with reference to FIG. 7 and FIGS. 29 to 32. FIGS. 29 to 32 are diagrams showing an example of a video conference screen displayed on the
まず、上記ステップＳ１０４において、他の複数の端末が画像通信停止中である旨の通信制御メッセージ(M3)が作成された場合、図２９に示されているように、端末１０の表示制御部１７は、ディスプレイ１２０のメッセージ表示領域Ｐ５に、例えば、「他拠点からの画像は受信しています。自端末のカメラはオフです。」という内容の表示メッセージを表示させる。なお、メイン画面Ｐ２にはメインとなる相手側の画像が表示されており、サブ画面Ｐ３には本来、自端末側の画像が表示されるが、ここでは表示されておらず、更に、サブ画面Ｐ４にはサブとなる相手側の画像が表示されている。
First, in the case where a communication control message (M3) indicating that the other plural terminals are stopping image communication is created in the above-mentioned step S104, as shown in FIG. , Displays, for example, a display message of the content “an image from another base is received. The camera of the own terminal is off.” In the message display area P5 of the
これにより、利用者は、図２９に示されているテレビ会議用画像Ｐ１を見ることで、自端末から画像データを送信していない状態であり、かつ、他端末から画像データが送られて来ている状態であると認識することができる。なお、利用者が、自端末から画像データを送信したい場合には、イコンＰ７を押下することによって、画像データの送信を開始することができる。このカメラアイコンＰ７が押下されると、カメラアイコンＰ７上に「×」が表示される。 Thus, the user sees the image P1 for a video conference shown in FIG. 29, and the image data is not transmitted from the own terminal, and the image data is transmitted from the other terminal. Can be recognized as being in the When the user wants to transmit the image data from the own terminal, the user can start transmitting the image data by pressing the icon P7. When the camera icon P7 is pressed, "x" is displayed on the camera icon P7.
また、上記ステップＳ１０８において、画像通信を強制的に停止させる旨の通信制御メッセージ(M4)が作成された場合、ＣＰＵ１０１からの命令に従って、端末１０の撮像部１４は撮像を停止すると共に、送受信部１１は画像データの送信を停止する（画像通信を停止する）。また、表示制御部１７は、図３０に示されているように、テレビ会議用画面Ｐ１の全ての画面Ｐ２，Ｐ３，Ｐ４等を非表示とすると共に、カメラアイコンＰ７から「×」を消去する。なお、撮像部１４は、図５に示されているカメラ１１２だけでなく、外部機器接続Ｉ／Ｆに接続される外付けのカメラも含む。
When a communication control message (M4) for forcibly stopping image communication is created in step S108, the
これにより、利用者は、図３０に示されているテレビ会議用画像Ｐ１を見ることで、自端末から画像データを送信していない状態であり、自端末のカメラ１１２は撮像を停止している状態であり、しかも、他端末から画像データが送られて来ていない状態であると認識することができる。
Thus, the user sees the video conference image P1 shown in FIG. 30 and is in a state in which the image data is not transmitted from the own terminal, and the
更に、上記ステップＳ１１１において、他の全ての端末が画像通信停止中である旨の通信制御メッセージ(M1)が作成された場合、端末１０の表示制御部１７は、図３１に示されているように、ディスプレイ１２０のメッセージ表示領域Ｐ５に、例えば、「他拠点からの画像は受信していません。自端末のカメラはオンです。」という内容の表示メッセージを表示させる。なお、図３１では、メイン画面Ｐ２及びサブ画面Ｐ４には何も表示されておらず、サブ画面Ｐ３には自端末側の画像が表示されている。
Furthermore, when the communication control message (M1) indicating that all the other terminals are in the image communication suspension state is generated in step S111, the
これにより、利用者は、図３１に示されているテレビ会議用画面Ｐ１を見ることで、自端末のみが画像データを送信している状態であり、かつ、他端末の全てから画像データが送られて来ていない状態であると認識することができる。 Thereby, the user sees the screen P1 for a video conference shown in FIG. 31, and only the own terminal is transmitting image data, and the image data is transmitted from all the other terminals. It can be recognized that it has not been
更にまた、上記ステップＳ１１３において、他の単一の端末が画像通信中である旨の通信制御メッセージ(M2)が作成された場合、端末１０の表示制御部１７は、図３２に示されているように、メッセージ表示領域Ｐ５に、例えば、「他の１箇所からの画像を受信しています。自端末のカメラはオフです。」という内容の表示メッセージを表示させる。なお、図３２では、メイン画面Ｐ２には一箇所の相手側の画像が表示されており、サブ画面Ｐ３，Ｐ４には何も表示されていない。
Furthermore, when a communication control message (M2) indicating that another single terminal is in image communication is created in step S113, the
これにより、利用者は、図３２に示されているテレビ会議用画面Ｐ１を見ることで、自端末から画像データを送信していない状態であり、かつ、複数の相手側の端末のうち、一箇所のみから画像データが送られて来ている状態であると認識することができる。 Thus, the user sees the teleconference screen P1 shown in FIG. 32 and is in a state of not transmitting image data from the own terminal, and one of the plurality of terminals on the other party side. It can be recognized that the image data is being sent from only the part.
このように、一方の端末１０側で図３１の画像が表示され、他方の端末１０で図３２の画像が表示されている場合には、各利用者は、両側の画像通信の状態を合わせることで、お互いに画像通信を行ったり、お互いに画像通信を行わなかったりすることを選択することができる。
Thus, when the image of FIG. 31 is displayed on one
また、上記ステップＳ１１５において、表示メッセージを消去する旨の表示制御メッセージ(M5)が作成された場合、端末１０の表示制御部１７は、メッセージ表示領域Ｐ５に表示されている表示メッセージを消去する。
When the display control message (M5) for deleting the display message is created in step S115, the
なお、画像通信機能を有している端末１０は、図２６のステップＳ７２による処理だけでなく、テレビ会議中に、図２９に示されているカメラアイコンＰ７が押下されることによっても、画像通信状態メッセージを送信することができる。具体的には、利用者によって図２９に示されているように「×」が表示されるカメラアイコンＰ７となるように選択された場合には、端末１０のメッセージ作成部２０は、画像通信停止中である旨の画像通信状態メッセージを作成する。また、利用者によって図３０に示されているように「×」が表示されていないカメラアイコンＰ７となるように選択された場合には、端末１０のメッセージ作成部２０は、画像通信中である旨の画像通信状態メッセージを作成する。
Note that the terminal 10 having the image communication function can perform image communication not only by the processing in step S72 of FIG. 26, but also by pressing the camera icon P7 shown in FIG. 29 during the video conference. Status messages can be sent. Specifically, when the user selects the camera icon P7 to be displayed as "x" as shown in FIG. 29, the
続いて、図７及び図３３を用いて、要求元端末と宛先端末との間で、テレビ会議の通話を行うために、画像データ及び音声データを送受信する処理を説明する。なお、端末１０ａａから端末１０ｄｂに画像データ及び音声データを送信する一方向の処理と、端末１０ｄｂから端末１０ａａに画像データ及び音声データを送信する逆方向の処理とで、画像データ及び音声データの送受信や後述の遅延時間の検出等は同じ処理であるため、上記一方向の通信について説明し、上記逆方向の通信は省略する。 Subsequently, processing for transmitting and receiving image data and audio data to make a telephone conference call between the request source terminal and the destination terminal will be described with reference to FIGS. 7 and 33. In addition, transmission and reception of image data and audio data in one-way processing of transmitting image data and audio data from terminal 10aa to terminal 10db and processing in the reverse direction of transmitting image data and audio data from terminal 10db to terminal 10aa Since the detection of the delay time, which will be described later, is the same process, the one-way communication will be described, and the reverse communication will be omitted.
まず、要求元端末（端末１０ａａ）は、図２に示されている画像・音声データ用セッションｓｅｄによって、撮像部１４ａで撮像された被写体の画像データ、及び音声入力部１５ａで入力された音声の音声データを、送受信部１１から通信ネットワーク２を介して中継装置３０ａへ送信する（ステップＳ８１）。なお、本実施形態では、図３に示されている低解像度、中解像度、及び高解像度の３つから成る高画質の画像データ、並びに、音声データを送信している。これにより、中継装置３０ａでは、送受信部３１で上記３つの解像度の画像データ及び音声データを受信する。そして、データ品質確認部３３が、宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」を検索キーとして、変更品質管理ＤＢ３００１（図１０参照）を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する（ステップＳ８２）。本実施形態では、確認された画像データの画質が「高画質」であり、送受信部３１で受信した画像データの画質と同じであるため、中継装置３０ａは、画像・音声データ用セッションｓｅｄによって、そのままの画質の画像データ、及びそのままの音質の音声データで、宛先端末（端末１０ｄｂ）に転送する（ステップＳ８３）。これにより、宛先端末（端末１０ｄｂ）は、送受信部１１で、低解像度、中解像度、高解像度の３つから成る高画質の画像データ、及び音声データを受信する。そして、表示制御部１７が、３つの画質の画像データを組み合わせて、ディスプレイ１２０に画像を表示させると共に、音声出力部１５ｂが音声データに基づく音声を出力させることができる。
First, the request source terminal (terminal 10 aa) receives the image data of the subject captured by the imaging unit 14 a and the voice of the voice input by the
次に、端末１０ｄｂの遅延検出部１８は、送受信部１１で受信された画像データの受信の遅延時間を一定時間毎（例えば、１秒毎）に検出する（ステップＳ８４）。なお、本実施形態では、遅延時間が２００（ｍｓ）である場合について、以下説明を続ける。 Next, the delay detection unit 18 of the terminal 10 db detects the delay time of the reception of the image data received by the transmission / reception unit 11 every fixed time (for example, every one second) (step S 84). In the present embodiment, the description will be continued for the case where the delay time is 200 (ms).
宛先端末（端末１０ｄｂ）の送受信部１１は、図２に示されている管理情報用セッションｓｅｉによって、通信ネットワーク２を介して管理システム５０へ、遅延時間「２００（ｍｓ）」を示す遅延情報を送信する（ステップＳ８５）。これにより、管理システム５０は、遅延時間を把握すると共に、遅延情報の送信元である端末１０ｄｂのＩＰアドレス「１．３．２．４」を把握することができる。
The transmission / reception unit 11 of the destination terminal (terminal 10db) transmits the delay information indicating the delay time "200 (ms)" to the
次に、管理システム５０の遅延時間管理部６０は、上記宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」を検索キーとして、端末管理ＤＢ５００３（図１３参照）を検索することで、対応する端末ＩＤ「０１ｄｂ」を抽出し、更に、セッション管理ＤＢ５００５（図１５参照）のセッション管理テーブルにおいて、上記端末ＩＤ「０１ｄｂ」のレコードにおける遅延時間のフィールド部分に、上記遅延情報で示されている遅延時間「２００（ｍｓ）」を記憶して管理する（ステップＳ８６）。
Next, the delay
次に、品質決定部５８は、上記遅延時間「２００（ｍｓ）」を検索キーとして、品質管理ＤＢ５００７（図１８参照）を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する（ステップＳ８７）。
Next, the
次に、送受信部５１は、セッション管理ＤＢ（図１５参照）のセッション管理テーブルにおいて、上記端末ＩＤ「０１ｄｂ」に関連付けられている中継装置ＩＤ「１１１ａ」を検索キーとして、中継装置管理ＤＢ５００１（図１１参照）を検索し、対応する中継装置３０ａのＩＰアドレス「１．２．１．２」を抽出する（ステップＳ８８）。そして、送受信部５１は、図２に示されている管理情報用セッションｓｅｉによって、通信ネットワーク２を介して中継装置３０ａへ、上記ステップ８７によって決定された画像データの画質「中画質」を示す品質情報を送信する（ステップＳ８９）。この品質情報には、上記ステップＳ８６において検索キーとして用いた宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」が含まれている。これにより、中継装置３０ａでは、変更品質管理部３４が、変更品質管理ＤＢ３００１（図１０参照）に、送信先の端末１０（ここでは、端末１０ｄｂ）のＩＰアドレス「１．３．２．４」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する（ステップＳ９０）。
Next, the transmitting / receiving
次に、端末１０ａａは、引き続き上記ステップＳ８１と同様に、画像・音声データ用セッションｓｅｄによって、中継装置３０ａへ、低解像度、中解像度、高解像度の３つから成る高画質の画像データ、並びに、音声データを送信する（ステップＳ９１）。これにより、中継装置３０ａでは、上記ステップＳ８２と同様に、データ品質確認部３３が、宛先端末（端末１０ｄｂ）のＩＰアドレス「１．３．２．４」を検索キーとして、変更品質管理ＤＢ３００１（図１０参照）を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する（ステップＳ９２）。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部３１で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部３５は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する（ステップＳ９３）。
Next, the terminal 10aa continues to the
そして、送受信部３１は、画像・音声データ用セッションｓｅｄによって、通信ネットワーク２を介して端末１０ｄｂへ、上記画像データの画質が「中画質」に変更された画像データ、及び音声の音質が変更されていない音声データを送信する（ステップＳ９４）。これにより、宛先端末（端末１０ｄｂ）は、送受信部１１で、低解像度、中解像度の２つから成る中画質の画像データ、及び音声データを受信する。そして、表示制御部１７が、２つの解像度の画像データを組み合わせて、ディスプレイ１２０に画像を表示させると共に、音声出力部１５ｂが音声データに基づく音声を出力させることができる。
Then, the transmitting / receiving
このように、画像データを受信する宛先端末（端末１０ｄｂ）で、受信の遅延が生じた場合には、中継装置３０ａは画像の品質を変更し、テレビ会議に参加している人に違和感を与えないようにすることができる。
As described above, when a delay occurs in the reception at the destination terminal (terminal 10db) that receives the image data, the
＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、管理システム５０は、各端末１０の画像通信状態を示す画像通信状態情報に基づいて、所定の端末１０に画像通信を制御させるための所定の通信制御メッセージを作成し、画像通信を制御させる端末１０に対して、通信制御メッセージを送信する。これにより、伝送管理システムは、所定の伝送端末に対して、相手側の端末１０の画像通信状態に応じた画像通信を行わせることができるため、無駄な画像通信を防止することができるという効果を奏する。また、これにより、無駄な電力消費や通信費等を掛けずに済むという効果を奏する。
<< Main effects of this embodiment >>
As described above, according to the present embodiment, the
また、通信ネットワーク２のうち、中継装置３０のＩＰアドレス等のＬＡＮ２の環境を把握することができたとしても、インターネット２ｉ全体の環境まで把握することは困難であるため、まずは把握できる環境の情報から、画像データ及び音声データを中継する複数の中継装置の３０うち２つ以上まで絞り込む。そして、次に複数の端末１０の間で画像データ及び音声データを実際に送受信する前に、画像データ及び音声データに替えて、事前送信情報を送受信させてみることで、実際に最も早く事前送信情報を中継することができる１つの中継装置３０に絞り込むことができるという効果を奏する。
In addition, even if the environment of the LAN 2 such as the IP address of the
即ち、端末１０のＩＰアドレスの何れかに近い上位２つ以上のＩＰアドレスがそれぞれ割り当てられている中継装置３０を選択することで、最終的に使用される中継装置３０の候補を２つ以上残すことができる。これにより、その後、実際に候補としての各中継装置３０を介して、要求元端末と宛先端末の間で事前送信情報を送受信することで、上記２つ以上の候補の中継装置３０のうち、送受信に要した所要時間が最短の事前送信情報を中継した中継装置３０に絞り込むことができる。よって、現状の通信ネットワーク２の環境下で最大限に高品質の画像データ又は音声データを送受信することを実現することができるという効果を奏する。
That is, by selecting the
また、本実施形態では、中継装置３０を絞り込む際に、テレビ会議を行う端末１０のＩＰアドレスに近いＩＰアドレスの中継装置３０を優先的に選択するだけでなく、各中継装置３０における最大データ伝送速度も考慮して、２つ以上の中継装置３０が選択されている。これにより、現実の通信ネットワーク２の環境に即した中継装置３０の候補を絞り込むことができるという効果を奏する。
Further, in the present embodiment, when narrowing down the
更に、本実施形態では、中継装置３０を絞り込む際に、稼動状態がオンラインである中継装置３０の中から絞り込むため、現実の通信ネットワーク２の環境に更に即した中継装置３０の候補を絞り込むことができる。
Furthermore, in the present embodiment, when narrowing down the
〔実施形態の補足〕
上記実施形態における中継装置３０、管理システム５０、プログラム提供システム９０、及びメンテナンスシステム１００は、単一のコンピュータによって構築されてもよいし、各部（機能又は手段）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム９０が単一のコンピュータによって構築されている場合には、プログラム提供システム９０によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム９０が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
[Supplement of Embodiment]
The
また、上記各実施形態の端末用プログラム、中継装置用プログラム、又は伝送管理用プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤ２０４、及びこのＨＤ２０４を備えたプログラム提供システム９０は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記端末用プログラム、中継装置用プログラム、及び伝送管理用プログラムが利用者等に提供される場合に用いられる。
In addition, a recording medium such as a CD-ROM storing the terminal program, relay apparatus program, or transmission management program according to each of the above embodiments, an
更に、上記実施形態では、図１０に示されている変更品質管理テーブル、及び図１８に示されている品質管理テーブルによって、中継装置３０で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではなく、品質の他の例として、画像データの画質の深度、音声データの音声におけるサンプリング周波数、音声データの音声におけるビット長などに着目して管理してもよい。また、音声データが３種類の解像度（高解像度、中解像度、低解像度）のデータに分かれて送受信されるようにしてもよい。
Furthermore, in the above embodiment, an image as an example of the image quality of the image data relayed by the
また、図１１、図１３、及び図１５では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。 Further, although the reception date and time is managed in FIGS. 11, 13, and 15, the present invention is not limited to this, and at least the reception time of the reception date and time may be managed.
更に、上記実施形態では、図１１で中継装置のＩＰアドレス、図１３で端末のＩＰアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク２上で中継装置３０を特定するための中継装置特定情報、又は通信ネットワーク２上で端末１０を特定するための端末特定情報であれば、それぞれのＦＱＤＮ(Fully Qualified Domain Name)を管理してもよい。この場合、周知のＤＮＳ(Domain Name System)サーバによって、ＦＱＤＮに対応するＩＰアドレスが取得されることになる。なお、「通信ネットワーク２で中継装置３０を特定するための中継装置特定情報」だけでなく、「通信ネットワーク２上における中継装置３０への接続先を示した中継装置接続先情報」、又は「通信ネットワーク２上における中継装置３０への宛先を示した中継装置宛先情報」と表現してもよい。同じく、「通信ネットワーク２で端末１０を特定するための端末特定情報」だけでなく、「通信ネットワーク２上における端末１０への接続先を示した端末接続先情報」、又は「通信ネットワーク２上における端末１０への宛先を示した端末宛先情報」と表現してもよい。
Furthermore, in the above embodiment, although the IP address of the relay apparatus in FIG. 11 and the IP address of the terminal in FIG. 13 are managed, the present invention is not limited to this, and to specify the
また、上記実施形態では、伝送システム１の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、ＩＰ(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、伝送システム１は、カーナビゲーションシステムであってもよい。この場合、例えば、端末１０の一方が自動車に搭載されたカーナビゲーション装置に相当し、端末１０の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。また、伝送システム１は、携帯電話機の通信システムであってもよい。この場合、例えば、端末１０は携帯電話機に相当する。
Further, in the above embodiment, the case of the video conference system has been described as an example of the
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末側でユーザが接触した感覚が、他方の端末側に伝達される。更に、コンテンツデータは、嗅覚（smell）データであってもよい。この場合、一方の端末側の匂い（臭い）が、他の端末側に伝達される。また、コンテンツデータは、画像データ、音声データ、触覚データ、及び嗅覚データのうち、少なくとも１つのデータであればよい。 Further, in the above embodiment, image data and audio data are described as an example of content data, but the present invention is not limited to this, and may be touch data. In this case, the sense that the user has touched on one of the terminals is transmitted to the other terminal. Furthermore, the content data may be smell data. In this case, the smell (odor) on one terminal side is transmitted to the other terminal side. The content data may be at least one of image data, audio data, tactile data, and olfactory data.
また、上記実施形態では、伝送システム１によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
In the above embodiment, although the case of performing a video conference by the
１ 伝送システム
１０ 伝送端末
１１ 送受信部（受信手段の一例、通信停止手段の一例）
１４ 撮像部（撮像手段の一例）
１６ 最終絞込部
１６ａ 計測部
１６ｂ 算出部
１６ｃ 最終選択部
１７ 表示制御部（表示制御手段の一例）
１８ 遅延検出部
２０ メッセージ作成部（作成手段の一例）
３０ 中継装置
３１ 送受信部
３２ 状態検知部
３３ データ品質確認部
３４ 変更品質管理部
３５ データ品質変更部
５０ 伝送管理システム
５１ 送受信部（送信手段の一例）
５２ 端末認証部
５３ 状態管理部
５４ 端末抽出部
５５ 端末状態抽出部
５６ 一次絞込部
５６ａ 選択用セッションＩＤ生成部
５６ｂ 端末ＩＰアドレス抽出部
５６ｃ 一次選択部５６ｃ
５６ｄ 優先度決定部
５７ セッション管理部
５８ 品質決定部
６０ 遅延時間管理部
６１ メッセージ作成部（作成手段の一例）
７０ ルータ
９０ プログラム提供システム
１００ メンテナンスシステム
１０１ ＣＰＵ（制御手段の一例）
１２０ ディスプレイ（表示手段の一例）
１０００ 記憶部
３０００ 記憶部
３００１ 変更品質管理ＤＢ
５０００ 記憶部
５００１ 中継装置管理ＤＢ
５００２ 端末認証管理ＤＢ
５００３ 端末管理ＤＢ（端末管理手段の一例）
５００４ 宛先リスト管理ＤＢ（宛先リスト管理手段の一例）
５００５ セッション管理ＤＢ
５００６ 優先度管理ＤＢ
５００７ 品質管理ＤＢ
DESCRIPTION OF
14 Imaging unit (an example of imaging means)
16
18
52
56d
70 router 90
120 Display (an example of display means)
1000 storage unit 3000 storage unit 3001 change quality management DB
5000 storage unit 5001 relay device management DB
5002 Terminal Authentication Management DB
5003 Terminal Management DB (an example of terminal management means)
5004 Destination list management DB (an example of destination list management means)
5005 Session Management DB
5006 Priority Management DB
5007 Quality Management DB
Claims (14)
前記管理システムは、
前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションを管理するセッション管理手段と、
前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信手段と、を備え、
前記第一の伝送端末は、
前記セッションによって画像及び音声を送信する第二の送信手段と、
前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、
前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させる
ことを特徴とする伝送システム。 A transmission system including: a first transmission terminal capable of voice communication; a plurality of transmission terminals including a second transmission terminal; and a management system that manages a session,
The management system
Session management means for managing a session established between the first transmission terminal and the second transmission terminal;
The second transmission terminal when communication of an image is stopped at the second transmission terminal when the first transmission terminal and the second transmission terminal are transmitting an image and voice by the session. A first transmission unit for transmitting information indicating the communication state of the image of the first transmission terminal to the first transmission terminal;
The first transmission terminal is
Second transmission means for transmitting images and sounds by the session;
Receiving means for receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission means;
Display control means for displaying on the display screen a state indicating that the first transmission terminal is communicating an image while transmitting the image and the sound by the second transmission means;
The display control means displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A transmission system characterized by displaying on a screen.
前記セッション管理手段が管理する前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションは第一のセッションであり、
前記セッション管理手段はさらに、前記第一の伝送端末と音声通信が可能であって画像通信機能を有しない第三の伝送端末の間で確立される第二のセッションを管理し、
前記第一の送信手段はさらに、前記第一の伝送端末と前記第三の伝送端末が前記第二のセッションによって音声を通信中であって、前記第一の伝送端末が画像通信中の場合に、画像通信を停止させる旨を示す情報を前記第一の伝送端末へ送信し、
前記第一の伝送端末はさらに、
前記受信手段によって受信した前記第一の送信手段によって送信された画像通信を停止させる旨を示す情報に基づいて、自端末からの画像通信を停止させる通信停止手段を有することを特徴とする伝送システム。 The transmission system according to claim 1, wherein
The session established between the first transmission terminal managed by the session management means and the second transmission terminal is a first session,
The session management means further manages a second session established between a third transmission terminal capable of voice communication with the first transmission terminal and having no image communication function,
The first transmission means is further configured to transmit voices between the first transmission terminal and the third transmission terminal in the second session, and the first transmission terminal is in image communication. Transmitting information indicating that the image communication is to be stopped to the first transmission terminal,
The first transmission terminal is further
A transmission system characterized by comprising communication stop means for stopping image communication from the own terminal based on the information indicating that the image communication is to be stopped which is transmitted by the first transmission means received by the receiving means. .
前記第一の伝送端末は、
被写体を撮像して前記画像通信の対象となる画像データを得る撮像手段に対して、前記受信手段によって受信した画像通信を停止させる旨を示す情報に基づき、前記撮像を停止させる制御手段をさらに有することを特徴とする伝送システム。 The transmission system according to claim 2,
The first transmission terminal is
The image capturing unit for capturing an object and obtaining image data to be an object of the image communication further includes control means for stopping the image capturing based on the information indicating that the image communication received by the receiving unit is to be stopped. Transmission system characterized by
前記第一の伝送端末は、
前記第一の送信手段によって送信された表示メッセージを消去させる旨の情報を前記受信手段によって受信し、
前記表示制御手段は、前記表示メッセージを消去させる旨の情報に基づいて、前記表示画面に表示されている所定の表示メッセージを消去させることを特徴とする伝送システム。 The transmission system according to any one of claims 1 to 3, wherein
The first transmission terminal is
Receiving, by the receiving means, information indicating that the display message sent by the first sending means is to be deleted;
The transmission system, wherein the display control means is configured to delete the predetermined display message displayed on the display screen based on the information indicating that the display message is to be deleted.
前記表示制御手段は、前記第一の伝送端末が画像を通信中であることを示す状態をアイコンによって前記表示画面に表示させることを特徴とする伝送システム。 The transmission system according to any one of claims 1 to 4, wherein
The transmission system according to claim 1, wherein the display control means displays, by an icon, a state indicating that the first transmission terminal is communicating an image.
前記表示制御手段は、前記第一の伝送端末のカメラの電源がオンされて前記第一の伝送端末から画像を通信中であることを示す状態を第一のアイコンによって前記表示画面に表示させ、前記第一の伝送端末のカメラの電源がオフされて前記第一の伝送端末から画像を通信中でないことを示す状態を前記第一のアイコンと異なる第二のアイコンによって前記表示画面に表示させることを特徴とする伝送システム。 The transmission system according to claim 5, wherein
The display control means causes the first icon to display a state indicating that an image is being communicated from the first transmission terminal on the display screen by turning on the power of the camera of the first transmission terminal. Displaying on the display screen a second icon different from the first icon indicating that the camera of the first transmission terminal is turned off to indicate that an image is not being communicated from the first transmission terminal Transmission system characterized by
前記第一の伝送端末は、前記第二のアイコンの押下を受け付けることによって、前記画像の通信を開始し、前記第二のアイコンから前記第一のアイコンへ表示を変更することを特徴とする伝送システム。 The transmission system according to claim 6, wherein
The first transmission terminal starts communication of the image by accepting pressing of the second icon, and changes the display from the second icon to the first icon. system.
前記表示制御手段は、前記第二の伝送端末からの画像の通信が停止中であることを示す状態をメッセージ表示によって前記表示画面に表示させることを特徴とする伝送システム。 The transmission system according to any one of claims 1 to 7, wherein
The transmission system, wherein the display control means causes the display screen to display a state indicating that communication of an image from the second transmission terminal is stopped by displaying a message.
前記表示制御手段は、前記第一の伝送端末が画像を通信中であることを示す状態をメッセージ表示によって前記表示画面に表示させることを特徴とする伝送システム。 A transmission system according to any one of the preceding claims, wherein
The transmission system, wherein the display control means displays a state indicating that the first transmission terminal is communicating an image on the display screen by displaying a message.
前記セッションによって画像及び音声を送信する第二の送信手段と、
前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信手段と、
前記第二の送信手段によって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させることを特徴とする第一の伝送端末。 Session management means for managing a session established between a first transmission terminal capable of voice communication and a second transmission terminal; and the first transmission terminal and the second transmission terminal performing an image and The second transmission terminal transmits information indicating the communication state of the image of the second transmission terminal to the first transmission terminal when communication of the image is stopped in the second transmission terminal while transmitting voice A first transmission terminal connected via a network with a management system having one transmission means,
Second transmission means for transmitting images and sounds by the session;
Receiving means for receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission means;
Images and sound during transmission by said second transmitting means, a display control unit for displaying the table示画surface state indicating that said first transmission terminal is communicating an image,
The display control means displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A first transmission terminal characterized by being displayed on a screen.
前記管理システムは、
前記第一の伝送端末と前記第二の伝送端末の間で確立されるセッションを管理するセッション管理手段を有し、
前記第一の伝送端末と前記第二の伝送端末が前記セッションによって画像及び音声を送信している際に前記第二の伝送端末において画像の通信が停止された場合に、前記第二の伝送端末の画像の通信状態を示す情報を前記第一の伝送端末へ送信する第一の送信ステップを実行し、
前記第一の伝送端末は、
前記セッションによって画像及び音声を送信する第二の送信ステップと、
前記第一の送信ステップによって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信ステップと、
前記第二の送信ステップによって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御ステップと、を実行し、
前記表示制御ステップは、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させる処理を含むことを特徴とする伝送方法。 A transmission method executed by a transmission system including a plurality of transmission terminals including a first transmission terminal and a second transmission terminal capable of voice communication, and a management system managing a session,
The management system
A session management unit that manages a session established between the first transmission terminal and the second transmission terminal;
The second transmission terminal when communication of an image is stopped at the second transmission terminal when the first transmission terminal and the second transmission terminal are transmitting an image and voice by the session. Performing a first transmission step of transmitting, to the first transmission terminal, information indicating a communication state of the image of
The first transmission terminal is
A second transmitting step of transmitting images and sounds by the session;
Receiving information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission step;
Performing a display control step of displaying a state indicating that the first transmission terminal is communicating an image on a display screen while transmitting the image and the sound by the second transmission step;
The display control step displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A transmission method comprising processing for displaying on a screen.
前記セッションによって画像及び音声を送信する第二の送信ステップと、
前記第一の送信手段によって送信された前記第二の伝送端末の画像の通信状態を示す情報を受信する受信ステップと、
前記第二の送信ステップによって画像及び音声を送信中に、前記第一の伝送端末が画像を通信中であることを示す状態を表示画面に表示させる表示制御ステップと、を実行し、
前記表示制御ステップは、前記受信した前記第二の伝送端末の画像の通信状態を示す情報に基づいて、前記第二の伝送端末からの画像の通信が停止中であることを示す状態を前記表示画面に表示させる処理を含むことを特徴とする表示方法。 A session management means for managing a session established between a first transmission terminal and a second transmission terminal capable of voice communication; and the first transmission terminal and the second transmission terminal performing images and The second transmission terminal transmits information indicating the communication state of the image of the second transmission terminal to the first transmission terminal when communication of the image is stopped in the second transmission terminal while transmitting voice A display method executed by the first transmission terminal connected via a network to a management system having one transmission unit, the display method comprising:
A second transmitting step of transmitting images and sounds by the session;
Receiving the information indicating the communication state of the image of the second transmission terminal transmitted by the first transmission means;
While sending video and audio by said second transmission step, the first transmission terminal is running, the display control step of displaying the table示画surface state indicating that is communicating the image,
The display control step displays the state indicating that the communication of the image from the second transmission terminal is being stopped based on the information indicating the communication state of the image of the second transmission terminal received. A display method characterized by including processing to be displayed on a screen.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011079569 | 2011-03-31 | ||
| JP2011079569 | 2011-03-31 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016104965A Division JP6347274B2 (en) | 2011-03-31 | 2016-05-26 | Transmission system and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019106152A Division JP7017155B2 (en) | 2011-03-31 | 2019-06-06 | Transmission system, first transmission terminal, transmission method, display method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018170769A JP2018170769A (en) | 2018-11-01 |
| JP2018170769A5 JP2018170769A5 (en) | 2019-02-21 |
| JP6536716B2 true JP6536716B2 (en) | 2019-07-03 |
Family
ID=57240065
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016104965A Active JP6347274B2 (en) | 2011-03-31 | 2016-05-26 | Transmission system and program |
| JP2018104441A Active JP6536716B2 (en) | 2011-03-31 | 2018-05-31 | Transmission system, first transmission terminal, transmission method, display method and program |
| JP2019106152A Active JP7017155B2 (en) | 2011-03-31 | 2019-06-06 | Transmission system, first transmission terminal, transmission method, display method, and program |
| JP2021185631A Active JP7264205B2 (en) | 2011-03-31 | 2021-11-15 | Transmission system, first transmission terminal, transmission method, display method, and program |
| JP2023064660A Pending JP2023109747A (en) | 2011-03-31 | 2023-04-12 | Transmission system, first transmission terminal, transmission method, display method, and program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016104965A Active JP6347274B2 (en) | 2011-03-31 | 2016-05-26 | Transmission system and program |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019106152A Active JP7017155B2 (en) | 2011-03-31 | 2019-06-06 | Transmission system, first transmission terminal, transmission method, display method, and program |
| JP2021185631A Active JP7264205B2 (en) | 2011-03-31 | 2021-11-15 | Transmission system, first transmission terminal, transmission method, display method, and program |
| JP2023064660A Pending JP2023109747A (en) | 2011-03-31 | 2023-04-12 | Transmission system, first transmission terminal, transmission method, display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (5) | JP6347274B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6347274B2 (en) * | 2011-03-31 | 2018-06-27 | 株式会社リコー | Transmission system and program |
| JP7099808B2 (en) | 2017-07-05 | 2022-07-12 | Ｊｆｅスチール株式会社 | Cable reel rotation abnormality detection device |
| JP7059151B2 (en) | 2018-09-12 | 2022-04-25 | 株式会社日立製作所 | Time series data analyzer, time series data analysis method, and time series data analysis program |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07154764A (en) * | 1993-11-26 | 1995-06-16 | Ricoh Co Ltd | Control method for video conference communication equipment |
| JP3869989B2 (en) * | 1999-12-27 | 2007-01-17 | キヤノン株式会社 | Distributed system, display method thereof, and storage medium |
| JP2003150526A (en) * | 2001-11-16 | 2003-05-23 | Nippon Telegr & Teleph Corp <Ntt> | State inputting and presenting method in image and voice communication system, image and voice communication device, image and voice communication program, and recording medium therefor |
| CN100484230C (en) * | 2004-01-16 | 2009-04-29 | 华为技术有限公司 | Method for controlling meeting-place in meeting television system |
| JP2006287647A (en) * | 2005-03-31 | 2006-10-19 | Toshiba Corp | Image communication method and communications equipment |
| JP2008252177A (en) * | 2007-03-29 | 2008-10-16 | Toshiba Corp | Electronic conference system, information processor, and program |
| JP2009272716A (en) * | 2008-04-30 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | Voip communication system |
| JP5732771B2 (en) * | 2009-08-11 | 2015-06-10 | 株式会社リコー | Video output device, video output system, video output method and program |
| JP6347274B2 (en) * | 2011-03-31 | 2018-06-27 | 株式会社リコー | Transmission system and program |
-
2016
- 2016-05-26 JP JP2016104965A patent/JP6347274B2/en active Active
-
2018
- 2018-05-31 JP JP2018104441A patent/JP6536716B2/en active Active
-
2019
- 2019-06-06 JP JP2019106152A patent/JP7017155B2/en active Active
-
2021
- 2021-11-15 JP JP2021185631A patent/JP7264205B2/en active Active
-
2023
- 2023-04-12 JP JP2023064660A patent/JP2023109747A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018170769A (en) | 2018-11-01 |
| JP2016189594A (en) | 2016-11-04 |
| JP2023109747A (en) | 2023-08-08 |
| JP7264205B2 (en) | 2023-04-25 |
| JP2022028798A (en) | 2022-02-16 |
| JP6347274B2 (en) | 2018-06-27 |
| JP2019193279A (en) | 2019-10-31 |
| JP7017155B2 (en) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5962098B2 (en) | Transmission terminal, transmission system, display control method, and program | |
| JP5953689B2 (en) | Transmission management system, transmission system, and program for transmission management system | |
| JP5811334B2 (en) | Transmission management system, transmission management method, program, and transmission system | |
| JP5793869B2 (en) | Transmission management system, transmission management method, and transmission management program | |
| JP5655499B2 (en) | Transmission management system, transmission system, transmission management program, program providing system, and maintenance system | |
| JP5884964B2 (en) | Transmission system and transmission method | |
| JP5821433B2 (en) | Transmission management system, transmission system, and program for transmission management system | |
| JP5870558B2 (en) | Transmission management system, transmission management method, and program | |
| JP5942364B2 (en) | Transmission management system, transmission system, and program | |
| JP6171303B2 (en) | Transmission terminal, transmission method, and program | |
| JP5983792B2 (en) | Transmission system and transmission method | |
| JP5397563B1 (en) | Transmission management system, transmission system, program for transmission management system, and control method | |
| JP7264205B2 (en) | Transmission system, first transmission terminal, transmission method, display method, and program | |
| JP2013197934A (en) | Transmission management system, transmission system, and program for transmission management system | |
| JP5870557B2 (en) | Transmission management system and transmission management program | |
| JP2014072703A (en) | Transmission management system, transmission system, transmission management method, and program | |
| JP5831050B2 (en) | Transmission terminal, transmission terminal program, program providing system, and maintenance system | |
| JP5853502B2 (en) | Transmission system | |
| JP5884965B2 (en) | Transmission management system, transmission system, and selection method | |
| JP5899710B2 (en) | Transmission system | |
| JP2012134939A (en) | Communication terminal, communication method, and program for communication terminal | |
| JP6593392B2 (en) | Transmission method, relay device, and program | |
| JP2016181899A (en) | Control system and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190520 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6536716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |