JP2008227968A - Terminal device in video conference system, control method of terminal device, and control program of terminal device - Google Patents

Terminal device in video conference system, control method of terminal device, and control program of terminal device Download PDF

Info

Publication number
JP2008227968A
JP2008227968A JP2007064005A JP2007064005A JP2008227968A JP 2008227968 A JP2008227968 A JP 2008227968A JP 2007064005 A JP2007064005 A JP 2007064005A JP 2007064005 A JP2007064005 A JP 2007064005A JP 2008227968 A JP2008227968 A JP 2008227968A
Authority
JP
Japan
Prior art keywords
data
terminal device
video
packet
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007064005A
Other languages
Japanese (ja)
Other versions
JP5003217B2 (en
Inventor
Michiyo Ichihara
路代 市原
Tetsuya Yokoyama
哲弥 横山
Kazuyuki Inui
和志 乾
Yoshio Hayashi
良生 林
Katsutoshi Ogura
克敏 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2007064005A priority Critical patent/JP5003217B2/en
Publication of JP2008227968A publication Critical patent/JP2008227968A/en
Application granted granted Critical
Publication of JP5003217B2 publication Critical patent/JP5003217B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an electronic conference which can smoothly reproduce voices and an images by using a peer-to-peer network. <P>SOLUTION: A terminal device 5 has data storing portions 11a-12c for storing a plurality of packets received from terminal devices 2, 3, and 4 for each of the terminal devices 2, 3, and 4, and a video reproducing portion 13 and a voice reproducing portion 14 reading from the data storing portions 11a-12c for each of the terminal devices 2, 3, and 4 a packet stored first in the data storing portions 11a-12c for each reproduction time of data included in the packet. Thus, the video reproducing portion 13 and the voice reproducing portion 14 can reproduce a packet without interruption. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、ネットワークを介して接続した複数の端末を用いてテレビ会議を行うための端末装置、端末装置の制御方法、端末装置の制御プログラムに関するものである。   The present invention relates to a terminal device for conducting a video conference using a plurality of terminals connected via a network, a control method for the terminal device, and a control program for the terminal device.

近年、音声や映像の符号化技術の急速な発達に伴い、2地点以上の遠隔地において、インターネットプロトコル(IP)等の通信網を介して、音声や映像などをやり取りすることによって、同時かつ双方向の会議を実現する多地点電子会議システムが注目されている。   In recent years, along with the rapid development of audio and video encoding technology, both voice and video can be exchanged at the same time by exchanging voice and video via a communication network such as the Internet Protocol (IP) in two or more remote locations. Attention has been focused on a multi-point electronic conference system that realizes a multi-point conference.

このような多地点電子会議システムでは、会議参加者が、多地点に散在していても、1つの会議室に一堂に会しているかのように、その会議の音声や映像を同時に共有することができる。このことより、出張などの手間や経費を削減することができるので、多地点電子会議システムは、企業を中心に急速に普及している。   In such a multipoint electronic conferencing system, even if conference participants are scattered in multiple locations, the audio and video of the conference are shared at the same time as if they were meeting together in one conference room. Can do. As a result, troubles and expenses such as business trips can be reduced, so that the multi-point electronic conference system is rapidly spreading mainly in companies.

また、このような多地点電子会議システムでは、各会議参加者間の通信において、複数のパケットに分割した音声や映像のデータを、インターネット等を介して送受信する通信網、すなわちパケット通信網を用いることがある。しかしながら、インターネットを介した通信では、通信状況の悪化等により通信速度の低下が生じると、受信側の会議参加者において、連続してパケットを受信することが出来なかったり、パケットの到達順が入れ替わったりしてしまうという問題が生じる。このような問題が生じると、音声や映像が途切れたりするため、多地点電子会議を円滑に進めることができなくなる。   In addition, in such a multipoint electronic conference system, a communication network that transmits and receives audio and video data divided into a plurality of packets via the Internet or the like, that is, a packet communication network, is used for communication between conference participants. Sometimes. However, in communication via the Internet, if the communication speed decreases due to deterioration of the communication status or the like, the conference participants on the receiving side cannot receive packets continuously, or the arrival order of packets is switched. Problem arises. When such a problem occurs, the audio and video are interrupted, and the multipoint electronic conference cannot be smoothly advanced.

そこで、音声や映像の途切れを低減すべく、受信したパケットを一時的に記憶し、一定の時間が経過すると、記憶されたパケットを順に出力するバッファ等を設ける技術がある。この技術は、例えば、下記に示す特許文献1〜3に記載されている。   Therefore, there is a technique for temporarily storing received packets to reduce interruptions in audio and video, and providing a buffer or the like that sequentially outputs the stored packets when a certain time has elapsed. This technique is described in, for example, Patent Documents 1 to 3 shown below.

特許文献1には、パケット通信網から受信した音声パケットを、受信順に格納・出力するゲートウェイ装置が開示されている。具体的には、バッファが音声データを格納すると共に、一定の時間間隔で音声データを出力することにより、IP網で発生したIPパケット転送時間のばらつきを吸収することが開示されている。   Patent Document 1 discloses a gateway device that stores and outputs voice packets received from a packet communication network in the order of reception. Specifically, it is disclosed that a buffer stores voice data and outputs voice data at regular time intervals to absorb variations in IP packet transfer time generated in the IP network.

また、特許文献2には、インターネットを介して受信した、IPパケット化された音声フレームデータを一時的に蓄積するバッファメモリを備え、IPパケットに含まれる音声フレームデータに基づいて生成される音声情報を順次出力する通話システムが開示されている。   Further, Patent Document 2 includes a buffer memory that temporarily stores IP packetized audio frame data received via the Internet, and generates audio information based on the audio frame data included in the IP packet. Has been disclosed.

また、特許文献3には、バッファに受信パケットを格納する前に、到達順序が入れ替わった受信パケットをできるだけ正しい順序に並べ替えるべく、バッファが、入力された受信パケットを保持し、保持した受信パケットを、入力された順で一定時間間隔毎に出力するネットワーク電話機が開示されている。
特開2005−323029号公報(2005年11月17日公開) 特開平10−210074号公報(平成10年8月7日公開) 特開2004−260805号公報(2004年9月16日公開)
Also, in Patent Document 3, before storing received packets in the buffer, the buffer holds the received packets that have been input, and the received packets that have been received in order to rearrange the received packets whose arrival order has been changed as much as possible. A network telephone is disclosed in which, in the input order, at regular time intervals.
JP 2005-323029 A (published on November 17, 2005) Japanese Patent Laid-Open No. 10-210074 (released on August 7, 1998) JP 2004-260805 A (published September 16, 2004)

ところで、上記多地点電子会議システムのような複数の端末装置間での通信のネットワーク形態には、ネットワークを介して特定の処理を提供するサーバと、該処理を依頼するクライアントである端末装置とから構成されるクライアントサーバ型と、複数の端末装置が対等の関係にあり、サーバを介さずに各端末装置が直接的にデータのやり取りを行うピアツーピア型とがある。図12は、クライアントサーバ型のネットワーク形態を用いた通信の様子を示す概略図である。また、図2は、本発明の説明図であり、ピアツーピア型のネットワーク形態を用いた、本発明のテレビ会議システムの概略構成を示す図である。   By the way, a network form of communication between a plurality of terminal devices such as the multipoint electronic conference system includes a server that provides a specific process via the network and a terminal device that is a client requesting the process. There are a client server type configured and a peer-to-peer type in which a plurality of terminal devices have an equal relationship, and each terminal device directly exchanges data without using a server. FIG. 12 is a schematic diagram showing a state of communication using a client server type network form. FIG. 2 is an explanatory diagram of the present invention, and shows a schematic configuration of the video conference system of the present invention using a peer-to-peer network form.

クライアントサーバ型のネットワーク形態を用いた電子会議では、図12に示すように、ビデオ会議サーバ100が、会議参加者a,b,cのそれぞれから受信した音声や映像のデータをミキシングして、ミキシング後のデータを各会議参加者a,b,cに送信し、会議参加者a,b,cの端末装置が、該送信された音声や映像のデータを再生する構成となっている。そのため、クライアントサーバ型では、各会議参加者がサーバに音声や映像のデータを送信するときの通信状況の悪化によって生じるパケットデータの途切れと、サーバがミキシングした後の音声や映像のデータを各会議参加者に送信するときの通信状況の悪化によって生じる該パケットの途切れとを考慮する必要がある。よって、該パケットデータの途切れを低減し、滑らかにデータの再生を行うためのバッファを、サーバと、各会議参加者との2箇所に設ける必要がある。   In the electronic conference using the client server type network form, as shown in FIG. 12, the video conference server 100 mixes the audio and video data received from each of the conference participants a, b, and c, and mixes them. The subsequent data is transmitted to each conference participant a, b, c, and the terminal devices of the conference participants a, b, c are configured to reproduce the transmitted audio and video data. For this reason, in the client-server type, packet data interruptions caused by the deterioration of the communication situation when each conference participant transmits audio and video data to the server and the audio and video data after the server mixes are transmitted to each conference. It is necessary to consider the packet interruption caused by the deterioration of the communication situation when transmitting to the participant. Therefore, it is necessary to provide buffers for reducing the interruption of the packet data and smoothly reproducing the data at two locations of the server and each conference participant.

一方、ピアツーピア型のネットワークを介した電子会議では、図2に示すように、中継サーバ6が特定の処理を行わないため、中継サーバは、各会議参加者A,B,C,Dから送信されたデータをミキシングすることなく、データの送信者を除いた各会議参加者にそれぞれ送信し、データを受信した各会議参加者の端末装置がミキシングを行い再生する構成となっている。例えば、会議参加者Aの端末装置は、中継サーバ6を介して、会議参加者B,C,Dからのデータを受信するが、中継サーバ6は何も処理しないため、会議参加者B,C,Dからのデータを直接的に受信しているのと同様である。よって、会議参加者Aの端末装置が、会議参加者B,C,Dからのデータをミキシングし、その後再生する。   On the other hand, in an electronic conference over a peer-to-peer network, as shown in FIG. 2, since the relay server 6 does not perform a specific process, the relay server is transmitted from each conference participant A, B, C, D. The data is transmitted to each conference participant excluding the data sender without being mixed, and the terminal device of each conference participant who has received the data performs mixing and reproduction. For example, the terminal device of the conference participant A receives data from the conference participants B, C, and D via the relay server 6, but the relay server 6 does not process anything, so the conference participants B and C , D is the same as receiving data directly. Therefore, the terminal device of the conference participant A mixes the data from the conference participants B, C, and D, and then reproduces them.

このことより、ピアツーピア型のネットワーク形態を用いる場合は、中継サーバでミキシングを行わないため、クライアントサーバ型のネットワーク形態を用いる場合に必要であったサーバのバッファが不要となる。   Therefore, when using the peer-to-peer network form, the relay server does not perform mixing, so that the server buffer required when using the client-server type network form becomes unnecessary.

しかしながら、上述したように、ピアツーピア型の電子会議では、各会議参加者が直接的にデータの送受信を行っているため、それぞれの会議参加者間における通信状況の悪化等によって、各会議参加者からのパケットデータがそれぞれ途切れるという問題が生じる。   However, as described above, in the peer-to-peer type electronic conference, each conference participant directly transmits and receives data. Therefore, due to the deterioration of the communication status between the conference participants, each conference participant There arises a problem that each packet data is interrupted.

そこで、本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、ピアツーピア型のネットワーク形態を用いて、滑らかに音声および映像の再生を行うことのできる電子会議を提供することにある。   Accordingly, the present invention has been made in view of the above-described conventional problems, and an object thereof is to provide an electronic conference that can smoothly reproduce audio and video using a peer-to-peer network form. There is.

上記課題を解決するために、本発明に係る端末装置は、ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくともいずれか一方のデータを相互に送受信するテレビ会議システムにおける端末装置であって、通信相手の端末装置毎に、当該端末装置から受信したパケットを複数格納するデータ格納部と、前記通信相手の端末装置毎に、前記データ格納部から、該データ格納部に最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生する再生手段とを備えることを特徴としている。   In order to solve the above problems, a terminal device according to the present invention is a terminal device in a video conference system in which a plurality of terminal devices connected via a peer-to-peer network mutually transmit and receive at least one of video and audio data. A data storage unit that stores a plurality of packets received from the terminal device for each communication partner terminal device, and the data storage unit that is the earliest in the data storage unit for each communication partner terminal device. Reproducing means for reading out and reproducing the stored packet at every reproduction time of the data contained in the packet is provided.

また、本発明に係る端末装置の制御方法は、ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくともいずれか一方のデータを相互に送受信するテレビ会議システムにおける端末装置の制御方法であって、通信相手の端末装置毎に、当該端末装置から受信したパケットを、複数のパケットを格納可能なデータ格納部に格納する格納ステップと、前記通信相手の端末装置毎に、前記データ格納部から、該データ格納部に最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生する再生ステップとを含むことを特徴としている。   Also, the terminal device control method according to the present invention is a terminal device control method in a video conference system in which a plurality of terminal devices connected via a peer-to-peer network mutually transmit and receive at least one of video and audio data. A storage step of storing, for each communication partner terminal device, a packet received from the terminal device in a data storage unit capable of storing a plurality of packets; and for each communication partner terminal device, storing the data And a reproduction step of reading out and reproducing the packet stored in the data storage unit earliest at every reproduction time of the data included in the packet.

上記の構成によれば、本発明に係る端末装置は、通信相手の端末装置から受信したパケットを、該通信相手の端末装置ごとに格納するデータ格納部を備えているため、通信相手ごとに受信したパケットを格納することができる。すなわち、テレビ会議に参加している各会議参加者からの映像や音声データを、各会議者ごとに格納することができる。   According to the above configuration, the terminal device according to the present invention includes the data storage unit that stores the packet received from the communication partner terminal device for each communication partner terminal device. Packets can be stored. That is, video and audio data from each conference participant participating in the video conference can be stored for each conference participant.

したがって、各会議参加者からの映像や音声データをそれぞれ途切れることなく再生することが可能となる。それゆえ、ピアツーピア型ネットワークを用いたテレビ会議を円滑に行うことが可能となる。   Therefore, video and audio data from each conference participant can be reproduced without interruption. Therefore, a video conference using a peer-to-peer network can be performed smoothly.

さらに、本発明に係る端末装置は、前記通信相手の端末装置毎に割り当てられた複数のポートを有する通信部と、前記通信相手の端末装置から前記各ポートに入力されるパケットを、前記各ポートが割り当てられた前記各端末装置に対応するデータ格納部に格納する一時記憶制御手段とをさらに備えることを特徴としている。   Furthermore, the terminal device according to the present invention includes a communication unit having a plurality of ports assigned to each of the communication partner terminal devices, and a packet input to each port from the communication partner terminal device. Is further provided with temporary storage control means for storing the data in a data storage unit corresponding to each of the terminal devices.

上記構成によれば、受信したパケットの送信元である通信相手を、該受信したパケットが通信部のどのポートを介して受信されたかによって判断することができるため、容易に送信元の通信相手を認識することができる。   According to the above configuration, the communication partner that is the transmission source of the received packet can be determined based on which port of the communication unit the received packet is received. Can be recognized.

これにより、一時記憶制御手段は、容易に送信元の端末装置に対応するデータ格納部に、受信したパケットを格納することができる。   Thereby, the temporary storage control means can easily store the received packet in the data storage unit corresponding to the terminal device of the transmission source.

さらに、本発明に係る端末装置は、前記再生手段が前記データ格納部に最初に格納されたパケットを再生するまでの遅延時間を、複数の前記通信相手の端末装置との通信環境のうちで、最も悪い通信環境に応じて、複数の前記通信相手の端末装置に共通に設定する一時記憶制御手段を備えていることを特徴としている。   Further, in the terminal device according to the present invention, the delay time until the reproduction unit reproduces the packet stored in the data storage unit first is determined in a communication environment with a plurality of communication partner terminal devices. According to the worst communication environment, there is provided temporary storage control means that is set in common to a plurality of terminal devices of the communication partner.

上記の構成によれば、一時記憶制御手段が、テレビ会議開始後最初にパケットを格納してから、再生手段が格納したパケットを再生するまでの時間を、最も通信環境の悪い通信相手に応じた時間に共通に設定する。   According to the above configuration, the time from when the temporary storage control unit first stores the packet after the start of the video conference until the reproduction unit reproduces the packet depends on the communication partner having the worst communication environment. Set common to time.

これにより、受信したデータを格納する共通の時間を、通信環境の最も悪い通信相手からの受信パケットに生じる遅延を解消する必要最低限な時間とすることができる。よって、各会議参加者からの映像や音声データをそれぞれ途切れることなく再生することを可能とするとともに、データ格納部でデータを格納することにより生じる、データが受信された時間と該データを再生する時間とのタイムラグを最小限に抑えることが可能となる。   As a result, the common time for storing the received data can be set to the minimum necessary time for eliminating the delay caused in the received packet from the communication partner having the worst communication environment. Therefore, the video and audio data from each conference participant can be reproduced without interruption, and the time when the data is received and the data generated by storing the data in the data storage unit are reproduced. It becomes possible to minimize the time lag with time.

なお、上記端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラムも本発明の範疇に入る。   The terminal device may be realized by a computer. In this case, a control program for the terminal device that causes the terminal device to be realized by the computer by causing the computer to operate as each of the above means falls within the scope of the present invention. enter.

以上のように、通信相手の端末装置毎に、当該端末装置から受信したパケットを複数格納するデータ格納部と、前記通信相手の端末装置毎に、前記データ格納部から、該データ格納部に最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生する再生手段とを備える構成である。   As described above, for each communication partner terminal device, the data storage unit that stores a plurality of packets received from the terminal device, and for each communication partner terminal device, from the data storage unit to the data storage unit Reproducing means for reading out and reproducing a packet stored earlier every reproduction time of data included in the packet.

また、本発明に係る端末装置の制御方法は、通信相手の端末装置毎に、当該端末装置から受信したパケットを、複数のパケットを格納可能なデータ格納部に格納する格納ステップと、前記通信相手の端末装置毎に、前記データ格納部から、該データ格納部に最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生する再生ステップとを含む方法である。   The terminal device control method according to the present invention includes a storage step of storing, for each communication partner terminal device, a packet received from the terminal device in a data storage unit capable of storing a plurality of packets; A reproduction step of reading out and reproducing from the data storage unit the packet stored earliest in the data storage unit at every reproduction time of the data included in the packet.

それゆえ、ピアツーピア型のネットワーク形態を用いて、滑らかに音声および映像の再生を行うことのできる電子会議を提供することができるという効果を奏する。   Therefore, it is possible to provide an electronic conference that can smoothly reproduce audio and video using a peer-to-peer network form.

本発明の一実施形態について図1ないし図9に基づいて説明すれば、以下の通りである。   An embodiment of the present invention will be described with reference to FIGS. 1 to 9 as follows.

本実施の形態では、ピアツーピア型のネットワークを介して接続された複数のパーソナルコンピュータ間で、映像や音声のデータを同時、かつ、双方向にデータの送受信をすることによって実現されるテレビ会議システムについて説明する。   In this embodiment, a video conference system realized by transmitting and receiving video and audio data simultaneously and bidirectionally between a plurality of personal computers connected via a peer-to-peer network. explain.

ピアツーピア型のネットワークとは、複数の端末装置が対等の関係にあり、サーバを介さずに各端末装置が直接的にデータのやり取りを行うものである。ピアツーピア型のネットワークを介したテレビ会議の概要について、図2を用いて具体的に説明すると、以下のとおりである。   In the peer-to-peer network, a plurality of terminal devices are in an equal relationship, and each terminal device directly exchanges data without going through a server. The outline of the video conference via the peer-to-peer network will be specifically described with reference to FIG.

図2に示すように、会議参加者Aの端末装置から出力された音声や映像のデータは、中継サーバ6を介して、会議参加者B,C,Dに送信される。また、会議参加者Bの端末装置から出力された音声や映像のデータは、会議参加者A,C,Dに、会議参加者Cの端末装置からの音声や映像のデータは、会議参加者A,B,Dに、会議参加者Dの端末装置からの音声や映像のデータは、会議参加者A,B,Cにそれぞれ送信される。そして、会議参加者B,C,Dからのデータを受信した会議参加者Aの端末装置では、会議参加者Aの音声や映像のデータと、受信した会議参加者B,C,Dの音声や映像のデータとをミキシングして、再生する。なお、会議参加者B,C,Dにおいても同様の動作が行われる。   As shown in FIG. 2, the audio and video data output from the terminal device of the conference participant A is transmitted to the conference participants B, C, and D via the relay server 6. The audio and video data output from the terminal device of the conference participant B is sent to the conference participants A, C and D, and the voice and video data from the terminal device of the conference participant C is sent to the conference participant A. , B, and D, audio and video data from the terminal device of the conference participant D are transmitted to the conference participants A, B, and C, respectively. Then, in the terminal device of the conference participant A that has received data from the conference participants B, C, and D, the audio and video data of the conference participant A and the received conference participants B, C, and D Mix and play back video data. The same operation is performed for the conference participants B, C, and D.

なお、本実施の形態における各端末装置間の通信は、パケットを用いたパケット通信であるため、前記送受信されるデータは、複数に分割されたパケットから構成されている。   In addition, since communication between each terminal apparatus in this Embodiment is packet communication using a packet, the said transmitted / received data is comprised from the packet divided | segmented into plurality.

まず、本実施の形態におけるテレビ会議システム1の構成について、図1および図3を用いて説明する。   First, the structure of the video conference system 1 in this Embodiment is demonstrated using FIG. 1 and FIG.

図1は、端末装置の概略構成を示す機能ブロック図である。図3は、テレビ会議システム1の全体の構成を示す説明図である。   FIG. 1 is a functional block diagram illustrating a schematic configuration of the terminal device. FIG. 3 is an explanatory diagram showing the overall configuration of the video conference system 1.

図3に示すように、テレビ会議システム1は、会議参加者(以下、単にユーザ)A〜Dのそれぞれが使用する端末装置2〜5と、中継サーバ6と、ネットワーク7とから構成される。   As shown in FIG. 3, the video conference system 1 includes terminal devices 2 to 5, a relay server 6, and a network 7 that are used by conference participants (hereinafter simply referred to as users) A to D, respectively.

端末装置2〜5には、パーソナルコンピュータを用いる。各端末装置の構成についての詳細な説明は後述する。   A personal computer is used for the terminal devices 2 to 5. A detailed description of the configuration of each terminal device will be given later.

また、中継サーバ6は、ピアツーピアネットワークにおけるサーバであるため、特定の管理を行わず、各端末装置間の通信を中継するものである。   Further, since the relay server 6 is a server in a peer-to-peer network, the relay server 6 relays communication between terminal devices without performing specific management.

ネットワーク7は、インターネット、携帯電話網や有線電話網等の公衆通信網、専用通信回線等の非公衆通信網等の1または複数の通信網から構成されている。また、ネットワーク7は、インターネットプロトコル(IP)を用いて、データを複数の固定長のパケットに分割して転送する構成であり、端末装置2〜5等のネットワーク7に接続される各機器には、IPアドレスが割り当てられている。   The network 7 includes one or a plurality of communication networks such as the Internet, a public communication network such as a mobile phone network and a wired telephone network, and a non-public communication network such as a dedicated communication line. The network 7 is configured to divide and transfer data into a plurality of fixed-length packets using the Internet protocol (IP), and each device connected to the network 7 such as the terminal devices 2 to 5 includes , An IP address is assigned.

(端末装置の構成)
次に、各端末装置2〜5の構成について説明するが、ここでは、ユーザDが使用する端末装置5の構成について、図1および図4を用いて説明する。
(Configuration of terminal device)
Next, although the structure of each terminal device 2-5 is demonstrated, here, the structure of the terminal device 5 which the user D uses is demonstrated using FIG. 1 and FIG.

図4は、入出力情報記憶部24に格納されるテーブルの一例を示す図である。   FIG. 4 is a diagram illustrating an example of a table stored in the input / output information storage unit 24.

テレビ会議システム1は、ピアツーピア型のネットワーク形態で接続された複数の端末装置2・3・4・5が、映像および音声の少なくともいずれか一方のデータを相互に送受信することによりテレビ会議を行うシステムである。   The video conference system 1 is a system in which a plurality of terminal devices 2, 3, 4, and 5 connected in a peer-to-peer network form perform a video conference by mutually transmitting and receiving at least one of video and audio data. It is.

端末装置5は、通信部8と、入出力制御部9と、キャッシュ制御部10と、映像キャッシュ部11と、音声キャッシュ部12と、映像再生部13と、音声再生部14と、テレビ会議GUI(graphical user interface)15と、カメラ16と、マイク17と、表示部18と、操作部19と、スピーカ20と、記憶部21とを備える構成である。   The terminal device 5 includes a communication unit 8, an input / output control unit 9, a cache control unit 10, a video cache unit 11, an audio cache unit 12, a video reproduction unit 13, an audio reproduction unit 14, and a video conference GUI. (Graphical user interface) 15, a camera 16, a microphone 17, a display unit 18, an operation unit 19, a speaker 20, and a storage unit 21.

通信部8は、中継サーバ6を介して端末装置2〜4と通信を行うものである。具体的には、通信部8は、端末装置2・3・4毎に割り当てられた複数の入出力ポート(ポート)を有する。各入出力ポートは、中継サーバ6との間で、通信相手のユーザごと、通信対象のデータ種別ごとに張られている各コネクションのインタフェースとして割り当てられている。通信部8は、データがどの入出力ポートから入力されたかを示す入出力ポート情報とともに、入力されたデータを映像・音声入力管理部23(図1)に出力する。また、通信部8は、映像・音声出力管理部22(図1)から入力されたデータを、映像・音声出力管理部22からの入出力ポート情報によって指定された入出力ポートを介して、中継サーバ6に出力する。また、通信部8は、各端末装置2〜4との通信の環境を検出する機能を備えている。   The communication unit 8 communicates with the terminal devices 2 to 4 via the relay server 6. Specifically, the communication unit 8 has a plurality of input / output ports (ports) assigned to the terminal devices 2, 3, and 4. Each input / output port is assigned to the relay server 6 as an interface for each connection established for each communication partner user and each data type to be communicated. The communication unit 8 outputs the input data to the video / audio input management unit 23 (FIG. 1) together with input / output port information indicating from which input / output port the data is input. The communication unit 8 relays the data input from the video / audio output management unit 22 (FIG. 1) via the input / output port specified by the input / output port information from the video / audio output management unit 22. Output to the server 6. Moreover, the communication part 8 is provided with the function to detect the environment of communication with each terminal device 2-4.

入出力制御部9は、通信部8を介して行われる、端末装置5へのデータの入出力を制御するものであり、映像・音声出力管理部22と映像・音声入力管理部23とを備える。   The input / output control unit 9 controls data input / output to / from the terminal device 5 performed via the communication unit 8, and includes a video / audio output management unit 22 and a video / audio input management unit 23. .

映像・音声出力管理部22は、ユーザDによって入力されたデータの、他の端末装置への出力を管理するものであり、カメラ16やマイク17から入力されたデータ等を通信部8へ出力する。具体的には、映像・音声出力管理部22は、ユーザDによって、マイクまたはカメラを介して入力された音声または映像のデータを送信するユーザと、送信するデータの種別とを特定する。そして、映像・音声出力管理部22は、前記特定した情報を基に、入出力情報記憶部24(図1)に格納されているテーブルを参照し、該特定した送信先のユーザとデータの種別とに対応する入出力ポートを選定する。そして、選定した入出力ポートの情報(入出力ポート情報)と、ユーザDによって入力されたデータとを、通信部8に出力する。   The video / audio output management unit 22 manages output of data input by the user D to another terminal device, and outputs data input from the camera 16 and the microphone 17 to the communication unit 8. . Specifically, the video / audio output management unit 22 specifies a user who transmits audio or video data input by a user D via a microphone or a camera, and a type of data to be transmitted. Then, the video / audio output management unit 22 refers to the table stored in the input / output information storage unit 24 (FIG. 1) based on the specified information, and specifies the user of the specified transmission destination and the type of data. Select the input / output port corresponding to. Then, information on the selected input / output port (input / output port information) and data input by the user D are output to the communication unit 8.

例えば、テレビ会議に参加している参加者全員に、データを送信すると設定されている場合で、ユーザDから音声データのみの入力があったとすると、映像・音声出力管理部22は、まず、ユーザAからCのすべてに、音声データを出力すると特定する。そして、この情報を基に、映像・音声出力管理部22は、入出力情報記憶部24に格納されている図4に示すテーブルを参照し、前記特定した情報に対応する、入出力ポート1,3,5を選定する。そして、この選定した入出力ポート1,3,5の情報を通信部8に出力する。   For example, if it is set to transmit data to all the participants participating in the video conference, and the user D inputs only audio data, the video / audio output management unit 22 first selects the user. It is specified that audio data is output to all of A to C. Then, based on this information, the video / audio output management unit 22 refers to the table shown in FIG. 4 stored in the input / output information storage unit 24, and corresponds to the input / output port 1, 3 and 5 are selected. Then, the information of the selected input / output ports 1, 3, 5 is output to the communication unit 8.

映像・音声入力管理部23は、端末装置2〜4から端末装置5へのデータの入力を管理するものである。具体的には、映像・音声入力管理部23は、通信部8から、端末装置2〜4から受信したデータ(受信データ)と、該データを受信する際の入出力ポート情報とを取得する。そして、映像・音声入力管理部23は、取得した入出力ポート情報を基に、入出力情報記憶部24に格納されたテーブルを参照し、そのテーブルから、該入出力ポートに対応する、受信データの送信元であるユーザおよび受信データの種別の情報を取得する。映像・音声入力管理部23は、入出力情報記憶部24から取得した、送信元のユーザの情報と受信データの種別の情報とを、受信データとともにキャッシュ制御部10に出力する。   The video / audio input management unit 23 manages data input from the terminal devices 2 to 4 to the terminal device 5. Specifically, the video / audio input management unit 23 acquires data (received data) received from the terminal devices 2 to 4 and input / output port information when receiving the data from the communication unit 8. Then, the video / audio input management unit 23 refers to the table stored in the input / output information storage unit 24 based on the acquired input / output port information, and receives received data corresponding to the input / output port from the table. Get the information of the user who is the sender of and the type of received data. The video / audio input management unit 23 outputs the information on the transmission source user and the information on the type of received data acquired from the input / output information storage unit 24 to the cache control unit 10 together with the received data.

例えば、端末装置5が、あるデータを、通信部8の入出力ポート1,3を介して受信したとすると、映像・音声入力管理部23は、通信部8から、受信したデータとともに、入出力ポート1,3を介して受信した旨の入出力ポート情報を取得する。そして、映像・音声入力管理部23は、該入出力ポート情報に基づいて、入出力情報記憶部24のテーブルから、ポート1,3のそれぞれに対応する、受信データの送信元である参加者およびデータの種別の情報を取得する。ここでは、入出力ポート1を介して受信したデータであるので、該データは、ユーザAから送信された音声データである。   For example, if the terminal device 5 receives certain data via the input / output ports 1 and 3 of the communication unit 8, the video / audio input management unit 23 inputs and outputs together with the received data from the communication unit 8. Input / output port information indicating that it has been received via ports 1 and 3 is acquired. Then, based on the input / output port information, the video / audio input management unit 23 reads from the table of the input / output information storage unit 24 the participant who is the transmission source of the received data corresponding to each of the ports 1 and 3, and Get data type information. Here, since the data is received via the input / output port 1, the data is audio data transmitted from the user A.

記憶部21は、端末装置5の各種機能を実行するために必要なプログラムやデータ等を格納するメモリやハードディスク等であり、入出力情報記憶部24を備える。   The storage unit 21 is a memory, a hard disk, or the like that stores programs and data necessary for executing various functions of the terminal device 5, and includes an input / output information storage unit 24.

入出力情報記憶部24は、映像・音声出力管理部22が端末装置5からデータを出力する際に、どの入出力ポートを介して、出力するかを特定するために参照する情報を格納するものであり、また、映像・音声入力管理部23が端末装置5へ入力されたデータの送信元となる端末装置と、入力されたデータの種別を特定するために参照する情報を格納するものである。   The input / output information storage unit 24 stores information to be referred to in order to specify through which input / output port when the video / audio output management unit 22 outputs data from the terminal device 5. In addition, the video / audio input management unit 23 stores a terminal device that is a transmission source of the data input to the terminal device 5 and information that is referred to in order to identify the type of the input data. .

具体的には、入出力情報記憶部24は、端末装置5にデータが入出力される際に、どの入出力ポートを介したかを示す入出力ポート情報と、各入出力ポートを介して入出力されるデータがどのユーザとコネクションされているかを示す情報と、各入出力ポートを介して入出力されるデータが映像データであるか、または音声データであるかを示す情報とを対応付けたテーブルを格納している。このテーブルの一例は図4に示すとおりである。   Specifically, the input / output information storage unit 24 inputs / outputs port information indicating which input / output port is passed when data is input / output to / from the terminal device 5 and the input / output via each input / output port. Table in which information indicating which user is connected to which data is connected to information indicating whether the data input / output via each input / output port is video data or audio data Is stored. An example of this table is as shown in FIG.

また、図4のテーブルでは、ユーザの情報をA,B,Cと示しているが、実際は、テレビ会議システムのユーザにはそれぞれテレビ会議用IDが付与されており、各ユーザに付与されたテレビ会議用IDの情報が格納されている。   In the table of FIG. 4, the user information is indicated as A, B, and C. Actually, the video conference ID is assigned to each user of the video conference system, and the TV assigned to each user. Information on the conference ID is stored.

キャッシュ制御部10(一時記憶制御手段)は、映像・音声入力管理部23から入力された情報を基に、または、テレビ会議GUI15からの指示に基づき、映像キャッシュ部11および音声キャッシュ部12を制御するものである。具体的には、キャッシュ制御部10は、各端末装置2・3・4から通信部8の各ポートに入力されるパケットを、該ポートが割り当てられた前記端末装置2・3・4に対応する映像キャッシュ部11のデータ格納領域11a・11b・11c(後述)、または音声キャッシュ部12のデータ格納領域12a・12b・12c(後述)に格納する。   The cache control unit 10 (temporary storage control means) controls the video cache unit 11 and the audio cache unit 12 based on information input from the video / audio input management unit 23 or based on an instruction from the video conference GUI 15. To do. Specifically, the cache control unit 10 corresponds to a packet input to each port of the communication unit 8 from each terminal device 2, 3, 4 to the terminal device 2, 3, 4 to which the port is assigned. The data is stored in data storage areas 11a, 11b, and 11c (described later) of the video cache unit 11 or data storage areas 12a, 12b, and 12c (described later) of the audio cache unit 12.

また、キャッシュ制御部10は、テレビ会議開始後、映像再生部13または音声再生部14が、前記データ格納領域11a・11b・11c、または12a・12b・12cに、最初にパケットを格納してから、該格納したパケットを再生するまでの時間を、複数の前記端末装置2・3・4との通信環境のうちで、最も悪い通信環境に応じて、複数の前記端末装置2・3・4に共通に設定する。   In addition, after the video conference starts, the cache control unit 10 first stores the packet in the data storage area 11a, 11b, 11c, or 12a, 12b, 12c after the video playback unit 13 or the audio playback unit 14 stores the packet. , The time until the stored packet is replayed is determined according to the worst communication environment among the plurality of terminal devices 2, 3, and 4. Set in common.

映像キャッシュ部11は、受信データの種別が映像であるデータを一時的に記憶するものであり、受信データの送信元であるユーザごとに記憶するものである。   The video cache unit 11 temporarily stores data whose type of received data is video, and stores it for each user who is the transmission source of the received data.

具体的には、図1に示すように、映像キャッシュ部11は、ユーザAのデータを格納するユーザAデータ格納領域11aと、ユーザBのデータを格納するユーザBデータ格納領域11bと、ユーザCのデータを格納するユーザCデータ格納領域11cとを備える。   Specifically, as shown in FIG. 1, the video cache unit 11 includes a user A data storage area 11a for storing user A data, a user B data storage area 11b for storing user B data, and a user C. And a user C data storage area 11c for storing the data.

ユーザデータ格納領域11a・11b・11cは、端末装置2・3・4毎に、当該端末装置2・3・4から受信した映像データを含むパケットを複数格納するものである。   The user data storage areas 11a, 11b, and 11c store a plurality of packets including video data received from the terminal devices 2, 3, and 4 for each of the terminal devices 2, 3, and 4.

音声キャッシュ部12は、受信データの種別が音声であるデータを、一時的に記憶するものであり、受信データの送信元であるユーザごとに記憶するものである。   The voice cache unit 12 temporarily stores data in which the type of received data is voice, and stores it for each user who is the transmission source of the received data.

具体的には、図1に示すように、音声キャッシュ部12は、ユーザAのデータを格納するユーザAデータ格納領域12aと、ユーザBのデータを格納するユーザBデータ格納領域12bと、ユーザCのデータを格納するユーザCデータ格納領域12cとを備える。   Specifically, as shown in FIG. 1, the voice cache unit 12 includes a user A data storage area 12a for storing user A data, a user B data storage area 12b for storing user B data, and a user C. And a user C data storage area 12c for storing the data.

ユーザデータ格納領域12a・12b・12cは、端末装置2・3・4毎に、当該端末装置2・3・4から受信した音声データを含むパケットを複数格納するものである。   The user data storage areas 12a, 12b, and 12c store a plurality of packets including voice data received from the terminal devices 2, 3, and 4 for the terminal devices 2, 3, and 4, respectively.

なお、キャッシュ制御部10、映像キャッシュ部11、音声キャッシュ部12の詳細な説明については、後述する。   Details of the cache control unit 10, the video cache unit 11, and the audio cache unit 12 will be described later.

映像再生部13(再生手段)は、映像キャッシュ部11から出力された各ユーザの映像データのそれぞれを、テレビ会議GUI15を介して、表示部18上で再生させる。また、映像再生部13は、ユーザDがカメラ16を用いて自分を撮影することによって入力される該映像データも、テレビ会議GUI15を介して、表示部18上で再生する。   The video reproduction unit 13 (reproduction means) reproduces each user's video data output from the video cache unit 11 on the display unit 18 via the video conference GUI 15. In addition, the video reproduction unit 13 reproduces the video data input when the user D photographs the user D using the camera 16 on the display unit 18 via the video conference GUI 15.

具体的には、端末装置2・3・4毎に、データ格納部11a・11b・11cから、該データ格納部11a・11b・11cに最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生するものである。   Specifically, for each of the terminal devices 2, 3, and 4, the data stored in the data storage units 11 a, 11 b, and 11 c from the data storage units 11 a, 11 b, and 11 c is reproduced as the data included in the packet. It is read and reproduced every time.

例えば、ユーザAの映像を再生するとき、テレビ会議GUI15によって表示される、図9に示すようなテレビ会議画面30における、ユーザAの映像を表示する領域で、映像再生部13は、ユーザAの映像データを再生させる。また、映像再生部13は、ユーザBの映像を再生するとき、ユーザBの映像データを、該テレビ会議画面30におけるユーザBの映像を表示する領域で再生させる。また、ユーザCの映像を再生するとき、ユーザCの映像データを、該テレビ会議画面30におけるユーザCの映像を表示する領域で再生させる。   For example, in the video conference screen 30 as shown in FIG. 9 displayed by the video conference GUI 15 when reproducing the video of the user A, the video playback unit 13 displays the video of the user A. Play video data. In addition, when the video playback unit 13 plays back the video of the user B, the video playback unit 13 plays back the video data of the user B in an area where the video of the user B is displayed on the video conference screen 30. When the user C video is played back, the video data of the user C is played back in the area where the video of the user C is displayed on the video conference screen 30.

音声再生部14(再生手段)は、音声キャッシュ部12から出力された各ユーザの音声データをミキシングすることによって1つの連続した音声データとし、該音声データに基づいた音声をスピーカ20に再生させるものである。また、音声再生部14は、マイク17を用いて端末装置5に入力したユーザDの音声データを、他のユーザの音声データとミキシングすることにより1つの音声データとして、スピーカ20で再生する。   The audio reproduction unit 14 (reproduction unit) mixes each user's audio data output from the audio cache unit 12 into one continuous audio data, and causes the speaker 20 to reproduce the audio based on the audio data. It is. In addition, the voice reproduction unit 14 mixes the voice data of the user D input to the terminal device 5 using the microphone 17 with the voice data of other users and reproduces it as one voice data on the speaker 20.

具体的には、端末装置2・3・4毎に、データ格納部12a・12b・12cから、該データ格納部12a・12b・12cに最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、読み出したパケットによって構成される各端末装置からの音声データをミキシングし、スピーカで再生するものである。   Specifically, for each of the terminal devices 2, 3, 4, the data stored in the data storage unit 12 a, 12 b, 12 c is reproduced from the data storage unit 12 a, 12 b, 12 c, and the data contained in the packet is reproduced. It is read out every time, and the audio data from each terminal device constituted by the read packet is mixed and reproduced by a speaker.

テレビ会議GUI15は、表示部18に、図9に示すようなテレビ会議画面30を表示させるものである。また、テレビ会議GUI15は、テレビ会議画面30を介して、ユーザDによって操作部19を用いて入力されたから種々の操作情報を取得するものである。   The video conference GUI 15 displays a video conference screen 30 as shown in FIG. 9 on the display unit 18. Also, the video conference GUI 15 acquires various operation information since it is input by the user D using the operation unit 19 via the video conference screen 30.

テレビ会議画面30は、テレビ会議に参加するユーザや自分の映像を、表示部18上に表示する画面である。具体的には、テレビ会議画面30は、テレビ会議に参加している他のユーザA〜Cの映像を表示する領域と、キャッシュサイズの設定等のユーザDがテレビ会議において種々の設定を行う操作ボタン領域とを有する。ユーザDは、該テレビ会議画面30を介して、テレビ会議に参加する他のユーザ、または自分の映像を確認することができる。   The video conference screen 30 is a screen for displaying the user participating in the video conference and his / her video on the display unit 18. Specifically, the video conference screen 30 is an operation for performing various settings in the video conference by the user D such as an area for displaying videos of other users A to C participating in the video conference and a cache size setting. And a button area. The user D can check other users participating in the video conference or his / her video via the video conference screen 30.

例えば、ユーザDがユーザBの音声だけ選択して再生するとき、ユーザDは、操作部19を用いて、テレビ会議画面30上の、選択したユーザの音声のみを再生する「音声再生ユーザ選択ボタン」を選択し、ユーザBの映像が表示されている領域を選択する。これにより、テレビ会議GUI15は、テレビ会議画面30を介して、ユーザDがユーザBを選択したと認識する。そして、テレビ会議GUI15は、音声再生部14にその旨を通知し、音声再生部14はユーザBのみの音声を再生する。   For example, when the user D selects and reproduces only the voice of the user B, the user D uses the operation unit 19 to reproduce only the voice of the selected user on the video conference screen 30 “voice reproduction user selection button” ”Is selected, and an area in which the image of the user B is displayed is selected. Thereby, the video conference GUI 15 recognizes that the user D has selected the user B via the video conference screen 30. Then, the video conference GUI 15 notifies the sound reproduction unit 14 of the fact, and the sound reproduction unit 14 reproduces the sound of only the user B.

また、ユーザDがユーザAの映像だけ選択して再生するときも、同様に、ユーザDは、選択したユーザの映像のみを再生する「映像再生ユーザ選択ボタン」を選択し、テレビ会議画面30上のユーザAの映像が表示されている領域を選択する。これにより、テレビ会議GUI15は、ユーザDがユーザAを選択したと認識し、映像再生部13を介して、ユーザAのみの映像を再生する。   Similarly, when the user D selects and reproduces only the video of the user A, the user D selects the “video reproduction user selection button” that reproduces only the video of the selected user, and displays the video conference screen 30. The area in which the video of user A is displayed is selected. Thereby, the video conference GUI 15 recognizes that the user D has selected the user A, and reproduces the video of only the user A via the video reproduction unit 13.

カメラ16は、ユーザDの映像を端末装置5に取り込むものである。また、マイク17は、ユーザDの音声を端末装置5に取り込むものである。   The camera 16 captures the video of the user D into the terminal device 5. The microphone 17 is for capturing the voice of the user D into the terminal device 5.

表示部18は、テレビ会議画面30を表示するものであり、例えばPCのディスプレイ等である。   The display unit 18 displays the video conference screen 30 and is, for example, a PC display.

操作部19は、テレビ会議画面30に表示されたメニューを選択するとき等、ユーザが端末装置5を操作するときに用いるものであり、例えばPCのマウス等である。   The operation unit 19 is used when the user operates the terminal device 5 such as selecting a menu displayed on the video conference screen 30, and is, for example, a PC mouse.

スピーカ20は、各ユーザの音声を出力するものである。   The speaker 20 outputs each user's voice.

次に、キャッシュ制御部10、映像キャッシュ部11、音声キャッシュ部12について、詳細に説明する。   Next, the cache control unit 10, the video cache unit 11, and the audio cache unit 12 will be described in detail.

また、ここでは、端末装置5が、ユーザAから映像データを取得した場合について説明する。   Here, a case where the terminal device 5 acquires video data from the user A will be described.

キャッシュ制御部10は、端末装置2から受信した受信データと、該受信データの送信元である端末装置2のユーザAのテレビ会議IDと、該受信データが映像データである旨の情報とを、映像・音声入力管理部23から取得する。   The cache control unit 10 receives the received data received from the terminal device 2, the video conference ID of the user A of the terminal device 2 that is the transmission source of the received data, and information that the received data is video data. Obtained from the video / audio input management unit 23.

キャッシュ制御部10は、映像・音声入力管理部23から情報を取得すると、まず、キャッシュ時間を設定する。キャッシュ時間の設定は、キャッシュ制御部10が、自動で設定することも可能であるし、ユーザDが手動で設定することも可能である。具体的には、図9で示すように、ユーザDが自動の欄にチェックを入れると、テレビ会議GUI15が、キャッシュ時間を自動で設定すると認識し、キャッシュ時間を自動で設定する旨をキャッシュ制御部10に出力する。   When acquiring information from the video / audio input management unit 23, the cache control unit 10 first sets a cache time. The cache time can be set automatically by the cache control unit 10 or manually by the user D. Specifically, as shown in FIG. 9, when the user D checks the automatic column, the video conference GUI 15 recognizes that the cache time is automatically set, and cache control that the cache time is automatically set. To the unit 10.

このとき、キャッシュ制御部10は、通信部8から入出力制御部9を介して取得した、各端末装置2〜4との通信環境のうち、最も通信環境の悪い端末装置を認識し、該通信環境の悪い端末装置に対しても滑らかにデータの再生が行えるように、キャッシュ時間を長く設定する。   At this time, the cache control unit 10 recognizes the terminal device having the worst communication environment out of the communication environments with the terminal devices 2 to 4 acquired from the communication unit 8 via the input / output control unit 9, and performs the communication. The cache time is set to be long so that data can be smoothly reproduced even in a terminal device having a poor environment.

一方、ユーザDが、図9で示すように、テレビ会議画面30を介して、データのキャッシュサイズ、すなわちキャッシュ時間を所望のサイズに設定すると、テレビ会議GUI15が、設定した所望のキャッシュ時間をキャッシュ制御部10に出力する。そして、キャッシュ制御部10が、該キャッシュ時間に応じて、後述のレギュラー格納領域のブロック数を設定する。   On the other hand, as shown in FIG. 9, when the user D sets the data cache size, that is, the cache time to a desired size via the video conference screen 30, the video conference GUI 15 caches the set desired cache time. Output to the control unit 10. Then, the cache control unit 10 sets the number of blocks in a regular storage area described later according to the cache time.

また、ここでのキャッシュ時間は、後述のレギュラー格納領域のブロック数5個と設定されているものとする。   The cache time here is assumed to be set to 5 blocks in a regular storage area to be described later.

キャッシュ制御部10は、キャッシュ時間を、レギュラー領域のブロック数5個と設定後、受信データが映像データであると認識し、受信データのパケットを格納するキャッシュ部を映像キャッシュ部11と選択する。次に、キャッシュ制御部10は、ユーザAのテレビ会議IDから、該受信データはユーザAからのデータであると認識するため、映像キャッシュ部11のうち、ユーザAデータ格納領域11aを選択する。そして、キャッシュ制御部10は、ユーザAから受信した受信データのパケットを、映像キャッシュ部11のユーザAデータ格納領域11aに格納させる。   After the cache control unit 10 sets the cache time to 5 blocks in the regular area, the cache control unit 10 recognizes that the received data is video data, and selects the cache unit that stores the received data packet as the video cache unit 11. Next, since the cache control unit 10 recognizes that the received data is data from the user A based on the video conference ID of the user A, the cache control unit 10 selects the user A data storage area 11 a in the video cache unit 11. Then, the cache control unit 10 stores the received data packet received from the user A in the user A data storage area 11 a of the video cache unit 11.

図5は、ユーザAデータ格納領域11aにおいて、パケットがキャッシュされる様子を示した説明図である。   FIG. 5 is an explanatory diagram showing how packets are cached in the user A data storage area 11a.

ユーザAデータ格納領域11aにおけるパケットのキャッシュ方法について図5を用いて説明すると、以下の通りである。   A packet caching method in the user A data storage area 11a will be described with reference to FIG.

なお、ここでは、ユーザAデータ格納領域11aについてのみ説明しているが、他のデータ格納領域11b、11c、12a〜12cも同一の構成である。   Although only the user A data storage area 11a has been described here, the other data storage areas 11b, 11c, and 12a to 12c have the same configuration.

ユーザAデータ格納領域11aは、図5に示すように、パケット1つ分を格納するブロックが、10個連なった構成をしている。また、この10個のブロックのうち、パケットが出力される側(図5の紙面に向かって右側)の5個のブロックi〜vは、レギュラー格納領域であり、パケットの格納、すなわち受信データの保存に用いられる。なお、パケットが出力されるとは、映像再生部13から読み出されることを意味する。   As shown in FIG. 5, the user A data storage area 11a has a configuration in which ten blocks for storing one packet are connected. Of these ten blocks, five blocks i to v on the side where the packet is output (right side as viewed in FIG. 5) are regular storage areas, which store packets, that is, receive data. Used for storage. The output of the packet means that the packet is read out from the video reproduction unit 13.

一方、パケットが入力される側(図5の紙面に向かって左側)の5個のブロックは、予備格納領域であり、レギュラー格納領域からあふれたパケットを格納する領域である。   On the other hand, five blocks on the packet input side (left side as viewed in FIG. 5) are spare storage areas, which are areas for storing packets overflowing from the regular storage area.

また、各データ格納領域11a〜11c,12a〜12cにおけるレギュラー格納領域のブロック数は常に共通の数であるため、データ格納領域11b、11c、12a〜12cのレギュラー格納領域のブロック数は、レギュラー格納領域11aと同様の5個である。   In addition, since the number of blocks in the regular storage area in each of the data storage areas 11a to 11c and 12a to 12c is always a common number, the number of blocks in the regular storage area of the data storage areas 11b, 11c, and 12a to 12c is regular storage. The number is the same as the region 11a.

具体的には、図5に示すように、キャッシュ制御部10が、タイミング6(以下、時刻t=6)において、連続する4つのパケットd〜gを受信したとき、レギュラー格納領域には、すでにパケットb,cが格納されているため、レギュラー格納領域の空白ブロックは3つである。しかしながら、受信されたのは4つのパケットであるため、早く到達したパケットd〜fまではレギュラー格納領域に含まれ、この4つのパケットの中で最も遅く到達したパケットgはレギュラー格納領域からあふれる。予備格納領域が、このあふれたパケットgを格納するため、パケットgの格納もれによって生じるデータの途切れを防ぐことが可能となる。   Specifically, as shown in FIG. 5, when the cache control unit 10 receives four consecutive packets d to g at timing 6 (hereinafter, time t = 6), the cache storage unit 10 has already stored in the regular storage area. Since the packets b and c are stored, there are three blank blocks in the regular storage area. However, since four packets are received, the packets df that arrive earlier are included in the regular storage area, and the packet g that arrives the latest among the four packets overflows from the regular storage area. Since the spare storage area stores the overflowing packet g, it is possible to prevent data interruption caused by the storage leak of the packet g.

また、キャッシュ制御部10は、テレビ会議が開始されてから最初に到達したパケットを、まず、映像キャッシュ部11におけるレギュラー格納領域の最もパケット入力側に位置するブロックiに格納する。そして、1カウントごとに、1ブロックずつパケット出力側に該パケットを順に移動させる、すなわち、ブロックii〜ivに該パケットを格納する。また、該パケットが最もパケット出力側のブロックvに格納されると、キャッシュ制御部10は、次のカウントで、該パケットを映像再生部13に出力する。   Further, the cache control unit 10 first stores a packet that has arrived first since the start of the video conference, in a block i that is located closest to the packet input side of the regular storage area in the video cache unit 11. Then, for each count, the packets are sequentially moved to the packet output side by one block, that is, the packets are stored in blocks ii to iv. When the packet is stored in the block v on the most packet output side, the cache control unit 10 outputs the packet to the video reproduction unit 13 at the next count.

ここからは、図5に示すような、9つのパケットa〜iで構成されている、端末装置2から送信されたユーザAの映像データを用いて、映像キャッシュ部11におけるキャッシュ方法について説明する。また、端末装置2と端末装置5との通信環境の悪化等により、前記9つの連続したパケットa〜iが途切れると、端末装置5は、図5に示すように、途切れたパケットを受信する。   From now on, a cache method in the video cache unit 11 will be described using the video data of the user A transmitted from the terminal device 2 and composed of nine packets a to i as shown in FIG. Further, when the nine consecutive packets a to i are interrupted due to deterioration of the communication environment between the terminal device 2 and the terminal device 5, the terminal device 5 receives the interrupted packet as shown in FIG.

まず、キャッシュ制御部10は、テレビ会議を開始してから、最初に端末装置5に到達するユーザAの映像データのパケットaを、レギュラー格納領域における5つのブロックのうち、最もパケット出力側から遠いブロックi、すなわち図5における右側から5番目のブロックに格納する。   First, after starting the video conference, the cache control unit 10 firstly transmits the packet a of the video data of the user A that reaches the terminal device 5 among the five blocks in the regular storage area farthest from the packet output side. The data is stored in the block i, that is, the fifth block from the right side in FIG.

また、キャッシュ制御部10は、テレビ会議開始後、最初に端末装置5に到達したパケットaがキャッシュ制御部10に入力された時刻をt=1として、その後、所定の時間間隔で、t=2、t=3、t=4・・・とカウントする。そして、該カウントごとに、格納されているパケットを1つずつ出力側のブロックに移動させる。なお、ここにおける所定の時間、すなわち1カウントとは、1パケットを再生する時間を指す。   In addition, the cache control unit 10 sets t = 1 as the time when the packet a that first arrived at the terminal device 5 after the start of the video conference is input to the cache control unit 10, and then at a predetermined time interval, t = 2 , T = 3, t = 4. Then, for each count, the stored packets are moved one by one to the output side block. Here, the predetermined time, that is, 1 count refers to the time for reproducing one packet.

キャッシュ制御部10は、1カウントで1つ、パケットを出力側のブロックに移動させるため、t=2をカウントすると同時に、パケットaを、ブロックiよりもパケット出力側に位置するブロックiiに移動させる。   Since the cache control unit 10 moves one packet per count to the output side block, the cache control unit 10 counts t = 2 and simultaneously moves the packet a to the block ii located on the packet output side rather than the block i. .

また、キャッシュ制御部10は、t=2のカウントで入力された2つの連続したパケットb,cを映像キャッシュ部11に格納する。このとき、キャッシュ制御部10は、パケットbを、パケットaが格納されていたブロックiに格納するとともに、連続するパケットcを予備格納領域の最もパケット出力側に位置するブロックに格納する。   Further, the cache control unit 10 stores two consecutive packets b and c input at a count of t = 2 in the video cache unit 11. At this time, the cache control unit 10 stores the packet b in the block i in which the packet a is stored, and stores the continuous packet c in the block located on the most packet output side of the spare storage area.

また、キャッシュ制御部10は、t=3をカウントすると同時に、パケットa,b,cをそれぞれパケット出力側の隣接するブロックに移動させる。すなわち、パケットaはブロックiiiに、パケットbはブロックiiに、パケットcはブロックiに格納される。   In addition, the cache control unit 10 counts t = 3 and simultaneously moves the packets a, b, and c to adjacent blocks on the packet output side. That is, packet a is stored in block iii, packet b is stored in block ii, and packet c is stored in block i.

また、キャッシュ制御部10は、t=4をカウントすると同時に、パケットa,b,cのそれぞれを、さらにパケット出力側の隣接するブロックに移動させる。すなわち、パケットaはブロックivに、パケットbはブロックiiiに、パケットcはブロックiiに格納される。また、キャッシュ制御部10は、t=5をカウントすると同時に、パケットaをブロックvに、パケットbをブロックivに、パケットaをブロックiiiにそれぞれ格納する。   Further, the cache control unit 10 counts t = 4 and simultaneously moves each of the packets a, b, and c to adjacent blocks on the packet output side. That is, packet a is stored in block iv, packet b is stored in block iii, and packet c is stored in block ii. In addition, the cache control unit 10 counts t = 5, and simultaneously stores the packet a in the block v, the packet b in the block iv, and the packet a in the block iii.

そして、キャッシュ制御部10は、t=6をカウントすると同時に、パケットaを映像再生部13へ出力し、パケットbをブロックvに、パケットcをブロックivにそれぞれ移動させる。   Then, the cache control unit 10 counts t = 6 and simultaneously outputs the packet a to the video reproduction unit 13 to move the packet b to the block v and the packet c to the block iv.

また、このとき、通信状況の悪化などで遅延して端末装置5に到達したパケットd〜gがキャッシュ制御部10に入力される。   At this time, packets d to g that have arrived at the terminal device 5 with a delay due to deterioration of the communication status or the like are input to the cache control unit 10.

パケットd〜gが入力されると、キャッシュ制御部10は、パケットdをブロックiiiに格納するとともに、パケットe,fをそれぞれブロックii,iに格納する。そして、レギュラー格納領域からあふれたパケットgを予備格納領域の最もパケット出力側に位置するブロックに格納する。   When the packets d to g are input, the cache control unit 10 stores the packet d in the block iii and stores the packets e and f in the blocks ii and i, respectively. Then, the packet g overflowing from the regular storage area is stored in a block located on the most packet output side of the spare storage area.

また、キャッシュ制御部10は、t=7をカウントすると同時に、最もパケット出力側のブロックvに格納されていたパケットbを映像再生部13へ出力し、パケットcをブロックvに、パケットdをブロックivに、パケットeをブロックiiiに、パケットfをブロックiiにそれぞれ移動させて格納させる。また、パケットbが出力された分、レギュラー格納領域に空白領域が生じるため、キャッシュ制御部10は、パケットgを、レギュラー格納領域のブロックiに格納する。   Further, the cache control unit 10 counts t = 7, and at the same time outputs the packet b stored in the block v on the most packet output side to the video reproduction unit 13, blocks the packet c into the block v, and blocks the packet d. In iv, the packet e is moved to block iii and the packet f is moved to block ii for storage. Further, since the blank area is generated in the regular storage area for the output of the packet b, the cache control unit 10 stores the packet g in the block i of the regular storage area.

このとき、通信状況の悪化などで遅延して端末装置5に到達したパケットh,iがキャッシュ制御部10に入力される。t=7のカウント時点では、レギュラー格納領域に空白領域がないため、キャッシュ制御部10は、パケットh,iを予備格納領域において最もパケット出力側に位置するブロックから順にそれぞれを格納する。   At this time, the packets h and i that have arrived at the terminal device 5 with a delay due to deterioration of the communication status or the like are input to the cache control unit 10. Since there is no blank area in the regular storage area at the time of counting t = 7, the cache control unit 10 stores the packets h and i in order from the block located closest to the packet output side in the spare storage area.

キャッシュ制御部10は、t=8〜14のそれぞれをカウントすると同時に、各タイミング時にブロックvに格納されているパケットc〜iを映像再生部13へ出力するとともに、映像キャッシュ部11の各ブロックに格納されているパケットをそれぞれ1つずつパケット出力側のブロックに移動させる。   The cache control unit 10 counts each of t = 8 to 14, and simultaneously outputs the packets c to i stored in the block v at each timing to the video reproduction unit 13 and also to each block of the video cache unit 11. The stored packets are moved one by one to the block on the packet output side.

上記制御方法によれば、キャッシュ制御部10が、映像キャッシュ部11からパケットを出力するタイミングを制御することができるため、映像キャッシュ部11への入力時に途切れていたデータを、キャッシュ制御部10からの出力時には、途切れのない連続したデータとして出力することが可能となる。   According to the above control method, since the cache control unit 10 can control the timing of outputting a packet from the video cache unit 11, the data interrupted at the time of input to the video cache unit 11 is transferred from the cache control unit 10. Can be output as continuous data without interruption.

また、ユーザBデータ格納領域11bとユーザCデータ格納領域11cとは、ユーザAデータ格納領域11aと同一の構成であるため、ここでは説明を省略する。また、音声キャッシュ部12におけるユーザAデータ格納領域12aと、ユーザBデータ格納領域12bと、ユーザCデータ格納領域12cも、ユーザAデータ格納領域11aと同一の構成であるため、ここでは説明を省略する。   Further, the user B data storage area 11b and the user C data storage area 11c have the same configuration as the user A data storage area 11a, and thus description thereof is omitted here. Further, the user A data storage area 12a, the user B data storage area 12b, and the user C data storage area 12c in the voice cache unit 12 have the same configuration as the user A data storage area 11a, and thus the description thereof is omitted here. To do.

(テレビ会議システム全体の動作)
次に、テレビ会議システム1全体の動作について、図6を用いて説明する。図6は、テレビ会議システム1全体の動作を示すフローチャート図である。
(Operation of the entire video conference system)
Next, the operation of the entire video conference system 1 will be described with reference to FIG. FIG. 6 is a flowchart showing the overall operation of the video conference system 1.

まず、テレビ会議システム1が動作するためには、複数の端末装置のうち、いずれかがセッションマネージャとして、テレビ会議開始要求を、テレビ会議参加候補の他の端末装置に送信する。   First, in order for the video conference system 1 to operate, any one of the plurality of terminal devices serves as a session manager, and transmits a video conference start request to other terminal devices participating in the video conference participation.

テレビ会議開始要求を受け取った端末装置のユーザが、該テレビ会議に参加する場合には、参加応答通知をセッションマネージャに送信する。このことより、該端末装置とセッションマネージャとの間には、コネクションが確立される(S1)。また、コネクションが確立されると、コネクションが確立された端末装置毎にポートが割り当てられ、入出力ポート情報が作成される(S1)。   When the user of the terminal device that has received the video conference start request participates in the video conference, a participation response notification is transmitted to the session manager. As a result, a connection is established between the terminal device and the session manager (S1). When the connection is established, a port is assigned to each terminal device with which the connection is established, and input / output port information is created (S1).

そして、テレビ会議が開始し、各端末装置間で様々なテレビ会議処理が行われる(S2)。前記様々なテレビ会議処理の詳細については後述する。   Then, the video conference starts, and various video conference processes are performed between the terminal devices (S2). Details of the various video conference processes will be described later.

また、テレビ会議に参加しているユーザのうちの1人、例えばユーザAが、ユーザB〜Dへテレビ会議終了要求を行い、すべてのユーザB〜Dからテレビ会議終了応答通知を受けると、テレビ会議が終了する(S3でYES)。そして、各ユーザ間のコネクションが切断される(S4)。   Further, when one of the users participating in the video conference, for example, the user A makes a video conference end request to the users B to D and receives a video conference end response notification from all the users B to D, The conference ends (YES in S3). Then, the connection between the users is disconnected (S4).

また、すべてのユーザからテレビ会議終了応答通知を受けなければテレビ会議は終了せず(S3でNO)、テレビ会議が続行される。   If no video conference end response notification is received from all users, the video conference is not ended (NO in S3), and the video conference is continued.

ここで、様々なテレビ会議処理の詳細については以下に説明する。   Here, details of various video conference processes will be described below.

(データの受信時における端末装置の処理動作)
まずは、他の端末装置からデータを受信した際の端末装置5の処理動作について説明する。
(Processing of the terminal device when receiving data)
First, the processing operation of the terminal device 5 when data is received from another terminal device will be described.

図7は、テレビ会議処理において、他の端末装置からデータを受信した際の端末装置5の処理動作を示したフローチャート図である。   FIG. 7 is a flowchart showing the processing operation of the terminal device 5 when data is received from another terminal device in the video conference process.

図7に示すように、端末装置5は、他の端末装置2〜4から通信部8を介してデータを受信すると、まず、通信部8のどの入出力ポートを介してデータが入力されたかを示す入出力ポート情報と、入力されたデータとを映像・音声入力管理部23(図1)に入力させる。   As illustrated in FIG. 7, when the terminal device 5 receives data from the other terminal devices 2 to 4 via the communication unit 8, first, the input / output port of the communication unit 8 determines which data has been input. The input / output port information shown and the input data are input to the video / audio input management unit 23 (FIG. 1).

映像・音声入力管理部23は、入力された入出力ポート情報に基づいて、入出力情報記憶部24から、受信データの送信元であるユーザを特定する(S11)とともに、受信データの種別を特定する(S12)。   The video / audio input management unit 23 specifies the user who is the transmission source of the received data from the input / output information storage unit 24 based on the input / output port information (S11) and specifies the type of the received data (S12).

映像・音声入力管理部23は、特定した受信データの送信元であるユーザと、受信データの種別とをキャッシュ制御部10に出力する。   The video / audio input management unit 23 outputs to the cache control unit 10 the user who is the transmission source of the specified received data and the type of the received data.

キャッシュ制御部10は、まず、受信データのキャッシュ時間を自動的に設定する(S13でYES)。これは、図9で示すように、テレビ会議GUI15で、キャッシュもし、キャッシュ制御部10がキャッシュ時間を自動的に設定しない場合(S13でNO)は、ユーザDがテレビ会議GUI15を介して、キャッシュ時間を設定する(S18)。   First, the cache control unit 10 automatically sets the cache time for received data (YES in S13). As shown in FIG. 9, this is because the video conference GUI 15 caches, and if the cache control unit 10 does not automatically set the cache time (NO in S 13), the user D caches via the video conference GUI 15. Time is set (S18).

そして、キャッシュ制御部10は、受信データがユーザAからの映像データであれば(S14でYES)、映像キャッシュ部11のユーザAデータ格納領域11aに、受信データを格納させる。映像キャッシュ部11は、キャッシュ制御部10によって設定されたキャッシュ時間に基づいて、受信データである映像データをキャッシュする(S15、格納ステップ)。   Then, if the received data is video data from user A (YES in S14), the cache control unit 10 stores the received data in the user A data storage area 11a of the video cache unit 11. The video cache unit 11 caches video data that is received data based on the cache time set by the cache control unit 10 (S15, storage step).

キャッシュ制御部10は、前記キャッシュ時間が経過すると、映像データを、映像キャッシュ部11から映像再生部13に出力させる(S16)。   When the cache time has elapsed, the cache control unit 10 causes the video data to be output from the video cache unit 11 to the video playback unit 13 (S16).

そして、映像再生部13が、入力された映像データを、テレビ会議GUI15を介して、表示部18上で再生する(S17、再生ステップ)。   Then, the video reproduction unit 13 reproduces the input video data on the display unit 18 via the video conference GUI 15 (S17, reproduction step).

また、受信データがユーザAからの音声データであれば(S14でNO)、キャッシュ制御部10は、音声キャッシュ部12のユーザAデータ格納領域12aに、受信データを格納させる。音声キャッシュ部12は、キャッシュ制御部10によって設定されたキャッシュ時間に基づいて、受信データである音声データをキャッシュする(S19、格納ステップ)。   If the received data is voice data from the user A (NO in S14), the cache control unit 10 stores the received data in the user A data storage area 12a of the voice cache unit 12. The voice cache unit 12 caches voice data that is received data based on the cache time set by the cache control unit 10 (S19, storage step).

キャッシュ制御部10は、前記キャッシュ時間が経過すると、音声データを、音声キャッシュ部12から音声再生部14に出力させる(S20)。   When the cache time elapses, the cache control unit 10 causes the audio data to be output from the audio cache unit 12 to the audio reproduction unit 14 (S20).

そして、音声再生部14は、ユーザBやユーザCの音声データを上記同様な処理動作によって得られると、S20で入力されたユーザAの音声データと、ユーザBやユーザCの音声データとをミキシングする(S21)。S21のミキシングによって、一つの連続したデータとなった音声データは、スピーカ20を介して、再生される(S22、再生ステップ)。   Then, when the audio data of the user B or the user C is obtained by the same processing operation as described above, the audio reproducing unit 14 mixes the audio data of the user A input in S20 and the audio data of the user B or the user C. (S21). The audio data that has become one continuous data by the mixing in S21 is reproduced via the speaker 20 (S22, reproduction step).

(データの送信時における端末装置の処理動作)
次に、端末装置5に、ユーザDが自分の映像や音声をデータとして取り込み、該映像データや音声データを他の端末装置2〜4に送信する際の端末装置5の処理動作について説明する。
(Processing of terminal device during data transmission)
Next, the processing operation of the terminal device 5 when the user D captures his / her video and audio as data in the terminal device 5 and transmits the video data and audio data to the other terminal devices 2 to 4 will be described.

図8は、テレビ会議処理において、端末装置5から他の端末装置に映像または音声データを送信する際の処理動作を示したフローチャート図である。   FIG. 8 is a flowchart showing a processing operation when video or audio data is transmitted from the terminal device 5 to another terminal device in the video conference process.

まず、カメラ16を介して、ユーザDの映像が端末装置5に取り込まれて(S31でYES)、該取り込んだ映像を他の端末装置2〜4に送信する場合(S32でYES)、端末装置5は、映像・音声出力管理部22に取り込んだ映像データを入力させる。   First, when the video of the user D is captured by the terminal device 5 via the camera 16 (YES in S31), and the captured video is transmitted to the other terminal devices 2 to 4 (YES in S32), the terminal device 5 inputs video data taken into the video / audio output management unit 22.

そして、映像・音声出力管理部22は、送信先のユーザを認識する(S33)。具体的には、ユーザDからの指定があれば、その指示に従って送信先のユーザを認識し、また、全ユーザに送信すると設定されているときは、送信先は全ユーザであると認識する。   Then, the video / audio output management unit 22 recognizes the transmission destination user (S33). Specifically, if there is a designation from the user D, the user of the transmission destination is recognized according to the instruction, and if it is set to transmit to all users, the transmission destination is recognized as all users.

映像・音声出力管理部22は、S33で認識した送信先のユーザと、入力されたデータの種別と(S34)から、入出力情報記憶部24を参照して、各端末装置に送信する際に用いる入出力ポートを特定する(S35)。   The video / audio output management unit 22 refers to the input / output information storage unit 24 based on the transmission destination user recognized in S33, the type of input data (S34), and transmits the data to each terminal device. The input / output port to be used is specified (S35).

そして、映像・音声出力管理部22は、映像データとともに、特定した入出力ポート情報を通信部8に出力する。通信部8は、該入出力ポート情報に基づいて、各端末装置に映像データを送信する(S36)。   Then, the video / audio output management unit 22 outputs the specified input / output port information to the communication unit 8 together with the video data. The communication unit 8 transmits video data to each terminal device based on the input / output port information (S36).

また、カメラ16を介して映像を取り込まずに(S31でNO)、マイク17を介して音声データを取り込む場合についても(S37でYES)、取り込んだ音声データを他の端末装置に送信するときは、S32〜S36と同じ動作を行う。   Also, when capturing audio data via the microphone 17 without capturing video via the camera 16 (NO at S31) (YES at S37), when transmitting the captured audio data to another terminal device, , The same operation as S32 to S36 is performed.

また、カメラ16やマイク17を介して、端末装置5内に取り込んだ映像データや、音声データを、端末装置5の表示部18上のテレビ会議GUI15を介して表示するときは(S32でNO)、カメラ16は、映像データを映像再生部13へ出力し、マイク17は、音声データを音声再生部14へ出力する(S38)。   When displaying video data or audio data captured in the terminal device 5 via the camera 16 or the microphone 17 via the video conference GUI 15 on the display unit 18 of the terminal device 5 (NO in S32). The camera 16 outputs the video data to the video reproduction unit 13, and the microphone 17 outputs the audio data to the audio reproduction unit 14 (S38).

そして、映像再生部13は、ユーザDの映像を、テレビ会議GUI15を介して表示部18で再生させる(S39)。一方、音声再生部14は、ユーザDの音声データを、他のユーザの音声データがあれば、該音声データとミキシングして、スピーカ20を介して出力する(S39)。   Then, the video reproduction unit 13 reproduces the video of the user D on the display unit 18 via the video conference GUI 15 (S39). On the other hand, if there is other user's voice data, the voice reproducing unit 14 mixes the voice data of the user D with the voice data and outputs it through the speaker 20 (S39).

本実施の形態では、キャッシュ制御部10は、レギュラー格納領域のブロック数を、各端末装置との通信環境のうち、最も悪い通信環境に合わせて設定する構成であるが、本発明はこれに限らず、どの端末装置との通信環境も良好である場合等には、最も少ない通信量で通信可能なブロック数に設定することが可能である。   In the present embodiment, the cache control unit 10 is configured to set the number of blocks in the regular storage area according to the worst communication environment among the communication environments with each terminal device, but the present invention is not limited to this. If the communication environment with any terminal device is good, the number of blocks that can be communicated with the smallest amount of communication can be set.

例えば、すべての端末装置との通信環境が良好であり、図5において、パケットcに対するパケットdの遅延時間が2タイミング分であるときは、レギュラー格納領域のブロック数をブロックii〜vの4つと設定することができる。この場合、パケットaを最初にブロックiではなく、ブロックiiに格納する。   For example, when the communication environment with all the terminal devices is good and the delay time of the packet d with respect to the packet c in FIG. 5 is two timings, the number of blocks in the regular storage area is four blocks ii to v. Can be set. In this case, packet a is first stored in block ii instead of block i.

また、本実施の形態では、各データ格納領域11a〜11c,12a〜12cは、レギュラー格納領域と予備格納領域とから構成されているが、本発明はこれに限られず、レギュラー格納領域に相当するもののみから構成されていてもよい。   In the present embodiment, each of the data storage areas 11a to 11c and 12a to 12c includes a regular storage area and a spare storage area. However, the present invention is not limited to this, and corresponds to a regular storage area. It may consist only of things.

また、本実施の形態では、各データ格納領域11a〜11c,12a〜12cのブロック数を10個と設定しているが、本発明はこれに限らず、何個に設定しても構わない。   In the present embodiment, the number of blocks in each of the data storage areas 11a to 11c and 12a to 12c is set to 10. However, the present invention is not limited to this and may be set to any number.

また、本実施の形態では、パケットは、受信したパケット順に並べて格納され、格納されたパケットは、パケット出力側に順に移動し、最もパケットが出力される側に位置すると出力される構成であるが、本発明のキャッシュ制御部10による映像キャッシュ部11または音声キャッシュ部12のキャッシュ方法は、上記説明したキャッシュ方法に限られない。例えば、入力されるパケットに、入力順にインデックスを付し、映像再生部13がインデックス番号順にパケットを読み出す構成であってもよい。この場合、本実施の形態のように、入力順にパケットを並べて格納する必要がない。   In the present embodiment, the packets are arranged and stored in the order of the received packets, and the stored packets are sequentially moved to the packet output side and output when the packet is most output. The cache method of the video cache unit 11 or the audio cache unit 12 by the cache control unit 10 of the present invention is not limited to the cache method described above. For example, an index may be given to the input packets in the order of input, and the video reproduction unit 13 may read the packets in the order of the index numbers. In this case, unlike the present embodiment, it is not necessary to store the packets in the order of input.

また、本実施の形態では、ユーザDが入力した音声または映像のデータは、すべての参加者に送信される場合について説明したが、本発明はこれに限られず、ユーザDが指定した送信先にのみ送信される構成であってもよい。例えば、ユーザDがデータの送信先をユーザBとCとに指定する場合、ユーザDは操作部19を用いて、テレビ会議GUI15上のユーザBが表示されている領域とユーザCが表示されている領域とを選択することにより、テレビ会議GUI15は、データの送信先をユーザBとCとに指定したと認識する。そして、テレビ会議GUI15が、データの送信先をユーザBとCとに設定する指示を映像・音声出力管理部22に出力する。映像・音声出力管理部22は、カメラから映像データが入力された場合、テレビ会議GUI15からの指示を受けて、入出力情報記憶部24から、参加者がユーザB,Cでありデータ種別が映像データである入出力ポート、すなわち、入出力ポート4,6の情報を取得し、通信部8へ出力する。そして、通信部8が取得した入出力ポート情報を基に、入出力ポート4,6を介して、ユーザB,Cに映像データを送信するようになっていてもよい。   In the present embodiment, the case where the audio or video data input by the user D is transmitted to all participants has been described. However, the present invention is not limited to this, and the transmission destination specified by the user D is not limited to this. Only the transmission may be possible. For example, when the user D designates the data transmission destination as the users B and C, the user D uses the operation unit 19 to display the area where the user B is displayed on the video conference GUI 15 and the user C. By selecting the area, the video conference GUI 15 recognizes that the data transmission destinations are designated as the users B and C. Then, the video conference GUI 15 outputs an instruction to set the data transmission destination to the users B and C to the video / audio output management unit 22. When the video data is input from the camera, the video / audio output management unit 22 receives an instruction from the video conference GUI 15, and the participants are the users B and C and the data type is video from the input / output information storage unit 24. Information on input / output ports, that is, input / output ports 4 and 6, which are data, is acquired and output to the communication unit 8. The video data may be transmitted to the users B and C via the input / output ports 4 and 6 based on the input / output port information acquired by the communication unit 8.

また、本実施の形態における映像キャッシュ部11および音声キャッシュ部12は、自己、ユーザDの映像データおよび音声データをキャッシュするデータ格納領域を有しない構成であるが、映像キャッシュ部11および音声キャッシュ部12が、それぞれユーザDデータ格納領域を有する構成であってもよい。   In addition, the video cache unit 11 and the audio cache unit 12 in the present embodiment are configured to have no data storage area for caching the video data and audio data of the user D, but the video cache unit 11 and the audio cache unit 12 may each have a user D data storage area.

また、例えば、ユーザEが途中からテレビ会議に参加する場合には、キャッシュ制御部10が、映像キャッシュ部11および音声キャッシュ部12に、ユーザEからのデータを格納するためのユーザEデータ格納領域を作成するようにしてもよい。   Further, for example, when the user E participates in the video conference from the middle, the cache control unit 10 stores the data from the user E in the video cache unit 11 and the audio cache unit 12. You may make it create.

また、本発明は、SOBA(登録商標)(Session Oriented Broadband Application)にも適用することができる。   The present invention can also be applied to SOBA (registered trademark) (Session Oriented Broadband Application).

SOBAとは、通信ネットワークを介して接続された端末装置のユーザ同士がリアルタイムコミュニケーションを実現するための仕組みを提供するものである。リアルタイムコミュニケーションの例としては、チャット機能、ホワイトボード機能などのコミュニケーション機能、音声や動画によるコミュニケーション機能、遠隔画面操作機能などが挙げられる。SOBAにおいて、上記のようなコミュニケーション機能によって共有される通信接続の範囲はセッションと呼ばれる。   SOBA provides a mechanism for users of terminal devices connected via a communication network to realize real-time communication. Examples of real-time communication include a chat function, a communication function such as a whiteboard function, a communication function using voice or video, a remote screen operation function, and the like. In SOBA, the range of communication connections shared by the communication functions as described above is called a session.

図10は、SOBAが搭載された端末装置201および端末装置202が通信ネットワークを介して接続されている状態を示している。ここでは両者は対等であり、互いにデータの送受信が可能となっているものとする。   FIG. 10 shows a state in which the terminal device 201 and the terminal device 202 on which the SOBA is mounted are connected via a communication network. Here, it is assumed that both are equal and can transmit and receive data to each other.

端末装置201および端末装置202のそれぞれには、アプリケーション層、セッション層、およびサービス層の3つの層が形成される。アプリケーション層は、SOBA上で動くアプリケーションによって構成される層である。このアプリケーション層には、例えば、部品アプリケーション、および画面共有アプリケーションなどが含まれる。より具体的なアプリケーションとしては、チャット機能アプリケーション、ホワイトボード機能アプリケーション、音声動画通信機能アプリケーションなどが挙げられる。   In each of the terminal device 201 and the terminal device 202, three layers of an application layer, a session layer, and a service layer are formed. The application layer is a layer configured by applications running on SOBA. This application layer includes, for example, a component application and a screen sharing application. More specific applications include a chat function application, a whiteboard function application, and an audio / video communication function application.

セッション層は、セッションの状態管理や、データ配信先の管理を行う層である。   The session layer is a layer that manages session state and data distribution destinations.

サービス層は、SOBAによる通信機能を実現するための機能によって構成される層である。このサービス層には、例えば同期サービス機能、リソースサービス機能、ディレクトリサービス機能、セキュリティサービス機能、およびネットワークサービス機能などが挙げられる。同期サービス機能とは、セッションに含まれる端末装置との間の通信の同期を制御する機能である。リソースサービス機能とは、音声や動画像のデータを制御する機能である。ディレクトリサービス機能とは、通信先の端末装置またはユーザを探索するためのディレクトリを提供する機能である。セキュリティサービス機能とは、アクセスの許認可機能、および、通信データの暗号化機能などを提供する機能である。ネットワークサービス機能とは、通信ネットワーク上で通信を行うために必要とされる処理を行う機能である。   The service layer is a layer configured by functions for realizing a communication function by SOBA. Examples of the service layer include a synchronization service function, a resource service function, a directory service function, a security service function, and a network service function. The synchronization service function is a function that controls synchronization of communication with the terminal devices included in the session. The resource service function is a function for controlling voice and moving image data. The directory service function is a function that provides a directory for searching for a communication destination terminal device or user. The security service function is a function that provides an access permission / authorization function, a communication data encryption function, and the like. The network service function is a function for performing processing required for performing communication on a communication network.

SOBAによって通信が行われるデータとしては、部品アプリケーションデータ、画面共有アプリケーションデータ、およびセッションコントロールデータが挙げられる。部品アプリケーションデータとは、部品アプリケーションの状態変更イベントを通知するデータである。画面共有アプリケーションデータとは、画面共有アプリケーションにおいて送信指示が行われた送信データ、および、画面共有アプリケーションの状態変更イベントを通知するデータなどに相当する。セッションコントロールデータとは、セッションの状態変更イベントを通知するデータである。   Data that is communicated by SOBA includes component application data, screen sharing application data, and session control data. The component application data is data that notifies the component application state change event. The screen sharing application data corresponds to transmission data for which a transmission instruction is issued in the screen sharing application, data for notifying a state change event of the screen sharing application, and the like. The session control data is data for notifying a session state change event.

図11(a)は、部品アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示している。同図に示すように、該パケットは、TCP/IPヘッダ、SOBAヘッダ、部品アプリケーションヘッダ、および部品アプリケーションデータから構成されている。TCP/IPヘッダは、TCP/IPに基づく通信が行われる際に必要とされるヘッダ情報であり、サービス層におけるネットワークサービス機能によって付加される。SOBAヘッダは、サービス層におけるネットワークサービス機能によって付加されるヘッダ情報であり、SOBAのプロトコルに基づいたデータであることを表している
部品アプリケーションヘッダは、アプリケーション層における部品アプリケーションによって付加されるヘッダ情報であり、該パケットに含まれるデータが利用される部品アプリケーションを特定する情報を示している。部品アプリケーションデータは、上記したように、部品アプリケーションの状態変更イベントを通知するデータである。
FIG. 11A shows a packet configuration when component application data flows on the communication network. As shown in the figure, the packet is composed of a TCP / IP header, a SOBA header, a component application header, and component application data. The TCP / IP header is header information required when communication based on TCP / IP is performed, and is added by a network service function in the service layer. The SOBA header is header information added by the network service function in the service layer, and represents that the data is based on the SOBA protocol. The component application header is header information added by the component application in the application layer. Yes, it shows information for identifying a component application in which data included in the packet is used. The component application data is data for notifying the component application state change event as described above.

図11(b)は、画面共有アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示している。同図に示すように、該パケットは、TCP/IPヘッダ、SOBAヘッダ、画面共有アプリケーションヘッダ、および画面共有アプリケーションデータから構成されている。TCP/IPヘッダ、およびSOBAヘッダは上記のとおりである。画面共有アプリケーションヘッダは、アプリケーション層における画面共有アプリケーションによって付加されるヘッダ情報であり、該パケットに含まれるデータが利用される画面共有アプリケーションを特定する情報を示している。画面共有アプリケーションデータは、上記したように、画面共有アプリケーションにおいて送信指示が行われた送信データ、および、画面共有アプリケーションの状態変更イベントを通知するデータである。   FIG. 11B shows a packet configuration when the screen sharing application data flows on the communication network. As shown in the figure, the packet is composed of a TCP / IP header, an SOBA header, a screen sharing application header, and screen sharing application data. The TCP / IP header and SOBA header are as described above. The screen sharing application header is header information added by the screen sharing application in the application layer, and indicates information specifying a screen sharing application in which data included in the packet is used. As described above, the screen sharing application data is transmission data for which a transmission instruction is issued in the screen sharing application, and data for notifying a state change event of the screen sharing application.

図11(c)は、セッションコントロールデータが通信ネットワーク上を流れる際のパケット構成を示している。同図に示すように、該パケットは、TCP/IPヘッダ、SOBAヘッダ、セッションヘッダ、およびセッションコントロールデータから構成されている。TCP/IPヘッダ、およびSOBAヘッダは上記のとおりである。セッションヘッダは、セッション層によって付加されるヘッダ情報であり、セッションコントロールの種類を特定する情報を示している。セッションコントロールデータは、上記したように、セッションの状態変更イベントを通知するデータである。   FIG. 11C shows a packet configuration when session control data flows on the communication network. As shown in the figure, the packet is composed of a TCP / IP header, a SOBA header, a session header, and session control data. The TCP / IP header and SOBA header are as described above. The session header is header information added by the session layer, and indicates information specifying the type of session control. As described above, the session control data is data for notifying a session state change event.

例えば端末装置201において、部品アプリケーションによって状態変更イベントが発生した場合、まず部品アプリケーションにおいて部品アプリケーションデータおよび部品アプリケーションヘッダが生成される。その後、サービス層において、SOBAヘッダおよびTCP/IPヘッダが不可され、図11(a)に示すパケットが通信ネットワークを介して端末装置202に送信される。端末装置202では、パケットを受信すると、サービス層において、TCP/IPヘッダが取り除かれ、また、SOBAヘッダが確認された後に該SOBAヘッダが取り除かれる。そして、サービス層は、部品アプリケーションヘッダを確認し、該当する部品アプリケーションに対して部品アプリケーションヘッダおよび部品アプリケーションにおいて部品アプリケーションデータおよび部品アプリケーションデータを送信する。部品アプリケーション層では、受信した部品アプリケーションヘッダおよび部品アプリケーションデータに基づいて状態変更イベントを認識し、これに応じた処理を行う。画面共有アプリケーションデータ、および、セッションコントロールデータについても、同様の処理が行われる。   For example, when a state change event is generated by a component application in the terminal device 201, component application data and a component application header are first generated in the component application. Thereafter, in the service layer, the SOBA header and the TCP / IP header are disabled, and the packet shown in FIG. 11A is transmitted to the terminal device 202 via the communication network. When the terminal device 202 receives the packet, the TCP / IP header is removed in the service layer, and the SOBA header is removed after the SOBA header is confirmed. Then, the service layer confirms the component application header, and transmits the component application data and the component application data in the component application header and the component application to the corresponding component application. In the component application layer, the state change event is recognized based on the received component application header and component application data, and processing corresponding to this is performed. Similar processing is performed for the screen sharing application data and the session control data.

以上のようなSOBAシステムを、図1に示すテレビ会議システム1の各端末装置2〜5に搭載することによって各種機能を実現することが可能となる。   Various functions can be realized by installing the SOBA system as described above in each of the terminal devices 2 to 5 of the video conference system 1 shown in FIG.

(ソフトウェアによる構成例)
最後に、端末装置5が備える各ブロック、特に、入出力制御部9、キャッシュ制御部10、映像キャッシュ部11、音声キャッシュ部12、映像再生部13、音声再生部14、およびテレビ会議GUI15などの各機能ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
(Configuration example by software)
Finally, each block included in the terminal device 5, particularly the input / output control unit 9, the cache control unit 10, the video cache unit 11, the audio cache unit 12, the video playback unit 13, the audio playback unit 14, and the video conference GUI 15, etc. Each functional block may be configured by hardware logic, or may be realized by software using a CPU as follows.

すなわち、上記端末装置5は、各機能ブロックを実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記端末装置5に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。   That is, the terminal device 5 includes a CPU (central processing unit) that executes instructions of a control program for realizing each functional block, a ROM (read only memory) that stores the program, and a RAM (random access memory) that expands the program. ), A storage device (recording medium) such as a memory for storing the program and various data. An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program, which is software for realizing the functions described above, is recorded so as to be readable by a computer. This can also be achieved by reading the program code recorded on the recording medium and executing it by the computer (or CPU or MPU).

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。   Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.

また、上記端末装置5を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。   The terminal device 5 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available. Also, the transmission medium constituting the communication network is not particularly limited. For example, even in the case of wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc., infrared rays such as IrDA and remote control, Bluetooth ( (Registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, and the like can also be used. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。   The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims. That is, embodiments obtained by combining technical means appropriately changed within the scope of the claims are also included in the technical scope of the present invention.

本発明に係る端末装置は、ピアツーピア型のネットワーク形態を用いたテレビ会議等に適用することができる。   The terminal device according to the present invention can be applied to a video conference or the like using a peer-to-peer network form.

本発明における端末装置の実施の一形態を示す機能ブロック図である。It is a functional block diagram which shows one Embodiment of the terminal device in this invention. 本発明におけるテレビ会議システム全体を概略的に示した構成図である。It is the block diagram which showed schematically the whole video conference system in this invention. 本発明におけるテレビ会議システム全体の通信の様子を示す説明図である。It is explanatory drawing which shows the mode of communication of the whole video conference system in this invention. 本発明における記憶部に格納されたテーブルの一例を示す図である。It is a figure which shows an example of the table stored in the memory | storage part in this invention. 本発明における端末装置でのキャッシュの様子を示す説明図である。It is explanatory drawing which shows the mode of the cache with the terminal device in this invention. 本発明におけるテレビ会議システムの全体の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the whole video conference system in this invention. 本発明における端末装置の、データ受信時における動作を示すフローチャートである。It is a flowchart which shows the operation | movement at the time of data reception of the terminal device in this invention. 本発明における端末装置の、データ送信時における動作を示すフローチャートである。It is a flowchart which shows the operation | movement at the time of data transmission of the terminal device in this invention. 本発明におけるテレビ会議画面の一例を示す図である。It is a figure which shows an example of the video conference screen in this invention. SOBAが搭載された端末装置が通信ネットワークを介して接続されている状態を示す図である。It is a figure which shows the state in which the terminal device carrying SOBA is connected via the communication network. (a)は、部品アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示す図であり、(b)は、画面共有アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示す図であり、(c)は、セッションコントロールデータが通信ネットワーク上を流れる際のパケット構成を示す図である。(A) is a figure which shows the packet structure when component application data flows on a communication network, (b) is a figure which shows the packet structure when screen sharing application data flows on a communication network, c) is a diagram showing a packet configuration when session control data flows on a communication network. 従来のクライアントサーバ型のネットワーク形態を用いた通信の様子を示す概略図である。It is the schematic which shows the mode of communication using the conventional client server type | mold network form.

符号の説明Explanation of symbols

1 テレビ会議システム
2・3・4・5 端末装置
6 中継サーバ
7 ネットワーク
8 通信部
9 入出力制御部
10 キャッシュ制御部(一時記憶制御手段)
11a・11b・11c・12a・12b・12c データ格納領域(データ格納部)
13 映像再生部(再生手段)
14 音声再生部(再生手段)
15 テレビ会議GUI
16 カメラ
17 マイク
18 表示部
19 操作部
20 スピーカ
21 記憶部
22 映像・音声出力管理部
23 映像・音声入力管理部
24 入出力情報記憶部
DESCRIPTION OF SYMBOLS 1 Video conference system 2, 3, 4, 5 Terminal device 6 Relay server 7 Network 8 Communication part 9 Input / output control part 10 Cache control part (temporary storage control means)
11a, 11b, 11c, 12a, 12b, 12c Data storage area (data storage unit)
13 Video playback unit (playback means)
14 Audio playback unit (playback means)
15 Video conference GUI
16 camera 17 microphone 18 display unit 19 operation unit 20 speaker 21 storage unit 22 video / audio output management unit 23 video / audio input management unit 24 input / output information storage unit

Claims (5)

ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくともいずれか一方のデータを相互に送受信するテレビ会議システムにおける端末装置であって、
通信相手の端末装置毎に、当該端末装置から受信したパケットを複数格納するデータ格納部と、
前記通信相手の端末装置毎に、前記データ格納部から、該データ格納部に最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生する再生手段とを備えることを特徴とする端末装置。
A plurality of terminal devices connected via a peer-to-peer network are terminal devices in a video conference system in which at least one of video and audio data is mutually transmitted and received,
A data storage unit for storing a plurality of packets received from the terminal device for each communication partner terminal device;
Reproducing means for reading out and reproducing the packet stored earliest in the data storage unit from the data storage unit at every reproduction time of data included in the packet, for each terminal device of the communication partner A terminal device.
前記通信相手の端末装置毎に割り当てられた複数のポートを有する通信部と、
前記通信相手の端末装置から前記各ポートに入力されるパケットを、前記各ポートが割り当てられた前記各端末装置に対応するデータ格納部に格納する一時記憶制御手段とをさらに備えることを特徴とする請求項1に記載の端末装置。
A communication unit having a plurality of ports assigned to each terminal device of the communication partner;
Temporary storage control means for storing a packet input from the communication partner terminal device to each port in a data storage unit corresponding to each terminal device to which each port is allocated. The terminal device according to claim 1.
前記再生手段が前記データ格納部に最初に格納されたパケットを再生するまでの遅延時間を、複数の前記通信相手の端末装置との通信環境のうちで、最も悪い通信環境に応じて、複数の前記通信相手の端末装置に共通に設定する一時記憶制御手段を備えていることを特徴とする請求項1に記載の端末装置。   A delay time until the reproduction unit reproduces the packet stored in the data storage unit first is set in a plurality of communication environments with a plurality of communication partner terminal devices according to the worst communication environment. The terminal device according to claim 1, further comprising temporary storage control means that is commonly set for the terminal device of the communication partner. ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくともいずれか一方のデータを相互に送受信するテレビ会議システムにおける端末装置の制御方法であって、
通信相手の端末装置毎に、当該端末装置から受信したパケットを、複数のパケットを格納可能なデータ格納部に格納する格納ステップと、
前記通信相手の端末装置毎に、前記データ格納部から、該データ格納部に最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生する再生ステップとを含むことを特徴とする端末装置の制御方法。
A terminal device control method in a video conference system in which a plurality of terminal devices connected via a peer-to-peer network mutually transmit and receive at least one of video and audio data,
A storage step of storing a packet received from the terminal device for each communication partner terminal device in a data storage unit capable of storing a plurality of packets;
A reproduction step of reading out and reproducing from the data storage unit the packet stored earliest in the data storage unit at each reproduction time of the data included in the packet, for each terminal device of the communication partner. A method for controlling the terminal device.
ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくともいずれか一方のデータを相互に送受信するテレビ会議システムにおける端末装置の制御プログラムであって、
通信相手の端末装置毎に、当該端末装置から受信したパケットを、複数のパケットを格納可能なデータ格納部に格納する格納ステップと、
前記通信相手の端末装置毎に、前記データ格納部から、該データ格納部に最も早く格納されたパケットを、パケットに含まれるデータの再生時間毎に読み出し、再生する再生ステップとを、コンピュータに実行させるための制御プログラム。
A control program for a terminal device in a video conference system in which a plurality of terminal devices connected via a peer-to-peer network mutually transmit and receive at least one of video and audio data,
A storage step of storing a packet received from the terminal device for each communication partner terminal device in a data storage unit capable of storing a plurality of packets;
For each terminal device of the communication partner, a reproduction step of reading out and reproducing from the data storage unit the packet stored earliest in the data storage unit at every reproduction time of data contained in the packet is executed on the computer Control program to let you.
JP2007064005A 2007-03-13 2007-03-13 Terminal device in video conference system, control method for terminal device, control program for terminal device Expired - Fee Related JP5003217B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007064005A JP5003217B2 (en) 2007-03-13 2007-03-13 Terminal device in video conference system, control method for terminal device, control program for terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007064005A JP5003217B2 (en) 2007-03-13 2007-03-13 Terminal device in video conference system, control method for terminal device, control program for terminal device

Publications (2)

Publication Number Publication Date
JP2008227968A true JP2008227968A (en) 2008-09-25
JP5003217B2 JP5003217B2 (en) 2012-08-15

Family

ID=39846036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007064005A Expired - Fee Related JP5003217B2 (en) 2007-03-13 2007-03-13 Terminal device in video conference system, control method for terminal device, control program for terminal device

Country Status (1)

Country Link
JP (1) JP5003217B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245950A (en) * 2009-04-08 2010-10-28 Toyota Motor Kyushu Inc In-vehicle image control apparatus
JPWO2020213711A1 (en) * 2019-04-19 2020-10-22

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246993A (en) * 1991-01-31 1992-09-02 Fujitsu Ltd Multi-spot image communication system
JPH0955754A (en) * 1995-06-05 1997-02-25 Olympus Optical Co Ltd Inter-media synchronization system and its synchronizing method
JP2004343738A (en) * 2003-04-25 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> Real-time information processing apparatus, its method, its program and information storage medium
JP2005323029A (en) * 2004-05-07 2005-11-17 Oki Electric Ind Co Ltd Gateway device for asynchronous voice communication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04246993A (en) * 1991-01-31 1992-09-02 Fujitsu Ltd Multi-spot image communication system
JPH0955754A (en) * 1995-06-05 1997-02-25 Olympus Optical Co Ltd Inter-media synchronization system and its synchronizing method
JP2004343738A (en) * 2003-04-25 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> Real-time information processing apparatus, its method, its program and information storage medium
JP2005323029A (en) * 2004-05-07 2005-11-17 Oki Electric Ind Co Ltd Gateway device for asynchronous voice communication

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245950A (en) * 2009-04-08 2010-10-28 Toyota Motor Kyushu Inc In-vehicle image control apparatus
JPWO2020213711A1 (en) * 2019-04-19 2020-10-22
WO2020213711A1 (en) * 2019-04-19 2020-10-22 株式会社Bonx Communication terminal, application program for communication terminal, and communication method

Also Published As

Publication number Publication date
JP5003217B2 (en) 2012-08-15

Similar Documents

Publication Publication Date Title
US11706277B2 (en) System and method for dynamically expanding conferencing capabilities and facilitating on demand transactions within social network environments
JP6404912B2 (en) Live broadcasting system
CN103368935B (en) The method and apparatus that enhancing Wi-Fi display sessions are provided in Wi-Fi shows network
TWI554317B (en) System and method for managing audio and video channels for video game players and spectators
US9024997B2 (en) Virtual presence via mobile
JP6372156B2 (en) Connection control system, communication terminal, communication system, program, and connection control method
JP2008022552A (en) Conferencing method and conferencing system
JP6719166B2 (en) Live broadcasting system
WO2015003532A1 (en) Multimedia conferencing establishment method, device and system
JP5070934B2 (en) Presence exchange terminal, presence exchange method and presence exchange program
US20110069141A1 (en) Communication Between Scheduled And In Progress Event Attendees
JP2008236553A (en) Terminal device in video conference system, control method of terminal device, and control program for terminal device
WO2016206471A1 (en) Multimedia service processing method, system and device
JP2007096974A (en) Video conference terminal and display position determining method
US20110179157A1 (en) Event Management System For Creating A Second Event
WO2012133860A1 (en) Remote conference system
JP5003217B2 (en) Terminal device in video conference system, control method for terminal device, control program for terminal device
US7792901B2 (en) Reconfiguring a collaboration event
JP4406295B2 (en) Application linkage system and application linkage method
US20110173275A1 (en) Messaging Between Events
JP6610076B2 (en) Information processing apparatus, information processing system, program, and recording medium
US20110069143A1 (en) Communications Prior To A Scheduled Event
TW201112755A (en) Video call system, master-side terminal, slave-side terminal, and program
KR101519935B1 (en) Event management system
JP2009246649A (en) Video conference apparatus, video conference method, video conference program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5003217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

LAPS Cancellation because of no payment of annual fees