JP2009081802A - Video conference system, server terminal, and client terminal - Google Patents

Video conference system, server terminal, and client terminal Download PDF

Info

Publication number
JP2009081802A
JP2009081802A JP2007251124A JP2007251124A JP2009081802A JP 2009081802 A JP2009081802 A JP 2009081802A JP 2007251124 A JP2007251124 A JP 2007251124A JP 2007251124 A JP2007251124 A JP 2007251124A JP 2009081802 A JP2009081802 A JP 2009081802A
Authority
JP
Japan
Prior art keywords
time
real
video
video data
shifted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007251124A
Other languages
Japanese (ja)
Other versions
JP5205900B2 (en
Inventor
Yukihiro Arato
幸広 荒戸
Koji Yamamiya
耕二 山宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saxa Inc
Original Assignee
Saxa Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saxa Inc filed Critical Saxa Inc
Priority to JP2007251124A priority Critical patent/JP5205900B2/en
Publication of JP2009081802A publication Critical patent/JP2009081802A/en
Application granted granted Critical
Publication of JP5205900B2 publication Critical patent/JP5205900B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To perform time-shift reproduction while suppressing an increase in a load on a communication network. <P>SOLUTION: A server terminal 10 transmits stream information and header information about photographed real-time video to a client terminal 20 as real time video data and stores them in a server storage unit, and then transmits header information about real-time video as the object of time-shift reproduction among the real-time video data in the server storage unit as time-shift video data to a client terminal 20. The client terminal 20 reproduces the real-time video data from the server terminal 10 and stores them in a client storage unit, and reads stream information corresponding to the header information of time-shift video data from the server terminal 10 out of the real-time video data in the client storage unit to reproduce the stream information as time-shift video. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、テレビ会議システム技術に関し、特に通信ネットワークを介してサーバ端末から複数の端末に対して映像を配信する技術に関する。   The present invention relates to a video conference system technology, and more particularly to a technology for distributing video from a server terminal to a plurality of terminals via a communication network.

テレビ会議システムでは、例えば発言している会議参加者の映像など、会議の内容を示すリアルタイム映像をカメラで撮影し、会議に参加する多地点のクライアント端末に対して、サーバ端末から通信ネットワークを介して配信することにより、各クライアント端末でリアルタイム映像を共有するものとなっている。
このようなテレビ会議では、会議の進行に応じて、サーバ端末から各クライアント端末へすでに送信したリアルタイム映像をもう一度再生する、いわゆるタイムシフト再生が行われることがある。 In a video conference system, for example, a real-time video showing the content of a conference, such as a video of a conference participant who is speaking, is shot with a camera, and a multipoint client terminal participating in the conference is sent from a server terminal via a communication network. In this way, each client terminal shares a real-time video.
In such a video conference, so-called time-shift playback, in which a real-time video that has already been transmitted from the server terminal to each client terminal is played back again as the conference progresses, may be performed.

http://www.vtv.co.jp/intro/top.htm、テレビ会議入門、VTVジャパン株式会社http://www.vtv.co.jp/intro/top.htm, Introduction to video conferencing, VTV Japan

このようなテレビ会議システムでタイムシフト再生を行う方法として、クライアント端末へ配信したリアルタイム映像をサーバ端末の記憶部で蓄積しておき、タイムシフト再生時には、サーバ端末において、蓄積しておいたリアルタイム映像の一部をタイムシフト映像として記憶部から読み出し、リアルタイム映像と並行して各クライアント端末へ配信する方法が考えられる。   As a method for performing time-shifted reproduction in such a video conference system, the real-time video distributed to the client terminal is stored in the storage unit of the server terminal, and during the time-shift playback, the real-time video stored in the server terminal is stored. A method may be considered in which a part of the video is read from the storage unit as a time-shifted video and distributed to each client terminal in parallel with the real-time video.

しかしながら、このような方法では、リアルタイム映像と並行してタイムシフト映像を配信する必要があるため、これら映像を配信する通信ネットワークの負荷が増大し、映像の途切れなど、通信品質が劣化する原因となるという問題点があった。   However, in such a method, it is necessary to distribute time-shifted video in parallel with real-time video, which increases the load on the communication network that distributes these video and causes degradation in communication quality such as video interruption. There was a problem of becoming.

本発明はこのような課題を解決するためのものであり、通信ネットワークの負荷増大を抑制しつつタイムシフト再生を行うことができるテレビ会議システム、サーバ端末、およびクライアント端末を提供することを目的としている。   The present invention is for solving such problems, and an object of the present invention is to provide a video conference system, a server terminal, and a client terminal that can perform time-shifted reproduction while suppressing an increase in communication network load. Yes.

このような目的を達成するために、本発明にかかるテレビ会議システムは、通信ネットワークを介してサーバ端末から複数のクライアント端末に対して映像を配信するテレビ会議システムであって、サーバ端末は、カメラ部で撮影したリアルタイム映像に関するストリーム情報とヘッダ情報とをリアルタイム映像データとしてクライアント端末へ送信するとともに、当該リアルタイム映像データをサーバ記憶部に蓄積するリアルタイム映像送信処理部と、リアルタイム映像のタイムシフト再生を行う際、サーバ記憶部のリアルタイム映像データのうち当該タイムシフト再生の対象となるリアルタイム映像に関するヘッダ情報を、タイムシフト映像データとしてクライアント端末へ送信するタイムシフト映像送信処理部とを備え、クライアント端末は、サーバ端末から受信したリアルタイム映像データを再生するとともに、当該リアルタイム映像データをクライアント記憶部へ蓄積するリアルタイム映像受信処理部と、サーバ端末から受信したタイムシフト映像データに含まれているヘッダ情報に対応するストリーム情報を、クライアント記憶部のリアルタイム映像データから読み出し、タイムシフト映像として再生するタイムシフト映像受信処理部とを備えている。   In order to achieve such an object, a video conference system according to the present invention is a video conference system that distributes video from a server terminal to a plurality of client terminals via a communication network. The stream information and header information related to the real-time video captured by the unit are transmitted to the client terminal as real-time video data, and the real-time video transmission processing unit that stores the real-time video data in the server storage unit and time-shift playback of the real-time video And a time-shift video transmission processing unit for transmitting header information regarding the real-time video to be subjected to the time-shift reproduction among the real-time video data in the server storage unit to the client terminal as time-shift video data. At the end, the real-time video data received from the server terminal is reproduced, the real-time video data is stored in the client storage unit, and the header information included in the time-shifted video data received from the server terminal. And a time-shifted video reception processing unit that reads out the stream information corresponding to the above from the real-time video data in the client storage unit and reproduces it as a time-shifted video.

この際、リアルタイム映像送信処理部で、リアルタイム映像データに関するクライアント端末への配信履歴を配信履歴情報としてサーバ記憶部に保存し、タイムシフト映像送信処理部で、タイムシフト再生時、サーバ記憶部の配信履歴情報を参照して、当該タイムシフト再生対象となるリアルタイム映像データについて当該クライアント端末への配信有無を確認し、当該リアルタイム映像データが配信されていないクライアント端末については、サーバ記憶部から当該リアルタイム映像データのストリーム情報とヘッダ情報とを読み出し、タイムシフト映像データとして当該クライアント端末へ送信し、タイムシフト映像受信処理部で、サーバ端末からのタイムシフト映像データにストリーム情報が含まれている場合には、このストリーム情報をタイムシフト映像として再生するようにしてもよい。   At this time, the real-time video transmission processing unit stores the distribution history of the real-time video data to the client terminal as distribution history information in the server storage unit, and the time-shifted video transmission processing unit distributes the server storage unit during time-shift playback. With reference to the history information, whether or not the real-time video data to be subjected to the time-shift playback is distributed to the client terminal is confirmed, and for the client terminal to which the real-time video data is not distributed, the real-time video from the server storage unit When data stream information and header information are read and transmitted as time-shifted video data to the client terminal, and the time-shifted video reception processing unit includes stream information in the time-shifted video data from the server terminal This stream information The may be reproduced as time-shift video.

また、タイムシフト映像送信処理部で、ストリーム情報を含むタイムシフト映像データを送信した場合、当該ストリーム情報に対応するリアルタイム映像データを配信した旨をサーバ記憶部の配信履歴情報に記録し、タイムシフト映像受信処理部で、サーバ端末からのストリーム情報を含むタイムシフト映像データをリアルタイム映像データの一部としてクライアント記憶部へ蓄積するようにしてもよい。   In addition, when the time-shift video transmission processing unit transmits time-shift video data including stream information, the fact that the real-time video data corresponding to the stream information has been distributed is recorded in the distribution history information of the server storage unit, and the time shift The video reception processing unit may store time-shifted video data including stream information from the server terminal in the client storage unit as part of the real-time video data.

また、本発明にかかるサーバ端末は、通信ネットワークを介してサーバ端末から複数のクライアント端末に対して映像を配信するテレビ会議システムで用いられるサーバ端末であって、カメラ部で撮影したリアルタイム映像に関するストリーム情報とヘッダ情報とをリアルタイム映像データとしてクライアント端末へ送信するとともに、当該リアルタイム映像データをサーバ記憶部に蓄積するリアルタイム映像送信処理部と、リアルタイム映像のタイムシフト再生を行う際、サーバ記憶部のリアルタイム映像データのうち当該タイムシフト再生の対象となるリアルタイム映像に関するヘッダ情報を、タイムシフト映像データとしてクライアント端末へ送信するタイムシフト映像送信処理部とを備えている。   A server terminal according to the present invention is a server terminal used in a video conference system that distributes video from a server terminal to a plurality of client terminals via a communication network, and a stream related to real-time video captured by a camera unit. Information and header information are transmitted to the client terminal as real-time video data, and the real-time video transmission processing unit that accumulates the real-time video data in the server storage unit, and when the real-time video time-shift playback is performed, A time-shift video transmission processing unit that transmits header information about the real-time video to be subjected to the time-shift reproduction among the video data to the client terminal as time-shift video data;

また、本発明にかかるクライアント端末は、通信ネットワークを介してサーバ端末から複数のクライアント端末に対して映像を配信するテレビ会議システムで用いられるクライアント端末であって、サーバ端末から受信したリアルタイム映像データを再生するとともに、当該リアルタイム映像データをクライアント記憶部へ蓄積するリアルタイム映像受信処理部と、サーバ端末から受信したタイムシフト映像データに含まれているヘッダ情報に対応するストリーム情報を、クライアント記憶部のリアルタイム映像データから読み出し、タイムシフト映像として再生するタイムシフト映像受信処理部とを備えている。   The client terminal according to the present invention is a client terminal used in a video conference system that distributes video from a server terminal to a plurality of client terminals via a communication network, and receives real-time video data received from the server terminal. A real-time video reception processing unit that reproduces and stores the real-time video data in the client storage unit, and stream information corresponding to the header information included in the time-shifted video data received from the server terminal A time-shifted video reception processing unit that reads out the video data and reproduces it as a time-shifted video.

本発明によれば、タイムシフト再生時には、サーバ端末からタイムシフト映像に対応するストリーム情報を各クライアント端末へ送信する必要がなくなる。このため、タイムシフト再生時における通信ネットワークの負荷増大を抑制しつつタイムシフト再生を行うことが可能となる。   According to the present invention, it is not necessary to transmit stream information corresponding to time-shifted video from the server terminal to each client terminal during time-shift playback. For this reason, it becomes possible to perform time shift reproduction while suppressing an increase in the load on the communication network during time shift reproduction.

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるテレビ会議システムについて説明する。図１は、本発明の第１の実施の形態にかかるテレビ会議システムの構成を示すブロック図である。
このテレビ会議システムは、インターネットに代表されるデータ通信用のネットワーク３０と、この通信ネットワーク３０に接続されて映像や音声などのメディアデータを配信するサーバ端末１０と、この通信ネットワーク３０に接続されてサーバ端末１０から配信されたメディアデータを再生するクライアント端末２０とから構成されている。 Next, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
First, a video conference system according to a first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the video conference system according to the first embodiment of the present invention.
The video conference system includes a network 30 for data communication represented by the Internet, a server terminal 10 that is connected to the communication network 30 and distributes media data such as video and audio, and is connected to the communication network 30. The client terminal 20 reproduces the media data distributed from the server terminal 10.

本実施の形態は、図１に示すように、サーバ端末１０において、リアルタイム映像送信処理部により、カメラ部で撮影したリアルタイム映像に関するストリーム情報とヘッダ情報とをリアルタイム映像データとしてクライアント端末２０へ送信するとともに、当該リアルタイム映像データをサーバ記憶部に蓄積し、タイムシフト映像送信処理部により、リアルタイム映像のタイムシフト再生を行う際、サーバ記憶部のリアルタイム映像データのうち当該タイムシフト再生の対象となるリアルタイム映像に関するヘッダ情報を、タイムシフト映像データとしてクライアント端末２０へ送信する。   In the present embodiment, as shown in FIG. 1, in the server terminal 10, the real-time video transmission processing unit transmits stream information and header information regarding the real-time video captured by the camera unit to the client terminal 20 as real-time video data. At the same time, when the real-time video data is stored in the server storage unit, and the time-shift video transmission processing unit performs the time-shift playback of the real-time video, the real-time subject to the time-shift playback of the real-time video data in the server storage unit The header information related to the video is transmitted to the client terminal 20 as time-shifted video data.

また、クライアント端末２０において、リアルタイム映像受信処理部により、サーバ端末１０から受信したリアルタイム映像データを再生するとともに、当該リアルタイム映像データをクライアント記憶部へ蓄積し、タイムシフト映像受信処理部により、サーバ端末１０から受信したタイムシフト映像データに含まれているヘッダ情報に対応するストリーム情報を、クライアント記憶部のリアルタイム映像データから読み出し、タイムシフト映像として再生する。   In the client terminal 20, the real-time video reception processing unit reproduces the real-time video data received from the server terminal 10, and stores the real-time video data in the client storage unit. The stream information corresponding to the header information included in the time-shifted video data received from 10 is read from the real-time video data in the client storage unit and reproduced as a time-shifted video.

［サーバ端末］
次に、図２を参照して、本発明の第１の実施の形態にかかるサーバ端末１０の構成について詳細に説明する。図２は、本発明の第１の実施の形態にかかるサーバ端末の構成を示すブロック図である。
このサーバ端末１０は、サーバ装置などの一般的な情報通信処理装置からなり、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１、操作入力部１２、カメラ部１３，画面表示部１４、記憶部１５、および演算処理部１６が設けられており、これら機能部間でデータバスＢを介して各種データをやり取りすることにより相互に連携して動作する。 [Server terminal]
Next, the configuration of the server terminal 10 according to the first embodiment of the present invention will be described in detail with reference to FIG. FIG. 2 is a block diagram showing the configuration of the server terminal according to the first embodiment of the present invention.
The server terminal 10 includes a general information communication processing device such as a server device, and includes a communication interface unit (hereinafter referred to as a communication I / F unit) 11, an operation input unit 12, a camera unit 13, as main function units. A screen display unit 14, a storage unit 15, and an arithmetic processing unit 16 are provided, which operate in cooperation with each other by exchanging various data via the data bus B between these functional units.

通信Ｉ／Ｆ部１１は、専用の通信回路からなり、通信ネットワーク３０を介してクライアント端末２０との間で、テレビ会議用や制御用の各種パケットを送受信する機能を有している。
操作入力部１２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１６へ出力する機能を有している。
カメラ部１３は、ＣＯＭＳやＣＣＤなどのイメージセンサを用いた電子カメラ装置からなり、テレビ会議の参加者などを撮影した映像を演算処理部１６や画面表示部１４へ出力する機能を有している。
画面表示部１４は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１６から出力された操作メニューや会議映像、さらにはカメラ部１３からの映像を画面表示する機能を有している。 The communication I / F unit 11 includes a dedicated communication circuit, and has a function of transmitting and receiving various video conference and control packets to and from the client terminal 20 via the communication network 30.
The operation input unit 12 includes an operation input device such as a keyboard and a mouse, and has a function of detecting an operation of the operator and outputting the operation to the arithmetic processing unit 16.
The camera unit 13 is composed of an electronic camera device using an image sensor such as a COMS or a CCD, and has a function of outputting video images of participants in a video conference to the arithmetic processing unit 16 and the screen display unit 14. .
The screen display unit 14 includes a screen display device such as an LCD or a PDP, and has a function of displaying the operation menu and conference video output from the arithmetic processing unit 16 and further the video from the camera unit 13 on the screen.

記憶部１５（サーバ記憶部）は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１６でのテレビ会議制御処理に用いる各種処理情報やプログラム１５Ｐを記憶する機能を有している。プログラム１５Ｐは、演算処理部１６に読み込まれて実行されることにより各種処理部を実現するプログラムであり、サーバ端末１０に設けられている通信Ｉ／Ｆ部１１などのデータ入出力部を介して外部装置や記録媒体から読み込まれて記憶部１５に予め格納される。   The storage unit 15 (server storage unit) includes a storage device such as a hard disk or a memory, and has a function of storing various processing information and a program 15P used for the video conference control processing in the arithmetic processing unit 16. The program 15P is a program that realizes various processing units by being read and executed by the arithmetic processing unit 16, and via a data input / output unit such as the communication I / F unit 11 provided in the server terminal 10. It is read from an external device or a recording medium and stored in the storage unit 15 in advance.

記憶部１５で記憶される主な処理情報として、リアルタイム映像データ１５Ａがある。図４は、映像データの構成例である。このリアルタイム映像データ１５Ａは、カメラ部１３で撮影された映像信号が演算処理部１６のエンコーダ１６Ｂで、例えばＭＰＥＧ−４などの圧縮符号化方式によりエンコード（符号化）されて生成された映像ディジタルデータである。
このリアルタイム映像データ１５Ａは、ヘッダ情報４１とストリーム情報４２とから構成されている。ストリーム情報４２は、映像信号を構成する各フレームをそれぞれ圧縮符号化して記録したデータである。ヘッダ情報４１は、ストリーム情報４２に記録されている各圧縮符号化データに関する属性情報、例えば当該圧縮符号化データの記録位置と再生時間位置との対応関係などの属性情報を示すデータである。 The main processing information stored in the storage unit 15 is real-time video data 15A. FIG. 4 is a configuration example of video data. The real-time video data 15A is video digital data generated by encoding (encoding) a video signal shot by the camera unit 13 by an encoder 16B of the arithmetic processing unit 16 using a compression encoding method such as MPEG-4. It is.
The real-time video data 15A is composed of header information 41 and stream information 42. The stream information 42 is data obtained by compressing and recording each frame constituting the video signal. The header information 41 is data indicating attribute information relating to each compressed encoded data recorded in the stream information 42, for example, attribute information such as a correspondence relationship between the recording position and the reproduction time position of the compressed encoded data.

演算処理部１６は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１５のプログラム１５Ｐを読み込んで実行することにより、上記ハードウェアとプログラム１５Ｐとを協働させて各種処理部を実現する機能を有している。
演算処理部１６で実現される主な処理部として、会議通信制御部１６Ａ、エンコーダ１６Ｂ、リアルタイム映像送信処理部１６Ｃ、タイムシフト映像送信処理部１６Ｄ、およびデコーダ１６Ｅがある。 The arithmetic processing unit 16 has a microprocessor such as a CPU and its peripheral circuits, and reads and executes the program 15P in the storage unit 15 to realize various processing units by cooperating the hardware and the program 15P. It has a function to do.
As main processing units realized by the arithmetic processing unit 16, there are a conference communication control unit 16A, an encoder 16B, a real-time video transmission processing unit 16C, a time-shifted video transmission processing unit 16D, and a decoder 16E.

会議通信制御部１６Ａは、オペレータからの会議開始／終了指示に応じて、各クライアント端末２０に対してテレビ会議開始／終了要求メッセージを送信する機能と、通信ネットワーク３０やテレビ会議に参加する各クライアント端末２０との間で、例えばＲＴＰ(Real-time Transport Protocol)などのプロトコルに基づいて各種制御メッセージをやり取りすることにより、テレビ会議用のデータ通信セッションの確立および切断を行う機能を有している。   The conference communication control unit 16A has a function of transmitting a video conference start / end request message to each client terminal 20 in response to a conference start / end instruction from the operator, and each client participating in the communication network 30 or the video conference. It has a function of establishing and disconnecting a data communication session for video conference by exchanging various control messages with the terminal 20 based on a protocol such as RTP (Real-time Transport Protocol). .

特に、本実施の形態では、会議通信制御部１６Ａにより、サーバ端末１０と各クライアント端末２０との間に、リアルタイム映像配信用のセッションとタイムシフト映像配信用のセッションとを並行して確立する。これにより、サーバ端末１０からクライアント端末２０へリアルタイム映像を常時配信でき、このリアルタイム映像配信を中断させることなく、必要に応じてサーバ端末１０からクライアント端末２０へタイムシフト映像を配信することが可能となる。   In particular, in the present embodiment, the conference communication control unit 16A establishes a session for real-time video distribution and a session for time-shifted video distribution in parallel between the server terminal 10 and each client terminal 20. As a result, real-time video can be constantly distributed from the server terminal 10 to the client terminal 20, and time-shifted video can be distributed from the server terminal 10 to the client terminal 20 as needed without interrupting the real-time video distribution. Become.

エンコーダ１６Ｂは、カメラ部１３で撮影された会議の内容を示すリアルタイム映像信号を圧縮符号化して、リアルタイム映像データ１５Ａを生成する機能を有している。
リアルタイム映像送信処理部１６Ｃは、エンコーダ１６Ｂで生成された、ストリーム情報とヘッダ情報とからなるリアルタイム映像データ１５Ａをパケット化して通信Ｉ／Ｆ部１１から各クライアント端末２０へ送信する機能と、このリアルタイム映像データ１５Ａを記憶部１５へ蓄積する機能とを有している。 The encoder 16B has a function of generating a real-time video data 15A by compressing and encoding a real-time video signal indicating the content of the conference photographed by the camera unit 13.
The real-time video transmission processing unit 16C packetizes the real-time video data 15A composed of stream information and header information generated by the encoder 16B and transmits the packetized data to the client terminals 20 from the communication I / F unit 11, and the real-time A function of accumulating the video data 15A in the storage unit 15;

タイムシフト映像送信処理部１６Ｄは、リアルタイム映像のタイムシフト再生を行う際、記憶部１５のリアルタイム映像データ１５Ａのうち当該タイムシフト再生の対象となるリアルタイム映像、すなわちタイムシフト映像に関するリアルタイム映像データ１５Ａのストリーム情報とヘッダ情報とを読み出す機能と、読み出したヘッダ情報を必要に応じて編集する機能と、このヘッダ情報からなるタイムシフト映像データをパケット化して通信Ｉ／Ｆ部１１から各クライアント端末２０へ送信する機能と、タイムシフト映像に関するストリーム情報とヘッダ情報とをデコーダ１６Ｅへ出力する機能とを有している。
デコーダ１６Ｅは、タイムシフト映像送信処理部１６Ｄからのタイムシフト映像に関するストリーム情報を当該ヘッダ情報に基づきデコード（復号）する機能と、得られたタイムシフト映像信号を画面表示部１４で再生する機能を有している。 When the time-shifted video transmission processing unit 16D performs time-shift reproduction of the real-time video, the real-time video data 15A related to the time-shifted video, that is, the real-time video data 15A related to the time-shifted video among the real-time video data 15A of the storage unit 15. A function for reading stream information and header information, a function for editing the read header information as necessary, and time-shifted video data composed of the header information is packetized from the communication I / F unit 11 to each client terminal 20. A function of transmitting, and a function of outputting stream information and header information relating to time-shifted video to the decoder 16E.
The decoder 16E has a function of decoding (decoding) stream information related to the time-shifted video from the time-shifted video transmission processing unit 16D based on the header information and a function of reproducing the obtained time-shifted video signal on the screen display unit 14. Have.

［クライアント端末］
次に、図３を参照して、本発明の第１の実施の形態にかかるクライアント端末２０の構成について詳細に説明する。図３は、本発明の第１の実施の形態にかかるクライアント端末の構成を示すブロック図である。
このクライアント端末２０は、パーソナルコンピュータなどの一般的な情報通信処理装置からなり、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）２１、操作入力部２２、画面表示部２４、記憶部２５、および演算処理部２６が設けられており、これら機能部間でデータバスＢを介して各種データをやり取りすることにより相互に連携して動作する。 [Client terminal]
Next, the configuration of the client terminal 20 according to the first embodiment of the present invention will be described in detail with reference to FIG. FIG. 3 is a block diagram showing the configuration of the client terminal according to the first embodiment of the present invention.
The client terminal 20 includes a general information communication processing device such as a personal computer, and includes a communication interface unit (hereinafter referred to as a communication I / F unit) 21, an operation input unit 22, and a screen display unit 24 as main function units. , A storage unit 25 and an arithmetic processing unit 26 are provided, which operate in cooperation with each other by exchanging various data via the data bus B between these functional units.

通信Ｉ／Ｆ部２１は、専用の通信回路からなり、通信ネットワーク３０を介してサーバ端末１０との間で、テレビ会議用や制御用の各種パケットを送受信する機能を有している。
操作入力部２２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部２６へ出力する機能を有している。
画面表示部２４は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部２６から出力された操作メニューや会議映像を画面表示する機能を有している。 The communication I / F unit 21 includes a dedicated communication circuit, and has a function of transmitting and receiving various video conference and control packets to and from the server terminal 10 via the communication network 30.
The operation input unit 22 includes an operation input device such as a keyboard and a mouse, and has a function of detecting an operation of the operator and outputting the operation to the arithmetic processing unit 26.
The screen display unit 24 includes a screen display device such as an LCD or a PDP, and has a function of displaying an operation menu and a conference video output from the arithmetic processing unit 26 on the screen.

記憶部２５（クライアント記憶部）は、ハードディスクやメモリなどの記憶装置からなり、演算処理部２６でのテレビ会議制御処理に用いる各種処理情報やプログラム２５Ｐを記憶する機能を有している。プログラム２５Ｐは、演算処理部２６に読み込まれて実行されることにより各種処理部を実現するプログラムであり、クライアント端末２０に設けられている通信Ｉ／Ｆ部２１などのデータ入出力部を介して外部装置や記録媒体から読み込まれて記憶部２５に予め格納される。   The storage unit 25 (client storage unit) includes a storage device such as a hard disk or a memory, and has a function of storing various processing information and a program 25P used for the video conference control processing in the arithmetic processing unit 26. The program 25P is a program that implements various processing units by being read and executed by the arithmetic processing unit 26, and via a data input / output unit such as the communication I / F unit 21 provided in the client terminal 20. It is read from an external device or a recording medium and stored in the storage unit 25 in advance.

記憶部２５で記憶される主な処理情報として、リアルタイム映像データ２５Ａがある。このリアルタイム映像データ２５Ａは、サーバ端末１０から配信されたものを蓄積したものであり、前述した図４のリアルタイム映像データ１５Ａと同じ構成をなしている。   The main processing information stored in the storage unit 25 is real-time video data 25A. The real-time video data 25A is obtained by accumulating data distributed from the server terminal 10, and has the same configuration as the real-time video data 15A shown in FIG.

演算処理部２６は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２５のプログラム２５Ｐを読み込んで実行することにより、上記ハードウェアとプログラム２５Ｐとを協働させて各種処理部を実現する機能を有している。
演算処理部２６で実現される主な処理部として、会議通信制御部２６Ａ、リアルタイム映像受信処理部２６Ｂ、デコーダ２６Ｃ、およびタイムシフト映像受信処理部２６Ｄがある。 The arithmetic processing unit 26 has a microprocessor such as a CPU and its peripheral circuits, and reads and executes the program 25P of the storage unit 25, thereby realizing various processing units by cooperating the hardware and the program 25P. It has a function to do.
As main processing units realized by the arithmetic processing unit 26, there are a conference communication control unit 26A, a real-time video reception processing unit 26B, a decoder 26C, and a time-shifted video reception processing unit 26D.

会議通信制御部２６Ａは、サーバ端末１０からのテレビ会議開始／終了要求メッセージ、あるいはオペレータからの会議開始／終了指示に応じて、通信ネットワーク３０やサーバ端末１０との間で、例えばＲＴＰ(Real-time Transport Protocol)などのプロトコルに基づいて各種制御メッセージをやり取りすることにより、テレビ会議用のデータ通信セッションの確立および切断を行う機能を有している。   The conference communication control unit 26A receives, for example, an RTP (Real-time) between the communication network 30 and the server terminal 10 in response to a video conference start / end request message from the server terminal 10 or a conference start / end instruction from the operator. It has a function of establishing and disconnecting a data communication session for video conference by exchanging various control messages based on a protocol such as time transport protocol.

特に、本実施の形態では、会議通信制御部２６Ａにより、サーバ端末１０と各クライアント端末２０との間に、リアルタイム映像配信用のセッションとタイムシフト映像配信用のセッションとを並行して確立する。これにより、サーバ端末１０からクライアント端末２０へリアルタイム映像を常時配信でき、このリアルタイム映像配信を中断させることなく、必要に応じてサーバ端末１０からクライアント端末２０へタイムシフト映像を配信することが可能となる。   In particular, in the present embodiment, the conference communication control unit 26A establishes a real-time video distribution session and a time-shift video distribution session in parallel between the server terminal 10 and each client terminal 20. As a result, real-time video can be constantly distributed from the server terminal 10 to the client terminal 20, and time-shifted video can be distributed from the server terminal 10 to the client terminal 20 as needed without interrupting the real-time video distribution. Become.

リアルタイム映像受信処理部２６Ｂは、通信Ｉ／Ｆ部２１で受信したサーバ端末１０からのパケットから、ストリーム情報とヘッダ情報とからなるリアルタイム映像データ２５Ａを取得する機能と、このリアルタイム映像データ２５Ａをデコーダ２６Ｃへ出力する機能と、このリアルタイム映像データ２５Ａを記憶部２５へ蓄積する機能とを有している。   The real-time video reception processing unit 26B obtains real-time video data 25A composed of stream information and header information from a packet from the server terminal 10 received by the communication I / F unit 21, and a decoder for the real-time video data 25A. A function of outputting the data to 26C, and a function of accumulating the real-time video data 25A in the storage unit 25.

デコーダ２６Ｃは、リアルタイム映像受信処理部２６Ｂからのリアルタイム映像データ２５Ａに関するストリーム情報を当該ヘッダ情報に基づきデコード（復号）する機能と、得られたリアルタイム映像信号を画面表示部２４で再生する機能と、タイムシフト映像受信処理部２６Ｄからのタイムシフト映像データに関するストリーム情報を当該ヘッダ情報に基づきデコード（復号）する機能と、得られたタイムシフト映像信号を画面表示部２４で再生する機能とを有している。   The decoder 26C has a function of decoding (decoding) stream information related to the real-time video data 25A from the real-time video reception processing unit 26B based on the header information, a function of reproducing the obtained real-time video signal on the screen display unit 24, It has a function of decoding (decoding) stream information related to time-shifted video data from the time-shifted video reception processing unit 26D based on the header information and a function of reproducing the obtained time-shifted video signal on the screen display unit 24. ing.

タイムシフト映像受信処理部２６Ｄは、通信Ｉ／Ｆ部２１で受信したサーバ端末１０からのパケットから、ヘッダ情報からなるタイムシフト映像データを取得する機能と、当該ヘッダ情報に対応するストリーム情報を記憶部２５のリアルタイム映像データ２５Ａから読み出す機能と、これらストリーム情報とヘッダ情報とからなるタイムシフト映像データをデコーダ２６Ｃへ出力する機能とを有している。   The time-shift video reception processing unit 26D stores a function for acquiring time-shift video data including header information from the packet from the server terminal 10 received by the communication I / F unit 21, and stream information corresponding to the header information. The function of reading out from the real-time video data 25A of the unit 25 and the function of outputting the time-shifted video data composed of these stream information and header information to the decoder 26C.

［第１の実施の形態の動作］
次に、図５〜図７を参照して、本発明の第１の実施の形態にかかるテレビ会議システムの動作について説明する。図５は、本発明の第１の実施の形態にかかるテレビ会議システムの動作を示すシーケンス図である。図６は、本発明の第１の実施の形態にかかるテレビ会議システムのサーバ端末に関する動作を示すフロー図である。図７は、本発明の第１の実施の形態にかかるテレビ会議システムのクライアント端末に関する動作を示すフロー図である。 [Operation of First Embodiment]
Next, the operation of the video conference system according to the first embodiment of the present invention will be described with reference to FIGS. FIG. 5 is a sequence diagram showing an operation of the video conference system according to the first embodiment of the present invention. FIG. 6 is a flowchart showing operations relating to the server terminal of the video conference system according to the first embodiment of the present invention. FIG. 7 is a flowchart showing operations related to the client terminal of the video conference system according to the first embodiment of the present invention.

サーバ端末１０の演算処理部１６は、操作入力部１２で検出されたテレビ会議参加者によるテレビ会議開始操作に応じて、会議通信制御部１６Ａにより、各クライアント端末２０に対してテレビ会議開始要求メッセージを送信し、各クライアント端末２０との間で、リアルタイム映像配信用のセッションとタイムシフト映像配信用のセッションとを並行して確立する。
この後、演算処理部１６は、リアルタイム映像送信処理部１６Ｃにより、リアルタイム映像の配信を開始する。 The arithmetic processing unit 16 of the server terminal 10 sends a video conference start request message to each client terminal 20 by the conference communication control unit 16A in response to the video conference start operation by the video conference participant detected by the operation input unit 12. And a session for real-time video distribution and a session for time-shifted video distribution are established in parallel with each client terminal 20.
Thereafter, the arithmetic processing unit 16 starts distributing real-time video by the real-time video transmission processing unit 16C.

リアルタイム映像送信処理部１６Ｃは、まず、カメラ部１３に対して会議の内容を示すリアルタイム映像の撮影開始を指示し（ステップ１００）、画面表示部１４によりリアルタイム映像１４Ａとして表示する。また、得られたリアルタイム映像信号のエンコードをエンコーダ１６Ｂにより開始する（ステップ１０１）。
これに応じて、リアルタイム映像送信処理部１６Ｃは、エンコーダ１６Ｂで得られたリアルタイム映像データ１５Ａ（ストリーム情報＋ヘッダ情報）をパケット化して通信Ｉ／Ｆ部１１から各クライアント端末２０へリアルタイム映像配信用のセッションを介して順次送信し（ステップ１０２）、このリアルタイム映像データ１５Ａ（ストリーム情報＋ヘッダ情報）を記憶部１５へ順次蓄積する（ステップ１０３）。 First, the real-time video transmission processing unit 16C instructs the camera unit 13 to start shooting a real-time video indicating the content of the conference (step 100), and displays the real-time video 14A by the screen display unit 14. In addition, encoding of the obtained real-time video signal is started by the encoder 16B (step 101).
In response to this, the real-time video transmission processing unit 16C packetizes the real-time video data 15A (stream information + header information) obtained by the encoder 16B, and delivers the real-time video distribution from the communication I / F unit 11 to each client terminal 20. The real-time video data 15A (stream information + header information) is sequentially stored in the storage unit 15 (step 103).

一方、クライアント端末２０の演算処理部２６は、まず、サーバ端末１０からのテレビ会議開始要求に応じて、会議通信制御部２６Ａにより、サーバ端末１０との間で、リアルタイム映像配信用のセッションとタイムシフト映像配信用のセッションとを並行して確立する。
この後、演算処理部２６は、リアルタイム映像受信処理部２６Ｂにより、リアルタイム映像の受信再生を開始する。 On the other hand, the arithmetic processing unit 26 of the client terminal 20 first, in response to a video conference start request from the server terminal 10, the conference communication control unit 26A performs a session and time for real-time video distribution with the server terminal 10. Establish a shift video distribution session in parallel.
Thereafter, the arithmetic processing unit 26 starts reception and reproduction of the real-time video by the real-time video reception processing unit 26B.

リアルタイム映像受信処理部２６Ｂは、まず、通信Ｉ／Ｆ部２１でリアルタイム映像配信用のセッションを介して順次受信される、サーバ端末１０からのリアルタイム映像データ２５Ａのデコードをデコーダ２６Ｃにより開始する（ステップ１１０）。これに応じて、デコーダ２６Ｃで得られたリアルタイム映像信号からなるリアルタイム映像２４Ａの再生が画面表示部２４で開始される（ステップ１１１）。また、リアルタイム映像受信処理部２６Ｂは、このリアルタイム映像データ２５Ａを記憶部２５へ順次蓄積する（ステップ１１２）。
これにより、サーバ端末１０から配信されたリアルタイム映像が、各クライアント端末２０で受信され、個々の画面表示部２４で再生されるとともに、そのリアルタイム映像データが個々の記憶部２５に蓄積される。 First, the real-time video reception processing unit 26B uses the decoder 26C to start decoding the real-time video data 25A from the server terminal 10 that is sequentially received by the communication I / F unit 21 via the session for real-time video distribution (step S26). 110). In response to this, playback of the real-time video 24A composed of the real-time video signal obtained by the decoder 26C is started on the screen display unit 24 (step 111). In addition, the real-time video reception processing unit 26B sequentially accumulates the real-time video data 25A in the storage unit 25 (step 112).
As a result, the real-time video distributed from the server terminal 10 is received by each client terminal 20 and reproduced by the individual screen display unit 24, and the real-time video data is accumulated in the individual storage unit 25.

このようにしてリアルタイム映像データの配信が開始された後、サーバ端末１０の演算処理部１６は、操作入力部１２で検出されたテレビ会議参加者によるタイムシフト操作に応じて、あるいはクライアント端末２０でのタイムシフト操作に応じて通知されたタイムシフト要求に応じて、タイムシフト映像送信処理部１６Ｄにより、タイムシフト映像の配信を行う。   After the distribution of the real-time video data is thus started, the arithmetic processing unit 16 of the server terminal 10 responds to the time shift operation by the video conference participant detected by the operation input unit 12 or at the client terminal 20. In response to the time shift request notified in response to the time shift operation, the time shift video transmission processing unit 16D distributes the time shift video.

タイムシフト映像送信処理部１６Ｄは、まず、記憶部１５のリアルタイム映像データ１５Ａのうち当該タイムシフト再生の対象となるリアルタイム映像、すなわちタイムシフト映像に関するリアルタイム映像データ１５Ａのストリーム情報とヘッダ情報とを読み出す（ステップ１２０）。
続いて、タイムシフト映像送信処理部１６Ｄは、読み出したヘッダ情報を必要に応じて編集し、このヘッダ情報からなるタイムシフト映像データをパケット化して通信Ｉ／Ｆ部１１から各クライアント端末２０へ送信する（ステップ１２１）。また、デコーダ１６Ｅにより、タイムシフト映像データをデコードし、画面表示部１４によりタイムシフト映像１４Ｂとして表示する。 First, the time-shift video transmission processing unit 16D reads out the real-time video to be subjected to the time-shift reproduction from the real-time video data 15A in the storage unit 15, that is, the stream information and header information of the real-time video data 15A related to the time-shift video. (Step 120).
Subsequently, the time-shifted video transmission processing unit 16D edits the read header information as necessary, packetizes the time-shifted video data including the header information, and transmits the packet from the communication I / F unit 11 to each client terminal 20. (Step 121). Further, the time-shifted video data is decoded by the decoder 16E and displayed as the time-shifted video 14B by the screen display unit 14.

一方、クライアント端末２０の演算処理部２６は、通信Ｉ／Ｆ部２１でサーバ端末１０からタイムシフト映像データのパケットを受信した場合、タイムシフト映像受信処理部２６Ｄにより、当該タイムシフト映像データのヘッダ情報に対応するストリーム情報を記憶部２５のリアルタイム映像データ２５Ａから読み出し（ステップ１３０）、デコーダ２６Ｃにより、このヘッダ情報に基づきストリーム情報をデコードする（ステップ１３１）。
これに応じて、デコーダ２６Ｃで得られたタイムシフト映像信号からなるタイムシフト映像２４Ｂの再生が画面表示部２４で開始される（ステップ１３２）。 On the other hand, when the communication processing unit 21 receives a packet of time-shifted video data from the server terminal 10 by the communication I / F unit 21, the arithmetic processing unit 26 of the client terminal 20 performs a header of the time-shifted video data by the time-shifted video reception processing unit 26D. The stream information corresponding to the information is read from the real-time video data 25A in the storage unit 25 (step 130), and the decoder 26C decodes the stream information based on the header information (step 131).
In response to this, reproduction of the time-shifted video 24B composed of the time-shifted video signal obtained by the decoder 26C is started on the screen display unit 24 (step 132).

図８は、タイムシフト映像再生動作を示す説明図である。時刻Ｔ０において、サーバ端末１０から各クライアント端末２０に対してリアルタイム映像データ（ストリーム情報＋ヘッダ情報）５０Ａの配信が開始される。
これに応じて、各クライアント端末２０では、サーバ端末１０からのリアルタイム映像データが受信されて、リアルタイム映像２４Ａが再生されるとともに、受信したリアルタイム映像データが記憶部２５に蓄積される。 FIG. 8 is an explanatory diagram showing a time-shifted video playback operation. At time T0, distribution of real-time video data (stream information + header information) 50A from the server terminal 10 to each client terminal 20 is started.
In response to this, each client terminal 20 receives the real-time video data from the server terminal 10, reproduces the real-time video 24 </ b> A, and accumulates the received real-time video data in the storage unit 25.

この後、時刻Ｔ３において、時刻Ｔ１から時刻Ｔ２までの期間のリアルタイム映像を再生するタイムシフト再生を行う場合、サーバ端末１０から各クライアント端末２０に対してタイムシフト再生対象となるタイムシフト映像のヘッダ情報のみが各クライアント端末２０へタイムシフト映像データ５０Ｂとして配信される。
これに応じて、各クライアント端末２０では、サーバ端末１０からのヘッダ情報に基づき各クライアント端末２０に蓄積されているリアルタイム映像データ２５Ａのうち、時刻Ｔ１から時刻Ｔ２までの期間のリアルタイム映像データが読み出され、タイムシフト映像２４Ｂとして時刻Ｔ３から再生される。 Thereafter, at time T3, when performing time-shifted reproduction for reproducing a real-time image from the time T1 to time T2, the header of the time-shifted video to be time-shifted reproduction from the server terminal 10 to each client terminal 20 Only information is distributed to each client terminal 20 as time-shifted video data 50B.
Accordingly, each client terminal 20 reads real-time video data in a period from time T1 to time T2 out of real-time video data 25A stored in each client terminal 20 based on header information from the server terminal 10. And is reproduced as time-shifted video 24B from time T3.

［第１の実施の形態の効果］
このように、本実施の形態は、サーバ端末において、リアルタイム映像送信処理部により、カメラで撮影したリアルタイム映像に関するストリーム情報とヘッダ情報とをリアルタイム映像データとしてクライアント端末へ送信するとともに、当該リアルタイム映像データをサーバ記憶部に蓄積し、タイムシフト映像送信処理部により、リアルタイム映像のタイムシフト再生を行う際、サーバ記憶部のリアルタイム映像データのうち当該タイムシフト再生の対象となるリアルタイム映像に関するヘッダ情報を、タイムシフト映像データとしてクライアント端末へ送信し、クライアント端末において、リアルタイム映像受信処理部により、サーバ端末から受信したリアルタイム映像データを再生するとともに、当該リアルタイム映像データをクライアント記憶部へ蓄積し、タイムシフト映像受信処理部により、サーバ端末から受信したタイムシフト映像データに含まれているヘッダ情報に対応するストリーム情報を、クライアント記憶部のリアルタイム映像データから読み出し、タイムシフト映像として再生する。 [Effect of the first embodiment]
As described above, in the present embodiment, in the server terminal, the real-time video transmission processing unit transmits the stream information and the header information related to the real-time video captured by the camera to the client terminal as the real-time video data. Is stored in the server storage unit, and when the time shift video transmission processing unit performs the time shift reproduction of the real time video, the header information regarding the real time video that is the target of the time shift reproduction among the real time video data of the server storage unit, The time-shifted video data is transmitted to the client terminal, and the real-time video reception processing unit reproduces the real-time video data received from the server terminal at the client terminal, and the real-time video data is The stream information corresponding to the header information contained in the time-shifted video data received from the server terminal is read from the real-time video data in the client storage unit by the time-shifted video reception processing unit. Play as video.

したがって、タイムシフト再生時には、サーバ端末からタイムシフト映像に対応するストリーム情報を各クライアント端末へ送信する必要がなくなる。このため、タイムシフト再生時における通信ネットワークの負荷増大を抑制しつつタイムシフト再生を行うことが可能となる。   Therefore, it is not necessary to transmit stream information corresponding to the time-shifted video from the server terminal to each client terminal during time-shift playback. For this reason, it becomes possible to perform time shift reproduction while suppressing an increase in the load on the communication network during time shift reproduction.

［第２の実施の形態］
次に、図９を参照して、本発明の第２の実施の形態にかかるテレビ会議システムについて説明する。図９は、本発明の第２の実施の形態にかかるテレビ会議システムの構成を示すブロック図である。 [Second Embodiment]
Next, a video conference system according to the second embodiment of the present invention will be described with reference to FIG. FIG. 9 is a block diagram showing a configuration of a video conference system according to the second embodiment of the present invention.

第１の実施の形態では、タイムシフト再生の対象となるタイムシフト映像に対応するリアルタイム映像データが各クライアント端末２０に蓄積されている場合を例として説明した。
テレビ会議では、すべての各クライアント端末２０が同時にテレビ会議を開始せず、会議の途中から参加するクライアント端末２０も存在する。このような途中参加のクライアント端末２０には、途中参加時点から以前のリアルタイム映像データは蓄積されていない。 In the first embodiment, the case where real-time video data corresponding to a time-shifted video that is a target of time-shifted reproduction is stored in each client terminal 20 has been described as an example.
In the video conference, all the client terminals 20 do not start the video conference at the same time, and there are also client terminals 20 that participate from the middle of the conference. The client terminal 20 that participates in the middle does not store previous real-time video data from the time of the middle participation.

本実施の形態では、サーバ端末１０で各クライアント端末２０に対して配信したリアルタイム映像の配信履歴を管理しておき、タイムシフト再生時、各クライアント端末への履歴情報に基づきタイムシフト再生対象となるリアルタイム映像データの配信有無を確認し、当該リアルタイム映像データが配信されていない場合には、当該リアルタイム映像データのストリーム情報とヘッダ情報とをタイムシフト映像データとしてクライアント端末２０へ送信する場合について説明する。   In the present embodiment, the server terminal 10 manages the distribution history of the real-time video distributed to each client terminal 20 and becomes a time-shifted reproduction target based on the history information to each client terminal during time-shifted reproduction. A case will be described in which the presence / absence of real-time video data is confirmed, and when the real-time video data is not distributed, the stream information and header information of the real-time video data are transmitted to the client terminal 20 as time-shifted video data. .

第１の実施の形態と比較して、本実施の形態にかかるサーバ端末１０には、記憶部１５に配信履歴情報１５Ｂが追加されている。
リアルタイム映像送信処理部１６Ｃは、クライアント端末２０へ送信したリアルタイム映像データに関する配信履歴を記憶部１５の配信履歴情報１５Ｂへ記録する機能を有している。 Compared to the first embodiment, distribution history information 15B is added to the storage unit 15 in the server terminal 10 according to the present embodiment.
The real-time video transmission processing unit 16 </ b> C has a function of recording a distribution history related to real-time video data transmitted to the client terminal 20 in the distribution history information 15 </ b> B of the storage unit 15.

タイムシフト映像送信処理部１６Ｄは、タイムシフト再生時、記憶部１５の配信履歴情報１５Ｂを参照して、タイムシフト再生対象となるリアルタイム映像データについてクライアント端末２０への配信有無を確認する機能と、タイムシフト再生対象となるリアルタイム映像データが配信されていない場合には、記憶部１５から当該リアルタイム映像データ１５Ａのストリーム情報とヘッダ情報とを読み出し、タイムシフト映像データとしてクライアント端末２０へ送信する機能とを有している。   The time-shift video transmission processing unit 16D refers to the distribution history information 15B in the storage unit 15 during time-shift playback, and confirms whether or not the real-time video data to be time-shifted playback is distributed to the client terminal 20. A function of reading stream information and header information of the real-time video data 15A from the storage unit 15 and transmitting them to the client terminal 20 as time-shifted video data when real-time video data to be time-shifted playback is not distributed; have.

また、クライアント端末２０のタイムシフト映像受信処理部２６Ｄは、サーバ端末１０からのタイムシフト映像データにストリーム情報が含まれている場合、このストリーム情報をタイムシフト映像として再生する機能を有している。
サーバ端末１０およびクライアント端末２０におけるこの他の構成については、第１の実施の形態と同様であり、ここでの詳細な説明は省略する。 Further, the time-shift video reception processing unit 26D of the client terminal 20 has a function of reproducing the stream information as a time-shift video when the time-shift video data from the server terminal 10 includes stream information. .
Other configurations of the server terminal 10 and the client terminal 20 are the same as those in the first embodiment, and a detailed description thereof is omitted here.

［第２の実施の形態の動作］
次に、図１０〜図１２を参照して、本発明の第２の実施の形態にかかるテレビ会議システムの動作について説明する。図１０は、本発明の第２の実施の形態にかかるテレビ会議システムの動作を示すシーケンス図であり、前述の図５と同じまたは同等部分には同一符号を付してある。図１１は、本発明の第２の実施の形態にかかるテレビ会議システムのサーバ端末に関する動作を示すフロー図である。図１２は、本発明の第２の実施の形態にかかるテレビ会議システムのクライアント端末に関する動作を示すフロー図である。 [Operation of Second Embodiment]
Next, the operation of the video conference system according to the second embodiment of the present invention will be described with reference to FIGS. FIG. 10 is a sequence diagram showing the operation of the video conference system according to the second embodiment of the present invention. The same or equivalent parts as those in FIG. FIG. 11: is a flowchart which shows the operation | movement regarding the server terminal of the video conference system concerning the 2nd Embodiment of this invention. FIG. 12 is a flowchart showing operations related to the client terminal of the video conference system according to the second embodiment of the present invention.

サーバ端末１０の演算処理部１６は、操作入力部１２で検出されたテレビ会議参加者によるテレビ会議開始操作に応じて、会議通信制御部１６Ａにより、各クライアント端末２０に対してテレビ会議開始要求メッセージを送信し、各クライアント端末２０との間で、リアルタイム映像配信用のセッションとタイムシフト映像配信用のセッションとを並行して確立する。   The arithmetic processing unit 16 of the server terminal 10 sends a video conference start request message to each client terminal 20 by the conference communication control unit 16A in response to the video conference start operation by the video conference participant detected by the operation input unit 12. And a session for real-time video distribution and a session for time-shifted video distribution are established in parallel with each client terminal 20.

この後、演算処理部１６は、リアルタイム映像送信処理部１６Ｃにより、リアルタイム映像の配信動作として、前述したステップ１００〜１０３を実行してリアルタイム映像データの配信を開始し、リアルタイム映像送信処理部１６Ｃにより、各クライアント端末２０へ送信したリアルタイム映像データの配信履歴を、クライアント端末２０ごとに記憶部１５の配信履歴情報１５Ｂへ記録する（ステップ２００）。
一方、クライアント端末２０の演算処理部２６は、サーバ端末１０からのテレビ会議開始要求に応じて、前述したステップ１１０〜１１２を実行することにより、リアルタイム映像の受信再生を開始する。 Thereafter, the arithmetic processing unit 16 performs the above-described steps 100 to 103 as the real-time video distribution operation by the real-time video transmission processing unit 16C and starts the distribution of the real-time video data. The real-time video transmission processing unit 16C The distribution history of the real-time video data transmitted to each client terminal 20 is recorded in the distribution history information 15B of the storage unit 15 for each client terminal 20 (step 200).
On the other hand, the arithmetic processing unit 26 of the client terminal 20 starts receiving and reproducing real-time video by executing the above-described steps 110 to 112 in response to a video conference start request from the server terminal 10.

このようにしてリアルタイム映像データの配信が開始された後、サーバ端末１０の演算処理部１６は、操作入力部１２で検出されたテレビ会議参加者によるタイムシフト操作に応じて、あるいはクライアント端末２０でのタイムシフト操作に応じて通知されたタイムシフト要求に応じて、タイムシフト映像送信処理部１６Ｄにより、タイムシフト映像の配信を行う。   After the distribution of the real-time video data is thus started, the arithmetic processing unit 16 of the server terminal 10 responds to the time shift operation by the video conference participant detected by the operation input unit 12 or at the client terminal 20. In response to the time shift request notified in response to the time shift operation, the time shift video transmission processing unit 16D distributes the time shift video.

タイムシフト映像送信処理部１６Ｄは、まず、記憶部１５のリアルタイム映像データ１５Ａのうち当該タイムシフト再生の対象となるリアルタイム映像、すなわちタイムシフト映像に関するリアルタイム映像データ１５Ａのストリーム情報とヘッダ情報とを読み出し（ステップ１２０）、記憶部１５の配信履歴情報１５Ｂを参照して、タイムシフト再生対象となるリアルタイム映像データについて個々のクライアント端末２０への配信有無を確認する（ステップ２１０）。   First, the time-shift video transmission processing unit 16D reads out the real-time video to be subjected to the time-shift reproduction from the real-time video data 15A in the storage unit 15, that is, the stream information and header information of the real-time video data 15A related to the time-shift video. (Step 120), with reference to the distribution history information 15B in the storage unit 15, the presence / absence of distribution to the individual client terminals 20 is confirmed for the real-time video data to be time-shifted playback (Step 210).

ここで、タイムシフト再生対象となるリアルタイム映像データがすでに配信されているクライアント端末２０の場合、タイムシフト映像送信処理部１６Ｄは、前述したステップ１２１を実行して、記憶部１５から読み出したヘッダ情報からなるタイムシフト映像データをパケット化して通信Ｉ／Ｆ部１１から各クライアント端末２０へ送信する（ステップ１２１）。また、デコーダ１６Ｅにより、タイムシフト映像データがデコードされ、画面表示部１４によりタイムシフト映像１４Ｂとして再生される。   Here, in the case of the client terminal 20 to which the real-time video data to be subjected to time shift reproduction has already been distributed, the time shift video transmission processing unit 16D executes the above-described step 121, and reads the header information read from the storage unit 15 The time-shifted video data consisting of is packetized and transmitted from the communication I / F unit 11 to each client terminal 20 (step 121). Further, the time-shifted video data is decoded by the decoder 16E, and is reproduced as the time-shifted video 14B by the screen display unit 14.

これに応じて、当該クライアント端末２０の演算処理部２６は、前述したステップ１３０〜１３２を実行し、サーバ端末１０から受信したヘッダ情報に応じたストリーム情報を記憶部２５のリアルタイム映像データ２５Ａから読み出す。この後、デコーダ２６Ｃにより、読み出されたストリーム情報すなわちタイムシフト映像データがデコードされ、画面表示部２４によりタイムシフト映像２４Ｂとして再生される。   In response to this, the arithmetic processing unit 26 of the client terminal 20 executes steps 130 to 132 described above, and reads stream information corresponding to the header information received from the server terminal 10 from the real-time video data 25A of the storage unit 25. . Thereafter, the read stream information, that is, the time-shifted video data is decoded by the decoder 26C, and is reproduced as the time-shifted video 24B by the screen display unit 24.

一方、タイムシフト再生対象となるリアルタイム映像データが配信されていないクライアント端末２０の場合、タイムシフト映像送信処理部１６Ｄは、ステップ１２０で読み出したタイムシフト映像に関するストリーム情報とヘッダ情報とからなるタイムシフト映像データをパケット化して通信Ｉ／Ｆ部１１から各クライアント端末２０へ送信する（ステップ２１１）。また、デコーダ１６Ｅにより、タイムシフト映像データをデコードし、画面表示部１４によりタイムシフト映像１４Ｂとして再生する。   On the other hand, in the case of the client terminal 20 to which the real-time video data to be time-shifted playback is not distributed, the time-shifted video transmission processing unit 16D performs time-shifting including stream information and header information related to the time-shifted video read in step 120. The video data is packetized and transmitted from the communication I / F unit 11 to each client terminal 20 (step 211). In addition, the decoder 16E decodes the time-shifted video data and the screen display unit 14 reproduces it as the time-shifted video 14B.

当該クライアント端末２０の演算処理部２６は、タイムシフト映像受信処理部２６Ｄにより、通信Ｉ／Ｆ部２１で受信したタイムシフト映像データのパケットからタイムシフト映像に関するストリーム情報とヘッダ情報とを取得して、デコーダ２６Ｃにより、このヘッダ情報に基づきストリーム情報をデコードする（ステップ２２０）。これに応じて、デコーダ２６Ｃで得られたタイムシフト映像信号からなるタイムシフト映像２４Ｂが画面表示部２４で再生される（ステップ２２１）。また、タイムシフト映像受信処理部２６Ｄは、受信したタイムシフト映像データのストリーム情報とヘッダ情報とを、記憶部２５のリアルタイム映像データ２５Ａの一部として蓄積する（ステップ２２２）。   The arithmetic processing unit 26 of the client terminal 20 acquires stream information and header information related to the time-shifted video from the packet of the time-shifted video data received by the communication I / F unit 21 by the time-shifted video reception processing unit 26D. The decoder 26C decodes the stream information based on the header information (step 220). In response to this, a time-shifted video 24B composed of the time-shifted video signal obtained by the decoder 26C is reproduced on the screen display unit 24 (step 221). The time-shift video reception processing unit 26D accumulates the stream information and header information of the received time-shift video data as part of the real-time video data 25A in the storage unit 25 (step 222).

図１３は、タイムシフト映像再生動作を示す説明図である。時刻Ｔ０において、サーバ端末１０から各クライアント端末２０に対してリアルタイム映像データ（ストリーム情報＋ヘッダ情報）５０Ａの配信が開始される。
この際、クライアント端末２０が時刻Ｔ２以降にテレビ会議へ参加したため、時刻Ｔ２以降においてサーバ端末１０からのリアルタイム映像データが受信されて、リアルタイム映像２４Ａが再生されるとともに、受信したリアルタイム映像データが記憶部２５に蓄積される。 FIG. 13 is an explanatory diagram showing a time-shifted video playback operation. At time T0, distribution of real-time video data (stream information + header information) 50A from the server terminal 10 to each client terminal 20 is started.
At this time, since the client terminal 20 participated in the video conference after the time T2, the real-time video data from the server terminal 10 is received after the time T2, the real-time video 24A is reproduced, and the received real-time video data is stored. Stored in the unit 25.

この後、時刻Ｔ３において、時刻Ｔ１から時刻Ｔ２までの期間のリアルタイム映像を再生するタイムシフト再生を行う場合、時刻Ｔ１から時刻Ｔ２までの期間における配信履歴がないため、サーバ端末１０から各クライアント端末２０に対してタイムシフト再生対象となるタイムシフト映像のストリーム情報とヘッダ情報とが当該クライアント端末２０へタイムシフト映像データ５０Ｂとして配信される。
これに応じて、各クライアント端末２０では、サーバ端末１０からのストリーム情報とヘッダ情報とがタイムシフト映像２４Ｂとして時刻Ｔ３から再生される。 After this, at time T3, when performing time-shifted reproduction that reproduces real-time video during the period from time T1 to time T2, there is no distribution history during the period from time T1 to time T2. 20, the stream information and header information of the time-shifted video to be subjected to time-shift reproduction are distributed to the client terminal 20 as time-shifted video data 50 </ b> B.
In response to this, at each client terminal 20, the stream information and header information from the server terminal 10 are reproduced as time-shifted video 24B from time T3.

［第２の実施の形態の効果］
このように、本実施の形態は、サーバ端末において、リアルタイム映像送信処理部により、リアルタイム映像データに関するクライアント端末への配信履歴を配信履歴情報としてサーバ記憶部に保存し、タイムシフト映像送信処理部により、タイムシフト再生時にサーバ記憶部の配信履歴情報を参照して、当該タイムシフト再生対象となるリアルタイム映像データについて当該クライアント端末への配信有無を確認し、当該リアルタイム映像データが配信されていないクライアント端末については、サーバ記憶部から当該リアルタイム映像データのストリーム情報とヘッダ情報とを読み出し、タイムシフト映像データとして当該クライアント端末へ送信し、クライアント端末において、タイムシフト映像受信処理部により、サーバ端末からのタイムシフト映像データにストリーム情報が含まれている場合には、このストリーム情報をタイムシフト映像として再生する。 [Effect of the second embodiment]
As described above, in the present embodiment, in the server terminal, the real-time video transmission processing unit stores the distribution history regarding the real-time video data to the client terminal in the server storage unit as the distribution history information, and the time-shifted video transmission processing unit Referring to the distribution history information in the server storage unit at the time-shift playback, the presence / absence of distribution to the client terminal is confirmed for the real-time video data to be the time-shift playback target, and the real-time video data is not distributed to the client terminal Is read from the server storage unit stream information and header information of the real-time video data, and is transmitted as time-shifted video data to the client terminal. The client terminal receives the time-shifted video reception processing unit from the server terminal. Imushifuto if it contains stream information to the video data, reproduces the stream information as a time-shift image.

したがって、会議の途中から参加したクライアント端末であって、途中参加時点から以前の期間のリアルタイム映像データが蓄積されていない場合でも、当該期間におけるリアルタイム映像をタイムシフト映像として再生することが可能となる。   Therefore, even if the client terminal participates in the middle of the conference and the real-time video data of the previous period from the mid-point of participation is not accumulated, the real-time video in the period can be reproduced as a time-shifted video. .

また、本実施の形態では、サーバ端末において、タイムシフト映像送信処理部により、ストリーム情報を含むタイムシフト映像データを送信した場合、当該ストリーム情報に対応するリアルタイム映像データを配信した旨をサーバ記憶部の配信履歴情報に記録し、クライアント端末において、タイムシフト映像受信処理部により、サーバ端末からのストリーム情報を含むタイムシフト映像データをリアルタイム映像データの一部としてクライアント記憶部へ蓄積するようにしたので、このリアルタイム映像データに対するタイムシフト再生を再度行う場合には、クライアント端末に蓄積されているストリーム情報を利用することができる。   In the present embodiment, in the server terminal, when the time-shift video transmission processing unit transmits time-shift video data including stream information, the server storage unit indicates that the real-time video data corresponding to the stream information has been distributed. In the client terminal, the time-shift video reception processing unit stores the time-shift video data including stream information from the server terminal in the client storage unit as part of the real-time video data. When performing the time shift reproduction for the real-time video data again, the stream information stored in the client terminal can be used.

［実施の形態の拡張］
以上の各実施の形態では、各クライアント端末２０で同期して同一時間位置のリアルタイム映像をタイムシフト再生する場合を例として説明したが、各クライアント端末２０において、個別に異なる時間位置のリアルタイム映像をタイムシフト再生することも可能である。 [Extended embodiment]
In each of the above-described embodiments, the case where real-time video at the same time position is time-shifted and reproduced in synchronization with each client terminal 20 has been described as an example. Time shift playback is also possible.

この場合には、操作入力部２２で検出された会議参加者によるタイムシフト再生指示操作に応じて、クライアント端末２０のタイムシフト映像受信処理部２６Ｄにより、通信Ｉ／Ｆ部２１を介してサーバ端末１０へ、再生時間位置を含むタイムシフト再生要求を送信すればよい。
これにより、サーバ端末１０から、前述した動作に基づき当該再生時間位置のリアルタイム映像に関するヘッダ情報、あるいはストリーム情報とヘッダ情報とが要求元クライアント端末２０へ返送され、タイムシフト映像として再生される。 In this case, the server terminal via the communication I / F unit 21 by the time-shift video reception processing unit 26D of the client terminal 20 in response to the time-shift playback instruction operation by the conference participant detected by the operation input unit 22 A time shift reproduction request including the reproduction time position may be transmitted to 10.
As a result, the server terminal 10 returns the header information regarding the real-time video at the playback time position or the stream information and the header information to the requesting client terminal 20 based on the above-described operation, and is played back as a time-shifted video.

なお、タイムシフト再生指示操作に応じて、クライアント端末２０のタイムシフト映像受信処理部２６Ｄにより、記憶部２５のリアルタイム映像データ２５Ａから当該再生時間位置のリアルタイム映像データを検索し、当該リアルタイム映像データが蓄積されている場合は、サーバ端末１０へタイムシフト再生要求を送信せずに、当該クライアント端末２０で個別に当該リアルタイム映像データを読み出して再生してもよい。また、当該リアルタイム映像データが蓄積されていない場合は、サーバ端末１０へタイムシフト再生要求を送信して、当該再生時間位置のリアルタイム映像に関するストリーム情報とヘッダ情報とをサーバ端末１０から取得して再生するようにしてもよい。これにより、サーバ端末１０におけるタイムシフト再生時の処理負担を軽減できる。   In response to the time shift playback instruction operation, the time shift video reception processing unit 26D of the client terminal 20 searches the real time video data at the playback time position from the real time video data 25A of the storage unit 25, and the real time video data is If stored, the real-time video data may be individually read out and played back by the client terminal 20 without transmitting the time-shift playback request to the server terminal 10. If the real-time video data is not stored, a time-shifted playback request is transmitted to the server terminal 10, and stream information and header information regarding the real-time video at the playback time position are acquired from the server terminal 10 and played back. You may make it do. Thereby, the processing load at the time shift reproduction in the server terminal 10 can be reduced.

本発明の第１の実施の形態にかかるテレビ会議システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video conference system concerning the 1st Embodiment of this invention. 本発明の第１の実施の形態にかかるサーバ端末の構成を示すブロック図である。It is a block diagram which shows the structure of the server terminal concerning the 1st Embodiment of this invention. 本発明の第１の実施の形態にかかるクライアント端末の構成を示すブロック図である。It is a block diagram which shows the structure of the client terminal concerning the 1st Embodiment of this invention. 映像データの構成例である。It is a structural example of video data. 本発明の第１の実施の形態にかかるテレビ会議システムの動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the video conference system concerning the 1st Embodiment of this invention. 本発明の第１の実施の形態にかかるテレビ会議システムのサーバ端末に関する動作を示すフロー図である。It is a flowchart which shows the operation | movement regarding the server terminal of the video conference system concerning the 1st Embodiment of this invention. 本発明の第１の実施の形態にかかるテレビ会議システムのクライアント端末に関する動作を示すフロー図である。It is a flowchart which shows the operation | movement regarding the client terminal of the video conference system concerning the 1st Embodiment of this invention. 本発明の第１の実施の形態にかかるテレビ会議システムのタイムシフト映像再生動作を示す説明図である。It is explanatory drawing which shows the time shift image | video reproduction | regeneration operation | movement of the video conference system concerning the 1st Embodiment of this invention. 本発明の第２の実施の形態にかかるテレビ会議システムの構成を示すブロック図である。It is a block diagram which shows the structure of the video conference system concerning the 2nd Embodiment of this invention. 本発明の第２の実施の形態にかかるテレビ会議システムの動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the video conference system concerning the 2nd Embodiment of this invention. 本発明の第２の実施の形態にかかるテレビ会議システムのサーバ端末に関する動作を示すフロー図である。It is a flowchart which shows the operation | movement regarding the server terminal of the video conference system concerning the 2nd Embodiment of this invention. 本発明の第２の実施の形態にかかるテレビ会議システムのクライアント端末に関する動作を示すフロー図である。It is a flowchart which shows the operation | movement regarding the client terminal of the video conference system concerning the 2nd Embodiment of this invention. 本発明の第２の実施の形態にかかるテレビ会議システムのタイムシフト映像再生動作を示す説明図である。It is explanatory drawing which shows the time shift image | video reproduction | regeneration operation | movement of the video conference system concerning the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

１０…サーバ端末、１１…通信Ｉ／Ｆ部、１２…操作入力部、１３…カメラ部、１４…画面表示部、１４Ａ…リアルタイム映像、１４Ｂ…タイムシフト映像、１５…記憶部、１５Ａ…リアルタイム映像データ、１５Ｂ…配信履歴情報、１５Ｐ…プログラム、１６…演算処理部、１６Ａ…会議通信制御部、１６Ｂ…エンコーダ、１６Ｃ…リアルタイム映像送信処理部、１６Ｄ…タイムシフト映像送信処理部、１６Ｅ…デコーダ、２０…クライアント端末、２１…通信Ｉ／Ｆ部、２２…操作入力部、２４…画面表示部、２４Ａ…リアルタイム映像、２４Ｂ…タイムシフト映像、２５…記憶部、２５Ａ…リアルタイム映像データ、２５Ｐ…プログラム、２６…演算処理部、２６Ａ…会議通信制御部、２６Ｂ…リアルタイム映像受信処理部、２６Ｃ…デコーダ、２６Ｄ…タイムシフト映像受信処理部、４１…ヘッダ情報、４２…ストリーム情報、５０Ａ…リアルタイム映像データ、５０Ｂ…タイムシフト映像データ。   DESCRIPTION OF SYMBOLS 10 ... Server terminal, 11 ... Communication I / F part, 12 ... Operation input part, 13 ... Camera part, 14 ... Screen display part, 14A ... Real time video, 14B ... Time shift video, 15 ... Memory | storage part, 15A ... Real time video Data, 15B ... Distribution history information, 15P ... Program, 16 ... Operation processing unit, 16A ... Conference communication control unit, 16B ... Encoder, 16C ... Real-time video transmission processing unit, 16D ... Time-shift video transmission processing unit, 16E ... Decoder, DESCRIPTION OF SYMBOLS 20 ... Client terminal, 21 ... Communication I / F part, 22 ... Operation input part, 24 ... Screen display part, 24A ... Real time video, 24B ... Time shift video, 25 ... Memory | storage part, 25A ... Real time video data, 25P ... Program , 26 ... arithmetic processing unit, 26A ... conference communication control unit, 26B ... real-time video reception processing unit, 26C ... Coder, 26D ... time-shifted video reception processing unit, 41 ... header information, 42 ... stream information, 50A ... real-time image data, 50B ... time-shifted video data.

Claims (5)

通信ネットワークを介してサーバ端末から複数のクライアント端末に対して映像を配信するテレビ会議システムであって、
前記サーバ端末は、
カメラ部で撮影したリアルタイム映像に関するストリーム情報とヘッダ情報とをリアルタイム映像データとして前記クライアント端末へ送信するとともに、当該リアルタイム映像データをサーバ記憶部に蓄積するリアルタイム映像送信処理部と、
前記リアルタイム映像のタイムシフト再生を行う際、前記サーバ記憶部のリアルタイム映像データのうち当該タイムシフト再生の対象となるリアルタイム映像に関するヘッダ情報を、タイムシフト映像データとして前記クライアント端末へ送信するタイムシフト映像送信処理部と
を備え、
前記クライアント端末は、
前記サーバ端末から受信したリアルタイム映像データを再生するとともに、当該リアルタイム映像データをクライアント記憶部へ蓄積するリアルタイム映像受信処理部と、
前記サーバ端末から受信したタイムシフト映像データに含まれているヘッダ情報に対応するストリーム情報を、前記クライアント記憶部のリアルタイム映像データから読み出し、タイムシフト映像として再生するタイムシフト映像受信処理部と
を備える
ことを特徴とするテレビ会議システム。 A video conference system that distributes video from a server terminal to a plurality of client terminals via a communication network,
The server terminal is
Real-time video transmission processing unit that transmits stream information and header information about real-time video captured by the camera unit to the client terminal as real-time video data, and stores the real-time video data in a server storage unit,
When performing time-shifted playback of the real-time video, time-shifted video that transmits, to the client terminal, time-shifted video data as header information related to the real-time video that is subject to time-shifted playback in the server storage unit A transmission processing unit, and
The client terminal is
Real-time video reception processing unit for reproducing the real-time video data received from the server terminal and storing the real-time video data in the client storage unit;
A time-shift video reception processing unit that reads stream information corresponding to header information included in the time-shift video data received from the server terminal from the real-time video data of the client storage unit and reproduces the stream information as a time-shift video. A video conference system characterized by that. 請求項１に記載のテレビ会議システムにおいて、
前記リアルタイム映像送信処理部は、前記リアルタイム映像データに関する前記クライアント端末への配信履歴を配信履歴情報として前記サーバ記憶部に保存し、
前記タイムシフト映像送信処理部は、前記タイムシフト再生時、前記サーバ記憶部の配信履歴情報を参照して、当該タイムシフト再生対象となるリアルタイム映像データについて当該クライアント端末への配信有無を確認し、当該リアルタイム映像データが配信されていないクライアント端末については、前記サーバ記憶部から当該リアルタイム映像データのストリーム情報とヘッダ情報とを読み出し、前記タイムシフト映像データとして当該クライアント端末へ送信し、
前記タイムシフト映像受信処理部は、前記サーバ端末からのタイムシフト映像データにストリーム情報が含まれている場合には、このストリーム情報をタイムシフト映像として再生する
ことを特徴とするテレビ会議システム。 The video conference system according to claim 1,
The real-time video transmission processing unit stores a distribution history to the client terminal regarding the real-time video data as distribution history information in the server storage unit,
The time-shift video transmission processing unit refers to the distribution history information in the server storage unit during the time-shift playback, confirms whether or not the real-time video data to be time-shifted playback is distributed to the client terminal, For the client terminal to which the real-time video data is not distributed, the stream information and header information of the real-time video data is read from the server storage unit, and is transmitted to the client terminal as the time-shifted video data.
When the time-shifted video data from the server terminal includes stream information, the time-shifted video reception processing unit reproduces the stream information as a time-shifted video. 請求項２に記載のテレビ会議システムにおいて、
前記タイムシフト映像送信処理部は、ストリーム情報を含むタイムシフト映像データを送信した場合、当該ストリーム情報に対応するリアルタイム映像データを配信した旨を前記サーバ記憶部の配信履歴情報に記録し、
前記タイムシフト映像受信処理部は、前記サーバ端末からのストリーム情報を含むタイムシフト映像データを前記リアルタイム映像データの一部として前記クライアント記憶部へ蓄積する
ことを特徴とするテレビ会議システム。 The video conference system according to claim 2,
When the time-shift video transmission processing unit transmits time-shift video data including stream information, the fact that real-time video data corresponding to the stream information has been distributed is recorded in the distribution history information of the server storage unit,
The video conference system, wherein the time-shift video reception processing unit accumulates time-shift video data including stream information from the server terminal in the client storage unit as a part of the real-time video data. 通信ネットワークを介してサーバ端末から複数のクライアント端末に対して映像を配信するテレビ会議システムで用いられるサーバ端末であって、
カメラ部で撮影したリアルタイム映像に関するストリーム情報とヘッダ情報とをリアルタイム映像データとして前記クライアント端末へ送信するとともに、当該リアルタイム映像データをサーバ記憶部に蓄積するリアルタイム映像送信処理部と、
前記リアルタイム映像のタイムシフト再生を行う際、前記サーバ記憶部のリアルタイム映像データのうち当該タイムシフト再生の対象となるリアルタイム映像に関するヘッダ情報を、タイムシフト映像データとして前記クライアント端末へ送信するタイムシフト映像送信処理部と
を備えることを特徴とするサーバ端末。 A server terminal used in a video conference system that distributes video from a server terminal to a plurality of client terminals via a communication network,
Real-time video transmission processing unit that transmits stream information and header information about real-time video captured by the camera unit to the client terminal as real-time video data, and stores the real-time video data in a server storage unit,
When performing time-shifted playback of the real-time video, time-shifted video that transmits, to the client terminal, time-shifted video data as header information about the real-time video that is the target of time-shifted playback of the real-time video data in the server storage unit A server terminal comprising: a transmission processing unit. 通信ネットワークを介してサーバ端末から複数のクライアント端末に対して映像を配信するテレビ会議システムで用いられるクライアント端末であって、
前記サーバ端末から受信したリアルタイム映像データを再生するとともに、当該リアルタイム映像データをクライアント記憶部へ蓄積するリアルタイム映像受信処理部と、
前記サーバ端末から受信したタイムシフト映像データに含まれているヘッダ情報に対応するストリーム情報を、前記クライアント記憶部のリアルタイム映像データから読み出し、タイムシフト映像として再生するタイムシフト映像受信処理部と
を備えることを特徴とするクライアント端末。 A client terminal used in a video conference system that distributes video from a server terminal to a plurality of client terminals via a communication network,
Real-time video reception processing unit for reproducing the real-time video data received from the server terminal and storing the real-time video data in the client storage unit;
A time-shift video reception processing unit that reads stream information corresponding to header information included in the time-shift video data received from the server terminal from the real-time video data of the client storage unit and reproduces the stream information as a time-shift video. A client terminal characterized by that.
JP2007251124A 2007-09-27 2007-09-27 Video conference system, server terminal, and client terminal Active JP5205900B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007251124A JP5205900B2 (en) 2007-09-27 2007-09-27 Video conference system, server terminal, and client terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007251124A JP5205900B2 (en) 2007-09-27 2007-09-27 Video conference system, server terminal, and client terminal

Publications (2)

Publication Number Publication Date
JP2009081802A true JP2009081802A (en) 2009-04-16
JP5205900B2 JP5205900B2 (en) 2013-06-05

Family

ID=40656207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007251124A Active JP5205900B2 (en) 2007-09-27 2007-09-27 Video conference system, server terminal, and client terminal

Country Status (1)

Country Link
JP (1) JP5205900B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612406A (en) * 2015-10-27 2017-05-03 北京航天长峰科技工业集团有限公司 Visual command method
CN110784741A (en) * 2018-07-31 2020-02-11 中移（杭州）信息技术有限公司 Time-shifting response method and device of media data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06169456A (en) * 1992-11-30 1994-06-14 Hitachi Ltd Presentation conference system
JPH10322674A (en) * 1997-05-21 1998-12-04 Fuji Xerox Co Ltd Video conference system
JP2000106556A (en) * 1998-09-29 2000-04-11 Brother Ind Ltd Data storage device, data communication system and storage medium
JP2002247538A (en) * 2001-02-15 2002-08-30 Matsushita Electric Ind Co Ltd Conference server device and multipoint conference system
JP2002262251A (en) * 2001-02-27 2002-09-13 Matsushita Electric Ind Co Ltd Conference server device and multi-point conference system
JP2004088466A (en) * 2002-08-27 2004-03-18 Nec Corp Live video distribution system
JP2005244522A (en) * 2004-02-25 2005-09-08 Pioneer Electronic Corp Network conference system, conference server, recording server and conference terminal

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06169456A (en) * 1992-11-30 1994-06-14 Hitachi Ltd Presentation conference system
JPH10322674A (en) * 1997-05-21 1998-12-04 Fuji Xerox Co Ltd Video conference system
JP2000106556A (en) * 1998-09-29 2000-04-11 Brother Ind Ltd Data storage device, data communication system and storage medium
JP2002247538A (en) * 2001-02-15 2002-08-30 Matsushita Electric Ind Co Ltd Conference server device and multipoint conference system
JP2002262251A (en) * 2001-02-27 2002-09-13 Matsushita Electric Ind Co Ltd Conference server device and multi-point conference system
JP2004088466A (en) * 2002-08-27 2004-03-18 Nec Corp Live video distribution system
JP2005244522A (en) * 2004-02-25 2005-09-08 Pioneer Electronic Corp Network conference system, conference server, recording server and conference terminal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612406A (en) * 2015-10-27 2017-05-03 北京航天长峰科技工业集团有限公司 Visual command method
CN110784741A (en) * 2018-07-31 2020-02-11 中移（杭州）信息技术有限公司 Time-shifting response method and device of media data

Also Published As

Publication number Publication date
JP5205900B2 (en) 2013-06-05

Similar Documents

Publication Publication Date Title
CN107846633B (en) Live broadcast method and system
WO2016150317A1 (en) Method, apparatus and system for synthesizing live video
JP5992476B2 (en) Event-based social networking application
US20170165569A1 (en) Built-in support of in-game virtual split screens with peer-to peer-video conferencing
JP6179179B2 (en) Information processing apparatus, information processing method, and program
JP4741325B2 (en) Multipoint conference method and multipoint conference system
JP2024006973A (en) Data processing method, system and computer program
JP2011071965A (en) Image editing device and imaging device provided with the image editing device, image reproduction device and imaging device provided with the image reproduction device
JP5205900B2 (en) Video conference system, server terminal, and client terminal
JP2024048339A (en) Server, terminal and computer program
TWI526080B (en) Video conferencing system
JP2014072657A (en) Remote conference storage system, remote conference storage method
CN114257771A (en) Video playback method and device for multi-channel audio and video, storage medium and electronic equipment
JP2019033362A (en) Distribution apparatus, reception apparatus, and program
JP5940999B2 (en) VIDEO REPRODUCTION DEVICE, VIDEO DISTRIBUTION DEVICE, VIDEO REPRODUCTION METHOD, VIDEO DISTRIBUTION METHOD, AND PROGRAM
JP5397126B2 (en) Terminal device, communication method, and communication program
US11824915B2 (en) Method, computer program and system for streaming a video conference in a multi-point videoconferencing system
JP2006217149A (en) Conference system
US9426415B2 (en) System, method and architecture for in-built media enabled personal collaboration on endpoints capable of IP voice video communication
JP2009159351A (en) Image recording/reproducing/distributing apparatus
JP2009164964A (en) Information processing apparatus, information processing method, information processing system, and information processing program
WO2013146510A1 (en) Conference system, program and conference method
JP2015073154A (en) Data transmission system, data transmission program, and data transmission method
JP5359724B2 (en) Streaming distribution system, server apparatus, streaming distribution method and program
JPWO2013161563A1 (en) Information processing apparatus and method, program, and information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5205900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150