JP2008085573A

JP2008085573A - Video telephone system

Info

Publication number: JP2008085573A
Application number: JP2006262476A
Authority: JP
Inventors: Tomonori Takano; 朝範高野; Yasutetsu Kanai; 康哲金井; Eiichi Harumoto; 栄一春本
Original assignee: Iwatsu Electric Co Ltd
Current assignee: Iwatsu Electric Co Ltd
Priority date: 2006-09-27
Filing date: 2006-09-27
Publication date: 2008-04-10

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video telephone system, suitable to transfer media data including video telephone and moving picture information in real time, between both parties that currently communicate by video telephones. <P>SOLUTION: The video telephone system comprises a media server connected to a network to maintain a plurality of pieces of media data having media sound information and/or media moving picture information, and a plurality of clients, respectively connected to the network to receive the media data stored in the media server, wherein each of the clients is provided with a media data receiving part for receiving the media data stored by the media server, and a media data transfer processing part for transferring the media data received by the media data receiving part to the other clients. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明はテレビ電話システムに係り、特にＶｏＩＰテレビ電話にて通話中、リアルタイムにストリーミングデータを転送するに好適なテレビ電話システムに関する。 The present invention relates to a videophone system, and more particularly to a videophone system suitable for transferring streaming data in real time during a call by a VoIP videophone.

従来、ＩＰネットワークを用いた電話通信方式としてＶｏＩＰ（voice over IP）が知られている。このＶｏＩＰは、電話通信に係る音声情報を送信側で所定のディジタルデータに符号化してＩＰネットワークにパケットとして送出する一方、受信側ではＩＰネットワークを介して受信したパケットを復号し、音声情報にして出力する。
またこのような電話通信方式にあっては、ブロードバンド環境の広がりとともに、音声情報だけでなく動画情報もあわせて相互に送受して通信を行うテレビ電話システムも試みられてきている。 Conventionally, VoIP (voice over IP) is known as a telephone communication system using an IP network. In this VoIP, voice information related to telephone communication is encoded as predetermined digital data on the transmission side and transmitted as a packet to the IP network, while a packet received via the IP network is decoded on the reception side to obtain voice information. Output.
In such a telephone communication system, with the spread of the broadband environment, a videophone system in which not only audio information but also moving picture information is transmitted and received to communicate with each other has been tried.

ちなみに、この種のテレビ電話システムにおいて通信中に相手側のテレビ電話端末（通話相手端末）に対して例えばメディアサーバに保持されたメディア情報（例えば、ビデオデータ）の情報を転送する場合は、例えばＦＴＰ等の通信プロトコルを用いてこのメディア情報をファイルデータとして通信相手方（受信者側）に転送した後、受信者側が受信したファイルデータを再生する。 By the way, when transferring information of media information (for example, video data) held in, for example, a media server to a videophone terminal on the other side (calling terminal) during communication in this type of videophone system, for example, After the media information is transferred as file data to the communication partner (recipient side) using a communication protocol such as FTP, the file data received by the receiver side is reproduced.

この種のファイルデータの転送方法としては、パケット転送装置およびその方法が知られている（例えば、特許文献１を参照）。このパケット転送装置およびその方法は、ネットワークの状態に基づいてビデオデータのパケット課程におけるコーディングの方式を変更し、メディアデータの貯蔵効率と転送効率が最適になるように考慮されている。
特開２００４−７４８０号公報 As this type of file data transfer method, a packet transfer device and its method are known (see, for example, Patent Document 1). This packet transfer apparatus and its method is considered so that the coding method in the packet process of video data is changed based on the state of the network, and the storage efficiency and transfer efficiency of media data are optimized.
JP 2004-7480 A

しかしながら、上述の特許文献１に記載の発明は、メディアデータの貯蔵効率と転送効率が最適になるように考慮されているものの、メディアデータの送信側と受信側との間で動画像データを同期して再生することや一時停止、早送り・巻き戻しなどができないという問題があった。
そこでメディアデータを配信する送信側のテレビ電話端末から、このメディアデータを受け取る受信側のテレビ電話端末へ配信する手段として動画像再生機器によって再生制御を行い、その出力データを通信相手方のテレビ電話端末に送る方式が考えられる。しかしこの方式は、動画像再生機器が必要であり、コストが高くなるという問題がある。 However, although the invention described in Patent Document 1 is considered to optimize the storage efficiency and transfer efficiency of media data, the moving image data is synchronized between the transmission side and the reception side of the media data. Playback, pause, fast forward / rewind, and so on.
Therefore, as a means for distributing the media data from the transmitting videophone terminal to the receiving videophone terminal receiving the media data, playback control is performed by a moving image playback device, and the output data is transmitted to the videophone terminal of the communication partner. A method to send to is conceivable. However, this method has a problem that a moving image reproducing device is required and the cost becomes high.

本発明は、このような事情を考慮してなされたものであり、その目的は、テレビ電話で通信中の両者間でリアルタイムにテレビ電話および動画情報を含むメディアデータの転送および同期再生をするに好適なテレビ電話システムを提供することにある。 The present invention has been made in consideration of such circumstances, and its purpose is to transfer and synchronize playback of media data including videophone and moving picture information in real time between the two communicating with the videophone. An object is to provide a suitable videophone system.

上述した目的を達成すべく本発明のテレビ電話システムは、ネットワークに接続されて、メディア音声情報および／またはメディア動画情報を有する複数のメディアデータを保持するメディアサーバと、前記ネットワークにそれぞれ接続されて前記メディアサーバに保持された前記メディアデータを受信する複数のクライアントとを具備し、
前記各クライアントは、前記メディアサーバに保持された前記メディアデータを受信するメディアデータ受信部と、他の前記クライアントに前記メディアデータ受信部が受信した前記メディアデータを転送するメディアデータ転送処理部を備えることを特徴としている。 In order to achieve the above-described object, a videophone system of the present invention is connected to a network, a media server holding a plurality of media data having media audio information and / or media video information, and connected to the network. A plurality of clients for receiving the media data held in the media server,
Each of the clients includes a media data receiving unit that receives the media data held in the media server, and a media data transfer processing unit that transfers the media data received by the media data receiving unit to another client. It is characterized by that.

好ましくは前記各クライアントは、所定の画像伝送プロトコルに従ってカメラデバイスから入力された動画情報を変換して出力するカメラ動画出力処理部と、所定の音声伝送プロトコルに従って音声デバイスから入力された音声情報を変換して出力する音声出力処理部と、他の前記クライアントが備える前記カメラ動画出力処理部から出力された前記動画情報を受けてこの動画情報を出力する動画出力部と、他の前記クライアントが備える前記音声出力処理部から出力された前記音声情報を受けてこの音声情報を出力する音声出力部とを具備し、
前記メディアデータ転送処理部は、受信した前記メディアデータに含まれる前記メディア音声情報を取り出すメディア音声取得部と、受信した前記メディアデータに含まれる前記メディア動画情報を取り出すメディア動画取得部と、前記メディア音声取得部から取り出された前記メディア音声情報を前記音声出力部に与えるとともに、その分岐してメディア音声情報を分岐して出力する音声分岐処理部と、前記メディア動画取得部から取り出された前記メディア動画情報を前記動画出力部に与えるとともに、その分岐してメディア動画情報を分岐して出力する動画分岐処理部と、所定の音声伝送プロトコルに従って前記音声分岐処理部から分岐されて出力された前記メディア音声情報を変換して出力するメディア音声コーデック部と、所定の動画伝送プロトコルに従って前記動画分岐処理部から分岐されて出力された前記メディア動画情報を変換して出力するメディア動画コーデック部と
を具備し、
前記音声出力処理部は、他の前記クライアントに前記メディア音声コーデック部によって変換された音声情報と前記音声デバイスから入力された音声情報とを混合して送出する音声データ混合部を備えることが望ましい。 Preferably, each of the clients converts a camera moving image output processing unit that outputs moving image information input from a camera device according to a predetermined image transmission protocol, and converts audio information input from the audio device according to a predetermined audio transmission protocol. A video output unit that receives the video information output from the camera video output processing unit included in the other client and outputs the video information, and the other client includes the video output unit that outputs the video information. A voice output unit that receives the voice information output from the voice output processing unit and outputs the voice information;
The media data transfer processing unit includes: a media audio acquisition unit that extracts the media audio information included in the received media data; a media video acquisition unit that extracts the media video information included in the received media data; and the media An audio branch processing unit for supplying the media audio information extracted from the audio acquisition unit to the audio output unit and branching and outputting the media audio information, and the media extracted from the media moving image acquisition unit A moving image branch processing unit for supplying moving image information to the moving image output unit, branching and outputting the media moving image information, and the medium branched and output from the audio branch processing unit according to a predetermined audio transmission protocol Media audio codec that converts and outputs audio information; Comprising a media video codec unit for converting the media video information output is branched from the video branch processing unit in accordance with image transmission protocol,
The audio output processing unit preferably includes an audio data mixing unit that mixes and transmits the audio information converted by the media audio codec unit and the audio information input from the audio device to another client.

また前記音声出力処理部は、他の前記クライアントに前記音声デバイスから入力された音声情報またはこの音声情報と前記メディア音声情報とを混合した混合音声情報の何れかを送出する出力情報切替部を備えて構成される。
好ましくは、前記メディアデータ転送処理部は、前記出力情報切替部から出力される情報を切り替えるメディア制御部を備えることが望ましい。 In addition, the audio output processing unit includes an output information switching unit that transmits either audio information input from the audio device to the other client or mixed audio information obtained by mixing the audio information and the media audio information. Configured.
Preferably, the media data transfer processing unit includes a media control unit that switches information output from the output information switching unit.

より好ましくは前記メディア制御部は、前記メディアサーバが保持する複数の前記メディアデータを選択し、このメディアデータの再生、一時停止、早送りおよび巻き戻しの指令をするものとして構成される。 More preferably, the media control unit is configured to select a plurality of media data held by the media server and to instruct playback, pause, fast forward, and rewind of the media data.

上述したように本発明のテレビ電話システムによれば、ネットワークとして例えばＩＰネットワークに接続された各クライアント（テレビ電話端末）がメディアサーバに保持されたメディアデータ（動画像データ等）を受信するメディアデータ受信部と、他のクライアントにメディアデータ受信部が受信したメディアデータを転送するメディアデータ転送処理部を備えているので、メディアデータを取得・再生しながら通信相手方にこのメディアデータをリアルタイムに転送することができるとともに、メディア制御部によってメディアサーバから取得したメディアデータの再生制御と同期制御を行うことが可能である。 As described above, according to the videophone system of the present invention, each client (videophone terminal) connected to an IP network as a network receives media data (moving image data, etc.) held in a media server. Since it has a receiving unit and a media data transfer processing unit that transfers the media data received by the media data receiving unit to other clients, this media data is transferred to the communication partner in real time while acquiring and playing back the media data. In addition, it is possible to perform reproduction control and synchronization control of media data acquired from the media server by the media control unit.

更に本願発明のテレビ電話システムは、既存のテレビ電話システムとしてのＶｏＩＰテレビ電話端末に、メディアデータ転送処理部を付加した構成を取っているため、従来のＶｏＩＰテレビ電話システムに適用されている課金方式を適用することができる他、メディアサーバに保持されたメディアデータ（コンテンツ）に対する課金をそのアクセス時間として実施することができる等の実用上多大なる効果を奏する。 Furthermore, since the videophone system of the present invention has a configuration in which a media data transfer processing unit is added to a VoIP videophone terminal as an existing videophone system, a billing system applied to a conventional VoIP videophone system In addition to the above, there is a great practical effect such that charging for the media data (content) held in the media server can be performed as the access time.

以下、本発明に係るテレビ電話システムの一実施形態について添付図面を参照しながら説明する。尚、これらの添付図面は、本発明のテレビ電話システムを説明するための一例に過ぎず、これらの図によって本発明が限定されるものではない。
さて、図１は、本発明のテレビ電話システムにおける各種機器の接続形態を示す概略構成図である。この図において１は、テレビ電話端末（クライアント）となる例えばパソコン（以下、テレビ電話端末と称する）である。このテレビ電話端末１には、動画を撮影するカメラデバイス３および図示しないマイクを備え、詳細は後述するがテレビ電話端末１の機能を実現するアプリケーションソフトウェア（ＶｏＩＰテレビ電話通信ソフト）が実装される。このテレビ電話端末１は、インターネット、イントラネット等に代表されるＩＰネットワーク２に接続される。 Hereinafter, an embodiment of a videophone system according to the present invention will be described with reference to the accompanying drawings. These attached drawings are only examples for explaining the videophone system of the present invention, and the present invention is not limited by these drawings.
FIG. 1 is a schematic configuration diagram showing a connection form of various devices in the videophone system of the present invention. In this figure, reference numeral 1 denotes, for example, a personal computer (hereinafter referred to as a videophone terminal) that becomes a videophone terminal (client). The videophone terminal 1 includes a camera device 3 that captures a moving image and a microphone (not shown), and application software (VoIP videophone communication software) that implements the functions of the videophone terminal 1 will be described later. The videophone terminal 1 is connected to an IP network 2 represented by the Internet, an intranet, or the like.

ＩＰネットワーク２には、このＩＰネットワーク２に接続されて、二者のテレビ電話端末１間におけるＶｏＩＰテレビ電話通信の制御を行うＳＩＰプロキシサーバ４、メディア音声情報および／またはメディア動画情報を有する複数のメディアデータを保持するメディアサーバ５が接続されている。
尚、テレビ電話端末１、ＳＩＰプロキシサーバ４およびメディアサーバ５とＩＰネットワーク２には、図示しないルータが介挿されることがある。 The IP network 2 includes a plurality of SIP proxy servers 4 connected to the IP network 2 for controlling VoIP videophone communication between the two videophone terminals 1 and having media audio information and / or media video information. A media server 5 that holds media data is connected.
Note that a router (not shown) may be inserted in the video phone terminal 1, the SIP proxy server 4, the media server 5, and the IP network 2.

概略的には、上述したように構成されたテレビ電話システムにおいて、テレビ電話端末１に搭載されるＶｏＩＰテレビ電話通信ソフトの構成に関して図２を参照しながら説明する。尚、この図は、二つのテレビ電話端末１ａ，１ｂ間でテレビ電話による通話を行いながらメディアサーバ５に保持されたメディアデータを一方のテレビ電話端末１ａから他方のテレビ電話端末１ｂへ転送するものを例示している。 Schematically, the configuration of the VoIP videophone communication software installed in the videophone terminal 1 in the videophone system configured as described above will be described with reference to FIG. In this figure, the media data held in the media server 5 is transferred from one videophone terminal 1a to the other videophone terminal 1b while making a videophone call between the two videophone terminals 1a and 1b. Is illustrated.

テレビ電話端末１ａ，１ｂのＶｏＩＰテレビ電話通信ソフトは、概略的にはＩＰネットワーク上で、電話の呼設定を実現するためのテキストベースのアプリケーションプロトコルであるＳＩＰクライアント７、リアルタイムに音声や動画を送受信するためのプロトコルであるＲＴＳＰクライアント８、リアルタイムに音声動画を送受信するためのトランスポートプロトコルであるＲＴＰプロトコル９を備えて構成される。 The VoIP videophone communication software of the videophone terminals 1a, 1b is generally a SIP client 7 which is a text-based application protocol for realizing telephone call setting on an IP network, and transmits and receives voice and video in real time. An RTSP client 8 that is a protocol for transmitting and receiving, and an RTP protocol 9 that is a transport protocol for transmitting and receiving audio and video in real time.

そうしてテレビ電話端末１ａ，１ｂ間の呼設定は、ＳＩＰプロトコルによってなされ、動画情報および音声情報のやりとりは、ＲＴＰプロトコルによってなされる。また、テレビ電話端末１ａとメディアサーバ５に対する指令等のやりとりはＲＴＳＰプロトコルによってなされるとともに、メディアサーバ５からのメディアデータの配信（テレビ電話端末に対する送信）は、ＲＴＰ等のメディア配信プロトコルを用いてメディア動画情報およびメディア音声情報のやりとりがなされる。 Thus, the call setting between the videophone terminals 1a and 1b is performed by the SIP protocol, and the exchange of the moving image information and the audio information is performed by the RTP protocol. Also, exchange of commands and the like to the videophone terminal 1a and the media server 5 is performed by the RTSP protocol, and media data delivery (transmission to the videophone terminal) from the media server 5 is performed using a media delivery protocol such as RTP. Media video information and media audio information are exchanged.

ここでより詳細にテレビ電話端末１（１ａ，１ｂ）の構成について図３を参照しながら説明する。このＶｏＩＰテレビ電話通信ソフトは、例えばＩＴＵ−ＴのＨシリーズ勧告であるＨ.２６３等の画像伝送プロトコルに従ってＵＳＢカメラ等のカメラデバイス３から入力された動画情報を変換して出力するカメラ動画出力処理部１０、例えばＩＴＵ−ＴのＧシリーズ勧告であるＧ.７１１等の音声伝送プロトコルに従って図示しない音声デバイスから入力された音声を含む音響情報を変換して出力する音声出力処理部２０およびメディアサーバ５に保持されたメディアデータを他のテレビ電話端末１に転送するメディアデータ転送処理部３０を備えて構成される。 Here, the configuration of the videophone terminal 1 (1a, 1b) will be described in more detail with reference to FIG. This VoIP videophone communication software, for example, converts a moving image information input from a camera device 3 such as a USB camera according to an image transmission protocol such as H.263 recommended by the ITU-T H series, and outputs it. The audio output processing unit 20 and the media server 5 that convert and output acoustic information including audio input from an audio device (not shown) according to an audio transmission protocol such as G.711 that is recommended by the ITU-T G series. Is provided with a media data transfer processing unit 30 for transferring the media data held in the other videophone terminal 1.

カメラ動画出力処理部１０は、カメラデバイス３が出力した動画情報を取り込むカメラ動画入力部１１と、このカメラ動画入力部１１が取り込んだ動画情報を例えばＨ.２６３等の画像伝送プロトコルに従って変換するビデオコーデック部１２およびビデオコーデック部１２によって変換された動画情報をネットワーク２に接続された他のテレビ電話端末１に送出するカメラ動画パケット送信部１３を備える。 The camera moving image output processing unit 10 includes a camera moving image input unit 11 that captures moving image information output from the camera device 3, and a video that converts the moving image information captured by the camera moving image input unit 11 according to an image transmission protocol such as H.263. A codec unit 12 and a camera video packet transmission unit 13 that transmits the video information converted by the video codec unit 12 to another videophone terminal 1 connected to the network 2 are provided.

音声出力処理部２０は、音声デバイス（図示せず）から入力された音声を含む音響情報を取り込む音声入力部２１と、この音声入力部２１が取り込んだ音響情報を例えばＧ.７１１等の音声伝送プロトコルに従って変換する音声コーデック部２２、この音声コーデック部２２の出力と、後述するメディアデータ転送処理部から与えられるメディア音声情報とを混合した出力にするか否かを選択する出力情報切替部２３と、この出力情報切替部２３が音声デバイスから入力された音響情報とメディア音声情報とを混合した音声情報を出力する音声データ混合部２４および出力情報切替部２３から出力されるテレビ電話のみの音声情報と、音声データ混合部２４によって混合された音声情報をＩＰネットワーク２によって他のテレビ電話端末１へ送出する音声パケット送信部２５を備える。 The audio output processing unit 20 includes an audio input unit 21 that captures acoustic information including audio input from an audio device (not shown), and audio transmission such as G.711 for example. An audio codec unit 22 that performs conversion in accordance with a protocol; an output information switching unit 23 that selects whether or not to output an output of the audio codec unit 22 and media audio information provided from a media data transfer processing unit described later; The output information switching unit 23 outputs audio information obtained by mixing the acoustic information input from the audio device and the media audio information, and the audio information of only the videophone output from the output information switching unit 23 The voice information mixed by the voice data mixing unit 24 is sent to another videophone terminal 1 through the IP network 2. An outgoing voice packet transmission unit 25 is provided.

メディアデータ転送処理部３０は、メディアサーバ５が保持する複数のメディアデータを指定する情報（例えば、ＵＲＬ等）、メディアデータの再生、一時停止、早送り、巻き戻しの要求を出力するメディア制御部３１、このメディア制御部３１から与えられる要求を受けて例えばＲＴＰ，ＲＴＳＰ，ＴＣＰ等のプロトコルによってメディアサーバ５に保持されたメディアデータを取り込むメディアデータ受信部３２、このメディアデータ受信部３２が受信したメディアデータに含まれるメディア音声情報およびメディア動画情報をそれぞれ取り出すメディア音声取得部３３およびメディア動画取得部３４、他のテレビ電話端末が備える音声出力処理部２０およびカメラ動画出力処理部１０からそれぞれ出力された音声情報および動画情報を受けてこれらの音声情報および動画像情報をそれぞれ出力する音声出力部３５および動画出力部３６と、メディア音声取得部３３から取り出されたメディア音声情報を音声出力部３５に与えるとともに、そのメディア音声情報を分岐して出力する音声分岐処理部３７と、メディア動画取得部３４から取り出されたメディア動画情報を動画出力部３６に与えるとともに、そのメディア動画情報を分岐して出力する動画分岐処理部３８と、例えばＧ.７１１等の音声伝送プロトコルに従って音声分岐処理部３７から分岐されて出力されたメディア音声情報を変換して出力するメディア音声コーデック部３９と、例えばＨ.２６３等の動画伝送プロトコルに従って動画分岐処理部３８から分岐されて出力されたメディア動画情報を変換して出力するメディア動画コーデック部４０、通信相手のテレビ電話端末１から受信した音声データを受けて予め定められたプロトコル（例えば、Ｇ.７１１等）によって復号して音声出力部３５に与える音声パケット受信部４１、メディア動画コーデック部４０により符号化されたメディア動画情報を通信相手のテレビ電話端末１へ送出するメディア動画送信部４２を備えて構成される。 The media data transfer processing unit 30 outputs information specifying a plurality of media data held by the media server 5 (for example, URL), media data playback, pause, fast forward, and rewind requests. In response to a request given from the media control unit 31, for example, a media data receiving unit 32 that captures media data held in the media server 5 by a protocol such as RTP, RTSP, TCP, and the media received by the media data receiving unit 32 Media audio acquisition unit 33 and media video acquisition unit 34 for retrieving media audio information and media video information included in the data, respectively, and audio output processing unit 20 and camera video output processing unit 10 included in other videophone terminals, respectively. Audio information and video information The audio output unit 35 and the moving image output unit 36 for outputting the audio information and the moving image information, respectively, and the media audio information extracted from the media audio acquisition unit 33 are provided to the audio output unit 35, and the media audio information An audio branch processing unit 37 that branches and outputs the video, and a video branch processing unit 38 that provides the media video information extracted from the media video acquisition unit 34 to the video output unit 36 and branches and outputs the media video information. For example, a media audio codec unit 39 that converts and outputs the media audio information branched and output from the audio branch processing unit 37 according to an audio transmission protocol such as G.711, and a moving image according to a video transmission protocol such as H.263, for example. A medium that converts and outputs the media video information branched and output from the branch processing unit 38. Audio video codec unit 40, audio packet receiving unit 41 that receives audio data received from the videophone terminal 1 of the communication partner, decodes it according to a predetermined protocol (for example, G.711, etc.), and provides it to audio output unit 35 The media video transmission unit 42 is configured to transmit the media video information encoded by the media video codec unit 40 to the videophone terminal 1 of the communication partner.

このメディアデータ転送処理部３０が備えるメディア制御部３１は、詳細は後述するが音声出力処理部２０が備える出力情報切替部２３の出力切替制御を行う役割を担っている。また、メディア音声コーデック部３９が出力したメディア音声情報は、音声データ混合部２４に与えられて混合されて、音声パケット送信部２５に与えられるようになっている。 The media control unit 31 included in the media data transfer processing unit 30 plays a role of performing output switching control of the output information switching unit 23 included in the audio output processing unit 20 as will be described in detail later. Further, the media audio information output from the media audio codec unit 39 is provided to the audio data mixing unit 24, mixed, and then supplied to the audio packet transmission unit 25.

概略的には、上述したように構成された本発明のテレビ電話システムが特徴とするところは、ネットワークに接続されたテレビ電話端末は、メディアデータ転送処理部３０がメディアサーバから受信したメディアデータを通信相手のテレビ電話端末に転送すると共に、それぞれのメディア制御部３１による制御によって、メディアデータの再生、一時停止、早送りおよび巻き戻しの指令ができる点にある。 Schematically, the videophone system of the present invention configured as described above is characterized in that the videophone terminal connected to the network receives the media data received from the media server by the media data transfer processing unit 30. In addition to being transferred to the videophone terminal of the other party of communication, the media data can be instructed to be reproduced, paused, fast-forwarded and rewound by the control of each media control unit 31.

このような特徴を有する本発明のテレビ電話システムの作動について図面を参照しながらより詳細に説明する。尚、ここでは便宜的に二者間の通信プロトコルをＲＴＰ（real-time transport protocol）にて説明するが、他の通信プロトコルを適用してもかまわない。
さてインターネット２にそれぞれ接続されたテレビ電話端末１ａ，１ｂの一方（ここでは、テレビ電話端末１ａ）は、相互間でテレビ通信を行うべくＶｏＩＰプロトコルによってセッションの確立をする（図４）。具体的にはテレビ電話端末１ａは、プロキシサーバ（ＳＩＰプロキシサーバ）４に対してＴＣＰ（発信供給）を送出する。するとプロキシサーバ４は、この要求から通話相手先のテレビ電話端末１ｂに対してＴＣＰ（着信要求）を出す。するとこの着信要求を受けたテレビ電話端末１ｂは、プロキシサーバ４に対してＴＣＰ（応答要求）を返す。一方、このＴＣＰ（応答要求）を受けたプロキシサーバ４は、ＴＣＰ（発信要求）を送出したテレビ電話端末１ａにＴＣＰ（応答要求）を返して、テレビ電話１ａ，１ｂ相互間のセッションが確立する（ステップＳ１）。以後、テレビ電話端末１ａ，１ｂ間でＲＴＰプロトコルに従って音声情報およびカメラデバイス３で撮影した動画情報を相互に送受する（ステップＳ２）。 The operation of the videophone system of the present invention having such characteristics will be described in detail with reference to the drawings. For convenience, the communication protocol between the two parties will be described using RTP (real-time transport protocol), but other communication protocols may be applied.
Now, one of the videophone terminals 1a and 1b connected to the Internet 2 (here, the videophone terminal 1a) establishes a session using the VoIP protocol in order to perform TV communication between them (FIG. 4). Specifically, the videophone terminal 1 a sends TCP (outgoing supply) to the proxy server (SIP proxy server) 4. In response to this request, the proxy server 4 issues a TCP (incoming request) to the videophone terminal 1b of the call partner. Then, the videophone terminal 1 b that has received this incoming call request returns a TCP (response request) to the proxy server 4. On the other hand, the proxy server 4 that has received this TCP (response request) returns TCP (response request) to the videophone terminal 1a that has transmitted TCP (transmission request), and establishes a session between the videophones 1a and 1b. (Step S1). Thereafter, the audio information and the moving image information photographed by the camera device 3 are mutually transmitted and received between the video phone terminals 1a and 1b according to the RTP protocol (step S2).

このようにしてテレビ電話端末１ａ，１ｂ間の通信が確立した後、以下のようにして一方のテレビ電話端末１ａは、メディアサーバ５が保持するメディアデータを受信して、通信相手のテレビ電話端末１ｂに転送する。
まずテレビ電話端末１ａは、メディアサーバ５に対してメディア配信要求をＲＴＳＰプロトコルによって出力する（ステップＳ３）。するとメディアサーバ５は、この要求を受け付けると共に、要求元のテレビ電話端末１ａにＲＴＰ等のプロトコルによってメディアデータ（ストリーミングデータ）の配信を開始する（ステップＳ４）。この配信を受けたテレビ電話端末１ａは、メディアデータ受信部３２でメディアデータの受信を行い、このメディアデータに含まれるメディア音声情報およびメディア動画情報をそれぞれメディア音声取得部３３およびメディア動画取得部３４が取得する。そして得られたメディア音声情報は、音声分岐処理部３７によって音声出力部３５とメディア音声コーデック部３９に与えられる。すると音声出力部３５からは、メディア音声情報が出力されるとともに、メディア音声コーデック部３９に与えられたメディア音声情報は、例えばＧ.７１１に従ってコード化された後、音声データ混合部２４および音声パケット送信部２５を介してＲＴＰ等のプロトコルによって通信相手方のテレビ電話端末１ｂに転送される（ステップＳ５）。 After the communication between the videophone terminals 1a and 1b is established in this way, one videophone terminal 1a receives the media data held by the media server 5 as described below, and receives the videophone terminal as the communication partner. Transfer to 1b.
First, the videophone terminal 1a outputs a media distribution request to the media server 5 using the RTSP protocol (step S3). Then, the media server 5 accepts this request and starts distributing media data (streaming data) to the requesting videophone terminal 1a using a protocol such as RTP (step S4). The videophone terminal 1a receiving this distribution receives the media data by the media data receiving unit 32, and the media audio information and the media video information included in the media data are respectively received by the media audio acquisition unit 33 and the media video acquisition unit 34. Get. The obtained media audio information is given to the audio output unit 35 and the media audio codec unit 39 by the audio branch processing unit 37. Then, the media audio information is output from the audio output unit 35, and the media audio information given to the media audio codec unit 39 is encoded according to, for example, G.711, and then the audio data mixing unit 24 and the audio packet. The data is transferred to the other party's videophone terminal 1b by the protocol such as RTP via the transmitter 25 (step S5).

一方、メディア動画取得部３４で取得されたメディア動画情報は、動画分岐処理部３８によって動画出力部３６とメディア動画コーデック部４０に与えられる。すると動画出力部３６からそのメディア動画情報が出力されるとともに、メディア動画コーデック部４０に与えられたメディア動画情報は、例えばＨ.２６３に従ってコード化された後、メディア動画送信部４２が行うＲＴＰ等のプロトコルによって通信相手方のテレビ電話端末１ｂに転送される（ステップＳ６）。 On the other hand, the media video information acquired by the media video acquisition unit 34 is given to the video output unit 36 and the media video codec unit 40 by the video branching processing unit 38. Then, the media moving image information is output from the moving image output unit 36, and the media moving image information given to the media moving image codec unit 40 is encoded according to, for example, H.263, and then RTP or the like performed by the media moving image transmission unit 42 (Step S6).

尚、テレビ電話端末１ａ，１ｂがそれぞれ備えるカメラデバイス３が撮影した動画情報は、カメラ動画出力処理部１０から送出されて、相互にやりとりされる。（ステップＳ７）。また、ステップＳ５で一方のテレビ電話端末１ａから他方のテレビ電話端末１ｂへ音声情報とメディア音声情報とが音声データ混合部２４で混合されて与えられるとともに、他方のテレビ電話端末１ｂから一方のテレビ電話端末１ａに対して、音声出力処理部２０から音声情報が与えられて相互にテレビ電話通信ができる。この場合、他方のテレビ電話端末１ｂの出力情報切替部２３は、テレビ電話のみとなるようメディア制御部３１からの指令によって切り替えられる。 Note that the moving image information captured by the camera device 3 included in each of the videophone terminals 1a and 1b is transmitted from the camera moving image output processing unit 10 and exchanged with each other. (Step S7). Also, in step S5, the audio information and the media audio information are mixed and given from the one videophone terminal 1a to the other videophone terminal 1b by the audio data mixing unit 24, and the other videophone terminal 1b sends the one videophone terminal 1b. Audio information is given to the telephone terminal 1a from the audio output processing unit 20, and videophone communication can be performed with each other. In this case, the output information switching unit 23 of the other videophone terminal 1b is switched by a command from the media control unit 31 so that only the videophone is provided.

このようにして本発明のテレビ電話システムは、テレビ電話による通信を行いつつ、メディアサーバ５に保持されたメディアデータを相互に参照することができる。
次にメディアデータを相互に参照しながらテレビ電話による通信の最中に、メディアデータの再生、一時停止、早送りおよび巻き戻しの指令を行う場合について図５を参照しながら説明する。 In this way, the videophone system of the present invention can mutually refer to the media data held in the media server 5 while performing the videophone communication.
Next, a case in which media data playback, pause, fast forward, and rewind commands are issued during videophone communication while mutually referring to media data will be described with reference to FIG.

まず再生中のメディアデータを一時停止する場合、メディア制御部３１は、メディアデータ受信部３２に対して一時停止要求（ＳＲ）を発する。するとこの一時停止要求を受けたメディアデータ受信部３２は、メディアサーバ５から配信中のメディアデータを一時停止（ＳＡ）して、メディア制御部３１からの一時停止解除を待つ。
次に一時停止要求（ＳＲ）を解除して再生を再開させる場合、メディア制御部３１は、メディアデータ受信部３２に一時停止解除（ＲＲ）を与える。すると、メディアデータ受信部３２は、メディアサーバ５に対して一時停止したメディアデータの再送を促す一時停止解除（ＲＲ）を与えるとともに、メディアサーバ５から再送が開始されたメディアデータをメディア音声取得部３３およびメディア動画取得部３４に与える。 First, when pausing the media data being reproduced, the media control unit 31 issues a pause request (SR) to the media data receiving unit 32. Then, the media data receiving unit 32 that has received the pause request pauses (SA) the media data being distributed from the media server 5 and waits for the suspension from the media control unit 31 to be released.
Next, when the reproduction is resumed by canceling the pause request (SR), the media control unit 31 gives the media data receiving unit 32 a pause release (RR). Then, the media data receiving unit 32 gives the media server 5 a pause release (RR) that prompts the media server 5 to retransmit the paused media data, and the media audio acquisition unit receives the media data that has been retransmitted from the media server 5. 33 and the media moving image acquisition unit 34.

またメディア制御部３１は、再生中または一時停止中のメディアデータの再生位置を変更する場合、メディアデータ受信部３２に対して再生位置変更要求（ＰＲ）を発行する。するとメディアデータ受信部３２は、この再生位置変更要求（ＰＲ）をメディアサーバ５に与える。メディアサーバ５は、この再生位置変更要求（ＰＲ）を受けて、この再生位置変更要求（ＰＲ）によって指示された再生位置から再びメディアデータの送信を開始する（ＲＳ）。そうしてメディアデータ受信部３２は、メディアサーバ５から再生位置が変更されて再送されたメディアデータを受けて、このメディアデータを次段のメディア音声取得部３３およびメディア動画取得部３４に与える。 The media control unit 31 issues a playback position change request (PR) to the media data receiving unit 32 when changing the playback position of the media data being played back or paused. Then, the media data receiving unit 32 gives this playback position change request (PR) to the media server 5. In response to the reproduction position change request (PR), the media server 5 starts transmission of media data again from the reproduction position designated by the reproduction position change request (PR) (RS). Then, the media data receiving unit 32 receives the media data retransmitted with the reproduction position changed from the media server 5, and gives this media data to the media audio acquisition unit 33 and the media moving image acquisition unit 34 in the next stage.

尚、上述した実施形態は、テレビ電話端末１ａ（メディア制御端末）側からの一時停止要求、一時停止解除要求および再生位置変更要求をメディアサーバ５が受け付ける場合を例示したが、他方のテレビ電話端末１ｂにもメディア制御部３１およびメディアデータ受信部３２を備えているので、他のテレビ電話端末１ｂからも同様にメディアサーバ５に対して一時停止要求、一時停止解除要求および再生位置変更要求を与えることができる。 In the above-described embodiment, the case where the media server 5 receives a pause request, a pause release request, and a playback position change request from the video phone terminal 1a (media control terminal) side is illustrated. Since the media control unit 31 and the media data receiving unit 32 are also provided in 1b, a pause request, a pause release request, and a playback position change request are similarly sent from the other videophone terminals 1b to the media server 5. be able to.

かくして上述したように構成された本発明のテレビ電話システムによれば、ネットワークに接続されたテレビ電話端末１が、メディアサーバ５に保持されたメディアデータを受信するメディアデータ受信部３２と、通信中の他のテレビ電話端末１にメディアデータ受信部が受信したメディアデータを転送するメディアデータ転送処理部３０を備えているので、メディアサーバ５から配信される動画像データを再生中に二者間でのこの動画像データを同期させて再生することの他にメディアデータの再生、一時停止、早送りおよび巻き戻しをすることが可能である。 Thus, according to the videophone system of the present invention configured as described above, the videophone terminal 1 connected to the network is in communication with the media data receiving unit 32 that receives the media data held in the media server 5. Since the media data transfer processing unit 30 for transferring the media data received by the media data receiving unit to the other videophone terminal 1 is provided, the moving image data distributed from the media server 5 can be reproduced between the two during playback. It is possible to reproduce, pause, fast forward, and rewind media data in addition to synchronizing and reproducing the moving image data.

また本発明のテレビ電話システムにおける音声出力処理部２０は、他のテレビ電話端末１に音声デバイス（例えば、マイク等）から入力された音声情報またはこの音声情報とメディア音声情報とを混合した混合音声情報の何れかを送出する出力情報切替部２３を備えると共に、メディアサーバ５が保持する複数のメディアデータを選択し、このメディアデータの再生、一時停止、早送りおよび巻き戻しの指令をするメディア制御部３１を備えているので、単なるテレビ電話以外にも、メディアサーバ５に保持されたメディアデータを転送するだけでなく、二者間でメディアデータの同期再生をすることが可能である。 The audio output processing unit 20 in the videophone system of the present invention also includes audio information input from an audio device (for example, a microphone) to another videophone terminal 1 or mixed audio obtained by mixing this audio information and media audio information. A media control unit that includes an output information switching unit 23 that sends out any of the information, and that selects a plurality of media data held by the media server 5 and commands playback, pause, fast forward, and rewind of the media data 31 is provided, it is possible not only to transfer the media data stored in the media server 5 but also to perform synchronized playback of the media data between the two parties in addition to the simple videophone.

したがって、例えばテレビ電話システムを用いて二者間で通信販売等の商品説明、販売店サポート等の技術支援、映画案内配信サービス等の場面において本発明は極めて有用である。つまり、これらのサービスを提供する場合、通信相手方であるユーザに案内の動画（ビデオ）情報を見せるだけでなく、ユーザの疑問、質問の内容にあわせて商品紹介の動画情報を切り替えて、必要な場面や繰り返しての動画再生も行うことが可能である。 Therefore, for example, the present invention is extremely useful in situations such as product explanation such as mail order sales, technical support such as store support, movie guide distribution service, etc. between two parties using a videophone system. In other words, in order to provide these services, it is necessary not only to show the guide video (video) information to the user who is the communication partner, but also to switch the video information for product introduction according to the contents of the user's question and question. It is also possible to play scenes and video repeatedly.

尚、本発明のテレビ電話システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることが可能である。 The videophone system of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

本発明の一実施形態に係るテレビ電話システムの概略構成を示す図。1 is a diagram showing a schematic configuration of a videophone system according to an embodiment of the present invention. 図１に示すテレビ電話システムのソフトウェア構成を示す図。The figure which shows the software structure of the videophone system shown in FIG. 図１に示すテレビ電話端末の構成を示すブロック図。The block diagram which shows the structure of the videophone terminal shown in FIG. 図１に示すテレビ電話システムにおける伝送制御手順を示す図。The figure which shows the transmission control procedure in the videophone system shown in FIG. 図１に示すテレビ電話端末とメディアサーバとの間の通信制御手順を示す図。The figure which shows the communication control procedure between the video telephone terminal shown in FIG. 1, and a media server.

Explanation of symbols

１（１ａ，１ｂ）テレビ電話端末
２ＩＰネットワーク（インターネット）
３カメラデバイス
４プロキシサーバ
５メディアサーバ
１０カメラ動画出力処理部
２０音声出力処理部
３０メディアデータ転送処理部 1 (1a, 1b) Videophone terminal 2 IP network (Internet)
3 Camera Device 4 Proxy Server 5 Media Server 10 Camera Video Output Processing Unit 20 Audio Output Processing Unit 30 Media Data Transfer Processing Unit

Claims

A media server connected to a network and holding a plurality of media data having media audio information and / or media video information;
A plurality of clients connected to the network and receiving the media data held in the media server,
Each of the clients includes a media data receiving unit that receives the media data held in the media server;
A videophone system comprising a media data transfer processing unit that transfers the media data received by the media data receiving unit to the other client.

Each of the clients is a camera moving image output processing unit that converts and outputs moving image information input from a camera device according to a predetermined image transmission protocol;
An audio output processing unit that converts and outputs audio information input from the audio device according to a predetermined audio transmission protocol;
A video output unit that receives the video information output from the camera video output processing unit included in the other client and outputs the video information;
An audio output unit that receives the audio information output from the audio output processing unit included in the other client and outputs the audio information;
Comprising
The media data transfer processing unit is a media audio acquisition unit that extracts the media audio information included in the received media data;
A media video acquisition unit that extracts the media video information included in the received media data;
An audio branch processing unit that gives the media audio information extracted from the media audio acquisition unit to the audio output unit, and branches and outputs the media audio information;
A moving image branch processing unit that gives the media moving image information extracted from the media moving image acquisition unit to the moving image output unit and branches and outputs the media moving image information;
A media audio codec unit for converting and outputting the media audio information branched and output from the audio branch processing unit according to a predetermined audio transmission protocol;
A media video codec unit that converts and outputs the media video information branched and output from the video branch processing unit according to a predetermined video transmission protocol;
The audio output processing unit includes an audio data mixing unit that mixes and transmits the audio information converted by the media audio codec unit and the audio information input from the audio device to another client. The videophone system according to claim 1.

The audio output processing unit includes an output information switching unit that transmits either audio information input from the audio device to another client or mixed audio information obtained by mixing the audio information and the media audio information. The videophone system according to claim 1 or 2, characterized by the above-mentioned.

The videophone system according to claim 3, wherein the media data transfer processing unit includes a media control unit that switches information output from the output information switching unit.

5. The videophone system according to claim 4, wherein the media control unit selects a plurality of the media data held by the media server, and gives instructions to play, pause, fast forward, and rewind the media data. .