JP2007067826A - Audio and animation communication system and data communication terminal - Google Patents
Audio and animation communication system and data communication terminal Download PDFInfo
- Publication number
- JP2007067826A JP2007067826A JP2005251176A JP2005251176A JP2007067826A JP 2007067826 A JP2007067826 A JP 2007067826A JP 2005251176 A JP2005251176 A JP 2005251176A JP 2005251176 A JP2005251176 A JP 2005251176A JP 2007067826 A JP2007067826 A JP 2007067826A
- Authority
- JP
- Japan
- Prior art keywords
- time information
- transmission time
- video
- data
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明はLANやインターネット、IP通信網等のネットワークを介して、音声データや映像データの送受信を行うためのデータ通信装置、このデータ通信装置を用いたデータ通信システムに関するものである。 The present invention relates to a data communication apparatus for transmitting and receiving audio data and video data via a network such as a LAN, the Internet, and an IP communication network, and a data communication system using the data communication apparatus.
近年、ブロードバンドの普及に伴い、インターネット、IP通信網などのネットワークを介しパケット化した音声データや映像データを相手側の装置に送信するとともに、相手側の装置からパケット化した音声データや映像データを受信することにより、双方向にリアルタイム通信を行うデータ通信装置が実用化されている。 In recent years, with the spread of broadband, packetized audio data and video data are transmitted to the other party's device via a network such as the Internet and IP communication network, and the packetized voice data and video data are transmitted from the other device. Data communication apparatuses that perform real-time communication in both directions by receiving them have been put into practical use.
この種のデータ通信装置では、音声データや映像データがそれぞれ複数のパケットに分割され、ネットワークを介して順次送信されるが、帯域保証がなされていない経路で伝送される場合には、データの消失やデータ伝送時間のずれなどの発生により、音声データ、映像データがリアルタイムに送受信できず、また音声と映像の再生の同期タイミングが乱れることがある。 In this type of data communication device, audio data and video data are each divided into a plurality of packets and transmitted sequentially over the network. However, if the data is transmitted through a route with no bandwidth guarantee, the data is lost. Due to occurrence of a shift in data transmission time or the like, audio data and video data cannot be transmitted and received in real time, and synchronization timing of audio and video reproduction may be disturbed.
異なるパケットの送受信におけるリアルタイム性と同期タイミングのずれは本質的に相反するトレードオフの関係にあり、両者の完全な両立は不可能である。 The real-time property and the synchronization timing shift in the transmission / reception of different packets are essentially in a trade-off relationship, and it is impossible to completely satisfy both.
特に音声データはパケットのサイズが小さいため、帯域保証がなされていない経路での伝送の影響が大きく、パケットの消失、遅延によってリアルタイム性が悪化し、音声のとぎれが発生することがある。 In particular, since audio data has a small packet size, the influence of transmission on a route for which bandwidth is not guaranteed is large, and real-time performance may be deteriorated due to packet loss and delay, and audio interruption may occur.
また、利用者は音声、映像の双方向のリアルタイム通信では映像の品質よりも音声の品質とリアルタイム性を利便性として重視している。 In addition, in the two-way real-time communication of audio and video, the user places more importance on the audio quality and the real-time property than the video quality as convenience.
これらの問題を解決するために、受信端末がパケット損失又はパケットのゆらぎが一定値を超えたことを認識すると、送信端末にデータ量変更要求パケットを送出し、データ量の変更を行うことにより、リアルタイム通信時に受信端末が送信端末からの受信データを制御して、音切れや画像の乱れを発生させることなく、かつリアルタイム通信を可能とする技術が知られている(特許文献1参照)。
しかしながら、上記従来の技術では以下のような問題が生じる。上記特許文献1に記載の技術では、受信端末側から送信端末に対して、送信データ量の変更を要求し、送信端末側は送信する音声パケットのパケットサイズの変更、符号化方式の変更、映像のフレームレート、画質パラメータのなどの変更により送信データ量を減らす制御を行う場合がある。 However, the following problems occur in the above conventional technique. In the technique described in Patent Document 1, the receiving terminal side requests the transmitting terminal to change the transmission data amount, and the transmitting terminal side changes the packet size of the voice packet to be transmitted, changes the encoding method, video There are cases where control is performed to reduce the amount of transmission data by changing the frame rate, image quality parameter, and the like.
前記制御は、符号化方式の変更による音質の劣化、フレームレート、画質パラメータの変更による映像品質の低下などをもたらし、利用者に音声、映像のリアルタイム通信のパフォーマンスに不満足感を与えてしまい、十分な課題解決にはなっていなかった。 The above-mentioned control causes deterioration in sound quality due to changes in the encoding method, degradation in video quality due to changes in the frame rate and image quality parameters, etc., and gives users dissatisfaction with the performance of real-time communication of audio and video. The problem was not solved.
本発明は、このような従来の課題を解決するものであり、音声データと映像データの双方向のリアルタイム通信において、音声データのリアルタイム性を損なわず、かつ音声データと映像データの同期タイミングの乱れを抑制し、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えないことを目的とする。 The present invention solves such a conventional problem, and in two-way real-time communication between audio data and video data, the real-time property of the audio data is not impaired, and the synchronization timing of the audio data and the video data is disturbed. The purpose is to prevent the user from being dissatisfied with the communication performance due to the deterioration of the sound quality and the video quality due to the decrease in the data amount of the packet.
本発明は、上記目的を達成するために、請求項1に示すとおり、パケット化された音声データ及び映像データを双方向に送受信するデータ通信システムであって、音声パケット送信時刻情報を音声パケット及び映像パケットに付加し順次送信するパケット送信部と受信した音声パケットと映像パケットの2つの音声パケット送信時刻情報を比較し、等しい場合は映像データを再生し、映像パケットの前記音声パケット送信時刻情報が遅い場合は映像データを破棄し、音声パケットの前記音声パケット送信時刻情報が遅い場合は映像パケットをバッファリングするパケット受信部を備えた装置を備えた構成とした。 In order to achieve the above object, the present invention provides a data communication system for bidirectionally transmitting and receiving packetized audio data and video data, as shown in claim 1, wherein the audio packet transmission time information is converted into an audio packet and The packet transmission unit that is added to the video packet and sequentially transmits the received audio packet and the audio packet transmission time information of the video packet are compared. If they are equal, the video data is reproduced, and the audio packet transmission time information of the video packet is When late, the video data is discarded, and when the audio packet transmission time information of the audio packet is late, an apparatus including a packet receiving unit that buffers the video packet is provided.
このような本発明によれば、音声と映像の双方向リアルタイム通信を行うに際し、音声送信時刻情報が音声パケットと映像パケットの2つのパケットで独立に順次送信され、受信側では2つのパケットの音声送信時刻情報を比較し、等しい場合は映像データを再生し、映像パケットの前記音声パケット送信時刻情報が遅い場合は映像データを破棄し、音声パケットの前記音声パケット送信時刻情報が遅い場合は映像データの再生を遅らせることができるので、音声データのリアルタイム性を損なわず、また、音声データと映像データの同期タイミングの乱れを抑制し、かつ、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えないという効果を奏する。 According to the present invention, when performing bidirectional real-time communication between audio and video, the audio transmission time information is independently and sequentially transmitted in two packets, that is, an audio packet and a video packet. Compare transmission time information, if equal, play video data, discard video data if the audio packet transmission time information of the video packet is late, discard video data if the audio packet transmission time information of the audio packet is late Playback can be delayed, so that the real-time nature of the audio data is not impaired, the disturbance of the synchronization timing of the audio data and the video data is suppressed, and the sound quality and video quality due to the decrease in the amount of packet data are reduced. There is an effect that the user is not dissatisfied with the communication performance due to deterioration or the like.
本発明においては、データ通信端末装置が、音声データの送信時刻情報を音声パケット及び映像パケットの2つのパケットに付加し順次送信するパケット送信部と前記2つのパケットを受信する受信部と前記2つのパケットに含まれる音声データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報と実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを破棄し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングするいずれかの処理を行う制御部とを備えた構成を特徴とする音声動画通信システムを有する。 In the present invention, the data communication terminal device adds the transmission time information of the audio data to the two packets of the audio packet and the video packet and sequentially transmits the packet transmitting unit, the receiving unit that receives the two packets, and the two A comparison unit that compares each transmission time information of audio data included in the packet, and, as a result of comparison by the comparison unit, if the time information is substantially the same as the transmission time information, the received audio data and video data If the transmission time information added to the video packet is time information delayed from the transmission time information added to the audio packet, the received audio data is reproduced. The received video data is discarded, and the transmission time information added to the video packet is the audio packet. In the case of time information earlier than the transmission time information added to the network, it is determined that the received audio data and video data are not synchronized, and any processing for buffering the received video data is performed. An audio video communication system characterized by a configuration including a control unit.
これにより、音声送信時刻情報が音声パケットと映像パケットの2つのパケットで独立に送信され、受信側では2つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いか、簡易かつ高速に判定して、映像データを再生するよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。 As a result, the audio transmission time information is independently transmitted in two packets of an audio packet and a video packet. On the receiving side, the arrival time of the video packet is compared by comparing the transmission time information of the two packets. It can be determined whether it is the same or early or late, simply and at high speed, and it plays back video data, and it can suppress the disturbance of the synchronization timing of audio data and video data without impairing the real time property of audio data, In addition, the user is not dissatisfied with the communication performance due to the deterioration of the sound quality and video quality due to the decrease in the amount of packet data.
また、データ通信端末装置は、音声データの送信時刻情報を音声パケット及び映像パケットの2つのパケットに付加し順次送信するパケット送信部と前記2つのパケットを受信する受信部と前記2つのパケットに含まれる音声データの送信時刻情報それぞれを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報と実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを破棄し、映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングするいずれかの処理を行う制御部とを、備えた構成としてもよい。 In addition, the data communication terminal device includes the packet transmission unit that sequentially transmits the transmission time information of the audio data to the two packets of the audio packet and the video packet, the reception unit that receives the two packets, and the two packets. When the time information is substantially the same as the transmission time information as a result of comparison by the comparison unit that compares the transmission time information of the audio data to be transmitted and the comparison unit, the received audio data and the video data are synchronized. When the received video data is reproduced after the received video is reproduced and the transmission time information added to the video packet is later than the transmission time information added to the audio packet, the received audio data and video data Discards the received video data because it is determined that it is not synchronized with the video, and sends the transmission time information added to the video packet to the audio packet. If the received time information is earlier than the transmitted time information, the control unit performs any process of buffering the received video data by determining that the received audio data and video data are not synchronized. It is good also as a structure provided.
これによっても、音声送信時刻情報が音声パケットと映像パケットの2つのパケットで独立に送信され、受信側では2つのパケットの送信時刻情報の比較することにより、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いか、簡易かつ高速に判定して、映像データを再生するよう作用させ、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制でき、かつ、パケットのデータ量の減少による音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えなくなる。 Even in this case, the audio transmission time information is independently transmitted in the two packets of the audio packet and the video packet, and the arrival time of the video packet is reached by comparing the transmission time information of the two packets on the receiving side. Whether it is the same as the time, or early or late, can be easily and quickly determined to play back the video data, and the real-time performance of the audio data can be reduced without disturbing the synchronization timing of the audio data and video data. In addition, the user will not be dissatisfied with the communication performance due to the deterioration of the sound quality and video quality due to the decrease in the amount of packet data.
さらに、データ通信端末装置が、少なくとも、音声データとこの音声データの送信時刻情報を含む音声パケットを順次送受信する電話装置と、映像データと前記音声データの送信時刻情報を含む映像パケットを順次送受信するTVアダプタを備え、前記電話装置には、自分側電話装置から相手側電話装置に送信した音声パケットに含まれる音声データの送信時刻情報Aと、相手側電話装置から受信した音声パケットに含まれる音声データの送信時刻情報B1とを自分側TVアダプタに通知する音声通信制御部を備え、前記TVアダプタには、自分側電話装置から送信されてきた前記音声データの送信時刻情報のうち、送信時刻情報Aを含む映像パケットを相手側TVアダプタに送信する送信部と、相手側TVアダプタで前記と同様にして作られた音声データの送信時刻情報B2を含む映像パケットを受信する受信部と、前記送信時刻情報B1と前記送信時刻情報B2とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報B1が前記送信時刻情報B2と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報B2が前記送信時刻情報B1より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを破棄し、前記送信時刻情報B2が前記送信時刻情報B1より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部とを備え、これらの機能を備えたデータ通信端末装置の間で、通信ネットワークを介して音声データと映像データを対話的に送受信することを、特徴とする音声動画通信システムとしてもよい。 Further, the data communication terminal apparatus sequentially transmits and receives at least the audio data and the audio packet including the transmission time information of the audio data, and the video packet including the video data and the transmission time information of the audio data. A TV adapter is provided, and the telephone device includes transmission time information A of voice data included in a voice packet transmitted from the local telephone device to the remote telephone device, and voice included in a voice packet received from the remote telephone device. A voice communication control unit for notifying the own TV adapter of the data transmission time information B1 is included, and the TV adapter includes transmission time information among the transmission time information of the voice data transmitted from the own telephone device. A transmission unit that transmits a video packet including A to the partner TV adapter, and the partner TV adapter. As a result of the comparison by the receiving unit that receives the video packet including the transmission time information B2 of the audio data, the comparison unit that compares the transmission time information B1 and the transmission time information B2, the transmission time information When B1 is substantially the same time information as the transmission time information B2, the received video is determined to be synchronized with the received audio data, and the received video is reproduced, and the transmission time information B2 is the transmission time information. In the case of time information later than B1, it is determined that the received audio data is not synchronized and the received video data is discarded. When the transmission time information B2 is time information earlier than the transmission time information B1, And a control unit that performs any of the processes for determining that the received audio data is not synchronized with the received audio data and buffering the video data. Between the communication terminal device, to interactively transmit and receive audio data and video data via a communications network may be a voice video communication system according to claim.
これにより、ローカルネットワーク上のTVアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生処理することにより、利用者は2つの端末を異なる設置場所で使用できる。 Thus, the user can use the two terminals at different installation locations by performing video shooting and playback processing with the TV adapter on the local network and voice input and playback processing with the telephone device.
さらに、データ通信端末装置は、少なくとも、音声データとこの音声データの送信時刻情報を含む音声パケットを順次送受信する電話装置と、映像データと前記音声データの送信時刻情報を含む映像パケットを順次送受信するTVアダプタを備え、前記電話装置には、自分側電話装置から相手側電話装置に送信した音声パケットに含まれる音声データの送信時刻情報Aと、相手側電話装置から受信した音声パケットに含まれる音声データの送信時刻情報B1とを自分側TVアダプタに通知する音声通信制御部を備え、前記TVアダプタには、自分側電話装置から送信されてきた前記音声データの送信時刻情報のうち、送信時刻情報Aを含む映像パケットを相手側TVアダプタに送信する送信部と、相手側TVアダプタで前記と同様にして作られた音声データの送信時刻情報B2を含む映像パケットを受信する受信部と、前記送信時刻情報B1と前記送信時刻情報B2とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報B1が前記送信時刻情報B2と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報B2が前記送信時刻情報B1より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを破棄し、前記送信時刻情報B2が前記送信時刻情報B1より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部とを、備えた構成にしてもよい。 Furthermore, the data communication terminal device sequentially transmits / receives at least audio data and a voice packet including transmission time information of the audio data sequentially, and a video packet including video data and transmission time information of the audio data. A TV adapter is provided, and the telephone device includes transmission time information A of voice data included in a voice packet transmitted from the local telephone device to the remote telephone device, and voice included in a voice packet received from the remote telephone device. A voice communication control unit for notifying the own TV adapter of the data transmission time information B1 is included, and the TV adapter includes transmission time information among the transmission time information of the voice data transmitted from the own telephone device. A transmission unit that transmits a video packet including A to the partner TV adapter, and the partner TV adapter. As a result of the comparison by the receiving unit that receives the video packet including the transmission time information B2 of the audio data, the comparison unit that compares the transmission time information B1 and the transmission time information B2, the transmission time information When B1 is substantially the same time information as the transmission time information B2, the received video is determined to be synchronized with the received audio data, and the received video is reproduced, and the transmission time information B2 is the transmission time information. In the case of time information later than B1, it is determined that the received audio data is not synchronized, and the received video data is discarded. When the transmission time information B2 is time information earlier than the transmission time information B1, It may be configured to include a control unit that performs any of the processes for determining that the received audio data is not synchronized with the received audio data and buffering the video data.
これにより、ローカルネットワーク上のTVアダプタで映像の撮影、再生処理を行い、電話装置で音声の入力、再生することにより、利用者は2つの端末を異なる設置場所で使用できる。 As a result, the user can use the two terminals at different installation locations by performing video shooting and playback processing with the TV adapter on the local network and inputting and playing back sound with the telephone device.
さらに、データ通信端末装置が、少なくとも、音声データとこの音声データの送信時刻情報を含む音声パケットを順次送受信する電話装置と、映像データと前記音声データの送信時刻情報を含む映像パケットを順次送受信するTVアダプタを備え、前記電話装置には、自分側電話装置から相手側電話装置に送信した音声パケットに含まれる音声データの送信時刻情報Aと、相手側電話装置から受信した音声パケットに含まれる音声データの送信時刻情報B1とを自分側TVアダプタに通知する音声通信制御部を備え、前記TVアダプタには、自分側電話装置から送信されてきた前記音声データの送信時刻情報のうち、送信時刻情報Aを含む映像パケットを相手側TVアダプタに送信する送信部と、相手側TVアダプタで前記と同様にして作られた音声データの送信時刻情報B2を含む映像パケットを受信する受信部と、前記送信時刻情報B1と前記送信時刻情報B2とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報B1が前記送信時刻情報B2と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報B2が前記送信時刻情報B1より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを破棄し、前記送信時刻情報B2が前記送信時刻情報B1より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部とを備え、所定の回数の音声パケット受信毎に、前記電話装置から前記TVアダプタへ前記音声データの送信時刻情報を通知することを、特徴とする音声動画通信システムとしてもよい。 Further, the data communication terminal apparatus sequentially transmits and receives at least the audio data and the audio packet including the transmission time information of the audio data, and the video packet including the video data and the transmission time information of the audio data. A TV adapter is provided, and the telephone device includes transmission time information A of voice data included in a voice packet transmitted from the local telephone device to the remote telephone device, and voice included in a voice packet received from the remote telephone device. A voice communication control unit for notifying the own TV adapter of the data transmission time information B1 is included, and the TV adapter includes transmission time information among the transmission time information of the voice data transmitted from the own telephone device. A transmission unit that transmits a video packet including A to the partner TV adapter, and the partner TV adapter. As a result of the comparison by the receiving unit that receives the video packet including the transmission time information B2 of the audio data, the comparison unit that compares the transmission time information B1 and the transmission time information B2, the transmission time information When B1 is substantially the same time information as the transmission time information B2, the received video is determined to be synchronized with the received audio data, and the received video is reproduced, and the transmission time information B2 is the transmission time information. In the case of time information later than B1, it is determined that the received audio data is not synchronized, and the received video data is discarded. When the transmission time information B2 is time information earlier than the transmission time information B1, A predetermined number of audio packets, and a control unit that performs any of the processes by determining that the received audio data is not synchronized with the received audio data and buffering the video data. Each signal, to notify the sending time information of the audio data to the TV adapter from the telephone device may be a voice video communication system according to claim.
これにより、本機能の処理負荷が軽減され、処理速度の低いCPUを使用できる。 Thereby, the processing load of this function is reduced and a CPU with a low processing speed can be used.
さらに、データ通信端末装置は、少なくとも、音声データとこの音声データの送信時刻情報を含む音声パケットを順次送受信する電話装置と、映像データと前記音声データの送信時刻情報を含む映像パケットを順次送受信するTVアダプタを備え、前記電話装置には、自分側電話装置から相手側電話装置に送信した音声パケットに含まれる音声データの送信時刻情報Aと、相手側電話装置から受信した音声パケットに含まれる音声データの送信時刻情報B1とを自分側TVアダプタに通知する音声通信制御部を備え、前記TVアダプタには、自分側電話装置から送信されてきた前記音声データの送信時刻情報のうち、送信時刻情報Aを含む映像パケットを相手側TVアダプタに送信する送信部と、相手側TVアダプタで前記と同様にして作られた音声データの送信時刻情報B2を含む映像パケットを受信する受信部と、前記送信時刻情報B1と前記送信時刻情報B2とを比較する比較部と、前記比較部によって比較した結果、前記送信時刻情報B1が前記送信時刻情報B2と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、前記送信時刻情報B2が前記送信時刻情報B1より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを破棄し、前記送信時刻情報B2が前記送信時刻情報B1より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする、いずれかの処理を行う制御部とを備え、所定の回数の音声パケット受信毎に、前記電話装置から前記TVアダプタへ前記音声データの送信時刻情報を通知する構成としてもよい。 Furthermore, the data communication terminal device sequentially transmits / receives at least audio data and a voice packet including transmission time information of the audio data sequentially, and a video packet including video data and transmission time information of the audio data. A TV adapter is provided, and the telephone device includes transmission time information A of voice data included in a voice packet transmitted from the local telephone device to the remote telephone device, and voice included in a voice packet received from the remote telephone device. A voice communication control unit for notifying the own TV adapter of the data transmission time information B1 is included, and the TV adapter includes transmission time information among the transmission time information of the voice data transmitted from the own telephone device. A transmission unit that transmits a video packet including A to the partner TV adapter, and the partner TV adapter. As a result of the comparison by the receiving unit that receives the video packet including the transmission time information B2 of the audio data, the comparison unit that compares the transmission time information B1 and the transmission time information B2, the transmission time information When B1 is substantially the same time information as the transmission time information B2, the received video is determined to be synchronized with the received audio data, and the received video is reproduced, and the transmission time information B2 is the transmission time information. In the case of time information later than B1, it is determined that the received audio data is not synchronized, and the received video data is discarded. When the transmission time information B2 is time information earlier than the transmission time information B1, A predetermined number of audio packets, and a control unit that performs any of the processes by determining that the received audio data is not synchronized with the received audio data and buffering the video data. Each signal may be configured to notify the transmission time information of the audio data to the TV adapter from the telephone device.
これによっても、本機能の処理負荷が軽減される、処理速度の低いCPUを使用できる。 This also makes it possible to use a CPU with a low processing speed that reduces the processing load of this function.
以下、本発明の実施例における音声動画通信システムについて図面を参照しながら説明する。 Hereinafter, an audio video communication system according to an embodiment of the present invention will be described with reference to the drawings.
図1は、本発明の実施例の音声動画通信システム100の構成図である。音声動画通信システム100は、自分側音声動画通信装置112と相手側音声動画通信装置113がインターネット106によって接続され構成されている。
FIG. 1 is a configuration diagram of an audio
なお、本実施例では音声動画通信装置112,113は、IPテレビ電話として実施されている。実施例のの構成に限らず3台以上の音声動画通信装置を接続してシステムを構成してもかまわない。
In this embodiment, the audio /
自分側音声動画通信装置112は、ルータ104の配下のLAN(または無線LAN)などのローカルネットワークに自分側TVアダプタ102と自分側IP電話103を接続し、自分側TVアダプタ102は映像の送受信を行い、自分側IP電話103は音声の送受信を行う。TV101は、自分側TVアダプタ102に接続され動画表示をするテレビである。ルータ104の上位にはモデム105があり、インターネット106を介して相手側の音声動画通信装置113へと接続される。
The own-side audio-
相手側音声動画通信装置113は、ルータ108の配下のLAN(または無線LAN)などのローカルネットワークに相手側TVアダプタ110と相手側IP電話109が接続し、相手側TVアダプタ110は映像の送受信を行い、相手側IP電話109は音声の送受信を行う。TV111は、相手側TVアダプタ110に接続され動画表示をするテレビである。ルータ108の上位にはモデム107があり、インターネット106を介して自分側の音声動画通信装置112へと接続される。
In the other party audio
図2は、図1の音声動画通信システム100で用いられる自分側TVアダプタ102の構成を示すブロック図である。なお相手側TVアダプタ110も同様の構成を備える。
FIG. 2 is a block diagram showing the configuration of the
図2において、自分側TVアダプタ102は、ネットワークインターフェース201、カメラ202、映像通信制御部203、映像コーデック204、表示制御部205、表示出力部206、システム制御部207、リモコン制御部208により主に構成されている。
In FIG. 2, the
ネットワークインターフェース201は、ルータ104及び自分側IP電話103にLAN(または無線LAN)などのローカルネットワークで接続するインターフェースである。映像データ送信の際は、カメラ202で撮影された映像データは、映像コーデック204で圧縮符号化される。
The
圧縮符号化された映像データは、映像通信制御部203で映像パケット化処理され、映像パケット400(詳細は図4で後述)はネットワークインターフェース201からインターネット106を介して相手側音声動画通信装置113へ送信される。
The compressed and encoded video data is processed into a video packet by the video
また、映像データ受信の際は、映像パケット400は、相手側音声動画通信装置113の相手側TVアダプタ110からインターネット106を介してネットワークインターフェース201で受信される。
When receiving video data, the
受信した映像パケット400は、映像通信制御部203においてパケット解析・分解・バッファリング処理され、映像コーデック204で伸張復号化され、表示制御部205でフレーム表示するため合成処理され、表示出力部206を介してTV101で相手側の映像が再生表示される。
The received
また、リモコン制御部208は、リモコンを用いて自分側TVアダプタ102を操作し、システム制御部207は自分側TVアダプタ102全体の制御を行う。カメラ202で自分側の映像を表示出力部206から表示させることも可能である。
In addition, the remote
図3は、音声動画通信システム100で用いられる自分側IP電話103の構成を示すブロック図である。なお相手側IP電話109も同様の構成を備える。
FIG. 3 is a block diagram showing the configuration of the
図3において、自分側IP電話103は、ネットワークインターフェース301、音声通信制御部302、音声制御部303、表示制御部304、LCD305、システム制御部306、受話器307により主に構成されている。
In FIG. 3, the
ネットワークインターフェース301は、ルータ104及び自分側TVアダプタ102にLAN(または無線LAN)などのローカルネットワークで接続するインターフェースである。電話音声発信の際は受話器307から入力された音声データは音声制御部303で圧縮符号化される。
The
圧縮符号化された音声データは、音声通信制御部302で音声パケット化処理され、音声パケット1100(詳細は図11で後述)はネットワークインターフェース301からインターネット106を介して相手側音声動画通信装置113へ送出される。
The audio data that has been compression-encoded is processed into an audio packet by the audio
また、電話音声受信の際、音声パケット1100は相手側音声動画通信装置113の相手側IP電話109からインターネット106を介してネットワークインターフェース301で受信される。
At the time of telephone voice reception, the
受信した音声パケット1100は、音声通信制御部302でパケット解析・分解・バッファリング処理され、音声制御部303で伸張復号化され、受話器307から音声が出力される。システム制御部306では自分側IP電話103全体の制御を行う。
The received
表示制御部204は、IP電話の設定、状態などの表示処理を行い、LCD305で表示を行う。
The
図11は、自分側IP電話103と相手側IP電話109の間で送受信される音声パケット1100の構成図である。
FIG. 11 is a configuration diagram of a
音声パケット1100は、リアルタイム通信で用いられる、IETFのRFC1889標準準拠のRTP(リアルタイムプロトコル)パケット構成を備えている。具体的にはRTPヘッダ1101、タイムスタンプ1102、SSRC識別子1103、CSRC識別子1104、ペイロードヘッダ(音声)1105、ペイロードデータ(音声)1106から構成される。
The
音声パケット1100は、図3に示した自分側IP電話103の音声通信制御部302で送信時に生成され、受信時に解析・分解される。なお、IP電話109においても音声パケットは同様に処理される。
The
タイムスタンプ1102には、音声パケット1100の送信時刻情報が搭載されている。なお、音声パケットの送信時刻情報であるタイムスタンプ1102は、自分側音声動画通信装置112から相手側音声動画通信装置113に送信されるものを音声タイムスタンプ1102Aとし、相手側音声動画通信装置113から自分側音声動画通信装置112に送信されるものを音声タイムスタンプ1102Bと定め、以降の説明で用いる。
The
図4は、自分側TVアダプタ102と相手側TVアダプタ110の間で送受信される映像パケット400の構成図である。
FIG. 4 is a configuration diagram of a
映像パケット400は、リアルタイム通信で用いられる、RTP(リアルタイムプロトコル)パケットをヘッダ拡張した構成を備えている。具体的にはRTPヘッダ401、タイムスタンプ402、SSRC識別子403、CSRC識別子404、ペイロードヘッダ(映像)405、ペイロードデータ(映像)406に音声送信時刻情報用ヘッダ拡張407(詳細は図5で後述)が追加されて構成されている。
The
タイムスタンプ402には、映像パケット400の送信時刻情報が搭載されている。音声送信時刻情報用ヘッダ拡張407はRTPパケットの標準準拠ではない拡張情報であり、音声パケット1100の送信時刻情報が搭載されている。
In the time stamp 402, transmission time information of the
図5は、図4の音声送信時刻情報用ヘッダ拡張407の構成図である。
FIG. 5 is a block diagram of the voice transmission time
音声送信時刻情報用ヘッダ拡張407は、音声送信時刻情報用ヘッダ拡張の識別子であるデータタイプ及び音声送信時刻情報用ヘッダ拡張407のバイト数を示すデータ長501と音声パケット1100の送信時刻情報である音声タイムスタンプ502から構成されている。
The voice transmission time
すなわち、前記送信時刻情報は図11の音声パケット1100のタイムスタンプ1102に搭載した送信時刻発信情報と等しい値が設定される。
That is, the transmission time information is set to a value equal to the transmission time transmission information mounted on the
映像パケット400は、図2に示した自分側TVアダプタ102及び相手側TVアダプタ103の映像通信制御部203で送信時に生成され、受信時に解析・分解される。
The
なお、説明の便宜上、映像パケット400の音声送信時刻情報用ヘッダ拡張407に含まれる音声パケット1100の送信時刻情報である音声タイムスタンプ502は、自分側音声動画通信装置112から相手側音声動画通信装置113へ送信されるものを音声タイムスタンプ502Aとし、相手側音声動画通信装置113から自分側音声動画通信装置112へ送信されるものを502Bと定め、以降の説明で用いる。
For convenience of explanation, the
図6は、自分側IP電話103から自分側TVアダプタ102へ通知される自分側タイムスタンプ用パケット600の構成図である。
FIG. 6 is a configuration diagram of the own
自分側タイムスタンプ用パケット600は、自分側タイムスタンプ用パケット600の識別子であるデータタイプ及びタイムスタンプ用パケットのバイト数を示すデータ長601、自分側IP電話103から相手側IP電話109へ送信した音声パケット1100の送信時刻情報である音声パケット(送信)の音声タイムスタンプ602(設定値は前記図11で説明した1102Aに等しい)、自分側IP電話103が相手側IP電話109から受信した、相手側IP電話109が自分側のIP電話103へ送信した音声パケット1100の送信時刻情報である音声パケット(受信)の音声タイムスタンプ603(設定値は前記図11で説明した1102Bに等しい)から構成されている。
The own
自分側タイムスタンプ用パケット600は、自分側IP電話103の音声通信制御部302で生成、送出され、自分側TVアダプタ102の映像通信制御部203で受信され解析・分解されて後述する映像データの再生時に用いられる(詳細は図7にて後述)。
The self-
図10は、相手側IP電話109から相手側TVアダプタ110へ通知される相手側タイムスタンプ用パケット1000の構成図である。
FIG. 10 is a configuration diagram of the counterpart
相手側タイムスタンプ用パケット1000は、相手側タイムスタンプ用パケット1000の識別子であるデータタイプ及びタイムスタンプ用パケットのバイト数を示すデータ長1001、相手側IP電話109から自分側IP電話103へ送信した音声パケット1100の送信時刻情報である音声パケット(送信)の音声タイムスタンプ1002(設定値は前記図11で説明した1102Bに等しい)、相手側IP電話109が自分側IP電話103へ送信した音声パケット1100の送信時刻情報である音声パケット1003(設定値は前記図11で説明した1102Aに等しい)から構成されている。
The counterpart
相手側タイムスタンプ用パケット1000は、自分側タイムスタンプ用パケット600と同様に、相手側IP電話109で生成、送出され、相手側TVアダプタ110で受信され解析・分解されて後述する映像データの再生時に用いられる(詳細は図7にて後述)。
The counterpart
なお、図6と図10のパケット構成はフォーマットが同一であり、図6のパケット600は自分側音声動画通信装置112で用いられ、図10のパケット1000は相手側音声動画通信装置113で用いられているのが異なっている点である。
6 and FIG. 10 have the same format. The
次に図1のシステム100の構成において、自分側IP電話103及び109、自分側TVアダプタ102及び110の間で、音声データのリアルタイム性を損なわず、また、音声データと映像データの同期タイミングの乱れを抑制し、かつ、パケットのデータ量の減少に起因する音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えない動作を図7に示すシーケンス図を参照して説明する。
Next, in the configuration of the
図7は、音声動画通信システムの動作を説明するシーケンス図である。本シーケンスは、自分側データ通信装置112が備える映像通信制御部203及び音声通信制御部302と相手側データ通信装置113が備える図2、3と同様の映像制御通信部及び音声通信制御部との間で実施される。
FIG. 7 is a sequence diagram for explaining the operation of the audio video communication system. This sequence includes the video
自分側IP電話103は、ネットワーク接続が完了し、電源がオンされる(ステップS701)と、自分側TVアダプタ102に向けてペアリング要求のメッセージを継続的に発信する。自分側TVアダプタ102は、ネットワーク接続が完了し、電源がオンされると自分側IP電話103からのペアリング要求のメッセージに応答し、自分側IP電話103と自分側TVアダプタ102とのペアリングが確立する(ステップS701)。
When the network connection is completed and the power is turned on (step S701), the
相手側IP電話109と相手側TVアダプタ110でも同様の動作によりペアリングが確立する(ステップS702)。
The other
自分側IP電話103から受話器をオフフックして相手側IP電話109にダイヤルすると、標準呼制御プロトコルSIP呼制御通信により、INVITEメッセージを送出すると、相手側IP電話109が鳴動し、相手側IP電話109が200OKメッセージを自分側IP電話103へ応答することによって双方向に会話のできる音声通信が確立する(ステップS703)。
When the handset is off-hooked from its
前記SIP呼制御通信のSIPメッセージに含まれるSDP(セッション記述プロトコル)の映像パケット送受信の設定により、自分側TVアダプタ102と相手側TVアダプタ110の間の映像通信も確立する(ステップS704)。
Video communication between the
音声通信が確立すると、自分側IP電話103と相手側IP電話109との間で音声パケットの双方向通信が開始する。自分側IP電話103から相手側IP電話109へ音声タイムスタンプ1102A(前記図11の説明参照)を含む音声パケット1100を送信する(ステップS705)。
When the voice communication is established, two-way voice packet communication is started between the
同様に、相手側IP電話109から自分側IP電話103へ音声タイムスタンプ1102B(前記図11の説明参照)を含む音声パケット1100を送信する(ステップS706)。
Similarly,
次に、自分側IP電話103から自分側TVアダプタ102に相手側IP電話109へ送信した音声タイムスタンプ602(設定値は1102Aに等しい)と相手側IP電話109から受信した音声タイムスタンプ603(設定値は1102Bに等しい)を搭載した自分側タイムスタンプ用パケット600を自分側TVアダプタ102へ通知する(ステップS707)。
Next, the voice time stamp 602 (set value is equal to 1102A) sent from the
同様に、相手側IP電話109から相手側TVアダプタ110へ、自分側IP電話103から送信した音声タイムスタンプ1002(設定値は1102Bに等しい)と自分側IP電話103から受信した音声タイムスタンプ1003(設定値は1102Aに等しい)を含む相手側タイムスタンプ用パケット1000を相手側TVアダプタ110へ通知する(ステップS708)。
Similarly, the voice time stamp 1002 (set value is equal to 1102B) transmitted from the
映像通信が確立すると、自分側TVアダプタ102と相手側TVアダプタ110との間で映像パケットの双方向通信が開始する。自分側TVアダプタ102は、相手側TVアダプタ110へ音声タイムスタンプ502A(符号Aについては前記図5の説明を参照)を含む映像パケット400を送信する(ステップS709)。
When video communication is established, bi-directional communication of video packets between the
同様に、相手側TVアダプタ110は、自分側TVアダプタ102へ音声タイムスタンプ502B(符号Bについては前記図5の説明を参照)を含む映像パケット400を送信する(ステップS710)。
Similarly, the
以上の動作によって自分側TVアダプタ102は、音声送信時刻情報を映像パケット400が含む音声タイムスタンプ502B及び自分側タイムスタンプ用パケット600が含む音声タイムスタンプ603(設定値は1102Bに等しい)の2つの音声タイムスタンプを取得する。
With the above operation, the
前記2つの音声タイムスタンプにより、音声パケットと映像パケットの2つのパケットの到達時間の相対的な早さの判定の識別ができる。 With the two audio time stamps, it is possible to identify a determination of the relative speed of arrival time of two packets, that is, an audio packet and a video packet.
自分側TVアダプタ102では、前記2つの音声タイムスタンプの値を基準に、次の比較判定によりリップシンク再生(音声と声をだす唇の動きが同期した映像の再生)を行う。
(1)音声タイムスタンプ502Bが音声タイムスタンプ1102Bに等しいときは映像パケットと音声パケットの同期ずれがないと判断し、映像再生の処理を開始する。
(2)音声タイムスタンプ502Bが音声タイムスタンプ1102Bより大きいときは、映像パケットが音声パケットよりも遅れていると判断し、映像パケットは破棄して映像再生しない。
(3)音声タイムスタンプ502Bが音声タイムスタンプ1102Bより小さいときは、音声パケットが映像パケットよりも遅れていると判断し、映像パケットはバッファリングし、次の音声パケット到達時以降に、映像は音声とタイミングを同期させて再生する(ステップS711)。
The own-
(1) When the audio time stamp 502B is equal to the audio time stamp 1102B, it is determined that there is no synchronization deviation between the video packet and the audio packet, and the video reproduction process is started.
(2) When the audio time stamp 502B is larger than the audio time stamp 1102B, it is determined that the video packet is behind the audio packet, and the video packet is discarded and the video is not reproduced.
(3) When the audio time stamp 502B is smaller than the audio time stamp 1102B, it is determined that the audio packet is behind the video packet, the video packet is buffered, and the video is audio after the next audio packet arrives. And the timing is reproduced (step S711).
なお、音声のリアルタイム性を損なうことなく、かつ音声データと映像データの再生タイミングの乱れの抑制が本発明の目的であるため、前記(1)、(2)、(3)の判断処理における音声タイムスタンプの比較は厳密である必要はなく、例えば、比較において“ほぼ等しい”場合は“等しい”とするように、判定比較は所定の範囲のずれの許容値をもって行ってもかまわない。 Note that the purpose of the present invention is to suppress the disturbance of the reproduction timing of audio data and video data without impairing the real-time property of the audio, and therefore the audio in the determination processes (1), (2), and (3) described above. The comparison of the time stamps does not need to be strict, and for example, the determination comparison may be performed with a tolerance of deviation within a predetermined range so that it is “equal” when “substantially equal” in the comparison.
相手側TVアダプタ110でも、音声タイムスタンプ1102Aと音声タイムスタンプ502Aを基準に、自分側TVアダプタ102と同様のリップシンク再生を行う(ステップS712)。
The
次に、自分側IP電話103の動作について、図8に示すフローチャートを参照して説明する。図8は自分側IP電話103の動作を説明するフローチャートである。フローチャートは主に図3の音声通信制御部で実施される。なお、相手側IP電話109も同様のフローによって動作する。
Next, the operation of
自分側IP電話103のネットワーク接続が完了し、電源がオンされる(ステップS801)と自分側TVアダプタ102に向けてペアリング要求のメッセージを継続的に発信する。
When the network connection of the
自分側TVアダプタ102がペアリング要求に応答することで、自分側IP電話103と自分側TVアダプタ102とがペアリングが確立する(ステップS802)。
When the
自分側IP電話103から受話器307をオフフックして相手側IP電話109にダイヤルすると、SIP呼制御メッセージの通信により、INVITEメッセージを送出し、200OKメッセージの応答を受信することによって双方向に会話のできる音声通信が確立する(ステップS803)。
When the
音声通信が確立すると、自分側IP電話103は相手側IP電話109との間で音声パケットの双方向通信を開始する(ステップS804)。
When the voice communication is established, the
この際、自分側IP電話103は、音声タイムスタンプ1102Aを含む音声パケットを相手側IP電話109に送信する(ステップS805)。
At this time, the
また、自分側IP電話103は、相手側IP電話109から音声タイムスタンプ1102Bを含む音声パケット受信する(ステップS806)。
In addition,
次に、自分側IP電話103は、受信した音声を順次リアルタイムに再生する(ステップS807)。
Next, the
次に、自分側IP電話103から自分側TVアダプタ102へ相手側IP電話109から送信した音声タイムスタンプ602(設定値は1102Aに等しい)と相手側IP電話109から受信した音声タイムスタンプ603(設定値は1102Bに等しい)を含む自分側タイムスタンプ用パケット600を自分側TVアダプタ102に通知する(ステップS808)。
Next, the voice time stamp 602 (set value is equal to 1102A) transmitted from the
順次、音声パケットの送受信を行い、通話が終了すると音声通信は終了する(ステップS809)。 The voice packets are sequentially transmitted and received, and the voice communication ends when the call ends (step S809).
以上のように、自分側IP電話103では、前記ステップS808以外は標準準拠の呼制御の動作を行うものであり、音声通信制御部302における処理負担の増加は発生せず、これによってリアルタイム性を損なうものではない。
As described above, the
次に、自分側TVアダプタ102の動作について、図9に示すフローチャートを参照して説明する。図9は、自分側TVアダプタ102の動作を説明するフローチャートである。フローチャートは、主に図2の映像通信制御部203で実施される。なお、相手側TVアダプタ110も同様のフローによって動作する。
Next, the operation of the
自分側TVアダプタ102は、ネットワーク接続が完了し、電源がオンされる(ステップS901)と自分側IP電話103からのペアリング要求のメッセージに応答し、自分側IP電話103と自分側TVアダプタ102とペアリングが確立する(ステップS902)。
When the network connection is completed and the power is turned on (step S901), the own-
図7で説明したように、自分側IP電話103が相手側IP電話109と呼制御により音声通信を確立すると、自分側TVアダプタ102は相手側TVアダプタ110との間で映像通信が確立し(ステップS903)、映像パケットの双方向通信を開始する(ステップS904)。
As described with reference to FIG. 7, when the
自分側TVアダプタ102は、自分側IP電話103から相手側IP電話109に送信した音声タイムスタンプ602(設定値は1102Aに等しい)と相手側IP電話109から受信した音声タイムスタンプ603(設定値は1102Bに等しい)を搭載した自分側タイムスタンプ用パケット600を受信する(ステップS905)。
The
自分側TVアダプタ102は、相手側TVアダプタ110へ音声タイムスタンプ502A(符号Aについては前記図5の説明を参照)を含む映像パケット400を送信する(S906)。
The own-
また、自分側TVアダプタ102は、相手側TVアダプタ110から音声タイムスタンプ502B(符号Bについては前記図5の説明を参照)を含む映像パケット400を受信する(ステップS907)。
In addition, the
以上の動作によって、自分側TVアダプタ102は、映像パケット400が含む音声タイムスタンプ502B及び自分側タイムスタンプ用パケット600が含む音声タイムスタンプ603(設定値は1102Bに等しい)の2つの音声タイムスタンプを得る。
As a result of the above operation, the own-
前記2つの音声タイムスタンプにより、音声パケットと映像パケットの2つのパケットの到達時間の相対的な早さを判定できる。 Based on the two audio time stamps, it is possible to determine a relative speed of arrival time of two packets of the audio packet and the video packet.
自分側TVアダプタ102は、音声タイムスタンプ502Bが音声タイムスタンプ1102Bに等しいか比較を行う(ステップS908)。
The
自分側TVアダプタ102は、ステップS908の判定結果で音声タイムスタンプ502Bが音声タイムスタンプ1102Bに等しいときは、映像パケットと音声パケットの同期ずれがないと判断し、映像再生の処理を開始する(ステップS909)。
When the audio time stamp 502B is equal to the audio time stamp 1102B as a result of the determination in step S908, the
ステップS908でそれが等しくない場合は、自分側TVアダプタ102は音声タイムスタンプ502Bが音声タイムスタンプ1102Bより大きいか比較を行う(ステップS910)。
If they are not equal in step S908, the
自分側TVアダプタ102は、音声タイムスタンプ502Bが音声タイムスタンプ1102Bより大きいときは、映像パケットが音声パケットよりも遅れていると判断し、映像パケットは破棄して映像再生しない(ステップS911)。
When the audio time stamp 502B is larger than the audio time stamp 1102B, the own-
自分側TVアダプタ102は、ステップS910の判定結果で音声タイムスタンプ502Bが音声タイムスタンプ1102Bより小さいときは、音声パケットが映像パケットよりも遅れていると判断し、映像パケットはバッファリングし、次の音声パケット到達以降に音声に同期させ映像再生する(ステップS912)。
When the audio time stamp 502B is smaller than the audio time stamp 1102B in the determination result in step S910, the own-
順次、映像パケットの送受信を行い、映像通信は終了する(ステップS913)。 The video packets are sequentially transmitted and received, and the video communication ends (step S913).
なお、シーケンス図の説明でも説明したように、上記ステップS908,S910の比較は所定の許容幅をもって行ってもかまわない。 As described in the description of the sequence diagram, the comparison of steps S908 and S910 may be performed with a predetermined tolerance.
以上の実施例で説明したように、帯域保証のないインターネットにおいてリアルタイムに双方向の通話を行うIPテレビ電話の実現において、音声を送受信するIP電話は本実施例でのパケット処理の大きな負荷増大はなく、リアルタイム性を損なうことはない。 As described in the above embodiments, in the realization of an IP videophone that performs a two-way call in real time on the Internet without bandwidth guarantee, the IP phone that transmits and receives voices does not significantly increase the load of packet processing in this embodiment. And real-time performance is not impaired.
さらに、映像を送受信するTVアダプタは、音声パケットと映像パケットの2つのパケットで独立に受信された、音声送信時刻情報の比較により、映像パケットの到達時間が音声パケットの到達時間と同じか、あるいは早いか遅いかを判定し、映像データを再生制御するので、簡易かつ高速に音声との同期ずれを抑制することが可能となる。 Further, the TV adapter for transmitting and receiving video may receive the same time as the arrival time of the audio packet by comparing the audio transmission time information received independently in the two packets of the audio packet and the video packet, or Since it is determined whether it is early or late, and video data is reproduced and controlled, it is possible to suppress synchronization deviation with audio easily and at high speed.
また、送受信するパケットのデータ量を減少させることはないので、音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えることなく音声、映像が再生できる。 Further, since the amount of data of packets to be transmitted / received is not reduced, it is possible to reproduce audio and video without giving the user unsatisfactory communication performance due to deterioration of sound quality and video quality.
本発明を実施例に基づいて詳細に説明したが、これらの実施例はあくまでも例示であって、本発明は実施例によって限定されるものではない。本実施例ではIP電話とTVアダプタを分離したが、IP電話とTVアダプタを一体化しても同様の効果が得られる。 Although the present invention has been described in detail based on examples, these examples are merely examples, and the present invention is not limited to the examples. In this embodiment, the IP phone and the TV adapter are separated, but the same effect can be obtained by integrating the IP phone and the TV adapter.
さらに、本実施例では、パケットの受信毎に音声パケット発信時刻情報を基準にした映像再生の比較判定をしたが、IP電話及びTVアダプタの具備するメモリ、CPU処理能力に応じ、パケットの受信毎でなく、所定の間隔で音声パケット発信時刻情報を基準にした映像再生の比較判定をしても同様の効果が得られる。 Further, in this embodiment, the video reproduction comparison determination is performed based on the voice packet transmission time information every time a packet is received. However, every time a packet is received according to the memory and CPU processing capability of the IP phone and the TV adapter. Alternatively, the same effect can be obtained by making a video reproduction comparison determination based on the voice packet transmission time information at predetermined intervals.
さらに、本実施例ではIP電話を電話機と一体化したが、IP電話をIP電話アダプタと電話機に分離して構成しても同様の効果が得られる。 Further, in this embodiment, the IP telephone is integrated with the telephone, but the same effect can be obtained even if the IP telephone is separated into the IP telephone adapter and the telephone.
さらに、本実施例では、TVアダプタはTVと分離したが、TVアダプタとTVを一体化しても同様の効果が得られる。 Further, in this embodiment, the TV adapter is separated from the TV, but the same effect can be obtained even if the TV adapter and the TV are integrated.
また、本実施例ではインターネット106、モデム105及び107、ルータ104及び108を備えていたが、インターネット106、モデム105及び107、ルータ104及び108、のいずれかを必要に応じ省き、自分側IP電話103及び相手側IP電話109、自分側TVアダプタ102及び相手側TVアダプタ110、テレビTV101及びTV111を同一IPアドレス空間のLAN等のネットワーク上に備えても同様の効果が得られる。
In this embodiment, the
本発明の音声動画通信装置は、LANやインターネット、IP通信網等のネットワークを介して音声と映像の双方向リアルタイム通信を行うに際し、音声データのリアルタイム性を損なわず、音声データと映像データの同期タイミングの乱れを抑制することが可能となり、送受信するパケットのデータ量を減少させることはないので、音質、映像品質の劣化などによる通信パフォーマンスの不満足感を利用者に与えることなく音声、映像が再生できるので、音声動画の双方向リアルタイムデータ通信装置及びそれを用いたシステムとして利用することが可能である。 The audio-video communication device of the present invention can synchronize audio data and video data without losing the real-time property of audio data when performing bidirectional real-time communication of audio and video via a network such as a LAN, the Internet, or an IP communication network. It is possible to suppress timing fluctuations and does not reduce the amount of packet data to be transmitted / received, so audio and video can be played without giving users dissatisfaction with communication performance due to degradation of sound quality and video quality. Therefore, the present invention can be used as a two-way real-time data communication device for audio / video and a system using the same.
100 音声動画通信システム
102 自分側TVアダプタ
103 自分側IP電話
109 相手側IP電話
110 相手側TVアダプタ
112 自分側音声動画通信装置
113 相手側音声動画通信装置
203 映像通信制御部
302 音声通信制御部
400 映像パケット
407 音声送信時刻情報用ヘッダ拡張
600 自分側タイムスタンプ用パケット
1000 相手側タイムスタンプ用パケット
1100 音声パケット
DESCRIPTION OF
Claims (6)
前記データ通信端末装置は、音声データの送信時刻情報を音声パケット及び映像パケットの2つのパケットに付加し順次送信するパケット送信部と
前記2つのパケットを受信する受信部と
前記2つのパケットに含まれる音声データの送信時刻情報それぞれを比較する比較部と、
前記比較部によって比較した結果、
前記送信時刻情報と実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、
映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを破棄し、
映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングする
いずれかの処理を行う制御部とを備え、
これらの機能を備えたデータ通信端末装置の間で、通信ネットワークを介して音声データと映像データを対話的に送受信することを、特徴とする音声動画通信システム。 In an audio / video communication system for transmitting and receiving audio data and video data bidirectionally between data communication terminal devices connected via a communication network,
The data communication terminal apparatus includes a packet transmitting unit that sequentially transmits audio data transmission time information added to two packets of an audio packet and a video packet, a receiving unit that receives the two packets, and the two packets. A comparison unit that compares each transmission time information of the audio data;
As a result of comparison by the comparison unit,
If the time information is substantially the same as the transmission time information, the received audio data and the video data are determined to be synchronized, and the received video is reproduced.
When the transmission time information added to the video packet is time information delayed from the transmission time information added to the audio packet, it is determined that the received audio data and the video data are not synchronized, and the received video Destroy the data,
If the transmission time information added to the video packet is earlier than the transmission time information added to the audio packet, the received video data is determined to be out of synchronization with the received audio data. A control unit for performing any processing for buffering,
An audio-video communication system characterized in that audio data and video data are interactively transmitted and received through a communication network between data communication terminal devices having these functions.
音声データの送信時刻情報を音声パケット及び映像パケットの2つのパケットに付加し順次送信するパケット送信部と、前記2つのパケットを受信する受信部と、
前記2つのパケットに含まれる音声データの送信時刻情報を比較する比較部と、
前記比較部によって比較した結果、
前記送信時刻情報が実質的に同一の時刻情報の場合は、受信した音声データと映像データとの同期がとれていると判断して受信した映像を再生し、
映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より遅れた時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データを破棄し、
映像パケットに付加された送信時刻情報が音声パケットに付加された前記送信時刻情報より早い時刻情報の場合は、受信した音声データと映像データとの同期がとれていないと判断して受信した映像データをバッファリングする
いずれかの処理を行う制御部とを備えたことを、特徴したデータ通信端末装置。 A data communication terminal device for bidirectionally transmitting / receiving packetized audio data and video data to / from a counterpart device via a communication network,
A packet transmission unit that sequentially transmits the transmission time information of audio data to two packets of an audio packet and a video packet, and a reception unit that receives the two packets;
A comparison unit for comparing transmission time information of audio data included in the two packets;
As a result of comparison by the comparison unit,
If the transmission time information is substantially the same time information, it is determined that the received audio data and video data are synchronized, and the received video is reproduced,
When the transmission time information added to the video packet is time information delayed from the transmission time information added to the audio packet, it is determined that the received audio data and the video data are not synchronized, and the received video Destroy the data,
If the transmission time information added to the video packet is earlier than the transmission time information added to the audio packet, the received video data is determined to be out of synchronization with the received audio data. A data communication terminal device comprising: a control unit that performs any processing for buffering the data.
前記データ通信端末装置は、少なくとも、音声データとこの音声データの送信時刻情報を含む音声パケットを順次送受信する電話装置と、映像データと前記音声データの送信時刻情報を含む映像パケットを順次送受信するTVアダプタを備え、
前記電話装置には、自分側電話装置から相手側電話装置に送信した音声パケットに含まれる音声データの送信時刻情報Aと、相手側電話装置から受信した音声パケットに含まれる音声データの送信時刻情報B1とを自分側TVアダプタに通知する音声通信制御部を備え、
前記TVアダプタには、自分側電話装置から送信されてきた前記音声データの送信時刻情報のうち、送信時刻情報Aを含む映像パケットを相手側TVアダプタに送信する送信部と、
相手側TVアダプタで前記と同様にして作られた音声データの送信時刻情報B2を含む映像パケットを受信する受信部と、
前記送信時刻情報B1と前記送信時刻情報B2とを比較する比較部と、
前記比較部によって比較した結果、
前記送信時刻情報B1が前記送信時刻情報B2と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、
前記送信時刻情報B2が前記送信時刻情報B1より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを破棄し、
前記送信時刻情報B2が前記送信時刻情報B1より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする
いずれかの処理を行う制御部とを備え、
これらの機能を備えたデータ通信端末装置の間で、通信ネットワークを介して音声データと映像データを対話的に送受信することを、特徴とする音声動画通信システム。 In an audio / video communication system for transmitting and receiving audio data and video data bidirectionally between data communication terminal devices connected via a communication network,
The data communication terminal device includes: a telephone device that sequentially transmits / receives at least audio data and an audio packet including transmission time information of the audio data; and a TV that sequentially transmits / receives video packet including image data and transmission time information of the audio data. With an adapter,
The telephone device includes transmission time information A of voice data included in a voice packet transmitted from the local telephone device to the counterpart telephone device, and transmission time information of voice data included in a voice packet received from the counterpart telephone device. A voice communication control unit for notifying B1 to the TV adapter on its own side,
In the TV adapter, a transmission unit that transmits a video packet including transmission time information A to the other TV adapter among transmission time information of the audio data transmitted from the own telephone device;
A receiving unit for receiving a video packet including transmission time information B2 of audio data created in the same manner as described above by the other-side TV adapter;
A comparison unit for comparing the transmission time information B1 and the transmission time information B2,
As a result of comparison by the comparison unit,
When the transmission time information B1 is substantially the same time information as the transmission time information B2, the received video is determined to be synchronized with the received audio data, and the received video is reproduced.
If the transmission time information B2 is time information delayed from the transmission time information B1, it is determined that the received audio data is not synchronized, and the received video data is discarded.
If the transmission time information B2 is earlier than the transmission time information B1, it is determined that the transmission time information B2 is not synchronized with the received audio data, and a control unit that performs any processing for buffering video data is provided. Prepared,
An audio-video communication system characterized in that audio data and video data are interactively transmitted and received through a communication network between data communication terminal devices having these functions.
少なくとも、音声データとこの音声データの送信時刻情報を含む音声パケットを順次送受信する電話装置と、映像データと前記音声データの送信時刻情報を含む映像パケットを順次送受信するTVアダプタを備え、
前記電話装置には、自分側電話装置から相手側電話装置に送信した音声パケットに含まれる音声データの送信時刻情報Aと、相手側電話装置から受信した音声パケットに含まれる音声データの送信時刻情報B1とを自分側TVアダプタに通知する音声通信制御部を備え、
前記TVアダプタには、自分側電話装置から送信されてきた前記音声データの送信時刻情報のうち、送信時刻情報Aを含む映像パケットを相手側TVアダプタに送信する送信部と、
相手側TVアダプタで前記と同様にして作られた音声データの送信時刻情報B2を含む映像パケットを受信する受信部と、
前記送信時刻情報B1と前記送信時刻情報B2とを比較する比較部と、
前記比較部によって比較した結果、
前記送信時刻情報B1が前記送信時刻情報B2と実質的に同一の時刻情報の場合は、受信した音声データと同期がとれていると判断して受信した映像を再生し、
前記送信時刻情報B2が前記送信時刻情報B1より遅れた時刻情報の場合は、受信した音声データと同期がとれていないと判断して受信した映像データを破棄し、
前記送信時刻情報B2が前記送信時刻情報B1より早い時刻情報の場合は、受信した音声データと同期がとれていないと判断して、映像データをバッファリングする
いずれかの処理を行う制御部とを備えたことを、特徴したデータ通信端末装置。 A data communication terminal device for bidirectionally transmitting / receiving packetized audio data and video data to / from a counterpart device via a communication network,
At least, a telephone device that sequentially transmits and receives audio data and audio packets including transmission time information of the audio data, and a TV adapter that sequentially transmits and receives video data and video packets including the transmission time information of the audio data,
The telephone device includes transmission time information A of voice data included in a voice packet transmitted from the local telephone device to the counterpart telephone device, and transmission time information of voice data included in a voice packet received from the counterpart telephone device. A voice communication control unit for notifying B1 to the TV adapter on its own side,
In the TV adapter, a transmission unit that transmits a video packet including transmission time information A to the other TV adapter among transmission time information of the audio data transmitted from the own telephone device;
A receiving unit for receiving a video packet including transmission time information B2 of audio data created in the same manner as described above by the other-side TV adapter;
A comparison unit for comparing the transmission time information B1 and the transmission time information B2,
As a result of comparison by the comparison unit,
When the transmission time information B1 is substantially the same time information as the transmission time information B2, the received video is determined to be synchronized with the received audio data, and the received video is reproduced.
If the transmission time information B2 is time information delayed from the transmission time information B1, it is determined that the received audio data is not synchronized, and the received video data is discarded.
If the transmission time information B2 is earlier than the transmission time information B1, it is determined that the transmission time information B2 is not synchronized with the received audio data, and a control unit that performs any processing for buffering video data is provided. A data communication terminal device characterized by comprising.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005251176A JP2007067826A (en) | 2005-08-31 | 2005-08-31 | Audio and animation communication system and data communication terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005251176A JP2007067826A (en) | 2005-08-31 | 2005-08-31 | Audio and animation communication system and data communication terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007067826A true JP2007067826A (en) | 2007-03-15 |
Family
ID=37929495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005251176A Pending JP2007067826A (en) | 2005-08-31 | 2005-08-31 | Audio and animation communication system and data communication terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007067826A (en) |
-
2005
- 2005-08-31 JP JP2005251176A patent/JP2007067826A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10930262B2 (en) | Artificially generated speech for a communication session | |
US7843974B2 (en) | Audio and video synchronization | |
CN101271720B (en) | Synchronization process for mobile phone stream media audio and video | |
KR100763269B1 (en) | Method, apparatus, system and program-recording medium for switching image coded data | |
US8208460B2 (en) | Method and system for in-band signaling of multiple media streams | |
US20090305694A1 (en) | Audio-video sharing system and audio-video sharing method thereof | |
JP2006014299A (en) | Synchronizing method of video/audio data of mobile communication terminal | |
US8749611B2 (en) | Video conference system | |
US8359620B2 (en) | Set-top box for wideband IP telephony service and method for providing wideband IP telephony service using set-top box | |
US6646674B1 (en) | TV telephone system | |
JP4771369B2 (en) | Media stream switching method, system and program in seamless handover | |
JP4768250B2 (en) | Transmission device, reception device, transmission / reception device, transmission method, and transmission system | |
JP5074834B2 (en) | Audio / video synchronization method, audio / video synchronization system, and audio / video receiving terminal | |
CN108366044B (en) | VoIP remote audio/video sharing method | |
JP2002058002A (en) | Video telephone device | |
WO2007080788A1 (en) | Teleconference control device and teleconference control method | |
JP2008167351A (en) | Terminal device | |
JP2003198618A (en) | Packet data communication system, portable telephone set and network side equipment | |
JP2007020095A (en) | Information combination apparatus, information combination system, information synchronizing method and program | |
JP2005157045A (en) | Voice transmission method | |
JP2007067826A (en) | Audio and animation communication system and data communication terminal | |
JP2007081623A (en) | Voice moving image communication system and data communication terminal | |
TWI468013B (en) | Video conference system and method | |
CN114584520A (en) | Method and apparatus for multiplexing data | |
KR100550801B1 (en) | VOD service offering method by based on internet videophone system |