JP4383309B2

JP4383309B2 - Data communication apparatus and data communication system using the same

Info

Publication number: JP4383309B2
Application number: JP2004294871A
Authority: JP
Inventors: 秀則林
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-10-07
Filing date: 2004-10-07
Publication date: 2009-12-16
Anticipated expiration: 2024-10-07
Also published as: JP2006109227A

Description

本発明は、ＬＡＮ（Local Area Network）やインターネット等のネットワークを介して音声データや映像データの送受信を行うためのデータ通信装置及びそれを用いたデータ通信システムに関するものである。 The present invention relates to a data communication apparatus for transmitting and receiving audio data and video data via a network such as a LAN (Local Area Network) or the Internet, and a data communication system using the data communication apparatus.

近年、ＬＡＮやインターネット等のネットワークを介して音声データや映像データを相手側の装置に送信する一方、相手側の装置から受信した映像データや音声データを再生することにより相互にリアルタイム通信を行うデータ通信装置が実用化されている。 In recent years, data that performs real-time communication with each other by playing back video data and audio data received from a partner device while transmitting voice data and video data to the partner device via a network such as a LAN or the Internet. Communication devices have been put into practical use.

この種のデータ通信装置では、音声データや映像データが複数のパケットに分割され、ネットワークを介して伝送されるが、帯域保証がなされていない経路で伝送される場合には、データが消失したりデータ伝送時間のずれ等が生じたりして音声と映像の再生タイミングが乱れることがある。 In this type of data communication apparatus, audio data and video data are divided into a plurality of packets and transmitted via a network. However, if the data is transmitted through a route with no bandwidth guarantee, the data may be lost. There is a case where the reproduction timing of audio and video is disturbed due to a difference in data transmission time or the like.

このような問題を解消するために、受信側で再生される音声と映像との同期ずれを解消するための技術が存在する。例えば、一定期間毎に受信されるデータ量の計測を行って得られたネットワークの帯域情報と受信データを格納するバッファ情報とに基づき、送信側装置がメディアストリームデータの符号化ビット量、サンプリング周波数、フレームレート等を動的に変更し、メディアストリームデータを送信することで、受信側装置におけるメディアストリームデータに含まれる音声や映像、または音声と映像の再生までの遅延時間を一定にし、音声や映像が途切れることなく連続して再生することを可能とした方法が知られている（特許文献１参照）。 In order to solve such a problem, there is a technique for eliminating a synchronization shift between audio and video reproduced on the receiving side. For example, based on the network bandwidth information obtained by measuring the amount of data received every fixed period and the buffer information for storing the received data, the transmission side apparatus can encode the bit amount of media stream data, the sampling frequency By dynamically changing the frame rate, etc. and transmitting the media stream data, the audio and video included in the media stream data in the receiving device or the delay time until the playback of the audio and video is made constant, and the audio and video There is known a method that enables video to be continuously reproduced without interruption (see Patent Document 1).

また、画像データ及び音声データからなる多重化データを通信網から受信して画像データと音声データとに分離する分離部と、画像データと音声データにタイムスタンプを付加するタイムスタンプ生成部と、付加されたタイムスタンプに基づき遅延差の吸収を行う遅延差吸収部とを備え、画像データ及び音声データの遅延差を吸収して通信網に送出することを可能としたデータ蓄積装置が知られている（特許文献２参照）。
特開２００４−２１４７５５号公報特開２００３−２９９０１７号公報 A separation unit that receives multiplexed data composed of image data and audio data from a communication network and separates the data into image data and audio data; a time stamp generation unit that adds a time stamp to the image data and audio data; There is known a data storage device that includes a delay difference absorbing unit that absorbs a delay difference based on the time stamp, and that can absorb the delay difference between image data and audio data and transmit the result to a communication network. (See Patent Document 2).
JP 2004-214755 A JP 2003-299017 A

しかし、上記従来の技術では以下のような問題が生じる。 However, the above-described conventional technique has the following problems.

上記特許文献１に記載の技術では、通信する装置のメモリサイズや処理能力に応じて音声や映像を連続再生することが可能となるが、あくまで装置のメモリサイズや処理能力に制限があることを前提とした技術であり、リアルタイム性が要求される通信において十分な通信帯域を確保できないような場合に適用することは困難であった。 With the technology described in Patent Document 1, it is possible to continuously reproduce audio and video according to the memory size and processing capability of the communicating device, but there is a limit to the memory size and processing capability of the device to the last. This is a premise technique, and it has been difficult to apply to a case where a sufficient communication bandwidth cannot be secured in communication requiring real-time performance.

また、上記特許文献２に記載の技術では、音声及び画像の遅延差を吸収して通信網に送出することが可能となるが、音声と画像との遅延差をなくすための処理を行うにあたり、音声データ及び画像データからなる多重化データとして取扱うことが前提となるという不都合があった。 In the technique described in Patent Document 2, it is possible to absorb the delay difference between the sound and the image and send it to the communication network. However, in performing the process for eliminating the delay difference between the sound and the image, There is an inconvenience that it is assumed that the data is handled as multiplexed data composed of audio data and image data.

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、簡易な
構成によりネットワーク帯域の状態を的確に判断し、音声等の通信帯域を確保するとともに映像データの遅延を抑制することができるデータ通信装置及びそれを用いたデータ通信システムを提供することを目的とする。 The present invention has been devised to solve such problems of the prior art, and accurately determines the state of the network bandwidth with a simple configuration, ensures a communication bandwidth for voice and the like, and It shall be the object of the invention to provide a data communication system using the same and a data communication apparatus capable of suppressing the delay.

このような課題を解決するために、本発明によるデータ通信システムは、請求項１に示すとおり、パケット化された映像データ及び音声データを通信回線を介して相互に送受信する第１の通信装置及び第２の通信装置を有するデータ通信システムであって、前記第１の通信装置は、映像データ及び音声データを複数の映像パケット及び音声パケットとして前記第２の通信装置に対して順次送信するパケット送信部と、前記第２の通信装置から送られてくる映像データ及び音声データを映像パケット及び音声パケットとして順次受信するパケット受信部と、前記パケット受信部により前記第２の通信装置から受信した映像パケットのヘッダから、前記パケット送信部により送信した映像データの前記第２の通信装置における１フレーム毎の受信間隔の情報を取得するフレーム受信間隔取得部と、そのフレーム受信間隔取得部により取得された前記映像データの１フレーム毎の受信間隔がフレームレートの逆数であるフレーム間時間の２倍以上の場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を減少させるよう制御し、前記受信間隔が前記フレーム間時間以下となりその状態が一定時間以上継続した場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を増大させるよう制御する制御部とを備え、前記第２の通信装置は、前記第１の通信装置に対して映像データ及び音声データを複数の映像パケット及び音声パケットとして順次送信するパケット送信部と、前記第１の通信装置から映像パケット及び音声パケットとして送信される映像データ及び音声データを受信するパケット受信部と、前記パケット受信部により前記第１の通信装置から音声パケットを受信すると符号化音声データの復号化を優先して行い、音声パケットを受信していないときに映像パケットを受信してフレーム単位で符号化映像データが合成される時間間隔を計測することにより１フレーム毎の受信間隔を計測するタイマ部と、そのタイマ部により計測された映像データの１フレーム毎の受信間隔の情報を、前記パケット送信部により前記第１の通信装置に送信される映像パケットのヘッダの情報として設定するフレーム受信間隔設定部とを備えた構成とする。
To solve such problems, a data communication system according to the invention, as illustrated in claim 1, the first communication device and for transmitting and receiving with each other via a communication line video data and audio data packetized A data communication system having a second communication device , wherein the first communication device sequentially transmits video data and audio data as a plurality of video packets and audio packets to the second communication device. Unit, a packet receiver that sequentially receives video data and audio data sent from the second communication device as video packets and audio packets, and a video packet received from the second communication device by the packet receiver from the header, the reception of each frame in said second communication device of the video data transmitted by the packet transmission unit A frame reception interval obtaining unit for obtaining interval information, when the reception intervals of each frame of captured the video data in the two or more times between frame time is the inverse of the frame rate by the frame reception interval obtaining unit And controlling to reduce at least one of the frame rate and the bit rate of the video data transmitted to the counterpart device, and when the reception interval is less than the interframe time and the state continues for a certain time or more, And a control unit that controls to increase at least one of a frame rate and a bit rate of video data to be transmitted, and the second communication device transmits a plurality of video data and audio data to the first communication device. A packet transmission unit for sequentially transmitting video packets and audio packets, and video packets from the first communication device; A packet receiving unit that receives video data and audio data transmitted as audio packets, and when receiving an audio packet from the first communication device by the packet receiving unit, the decoding of the encoded audio data is performed with priority. A timer unit that measures a reception interval for each frame by measuring a time interval in which a video packet is received and encoded video data is synthesized in units of frames when an audio packet is not received, and the timer unit A frame reception interval setting unit configured to set information on a reception interval of each frame of the measured video data as information on a header of a video packet transmitted to the first communication device by the packet transmission unit; And

これによると、第２の通信装置における映像データの１フレーム毎の受信間隔の情報と、第２の通信装置に送信した映像データのフレームレートの情報とに基づいてネットワーク帯域の状態を的確に判断し、ネットワーク帯域の状態に応じて第２の通信装置に送信する映像のデータ量を適正に制御することで、音声データ用の通信帯域を確保できるとともに映像データの遅延を抑制することができる。
According to this, the information of the reception interval of each frame of the video data in the second communication device, accurately determine the state of the network bandwidth based on the information of the frame rate of the video data transmitted to the second communication device In addition, by appropriately controlling the amount of video data to be transmitted to the second communication device according to the state of the network band, it is possible to secure a communication band for audio data and to suppress delay of the video data .

また、第２の通信装置より受信する映像パケットによって、第２の通信装置から映像データの１フレーム毎の受信間隔の情報を容易に取得することができる。
Further, it is possible by the video packet received from the second communication device, easily obtain information on the reception interval of each frame of the video data from the second communication device.

また、第２の通信装置における映像データの１フレーム毎の受信間隔が、第２の通信装置に送信した映像データのフレーム間時間の２倍となったときに、ネットワークの輻輳発生の恐れがあると判断して第２の通信装置に送信する映像のデータ量を減少させることで、簡易かつ適切に音声データ用の通信帯域を確保できるとともに映像データの遅延を抑制することができる。
Further, the reception interval of each frame of the video data in the second communication apparatus, when the doubled between frames of the video data transmitted to the second communication device time, there is a risk of network congestion By reducing the amount of video data to be transmitted to the second communication device , it is possible to easily and appropriately secure a communication band for audio data and to suppress delay of video data.

また、第２の通信装置における映像データの１フレーム毎の受信間隔が、第２の通信装置に送信した映像データのフレーム間時間以下となる状態が一定時間以上継続したときに、ネットワーク帯域に余裕があると判断して第２の通信装置に送信する映像のデータ量を増加させることで、より高画質な映像データの通信が可能となる。
In addition , when the state in which the reception interval for each frame of video data in the second communication device is equal to or less than the time between frames of the video data transmitted to the second communication device continues for a certain time or more, there is a margin in the network bandwidth. By determining that there is an image and increasing the amount of video data to be transmitted to the second communication device , it is possible to communicate video data with higher image quality.

このように本発明によれば、ネットワークを介して音声データや映像データの送受信を行うに際し、簡易な構成によりネットワーク帯域の状態を的確に判断し、音声等の通信帯域を確保するとともに映像の遅延を低減することができる。 As described above, according to the present invention, when audio data or video data is transmitted / received via a network, the state of the network band is accurately determined with a simple configuration, and a communication band for audio and the like is ensured and a video delay is ensured. Ru can be reduced.

以下、本発明の実施の形態を、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るデータ通信装置の概略構成を示すブロック図である。このデータ通信装置１は、ＬＡＮやインターネット等のネットワークを介して音声データや映像データを相手側装置に送信する一方、受信した音声データや映像データをリアルタイムで再生することが可能であり、オーディオエンコーダ２、ビデオエンコーダ３、パケット送信部４、パケット受信部５、受信パケットフレーム合成部６、オーディオデコーダ７、ビデオデコーダ８、フレーム受信間隔計測タイマ９、フレーム受信間隔設定部１０、フレーム受信間隔取得部１１、積分カウンタ１２、ネットワークインタフェース１３、マイク１４、ディスプレイ１５、カメラ１６、スピーカ１７、及び制御部１８を備える。ここで、本発明に好適な伝送プロトコルとして、ＲＴＰ（Real-time Transport Protocol）を用いることができる。以下、本実施の形態においては、音声パケット及び映像パケットは、ＲＴＰパケットとして取扱うものとする。 (First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of a data communication apparatus according to the first embodiment of the present invention. The data communication apparatus 1 transmits audio data and video data to a counterpart apparatus via a network such as a LAN or the Internet, and can reproduce the received audio data and video data in real time. 2, video encoder 3, packet transmission unit 4, packet reception unit 5, received packet frame synthesis unit 6, audio decoder 7, video decoder 8, frame reception interval measurement timer 9, frame reception interval setting unit 10, frame reception interval acquisition unit 11, integration counter 12, network interface 13, microphone 14, display 15, camera 16, speaker 17, and control unit 18. Here, RTP (Real-time Transport Protocol) can be used as a transmission protocol suitable for the present invention. Hereinafter, in this embodiment, audio packets and video packets are handled as RTP packets.

オーディオエンコーダ２は、マイク１４からの音声データの圧縮や暗号化等の処理を行い、符号化音声データを生成する。また、ビデオエンコーダ３は、カメラ１６からのビデオフレーム（映像データ）の圧縮や暗号化等の処理を行い、フレーム単位で符号化映像データを生成する。 The audio encoder 2 performs processing such as compression and encryption of audio data from the microphone 14 to generate encoded audio data. The video encoder 3 also performs processing such as compression and encryption of the video frame (video data) from the camera 16 to generate encoded video data in units of frames.

パケット送信部４は、オーディオエンコーダ２及びビデオエンコーダ３によってそれぞれ生成された符号化音声データ及び符号化映像データをパケット化し、生成した音声パケット及び映像パケットをネットワークを介して相手側装置に対して順次送信する。 The packet transmission unit 4 packetizes the encoded audio data and the encoded video data generated by the audio encoder 2 and the video encoder 3, respectively, and sequentially generates the generated audio packet and video packet to the counterpart device via the network. Send.

パケット受信部５は、相手側装置から送られてくる音声パケット及び映像パケットを受信し、それらのパケットから符号化音声データ及び符号化映像データをそれぞれ取り出す。また、受信パケットフレーム合成部６は、パケット受信部５により映像パケットから取り出された複数の符号化映像データをフレーム単位で合成する。 The packet receiver 5 receives audio packets and video packets sent from the counterpart device, and extracts encoded audio data and encoded video data from these packets, respectively. The received packet frame combining unit 6 combines a plurality of encoded video data extracted from the video packet by the packet receiving unit 5 in units of frames.

オーディオデコーダ７は、相手側装置より受信した符号化音声データを復号化し、スピーカ１５から出力するための音声データを生成する。また、ビデオデコーダ８は、相手側装置より受信した符号化映像データを復号化し、ディスプレイ１５に表示するための映像データを生成する。 The audio decoder 7 decodes the encoded audio data received from the counterpart device, and generates audio data to be output from the speaker 15. In addition, the video decoder 8 decodes the encoded video data received from the counterpart device, and generates video data to be displayed on the display 15.

フレーム受信間隔計測タイマ９は、パケット受信部５により受信される映像パケットについて、１フレーム毎の受信間隔を計測する。本実施の形態では、１フレーム毎の受信間隔として、受信パケットフレーム合成部６によりフレーム単位で符号化映像データが合成される時間間隔を計測する。 The frame reception interval measurement timer 9 measures the reception interval for each frame for the video packet received by the packet receiver 5. In the present embodiment, as the reception interval for each frame, the time interval at which the encoded video data is synthesized in units of frames by the received packet frame synthesis unit 6 is measured.

フレーム受信間隔設定部１０は、相手側装置にネットワーク帯域の状態を認識させるべく、タイマ９により計測された映像データの１フレーム毎の受信間隔の情報を、パケット送信部４により送信される映像パケットのヘッダに付加する。 The frame reception interval setting unit 10 transmits the information on the reception interval for each frame of the video data measured by the timer 9 to be transmitted by the packet transmission unit 4 so as to make the counterpart device recognize the state of the network bandwidth. Is added to the header.

フレーム受信間隔取得部１１は、相手側装置から受信した映像パケットのヘッダに相手側装置における１フレーム毎の受信間隔の情報が含まれている場合に、その１フレーム毎の受信間隔の情報を取得する。 The frame reception interval acquisition unit 11 acquires the information of the reception interval for each frame when the header of the video packet received from the counterpart device includes the reception interval information for each frame in the counterpart device. To do.

ネットワークインタフェース１３は、データ通信装置１をＬＡＮやインターネット等のネットワークに接続するためのインタフェースである。 The network interface 13 is an interface for connecting the data communication apparatus 1 to a network such as a LAN or the Internet.

制御部１８は、上記各部を統括的に制御する。また、制御部１８は、相手側装置との通信において、フレーム受信間隔取得部１１により取得された相手側装置における映像データの１フレーム毎の受信間隔の情報と、相手側装置に送信する映像データのフレームレートの情報とに基づき、相手側装置に送信する映像データのデータ量（例えば、フレームレート及びビットレートの少なくとも一方）を制御する。 The control unit 18 comprehensively controls the above-described units. In addition, in communication with the counterpart device, the control unit 18 receives information about the reception interval for each frame of the video data in the counterpart device acquired by the frame reception interval acquisition unit 11 and video data to be transmitted to the counterpart device. The amount of video data to be transmitted to the counterpart device (for example, at least one of the frame rate and the bit rate) is controlled based on the frame rate information.

図２は、図１に示したデータ通信装置を用いたデータ通信システムにおける映像データの流れの一例を示す模式図である。このデータ通信システム２０は、図１に示したデータ通信装置１と同一の２つの装置（第１の通信装置１ａ及び第２の通信装置１ｂ）がネットワーク２１を介して相互に通信可能なように接続された構成を有する。説明の便宜上、ここでは主として第１の通信装置１ａを送信側の装置とし、第２の通信装置１ｂを受信側の装置として音声データ及び映像データの流れを示す。また、これらの通信装置１ａ、１ｂについては必要な構成要素のみを示してある。 FIG. 2 is a schematic diagram showing an example of the flow of video data in a data communication system using the data communication apparatus shown in FIG. The data communication system 20 is configured so that two devices (the first communication device 1 a and the second communication device 1 b) that are the same as the data communication device 1 shown in FIG. 1 can communicate with each other via the network 21. It has a connected configuration. For convenience of explanation, the flow of audio data and video data is mainly shown here with the first communication device 1a as a transmission device and the second communication device 1b as a reception device. Further, only necessary components are shown for these communication devices 1a and 1b.

第１の通信装置１ａのカメラ１６ａで撮影された映像は、複数のビデオフレームで構成される映像データとしてビデオエンコーダ３ａに送られ、そこで、フレーム単位で符号化され複数のビデオパケットを含む符号化映像データが生成される。その符号化映像データは、パケット送信部４ａに送られて複数の映像パケット（ＲＴＰパケット）に分割され、ネットワーク２１を介して第２の通信装置１ｂに対して順次送信される。なお、ここでの説明は省略するが、ＲＴＰパケットは、さらにＵＤＰ（User Datagram Protocol）パケット化やＩＰ（Internet Protocol）パケット化等の処理を行ってからネットワーク２１に送出されるのが一般的である。 The video shot by the camera 16a of the first communication device 1a is sent to the video encoder 3a as video data composed of a plurality of video frames, where it is encoded in units of frames and includes a plurality of video packets. Video data is generated. The encoded video data is sent to the packet transmitter 4a, divided into a plurality of video packets (RTP packets), and sequentially transmitted to the second communication device 1b via the network 21. Although not described here, the RTP packet is generally sent to the network 21 after further processing such as UDP (User Datagram Protocol) packetization or IP (Internet Protocol) packetization. is there.

第１の通信装置１ａから送られたそれらの映像パケットは、第２の通信装置１ｂのパケット受信部５ｂで受信され、そこで、そのパケット受信部５ｂにより映像パケットから符号化映像データが取り出され、それらの符号化映像データは受信パケットフレーム合成部６ｂによりフレーム単位で合成される。さらに、そのフレーム単位の符号化映像データは、ビデオデコーダ８ｂにより復号化され、そこで生成されたビデオフレームに基づきディスプレイ１４ｂに映像が表示される。 Those video packets sent from the first communication device 1a are received by the packet reception unit 5b of the second communication device 1b, where the encoded video data is extracted from the video packet by the packet reception unit 5b, These encoded video data are synthesized on a frame basis by the received packet frame synthesis unit 6b. Further, the encoded video data of the frame unit is decoded by the video decoder 8b, and the video is displayed on the display 14b based on the video frame generated there.

その一方で、第２の通信装置１ｂにおいて、受信パケットフレーム合成部６ｂによってフレーム単位で符号化映像データが合成される時間間隔が、フレーム受信間隔計測タイマ９ｂにより計測され、その測定結果は、フレーム受信間隔情報としてフレーム受信間隔設定部１０ｂに送られる。その受信間隔情報は、フレーム受信間隔設定部１０ｂにより、図３に示すように、第２の通信装置１ｂから送信される映像パケットの拡張ヘッダに付加される。そこで、フレーム受信間隔情報が付加された映像パケットは、パケット送信部４ｂによりネットワーク２１を介して第１の通信装置１ａに対して送信される。 On the other hand, in the second communication device 1b, the time interval at which the encoded video data is synthesized in units of frames by the received packet frame synthesizing unit 6b is measured by the frame reception interval measuring timer 9b. It is sent to the frame reception interval setting unit 10b as reception interval information. The reception interval information is added to the extension header of the video packet transmitted from the second communication device 1b by the frame reception interval setting unit 10b as shown in FIG. Therefore, the video packet to which the frame reception interval information is added is transmitted to the first communication device 1a via the network 21 by the packet transmission unit 4b.

第２の通信装置１ｂから送られた映像パケットは、第１の通信装置１ａのパケット受信部５ａで受信され、そこで、その映像パケットの拡張ヘッダに含まれる第２の通信装置１ｂにおけるフレーム受信間隔情報がフレーム受信間隔取得部１１ａにより取得される。 The video packet sent from the second communication device 1b is received by the packet receiving unit 5a of the first communication device 1a, where the frame reception interval in the second communication device 1b included in the extension header of the video packet. Information is acquired by the frame reception interval acquisition unit 11a.

第１の通信装置１ａの制御部１８ａは、フレーム受信間隔取得部１１ａから得られたフレーム受信間隔情報と、ビデオエンコーダ３ａから得られたフレームレートの情報とに基づき、第２の通信装置に送信する映像データのデータ量の変更指令をビデオエンコーダ３ａに対して送る。 The control unit 18a of the first communication device 1a transmits to the second communication device based on the frame reception interval information obtained from the frame reception interval acquisition unit 11a and the frame rate information obtained from the video encoder 3a. An instruction to change the amount of video data to be transmitted is sent to the video encoder 3a.

より詳細には、制御部１８ａは、第２の通信装置１ｂにおける映像データの１フレーム毎の受信間隔Ｔ_R（sec）が、ビデオエンコーダ３ａから得られたフレームレート（frame/sec）の逆数であるフレーム間時間Ｔ_F（sec）よりも十分大きな値となった場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を減少させるようにビデオエンコーダ３ａを制御する。ここで、「十分大きな値」としては、映像データの１フレーム毎の受信間隔Ｔ_Rが、フレーム間時間Ｔ_Fの２倍以上となることが好ましく、例えば、Ｔ_Fが３３msec（フレームレート３０frame/sec）のときに、Ｔ_Rが６６msec以上となった場合が挙げられる。その一方で、制御部１８ａは、第２の通信装置１ｂにおける映像データの１フレーム毎の受信間隔Ｔ_R（sec）が、ビデオエンコーダ３ａから得られたフレームレートの逆数であるフレーム間時間Ｔ_F（sec）以下の値となり、その状態が一定時間以上継続した場合に、相手側装置に送信する映像データのフレームレート及びビットレートの少なくとも一方を増大させるようにビデオエンコーダ３ａを制御する。 More specifically, the control unit 18a, the reception interval of each frame of the video data in the second communication apparatus 1b T _R (sec) is the reciprocal of the frame rate obtained from the video encoder 3a (frame / sec) When the value becomes sufficiently larger than a certain inter-frame time T _F (sec), the video encoder 3a is controlled so as to decrease at least one of the frame rate and the bit rate of the video data transmitted to the counterpart apparatus. Here, as the “sufficiently large value”, it is preferable that the reception interval T _{R for} each frame of the video data is at least twice the inter-frame time T _F. For example, T _F is 33 msec (frame rate 30 frames / frame). when sec), T _R and the like may become more 66 msec. On the other hand, the control unit 18a, the second communication apparatus 1b reception interval for each frame of the video data in the T _R (sec) is, between the frames is the reciprocal of the frame rate obtained from the video encoder 3a time T _F When the value is equal to or less than (sec) and the state continues for a certain time or longer, the video encoder 3a is controlled to increase at least one of the frame rate and the bit rate of the video data transmitted to the counterpart device.

図４は、図１に示したデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図である。ここで、（ａ）及び（ｂ）は、図１のデータ通信装置１と同一の２つの装置（データ通信装置Ａ、データ通信装置Ｂ）が、データ通信システムにおいてネットワークを介して相互に通信する動作を示している。なお、ここでは説明の便宜上、データ通信装置Ａが、通信相手であるデータ通信装置Ｂから映像データの１フレーム毎の受信間隔の情報を取得し、データ通信装置Ｂに対して送信する映像データのデータ量を変更する動作を主として示す。 FIG. 4 is a flowchart showing a communication operation of audio data and video data in a data communication system using the data communication apparatus shown in FIG. Here, in (a) and (b), two devices (data communication device A and data communication device B) identical to the data communication device 1 in FIG. 1 communicate with each other via a network in the data communication system. The operation is shown. Here, for convenience of explanation, the data communication apparatus A acquires information on the reception interval for each frame of the video data from the data communication apparatus B which is the communication partner, and the video data to be transmitted to the data communication apparatus B The operation for changing the data amount is mainly shown.

まず、データ通信装置Ａでは、映像及び音声の送信を行うために、ビデオエンコーダ３及びオーディオエンコーダ２がそれぞれ起動され、映像データ及び音声データの符号化が行われる（ＳＴ１、ＳＴ２）。続いて、データ通信装置Ｂに送信する映像データのデータ量を変更する指標として用いられる積分カウンタ１２の値が初期化される（ＳＴ３）。一方、データ通信装置Ｂでは、データ通信装置Ａから受信する符号化データの復号化を行う準備として、ビデオデコーダ８及びオーディオデコーダ７がそれぞれ起動される（ＳＴ３１、ＳＴ３２）。 First, in the data communication apparatus A, in order to transmit video and audio, the video encoder 3 and the audio encoder 2 are activated, respectively, and video data and audio data are encoded (ST1, ST2). Subsequently, the value of the integration counter 12 used as an index for changing the data amount of the video data transmitted to the data communication device B is initialized (ST3). On the other hand, in the data communication apparatus B, the video decoder 8 and the audio decoder 7 are activated as preparations for decoding the encoded data received from the data communication apparatus A (ST31, ST32).

次に、データ通信装置Ａでは、ビデオエンコーダ３及びオーディオエンコーダ２において符号化された映像及び音声の符号化データが、パケット送信部４によりパケット化され、それぞれ映像パケット及び音声パケットとしてデータ通信装置Ｂに対して順次送信される（ＳＴ４、ＳＴ５）。 Next, in the data communication apparatus A, the encoded video and audio data encoded by the video encoder 3 and the audio encoder 2 are packetized by the packet transmission unit 4, and the data communication apparatus B as a video packet and an audio packet, respectively. Sequentially transmitted (ST4, ST5).

一方、データ通信装置Ｂでは、音声パケットを受信したか否かが判定され（ＳＴ３３）、音声パケットを受信すると、オーディオデコーダ７により符号化音声データが復号化される（ＳＴ３４）。ステップＳＴ３４において、音声パケットを受信していないと判定された場合には、さらに、映像パケットを受信したか否かが判定され（ＳＴ３５）、映像パケットを受信すると、受信パケットのフレーム化が実行される（ＳＴ３６）。一方、映像パケットを受信していない場合には、再びステップＳＴ３３に戻って音声パケットを受信したか否かが判定される。そこで、データ通信装置Ｂでは、受信した映像パケットのフレーム化が完了したか否かが判定され（ＳＴ３７）、フレーム化が完了していない場合には、再びステップＳＴ３３に戻ってフレーム化が完了するまで映像パケットの受信を繰り返し実行する。 On the other hand, in data communication apparatus B, it is determined whether or not a voice packet has been received (ST33). When the voice packet is received, encoded audio data is decoded by audio decoder 7 (ST34). If it is determined in step ST34 that no audio packet has been received, it is further determined whether a video packet has been received (ST35). When a video packet is received, the received packet is framed. (ST36). On the other hand, if a video packet has not been received, the process returns to step ST33 again to determine whether an audio packet has been received. Therefore, the data communication apparatus B determines whether or not the received video packet has been framed (ST37). If the frame has not been completed, the process returns to step ST33 to complete the frame. Until the video packet is received repeatedly.

ステップＳＴ３７において、映像パケットのフレーム化が完了すると、フレームの受信間隔を計測中であるか否かが判定され（ＳＴ３８）、計測が開始されていない場合には、タイマ９にフレーム受信間隔の計測を開始させる（ＳＴ３９）。一方、ステップＳＴ３８において、既にフレームの受信間隔の計測が開始されている場合には、その計測を停止し（ＳＴ４０）、そこでの計測結果が、次にデータ通信装置Ａに対して送信される映像パケットのヘッダの情報としてフレーム受信間隔設定部１０により設定される（ＳＴ４１）。そこで、次のフレームの受信間隔を計測するために、タイマ９が再び計測を開始する（ＳＴ４２）。次に、フレーム化された符号化映像データが復号化され（ＳＴ４３）、さらに、通信が終了したか否かが判定され（ＳＴ４４）、通信が終了していない場合には、再びステップＳＴ３３に戻って上記と同様の動作を繰り返し実行する。最終的に、ステップ４４において、通信が終了していると判断されるとデータ通信装置Ｂの動作は完了する。 In step ST37, when the framing of the video packet is completed, it is determined whether or not the frame reception interval is being measured (ST38). If the measurement has not started, the timer 9 measures the frame reception interval. Is started (ST39). On the other hand, if measurement of the reception interval of frames has already been started in step ST38, the measurement is stopped (ST40), and the result of the measurement is a video transmitted to the data communication apparatus A next. It is set by the frame reception interval setting unit 10 as packet header information (ST41). Therefore, in order to measure the reception interval of the next frame, the timer 9 starts measurement again (ST42). Next, the framed encoded video data is decoded (ST43), and it is further determined whether or not the communication has ended (ST44). If the communication has not ended, the process returns to step ST33 again. Repeatedly execute the same operation as described above. Finally, when it is determined in step 44 that the communication has ended, the operation of the data communication apparatus B is completed.

次に、データ通信装置Ａでは、データ通信装置Ｂから受信した映像パケットのヘッダにフレームの受信間隔の情報（１フレーム毎の受信間隔Ｔ_R（sec））が付加されているか否かが判定され（ＳＴ６）、フレームの受信間隔の情報が付加されている場合には、データ通信装置Ｂに送信される映像データのフレーム間時間Ｔ_F（sec）よりも十分大きいか否かが判定される（ＳＴ７）。そこで、Ｔ_RがＴ_Fよりも十分大きいと判定された場合には、制御部１８は、ビデオエンコーダ３において映像の符号化のデータ量を低減するように制御する（ＳＴ８）。一方、ステップＳＴ７において、Ｔ_RがＴ_Fよりも十分大きいとはいえない場合には、さらに、Ｔ_RがＴ_F以下であるか否かが判定される（ＳＴ９）。そこで、Ｔ_RがＴ_F以下であると判定された場合には、積分カウンタ１２の値がカウントアップされ（ＳＴ１０）、Ｔ_RがＴ_F以下でない場合には、積分カウンタ１２の値がゼロに戻される（ＳＴ１１）。次に、積分カウンタ１２の値が予め設定した閾値Ｎ以上であるか否かが判定され（ＳＴ１２）、積分カウンタ１２の値が閾値Ｎ以上となった場合には、ネットワーク帯域に十分な余裕があると判断して、制御部１８は、ビデオエンコーダ３において映像の符号化のデータ量を増大させるように制御する（ＳＴ１３）。一方、積分カウンタ１２の値が閾値Ｎ未満である場合には、続いて、通信が終了したか否かが判定され（ＳＴ１４）、通信が終了していない場合には、再びステップＳＴ４に戻って上記と同様の動作を繰り返し実行する。同様に、ステップＳＴ６において、映像パケットのヘッダにフレームの受信間隔の情報が付加されていない場合にも、通信が終了したか否かが判定され（ＳＴ１４）、通信が終了していない場合には、再びステップＳＴ４に戻って上記と同様の動作を繰り返し実行する。最終的に、ステップ１４において、通信が終了していると判断されるとデータ通信装置Ａの動作は完了する。 Next, in the data communication device A, it is determined whether or not frame reception interval information (reception interval T _R (sec) for each frame) is added to the header of the video packet received from the data communication device B. (ST6) When the information of the frame reception interval is added, it is determined whether or not it is sufficiently larger than the inter-frame time T _F (sec) of the video data transmitted to the data communication apparatus B ( ST7). Therefore, if it is determined that T _R is sufficiently larger than T _F , the control unit 18 controls the video encoder 3 to reduce the amount of encoded video data (ST8). On the other hand, if it cannot be said in step ST7 that T _R is sufficiently larger than T _F , it is further determined whether T _R is equal to or less than T _F (ST9). Therefore, when it is determined that T _R is equal to or less than T _F , the value of the integration counter 12 is counted up (ST10), and when T _R is not equal to or less than T _F , the value of the integration counter 12 is set to zero. Returned (ST11). Next, it is determined whether or not the value of the integral counter 12 is equal to or greater than a preset threshold value N (ST12). If the value of the integral counter 12 is equal to or greater than the threshold value N, there is a sufficient margin in the network bandwidth. If it is determined that there is, the control unit 18 controls the video encoder 3 so as to increase the amount of encoded data (ST13). On the other hand, if the value of the integral counter 12 is less than the threshold value N, it is subsequently determined whether or not the communication has ended (ST14). If the communication has not ended, the process returns to step ST4 again. The same operation as above is repeatedly executed. Similarly, in step ST6, it is also determined whether or not the communication has ended even when the frame reception interval information is not added to the header of the video packet (ST14). Then, returning to step ST4 again, the same operation as described above is repeatedly executed. Finally, when it is determined in step 14 that the communication has ended, the operation of the data communication apparatus A is completed.

（第２の実施の形態）
図５は、本発明の第２の実施の形態に係るデータ通信装置の概略構成を示すブロック図である。このデータ通信装置１０１は、図１に示したデータ通信装置１と概ね同様の構成を有し、オーディオエンコーダ２、ビデオエンコーダ３、パケット送信部４、パケット受信部５、受信パケットフレーム合成部６、オーディオデコーダ７、ビデオデコーダ８、同期時刻情報設定部１０２、同期時刻情報設定用タイマ１０３、同期時刻情報検出部１０４、ネットワークインタフェース１３、マイク１４、ディスプレイ１５、カメラ１６、スピーカ１７、及び制御部１８を備える。ここで、図１に示したデータ通信装置１と同様の構成要素については同一の符号が付されており、これらの構成要素については、以下で特に言及しない限り同様の機能を果たすものとする。 (Second Embodiment)
FIG. 5 is a block diagram showing a schematic configuration of the data communication apparatus according to the second embodiment of the present invention. This data communication apparatus 101 has a configuration substantially similar to that of the data communication apparatus 1 shown in FIG. 1, and includes an audio encoder 2, a video encoder 3, a packet transmission unit 4, a packet reception unit 5, a received packet frame synthesis unit 6, Audio decoder 7, video decoder 8, synchronization time information setting unit 102, synchronization time information setting timer 103, synchronization time information detection unit 104, network interface 13, microphone 14, display 15, camera 16, speaker 17, and control unit 18 Is provided. Here, the same components as those in the data communication apparatus 1 shown in FIG. 1 are denoted by the same reference numerals, and these components perform the same functions unless otherwise specified.

同期時刻情報設定部１０２は、パケット送信部４により音声パケット及び映像パケットが相手側装置に対して送信される際に、音声パケットまたは映像パケットの一方のパケットにおけるデータ内タイムスタンプ（データ内同期時刻情報）を、音声データ及び映像データ間で同期をとるためのデータ間タイムスタンプ（データ間同期時刻情報）として他方のパケットの拡張ヘッダに記録する。さらに、同期時刻情報設定部１０２は、拡張ヘッダのデータ間タイムスタンプが有効であるか否かを識別するための有効フラグ（識別子）をパケットの拡張ヘッダに記録する。ここで、データ内タイムスタンプとしては、通常のＲＴＰパケットのヘッダに付加されるタイムスタンプを用いることができる。 When the packet transmission unit 4 transmits the audio packet and the video packet to the counterpart device, the synchronization time information setting unit 102 determines the time stamp (data synchronization time in the data) in one of the voice packet and the video packet. Information) is recorded in the extension header of the other packet as an inter-data time stamp (inter-data synchronization time information) for synchronizing audio data and video data. Further, the synchronization time information setting unit 102 records a validity flag (identifier) for identifying whether or not the inter-data time stamp of the extension header is valid in the extension header of the packet. Here, as the time stamp in data, a time stamp added to the header of a normal RTP packet can be used.

同期時刻情報設定用タイマ１０３は、同期時刻情報設定部１０２が音声パケット及び映像パケットの一方のパケットにおけるデータ内タイムスタンプを、他方のパケットの拡張ヘッダにデータ間タイムスタンプとして記録するタイミングを計測する。 The synchronization time information setting timer 103 measures the timing at which the synchronization time information setting unit 102 records the in-data time stamp in one of the audio packet and the video packet as the inter-data time stamp in the extension header of the other packet. .

同期時刻情報検出部１０４は、相手側装置からパケット受信部５が受信した音声パケットまたは映像パケットに付加されたデータ間タイムスタンプを検出する。このとき、同期時刻情報検出部１０４は、パケットに付された有効フラグによってデータ間タイムスタンプの有効または無効を判断することができる。 The synchronization time information detection unit 104 detects the inter-data time stamp added to the audio packet or video packet received by the packet reception unit 5 from the counterpart device. At this time, the synchronization time information detection unit 104 can determine whether the inter-data time stamp is valid or invalid based on the validity flag attached to the packet.

制御部１８は、同期時刻情報検出部１０４により音声パケットまたは映像パケットに付された有効なデータ間タイムスタンプが検出されたときに、オーディオデコーダ７またはビデオデコーダ８により音声または映像の一方のパケットにより再構成されたデータの復号化を実行させる一方、他方のパケットにより再構成されたデータの復号化については、他方のパケットのヘッダに記録されたデータ内タイムスタンプがデータ間タイムスタンプと同一またはより遅い時刻を示している場合にのみ実行させる。 When the valid time stamp between data attached to the audio packet or the video packet is detected by the synchronization time information detection unit 104, the control unit 18 uses the audio decoder 7 or the video decoder 8 to detect one of the audio or video packets. While decoding the reconstructed data is performed, for the decryption of the data reconstructed by the other packet, the in-data time stamp recorded in the header of the other packet is the same as or more than the inter-data time stamp. Execute only when the time is late.

一般に、音声データに比べて映像データのデータ量が大きくなるため、ネットワーク等の通信回線での伝送遅延差等により、相手側装置における映像データと音声データの受信タイミングは、音声パケットの受信タイミングに対して映像パケットの受信タイミングの方が遅れる傾向にある。そこで、以下では、本発明によるデータ間タイムスタンプが音声パケットに付されるケースを典型例として説明する。なお、データ間タイムスタンプが映像パケットに付される場合については、音声のケースと同様にして実行可能である。 In general, since the amount of video data is larger than that of audio data, the reception timing of the video data and audio data at the counterpart device is the same as the reception timing of the audio packet due to the transmission delay difference in the communication line such as a network. On the other hand, the reception timing of video packets tends to be delayed. Therefore, in the following, a case where an inter-data time stamp according to the present invention is attached to a voice packet will be described as a typical example. It should be noted that the case where the inter-data time stamp is attached to the video packet can be executed in the same manner as in the audio case.

図６は、図５に示したデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの流れの一例を示す模式図である。このデータ通信システム１２０は、図５に示したデータ通信装置１と同一の２つの装置（第３の通信装置１０１ａ及び第４の通信装置１０１ｂ）がネットワーク２１を介して相互に通信可能なように接続された構成を有する。説明の便宜上、ここでは第３の通信装置１０１ａを送信側の装置とし、第４の通信装置１０１ｂを受信側の装置として音声データ及び映像データの流れを示す。また、これらの通信装置１０１ａ、１０１ｂについては必要な構成要素のみを示してある。 FIG. 6 is a schematic diagram showing an example of the flow of audio data and video data in a data communication system using the data communication apparatus shown in FIG. The data communication system 120 is configured so that two devices (third communication device 101a and fourth communication device 101b) identical to the data communication device 1 shown in FIG. It has a connected configuration. For convenience of explanation, here, the flow of audio data and video data is shown with the third communication device 101a as a transmission device and the fourth communication device 101b as a reception device. Further, only necessary components are shown for these communication apparatuses 101a and 101b.

第３の通信装置１０１ａのマイク１４ａに入力された音声は、音声データとしてオーディオエンコーダ２ａに送られて符号化され、その符号化された音声データがパケット送信部４ａに送られる。一方、第３の通信装置１０１ａのカメラ１６ａで撮影された映像は、映像データとしてビデオエンコーダ３ａに送られて符号化され、その符号化された映像データがパケット送信部４ａに送られる。ここで、タイマ１０３ａは、同期時刻情報設定部１０２ａに対し、所定の周期（例えば、１秒周期）で映像パケットのデータ内タイムスタンプＴＳ_Rを音声パケットにデータ間タイムスタンプＴＳ_Lとして記録するタイミングを示す信号を送る。 The voice input to the microphone 14a of the third communication apparatus 101a is sent to the audio encoder 2a as voice data and encoded, and the encoded voice data is sent to the packet transmitter 4a. On the other hand, the video imaged by the camera 16a of the third communication apparatus 101a is sent to the video encoder 3a as video data and encoded, and the encoded video data is sent to the packet transmission unit 4a. Here, the timer 103a records to synchronize time information setting section 102a, a predetermined period (e.g., one second cycle) the data in the time stamp TS _R of the video packet as the data between the time stamp TS _L voice packets at the timing Send a signal indicating.

これにより、同期時刻情報設定部１０２ａは、パケット送信部４ａにより映像パケットが第４の通信装置１０１ｂに対して送信される際に、図７に示すように、映像パケットのヘッダに記録されたデータ内タイムスタンプＴＳ_Rを音声パケットの拡張ヘッダにデータ間タイムスタンプＴＳ_Lとして記録する。さらに、同期時刻情報設定部１０２ａは、拡張ヘッダのデータ間タイムスタンプＴＳ_Lが有効であることを示す有効フラグを拡張ヘッダに記録する。 As a result, when the packet transmission unit 4a transmits the video packet to the fourth communication device 101b, the synchronization time information setting unit 102a, as shown in FIG. 7, records the data recorded in the header of the video packet. the inner timestamp TS _R is recorded as the data between the time stamp TS _L in the extension header of the voice packet. Furthermore, synchronization time information setting unit 102a records the valid flag indicating that the data between the time stamp TS _L of the extension header is valid in the extension header.

第３の通信装置１０１ａのパケット送信部４ａにより送信された音声パケット及び映像パケットは、第４の通信装置１０１ｂのパケット受信部５ｂにより受信される。そこで、同期時刻情報検出部１０４ｂは、音声パケットの拡張ヘッダに記録された有効フラグを確認し、データ間タイムスタンプＴＳ_Lが有効である場合には、拡張ヘッダに記録されたデータ間タイムスタンプＴＳ_Lを検出して順次保存する。さらに、制御部１８ｂは、保存された最新のデータ間タイムスタンプＴＳ_Lとパケット受信部５ｂで受信された映像パケットのデータ内タイムスタンプＴＳ_Rとを比較し、ＴＳ_RがＴＳ_Lと同一または遅い時刻を示している場合にのみ、ビデオエンコーダ８ｂにパケット受信部５ｂから送られる符号化映像データを復号化させる。従って、パケット受信部５ｂからの符号化音声データがオーディオデコーダ７ｂで復号化されてスピーカ１７ｂから音声が出力される一方、符号化映像データは、その音声の出力に同期する映像のみがビデオエンコーダ８ｂにおいて復号化され、ディスプレイ１５ｂに表示されることになる。 The audio packet and the video packet transmitted by the packet transmission unit 4a of the third communication apparatus 101a are received by the packet reception unit 5b of the fourth communication apparatus 101b. Therefore, the synchronization time information detection unit 104b checks the validity flag recorded in the extension header of the voice packet, and if the inter-data time stamp TS _L is valid, the inter-data time stamp TS recorded in the extension header. Detect _L and save sequentially. Further, the control unit 18b compares the data in the time stamp TS _R of the received video packets stored latest data between timestamps TS _L and packet receiving unit 5b, TS _R is TS _L identical or slow Only when the time is indicated, the video encoder 8b is made to decode the encoded video data sent from the packet receiving unit 5b. Accordingly, the encoded audio data from the packet receiving unit 5b is decoded by the audio decoder 7b and the audio is output from the speaker 17b. On the other hand, only the video synchronized with the output of the encoded video data is the video encoder 8b. Is decoded and displayed on the display 15b.

図８は、図５に示したデータ通信装置においてデータ間タイムスタンプを設定するタイミングを示すタイムチャートである。ここでは、パケット送信部４において音声パケット（音声１〜音声６）及び映像パケット（映像１〜映像４）が順次生成（送信）される様子が模式的に示されており、タイマ１０３により同期時刻情報検出部１０４に対して同期時刻情報を設定するタイミングが示されると（図中、破線参照）、同期時刻情報検出部１０４は、次に生成される映像パケット（映像３）のデータ内タイムスタンプＴＳ_L（映像タイムスタンプ情報）を、次に生成される音声パケット（音声４）の拡張ヘッダに記録する。同時に、拡張ヘッダのデータ間タイムスタンプＴＳ_Lが有効であることを示す有効フラグを拡張ヘッダに記録する。 FIG. 8 is a time chart showing the timing for setting an inter-data time stamp in the data communication apparatus shown in FIG. Here, the state in which the packet transmission unit 4 sequentially generates (transmits) audio packets (audio 1 to audio 6) and video packets (video 1 to video 4) is schematically shown. When the timing for setting the synchronization time information is indicated to the information detection unit 104 (see the broken line in the figure), the synchronization time information detection unit 104 determines the time stamp in the data of the next generated video packet (video 3). TS _L (video time stamp information) is recorded in the extension header of the audio packet (audio 4) to be generated next. At the same time, it records the effective flag indicating that the data between the time stamp TS _L of the extension header is valid in the extension header.

図９は、図５に示したデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図である。ここで、（ａ）及び（ｂ）は、図５のデータ通信装置１と同一の２つの装置（データ通信装置Ｃ、データ通信装置Ｄ）が、データ通信システムにおいてネットワークを介して相互に通信する動作を示している。なお、ここでは説明の便宜上、データ通信装置Ｃが、音声データ及び映像データ間で同期をとるためのデータ間タイムスタンプを記録した音声パケットをデータ通信装置Ｄに対して送信し、そのデータ間タイムスタンプに基づきデータ通信装置Ｄが、映像パケットを選択的に復号化して音声と映像との同期ずれを解消する動作を主として示す。 FIG. 9 is a flowchart showing a communication operation of audio data and video data in a data communication system using the data communication apparatus shown in FIG. Here, in (a) and (b), two devices (data communication device C and data communication device D) identical to the data communication device 1 of FIG. 5 communicate with each other via a network in the data communication system. The operation is shown. Here, for convenience of explanation, the data communication apparatus C transmits an audio packet recording an inter-data time stamp for synchronization between audio data and video data to the data communication apparatus D, and the inter-data time The operation of the data communication apparatus D that selectively decodes the video packet based on the stamp and eliminates the synchronization deviation between the audio and the video is mainly shown.

まず、データ通信装置Ｃでは、映像及び音声の送信を行うために、ビデオエンコーダ３及びオーディオエンコーダ２がそれぞれ起動され、映像データ及び音声データの符号化が行われる（ＳＴ１０１、ＳＴ１０２）。一方、データ通信装置Ｄでは、データ通信装置Ｃから受信する符号化データの復号化を行う準備として、ビデオデコーダ８及びオーディオデコーダ７がそれぞれ起動される（ＳＴ１３１、ＳＴ１３２）。 First, in the data communication apparatus C, in order to transmit video and audio, the video encoder 3 and the audio encoder 2 are activated, and video data and audio data are encoded (ST101 and ST102). On the other hand, in the data communication device D, the video decoder 8 and the audio decoder 7 are activated as preparations for decoding the encoded data received from the data communication device C (ST131, ST132).

次に、データ通信装置Ｃでは、同期時刻情報の設定タイミングを指示するために、予め所定の周期が設定されたタイマ１０３が起動される（ＳＴ１０３）。そこで、タイマ１０３がタイムアウトしたか否かが判定され（ＳＴ１０４）、タイムアウトになると、同期時刻情報設定部１０２は、パケット送信部４により次に送信される映像パケットのヘッダのデータ内タイムスタンプＴＳ_Rを、次に送信される音声パケットの拡張ヘッダにデータ間タイムスタンプＴＳ_Lとして記録し、さらに、データ間タイムスタンプＴＳ_Lが有効であることを示す有効フラグを付加する（ＳＴ１０５）。一方、ステップＳＴ１０４において、タイムアウトになっていない場合には、次に送信される音声パケットの拡張ヘッダには、データ間タイムスタンプＴＳ_Lは記録されることはなく、データ間タイムスタンプＴＳ_Lが無効であることを示す有効フラグが付加される。その後、それらの映像パケット及び音声パケットは、パケット送信部４によりデータ通信装置Ｄに対して順次送信される（ＳＴ１０６、ＳＴ１０７）。上記ステップＳＴ１０４〜ＳＴ１０７は、最終的に通信が終了したと判定されるまで（ＳＴ１０８：Ｙｅｓ）、繰り返し実行される。 Next, in the data communication apparatus C, in order to instruct the setting timing of the synchronization time information, the timer 103 having a predetermined cycle set in advance is started (ST103). Therefore, it is determined whether or not the timer 103 has timed out (ST104), and when timed out, the synchronization time information setting unit 102 uses the time stamp TS _R in the header of the video packet transmitted next by the packet transmission unit 4. Is recorded as an inter-data time stamp TS _{L in} the extension header of the voice packet to be transmitted next, and a valid flag indicating that the inter-data time stamp TS _L is valid is added (ST105). On the other hand, in step ST 104, if not timed out, the next extension header of the voice packet to be transmitted, the data between the time stamp TS _L is not being recorded, the data between the time stamp TS _L is invalid A valid flag indicating that is added. Thereafter, these video packets and audio packets are sequentially transmitted to the data communication apparatus D by the packet transmission unit 4 (ST106, ST107). Steps ST104 to ST107 are repeatedly executed until it is finally determined that communication has ended (ST108: Yes).

一方、データ通信装置Ｄでは、データ通信装置Ｃのパケット送信部４により送信された音声パケットを受信したか否かが判定され（ＳＴ１３３）、音声パケットを受信すると、さらに、その音声パケットの拡張ヘッダにおける有効フラグを確認することにより、音声パケット上に有効なデータ間タイムスタンプＴＳ_Lが存在するか否かが判定される（ＳＴ１３４）。そこで、データ間タイムスタンプが存在する場合には、そのデータ間タイムスタンプ情報が保存される（ＳＴ１３５）。ここで保存されるデータ間タイムスタンプ情報は、有効なデータ間タイムスタンプＴＳ_Lを含む音声パケットを受信するたびに更新される。ステップＳＴ１３３において受信された音声パケットは、符号化音声データとしてオーディオデコーダ７に送られ復号化される（ＳＴ１３６）。一方、ステップＳＴ１３３において音声パケットを受信していない場合には、映像パケットの受信ステップに進む。 On the other hand, in the data communication device D, it is determined whether or not the voice packet transmitted by the packet transmission unit 4 of the data communication device C is received (ST133). When the voice packet is received, the extension header of the voice packet is further received. in by confirming the valid flag, whether valid data between timestamps TS _L on voice packet exists is determined (ST134). Therefore, if an inter-data time stamp exists, the inter-data time stamp information is stored (ST135). Where the data between the time stamp information stored is updated each time it receives a voice packet including a timestamp TS _L between valid data. The audio packet received in step ST133 is sent to the audio decoder 7 as encoded audio data and decoded (ST136). On the other hand, when the audio packet is not received in step ST133, the process proceeds to the video packet receiving step.

次に、データ通信装置Ｄでは、データ通信装置Ｃのパケット送信部４により送信された映像パケットを受信したか否かが判定され（ＳＴ１３７）、映像パケットを受信していない場合には、再びステップＳＴ１３３に戻り、音声パケットの受信動作を行う。一方、映像パケットを受信すると、先に音声パケットから取り出されたデータ間タイムスタンプＴＳ_Lが保存されているか否かが判定され（ＳＴ１３８）、データ間タイムスタンプＴＳ_Lが保存されている場合には、受信した映像パケットのデータ内タイムスタンプＴＳ_Rの値が保存されているデータ間タイムスタンプＴＳ_Lの値以上であるか否か（ＴＳ_RがＴＳ_Lと同一またはより遅い時刻を示しているか否か）が判定される（ＳＴ１３９）。 Next, in the data communication apparatus D, it is determined whether or not the video packet transmitted by the packet transmission unit 4 of the data communication apparatus C has been received (ST137). Returning to ST133, a voice packet reception operation is performed. On the other hand, when receiving a video packet, when whether inter previously retrieved from the voice packet to the data time stamp TS _L are stored is determined (ST138), the data between the time stamp TS _L is stored in , whether the data in the time stamp TS whether or not the value of _R is equal to or larger than the value of the data between the time stamp TS _L stored (TS _R of the received video packet indicates a TS _L identical or slower time Is determined (ST139).

そこで、ＴＳ_RがＴＳ_L未満である場合には、その映像パケットは復号化されずに、再びステップＳＴ１３３に戻り、音声パケットの受信動作を行う。一方、ＴＳ_RがＴＳ_L以上である場合には、フレーム合成部６により映像パケットのフレーム化が実行され（ＳＴ１４０）、続いて、その映像パケットの受信により映像パケットのフレーム化が完了したか否かが判定される（ＳＴ１４１）。そこで、映像パケットのフレーム化が完了すると、フレーム単位の符号化映像データがビデオデコーダ８により復号化される（ＳＴ１４２）。上記ステップＳＴ１３３〜ＳＴ１４２は、最終的に通信が終了したと判定されるまで（ＳＴ１４３：Ｙｅｓ）、繰り返し実行される。 Therefore, when TS _R is less than TS _L, the video packet is not decoded, the process returns to step ST133 again, performs the reception operation of the voice packet. On the other hand, if the TS _R is not less than TS _L, the frame of the video packet is executed by the frame combining unit 6 (ST140), followed by either the frame of the video packet is completed by the reception of the video packet not Is determined (ST141). Therefore, when the framing of the video packet is completed, the encoded video data in units of frames is decoded by the video decoder 8 (ST142). Steps ST133 to ST142 are repeatedly executed until it is finally determined that the communication has ended (ST143: Yes).

本発明を実施例に基づいて詳細に説明したが、これらの実施例はあくまでも例示であって本発明は実施例によって限定されるものではない。例えば、本発明によるデータ通信装置は、第１の実施の態様及び第２の実施の態様として示したデータ通信装置双方の構成要素及びそれらの機能を備えたものとして実現することも可能である。 Although the present invention has been described in detail based on examples, these examples are merely examples, and the present invention is not limited to the examples. For example, the data communication apparatus according to the present invention can be realized as a component having both components and functions of the data communication apparatuses shown as the first embodiment and the second embodiment.

本発明にかかるデータ通信装置及びそれを用いたデータ通信システムは、ネットワークを介して音声データや映像データの送受信を行うに際し、簡易な構成によりネットワーク帯域の状態を的確に判断し、音声等の通信帯域を確保するとともに映像の遅延を低減することができ、ネットワークを介して音声データや映像データの送受信を行うためのデータ通信装置及びそれを用いたデータ通信システムとして有用である。 A data communication apparatus and a data communication system using the same according to the present invention accurately determine the state of a network band with a simple configuration when transmitting and receiving audio data and video data via a network, and perform communication such as audio it is possible to reduce the delay of the image while keeping bandwidth, Ru useful der as data communication apparatus and data communication system using the same for sending and receiving voice data and video data over the network.

本発明の第１の実施の形態に係るデータ通信装置の概略構成を示すブロック図The block diagram which shows schematic structure of the data communication apparatus which concerns on the 1st Embodiment of this invention 図１のデータ通信装置を用いたデータ通信システムにおける映像データの流れを示す模式図Schematic diagram showing the flow of video data in a data communication system using the data communication apparatus of FIG. 図２に示したデータ通信システムにおいて送受信される映像パケットの構成を示す図The figure which shows the structure of the video packet transmitted / received in the data communication system shown in FIG. 図１のデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図The flowchart which shows the communication operation | movement of the audio | voice data and video data in the data communication system using the data communication apparatus of FIG. 本発明の第２の実施の形態に係るデータ通信装置の概略構成を示すブロック図The block diagram which shows schematic structure of the data communication apparatus which concerns on the 2nd Embodiment of this invention. 図５のデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの流れを示す模式図Schematic diagram showing the flow of audio data and video data in a data communication system using the data communication apparatus of FIG. 図６に示したデータ通信システムにおいて送受信される音声パケット及び映像パケットの構成を示す図The figure which shows the structure of the audio | voice packet and video packet which are transmitted / received in the data communication system shown in FIG. 図５のデータ通信装置においてデータ間タイムスタンプを設定するタイミングを示すタイムチャートFIG. 5 is a time chart showing timing for setting an inter-data time stamp in the data communication apparatus of FIG. 図５のデータ通信装置を用いたデータ通信システムにおける音声データ及び映像データの通信動作を示すフロー図FIG. 5 is a flowchart showing a communication operation of audio data and video data in a data communication system using the data communication apparatus of FIG.

Explanation of symbols

４パケット送信部
５パケット受信部
９フレーム受信間隔計測用タイマ
１１フレーム受信間隔取得部
１８制御部
１０２同期時刻情報設定部
１０３同期時刻設定用タイマ
１０４同期時刻情報検出部

4 Packet transmission unit 5 Packet reception unit 9 Frame reception interval measurement timer 11 Frame reception interval acquisition unit 18 Control unit 102 Synchronization time information setting unit 103 Synchronization time setting timer 104 Synchronization time information detection unit

Claims

A data communication system having a first communication device and a second communication device that mutually transmit and receive packetized video data and audio data via a communication line,
The first communication device is sent from the second communication device and a packet transmission unit that sequentially transmits video data and audio data as a plurality of video packets and audio packets to the second communication device. a packet receiving unit for sequentially receiving the video data and audio data as a video packet and audio packet from the header of the video packet received from the second communication device by the packet receiving unit, the video data transmitted by the packet transmission unit A frame reception interval acquisition unit that acquires information about a reception interval for each frame in the second communication device, and a reception interval for each frame of the video data acquired by the frame reception interval acquisition unit is a reciprocal of a frame rate. The frame rate of the video data to be transmitted to the other device The frame rate and bit rate of the video data to be transmitted to the counterpart device when the reception interval is less than the inter-frame time and the state continues for a certain time or more. A control unit that controls to increase at least one of them ,
The second communication device includes a packet transmission unit that sequentially transmits video data and audio data as a plurality of video packets and audio packets to the first communication device, and video packets and audio from the first communication device. A packet receiving unit that receives video data and audio data transmitted as packets , and when the packet receiving unit receives an audio packet from the first communication device, decoding of the encoded audio data is performed with priority. A timer unit that measures a reception interval for each frame by measuring a time interval in which encoded video data is synthesized in units of frames by receiving a video packet when not receiving the video, and is measured by the timer unit The reception interval information for each frame of the received video data is transmitted to the first communication device by the packet transmission unit. Data communication system characterized by comprising a frame reception interval setting unit that sets as the information of the header of the video packet.