JP2000307637A - Multimedia terminal device and inter-network connecting device - Google Patents

Multimedia terminal device and inter-network connecting device

Info

Publication number
JP2000307637A
JP2000307637A JP10872299A JP10872299A JP2000307637A JP 2000307637 A JP2000307637 A JP 2000307637A JP 10872299 A JP10872299 A JP 10872299A JP 10872299 A JP10872299 A JP 10872299A JP 2000307637 A JP2000307637 A JP 2000307637A
Authority
JP
Japan
Prior art keywords
information
means
adaptation
network
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10872299A
Other languages
Japanese (ja)
Inventor
Jiro Katto
二郎 甲藤
Original Assignee
Nec Corp
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp, 日本電気株式会社 filed Critical Nec Corp
Priority to JP10872299A priority Critical patent/JP2000307637A/en
Publication of JP2000307637A publication Critical patent/JP2000307637A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To simultaneously realize the efficiency and simplicity of adaptation processing such as the synchronization management, order control, abort processing, etc., of packets by providing an adaptation information processing means for processing adaptation information and executing synchronization control, abort control, etc. SOLUTION: A multiplexing/demultiplexing circuit 1 multiplexing/ demultiplexing the multiplexing bit stream of packet data received from a network. An adaptation information processing circuit 2 processes adaptation information to execute synchronization control, abort control, etc. A quantity statistic quantity holding circuit 6 holds network quality information obtained from the circuit 2. A media decoding circuit 3 decodes media information of sound and video among encoded data. A media output circuit 4 outputs decoded media information. A control information decoding circuit 5 decodes control information among encoded data. A control circuit 7 controls a terminal device based on the control information and the network quality information.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、インタネット(In BACKGROUND OF THE INVENTION The present invention is, the Internet (In
ternet)のような可変遅延網に接続されるマルチメディア端末装置及び多種多様なネットワークを相互接続する網間接続装置に関し、特に、パケットの同期管理、順序制御、廃棄制御などのアダプテーション処理技術に関する。 Relates interworking unit that interconnects a multimedia terminal device and a wide variety of networks are connected to the variable delay networks such as Ternet), in particular, the synchronization management of the packet, sequence control, to the adaptation process technology such as discard control.

【0002】 [0002]

【従来の技術】ネットワークを介して音声や映像を実時間転送するための国際標準規格は、ITU−T (Internatio BACKGROUND OF THE INVENTION international standard for transferring real-time audio and video over the network, ITU-T (Internatio
nal Telecommunication Union Telecommunication nal Telecommunication Union Telecommunication
Standardization Sector)、ISO/IEC (International Standardization Sector), ISO / IEC (International
Organization for Standardization, Internation Organization for Standardization, Internation
al Electro−technical Commission)、IETF (Interne al Electro-technical Commission), IETF (Interne
tEngineering Task Force)などの標準化団体によって定められている。 tEngineering Task Force) are defined by standards bodies such as. 特にデータ多重化手段については、ネットワーク毎に最適化が図られており、ATM (Asynchron Especially for data multiplexing means is optimized for each network is achieved, ATM (Asynchron
ous Transfer Mode)網やディジタル放送網で使われる Used in ous Transfer Mode) network or a digital broadcast network
ISO/IEC MPEG−2 Systems規格/ITU−T H.222.0勧告、電話網や移動体通信網で使われるITU−T H.223勧告、ローカルエリアネットワークやインタネットで使われるITU−TH.225.0勧告、IETF RFC1889 RTP (Real−t ISO / IEC MPEG-2 Systems standard / ITU-T H.222.0 Recommendation, ITU-T H.223 Recommendation used in telephone networks and mobile communication networks, ITU-TH.225.0 recommendation used in a local area network or the Internet, IETF RFC1889 RTP (Real-t
ime Transport Protocol)などが知られている。 ime Transport Protocol) and the like are known. なお、MPEG−2 SystemsとH.222.0はISO/IECとITU−Tのジョイント規格であり、またH.225.0は、RTPを公式に参照・包含する勧告である。 Incidentally, MPEG-2 Systems and H.222.0 are joint standard of ISO / IEC and ITU-T, also H.225.0 is referenced and including recommendations for RTP officially.

【0003】図31は、これらに共通して使われるプロトコル階層を示している。 [0003] Figure 31 shows the protocol layers used in common thereto. 図31には、端末Aから端末Bに向けて音声や映像などのメディア情報が転送される場合の例が示されている。 Figure 31 is a media information such as audio and video toward the terminal A to the terminal B is shown an example in which is transferred. まず端末Aでは、入力されたメディア情報を符号化し、また制御情報を符号化し、それぞれの品質要求に応じたアダプテーション情報を付加してから多重化を行い、ネットワークに送出する。 First, in the terminal A, and it encodes the media information that has been input and the control information is encoded, performs multiplexing after adding adaptation information corresponding to the respective quality requirements, and sends to the network.

【0004】端末Bでは、ネットワークから多重化されたビットストリームを受信し、多重化分離を行い、付加されたアダプテーション情報に従って誤り処理、同期処理などを行い、メディア情報は復号して出力し、制御情報はその後の端末制御に使用する。 [0004] In the terminal B, receiving the multiplexed bit stream from the network, performs demultiplexing, error handling in accordance with the added adaptation information, performs such synchronization, media information and outputs the decoded control information is used in subsequent terminal control.

【0005】次に図32は、主な標準規格で規定されているアダプテーション情報を表形式で例示したものである。 [0005] Next Figure 32 is an adaptation information defined by the main standards those exemplified in tabular form. 図32において、再同期情報は、例えば映像情報の圧縮データに誤りが発生した場合、受信端末が1フレームの圧縮データをすべて廃棄するのではなく、後続する再同期点から復号可能とし、誤りの影響を局所的に抑えるための仕組みである。 In Figure 32, re-synchronization information, for example, if the error in the compressed data of the image information is generated, the receiving terminal rather than discarding all the compressed data of one frame, and can be decoded from the subsequent resynchronization point, the error it is a mechanism for reducing locally the impact. スライス構造などがその代表例である。 Such slice structure is a typical example. 映像情報の圧縮アルゴリズムに応じて、圧縮アルゴリズムによって提供される場合と、システム側で別途アダプテーション情報として提供される場合とがある。 Depending on the compression algorithm of the video information, there is the case provided by the compression algorithm, and when provided as a separate adaptation information in the system side.

【0006】シーケンスナンバは、例えばパケット交換網においてパケットの転送順序が入れ替わったり、網の輻輳によってパケットが廃棄されたりした場合に、受信端末で適切な順序制御や廃棄検出を可能にするための仕組みである。 [0006] sequence number, for example or interchanged transfer order of the packet in a packet switched network, a mechanism for when packets or discarded, allowing proper sequence control and disposal detected at the receiving terminal by the congestion of the network it is.

【0007】タイムスタンプは、例えば固定転送遅延が保証されていないネットワークにおいて、受信端末で適切な同期再生を可能にするための付加情報である。 [0007] timestamp, for example in a network fixed transfer delay is not guaranteed, an additional information to allow proper synchronization reproduction at the receiving terminal.

【0008】誤り検出・訂正符号は、ネットワークを転送中にランダムエラーやバーストエラーが発生した場合、受信端末でエラー検出を行ったり、可能であれば訂正を行うための付加情報である。 [0008] Error detection and correction code, if the random errors and burst errors network during transfer occurs, or perform error detection at the receiving terminal, which is additional information for possible correction. これらは主に実時間性の要求されるメディア情報に対して付加される。 These are mainly added to the media information that is real-time requirements. 実時間性よりも信頼性の要求される制御情報に対しては、別のプロトコルによって誤り訂正符号が提供されたり、データの再送メカニズムが適用されたりすることもある。 For control information than the actual time of being of reliability requirements, there or it is provided an error correction code by another protocol, also or retransmission mechanism for data is applied.

【0009】図33は、図31に示したプロトコル階層(すなわち、多重化、アダプテーション、メディア・制御の階層)をより具体的に示したものである。 [0009] Figure 33 is a shows a protocol layer 31 (i.e., multiplexing, adaptation, a hierarchy of media control) shows a more specifically. ISO/IEC ISO / IEC
MPEG−2 Systems規格のトランスポートストリーム(T Transport stream MPEG-2 Systems Standard (T
S:Transport Stream)を使用する場合、圧縮された音響、あるいは映像データから、まず、PES(PacketizedEl When S: using the Transport Stream), compressed sound or from the video data, firstly, PES (PacketizedEl
ementary Stream)と呼ばれるパケットが構成される。 Packets called ementary Stream) is formed.
このPESは、数十ミリ秒の音響データであったり、1フレームの映像データであったりする。 The PES is or a sound data of a few tens of milliseconds, or a video data of one frame. また、PESのヘッダ部にはタイムスタンプが付与される。 Further, the header portion of the PES timestamps are applied.

【0010】次にPESを分割し、188バイトのトランスポートパケットと呼ばれる固定長パケットによって多重化を行う。 [0010] then dividing the PES, performs multiplexing by fixed-length packets called a transport packet of 188 bytes. トランスポートパケットのヘッダ部には4ビットのシーケンスナンバが付与される。 The header portion of the transport packet 4-bit sequence number is assigned.

【0011】制御情報や一般的なアプリケーションデータの転送に関して、MPEG−2 TSは、さまざまな形態を許しており、誤り検出・訂正符号を付加したり、放送形態の場合には、同じデータを繰り返し転送したりする。 [0011] For the transfer of control information and common application data, MPEG-2 TS is allow various forms, or adds an error detection and correction codes, in the case of a broadcast mode, the same data repeatedly transfer to or.

【0012】MPEG−2 TS方式は、ATM網やディジタル放送網のような、一般的に転送遅延の変動の少ない高速ネットワークでの使用を前提としている。 [0012] MPEG-2 TS system, such as ATM networks and digital broadcasting network, which is intended to be used in a few high-speed network of fluctuations in the general transfer delay.

【0013】ITU−T H.223勧告を使用する場合は、制御情報とアプリケーションデータ、音声データ、映像データそれぞれがAL1、AL2、AL3と呼ばれるアダプテーション層に渡され、適度なサイズに分割された後にメディア毎に異なる種類のアダプテーション情報が付加され、多重化される。 [0013] When using the ITU-T H.223 Recommendation, the control information and application data, audio data, respectively the video data is passed to the adaptation layer, called AL1, AL2, AL3, after being divided into reasonably sized different types of adaptation information for each medium are added and multiplexed.

【0014】また、H.223勧告にはいくつかのレベルがあり、アダプテーション機能も高いレベルほど強くなる。 [0014] In addition, there are several levels to the H.223 recommendation, the stronger the higher also adaptation function level. 音声に関しては、誤り検出とシーケンスナンバが選択可能である。 For the speech, error detection and sequence number can be selected. 映像に関しては、誤り検出、シーケンスナンバ、再送が選択可能である。 For the video, error detection, sequence number, retransmission can be selected.

【0015】制御情報に関しては、それ自身で誤り検出、シーケンスナンバ、再送を行う場合、LAPM(Link A [0015] With respect to the control information, if you do it error detection on its own, sequence number, retransmission, LAPM (Link A
ccess Procedure for Modems)などの上位プロトコルを使用する場合、アプリケーション自体が誤り訂正を行う場合等、多様な形態が想定されている。 When using ccess Procedure for Modems) upper layer protocol, such as, such as if the application itself performs error correction, the various forms are envisioned. なお、使用するアダプテーション情報の選択は、上記制御情報を介して行われる。 The selection of the adaptation information to be used is performed via the control information. H.223方式は、電話網や移動体通信網のような、一般的に固定遅延の低速ネットワークでの使用を前提としている。 H.223 system, such as a telephone network or mobile communication network, which is intended to be used in a slow network generally fixed delay. このため、タイムスタンプは使用されない。 For this reason, the time stamp is not used.

【0016】ITU−T H.225.0勧告を使用する場合、音声と映像データは適度なサイズにパケット化され、RTP [0016] When using the ITU-T H.225.0 recommendation, audio and video data are packetized into reasonably sized, RTP
ヘッダを付加した後にUDP(User Datagram Protocol) UDP after adding a header (User Datagram Protocol)
層、IP(Internet Protocol)層を介して多重化される。 Layer, are multiplexed via an IP (Internet Protocol) layer.
制御情報はTCP(Transport Control Protocol) 層、IP Control information is TCP (Transport Control Protocol) layer, IP
層を介して多重化される。 It is multiplexed through the layer. TCPは再送メカニズムなどによって遅延は増大するが、信頼性の高いデータ転送を保証する。 TCP increases the delay and the like retransmission mechanism, to ensure reliable data transfer.

【0017】一方、UDPはTCPを簡略化したものである。 [0017] On the other hand, UDP is a simplified version of the TCP.
このUDPにおいては、再送を行わないために遅延は減少するが、パケットの廃棄が発生する。 In this UDP, delay in order not to perform retransmission is decreased, packet discard occurs. RTPは、アダプテーション情報としてシーケンスナンバを提供し、かつ同期再生用のタイムスタンプを付与する。 RTP provides a sequence number as the adaptation information, and imparting a time stamp for synchronous reproduction.

【0018】また、RTPの補助として、RTCP(Real−time [0018] In addition, as an auxiliary of the RTP, RTCP (Real-time
Transport Control Protocol)が規定されており、R Transport Control Protocol) has been defined, R
TCPを用いて端末間で転送遅延、ジッタ、パケット廃棄率などの情報が交換される。 Transfer delay between the terminals using TCP, jitter, information such as the packet loss ratio are exchanged. H.225.0方式は、インタネットのような、一般的に転送遅延が変動するパケット交換網での使用を前提としている。 H.225.0 method, such as Internet, typically transfer delay is intended for use in a packet switching network varies.

【0019】異なるネットワーク間で音声や映像の多重化されたストリームデータを相互交換するための国際標準規格としては、ITU−T H.246勧告が知られている。 [0019] As the international standard for interchange stream data multiplexed audio and video between different networks, ITU-T H.246 recommendation is known. I I
TU−TではHシリーズと呼ばれるネットワーク毎のマルチメディア端末を勧告化しており、H.246は異なるHシリーズ端末間、あるいは既存の電話端末との通信を可能にするための網間接続装置の勧告化を目的としている。 The multimedia terminal of each network called an H series in TU-T has recommended by, H.246 Recommendations for interworking unit for enabling communication between different H series terminal or existing telephone terminal, it is an object of.

【0020】図34は、網間接続装置で使われる一般的なプロトコル階層を示している。 [0020] Figure 34 shows a typical protocol layer used in interworking unit. ここでは、端末Aから網間接続装置を介して端末Bに音声や映像などのメディア情報が転送される場合を示している。 Here it is shown a case where media information such as audio or video is transferred to the terminal B via the interworking unit from the terminal A. 網間接続装置は、端末A側には第1のネットワークに対応するインタフェースを、端末B側には第2のネットワークに対応するインタフェースを備えている。 Interworking unit, the interface to the terminal A side corresponding to the first network, the terminal B side is provided with an interface corresponding to the second network. まず端末Aが、メディア情報と制御情報を符号化し、第1のネットワークに適合したアダプテーション情報を付加して多重化を行い、 First terminal A, the media information and control information is encoded, performs multiplexing by adding adaptation information conforming to the first network,
第1のネットワークに送出する。 Sending to the first network. 網間接続装置は、第1 Interworking device, first
のネットワークから多重化されたビットストリームを受信し、多重化分離を行い、付加されたアダプテーション情報を処理し、必要に応じてメディア情報、制御情報のいずれか、あるいは両方をトランスコードし、今度は第2のネットワークに適合したアダプテーション情報を付加して多重化を行い、第2のネットワークに送出する。 Receiving the multiplexed bit stream from the network, it performs demultiplexing, processes the added adaptation information, media information as necessary, transcoded either or both of control information, in turn, It performs multiplexing by adding adaptation information conforming to a second network, and sends to the second network.
端末Bでは、第2のネットワークから多重化されたビットストリームを受信し、多重化分離を行い、付加されたアダプテーション情報に従って誤り処理、同期処理などを行い、メディア情報は復号して出力し、制御情報はその後の端末制御に使用する。 In the terminal B, receiving the multiplexed bit stream from the second network, it performs demultiplexing, error handling in accordance with the added adaptation information, performs such synchronization, media information and outputs the decoded control information is used in subsequent terminal control.

【0021】ただし、上に述べた国際標準規格は多重化ストリームを作成するためのシンタクスと各フィールドのセマンティクスを規定しているだけで、マルチメディア端末装置の詳細な実装手段に関しては何ら言及していない。 [0021] However, only the international standards mentioned above defines the semantics of the syntax and the fields for creating a multiplexed stream, have no mention regarding detailed implementation means of the multimedia terminal device Absent. 特に、インタネット端末におけるシーケンスナンバとタイムスタンプを用いたアダプテーション手段の実装に関しては、さまざまな方式が乱立しているのが現状である。 In particular, with regard to the implementation of the adaptation means using sequence numbers and time stamps in the Internet terminal, at present are various schemes are mushrooming.

【0022】また、網間接続装置に関しても、ITU−T [0022] In addition, with regard to inter-network connection device, ITU-T
H.246勧告は現在制定作業中であり、現状では、ISDN(In H.246 recommendation is currently being established work, at present, ISDN (In
tegrated Digital Services Network) に接続される Is connected to the tegrated Digital Services Network)
H.320端末とインタネットに接続されるH.323端末の相互接続手順が勧告化されているに過ぎず、残りのHシリーズ間の接続手順は空欄になっている。 Interconnection procedure of H.323 terminals connected to the H.320 terminal and the Internet only have been recommended by the connection procedure between the remaining H series is blank. さらに、その接続手順に関しても、制御情報の変換ルールが記載されているに過ぎない。 Furthermore, with regard to its connection procedure, the conversion rule in the control information is only disclosed.

【0023】シーケンスナンバ、タイムスタンプを含むアダプテーション情報処理の具体的な実装手段としては、例えば特開平4−319832号公報(発明の名称:「セル情報保障方式」)等の記載が参照される。 [0023] sequence number, as the concrete implementation means adaptation information including a time stamp, for example, Japanese Unexamined 4-319832 JP (entitled "cell information security system"), wherein the like is referred to. この方式では、ATM網を介して送られてきたパケットに対し、パケットに付加されたシーケンスナンバを参照してパケット廃棄を検出し、廃棄を検出した場合には廃棄位置にダミーデータを挿入する。 In this manner, with respect to a packet sent via an ATM network, it detects a packet discard with reference to appended sequence number in the packet, if it detects the discard inserts dummy data in the disposal position. これによってパケット送信者への再送要求が不要になり、音声や映像に適した即時性が実現できる旨が記載されている。 This eliminates the need for retransmission request to the packet sender, it is described that immediacy suitable for audio and video can be realized.

【0024】また、例えば特開平10−84388号公報(「パケットデータの時間間隔補正装置及び再生方法」)には、受信端末はまずパケットからタイムスタンプを分離してカウンタを初期化し、カウンタ値が分離したタイムスタンプ値に一致した時点でパケットデータをメモリに書き込み、時刻再生を実現して次の処理にデータを渡す構成が開示されており、これは、メモリサイズを抑制することを目的にしている。 Further, for example, in JP-A-10-84388 discloses ( "time interval correction apparatus and reproducing method of the packet data"), the receiving terminal the counter initializes the first packet separating a time stamp, the counter value is writing packet data at the time that matches the separated timestamp value in a memory, there have been disclosed arrangement to pass data to the next processing to achieve time reproduction, which, in the purpose of suppressing the memory size there.

【0025】また、特開平10−271482号公報(発明の名称:「符号化映像の同期再生制御方法及びシステム」) Further, JP-A-10-271482 JP (entitled "synchronized playback control method and system for encoding video")
には、音声と映像が多重化されるマルチメディアデータにおいて、音声、映像それぞれの転送パケットにタイムスタンプを付与し、パケットの受信端末では音声に付加されたタイムスタンプを基準として、映像に付加されたタイムスタンプが早い場合には映像データを逐次復号し、遅い場合にはバッファリングして時間を揃えてから映像データを復号する構成が開示されており、音声と映像の同期再生の同期ずれのない再生が可能となる旨が記載されている。 The, in the multimedia data audio and video are multiplexed, the audio, the time stamp assigned to video respective transfer packet, based on the time stamp added to the audio at the receiving terminal of the packet, is added to the video were sequentially decodes the video data if the timestamp is earlier, late case is composed discloses that decodes the video data and align the time buffering, the synchronous reproduction of the out-of-sync audio and video it is described that no play is possible.

【0026】次に、網間接続装置の構成として、例えば特開平10−164143号公報(発明の名称:「ゲートウェイ装置及びそれを用いた通信システム」)には、CATVのような固定遅延網とインタネットのような可変遅延網の間に位置する網間接続装置において、インタネット側での帯域保証プロトコルの使用を前提として、固定遅延網から可変遅延網に向かう符号化された映像データにトランスコードを施し、帯域保証プロトコルで保証された転送レートに変換する構成が開示されており、これは、安定した映像信号の配信を行うことを目的とする。 Next, a configuration of the interworking unit, for example, JP-A 10-164143 JP (entitled "gateway apparatus and a communication system using the same"), the fixed delay networks such as CATV in interworking unit located between the variable delay networks such as Internet, assuming use of bandwidth assurance protocols in the Internet side, the encoded transcoded into video data toward the variable delay network from a fixed delay network subjected, bandwidth assurance protocol is disclosed a configuration for converting the assured forwarding rate, which is intended for distributing stable video signal.

【0027】また、例えば特開平10−164129号公報(発明の名称:「通話システム」)には、通常の電話網とインタネットを結ぶ網間接続装置の構成に関して、第一の網間接続装置は通常の電話端末からの発呼を受け、インタネット、及び第二の網間接続装置を介して相手の電話端末に着信し、音声通話を行うための手順が開示されている。 Further, for example, JP-A-10-164129 JP (entitled "Call System"), the terms configuration of interworking unit that connects the conventional telephone network and the Internet, first interworking unit receiving a call from an ordinary telephone terminal, via Internet, and the second interworking unit coming into partner telephone terminal, it is disclosed procedure for performing a voice call. この方式は、二つの網間接続装置間のパケット転送遅延を測定し、その遅延時間に応じて送信音声パケット、もしくは受信音声パケットを選択的に廃棄し、電話端末間の全体の転送遅延を削減することを目的としている。 This method measures the packet transfer delay between two interworking unit, transmitting voice packets, or the received voice packets selectively discarded in accordance with the delay time, reduce the overall transfer delay between telephone terminals It is intended to be.

【0028】さらに、例えば特開平10−173696号公報(発明の名称:「広域ネットワークを基礎とする音声ゲートウェイ」)には、電話網、ATM、フレームリレー、 Furthermore, for example, JP-A 10-173696 JP (entitled "Voice gateway based on the wide area network"), the telephone network, ATM, frame relay,
インタネットなどの異なる伝送標準を使用するネットワーク間を結ぶ網間接続装置において、呼設定プロトコルの変換と符号化フォーマットの変換を行う網間接続装置が開示されており、これは、異なるネットワークを跨って、音声、映像信号を運ぶ通信セッションを確立することを目的としている。 In interworking unit connecting the networks using different transmission standards, such as the Internet, interworking unit for converting transform and encoding formats of call setup protocol is disclosed, which, across different networks , aims at establishing voice communications session carrying the video signal.

【0029】 [0029]

【発明が解決しようとする課題】しかしながら、上記各刊行物等に記載された技術では、とりわけインタネットのような可変遅延網において十分なアダプテーション処理が実現されているとは言いがたい。 However [0005], in the technology described in the above publication or the like, especially hard to say a variable delay sufficient adaptation process in networks such as the Internet is realized.

【0030】より詳細には、上記特開平4−319832号公報に記載される方式は、受信端末でエラーを含むパケットを廃棄し、シーケンスナンバによって廃棄検出を行っているが、ネットワークによってパケットの順序が入れ替わる場合は想定していない。 [0030] More particularly, a method described in JP-A Hei 4-319832 discards packets containing errors at the receiving terminal, is performed to discard detected by a sequence number, the order of the packet by the network If the interchange does not assume. このため、タイムアウト時間内に届いたパケットであっても、順序が反転していれば廃棄されることになり、インタネットのような可変遅延網には適用しにくい。 Therefore, even a packet arrives within the time-out period, will be order is discarded if reversed, the variable delay network to difficult to apply, such as Internet.

【0031】また上記特開平10−84388号公報に記載される方式は、タイムスタンプに従った安定した同期再生を可能にするが、パケットの到着順番の入れ替わりを制御する順序制御については何ら言及していない。 Further method described in JP-A Hei 10-84388, which allows for stable synchronous playback according to the time stamp, no mention about the sequence control which controls the interchange of arrival order of the packets not. このため、インタネットのような可変遅延網に直接的に適用することはできない。 Therefore, it is impossible to directly apply to the variable delay networks such as Internet.

【0032】上記特開平10−271482号公報に記載される方式は、タイムスタンプに従った音声と映像の二つのメディアの安定した同期再生を可能にするが、やはりパケットの順序制御については言及していない。 The method described in JP-A Hei 10-271482 is to allow synchronized playback stably two media audio and video in accordance with the time stamp, referred to for still order control of packets not. このため、 For this reason,
インタネットのような可変遅延網に直接的に適用することはできない。 It can not be a variable delay network directly to applications such as Internet.

【0033】上記特開平10−164143号公報に記載される方式は、インタネットにおける帯域保証プロトコルの信頼性に依存している。 The method described in JP-A Hei 10-164143 is dependent on the reliability of the bandwidth assurance protocol in Internet. しかしながら、高速から低速、高信頼から低信頼と、地域に応じて多種多様な品質環境が混在するインタネットでは、前記の帯域保証プロトコルが常に安定して機能するとは限らない。 However, a low confidence slow, from reliability from the high-speed, in the Internet where a variety of quality environments are mixed by location, not necessarily the band-guaranteed protocol is always stably function. 逆に、現時点では適用できないケースのほうが多い。 On the contrary, more often than not it is applied case at the moment. このため、適用範囲がかなり限定されてしまうことになる。 Therefore, so that the application range will be rather limited.

【0034】上記特開平10−164129号公報に記載される方式は、受信端末は従来の電話機であり、アダプテーション処理は網間接続装置だけで行うことを想定している。 The method described in JP-A Hei 10-164129, the receiving terminal is a conventional telephone, the adaptation process is assumed to be carried out only by interworking unit. また、網間接続装置が選択的にパケットを棄却するが、インタネット上のパケット廃棄やパケットの順序制御に関しては何ら言及していない。 Although interworking unit is rejected selectively packets do not mention with respect to the sequence control of packet discard and packet on the Internet. このため、映像を含むマルチメディア通信に直接的に適用することはできない。 Therefore, it is impossible to directly apply to multimedia communication including video.

【0035】上記特開平10−173696号公報に記載される方式は、符号化フォーマットの変換について言及はしているものの、主な目的は多様なネットワークを跨る呼設定プロトコルの変換であって、アダプテーション処理の効率化手段を何ら提供するものではない。 The method described in JP-A Hei 10-173696, although the conversion of the encoding format mentioned are the main purpose is a conversion of the call setup protocol across a variety of networks, adaptation It is not intended to provide an efficient means of treatment. このため、マルチメディア端末装置、及び網間接続装置における音声、映像等のメディア情報の効率的な同期再生に寄与するものではない。 Therefore, the multimedia terminal device, and not sound, intended to contribute to the efficient synchronous reproduction of media information such as video in interworking unit.

【0036】このほかにも、すでに各所でインタネット電話端末、インタネット映像端末、ならびにインタネット端末と既存の電話網やISDNに接続された電話機を相互接続する網間接続装置は実現されているが、簡易過ぎる廃棄制御のためにパケット廃棄率が増加してしまう、複雑過ぎる順序制御のために回路が複雑になってしまう、 [0036] Besides this, already Internet telephone terminals in various locations, internet video terminal, as well as Internet terminals and interworking unit that interconnects a telephone connected to the existing telephone network or ISDN is realized, the simple packet loss ratio for disposal control too is increased, the circuit for too complex sequencing becomes complicated,
などの問題を抱えている。 I have a problem, such as. 将来的な映像サービスの多様化、大規模化、ならびに現存する多種多様なネットワーク上の映像サービスをインタネット上にも展開するためには、端末装置、及び網間接続装置におけるアダプテーション処理の効率化と簡素化の並立が必須である。 Diversification of future video services, large-scale, as well as existing video services on a wide variety of networks to be deployed in the Internet is the efficiency of the adaptation process in the terminal device, and interworking unit simplify collateral is essential.

【0037】したがって本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、マルチメディア端末装置、ならびに網間接続装置において、パケットの同期管理、順序制御、廃棄処理などのアダプテーション処理の効率化と簡素化を同時に実現する装置を提供することにある。 [0037] Accordingly, the present invention was made in view of the above problems, the main object, a multimedia terminal device, and the interworking unit, the synchronization management of the packet, sequence control, such as disposal to provide an apparatus for implementing the same time the efficiency and simplify adaptation process. これ以外の本発明の目的、利点等は以下の説明で容易に明らかとされるであろう。 Other objects of the present invention will benefit the like are readily apparent in the following description.

【0038】 [0038]

【課題を解決するための手段】前記目的を達成する本発明のマルチメディア端末装置は、ネットワークを介して送られてくる音声信号、映像信号、制御情報等の符号化データを受信・復号・再生するマルチメディア端末装置であって、前記符号化データにはタイムスタンプやシーケンスナンバ等のアダプテーション情報が付加され、前記マルチメディア端末装置は、前記符号化データの多重化ビットストリームを多重化分離する多重化分離手段と、前記アダプテーション情報を処理し、同期制御、廃棄制御等を行うアダプテーション情報処理手段と、前記アダプテーション情報処理手段から得られるネットワーク品質情報を保持する品質統計量保持手段と、前記符号化データが音声や映像等のメディア情報である場合に復号を行うメディア復 Means for Solving the Problems] multimedia terminal device of the present invention for achieving the above object, the audio signal transmitted through the network, the video signal, the reception and decoding and reproducing the coded data such as control information a multimedia terminal device, the encoded data is added adaptation information such as time stamps and sequence numbers, the multimedia terminal device, multiplexing the demultiplexed the multiplexed bit stream of the encoded data of a separation unit to process the adaptation information, the synchronization control, the adaptation information processing means for performing discard control, etc., and quality statistics holding means for holding network quality information obtained from the adaptation information processing means, said encoding media recovery data is perform decoding when a media information such as audio and video 手段と、復号された前記メディア情報を出力する手段と、前記符号化データが制御情報である場合に復号を行う制御情報復号手段と、復号された前記制御情報と前記品質統計量保持手段に保持されたネットワーク品質情報に従って端末装置の制御を行う制御手段とを備える。 Holding means, and means for outputting the media information decoded, the control information decoding unit for decoding when the encoded data is control information, the control information decoded with said quality statistics holding means and control means for controlling the terminal device according to the network quality information. 本発明において、前記アダプテーション情報処理手段は、パケット受信手段と、受信された前記パケットをアダプテーション情報と符号化データに分離するアダプテーション情報分離手段と、前記アダプテーション情報を保持するアダプテーション情報保持手段と、オフセット付き時刻を与えるオフセット遅延付加手段と、前記アダプテーション情報と前記オフセット付き時刻を用いてアダプテーション処理を実行するアダプテーション処理手段と、前記アダプテーション情報と前記オフセット付き時刻を用いて出力タイミングを提供する出力タイミング発生手段と、前記アダプテーション処理手段から与えられる符号化データを保持し、前記出力タイミングに従って前記符号化データを出力する蓄積手段と、を備える。 In the present invention, the adaptation information processing means includes: a packet receiving unit, and adaptation information separating means for separating said received packet was the adaptation information and the encoded data, and the adaptation information holding means for holding the adaptation information, the offset an offset delay adding means for providing per time, the the adaptation processing means for executing the adaptation processing using adaptation information and said offset with time, the output timing generator for providing an output timing with the offset with time and the adaptation information holding means, coded data supplied from said adaptation processing unit, and a storage means for outputting the encoded data in accordance with the output timing.

【0039】本発明においては、好ましくは、前記アダプテーション処理手段は、前記アダプテーション情報と前記オフセット付き時刻を用いて選択的に符号化データを廃棄し、かつネットワーク品質の評価を行い前記品質統計量保持手段に通知するタイムアウト判定手段と、前記アダプテーション情報を用いてネットワーク品質の評価を行い前記品質統計量保持手段に通知する順序番号比較手段と、前記アダプテーション情報を用いて前記蓄積手段に符号化データを書き込む書き込み手段とを備える。 [0039] In the present invention, preferably, the adaptation processing means selectively discards the encoded data, and the quality statistics hold evaluates the network quality using said offset with time and the adaptation information and timeout judging means for notifying means, and sequence number comparison means for notifying the quality statistic holding means evaluates the network quality using the adaptation information, the encoded data in the storage means using said adaptation information and a writing means for writing.

【0040】本発明においては、好ましくは、さらに前記蓄積手段は、前記アダプテーション情報と符号化データの有効・無効を示す情報と符号化データの長さを示す情報を管理情報として保持し、符号化データを保持する記憶手段と、前記出力タイミングと前記管理情報に従って符号化データを出力する読み出し制御手段とを備える。 [0040] In the present invention, preferably, further said storage means holds information indicating the length of the information and encoded data indicating a valid or invalid of the adaptation information and the encoded data as management information, coding comprising storage means for holding data, and a read control means for outputting the encoded data in accordance with the management information and the output timing.

【0041】本発明マルチメディア端末装置は、前記マルチメディア端末装置におけるアダプテーション情報処理手段において、前記オフセット遅延付加手段は、さらに前記品質統計量保持手段に保持されたネットワーク品質情報と前記メディア復号手段からの入力を用いてオフセット遅延を適応的に変化させる。 The present invention multimedia terminal device, in adaptation processing means in the multimedia terminal device, the offset delay addition unit further the quality statistic holding means network quality information held in from the media decoder unit using the input changing the offset delay adaptively.

【0042】本発明のマルチメディア端末装置は、前記マルチメディア端末装置において、さらに、音声や映像等のメディア情報を入力する手段と、前記メディア情報を符号化するメディア符号化手段と、前記制御手段の出力する制御情報を符号化する制御情報符号化手段と、前記メディア符号化手段、及び前記制御情報符号化手段の出力である符号化データに新たなアダプテーション情報を付加するアダプテーション情報付加手段と、前記アダプテーション情報付加手段の出力を多重化してネットワークに送出する多重化手段を備える。 The multimedia terminal device of the present invention, in the multi-media terminal apparatus further comprises means for inputting the media information such as audio and video, and the media encoding means for encoding the media information, the control means a control information encoding means for encoding the control information output by the, and the media encoding means, and adaptation information adding means for adding a new adaptation information is the output encoded data of the control information encoding means, It comprises multiplexing means for sending to the network by multiplexing the output of the adaptation information adding means.

【0043】本発明の網間接続装置は、異なる伝送方式を使用する第1のネットワークと第2のネットワークの間に位置し、前記第1のネットワークに接続された端末と前記第2のネットワークに接続された端末を相互接続し、音声信号、映像信号、制御情報等の符号化データを転送する網間接続装置であって、前記符号化データにはタイムスタンプやシーケンスナンバ等のアダプテーション情報が付加され、前記網間接続装置は、前記第1のネットワークから前記第2のネットワークに向かう網間接続手段を備え、前記網間接続手段は、前記符号化データの多重化ビットストリームを多重化分離する多重化分離手段と、前記アダプテーション情報を処理し、同期制御、廃棄制御等を行うアダプテーション情報処理手段と、前記アダプテーシ The interworking unit according to the present invention, the first network and located between the second network, wherein the first terminal connected to the network a second network using different transmission schemes the connected terminal interconnected, audio signal, video signal, an inter-network connection device for transferring coded data such as control information, the coded data is added adaptation information such as a timestamp or sequence number is, the interworking unit comprises interworking unit toward the second network from the first network, the interworking means separates multiplexed multiplexed bit stream of the encoded data and demultiplexing means, processing the adaptation information, and adaptation information processing means for performing synchronization control, waste control, etc., the Adaputeshi ン情報処理手段から与えられる第1の制御情報の符号化データを変換し、もしくは新規生成し、第2の制御情報の符号化データを出力する制御情報トランスコード手段と、前記アダプテーション情報処理手段から与えられる第1のメディア情報の符号化データを、前記制御情報トランスコード手段の制御出力に応じて変換、もしくは通過し、第2のメディア情報の符号化データを出力するメディア・トランスコード手段と、新たなアダプテーション情報を付加するアダプテーション情報付加手段と、前記アダプテーション情報付加手段の出力を多重化してネットワークに送出する多重化手段とを備える。 It converts the coded data of the first control information supplied from the down information processing means, or the newly generated control information transcoding means for outputting the encoded data of the second control information, from the adaptation information processing means the coded data of the first media information given, conversion, or passed in response to the control output of the control information transcoding unit, and media transcoding means for outputting the encoded data of the second media information, and adaptation information adding means for adding a new adaptation information, and a multiplexing means for sending to the network by multiplexing the output of the adaptation information adding means.

【0044】本発明において、前記制御情報トランスコード手段は、前記第1の制御情報の符号化データを復号する制御情報復号手段と、前記アダプテーション情報処理手段から得られるネットワーク品質情報を保持する品質統計量保持手段と、前記品質統計量保持手段に保持されたネットワーク品質情報を用いて前記第1の制御情報を変換し、必要に応じて新規生成を行い、前記第2の制御情報を出力する制御情報変換・生成手段と、前記第1 [0044] In the present invention, the control information transcoding unit includes a control information decoding means for decoding the encoded data of the first control information, the quality statistics that holds network quality information obtained from the adaptation information processing means the amount holding unit, wherein converting the first control information using a network quality information held in the quality statistics holding means performs a new product if necessary, control for outputting the second control information and information conversion and generation means, said first
の制御情報、及び前記第2の制御情報を解析・蓄積する制御情報解析手段と、前記第2の制御情報を符号化する制御情報符号化手段とから構成される。 Control information, and a control information analyzing means for analyzing and storing the second control information, a control information encoding means for encoding said second control information.

【0045】 [0045]

【発明の実施の形態】次に、本発明の好ましい実施の形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Next, description preferred embodiments of the present invention. 本発明に係るマルチメディア端末装置は、その好ましい実施の形態において、図1を参照すると、ネットワークを介して送られてくる、音声及び/又は映像信号と制御情報の符号化データに、タイムスタンプ及びシーケンスナンバを少なくとも含むアダプテーション情報が付加されているパケットデータを受信し、復号、及び再生するものであって、ネットワークから送られ受信したパケットデータの多重化ビットストリームを多重化分離する多重化分離手段(1)と、前記アダプテーション情報を処理し、同期制御、廃棄制御を行うアダプテーション情報処理手段(2)と、前記アダプテーション情報処理手段(2)から得られるネットワーク品質情報を保持する品質統計量保持手段(6)と、前記符号化データのうち音声や映像のメディ Multimedia terminal device according to the present invention, in the form of its preferred embodiments, with reference to FIG. 1, sent via the network, the encoded data of audio and / or video signal and control information, time stamps and receives the packet data including at least adaptation information sequence number is added, decoding, and be one playing, demultiplexer means for demultiplexing the multiplexed bit stream for the packet data received is sent from the network (1) and, processing the adaptation information, the synchronization control, the adaptation information processing means for performing discard control (2), the adaptation information processor quality statistic storage means for storing network quality information obtained from (2) and (6), the audio and video of the encoded data media 情報を復号するメディア復号手段(3)と、復号された前記メディア情報を出力する手段(4)と、前記符号化データのうち制御情報を復号する制御情報復号手段(5)と、復号された前記制御情報と前記品質統計量保持手段に保持されたネットワーク品質情報に基づき端末装置の制御を行う制御手段(7)と、を備えている。 A media decoding means for decoding the information (3), and means (4) for outputting the media information decoded, the control information decoding means for decoding the control information of the coded data (5), the decoded and a, and the control means (7) for controlling the terminal device based on the network quality information held in said quality statistics holding means and the control information.

【0046】本発明に係るマルチメディア端末装置は、 The multi-media terminal apparatus according to the present invention,
その好ましい実施の形態において、図2を参照すると、 In its preferred embodiments, with reference to FIG. 2,
アダプテーション情報処理手段(2)は、前記多重化分離手段から出力されるパケットデータを受信する受信手段(11)と、受信された前記パケットデータをアダプテーション情報と符号化データとに分離するアダプテーション情報分離手段(12)と、前記アダプテーション情報を保持するアダプテーション情報保持手段(13) Adaptation information processing means (2) is the adaptation information separation for separating the receiving means (11) for receiving packet data outputted from said demultiplexing means, the received the packet data into the adaptation information and the encoded data means (12), the adaptation information holding means for holding the adaptation information (13)
と、クロック生成手段(14)からの出力に基づきオフセット付き時刻情報を与えるオフセット遅延付加手段(15)と、アダプテーション情報と前記オフセット付き時刻情報とを用いてアダプテーション処理を実行するアダプテーション処理手段(16)と、前記アダプテーション情報と前記オフセット付き時刻を用いて出力タイミングを生成する出力タイミング発生手段(17)と、 If, adaptation processing means (16 to perform the offset delay adding means (15) for applying an offset with time information on the basis of the output from the clock generating means (14), the adaptation processing using the adaptation information and the offset with time information a), the output timing generating means for generating an output timing with the offset with time and the adaptation information and (17),
前記アダプテーション処理手段から与えられる符号化データを保持し、前記出力タイミングに従って前記符号化データを出力する蓄積手段(18)と、を備えている。 The holds encoded data supplied from the adaptation processing unit, and a, a storage means (18) for outputting the encoded data in accordance with the output timing.

【0047】本発明に係るマルチメディア端末装置は、 The multi-media terminal apparatus according to the present invention,
その好ましい実施の形態において、図3を参照すると、 In its preferred embodiments, with reference to FIG. 3,
前記アダプテーション処理手段(16)は、前記アダプテーション情報と前記オフセット付き時刻を用いて選択的に符号化データを廃棄するとともに、ネットワーク品質の評価を行いデータ廃棄数を含む品質評価結果を前記品質統計量保持手段(6)に通知するタイムアウト判定手段(23)と、前記アダプテーション情報を用いてシーケンスナンバーをチェックすることでネットワーク品質の評価を行い評価結果を前記品質統計量保持手段(6)に通知する順序番号比較手段(24)と、前記アダプテーション情報を用いて前記蓄積手段(18)に符号化データを書き込む書き込み手段(25)と、備えている。 The adaptation processing unit (16), along with selectively discarding encoded data using said offset with time and the adaptation information, the quality statistics the quality evaluation result including the number of data discard evaluates the network quality a timeout determination means for notifying the holding means (6) (23), notifying the quality statistic holding means evaluation results evaluated of network quality (6) by checking the sequence number by using the adaptation information a sequence number comparison means (24), and writing means (25) for writing the encoded data in the storage means (18) using the adaptation information comprises.

【0048】本発明に係るマルチメディア端末装置は、 The multi-media terminal apparatus according to the present invention,
その好ましい実施の形態において、図4を参照すると、 In its preferred embodiments, with reference to FIG. 4,
前記蓄積手段(18)は、前記アダプテーション情報と符号化データの有効・無効を示す情報と符号化データの長さを示す情報を管理情報として保持し、符号化データを保持する記憶手段(27)と、前記出力タイミングと前記管理情報に従って符号化データを出力する読み出し制御手段(26)と、を備えている。 It said storage means (18) holds information indicating the length of the information and encoded data indicating a valid or invalid of the adaptation information and the encoded data as management information, storing means for storing encoded data (27) When, a, a read control means (26) for outputting the encoded data in accordance with the management information and the output timing.

【0049】本発明に係るマルチメディア端末装置は、 The multi-media terminal apparatus according to the present invention,
その好ましい実施の形態において、図14を参照すると、オフセット遅延付加手段(75)を、前記品質統計量保持手段(6)に保持されたネットワーク品質情報と前記メディア復号手段(3)からの入力とを用いてオフセット遅延を適応的に変化させるように構成してもよい。 In its preferred embodiments, with reference to FIG. 14, the input offset delay adding means (75), from the quality statistics holding means and network quality information held in (6) the media decoding means (3) it may be configured to vary the offset delay adaptively used.

【0050】次に本発明に係る網間接続装置は、その好ましい実施の形態において、図18を参照すると、異なる伝送方式を使用する第1のネットワークと第2のネットワークの間に配設され、前記第1のネットワークに接続された端末と前記第2のネットワークに接続された端末とを相互接続し、音声信号、映像信号、及び制御情報等の符号化データを転送するものであって、前記符号化データには、タイムスタンプやシーケンスナンバを少なくとも含むアダプテーション情報が付加されており、網間接続装置は、前記第1のネットワークから前記第2のネットワークに向かう網間接続手段を備え、前記網間接続手段が、前記符号化データの多重化ビットストリームを多重化分離する多重化分離手段(201)と、前記アダプテーション情 [0050] Next interworking unit according to the present invention, in the form of its preferred embodiments, with reference to FIG. 18, is disposed between the first and second networks using different transmission scheme, wherein a first terminal connected to the network and the second terminal connected to the network interconnected been made to transfer audio signals, video signals, and a coded data such as control information, the the encoded data adaptation information including at least a timestamp and sequence number have are added, interworking unit comprises interworking means extending from the first network to the second network, the network during connection means, demultiplexing means for demultiplexing the multiplexed bit stream of the encoded data (201), the adaptation information を処理し、同期制御、廃棄制御等を行うアダプテーション情報処理手段(202)と、前記アダプテーション情報処理手段から与えられる第1の制御情報の符号化データを変換するか、もしくは新たに生成し、第2の制御情報の符号化データを出力する制御情報トランスコード手段(203)と、アダプテーション情報処理手段(202)から与えられる第1のメディア情報の符号化データを、制御情報トランスコード手段(203)からの制御出力に応じて変換するか、もしくは通過し、第2のメディア情報の符号化データを出力するメディア・トランスコード手段(204)と、制御情報トランスコード手段(203)及びメディア・トランスコード手段(204)からの符号化データ出力を受け、新たなアダプテーション情報を付加 Processes, synchronous control, and adaptation information processing means for performing discard control, etc. (202), to convert the coded data of the first control information provided from the adaptation information processor, or newly generated, the a control information transcoding means for outputting the encoded data of the second control information (203), the encoded data of the first media information supplied from the adaptation information processor (202), the control information transcoding means (203) to convert in response to a control output from or passed through, the media transcoding means for outputting the encoded data of the second media information (204), the control information transcoding means (203) and media transcoding receiving the encoded data output from the means (204), adds a new adaptation information るアダプテーション情報付加手段(205)と、前記アダプテーション情報付加手段の出力を多重化してネットワークに送出する多重化手段(206)と、を備える。 That includes a adaptation information adding means (205), and a multiplexing means (206) for sending to the network by multiplexing the output of the adaptation information adding means.

【0051】このアダプテーション情報処理手段(20 [0051] The adaptation information processing means (20
2)は、前記マルチメディア端末装置における、アダプテーション情報処理手段(2)と同一の構成とされる。 2) is, in the multimedia terminal equipment, is the same structure as the adaptation information processor (2).

【0052】本発明に係る網間接続装置は、その好ましい実施の形態において、図19を参照すると、制御情報トランスコード手段は、前記第1の制御情報の符号化データを復号する制御情報復号手段(211)と、前記アダプテーション情報処理手段(202)から得られるネットワーク品質情報を保持する品質統計量保持手段(2 [0052] interworking unit according to the present invention, in its preferred embodiments, with reference to FIG. 19, the control information transcoding unit, the control information decoding means for decoding the encoded data of the first control information and (211), the adaptation information processing means for holding network quality information obtained from (202) the quality statistics holding means (2
12)と、前記品質統計量保持手段(212)に保持されたネットワーク品質情報を用いて前記第1の制御情報を変換し、必要に応じて新たに生成を行い、前記第2の制御情報を出力する制御情報変換生成手段(213) 12), wherein the converting the first control information using a network quality information held in the quality statistics holding means (212), the newly generated as needed, the second control information output control information conversion generation unit (213)
と、前記第1の制御情報及び前記第2の制御情報を解析・蓄積する制御情報解析手段(215)と、前記第2の制御情報を符号化する制御情報符号化手段(214) When the first control information and the second control information analyzing means for analyzing and storing the control information (215), the control information encoding means for encoding said second control information (214)
と、備える。 And it includes.

【0053】本発明に係る網間接続装置は、その好ましい実施の形態において、図20を参照すると、前記メディア・トランスコード手段が、前記第1のメディア情報の符号化データを復号するメディア復号手段(222) [0053] interworking unit according to the present invention, in its preferred embodiments, with reference to FIG. 20, the media transcoding means, media decoding means for decoding the encoded data of the first media information (222)
と、前記メディア復号手段の出力をトランスコードするメディア符号化手段(223)と、制御情報トランスコード手段(203)から与えられる制御情報に従ってメディア情報のトランスコードの実行を制御する切り替え手段(221、224)と、を備える。 When the media output of the decoding means and the transcode media encoding means (223), the control information transcoding unit switching means for controlling the execution of transcoding media information in accordance with control information supplied from the (203) (221, includes a 224), the.

【0054】上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の各種実施例について図面を参照して以下に詳細に説明する。 [0054] order to describe in detail the embodiment of the present invention described above, various embodiments will be described with reference to the drawings in greater detail below the present invention.

【0055】 [0055]

【実施例】図1は、本発明の第1の実施例をなすマルチメディア端末装置の構成を示す図である。 DETAILED DESCRIPTION FIG. 1 is a diagram showing a configuration of a multimedia terminal device constituting the first embodiment of the present invention. 図1を参照すると、本発明の第1の実施例は、多重化分離回路1と、 Referring to FIG. 1, a first embodiment of the present invention includes a demultiplexing circuit 1,
アダプテーション情報処理回路2と、メディア復号回路3 And adaptation processing circuit 2, the media decoder 3
と、メディア出力回路4と、制御情報復号回路5と、品質統計量保持回路6と、制御回路7とを備えている。 When a media output circuit 4, a control information decoding circuit 5, and a quality statistics hold circuit 6, a control circuit 7. これらの回路の概略は次のように機能動作するように構成されている。 Summary of these circuits are configured to operate functions as follows.

【0056】多重化分離回路1は、ネットワークから受信した音声、映像信号、制御情報などの符号化データの多重化されたビットストリームを多重化分離する。 [0056] demultiplexing circuit 1, voice received from the network, the video signal, the bitstream of coded data, such as control information demultiplexed. なお、音声情報、映像情報、制御情報それぞれについて、 Incidentally, the audio information, video information, for each of the control information,
タイムスタンプ、シーケンスナンバ、誤り検出符号、誤り訂正符号などのアダプテーション情報が付加されているものとする。 Timestamp, sequence number, it is assumed that the error detection code, the adaptation information such as an error correction code is added. なお、以下では、符号化データは、パケットとして転送されているものとして説明するが、ISDN In the following, the coded data is described as being transmitted as a packet, ISDN
のような固定遅延網では、各データが時分割スロット上にあらかじめ定められた多重化パターンに従って配置されている場合もある。 The fixed delay networks such as, in some cases are arranged in accordance with multiplexed predetermined pattern on each data time-division slot. この場合でも、パケットを時分割スロットに置きかえることで、本発明は、適用できることは勿論である。 In this case, by replacing the time division slot packets, the present invention can of course be applied.

【0057】またアダプテーション情報処理回路2は、 [0057] The adaptation information processing circuit 2,
多重化分離回路1によって分離された音声、映像、制御情報などの符号化データそれぞれについて、付加されたアダプテーション情報に従い、誤り検出、誤り訂正、同期管理、廃棄制御、などのアダプテーション処理を実行する。 Sound separated by the demultiplexing circuit 1, a video, for each encoded data such as control information, in accordance with the added adaptation information, error detection, error correction, synchronization management, executes the adaptation process of the discard control, etc.. このアダプテーション情報処理回路2の詳細な構成、及び動作については後述する。 Detailed construction of the adaptation information processing circuit 2, and the operation will be described later.

【0058】そしてメディア復号回路3は、アダプテーション情報処理回路2によって適切な同期管理、誤り制御などの施された音声、映像の符号化データを復号する。 [0058] The media decoding circuit 3, the adaptation processing circuit 2 by a suitable synchronization management, voice decorated with such error control decodes the video encoded data. 符号化アルゴリズムとしては、音声信号の場合はIT The coding algorithm, in the case of speech signals IT
U−TG勧告シリーズ、音響信号の場合はISO/IECのMPEG U-TG recommendation series, in the case of acoustic signal of ISO / IEC MPEG
オーディオ規格、映像信号の場合はITU−TのH.26x勧告シリーズやISO/IECのMPEGビデオ規格などが知られており、メディア復号回路3はこれらの規格に従って復号動作を行う。 Audio standards, in the case of the video signal are known, such as H.26x Recommendation series and ISO / IEC MPEG video standard ITU-T, the media decoding circuit 3 performs the decoding operation in accordance with these standards.

【0059】メディア出力回路4は、メディア復号回路3 [0059] The media output circuit 4, media decoding circuit 3
の出力として与えられる音声、映像などのメディア情報を出力再生、表示する。 Speech given as the output, the output play media information such as video displays.

【0060】制御情報復号回路5は、アダプテーション情報処理回路2によって適切な誤り制御等が施された制御情報の符号化データを復号する。 [0060] control information decoding circuit 5, the appropriate error control or the like to decode the encoded data of the control information applied by the adaptation processing circuit 2. 符号化アルゴリズムとしては、ITU−TH.245勧告で使用されているASN.1 PER The encoding algorithm, ASN.1 PER used in ITU-TH.245 Recommendation
方式や、ITU−T H.221勧告やMPEG−2 Systems で用いられているビット単位のシンタクスを用いる方式が知られており、制御情報復号回路5はこれらに従った復号動作を実行する。 Method or, ITU-T H.221 Recommendation and MPEG-2 has been known method using the syntax of the bit units used in Systems, control information decoding circuit 5 performs the decoding operation in accordance with these.

【0061】品質統計量保持回路6は、アダプテーション情報処理回路2によって与えられるビット誤り率、パケット廃棄率、パケット転送遅延、パケット転送遅延の揺らぎなどの情報からネットワークの品質統計量を計算し、これらを保持する。 [0061] The quality statistics hold circuit 6, the bit error rate provided by the adaptation processing circuit 2, the packet discard rate, a packet transfer delay, calculates a quality statistics network from the information such as the jitter of the packet transfer delay, these to hold.

【0062】制御回路7は、制御情報復号回路5から与えられる制御情報と品質統計量保持回路6に蓄積されたネットワークの品質統計量を用いて、端末の適切な制御動作を実行する。 [0062] The control circuit 7 uses the quality statistics accumulated network control information supplied from the control information decoding circuit 5 and quality statistics hold circuit 6, performs the appropriate control operation of the terminal.

【0063】図2は、図1に示した本発明の第1の実施例におけるアダプテーション情報処理回路2の構成を示す図である。 [0063] Figure 2 is a diagram showing a configuration of the adaptation processing circuit 2 in the first embodiment of the present invention shown in FIG. 図2を参照すると、アダプテーション情報処理回路2は、パケット受信回路11と、アダプテーション情報分離回路12と、アダプテーション情報保持回路13 Referring to FIG. 2, the adaptation processing circuit 2 includes a packet receiving circuit 11, and adaptation information separating circuit 12, adaptation information holding circuit 13
と、オフセット遅延付加回路15と、アダプテーション処理回路16と、出力タイミング発生回路17と、蓄積回路18 When, an offset delay addition circuit 15, and adaptation processing circuit 16, an output timing generating circuit 17, storage circuit 18
とを備えている。 It is equipped with a door. 図1では図示されていないが、アダプテーション情報処理回路2の外部には、図2に示すように、クロック生成回路14が配設されている。 Although not shown in Figure 1, the external adaptation processing circuit 2, as shown in FIG. 2, the clock generation circuit 14 is disposed.

【0064】また図2を参照すると、受信パケットはアダプテーション情報と符号化データよりなる。 [0064] Referring also to FIG. 2, the received packet consists of adaptation information and the encoded data.

【0065】アダプテーション情報処理回路2を構成する上記各回路は概略以下のような機能を有する。 [0065] The above respective circuits which constitute the adaptation information processing circuit 2 has a function as roughly described below.

【0066】パケット受信回路11は、多重化分離回路1 [0066] The packet receiving circuit 11, demultiplexing circuit 1
から与えられるパケットを受信する。 Receiving a packet applied from.

【0067】アダプテーション情報分離回路12は、パケット受信回路11から与えられるパケットをアダプテーション情報と符号化データとに分離する。 [0067] Adaptation information separating circuit 12 separates a packet applied from the packet receiving circuit 11 to the adaptation information and the encoded data. 符号化データは、音声、映像、制御情報などの符号化データそのものである。 Encoded data is encoded data itself of the audio, video, etc. control information. また、アダプテーション情報を検査し、データ誤りなどによってアダプテーション処理が不可能な場合にはパケットを廃棄し、パケットの廃棄を品質統計量保持回路6に通知する。 Also, check the adaptation information, it discards the packet if the adaptation process is not possible, such as by data errors, informs the discard of the packet to the quality statistics hold circuit 6.

【0068】アダプテーション情報保持回路13は、アダプテーション情報分離回路12によって分離されたアダプテーション情報を蓄積する。 [0068] adaptation information holding circuit 13 accumulates the adaptation information separated by the adaptation information separating circuit 12.

【0069】オフセット遅延付加回路15は、クロック生成回路14から与えられる時刻情報にあらかじめ定められたオフセット遅延の値を加えて出力とする。 [0069] offset delay addition circuit 15, and outputs the added value of the predetermined offset delay to the time information supplied from the clock generation circuit 14. オフセット遅延の値の決定としては、あらかじめ定めたオフセット値にセットするか、あるいは最初に到着したパケットのタイムスタンプに従ってセットする、等の形態で行われる。 The determination of the value of the offset delay set according to the time stamp of the packets arriving or set to a predetermined offset value, or the first, carried out in the form of equal.

【0070】アダプテーション処理回路16は、アダプテーション情報保持回路13から与えられるアダプテーション情報、及びオフセット遅延付加回路15から与えられる時刻情報に従い、アダプテーション情報分離回路12から与えられる符号化データに対して、誤り検出、誤り訂正、遅延制御、廃棄制御などのアダプテーション処理を適宜実行し、蓄積回路18に符号化データを書き込む。 [0070] adaptation processing circuit 16, adaptation information given from the adaptation information holding circuit 13, and in accordance with the time information supplied from the offset delay addition circuit 15, the coded data supplied from the adaptation information separating circuit 12, the error detection , error correction, delay control, perform the adaptation process, such as waste properly controlled, writes the encoded data in the storage circuit 18. また、アダプテーション処理の結果として得られるネットワークの品質に関する統計量を、アダプテーション情報処理回路2の外部に設けられている品質統計量保持回路6 Furthermore, statistics on the quality of the resulting network as a result of the adaptation process, the quality statistics are provided outside the adaptation information processing circuit 2 holding circuit 6
に渡す。 Pass to. このアダプテーション処理回路16の詳細な構成、及び動作については後述する。 Detailed structure of the adaptation processing circuit 16, and the operation will be described later.

【0071】出力タイミング発生回路17は、アダプテーション情報保持回路13から与えられるアダプテーション情報としてのタイムスタンプ、ならびにオフセット遅延付加回路15から与えられる時刻情報に従い、適切なタイミングで蓄積回路18から符号化データを出力するように指示を与え、同時に、アダプテーション情報処理回路2 [0071] The output timing generating circuit 17, the time stamp of the adaptation information given from the adaptation information holding circuit 13, and in accordance with the time information supplied from the offset delay addition circuit 15, the coded data from the storage circuit 18 at an appropriate timing It gives an instruction to output, at the same time, adaptation processing circuit 2
の外部に設けられているメディア復号回路3又は制御情報復号回路5に復号動作の開始を指示する。 An instruction to start decoding operation to the media decoder 3 or the control information decoding circuit 5 is provided in the outside.

【0072】ネットワークが固定遅延網で、アダプテーション情報としてタイムスタンプが提供されない場合には、ネットワークが固定遅延を保証しているため、オフセット遅延付加回路15から与えられる時刻情報のみを用いてタイミング情報を発生してもよい。 [0072] network is fixed delay network, if the time stamp as the adaptation information is not provided, because the network is guaranteed a fixed delay, the timing information using only the time information given from the offset delay addition circuit 15 it may be generated.

【0073】蓄積回路18は、アダプテーション処理回路 [0073] accumulation circuit 18, adaptation processing circuit
16から与えられる符号化データを所定の形式で保持し、 The encoded data supplied from 16 and held in a predetermined format,
また出力タイミング発生回路17から与えられるタイミングで保持した符号化データを出力し、外部の復号回路に符号化データを渡す。 The outputs encoded data held at the timing given from the output timing generating circuit 17, and passes the encoded data to an external decoder. この蓄積回路18の詳細な構成、及び動作については後述する。 Detailed configuration of the storage circuit 18, and the operation will be described later.

【0074】アダプテーション情報処理回路2の外部に存在するクロック生成回路14は、オフセット遅延付加回路15、ならびに、本実施例では説明を省略するが、端末全体の各回路へのクロックを供給する。 [0074] The clock generation circuit 14 existing outside the adaptation information processing circuit 2, the offset delay addition circuit 15, and is not described in this embodiment, supplies a clock to each circuit of the entire device.

【0075】端末が存在するネットワーク環境によっては、ISDNのようにネットワークから網クロックが供給される場合、MPEG−2Systemsのようにビットストリーム中に参照クロックが埋め込まれて配送される場合などがあり、それぞれのクロック情報は、クロック生成回路14の出力を制御するための入力として利用してもよい。 [0075] Depending on the network environment in which the terminal exists, if the network clock from the network as ISDN is supplied, there is a case where the reference clock in the bit stream is embedded in delivery as MPEG-2Systems, respective clock information, may be used as an input for controlling the output of the clock generation circuit 14.

【0076】また、アダプテーション情報処理回路2の外部に存在する復号回路は、符号化データに応じて、メディア復号回路3である場合と制御情報復号回路5である場合とがある。 [0076] Further, the decoding circuit external to the adaptation processing circuit 2, in response to the encoded data, and a case with the case is a media decoding circuit 3 is a control information decoding circuit 5.

【0077】図3は、図2に示した本発明の一実施例のアダプテーション処理回路16の構成を示す図である。 [0077] Figure 3 is a diagram showing the configuration of an embodiment of the adaptation processing circuit 16 of the present invention shown in FIG. 図3を参照すると、アダプテーション処理回路16は、誤り検出回路21と、誤り訂正回路22と、タイムアウト判定回路23と、順序番号比較回路24と、書き込み回路25とを備えている。 Referring to FIG. 3, the adaptation processing circuit 16, an error detection circuit 21, an error correction circuit 22, the time-out detection circuit 23, a sequence number comparison circuit 24, and a write circuit 25. これら各回路の機能・動作は以下の様なものとなる。 Function and operation of each of these circuit is something the manner described below.

【0078】誤り検出回路21は、アダプテーション情報保持回路13から与えられる誤り検出符号を用いて符号化データ中の誤りを検出し、符号化データを誤り訂正回路 [0078] Error detection circuit 21 detects an error in the coded data using the error detection code given from the adaptation information holding circuit 13, error correction circuit coded data
22に渡す。 Pass to the 22. また、得られたビット誤り率を品質統計量保持回路6に渡す。 Moreover, passing the resulting bit error rate the quality statistics hold circuit 6.

【0079】誤り訂正回路22は、アダプテーション情報保持回路13から与えられる誤り訂正符号を用いて符号化データ中の誤りを訂正し、誤りが訂正不可能な場合は符号化データを廃棄する。 [0079] Error correction circuit 22 corrects errors in the coded data using the error correction code given from the adaptation information holding circuit 13, if the error is uncorrectable discards the encoded data. また、得られたパケット廃棄数を品質統計量保持回路6に渡す。 Also, passing the resulting number of packets discarded quality statistics hold circuit 6. なお、符号化データ中に誤りがない場合には、誤り訂正回路22は何もしない。 When there is no error in the encoded data, the error correction circuit 22 does nothing.

【0080】タイムアウト判定回路23は、アダプテーション情報保持回路13から与えられるタイムスタンプ値とオフセット遅延付加回路15から与えられる時刻情報とを比較し、タイムスタンプ値が時刻情報よりも大きい場合にはパケットの到着時刻が遅すぎると判断して符号化データを廃棄する。 [0080] out detection circuit 23 compares the time information supplied from the time stamp value and the offset delay addition circuit 15 given from the adaptation information holding circuit 13, if the timestamp value is greater than the time information of the packet it is determined that the arrival time is too slow to discard the encoded data. また、得られたパケット廃棄数、転送遅延、転送遅延の揺らぎ情報(ジッタ)を品質統計量保持回路6に渡す。 The obtained packet discard number, transfer delay, and passes fluctuation information transfer delay (jitter) on the quality statistics hold circuit 6.

【0081】順序番号比較回路24は、アダプテーション情報保持回路13から与えられるシーケンスナンバと期待されるシーケンスナンバとの比較を行い、シーケンスナンバのスキップ、あるいは逆転が生じた場合には後述するメカニズムで、品質統計量保持回路6のパケット廃棄数の情報を更新する。 [0081] sequence number comparison circuit 24 performs comparison between the sequence number and expected sequence number given from the adaptation information holding circuit 13, skipping a sequence number or a mechanism to be described later when the reverse rotation occurs, update packet discard information of the number of quality statistics hold circuit 6.

【0082】書き込み回路25は、アダプテーション情報保持回路13から与えられるタイムスタンプ値とシーケンスナンバに従い、一通りのアダプテーション処理の終了した符号化データを蓄積回路18に書き込む。 [0082] The write circuit 25 in accordance with the time stamp value and the sequence number given from the adaptation information holding circuit 13, and writes the end encoded data adaptation process one way to storage circuit 18. なお、伝送方式によっては上記のアダプテーション情報がすべて提供されるとは限らず、その場合には対応する回路を省略してアダプテーション処理を実行する。 The above adaptation information by the transmission method is not necessarily be provided all executes the adaptation process to omit the corresponding circuits in that case.

【0083】図4は、図2に示した蓄積回路18の構成の一例を示す図である。 [0083] Figure 4 is a diagram showing an example of the configuration of the storage circuit 18 shown in FIG. 図4を参照すると、蓄積回路18 Referring to FIG. 4, the storage circuit 18
は、読み出し制御回路26と記憶回路27とを備えている。 It is provided with a read control circuit 26 and memory circuit 27.

【0084】読み出し制御回路26は、出力タイミング発生回路17から与えられる出力タイミングに従い、記憶回路27に蓄積された符号化データの出力を制御する。 [0084] read control circuit 26 in accordance with output timing provided from the output timing generating circuit 17, controls the output of the encoded data accumulated in the memory circuit 27.

【0085】記憶回路27は、アダプテーション処理回路 [0085] The storage circuit 27, adaptation processing circuit
16から与えられる符号化データ、ならびにシーケンスナンバ、タイムスタンプなどのアダプテーション情報を保持し、読み出し制御回路26からの指示に従って符号化データを出力し、復号回路に渡す。 Given coded data from 16, and sequence number, it holds adaptation information such as a time stamp, and outputs the encoded data in accordance with an instruction from the read control circuit 26, passed to the decoding circuit.

【0086】図5は、蓄積回路18で蓄積管理される符号化データ、及び付随する管理データの一例を示す図である。 [0086] Figure 5 is a diagram illustrating an example of encoded data, and the associated management data are stored and managed in the storage circuit 18. 図5を参照すると、蓄積回路18は、シーケンスナンバ、もしくはそれを縮退させた番号毎に記憶領域を有しており、その記憶領域は、さらにタイムスタンプ、データ領域の有効フラグ、区切りフラグ、有効データ長、ならびに符号化データを保持するデータ領域から構成されている。 Referring to FIG. 5, the storage circuit 18 has a sequence number or storage area for each number is degenerate it, the storage area further timestamp data area valid flag of delimiting flags, effective data length, and is composed of a data area for holding encoded data. なお、管理情報の保持については、読み出し制御回路26が保持する場合、記憶回路27が保持する場合等いずれの構成としてもよい。 As for the holding of the management information, when the read control circuit 26 is held, it may be any structure such as a case where the memory circuit 27 holds.

【0087】蓄積回路18において、シーケンスナンバの最大値に一致する数の記憶領域を準備してもよいが、例えばシーケンスナンバが16ビットで表現される場合、65 [0087] In the storage circuit 18, if may be prepared storage area for the number that matches the maximum value of the sequence number, but for example, the sequence number is represented by 16 bits, 65
536(=2の16乗)個分の記憶領域を用意しなければならず、不効率である。 536 (= 2 16 square) must be prepared storage area of ​​the individual partial, it is inefficient. そこで、例えばシーケンスナンバの下4ビット分に相当する縮退(degeneration)を行えば、 Therefore, for example, by performing degenerate corresponding to the lower 4 bits of the sequence number (degeneration),
記憶領域の数は16(=2の4乗)個で済む。 The number of storage areas 16 (= 2 4 squares) requires only pieces.

【0088】また、タイムスタンプは、例えば映像信号のように1フレームの情報が複数のパケットに分割されて送出される場合、同じフレームを構成する符号化データを識別するのに有効である。 [0088] Further, the time stamp, for example, when one frame of information is transmitted is divided into a plurality of packets as video signals, it is effective to identify the encoded data constituting the same frame. データ領域の有効フラグは、例えば初期値は「0」とし、符号化データが正しく到着した場合に「1」とする。 Valid flag of the data area, for example the initial value is set to "0", and "1" when the coded data has arrived correctly. これによって、符号化データが廃棄された場合には有効フラグは「0」のままであり、対応するシーケンスナンバの符号化データは復号回路には渡されない。 Thus, the effective flag when the encoded data is discarded remains "0", encoded data of the corresponding sequence number is not passed to the decoding circuitry.

【0089】区切りフラグは、例えば映像信号のように1フレームの情報が複数のパケットに分割されて送出される場合、対応するパケットがフレームの最後の情報であることを示すために使用される。 [0089] delimiting flags, for example, when one frame of information as the video signal is sent is divided into a plurality of packets is used to indicate that the corresponding packet is the last information of the frame. この機能は、例えば既にIETFRTPのMフィールドとして提供されているもので、本発明でもオプションとして使用する。 This feature, for example, already in that provided as M field IETFRTP, optionally used in the present invention. また、音声のような短いデータ長の場合には、一般的に1つのパケット単位に区切りになる。 In the case of a short data length, such as voice will generally separated into a single packet. 複数の有効データ長は、受け取った符号化データ、すなわちパケット単位の符号化データの長さを示す情報である。 A plurality of effective data length, received encoded data, that is, information indicating the length of the encoded data of the packet unit. MPEG−2TSのように固定長パケットを強いる伝送方式もあるが、一般的には符号化データの長さはパケット毎に異なっており、それを示すために使用される。 There is also transmission method imposing a fixed length packet as MPEG-2TS, but generally the length of the coded data is different for each packet, is used to indicate it.

【0090】データ領域は、符号化データを蓄積するための領域である。 [0090] Data area is an area for storing coded data.

【0091】図6は、本発明の第1の実施例におけるアダプテーション情報処理回路2の動作の一例を示すフローチャートである。 [0091] Figure 6 is a flow chart showing an example of the operation of the adaptation information processing circuit 2 in the first embodiment of the present invention. 図6、及び図2を参照して、アダプテーション情報処理回路2の動作を説明する。 6, and with reference to FIG. 2, the operation of the adaptation information processing circuit 2.

【0092】ステップ31で、アダプテーション情報処理が開始される。 [0092] In step 31, the adaptation information processing is started.

【0093】ステップ32でパケットを受信した場合にはステップ33に進み、受信していない場合は元に戻りパケットの受信を待つ。 [0093] Proceeding to step 33, if a packet is received in step 32, and if it has not been received waits to receive the packet back to the original. 以上が、パケット受信回路11の動作である。 The above is the operation of the packet reception circuit 11.

【0094】ステップ33では、受信したパケットからアダプテーション情報と符号化データを分離し、ステップ [0094] At step 33, to separate the adaptation information and the encoded data from the received packet, step
34に進む。 Proceed to 34.

【0095】ステップ34では、アダプテーション情報を検査し、アダプテーション処理が不可能な場合はステップ35に進み、アダプテーション処理が可能な場合はステップ36に進む。 [0095] At step 34, it examines the adaptation information, if the adaptation process is not possible the process proceeds to step 35, if the adaptation processing is possible the process proceeds to step 36.

【0096】ステップ35では、パケットの廃棄を実行し、パケットの受信待ち状態に戻る。 [0096] In step 35, perform the disposal of the packet, it returns to the reception waiting state of the packet. 以上が、アダプテーション情報分離回路12の動作である。 The above is the operation of the adaptation information separating circuit 12.

【0097】ステップ36では、アダプテーション処理を実行し、符号化データを蓄積し、パケットの受信待ち状態に戻る。 [0097] At step 36, perform the adaptation process, accumulates encoded data, and returns to the reception waiting state of the packet. ステップ36は、アダプテーション処理回路16 Step 36, the adaptation processing circuit 16
の動作であり、その詳細については後述する。 Is an operation, the details of which will be described later.

【0098】ステップ37では、出力時刻かどうかを検査し、出力時刻であれば符号化データを送出してステップ [0098] At step 37, checks whether the output time, and transmits the encoded data if the output time step
38に進み、出力時刻でなければ出力時刻の待ち状態に戻る。 Proceed to 38, it returns to the waiting state of the output time if it is not output time.

【0099】ステップ38では、外部の復号回路に符号化データを出力し、終了後、出力時刻の待ち状態に戻る。 [0099] At step 38, and outputs the encoded data to an external decoder, after the end, returns to the wait state of the output time.
以上が蓄積回路18の動作であり、ステップ38の詳細については後述する。 The above is the operation of the storage circuit 18 will be described later in detail step 38.

【0100】図7は、図6のステップ36(アダプテーション処理)の動作の詳細を示すフローチャートである。 [0100] Figure 7 is a flow chart showing a detailed operation of step 36 of FIG. 6 (adaptation process).
図7及びアダプテーション処理回路16の構成を示す図3を参照して、アダプテーション処理について以下に説明する。 Referring to FIG. 3 showing the arrangement of FIGS. 7 and adaptation processing circuit 16, described below adaptation process.

【0101】ステップ41では、符号化データ中にデータ誤りがないかどうか検査を行い、データ誤りがない場合はステップ45に進み、データ誤りがある場合はステップ [0102] At step 41, inspects whether there is data error in the encoded data, if there is no data error, the process proceeds to step 45, step if there is data error
42に進む。 Proceed to 42. 以上は、誤り検出回路21の動作である。 Above is an operation of the error detection circuit 21.

【0102】ステップ42では、ステップ41によってデータ誤りが検出された場合、そのデータ誤りが訂正かどうか検査を行い、訂正可能である場合はステップ43に進み、訂正不可能である場合はステップ44に進む。 [0102] In step 42, if the data error is detected by step 41, it inspects whether the data error or correction, if it is correctable proceeds to step 43, if it is uncorrectable is to step 44 move on. ステップ43では、データ誤りの訂正を行い、ステップ45に進む。 In step 43, perform correction of data error, the process proceeds to step 45. ステップ44では符号化データを廃棄し、パケットの受信待ち状態に戻る。 In step 44 discards the encoded data, it returns to the reception waiting state of the packet. 以上は、誤り訂正回路22の動作である。 Above is an operation of the error correction circuit 22.

【0103】ステップ45では、タイムスタンプ値とオフセット時刻の比較を行い、パケットの到着がタイムアウト時刻を越えている場合にはステップ44に進み、超えていない場合にはステップ46に進む。 [0103] At step 45, compares the timestamp value and the offset time, the process proceeds to step 44 if the arrival of the packet exceeds the timeout timing, if not exceeded, the routine proceeds to step 46. 以上は、タイムアウト判定回路23の動作である。 Above is an operation of the time-out detection circuit 23.

【0104】ステップ46では、実際のシーケンスナンバと保存された期待されるシーケンスナンバ値との比較を行い、実際のシーケンスナンバが期待されるシーケンスナンバの値に一致した場合はステップ50に進み、一致しない場合はステップ47に進む。 [0104] At step 46, compares the sequence number values ​​and the expected stored with the actual sequence number, if the actual sequence number matches the value of the sequence number expected proceeds to step 50, match If you do not want to proceed to step 47.

【0105】図8は、図6のステップ38(出力処理)の動作の詳細を示すフローチャートでより、図3の書き込み回路25の制御動作を示している。 [0105] Figure 8 is a more flowchart showing the details of the operation of step 38 of FIG. 6 (output process) shows a control operation of the write circuit 25 of FIG. 3.

【0106】ステップ51では、蓄積回路18において、 [0106] At step 51, the storage circuit 18,
現在のポインタが示す記憶領域の有効フラグを取得し、 Get the valid flag of the storage area the current pointer is shown,
ステップ52に進む。 The process proceeds to step 52.

【0107】ステップ52では、有効フラグに従ってデータ領域が有効か否か、すなわち、符号化データが正しく到着したか廃棄されたかを判定し、データ領域が無効な場合はステップ53に進み、データ領域が有効な場合はステップ54に進む。 [0107] At step 52, the data area is valid or not in accordance with the valid flag, i.e., it determines whether the encoded data is discarded or not correctly arrived, if the data area is invalid, the process proceeds to step 53, the data area If enabled, the process proceeds to step 54.

【0108】ステップ53では、記憶領域を示すポインタを一つ進め、ステップ52に戻る。 [0108] At step 53, incremented by one a pointer to the storage area, the flow returns to step 52.

【0109】ステップ54では、現在のポインタが示す記憶領域のタイムスタンプを取得し、ステップ55に進む。 [0109] At step 54, obtains the time stamp of the storage area indicated by the current pointer, the process proceeds to step 55.

【0110】ステップ55では、出力タイミング発生回路 [0110] At step 55, the output timing generator
17から与えられた出力時刻と前記タイムスタンプとの値を比較し、一致しない場合はステップ56に進み、一致した場合はステップ57に進む。 An output time given from 17 compares the value of the time stamp, if they do not match the process proceeds to step 56, if there is a match the process proceeds to step 57.

【0111】ステップ56では、前記タイムスタンプの値が出力時刻の値よりも小さい場合はステップ53に進み、 [0111] In step 56, when the value of the time stamp is less than the value of the output time, the process proceeds to step 53,
大きい場合はステップ60に進む。 If so, the process proceeds to step 60.

【0112】ステップ57では、現在のポインタが示す記憶領域の有効データ長に従ってデータ領域のデータを出力し、すなわち符号化データを出力し、ステップ58に進む。 [0112] At step 57, output data of the data area in accordance with the valid data length of the storage area indicated by the current pointer, i.e. outputs the encoded data, the process proceeds to step 58.

【0113】ステップ58では、現在のポインタが示す記憶領域の区切りフラグを取得し、ステップ59に進む。 [0113] At step 58, acquires the delimiting flag storage area indicated by the current pointer, the process proceeds to step 59.

【0114】ステップ59では、現在のポインタが示す記憶領域の符号化データが復号の区切りかどうかを判定し、区切りの場合はステップ60に進み、区切りではない場合はステップ53に進む。 [0114] At step 59, it is determined whether the separated encoded data for decoding the storage area indicated by the current pointer, in the case of separated flow proceeds to step 60, if it is not separated proceeds to step 53. あるいはまた、区切りフラグを使用しない場合にはステップ58とステップ59が存在せず、ステップ57からステップ53に進むことになる。 Alternatively, in the case of not using the delimiter flag does not exist Step 58 and Step 59, the process proceeds from step 57 to step 53.

【0115】ステップ60では、現在のポインタの値を一つ進めて保存し、データの出力処理を終了する。 [0115] In step 60, save advancing one the value of the current pointer, and ends the output processing of the data.

【0116】図9は、本発明の第1の実施例によって実現される符号化、パケット送信、ネットワーク転送、パケット受信、復号の一連の動作を、具体例を用いて時系列で示したものである。 [0116] Figure 9, the first examples realized by the encoding of the present invention, a packet transmission, the network transfer, packet reception, the sequence of operation of the decoding, which was shown in a time series by using a specific example is there.

【0117】図9を参照すると、送信端末では、時刻10 [0117] With reference to FIG. 9, the transmission terminal, time 10
000、10100、10200、10300、10400、10500において、それぞれメディア情報を入力、符号化、パケット化して、 In 000,10100,10200,10300,10400,10500, enter the media information respectively, coding, and packetized,
ネットワークに送信している。 It has been sent to the network. なお、図9に示す例では、時刻10200に送出されたパケットがネットワーク内で廃棄されている。 In the example shown in FIG. 9, the packet sent to the time 10200 is being discarded in the network.

【0118】受信端末では、パケットを受信し、オフセット遅延を加えた時間軸上で、時刻10000、10100、1030 [0118] The receiving terminal receives the packet, in time plus the offset delay axis, time 10000,10100,1030
0、10500において、それぞれメディア情報を復号、再生している。 In 0,10500, decoding the media information respectively, are reproduced. なお、図9に示す例では、時刻10400に復号が行われるべきパケットが、転送遅延が大きすぎたために受信端末内で廃棄されている。 In the example shown in FIG. 9, the packet should decoded time 10400 is performed, have been discarded in the receiver terminal to transfer delay is too large.

【0119】図10、及び図11は、本発明の第1の実施例によって実現されるパケット受信から復号までの過程を、具体例を用いて詳細に示したものである。 [0119] FIGS. 10 and 11, a process until decoding from the packet received is the first examples realize the present invention, there is shown in detail using a specific example.

【0120】図10に示す例では、シーケンスナンバ10 [0120] In the example shown in FIG. 10, the sequence number 10
0、101、102を付加されたパケット、及びシーケンスナンバ103、104を付加されたパケットに、それぞれ同じタイムスタンプ10000、及び10100が付加されている。 It added packet to 0,101,102, and a sequence number 103 and 104 in the additional packet, respectively the same timestamp 10000, and 10100 are added. ただし、シーケンスナンバ101を付加されたパケットは、何らかの要因で廃棄され、シーケンスナンバのスキップが生じている。 However, the additional packet sequence number 101, are dropped for some reason, the skip of the sequence number occurs.

【0121】図2に示した蓄積回路18には、シーケンスナンバに従った記憶領域に、符号化データが保存されている。 [0121] in the storage circuit 18 shown in FIG. 2, the storage area in accordance with the sequence number, the coded data is stored. オフセット遅延を加えた時間軸上で、時刻1000 On the time axis by adding offset delay time 1000
0、及び10100に復号が実行される。 0, and decoding the 10100 is executed. しかし、シーケンスナンバ101に対応するパケットは廃棄されており、時刻1 However, packet corresponding to the sequence number 101 has been discarded, the time 1
0000には、復号回路にシーケンスナンバ100と102の符号化データのみが提供される。 The 0000, only the coded data of the sequence number 100 and 102 are provided to the decoding circuit. ただし、後述するように、 However, as will be described later,
符号化データへの再同期情報の付加によって、誤りの影響は低く抑えられる。 The addition of resynchronization information to the encoded data, the influence of the error can be kept low.

【0122】図11に示す例でもまた、シーケンスナンバ100、101、102を付加されたパケット、及びシーケンスナンバ103、104を付加されたパケットに、それぞれ同じタイムスタンプ10000、及び10100が付加されている。 [0122] Also in the example shown in FIG. 11, the packet is added to the sequence number 100, 101, 102, and the sequence number 103 and 104 in the additional packet, respectively the same timestamp 10000, and 10100 are added .
ただし、図10に示す例とは異なり、図11に示す例では、シーケンスナンバ101を付加されたパケットは、シーケンスナンバの逆転は発生したが、正しく受信され、 However, unlike the example shown in FIG. 10, in the example shown in FIG. 11, the additional packet sequence number 101, reversing the sequence number has been generated, is correctly received,
蓄積回路に書き込まれている。 It is written in the storage circuit. このため、時刻10000の復号実行時にはシーケンスナンバ100、101、102の符号化データがすべて提供され、廃棄の影響無く復号が行われている。 Therefore, at the time of decoding execution time 10000 provides all encoded data of the sequence number 100, 101, without being affected decoding waste is being performed.

【0123】図12は、特に映像信号の場合、符号化データの具体的な構成方法の一例を示している。 [0123] Figure 12 is particularly the case of the video signal shows an example of a specific configuration method for encoding data. 図12 Figure 12
(a)は、圧縮データの先頭に再同期情報が付加された形態、また図12(b)は、圧縮情報の間に再同期情報が挿入された形態をそれぞれ示している。 (A) is re-synchronization information to the head of the compressed data is added embodiment, and FIG. 12 (b), the resynchronization information is respectively inserted configuration to during the compression information. 再同期情報に関しては、ISO/IECの映像信号の符号化アルゴリズムである For the resynchronization information is the encoding algorithm of a video signal ISO / IEC
MPEG−1、MPEG−2、MPEG−4、もしくはITU−TのH.263の新しいバージョンのように、スライス構造として符号化アルゴリズム自体によって提供される場合と、ITU−Tの MPEG-1, MPEG-2, MPEG-4 or as in H.263 the new version of the ITU-T,, and if provided by the encoding algorithm itself as the slice structure, the ITU-T
H.261、もしくはH.263の古いバージョンのように、符号化アルゴリズムの外側で提供される場合とがある。 H.261, or as old H.263 version, and a case provided in the outside of the coding algorithm. いずれにしても、パケットの廃棄が発生した場合でも、この再同期情報から再び復号を開始することが可能であり、 In any event, even if the packet discard has occurred, it is possible to start decoding again from this re-synchronization information,
パケット廃棄の影響を低く抑えることが可能である。 It is possible to suppress the influence of packet discard low.

【0124】図13は、図7の流れ図においてステップ [0124] Figure 13 is a step in the flow diagram of FIG. 7
46、47、48、49で示した順序番号比較回路24の動作を、 The operation of the sequence number comparison circuit 24 shown in 46, 47, 48, 49,
具体例を用いて示したものである。 It illustrates using a specific example.

【0125】図13に示す例では、シーケンスナンバが [0125] In the example shown in FIG. 13, the sequence number
99、100、103、104、102、105のパケットが順に受信されている。 Packets 99,100,103,104,102,105 are received sequentially. また、シーケンスナンバが99のパケットを受信する前には、次パケットのシーケンスナンバの期待値が99、パケット廃棄数を示す廃棄カウンタの値が5に設定されていたとする。 Further, before the sequence number receives a packet 99, the expected value of the sequence number of the next packet 99, value of the drop counter indicating the number of packets discarded is set to 5. まず、受信したパケットのシーケンスナンバの値が期待値の値に一致した場合には、次パケットのシーケンスナンバの期待値を一つ加算し、廃棄カウンタの値はそのままにする。 First, if the value of the sequence number of the received packet matches the value of the expected value, and one adds the expected value of the sequence number of the next packet, the value of the discard counter is left alone.

【0126】図13に示す例で、シーケンスナンバ103 [0126] In the example shown in FIG. 13, the sequence number 103
のパケットを受信した場合のように、シーケンスナンバのスキップが発生した場合には、次パケットのシーケンスナンバの期待値を、受信したパケットのシーケンスナンバの値に「1」を加えた値にセットし、廃棄カウンタには受信したパケットのシーケンスナンバの値からシーケンスナンバの期待値を引いた値を加算する。 As in the case of receiving a packet, if the skip of the sequence number occurs, and sets the expected value of the sequence number of the next packet, the value obtained by adding "1" to the value of the sequence number of the received packet , the discard counter adds the value obtained by subtracting the expected value of the sequence number from the value of the sequence number of the received packet.

【0127】また図13に示す例で、シーケンスナンバ [0127] In the example shown in FIG. 13, the sequence number
102のパケットを受信した場合のように、シーケンスナンバの逆転が発生した場合には、次パケットのシーケンスナンバの期待値はそのままにし、廃棄カウンタは1つ減算する。 As in the case of receiving the 102 packets, when the reversal of the sequence number occurs, the expected value of the sequence number of the next packet Leave the waste counter subtracts one. このような簡単な処理によって、パケット廃棄率の評価を効率的に行うことができる。 Such simple processing, it is possible to evaluate the packet loss ratio efficiently.

【0128】以上示したように、本発明の第1の実施例によって、特にインタネットのような可変遅延網を介してマルチメディア情報が多重化されて送信されてくる場合に、パケットの同期管理、順序制御、廃棄処理などのアダプテーション処理に関して効率化、簡素化が図られ、特に、すべての処理が逐次的に行われるために、従来の方式に比して、効果的なマルチメディア処理端末が実現されている。 [0128] As described above, when the first examples of the present invention, particularly multimedia information through the variable delay networks such as Internet transmitted are multiplexed, the synchronization management of the packet, sequence control, efficiency with respect to adaptation processing such as disposal, simplification is achieved, in particular, to all the processing is performed sequentially, as compared with the conventional method, effective multimedia processing terminal to realize It is.

【0129】本発明の第1の実施例では、送信端末におけるメディア入力から受信端末におけるメディア出力までに要する再生遅延時間やパケット廃棄に大きな影響を与えるオフセット遅延を固定的に割り当てるものとしている。 [0129] In the first embodiment of the present invention, it is assumed that assigns an offset delay greatly affects the reproduction delay time or packet discard required until the media output in the receiving terminal from the media input at the transmitting terminal in a fixed manner. このため、例えばネットワークがすいていて廃棄、遅延がほとんど生じない場合でも、再生遅延は固定的に変わらないことになってしまう。 For this reason, for example disposal network is not crowded, even if the delay hardly occurs, resulting in that the reproduction delay does not change in a fixed manner.

【0130】そこで、ネットワークの状態に応じて、オフセット遅延の値を適応的に制御すればよい。 [0130] Therefore, according to the state of the network may be adaptively controlling the value of the offset delay. しかし、 But,
全く自由にオフセット遅延の値を変更できるようにすると、例えば音声のような時間的に連続して再生されるメディア情報において、音声が途切れたり、あるいは突然短縮されてしまい、主観的な音質が著しく損なわれてしまうという問題が生じる。 If you can quite freely change the value of the offset delay, for example in a temporally consecutive media information reproduced such as voice, or interrupted voice, or will be suddenly reduced, subjective sound quality is significantly a problem that impaired occurs. 本発明の第2の実施例は、この問題に対処するものである。 Second embodiment of the present invention is to address this problem.

【0131】図14は、本発明の第2の実施例のアダプテーション情報処理回路2の構成を示す図である。 [0131] Figure 14 is a diagram illustrating a second embodiment configuration of the adaptation processing circuit 2 of the present invention. なお端末の構成は図1に示したものと同様とされる。 Note the terminal configuration is similar to that shown in FIG.

【0132】図14を参照すると、本発明の第2の実施例は、アダプテーション情報処理回路2が、パケット受信回路71と、アダプテーション情報分離回路72と、アダプテーション情報保持回路73と、オフセット遅延付加回路75と、アダプテーション処理回路76と、出力タイミング発生回路77と、蓄積回路78から構成されている。 [0132] Referring to FIG. 14, a second embodiment of the present invention, adaptation processing circuit 2, a packet receiving circuit 71, and adaptation information separating circuit 72, the adaptation information holding circuit 73, an offset delay addition circuit 75, the adaptation processing circuit 76, an output timing generating circuit 77, and a storage circuit 78. さらに、図2に示した構成と同様に、アダプテーション情報処理回路2の外部には、クロック生成回路74が存在している。 Furthermore, as in the configuration shown in FIG. 2, the external adaptation processing circuit 2, there is a clock generation circuit 74.

【0133】パケット受信回路71、アダプテーション情報分離回路72、アダプテーション情報保持回路73、アダプテーション処理回路76、出力タイミング発生回路77、 [0133] The packet receiving circuit 71, adaptation information separating circuit 72, adaptation information holding circuit 73, adaptation processing circuit 76, the output timing generating circuit 77,
蓄積回路78、ならびにクロック生成回路74の動作は、前記した本発明の第1の実施例に同じである。 Operation of the storage circuit 78 and a clock generation circuit 74, is the same as the first embodiment of the present invention described above.

【0134】本発明の第2の実施例においては、オフセット遅延75に品質統計量回路6と復号回路3からの入力が加わっていることが、前記第1の実施例と相違している。 [0134] In a second embodiment of the present invention, that are joined by an input from the quality statistics circuit 6 and the decoding circuit 3 to offset delay 75, it is different from the first embodiment.

【0135】すなわち、オフセット遅延付加回路75は、 [0135] In other words, the offset delay adding circuit 75,
クロック生成回路74からのクロック入力に加えて、品質統計量回路6から与えられるネットワークの品質統計量と、復号回路3から与えられるメディアの復号状態を入力とし、オフセット遅延の値を適応的に更新する。 In addition to the clock input from the clock generation circuit 74, an input and quality statistics network given from the quality statistics circuit 6, a decoding state of the media provided from the decoding circuit 3, adaptively updates the value of offset delay to.

【0136】図15は、オフセット遅延付加回路75の動作の一例を示すフローチャートである。 [0136] Figure 15 is a flowchart showing an example of operation of the offset delay addition circuit 75.

【0137】ステップ81から、オフセット遅延の更新動作が開始される。 [0137] From step 81, operation of updating the offset delay is initiated.

【0138】ステップ82では、例えば音声の復号回路からの入力によって無声区間を検出し、無声区間ではない場合は次の入力の待ち状態に戻り、無声区間である場合はステップ83に進む。 [0138] At step 82, for example to detect unvoiced by an input from the decoding circuit of the speech and is not a silent interval returns to the wait state of the next input, when a silent section proceeds to step 83.

【0139】ステップ83では、ネットワークの品質統計量を評価し、例えば遅延廃棄率が大きく変化した場合はステップ84に進み、一方変化していない場合には次の入力の待ち状態に戻る。 [0139] At step 83, to assess the quality statistics network, for example, if the delay discard rate largely changes the flow proceeds to step 84, returns to the waiting state for the next input if the other hand is not changed.

【0140】ステップ84では、例えば遅延廃棄率が減少した場合にはステップ85に進み、一方、増加した場合にはステップ86に進む。 [0140] At step 84, for example, the process proceeds to step 85 if the delay loss rate is reduced, whereas, the process proceeds to step 86 when increased.

【0141】ステップ85ではオフセット遅延を減少して、次の入力の待ち状態に戻る。 [0141] to reduce the In step 85 offset delay, it returns to the state of waiting for the next input. ステップ86ではオフセット遅延を増加して、次の入力の待ち状態に戻る。 In step 86 by increasing the offset delay, returning to the wait state of the next input.

【0142】音声の符号化アルゴリズムによっては、例えばITU−TのG.723.1のように無声区間をシンタクスとして通知するアルゴリズムもある。 [0142] Depending on the voice coding algorithm, there is also an algorithm which notifies the unvoiced as the syntax as G.723.1, for example, ITU-T. また、符号化アルゴリズムの外側、すなわちアダプテーション情報の一部として、無声区間を通知する方式も存在する。 The outer coding algorithm, i.e. as part of the adaptation information, there method for notifying unvoiced. この場合には、復号回路からの入力を待たずにオフセット遅延の変更を実行できる。 In this case, it can be executed to change the offset delay without waiting for input from the decoding circuit. あるいはまた、映像信号の静止領域を検出し、この区間を利用してオフセット遅延を変更することも可能である。 Alternatively, to detect the still region of the video signal, it is also possible to change the offset delay by using this section. 映像の場合は音声とは異なり、再生遅延時間が変化してもそれほど気にならないという特徴もある。 Unlike the voice in the case of the video, there is also a feature that the reproduction delay time is not really care be varied. 一方、再生遅延時間の許容される最大値が決まっている場合には、オフセット遅延の最大値がその許容値を越えないように制御する。 On the other hand, when the acceptable maximum value of the reproduction delay time is determined, controls so that the maximum value of offset delay does not exceed the allowable value. この場合、一時的なパケットの大量廃棄や、それによる品質劣化は避けられないが、ネットワーク、もしくは送信端末に品質改善を要求するメッセージを通知し、廃棄率が改善されるのを待つ。 In this case, mass disposal and temporary packet, but can not be avoided quality deterioration caused thereby, notifies a message requesting quality improvement to the network or transmitting terminal waits for a discard rate is improved.

【0143】以上説明したように、本発明の第2の実施例においては、ネットワークの状況に適応しながら効率よく再生遅延時間を低く抑え、かつ廃棄率が増加した場合には適応的に対応するマルチメディア端末装置の実現が可能になる。 [0143] As described above, in the second embodiment of the present invention, while adapting to network conditions kept efficiently lower the reproduction delay time, and the corresponding adaptively if discard rate increases Implementation of the multimedia terminal device is enabled.

【0144】上記した本発明の第1の実施例、ならびに第2の実施例では、マルチメディア端末装置は受信専用であり、自らの送信手段を備えていない。 [0144] The first embodiment of the present invention described above, as well as in the second embodiment, the multimedia terminal device is a receive-only, not provided with their own transmission means. 本発明の第3 The third aspect of the present invention
の実施例は送信手段を備えたものである。 Examples of those having a transmission means.

【0145】図16は、本発明の第3の実施例の構成を示す図である。 [0145] Figure 16 is a diagram showing the configuration of a third embodiment of the present invention. 図16を参照すると、本発明の第3の実施例は、多重化分離回路91と、アダプテーション情報処理回路92と、メディア復号回路93と、メディア出力回路 Referring to FIG. 16, a third embodiment of the present invention includes a demultiplexing circuit 91, and adaptation processing circuit 92, a media decoder 93, media output circuit
94と、制御情報復号回路95と、品質統計量保持回路96 94, the control information decoding circuit 95, the quality statistics hold circuit 96
と、制御回路97と、制御情報符号化回路98と、メディア入力回路99と、メディア符号化回路100と、アダプテーション情報付加回路101と、多重化回路102とを備えている。 When a control circuit 97, a control information encoding circuit 98, a media input circuit 99, a media encoder 100, the adaptation information adding circuit 101, and a multiplexing circuit 102.

【0146】ここで、多重化分離回路91、アダプテーション情報処理回路92、メディア復号回路93、メディア出力回路94、制御情報復号回路95、品質統計量保持回路96 [0146] Here, the demultiplexing circuit 91, adaptation processing circuit 92, a media decoder 93, media output circuit 94, the control information decoding circuit 95, the quality statistics hold circuit 96
の動作は、上記した本発明の第1の実施例、もしくは第2の実施例に示した多重化分離回路1、アダプテーション情報処理回路2、メディア復号回路3、メディア出力回路4、制御情報復号回路5、品質統計量保持回路6の動作と同じである。 Behavior, the first embodiment of the present invention described above demultiplexing circuit 1 or shown in the second embodiment, the adaptation processing circuit 2, the media decoding circuit 3, media output circuit 4, the control information decoding circuit 5 is the same as the operation of quality statistics hold circuit 6.

【0147】制御回路97は、上記した本発明の第1の実施例、もしくは第2の実施例と同じく、制御情報復号回路95から与えられる制御情報と品質統計量保持回路96に蓄積されたネットワークの品質統計量を用いて端末の適切な制御動作を実行するが、さらに制御情報を出力する。 [0147] The control circuit 97, the first embodiment or as in the second embodiment, the network stored in the control information supplied from the control information decoding circuit 95 and the quality statistics hold circuit 96, the present invention described above using quality statistics executes the appropriate control operation of the terminal, further outputs control information.

【0148】制御情報符号化回路98は、制御回路97の出力である制御情報を符号化する。 [0148] Control information encoding circuit 98 encodes the a is control information output of the control circuit 97. メディア入力回路99 Media input circuit 99
は、音声や映像のようなメディア情報を入力する。 It is, to enter the media information, such as voice and video. メディア符号化回路100は、メディア入力回路99から与えられるメディア情報を符号化する。 Media encoding circuit 100 encodes the media information provided from the media input circuit 99. アダプテーション情報付加回路101は、制御情報符号化回路99、ならびにメディア符号化回路100から与えられる符号化データに対して適切なアダプテーション情報を付加する。 Adaptation information adding circuit 101 adds an appropriate adaptation information to the encoded data supplied from the control information encoding circuit 99 and the media encoder 100,. 多重化回路 Multiplexing circuit
102は、アダプテーション情報付加回路101の出力から、 102, from the output of the adaptation information adding circuit 101,
音声、映像信号、制御情報などの符号化データの多重化されたビットストリームを生成し、ネットワークへ出力する。 Audio, video signal, and generates a multiplexed bit stream of the encoded data, such as control information, and outputs to the network.

【0149】図17は、アダプテーション情報付加回路 [0149] FIG. 17, the adaptation information addition circuit
101の構成の一例を示す図である。 Is a diagram illustrating an example of a configuration of 101. 図17を参照すると、アダプテーション情報付加回路101は、パケット化回路111と、順序番号付加回路112と、タイムスタンプ付加回路113と、誤り検出符号・誤り訂正符号付加回路114 Referring to FIG. 17, the adaptation information adding circuit 101, a packetizing circuit 111, a sequence number assigning circuit 112, a time stamp addition circuit 113, the error detection code and error correction code addition circuit 114
とを備える。 Provided with a door.

【0150】パケット化回路111は、符号化回路から与えられる符号化データを多重化手段に合わせた適切なサイズに分割、または統合し、パケットを構成する。 [0150] packetizing circuit 111 divides the encoded data supplied from the encoding circuit to the appropriate size to fit to the multiplexing means, or integrated to form a packet.

【0151】順序番号付加回路112は、主にメディア情報のパケットに適用され、パケット化回路111から与えられるパケットに対してシーケンスナンバを付加する。 [0151] sequence number assigning circuit 112 is mainly applied to the packets of the media information, it adds a sequence number to a packet supplied from the packetizing circuit 111.

【0152】タイムスタンプ付加回路113は、主にメディア情報のパケットに対して適用され、一般的にはメディア情報の入力時刻を付加する。 [0152] time stamp addition circuit 113 is mainly applied to packets of the media information, generally adds the input time of the media information.

【0153】誤り検出符号・誤り訂正符号付加回路114 [0153] error detection code and error correction code addition circuit 114
は、構成されたパケットに対する誤り検出符号、誤り訂正符号を付加して出力し、多重化回路102にパケットを渡す。 It is an error detection code for the configuration packet, and outputs the added error correction code, and passes the packet to the multiplexing circuit 102. 多重化回路102に与えたパケットがそのまま転送される場合もあれば、多重化回路102によって再度パケット化される場合もある。 In some cases a packet given to the multiplexing circuit 102 is directly transferred, the program may be re-packetized by the multiplexing circuit 102. また、MPEG−2TSのように、 In addition, as of MPEG-2TS,
パケットに参照クロックの値を付与する場合には、図1 When applying the value of the reference clock packets, Figure 1
7の構成にさらに参照クロック付加回路を追加する。 7 further add a reference clock adding circuit configuration of.

【0154】以上説明したように、本発明の第3の実施例においては、本発明の効率的なアダプテーション処理の長所は保ちつつ、受信、送信双方を行うマルチメディア端末装置の実現が可能となる。 [0154] As described above, in the third embodiment of the present invention, while maintaining the advantages of efficient adaptation process of the present invention, the reception, it is possible to realize a multi-media terminal apparatus that performs transmission both .

【0155】ただし、以上の上記各実施例に述べた本発明に係るマルチメディア端末装置におけるアダプテーション処理の利点は、異なるネットワークを相互接続する網間接続装置においても有効である。 [0155] However, the advantages of adaptation process in the multi-media terminal apparatus according to the present invention described above each embodiment described above is effective in interworking unit that interconnects different networks. 以下に、本発明に係る網間接続装置の実施例について説明する。 Hereinafter, a description will be given of an embodiment of the inter-network connection device according to the present invention.

【0156】図18は、本発明の第4の実施例の構成を示す図である。 [0156] Figure 18 is a diagram showing a configuration of a fourth embodiment of the present invention. 図18を参照すると、本発明の第4の実施例は、多重化分離回路201と、アダプテーション情報処理回路202と、制御情報トランスコード回路203と、メディア・トランスコード回路204と、アダプテーション情報付加回路205と、多重化回路206とを備えている。 Referring to FIG. 18, a fourth embodiment of the present invention, a demultiplexing circuit 201, the adaptation information processing circuit 202, a control information transcoding circuit 203, a media transcoding circuit 204, the adaptation information adding circuit and 205, and a multiplexing circuit 206. また、多重化分離回路201は第1のネットワークに、多重化回路206は第2のネットワークに、それぞれ接続されている。 Further, the demultiplexing circuit 201 first network, multiplex circuit 206 to a second network are connected.

【0157】多重化分離回路201は、第1のネットワークから受信した音声、映像信号、制御情報などの符号化データの多重化されたビットストリームを多重化分離する。 [0157] demultiplexing circuit 201, the voice received from the first network, the video signal is demultiplexed the multiplexed bit stream of the encoded data, such as control information.

【0158】アダプテーション情報処理回路202は、多重化分離回路201によって分離された音声、映像、制御情報などの符号化データそれぞれについて、付加されたアダプテーション情報に従い、誤り検出、誤り訂正、同期管理、廃棄制御、などのアダプテーション処理を実行する。 [0158] Adaptation information processing circuit 202, audio separated by the demultiplexing circuit 201, the image, for each encoded data such as control information, in accordance with the added adaptation information, error detection, error correction, synchronization management, waste control, executes the adaptation process, such as.

【0159】制御情報トランスコード回路203は、アダプテーション情報処理回路から与えられる符号化された第1の制御情報と第1のネットワークの品質情報を入力とし、第1の制御情報を第2の制御情報に変換、符号化して出力する。 [0159] Control information transcoding circuit 203 inputs the quality information of the first control information and the first network coded supplied from the adaptation information processing circuit, a first control information a second control information conversion, and encodes and outputs the. また、保持した制御情報に従って、メディア・トランスコード回路204のトランスコード動作を制御する。 Further, according to the holding control information, controls the transcoding operations of the media transcoding circuit 204. この制御情報トランスコード回路の詳細な構成、及び動作については後述する。 Detailed structure of the control information transcoding circuit, and the operation will be described later.

【0160】メディア・トランスコード回路204は、制御情報トランスコード回路203から与えられる制御情報に従って、アダプテーション情報処理回路から与えられる符号化された第1のメディア情報を第2のメディア情報にトランスコードして出力する。 [0160] Media transcoding circuit 204 in accordance with control information provided from the control information transcoding circuit 203, transcoding the first media information encoded given from the adaptation information processing circuit to the second media information to output Te. 端末間の事前のネゴシエーション、あるいは第1のネットワークと第2のネットワークで伝送帯域の問題が起こらない場合には、トランスコードを行わずに符号化データを通過される場合もあり、どちらを行うかは制御情報トランスコード回路 Or when the advance negotiation between the terminal or the first network and transmission band in the second network problems, does not occur, also when it is passed through the coded data without transcoding, performing either control information transcoding circuit
203によって決定される。 203 is determined by. このメディア・トランスコード回路204の詳細な構成、及び動作については後述する。 Detailed configuration of the media transcoding circuit 204, and the operation will be described later.

【0161】アダプテーション情報付加回路205は、制御情報トランスコード回路203、ならびにメディア・トランスコード回路204から与えられる符号化データに対して、第2のネットワークに適合した適切なアダプテーション情報を付加する。 [0161] Adaptation information adding circuit 205 adds the coded data supplied from the control information transcoding circuit 203 and media transcoding circuit 204, an appropriate adaptation information adapted to the second network.

【0162】多重化回路206は、アダプテーション情報付加回路205の出力から、音声、映像信号、制御情報などの符号化データの多重化されたビットストリームを生成し、第2のネットワークへ出力する。 [0162] Multiplexing circuit 206, the output of the adaptation information adding circuit 205, the audio, video signal, and generates a multiplexed bit stream of the encoded data, such as control information, and outputs to the second network.

【0163】なお、アダプテーション情報処理回路202 [0163] In addition, the adaptation information processing circuit 202
は、上記本発明の第1の実施例、もしくは第2の実施例で説明した、前述のアダプテーション情報処理回路2と同じものを使用する。 Is described in the first embodiment or the second embodiment, the present invention uses the same as the adaptation processing circuit 2 described above. また、多重化分離回路201、アダプテーション情報付加回路205、多重化回路206は、それぞれ前述の多重化分離回路1、アダプテーション情報付加回路101、多重化回路102と同じ動作を行う。 Further, demultiplexing circuit 201, the adaptation information adding circuit 205, the multiplexing circuit 206, respectively demultiplexing circuit 1 described above, the adaptation information adding circuit 101 performs the same operation as the multiplexing circuit 102.

【0164】図19は、制御情報トランスコード回路20 [0164] Figure 19 is a control information transcoding circuit 20
3の構成の一例を示す図である。 Is a diagram illustrating an example of a third configuration. 図19を参照すると、 Referring to FIG. 19,
制御情報トランスコード回路203は、制御情報復号回路2 Control information transcoding circuit 203, the control information decoding circuit 2
11と、品質統計量保持回路212と、制御情報変換・生成回路213と、制御情報符号化回路214と、制御情報解析回路215とを備えている。 11, a quality statistics hold circuit 212, a control information converter-generating circuit 213, and a control information encoding circuit 214, a control information analyzing circuit 215.

【0165】制御情報復号回路211は、アダプテーション情報処理回路202から与えられる第1の制御情報の符号化データを復号して出力する。 [0165] control information decoding circuit 211 decodes and outputs the encoded data of the first control information provided from the adaptation information processing circuit 202.

【0166】品質統計量保持回路212は、アダプテーション情報処理回路202から与えられる第1のネットワークの品質情報を保持する。 [0166] The quality statistics hold circuit 212 holds the quality information of the first network given from the adaptation information processing circuit 202.

【0167】制御情報変換・生成回路213は、入力された第1の制御情報を第2の制御情報に変換して出力する。 [0167] Control information conversion-generating circuit 213, the first control information entered into a second control information to output. あるいはまた、必要に応じて、新規の制御情報を作成する。 Alternatively, if desired, to create a new control information. 制御情報の変換については、すでにITU−TH.24 The conversion of the control information, already ITU-TH.24
6勧告に記載されているものはそれに従い、記載されていないものは独自のルールを定めて変換するものとする。 Is that described in 6 recommendations accordingly, which is not described is assumed to convert defining their own rules. 特に、ネットワーク品質に関する制御情報は注意が必要であり、品質統計量保持回路212に保持されたネットワーク品質情報を参照して動作を決定するが、その詳細については後述する。 In particular, the control information on network quality is caution, but determines the operation by referring to the network quality information held in the quality statistics hold circuit 212, which will be described in detail later.

【0168】制御情報符号化回路214は、第2の制御情報を符号化して出力する。 [0168] Control information encoding circuit 214, the second control information and outputs the encoded.

【0169】制御情報解析回路215は、制御情報変換・ [0169] control information analysis circuit 215, control information conversion and
生成回路213から与えられる第1の制御情報、及び第2 First control information supplied from the generating circuit 213, and the second
の制御情報を解析し、必要に応じて蓄積し、その後の制御情報の変換動作で参照できるようにする。 It analyzes control information, stored if necessary, to be referred to by conversion of the subsequent control information. また、制御情報によって判断される送信端末の符号化能力と受信端末の復号能力の適合性、あるいは制御情報によって判断される、もしくは推測される第1のネットワークと第2 The control compatible decoding capability of the receiving terminal and the encoding capabilities of the transmitting terminal that is determined by the information, or it is determined by the control information, or inferred first network and the second is
のネットワークの伝送帯域の適合性などを判断要因として保持し、メディア・トランスコード回路204の動作を制御する。 And holding the determination factors such as compatibility of the transmission band of the network, it controls the operation of the media transcoding circuit 204. 一般的に、メディア情報のトランスコードは処理量の大幅な増加を引き起こすので、避けられる場合には避けた方が良く、また避けられない場合にはその処理を軽減することが望まれる。 Generally, transcoding media information because it causes a significant increase in processing amount, if those who avoided if avoided well and inevitable it is desirable to reduce the processing. このために、網間接続装置は、端末間、あるいは端末と網間接続装置の間で制御情報として交換されるメディア情報の符号化・復号能力を監視し、処理が最小となる組み合わせを選択する、もしくは端末に選択させるようにしてもよい。 Therefore, interworking unit monitors the encoding and decoding capabilities of the media information exchanged as control information between the end-to-end, or terminal and interworking unit, to select a combination treatment is minimized or may be selected by the terminal.

【0170】なお、制御情報復号回路211、品質統計量保持回路212、制御情報符号化回路214は、それぞれ前述の制御情報復号回路95、品質統計量保持回路96、制御情報符号化回路98と同じ動作を行う。 [0170] The control information decoding circuit 211, quality statistics hold circuit 212, the control information encoding circuit 214, respectively preceding control information decoding circuit 95, the quality statistics hold circuit 96, the same as the control information encoding circuit 98 perform the operation.

【0171】図20は、メディア・トランスコード回路 [0171] FIG. 20, the media transcoding circuit
204の構成の一例を示す図である。 204 is a diagram showing an example of the configuration of a. 図20を参照すると、メディア・トランスコード回路204は、第1の切り替え回路221と、メディア復号回路222と、メディア符号化回路223と、第2の切り替え回路224とを備えている。 Referring to FIG. 20, the media transcoding circuit 204 includes a first switching circuit 221, a media decoder 222, and a media encoding circuit 223, and a second switching circuit 224.

【0172】第1の切り替え回路221と第2の切り替え回路224は、いずれも制御情報トランスコード回路203からの指示に従い、第1のメディア情報の符号化データをトランスコードするか、あるいはそのまま通過させるかを決定する。 [0172] The first switching circuit 221 and the second switching circuit 224 in accordance with an instruction from either the control information transcoding circuit 203, or the encoded data of the first media information transcoding, or allow it to pass or to determine.

【0173】メディア復号回路222は、トランスコードが選択された場合に、第1のメディア情報の符号化データを復号する。 [0173] Media decoder 222, if the transcoding is selected, decodes the encoded data of the first media information.

【0174】メディア符号化回路223は、トランスコードが選択された場合に、メディア復号回路222の復号結果に対して再符号化を施し、第2のメディア情報の符号化データを生成する。 [0174] Media coding circuit 223, if the transcoding is selected, the re-encoding performed on the decoded results of the media decoder 222 to generate the encoded data of the second media information. トランスコードの目的に関しては、同じ符号化アルゴリズムを使用し符号化レートだけ変更させる場合、あるいは異なる符号化アルゴリズムを使用しアルゴリズム変換を行う場合などがある。 For the purposes of transcoding, if changing only the coding rate using the same coding algorithm, or the like when performing an algorithm converts uses different coding algorithms. 図20 Figure 20
では省略しているが、これらの動作は制御情報トランスコード203によって決定され、メディア復号回路222、及びメディア符号化回路223に通知される。 In is omitted, these operations are determined by the control information transcoding 203, it is notified to the media decoder 222 and the media encoder 223,.

【0175】なお、メディア復号回路222とメディア符号化回路223は、それぞれ前述のメディア復号回路93、 [0175] Incidentally, the media decoder 222 and the media encoding circuit 223, each above described media decoder 93,
メディア符号化回路100と同じ動作を行う。 It performs the same operation as the media coding circuit 100.

【0176】以上説明したように、本発明の第4の実施例においては、本発明の第1、及び第2の実施例で述べたアダプテーション処理の有効性を保持した網間接続装置の構成が可能となる。 [0176] As described above, in the fourth embodiment of the present invention, the configuration of the first, and interworking unit which holds the effectiveness of the adaptation process described in the second embodiment of the present invention It can become.

【0177】本発明の第4の実施例では、メディア情報の符号化データが第1のネットワークから第2のネットワークに向かう片方向の網間接続しか想定していない。 [0177] In a fourth embodiment of the present invention, the media information of the encoded data has only one-way interworking directed from the first network to the second network is assumed.
双方向の網間接続の実施例を以下に説明する。 A description will be given of an embodiment of a two-way interworking below.

【0178】図21は、本発明の第5の実施例の構成を示す図である。 [0178] Figure 21 is a diagram showing the configuration of a fifth embodiment of the present invention. 図21を参照すると、本発明の第5の実施例は、多重化分離回路301と、アダプテーション情報処理回路302と、制御情報トランスコード回路303と、メディア・トランスコード回路304と、アダプテーション情報付加回路305と、多重化回路306と、多重化分離回路 Referring to FIG. 21, a fifth embodiment of the present invention, a demultiplexing circuit 301, the adaptation information processing circuit 302, a control information transcoding circuit 303, a media transcoding circuit 304, the adaptation information adding circuit and 305, a multiplexing circuit 306, demultiplexing circuit
307と、アダプテーション情報処理回路308と、制御情報トランスコード回路309と、メディア・トランスコード回路310と、アダプテーション情報付加回路311と、多重化回路312とを備えている。 And 307, and adaptation processing circuit 308, a control information transcoding circuit 309, a media transcoding circuit 310, the adaptation information adding circuit 311, and a multiplexing circuit 312. また、多重化分離回路301と多重化回路312は第1のネットワークに、多重化回路306 Further, the demultiplexing circuit 301 and multiplexing circuit 312 in the first network, the multiplexing circuit 306
と多重化分離回路307は第2のネットワークに、それぞれ接続されている。 And the demultiplexing circuit 307 and the second network are connected.

【0179】第1のネットワークから第2のネットワークへの第1の網間接続を実現している多重化分離回路30 [0179] The first demultiplexing circuit from the network realizes the first inter-network connection to the second network 30
1と、アダプテーション情報処理回路302と、メディア・ 1, an adaptation information processing circuit 302, the media
トランスコード回路304と、アダプテーション情報付加回路305と、多重化回路306、ならびに第2のネットワークから第1のネットワークへの第2の網間接続を実現している多重化分離回路307と、アダプテーション情報処理回路308と、メディア・トランスコード回路310と、アダプテーション情報付加回路311と、多重化回路312は、 Transcoding circuit 304, the adaptation information adding circuit 305, a demultiplexing circuit 307 that implements the second interworking multiplexer circuit 306, and from the second network to the first network, adaptation information a processing circuit 308, a media transcoding circuit 310, the adaptation information adding circuit 311, the multiplexing circuit 312,
それぞれ、前記本発明の第4の実施例で説明した多重化分離回路201と、アダプテーション情報処理回路202と、 Respectively, a demultiplexing circuit 201 described in the fourth embodiment of the present invention, the adaptation processing circuit 202,
メディア・トランスコード回路204と、アダプテーション情報付加回路205と、多重化回路206、それぞれと同じ動作を行う。 A media transcoding circuit 204, the adaptation information adding circuit 205, the multiplexing circuit 206, the same operation as each performed. ただし、第1の網間接続で使用される制御情報トランスコード回路303と、第2の網間接続で使用される制御情報トランスコード回路309の間で、相互に情報を交換できるようになっている。 However, the control information transcoding circuit 303 used in the first interworking, between the control information transcoding circuit 309 used in the second interworking, so to exchange information with each other there.

【0180】図22は、制御情報トランスコード回路30 [0180] Figure 22 is a control information transcoding circuit 30
3と制御情報トランスコード回路309の構成の一例を示した図である。 3 is a diagram showing an example of the configuration of the control information transcoding circuit 309. 図22を参照すると、制御情報トランスコード回路303は、制御情報復号回路321と、品質統計量保持回路322と、制御情報変換・生成回路323と、制御情報符号化回路324と、制御情報解析回路325とを備えている。 Referring to FIG. 22, the control information transcoding circuit 303 includes a control information decoding circuit 321, the quality statistics hold circuit 322, a control information converting and generating circuit 323, a control information encoding circuit 324, the control information analyzing circuit and a 325. 同様に、制御情報トランスコード回路309は、制御情報復号回路331と、品質統計量保持回路332と、制御情報変換・生成回路333と、制御情報符号化回路334と、制御情報解析回路335とから構成される。 Similarly, control information transcoding circuit 309 includes a control information decoding circuit 331, the quality statistics hold circuit 332, a control information converting and generating circuit 333, a control information encoding circuit 334, a control information analyzing circuit 335 Metropolitan constructed.

【0181】制御情報トランスコード回路303を構成する制御情報復号回路321と、品質統計量保持回路322と、 [0181] The control information decoding circuit 321 constituting the control information transcoding circuit 303, the quality statistics hold circuit 322,
制御情報符号化回路324と、制御情報解析回路325の動作、ならびに制御情報トランスコード回路309を構成する制御情報復号回路331と、品質統計量保持回路332と、 A control information encoding circuit 324, the operation of the control information analyzing circuit 325, and a control information decoding circuit 331 constituting the control information transcoding circuit 309, the quality statistics hold circuit 332,
制御情報符号化回路334と、制御情報解析回路335の動作は、それぞれ本発明の第4の実施例で示した制御情報復号回路211と、品質統計量保持回路212と、制御情報符号化回路214と、制御情報解析回路215の動作に同じである。 A control information encoding circuit 334, the operation of the control information analyzing circuit 335, the control information decoding circuit 211 shown respectively in the fourth embodiment of the present invention, the quality statistics hold circuit 212, the control information encoding circuit 214 When the same to the operation of the control information analyzing circuit 215. ただし、制御情報変換・生成回路323と制御情報変換・生成回路333の間で、相互に情報を交換できるようになっている。 However, with the control information conversion and generation circuit 323 control information conversion and generation circuit 333, and to be able to exchange information with each other.

【0182】制御情報変換・生成回路323と制御情報変換・生成回路333の間で相互に情報交換できるようにすることで、いくつかの利点が得られる。 [0182] By allowing exchange information between the control information conversion and generation circuit 323 control information conversion and generation circuit 333 provides several advantages. このうち最大の利点として特筆すべき点は、網間接続装置が異なるネットワークに接続された二つの端末になりすまし、第1のネットワークに接続された端末と第2のネットワークに接続された端末との通信を、ネットワーク毎の異なる接続として分離・終端できるということである。 Noteworthy as these biggest advantage, pretending to two terminals interworking unit is connected to a different network, a first terminal connected to a network and a terminal connected to the second network the communication is that it separated and terminated as different connections of each network. すなわち、網間接続装置は、第1のネットワークに接続された端末に対しては、第1のネットワークに接続された別の端末として通信を終端し、第2のネットワークに接続された端末に対しては、第2のネットワークに接続された別の端末として通信を終端する。 That is, interworking unit, for a terminal connected to the first network, the communication as a separate terminal connected to a first network termination to a terminal connected to the second network Te terminates the communication as a separate terminal connected to the second network. メディア情報に関しては、同期制御、遅延制御、廃棄制御などのアダプテーション処理をいったん完了し、別のネットワークに適合したアダプテーション情報を付加して相手端末に送出する。 Regarding media information, synchronization control, delay control, once completed the adaptation process, such as waste control, it is sent to the remote terminal by adding adaptation information adapted to a different network.

【0183】制御情報については、第1のネットワークに接続された端末に対しては第1のネットワーク上の通信としての制御情報を応答し、第2のネットワークに接続された端末に対しては第2のネットワーク上の通信としての制御情報を応答する。 [0183] For the control information, with respect to the first terminal connected to the network for the first response control information as the communication on the network, a terminal connected to a second network first response control information as the communication over the second network. そして、端末間で交換される制御情報に関しては、あらかじめ定められた変換ルールを適用し、それぞれのネットワークに適合した第2の制御情報を作成して転送する。 Then, with respect to the control information exchanged between the terminals, applying a conversion rule predetermined, creating and transferring a second control information adapted to the respective network.

【0184】ところで、端末から転送される制御情報がネットワークの品質改善を要求するメッセージである場合、それを転送した端末は、その原因が第1のネットワークに起因するものか第2のネットワークに起因するものかを知らない場合がある。 [0184] Incidentally, if the control information transferred from the terminal is a message for requesting quality improvement of the network, the terminal forwards it, due to that or the second network to which the cause is due to the first network there is a case in which not one of the known ones to be. 例えば、第1の端末が移動体通信網に接続にしており、第2の端末がインタネットに接続しており、何らかの原因で第1のネットワークである移動体通信網に障害が発生した場合を考える。 For example, the first terminal has a connection to the mobile communication network, the second terminal are connected to the Internet, consider the case where a failure occurs in the mobile communication network is the first network for some reason . この場合、第1の端末にはメディア品質の劣化が発生し、第2の端末に対して、移動体通信網に適合した品質改善要求メッセージを送出する。 In this case, the first terminal degradation of media quality is generated, to the second terminal sends a quality improvement request message adapted to the mobile communication network.

【0185】次に、網間接続装置は、受け取ったメッセージをインタネットに適合した品質改善要求メッセージに変換し、第2の端末に転送する。 [0185] Then, interworking unit converts the received message to the quality improvement request message adapted to the Internet, is transferred to the second terminal. 第2の端末は要求メッセージに応答し、符号化レートを下げる、あるいは移動体通信網上のIP接続の場合には誤り訂正機能を強化するなど、インタネットに適合した形態で品質改善動作を実行する。 The second terminal in response to the request message, decreasing the coding rate, or the like in the case of IP connections on the mobile communication network to enhance the error correction capability, to perform a quality improvement operation in a form adapted to the Internet . しかし、移動体通信網上の障害は一向に改善されず、前記の動作はさらにメディア品質を劣化させるだけとなる。 However, failure of the mobile communication network is not at all improved, the operation is only further degrade media quality. こうして、品質改善メッセージの繰り返しによって、逆に品質が劣化してしまう事態が生じる。 Thus, by repeating the quality improvement message, a situation that the quality conversely deteriorates occurs.

【0186】以上の問題を解決するには、網間接続装置がネットワーク品質も考慮した適切なメッセージ変換を行えばよい。 [0186] To solve the above problems, it is sufficient to appropriate message conversion interworking unit is also considered network quality.

【0187】そこで、図23は、制御情報変換・生成回路323と制御情報変換・生成回路333の動作の一例を示すフローチャートである。 [0187] Therefore, FIG. 23 is a flowchart showing an example of the operation of the control information converter-generating circuit 323 control information conversion and generation circuit 333. この例では、第1のネットワークに接続された端末と第2のネットワークに接続された端末とが通信を行っており、第1のネットワークに接続された端末からの制御情報メッセージが網間接続装置に着信した場合を想定している。 In this example, connected to the first network the terminal and a terminal connected to the second network is performing communication, control information message from a terminal connected to the first network interworking unit it is assumed that was coming into.

【0188】まずステップ341では、第1のネットワークから制御情報メッセージが入力され、ステップ342に進む。 [0188] First, at step 341, the control information message is received from the first network, the process proceeds to step 342.

【0189】ステップ342では、通常の変換ルールに従って処理してよい制御情報かどうかを調べ、処理してよい場合はステップ343に、処理してはならない場合はステップ344に進む。 [0189] At step 342, it is checked whether the operation to be controlled information according to the usual conversion rules, to step 343 if appropriate treated, if not treated proceeds to step 344.

【0190】ステップ343では、例えばITU−TH.246に記載されている変換ルールなどに従って通常の制御情報の変換・生成処理を実行し、作成した制御情報を第1のネットワークに返すか、あるいは第2のネットワークに転送する。 [0190] At step 343, for example, to perform the conversion and generation processing of the normal control information in accordance with such conversion rules that are described in ITU-TH.246, or return control information created in the first network, or the and transfers it to the second network.

【0191】ステップ344では、入力された制御情報がネットワーク品質の改善要求かどうかを調べ、改善要求である場合はステップ345に、改善要求でない場合はステップ348に進む。 [0191] At step 344, the control information entered is checked whether the network quality improvement request, in step 345 if it is bugs, if not bugs proceeds to step 348.

【0192】ステップ345では、品質統計量保持回路を参照してネットワーク品質の劣化の原因を調査し、原因が第1のネットワークにある場合はステップ346に、第2のネットワークにある場合はステップ347に進む。 [0192] At step 345, determine the cause of network quality degradation with reference to the quality statistics hold circuit, to step 346 if the cause is the first network, when in the second network step 347 proceed to.

【0193】ステップ346では、応答用の制御情報を作成して第1のネットワークに返す。 [0193] At step 346, it returns to the first network by creating control information for response.

【0194】ステップ347では、第2のネットワーク用の品質改善要求制御情報として第2のネットワークに転送する。 [0194] At step 347, it transfers the quality improvement request control information for the second network to the second network.

【0195】ステップ348では、入力された制御情報がネットワーク品質の改善要求に対する応答かどうかを調べ、応答である場合はステップ349に、応答でない場合はステップ350に進む。 [0195] At step 348, the control information entered is checked whether the response to the network quality improvement request, in step 349 if a response, if not respond proceeds to step 350.

【0196】ステップ349では、拒絶メッセージとしての制御情報を作成し、第2のネットワークに転送する。 [0196] At step 349, it creates control information as rejection message and forwards the second network.
なお、これは第2のネットワークに接続された端末から事前に品質改善要求が行われた場合の対処の一例である。 Incidentally, this is an example of what to do if the quality improvement request is made in advance from a terminal connected to the second network.

【0197】ステップ350では、入力された制御情報は未知のメッセージであるとして、その旨を通知する制御情報を作成し、第1のネットワークに返す。 [0197] At step 350, the control information inputted is unknown message, creates control information for notifying to that effect, it returns to the first network.

【0198】図24、及び図25は、本発明の第5の実施例によって実現される網間接続装置の動作を、具体例を用いて模式的に示した図である。 [0198] Figure 24, and Figure 25, the operation of the fifth examples realized by interworking unit of the present invention and shows schematically using a specific example.

【0199】図24は、第1のネットワークに接続された端末Aと、第2のネットワークに接続された端末B [0199] Figure 24 is a terminal A connected to the first network, the terminal connected to the second network B
が、第1のネットワークと第2のネットワークの間に位置する網間接続装置を介して通信を行っており、特に端末Aから端末Bに符号化データが片方向で送信されている場合を示している。 There has been communicating via the interworking unit located between the first and second networks, especially shows the case where coded data from the terminal A to the terminal B is transmitted by the one-way ing.

【0200】端末Aから符号化データを受け取った網間接続装置は、アダプテーション情報処理を実行し、その結果として得られる第1のネットワークの遅延、ビット誤り率、パケット廃棄率などの品質情報を自身の持つ品質統計量保持回路に蓄積する。 [0200] The interworking unit which has received the encoded data from the terminal A, itself running adaptation processing, the delay of the first network obtained as a result, bit error rate, quality information such as packet loss ratio accumulate the quality statistic hold circuit with the.

【0201】網間接続装置から符号化データを受け取った端末Bは、同じくアダプテーション情報処理を実行し、その結果として得られる第1のネットワークの遅延、ビット誤り率、パケット廃棄率などの品質情報を自身の持つ品質統計量保持回路に蓄積する。 [0202] terminal B having received the encoded data from the interworking unit, like running adaptation processing, the delay of the first network obtained as a result, bit error rate, quality information such as packet loss ratio accumulate the quality statistic hold circuit with the own.

【0202】図24では、端末Aと端末Bの通信は網間多重化装置によって一旦終端され、端末Bは第1のネットワークに関する情報を何も知らない場合を想定している。 [0203] In Figure 24, the communication terminals A and B is temporarily terminated by inter-network multiplexer, the terminal B is assumed that know nothing information on the first network. このため、端末Bは第2のネットワークの品質情報のみを把握・保持している。 Thus, terminal B knows and held only quality information of the second network. ただし、誤りを通知するために端末Bにダミーデータを転送する方式も可能であり、本発明は図24に例示したものに限定されるものではない。 However, a method of transferring dummy data to the terminal B to notify the error are possible, the present invention is not limited to those illustrated in FIG. 24.

【0203】図25は、図24に対応して、端末Bから品質改善を要求する制御情報メッセージが送出された場合の網間接続装置の動作の詳細を示している。 [0203] Figure 25, which corresponds to FIG 24 shows the details of the operation of the interworking unit in a case where the control information message is sent to request quality improvement from the terminal B.

【0204】端末Bからの品質改善要求を受け取ると、 [0204] Upon receipt of a quality improvement request from the terminal B,
網間接続装置は自身の品質統計量保持回路を参照して、 Interworking unit refers to the quality statistics hold circuit itself,
第1のネットワークに問題がないかを調査する。 To investigate whether there is a problem in the first of the network. 第1のネットワークに問題があると判断した場合、網間接続装置は端末Aに対して、第1のネットワークに適合した形態の品質改善要求メッセージを通知する。 If it is determined that there is a problem with the first network, inter-network connection device to the terminal A, and notifies the form of quality improvement request message conforming to the first network. 端末Aはこれに応答し、網間接続装置に対して応答メッセージを返す。 Terminal A in response, returns a response message to the interworking unit.

【0205】網間接続装置は端末Aからの応答メッセージを受け取ると、端末Bに対して、端末Bからの品質改善動作は拒絶する旨を伝える拒絶メッセージを通知する。 [0205] interworking unit receives a response message from the terminal A, the terminal B, the quality improvement operation of the terminal B notifies a rejection message indicating refusal. 端末Aが拒絶した場合には、網間接続装置はやはり拒絶メッセージを作成し、端末Bに通知する。 When the terminal A rejection, interworking unit is also creates a rejection message, and notifies the terminal B. 一方、第1のネットワークに問題がないと判断した場合には、網間接続装置は端末Bに対して応答メッセージを通知し、 On the other hand, if it is determined that there is no problem in the first network, interworking unit notifies a response message to the terminal B,
かつ品質改善動作を実行する。 And to perform quality improvement operations. 以上の動作によって、それぞれのネットワーク上の問題は緩和され、品質改善が実現される。 By the above operation, it is relieved each network problems, quality improvement is realized. なお、以上の動作はすべての処理がアダプテーション情報の変更のみで実現される場合を想定しているが、伝送レートの変更など、符号化レベルの変更を伴う場合には、その旨メッセージを追加して対応する。 The above operation is all the processing is assumed to be realized only by changing the adaptation information, such as changing the transmission rate, when related to changes in the coding level, adds the fact message the corresponding Te.

【0206】なお、上記の例では片方向のメディア転送のみを示したが、双方向の場合でもそのまま適用される。 [0206] In the above example shows only one-way transport of media, applied as it is even if the two-way. さらにはまたインタネット上でRTPを使用する場合には、その対としてRTCPが使用されるために、これを用いて遅延や廃棄率を評価することも可能である。 Further also when using RTP on the Internet, to RTCP is used as a pair, it is possible to evaluate the delay and loss rate by using this.

【0207】図26は、具体的な例としてITU−T H.245 [0207] Figure 26, ITU-T H.245 Specific examples
で使用される制御情報メッセージを示している。 In shows control information messages used. 多重化方式としてはH.222、H.223、及びH.225の場合を示している。 The multiplexing scheme shows the case of H.222, H.223, and H.225. 「共通」と記した項目は、ネットワークに依存せず、すべての多重化手段共通に使用されるメッセージである。 Items labeled "common" does not depend on the network, a message that is used for all multiplexing means common. 「依存」、及び「使用する」と記した項目は、ネットワークに依存して使用される項目である。 "Dependent", and items marked "used" is an item to be used depending on the network. この中で、多重化モード、及び多重化再構成に関係するメッセージがネットワーク品質に影響を与えるもので、本発明が着目している制御情報である。 Among these, those multiplexing mode, and a message related to multiplex reconfiguration affects the network quality, which is control information to which the present invention is focused.

【0208】以上説明したように、本発明の第5の実施例においては、双方向の網間接続が実現され、さらにはネットワークの品質改善要求に矛盾をきたさない制御情報の通知が可能になり、安定したマルチメディア通信が実現される。 [0208] As described above, in the fifth embodiment of the present invention, two-way interworking is achieved, furthermore allows the notification control information does not cause an inconsistency in quality improvement request network , stable and multi-media communication has is realized.

【0209】本発明の第5の実施例では、通信を行っている端末間に1つの網間接続装置が存在する場合しか想定していない。 [0209] In a fifth embodiment of the present invention provides only assume if there is one interworking unit between performing communications terminal. 以下では、端末間に複数の網間接続装置が存在する例について説明する。 The following describes an example in which there are a plurality of interworking unit between terminals.

【0210】図27は、本発明の第6の実施例の構成を示す図である。 [0210] Figure 27 is a diagram showing the configuration of a sixth embodiment of the present invention. 図27を参照すると、本発明の第6の実施例は、第1のネットワークに接続された端末401と第3 Referring to FIG 27, a sixth embodiment of the present invention, the terminal 401 and the third connected to the first network
のネットワークに接続された端末403が、第1のネットワークと第2のネットワークの間に位置する網間接続装置402と、第2のネットワークと第3のネットワークの間に位置する網間接続装置403を介して通信を行っており、さらに網間接続装置402と網間接続装置403は相互にネットワークの品質統計量を情報交換する手段を備えている。 Terminal 403 connected to a network is, the interworking unit 402 located between the first and second networks, interworking unit located between the second network and the third network 403 and communicating through a further interworking unit 402 and the interworking unit 403 is provided with means for exchanging information quality statistics network to each other.

【0211】次に、図28は、網間接続装置402、及び網間接続装置403の動作シーケンスの詳細を示す図である。 [0211] Next, FIG 28 is a diagram showing the detailed operation sequence of the interworking unit 402, and interworking unit 403. 図28では、第1のネットワークに接続された端末Aと、第3のネットワークに接続された端末Bが、第1 In Figure 28, a terminal A connected to the first network, the third network connected to the terminal B, first
のネットワークと第2のネットワークの間に位置する第1の網間接続装置、及び第2のネットワークと第3のネットワークの間に位置する第2の網間接続装置を介して通信を行っており、端末Bから品質改善を要求する制御情報メッセージが送出された場合の、それぞれの網間接続装置の動作シーケンスの一例を示している。 And performing network and the first interworking unit, located between the second network, and the communication via the second interworking unit, located between the second network and the third network shows an example of an operation sequence of each of the interworking unit in a case where the control information message for requesting quality improvement from the terminal B is sent. なお、網間接続装置の間では事前に品質統計量の情報交換が行われており、それぞれの網間接続装置が第1、第2、第3 In addition, between interworking unit has been performed beforehand information exchange quality statistics, the respective interworking unit first, second, third
のネットワークの通信状況を把握している。 I know the communication status of the network.

【0212】端末Bからの品質改善要求を受け取ると、 [0212] Upon receipt of a quality improvement request from the terminal B,
第2の網間接続装置は自身の品質統計量保持回路を参照し、第2のネットワークに問題がないかを調査する。 The second interworking unit refers to the quality statistics hold circuit itself, to investigate whether there is a problem in the second network. 第2のネットワークに問題があると判断した場合、第2の網間接続装置は第1の網間接続装置に対して、第2のネットワークに適合した形態の品質改善要求メッセージを通知する。 If it is determined that there is a problem in the second network, the second interworking unit is notified to the first interworking unit, the second form adapted to the network of the quality improvement request message. 第2の網間接続装置からの品質改善要求を受け取ると、第1の網間接続装置は自身の品質統計量保持回路を参照し、第1のネットワークに問題がないかを調査する。 Upon receiving the quality improvement request from the second interworking unit, a first interworking unit refers to the quality statistics hold circuit itself, to investigate whether there is a problem with the first network. 第1のネットワークに問題があると判断した場合、第1の網間接続装置は端末Aに対して、第1のネットワークに適合した形態の品質改善要求メッセージを通知する。 If it is determined that there is a problem with the first network, the first interworking device to the terminal A, and notifies the form of quality improvement request message conforming to the first network. 端末Aはこれに応答し、第1の網間接続装置に対して応答メッセージを返す。 Terminal A in response, returns a response message to the first interworking unit. 端末Aからの応答メッセージを受け取ると、第1の網間接続装置は第2の網間接続装置に対して、第2の網間接続装置からの品質改善動作は拒絶する旨を伝える拒絶メッセージを通知する。 Upon receiving a response message from the terminal A, a rejection message first interworking unit to the second interworking unit, the quality improvement operation of the second interworking unit is to transmit the refusal Notice. 端末Aが拒絶した場合にも、第1の網間接続装置はやはり拒絶メッセージを作成し、第2の網間接続装置に通知する。 When the terminal A is rejected also, first interworking unit is also creates a rejection message, and notifies the second interworking unit. 第1の網間接続装置からの拒絶メッセージを受け取ると、第2の網間接続装置は端末Bに対して、端末Bからの品質改善動作は拒絶する旨を伝える拒絶メッセージを通知する。 Upon receiving a rejection message from the first interworking unit, a second interworking device to the terminal B, the quality improvement operation of the terminal B notifies a rejection message indicating refusal. 次に、第1の網間接続装置が、第2のネットワークに問題があると判断した場合、第1の網間接続装置は第2の網間接続装置に対して応答メッセージを通知し、かつ品質改善動作を実行する。 Next, a first interworking device, if it is determined that there is a problem with the second network, the first interworking unit notifies the response message to the second interworking unit, and to perform the quality improvement action. 第1の網間接続装置からの応答メッセージを受け取ると、第2の網間接続装置は端末Bに対して、端末Bからの品質改善動作は拒絶する旨を伝える拒絶メッセージを通知する。 Upon receiving a response message from the first interworking unit, a second interworking device to the terminal B, the quality improvement operation of the terminal B notifies a rejection message indicating refusal.

【0213】次に、第2の網間接続装置が、第3のネットワークに問題があると判断した場合、第2の網間接続装置は端末Bに対して応答メッセージを通知し、かつ品質改善動作を実行する。 [0213] Next, a second interworking device, if it is determined that there is a problem with the third network, the second interworking unit notifies a response message to the terminal B, and quality improvement to perform the operations. 以上の動作によって、それぞれのネットワーク上の問題は緩和され、品質改善が実現される。 By the above operation, it is relieved each network problems, quality improvement is realized. なお、以上の動作はすべての処理がアダプテーション情報の変更のみで実現される場合を想定しているが、伝送レートの変更など、符号化レベルの変更を伴う場合には、その旨メッセージを追加して対応する。 The above operation is all the processing is assumed to be realized only by changing the adaptation information, such as changing the transmission rate, when related to changes in the coding level, adds the fact message the corresponding Te.

【0214】インタネットの場合には、品質統計量の交換はRTCPによって提供されるために冗長となるが、そのほかのネットワークでは提供されないのが通常である。 [0214] In the case of the Internet, the exchange of quality statistics are made redundant to be provided by RTCP, in other networks is normally not provided.
また、その機能をすべての端末に強いるのは不効率である。 Moreover, the forces that function to all terminals is inefficient. そこで、網間接続装置のみに上記の機能を付加するのが効率的である。 Therefore, to adding the above functions only interworking unit is efficient. なお、網間接続装置間での具体的な情報交換の手段については、RTCPの場合のように、メディア情報と共有されるチャネル上でインバンドに行う場合と、通常の電話交換機のように、メディア情報のチャネルとは別にアウトバンドで行う場合が考えられるが、 Incidentally, the means of specific information exchange between interworking unit, as in the case of RTCP, the case of performing in-band on channel shared with the media information, like a regular telephone exchange, If carried out in a separate out-of-band from the channel of media information it is conceivable,
本発明ではこれについては何ら言及しないものとする。 In the present invention, it is assumed that no mention at all about this.

【0215】以上説明したように、本発明の第6の実施例においては、複数個の網間接続装置が介在する場合でも、ネットワークの品質改善要求に矛盾をきたさない制御情報の通知が可能になり、安定したマルチメディア通信が実現される。 [0215] As described above, in the sixth embodiment of the present invention, even when a plurality of interworking unit is interposed, to enable the notification of the control information does not cause an inconsistency in quality improvement request network becomes, stable multi-media communication has is realized.

【0216】図29は、本発明に係るマルチメディア端末装置及び本発明に係る網間接続装置を適用したシステム構成の一例を示す図である。 [0216] Figure 29 is a diagram showing an example of the applied system configuration interworking unit according to the multi-media terminal apparatus and the present invention according to the present invention. 本発明に係るマルチメディア端末装置である端末Aと端末Bが、移動体通信網、 Terminals A and B is a multimedia terminal device according to the present invention, a mobile communication network,
インタネット、ATM網を介してマルチメディア通信を行っている、また、移動体通信網とインタネットの間、及びインタネットとATM網の間には、それぞれ本発明に係る網間接続装置が配置されている。 Internet is performed multimedia communication over an ATM network, also during the mobile communication network and the Internet, and between the Internet and the ATM network, each interworking unit according to the present invention is arranged .

【0217】本発明に係るマルチメディア端末装置は、 [0217] The multi-media terminal apparatus according to the present invention,
音声情報、映像情報、制御情報の符号化データにアダプテーション情報を付加して送信し、またそれを受信して復号、再生、表示を行っている。 Audio information, video information, send it with the adaptation information to the encoded data of the control information, also receives and decodes it, reproduction is performed displaying. 本発明のアダプテーション情報処理のために、安定した同期再生、誤り制御が実現されている。 For adaptation information processing of the present invention, stable synchronization playback, the error control is realized.

【0218】一方、本発明に係る網間接続装置は、ネットワークから受信した符号化データに本発明のアダプテーション情報処理を適用し、安定した同期再生、誤り制御を実現した上で別のネットワークに適合したアダプテーション情報を付加して転送している。 [0218] On the other hand, inter-network connection device according to the present invention applies the adaptation processing of the present invention in the encoded data received from the network, stable synchronization playback, adapted to another network on which realized error control We are transferring the adaptation information added to. 本発明の制御情報処理によって、安定した網間接続を実現している。 The control information processing of the present invention realizes a stable interworking.

【0219】図30は、本発明に係るマルチメディア端末装置及び本発明に係る網間接続装置を適用したシステム構成の一例を示す図である。 [0219] Figure 30 is a diagram showing an example of the applied system configuration interworking unit according to the multi-media terminal apparatus and the present invention according to the present invention. 本発明に係るマルチメディア端末装置である端末Aと端末Bが、インタネット、 Terminals A and B is a multimedia terminal device according to the present invention, Internet,
ISDN・電話網、移動体通信網を介してマルチメディア通信を行っている、また、インタネットとISDN・電話網の間、及びISDN・電話網と移動体通信網の間には、それぞれ本発明の網間接続装置が配置されている。 ISDN · telephone network is performed multimedia communication via the mobile communication network, also during the Internet and ISDN · telephone network, and between the ISDN · telephone network and the mobile communication network, the present invention respectively interworking unit is arranged.

【0220】図29に示した構成と同じく、本発明に係るマルチメディア端末装置は、音声情報、映像情報、制御情報の符号化データにアダプテーション情報を付加して送信し、またそれを受信して復号、再生、表示を行っている。 [0220] Like the configuration shown in FIG. 29, the multimedia terminal according to the present invention, audio information, send it with the adaptation information to the encoded data of the video information, control information, also receives it decoding, playing, doing the display. 本発明に係るマルチメディア端末装置における前記したアダプテーション情報処理を行なうために、安定した同期再生、誤り制御が実現されている。 In order to perform an adaptation processing described above in the multi-media terminal apparatus according to the present invention, stable synchronization playback, the error control is realized.

【0221】一方、本発明に係る網間接続装置は、ネットワークから受信した符号化データに本発明に係る網間接続装置における前記したアダプテーション情報処理を適用し、安定した同期再生、誤り制御を実現した上で別のネットワークに適合したアダプテーション情報を付加して転送しており、安定した網間接続を実現している。 [0221] On the other hand, inter-network connection device according to the present invention applies the adaptation processing described above in the inter-network connection device according to the present invention the encoded data received from the network, stable synchronization playback, achieve error control It has been transferred by adding adaptation information adapted to another network on which the at realizes a stable interworking.

【0222】 [0222]

【発明の効果】以上説明したように、本発明によれば下記記載の効果を奏する。 As described above, according to the present invention, the following effects described according to the present invention.

【0223】本発明の第1の効果は、特にインタネットのような可変遅延網を介してマルチメディア情報が送信されてくる場合に、パケットの同期管理、順序制御、廃棄処理などのアダプテーション処理に関して効率化を図ることができ、効果的なマルチメディア処理端末が実現可能としている、ということである。 [0223] The first effect of the present invention, when the multimedia information is transmitted in particular via the variable delay networks such as Internet, synchronization management packet, the sequence control with respect to adaptation processing such as disposal efficiency can be made of effective multimedia processing terminal is realizable, is that.

【0224】その理由は、本発明においては、特に時刻管理と廃棄制御の相互作用に対する工夫、及び順序制御を簡略化する符号化データの保持手段に対する工夫によるものである。 [0224] The reason for this is that in the present invention is by particularly devising on the interaction time management and disposal control, and devised for the holding means of the coded data to simplify the sequence control.

【0225】本発明の第2の効果は、特にインタネットのような可変遅延網においても、ネットワークの状況に適応しながら再生遅延時間を低く抑え、かつ廃棄率が増加した場合には順応に対処するマルチメディア端末装置を実現可能としている、ということである。 [0225] The second effect of the present invention, even in the particular variable delay networks such as Internet, suppressing the reproduction delay time while adapting to the situation of the network, and to address the adaptation when the discard rate increases thereby enabling realizing a multimedia terminal device, is that. その理由は、メディア情報の特性を活用した柔軟な遅延制御、ならびに廃棄制御に対する工夫によるものである。 The reason is that a flexible delay control utilizing the characteristics of the media information, and is by devising for discarding control.

【0226】本発明の第3の効果は、従来に比して効果的な受信、送信双方を行うマルチメディア端末装置が実現可能としている、ということである。 [0226] A third effect of the present invention effectively reception as compared with the conventional, multi-media terminal apparatus is feasible for transmitting both is that. その理由は、第1、及び第2の効果を保ちつつ、端末装置に送信手段を組み込んだためである。 The reason is, while maintaining the first and second effect is for incorporating the transmitting means to the terminal device.

【0227】本発明の第4の効果は、従来に比して効果的な網間接続装置を実現可能としている、ということである。 [0227] The fourth effect of the present invention, as compared with the conventional are feasible efficient interworking unit is that. これは、第1、及び第2の効果を、網間接続装置に対しても組み込んだためである。 This is because the first and the second effect is due to incorporating even for interworking unit.

【0228】本発明の第5の効果は、従来に比して安定したマルチメディア転送を行う網間接続装置を実現可能としている、ということである。 [0228] The fifth effect of the present invention, as compared with the conventional thereby enabling realizing interworking unit to perform a stable multimedia transfer, is that. これは、ネットワークの品質改善要求に矛盾をきたさないように、制御情報の通知メカニズムに工夫を加えたからである。 This is so as not to cause any contradiction quality improvement request network, because adding devised notification mechanism of the control information.

【0229】本発明の第6の効果は、複数の網間接続装置が介在する場合でも、従来に比して安定したマルチメディア転送を行う網間接続装置を実現可能としている、 [0229] The sixth effect of the present invention, even when a plurality of interworking unit is interposed, as compared with the conventional thereby enabling realizing interworking unit to perform a stable multimedia transfer,
ということである。 That's what it means. これは、網間接続装置間でネットワークの品質情報を相互交換できるようにしたからである。 This is because the so quality information of the network can be mutually exchanged between interworking unit.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明に係るマルチメディア端末装置の第1の実施例の構成を示す図である。 1 is a diagram showing a configuration of a first embodiment of a multimedia terminal according to the present invention.

【図2】本発明の第1の実施例におけるアダプテーション情報処理回路の構成を示す図である。 Is a diagram showing a configuration of the adaptation information processing circuit in the first embodiment of the present invention; FIG.

【図3】本発明の第1の実施例におけるアダプテーション処理回路の構成を示す図である。 It is a diagram showing a configuration of the adaptation processing circuit in the first embodiment of the present invention; FIG.

【図4】本発明の第1の実施例における蓄積回路の構成を示す図である。 It is a diagram showing a configuration of a storage circuit in the first embodiment of the present invention; FIG.

【図5】本発明の第1の実施例における蓄積回路に記録されるデータ構造を示す図である。 5 is a diagram showing a data structure recorded in the storage circuit in the first embodiment of the present invention.

【図6】本発明の第1の実施例におけるアダプテーション情報処理回路の動作を示す図である。 6 is a diagram showing the operation of the adaptation information processing circuit in the first embodiment of the present invention.

【図7】本発明の第1の実施例におけるアダプテーション処理の動作を示す流れ図である。 Is a flowchart showing the operation of adaptation process in the first embodiment of the present invention; FIG.

【図8】本発明の第1の実施例におけるアダプテーション情報処理回路の出力処理の動作を示す流れ図である。 Is a flowchart showing the operation of the output processing of the adaptation information processing circuit in the first embodiment of the present invention; FIG.

【図9】本発明に係るマルチメディア端末装置の第1の実施例におけるパケット廃棄を示す図である。 It illustrates a packet discard in a first embodiment of a multimedia terminal according to the present invention; FIG.

【図10】本発明に係るマルチメディア端末装置の第1 First multimedia terminal device according to the invention; FIG
の実施例におけるデータ蓄積例を示す図である。 It is a diagram illustrating a data storage example in the embodiment.

【図11】本発明のマルチメディア端末装置の第1の実施例におけるデータ蓄積例を示す図である。 It is a diagram illustrating a data storage example in the first embodiment of the multi-media terminal apparatus 11 present invention.

【図12】再同期情報を示す図である。 12 is a diagram illustrating a re-synchronization information.

【図13】本発明に係るマルチメディア端末装置の第1 [13] The first multi-media terminal apparatus according to the present invention
の実施例におけるシーケンスナンバの扱いを説明するための図である。 It is a diagram for explaining the handling of sequence number in the embodiment.

【図14】本発明に係るマルチメディア端末装置の第2 [14] The second multi-media terminal apparatus according to the present invention
の実施例におけるアダプテーション情報処理回路の構成を示す図である。 It is a diagram showing a configuration of the adaptation information processing circuit in the embodiment.

【図15】本発明に係るマルチメディア端末装置の第2 [15] The second multi-media terminal apparatus according to the present invention
の実施例におけるオフセット遅延回路の動作を示す流れ図である。 Is a flow diagram illustrating the operation of the offset delay circuit in the embodiment.

【図16】本発明に係るマルチメディア端末装置の第3 Third multimedia terminal device according to Figure 16 the present invention
の実施例の構成を示す図である。 It is a diagram showing a configuration of the embodiment.

【図17】本発明の第3の実施例におけるアダプテーション情報付加回路の構成を示す図である。 17 is a diagram showing the structure of the adaptation information adding circuit in the third embodiment of the present invention.

【図18】本発明に係る網間接続装置の一実施例の構成を示す図である。 18 is a diagram showing the configuration of an embodiment of the inter-network connection device according to the present invention.

【図19】本発明に係る網間接続装置の一実施例における制御情報トランスコード回路の構成を示す図である。 19 is a diagram showing a configuration of a control information transcoding circuit in an embodiment of the inter-network connection device according to the present invention.

【図20】本発明に係る網間接続装置の一実施例におけるメディア・トランスコード回路の詳細な構成を示す図である。 20 is a diagram showing a detailed configuration of the media transcoding circuit in an embodiment of the inter-network connection device according to the present invention.

【図21】本発明に係る網間接続装置の第2の実施例の構成を示す図である。 21 is a diagram showing a configuration of a second embodiment of the inter-network connection device according to the present invention.

【図22】本発明に係る網間接続装置の第2の実施例における制御情報トランスコード回路の構成を示す図である。 22 is a diagram showing a configuration of a control information transcoding circuit in the second embodiment of the inter-network connection device according to the present invention.

【図23】本発明に係る網間接続装置の第2の実施例における制御情報変換・生成回路の動作を示す流れ図である。 23 is a flowchart showing the operation of the control information converter-generating circuit in the second embodiment of the inter-network connection device according to the present invention.

【図24】本発明の網間接続装置の第2の実施例の具体例を示す図である。 Is a diagram showing a specific example of the second embodiment of FIG. 24 interworking unit of the present invention.

【図25】本発明の網間接続装置第2の実施例の動作を示す流れ図である。 Figure 25 is a flow diagram illustrating the operation of the interworking unit the second embodiment of the present invention.

【図26】具体的な制御情報を示す図である。 26 is a diagram showing a specific control information.

【図27】本発明の網間接続装置の第3の実施例の構成を示す図である。 27 is a diagram showing a configuration of a third embodiment of the interworking unit of the present invention.

【図28】本発明の網間接続装置の第3の実施例の動作を示す流れ図である。 FIG. 28 is a flowchart showing the operation of the third embodiment of the interworking unit of the present invention.

【図29】本発明の適用例を示す図である。 29 is a diagram showing an application example of the present invention.

【図30】本発明の適用例を示す図である。 30 is a diagram showing an application example of the present invention.

【図31】ネットワークを介して通信を行う端末のプロトコル階層を示す図である。 31 is a diagram showing the protocol hierarchy terminal that performs communication via a network.

【図32】具体的なアダプテーション情報の例を示す図である。 32 is a diagram showing an example of a specific adaptation information.

【図33】具体的な多重化方式のプロトコル階層の例を示す図である。 33 is a diagram showing an example of a specific multiplexing scheme protocol layer.

【図34】網間接続装置のプロトコル階層を示す図である。 34 is a diagram showing the protocol layers of the interworking unit.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 多重化分離回路 2 アダプテーション情報処理回路 3 メディア復号回路 4 メディア出力回路 5 制御情報復号回路 6 品質統計量保持回路 7 制御回路 11、71 パケット受信回路 12、72 アダプテーション情報分離回路 13、73 アダプテーション情報保持回路 14、74 クロック生成回路 15、75 オフセット遅延付加回路 16、76 アダプテーション処理回路 17、77 出力タイミング発生回路 18、78 蓄積回路 21 誤り検出回路 22 誤り訂正回路 23 タイムアウト判定回路 24 順序番号比較回路 25 書き込み回路 26 読み出し制御回路 27 記憶回路 31 開始ステップ 32 パケット受信分岐 33 アダプテーション情報分離 91 多重化分離回路 92 アダプテーション情報処理回路 93 メディア復号回 1 demultiplexing circuit 2 adaptation processing circuit 3 media decoder circuit 4 media output circuit 5 control information decoding circuit 6 quality statistics hold circuit 7 the control circuit 11 and 71 packet receiving circuit 12,72 adaptation information separating circuit 13,73 adaptation information holding circuit 14,74 clock generation circuit 15,75 offset delay addition circuit 16,76 adaptation processing circuit 17,77 output timing generating circuit 18,78 storage circuit 21 the error detection circuit 22 error correction circuit 23 out detection circuit 24 sequence number comparison circuit 25 write circuit 26 the read control circuit 27 memory circuit 31 start step 32 the packet receiving branch 33 adaptation information separation 91 demultiplex circuit 92 adaptation processing circuit 93 media decoding times 路 94 メディア出力回路 95 制御情報復号回路 96 品質統計量保持回路 97 制御回路 98 制御情報符号化回路 99 メディア入力回路 100 メディア符号化回路 101 アダプテーション情報付加回路 102 多重化回路 111 パケット化回路 112 順序番号付加回路 113 タイムスタンプ付加回路 114 誤り検出符号訂正付加回路 201 多重化分離回路 202 アダプテーション情報処理回路 203 制御情報トランスコード回路 204 メディア・トランスコード回路 205 アダプテーション情報付加回路 206 多重化回路 211 制御情報復号回路 212 品質統計量保持回路 213 制御情報変換・生成回路 214 制御情報符号化回路 215 制御情報解析回路 221 第1の切り替え回路 222 メディア復号回路 2 Road 94 media output circuit 95 control information decoding circuit 96 quality statistics hold circuit 97 control circuit 98 control information encoding circuit 99 media input circuit 100 media encoding circuit 101 adaptation information adding circuit 102 multiplexer circuit 111 packetizing circuit 112 sequence number adding circuit 113 the time stamp adding circuit 114 an error detection code correction addition circuit 201 demultiplexing circuit 202 adaptation processing circuit 203 control information transcoding circuit 204 media transcoding circuit 205 adaptation information addition circuit 206 multiplexer circuit 211 the control information decoding circuit 212 quality statistics hold circuit 213 control information conversion-generating circuit 214 control information encoding circuit 215 control information analyzing circuit 221 first switching circuit 222 media decoder 2 3 メディア符号化回路 224 第2の切り替え回路 301 多重化分離回路 302 アダプテーション情報処理回路 303 制御情報トランスコード回路 304 メディア・トランスコード回路 305 アダプテーション情報付加回路 306 多重化回路 307 多重化分離回路 308 アダプテーション情報処理回路 309 制御情報トランスコード回路 310 メディア・トランスコード回路 311 アダプテーション情報付加回路 312 多重化回路 321 制御情報復号回路 322 品質統計量保持回路 323 制御情報変換・生成回路 324 制御情報符号化回路 325 制御情報解析回路 331 制御情報復号回路 332 品質統計量保持回路 333 制御情報変換・生成回路 334 制御情報符号化回路 335 制御情報解析回路 3 media encoding circuit 224 the second switching circuit 301 demultiplexing circuit 302 adaptation processing circuit 303 control information transcoding circuit 304 media transcoding circuit 305 adaptation information adding circuit 306 multiplexer circuit 307 demultiplexing circuit 308 adaptation information processing circuit 309 control information transcoding circuit 310 media transcoding circuit 311 adaptation information adding circuit 312 multiplexer circuit 321 the control information decoding circuit 322 quality statistics hold circuit 323 control information conversion and generation circuit 324 control information encoding circuit 325 control information analysis circuit 331 control information decoding circuit 332 quality statistics hold circuit 333 control information conversion and generation circuit 334 control information encoding circuit 335 control information analyzing circuit

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5K030 GA01 HA08 HB15 HB16 HB21 HD03 JA01 JT10 KA03 KA19 LA15 LB11 LB15 LC18 LE17 MB01 MB13 5K033 AA02 AA03 BA15 CB06 CB08 CB15 DA05 DB10 DB13 DB16 DB17 DB18 EA06 EA07 EC04 5K051 AA02 BB01 BB02 JJ13 5K101 RR05 SS08 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 5K030 GA01 HA08 HB15 HB16 HB21 HD03 JA01 JT10 KA03 KA19 LA15 LB11 LB15 LC18 LE17 MB01 MB13 5K033 AA02 AA03 BA15 CB06 CB08 CB15 DA05 DB10 DB13 DB16 DB17 DB18 EA06 EA07 EC04 5K051 AA02 BB01 BB02 JJ13 5K101 RR05 SS08

Claims (14)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】ネットワークを介して送られてくる、音声及び/又は映像信号と制御情報の符号化データに、タイムスタンプ及びシーケンスナンバを少なくとも含むアダプテーション情報が付加されているデータを受信し、復号、及び再生するマルチメディア端末装置であって、 前記ネットワークから送られ受信したデータの多重化ビットストリームを多重化分離する多重化分離手段と、 前記多重化分離手段から出力されるデータを受けとり前記アダプテーション情報を処理し、同期制御、廃棄制御を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段で得られたネットワーク品質情報を保持する品質統計量保持手段と、 前記多重化分離手段から出力されるデータを受けとり前記符号化データのうち音声及び/又は映 1. A transmitted via the network, the encoded data of audio and / or video signal and the control information, receives the data adaptation information including at least a timestamp and a sequence number is added, decoding and a multimedia terminal device for reproducing a multiplex separation means for separating multiplexed multiplexed bit stream of the data received is sent from the network, the adaptation receives data output from the demultiplexing means processing the information, the synchronization control, the adaptation information processing means for performing a discard control, and quality statistics holding means for holding network quality information obtained by the adaptation processing unit, data output from the demultiplexing means audio and / or movies of the encoded data receives 像のメディア情報を復号するメディア復号手段と、 復号された前記メディア情報を出力する手段と、 前記符号化データのうち制御情報を復号する制御情報復号手段と、 復号された前記制御情報と前記品質統計量保持手段に保持されるネットワーク品質情報とに基づき自端末装置の所要の制御を行う制御手段と、 を含むことを特徴とするマルチメディア端末装置。 A media decoding means for decoding media information of the image, said means for outputting the media information decoded, the control information decoding means for decoding the control information of the coded data, the decoded control information quality multimedia terminal device characterized by including a control means for performing predetermined control of its own terminal device based on the network quality information held on statistics holding means.
  2. 【請求項2】前記アダプテーション情報処理手段が、 前記多重化分離手段から出力されるパケットデータを受信する受信手段と、 前記受信手段で受信された前記パケットデータをアダプテーション情報と符号化データとに分離するアダプテーション情報分離手段と、 前記アダプテーション情報を保持するアダプテーション情報保持手段と、 オフセット付き時刻情報を与えるオフセット遅延付加手段と、 前記アダプテーション情報と前記オフセット付き時刻情報とを用いてアダプテーション処理を実行するアダプテーション処理手段と、 前記アダプテーション情報と前記オフセット付き時刻とを用いて出力タイミングを生成する出力タイミング発生手段と、 前記アダプテーション処理手段から出力される符号化データを蓄積保持し、前記出 Wherein said adaptation processing unit, separate receiving means for receiving the packet data output from the demultiplexing means, the packet data received by the receiving unit to the adaptation information and the encoded data adaptation to perform the adaptation information separating means, and adaptation information holding means for holding the adaptation information, and offset delay adding means for giving an offset with time information, the adaptation processing using said adaptation information and the offset with time information processing means, an output timing generating means for generating an output timing using said offset with time and the adaptation information, accumulates and holds the encoded data output from said adaptation processing unit, the output 力タイミングに従って前記符号化データを出力する蓄積手段と、 を含む、ことを特徴とする請求項1記載のマルチメディア端末装置。 Includes a storage means for outputting said encoded data in accordance with the force timing, the multimedia terminal according to claim 1, wherein a.
  3. 【請求項3】前記アダプテーション処理手段が、 前記アダプテーション情報と前記オフセット付き時刻とを用いて選択的に符号化データを廃棄するとともにネットワーク品質の評価を行い、符号化データの廃棄数を含むネットワーク品質評価結果を前記品質統計量保持手段に通知するタイムアウト判定手段と、 前記アダプテーション情報を用いてシーケンスナンバーをチェックすることでネットワーク品質の評価を行い、 Wherein said adaptation processing unit, wherein the adaptation information and with selectively discarding encoded data using said offset with time evaluates the network quality, network quality including discards encoded data and timeout judging means for notifying an evaluation result to the quality statistics holding means, evaluates the network quality by checking a sequence number by using the adaptation information,
    ネットワーク品質評価結果を前記品質統計量保持手段に通知する順序番号比較手段と、 前記アダプテーション情報を用いて前記蓄積手段にアダプテーション処理の終了した符号化データを書き込む書き込み手段と、 を少なくとも含む、ことを特徴とする請求項2記載のマルチメディア端末装置。 A sequence number comparison means for notifying the network quality evaluation result to the quality statistics holding means, writing means for writing the completion encoded data adaptation processing in the storage means using said adaptation information, the at least, that multimedia terminal according to claim 2, wherein.
  4. 【請求項4】前記蓄積手段が、前記アダプテーション情報と前記符号化データの有効・無効を示す情報と符号化データの長さを示す情報を管理情報として保持し、符号化データを保持する記憶手段と、 前記出力タイミングと前記管理情報に従って符号化データを出力する読み出し制御手段と、 を含む、ことを特徴とする請求項2又は3記載のマルチメディア端末装置。 Wherein said storage means holds information indicating the length of the information and encoded data indicating a valid or invalid of the encoded data and the adaptation information as the management information, storage means for storing coded data When, including a read control means for outputting the encoded data in accordance with the management information and the output timing, the multimedia terminal according to claim 2 or 3, wherein the.
  5. 【請求項5】前記オフセット遅延付加手段が、前記品質統計量保持手段に保持されたネットワーク品質情報と前記メディア復号手段からの入力とを用いてオフセット遅延を適応的に変化させる、ことを特徴とする請求項2記載のマルチメディア端末装置。 Wherein said offset delay adding means, wherein adaptively changing the offset delay using quality statistics holding means network quality information held in and the input from the media decoder unit, and wherein the multimedia terminal according to claim 2 wherein.
  6. 【請求項6】ネットワークを介して送られてくる音声信号及び/又は、映像信号と制御情報を含む符号化データを受信、復号、及び再生するマルチメディア端末装置であって、 前記符号化データにはタイムスタンプやシーケンスナンバ等のアダプテーション情報が付加されており、 前記マルチメディア端末装置は、前記符号化データの多重化ビットストリームを多重化分離する多重化分離手段と、 前記アダプテーション情報を処理し、同期制御、廃棄制御を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から得られるネットワーク品質情報を保持する品質統計量保持手段と、 前記符号化データのうち音声や映像のメディア情報を復号するメディア復号手段と、 復号された前記メディア情報を出力する手段と、 6. The audio signal and / or transmitted via the network, receives the encoded data including the video signal and control information, decoding, and a multimedia terminal device for reproducing, in the encoded data the adaptation information such timestamps or sequence numbers are added, the multimedia terminal includes a demultiplexer means for demultiplexing the multiplexed bit stream of the encoded data, it processes the adaptation information, synchronization control, media for decoding the adaptation information processing means for performing a discard control, and quality statistics holding means for holding network quality information obtained from the adaptation information processing means, the media information of the audio and video of the encoded data and decoding means, and means for outputting the media information decoded, 前記符号化データのうち制御情報を復号する制御情報復号手段と、 復号された前記制御情報と前記品質統計量保持手段に保持されたネットワーク品質情報に基づき端末装置の制御を行う制御手段と、 を備え、 前記アダプテーション情報処理手段が、 パケット受信手段と、 受信された前記パケットをアダプテーション情報と符号化データに分離するアダプテーション情報分離手段と、 前記アダプテーション情報を保持するアダプテーション情報保持手段と、オフセット付き時刻を与えるオフセット遅延付加手段と、 前記アダプテーション情報と前記オフセット付き時刻を用いてアダプテーション処理を実行するアダプテーション処理手段と、 前記アダプテーション情報と前記オフセット付き時刻を用いて出力タイミングを提供する出力タ A control information decoding means for decoding the control information of the coded data, and a control means for controlling the terminal device based on the network quality information held in the control information decoded with said quality statistics holding means, wherein the adaptation information processing means, a packet receiving unit, and adaptation information separating means for separating said received packet was the adaptation information and the encoded data, and the adaptation information holding means for holding the adaptation information, with offset time an offset delay adding means for providing, and adaptation processing means for executing the adaptation processing using the offset with time and the adaptation information, output data to provide an output timing with the offset with time and the adaptation information ミング発生手段と、 前記アダプテーション処理手段から与えられる符号化データを保持し、前記出力タイミングに従って前記符号化データを出力する蓄積手段と、 を備え、 前記アダプテーション処理手段が、前記アダプテーション情報と前記オフセット付き時刻を用いて選択的に符号化データを廃棄し、かつネットワーク品質の評価を行い外部の品質統計量保持手段に通知するタイムアウト判定手段と、 前記アダプテーション情報を用いてネットワーク品質の評価を行い前記品質統計量保持手段に通知する順序番号比較手段と、 前記アダプテーション情報を用いて前記蓄積手段に符号化データを書き込む書き込み手段と、を備え、さらに、 前記蓄積手段が、前記アダプテーション情報と符号化データの有効・無効を示す情報と符号化デー Holds a timing generating means, the encoded data supplied from said adaptation processing unit, and a storage means for outputting the encoded data according to the output timing, the adaptation processing unit, wherein the adaptation information and with the offset time was discarded selectively coded data using, and performs a timeout judging means for notifying the outside of quality statistics holding means evaluates the network quality, the evaluation of the network quality using said adaptation information the quality a sequence number comparison means for notifying the statistical amount holding means, and a writing means for writing the encoded data in the storage means using said adaptation information, further wherein the storing means, wherein the adaptation information and the encoded data information and encoded data indicating a valid or invalid タの長さを示す情報を管理情報として保持し、符号化データを保持する記憶手段と、前記出力タイミングと前記管理情報に従って符号化データを出力する読み出し制御手段と、 を備えたことを特徴とするマルチメディア端末装置。 It holds information indicating the length of data as management information, and wherein a storage unit for holding encoded data, that and a read control means for outputting the encoded data in accordance with the management information and the output timing multimedia terminal device.
  7. 【請求項7】音声及び/又は映像のメディア情報を入力する手段と、 前記メディア情報を符号化するメディア符号化手段と、 前記制御手段の出力する制御情報を符号化する制御情報符号化手段と、 前記メディア符号化手段、及び前記制御情報符号化手段の出力である符号化データに新たなアダプテーション情報を付加するアダプテーション情報付加手段と、 前記アダプテーション情報付加手段の出力を多重化してネットワークに送出する多重化手段とをさらに備えることを特徴とする請求項1、2、6のいずれか一に記載のマルチメディア端末装置。 7. A means for inputting the media information of the audio and / or video, a media encoding means for encoding the media information, a control information encoding means for encoding the output control information of the control means , and it sends the media encoding means, and the adaptation information adding means for adding a new adaptation information is the output encoded data of the control information encoding means, to the network by multiplexing outputs of the adaptation information adding means multimedia terminal device according to any one of claims 1, 2, 6, characterized by further comprising a multiplexing means.
  8. 【請求項8】異なる伝送方式を使用する第1のネットワークと第2のネットワークの間に配設され、前記第1のネットワークに接続された端末と前記第2のネットワークに接続された端末とを相互接続し、音声信号、映像信号、及び制御情報等の符号化データを転送する網間接続装置であって、 前記符号化データには、タイムスタンプ及びシーケンスナンバを少なくとも含むアダプテーション情報が付加されており、 前記網間接続装置が、前記第1のネットワークから前記第2のネットワークに向かう網間接続手段を備え、 前記網間接続手段が、 前記符号化データの多重化ビットストリームを多重化分離する多重化分離手段と、 前記アダプテーション情報を処理し、同期制御、廃棄制御等を行うアダプテーション情報処理手段と、 前記ア 8. disposed between first and second networks using different transmission schemes, and the first terminal connected to connected to the network the terminal and to the second network interconnected, audio signal, an interworking unit for transferring coded data such as video signals, and control information, the coded data is added at least comprise adaptation information a time stamp and sequence number cage, the interworking device comprises interworking unit toward the second network from the first network, the interworking means separates multiplexed multiplexed bit stream of the encoded data and demultiplexing means, processing the adaptation information, and adaptation information processing means for performing synchronization control, waste control, etc., the a プテーション情報処理手段から与えられる第1 The given from flop station information processing unit 1
    の制御情報の符号化データを変換するか、もしくは新たに生成し、第2の制御情報の符号化データを出力する制御情報トランスコード手段と、 前記アダプテーション情報処理手段から与えられる第1 To convert the control information of the encoded data, or newly generated, the control information transcoding means for outputting the coded data of the second control information, first given from the adaptation information processing means
    のメディア情報の符号化データを、前記制御情報トランスコード手段の制御出力に応じて変換するか、もしくは通過し、第2のメディア情報の符号化データを出力するメディア・トランスコード手段と、 前記制御情報トランスコード手段及びメディア・トランスコード手段からの符号化データ出力を受け、新たなアダプテーション情報を付加するアダプテーション情報付加手段と、 前記アダプテーション情報付加手段の出力を多重化してネットワークに送出する多重化手段と、 を備えたことを特徴とする網間接続装置。 The media information of the encoded data, to convert in accordance with the control output of the control information transcoding unit, or passes through, and media transcoding means for outputting the encoded data of the second media information, the control information receiving the encoded data output from the transcoding means and media transcoding means, and adaptation information adding means for adding a new adaptation information, multiplexing means for sending to the network by multiplexing the output of the adaptation information adding means interworking unit, characterized in that it comprises a and.
  9. 【請求項9】前記アダプテーション情報処理手段が、 前記多重化分離手段から出力されるパケットデータを受信する受信手段と、 受信された前記パケットデータをアダプテーション情報と符号化データとに分離するアダプテーション情報分離手段と、 前記アダプテーション情報を保持するアダプテーション情報保持手段と、 オフセット付き時刻情報を与えるオフセット遅延付加手段と、 前記アダプテーション情報と前記オフセット付き時刻情報とを用いてアダプテーション処理を実行するアダプテーション処理手段と、 前記アダプテーション情報と前記オフセット付き時刻を用いて出力タイミングを生成する出力タイミング発生手段と、 前記アダプテーション処理手段から与えられる符号化データを保持し、前記出力タイミングに従って Wherein said adaptation processing unit, a receiving means for receiving the packet data output from the demultiplexing means, adaptation information separation to separate said received packet data into the adaptation information and the encoded data It means, and adaptation information holding means for holding the adaptation information, and adaptation processing means for executing the adaptation processing using an offset delay adding means for giving an offset with time information, the adaptation information and said offset with time information, an output timing generating means for generating an output timing with the offset with time and the adaptation information, and holds the encoded data supplied from said adaptation processing unit, in accordance with the output timing 前記符号化データを出力する蓄積手段と、 を備えた、を備えたことを特徴とする請求項8記載の網間接続装置。 A storage means for outputting the encoded data, with a, interworking unit according to claim 8, further comprising a.
  10. 【請求項10】前記アダプテーション処理手段が、 前記アダプテーション情報と前記オフセット付き時刻を用いて選択的に符号化データを廃棄するとともにネットワーク品質の評価を行い、符号化データの廃棄数を含むネットワーク品質評価結果を前記品質統計量保持手段に通知するタイムアウト判定手段と、 前記アダプテーション情報を用いてシーケンスナンバーをチェックすることでネットワーク品質の評価を行い、 Wherein said adaptation processing unit, wherein the adaptation information and selectively evaluates the network quality with discarding encoded data using said offset with time, network quality assessment including discards encoded data and timeout judging means for notifying the result to the quality statistics holding means, evaluates the network quality by checking a sequence number by using the adaptation information,
    ネットワーク品質評価結果を前記品質統計量保持手段に通知する順序番号比較手段と、 前記アダプテーション情報を用いて前記蓄積手段にアダプテーション処理の終了した符号化データを書き込む書き込み手段と、 を少なくとも含む、ことを特徴とする請求項9記載の網間接続装置。 A sequence number comparison means for notifying the network quality evaluation result to the quality statistics holding means, writing means for writing the completion encoded data adaptation processing in the storage means using said adaptation information, the at least, that interworking unit according to claim 9, wherein.
  11. 【請求項11】前記制御情報トランスコード手段が、 前記第1の制御情報の符号化データを復号する制御情報復号手段と、 前記アダプテーション情報処理手段から得られるネットワーク品質情報を保持する品質統計量保持手段と、 前記品質統計量保持手段に保持されたネットワーク品質情報を用いて前記第1の制御情報を変換し、必要に応じて新たに生成を行い、前記第2の制御情報を出力する制御情報変換生成手段と、 前記第1の制御情報及び前記第2の制御情報を解析・蓄積する制御情報解析手段と、 前記第2の制御情報を符号化する制御情報符号化手段と、 を備えたことを特徴とする請求項8記載の網間接続装置。 Wherein said control information transcoding unit, wherein the control information decoding means for decoding the encoded data of the first control information, the quality statistics hold for holding network quality information obtained from the adaptation information processing means control information by using the means, the network quality information held in said quality statistics holding means converts the first control information, performs the newly generated as needed, and outputs the second control information and converting generating means, further comprising a first control information and the control information analyzing means for analyzing and storing the second control information, and a control information encoding means for encoding said second control information interworking unit according to claim 8, wherein.
  12. 【請求項12】前記メディア・トランスコード手段が、 12. The method of claim 11, wherein the media transcoding means,
    前記第1のメディア情報の符号化データを復号するメディア復号手段と、 前記メディア復号手段の出力をトランスコードするメディア符号化手段と、 前記制御情報トランスコード手段から与えられる制御情報に従ってメディア情報のトランスコードの実行を制御する切り替え手段と、 を備えたことを特徴とする請求項8記載の網間接続装置。 A media decoding means for decoding the encoded data of the first media information, and the media encoding means for transcoding the output of the media decoding means, trans media information in accordance with control information provided from the control information transcoding unit interworking unit according to claim 8, characterized by comprising a switching means for controlling the execution of the code, the.
  13. 【請求項13】異なる伝送方式を使用する第1のネットワークと第2のネットワークの間に配設され、前記第1 13. is disposed between the first and second networks using different transmission method, the first
    のネットワークに接続された端末と前記第2のネットワークに接続された端末を相互接続し、音声信号及び/又は映像信号と制御情報を含む符号化データを転送する網間接続装置であって、 前記符号化データには、タイムスタンプ及びシーケンスナンバを少なくとも含むアダプテーション情報が付加されており、 前記網間接続装置は、前記第1のネットワークから前記第2のネットワークに向かう第1の網間接続手段と、 前記第2のネットワークから前記第1のネットワークに向かう第2の網間接続手段と、を備え、 前記第1の網間接続手段及び前記第2の網間接続手段の少なくとも一方は、 前記符号化データの多重化ビットストリームを多重化分離する多重化分離手段と、 前記アダプテーション情報を処理し、同期制御、廃棄制御等を Of A networked terminal and the second terminal connected to a network interconnecting a interworking unit that transfers coded data including the control information audio signals and / or video signal, wherein the encoded data adaptation information including at least a timestamp and a sequence number and is added, the interworking unit comprises a first interworking unit directed from the first network to the second network the second interworking unit toward the first network from the second network, wherein at least one of the first interworking unit and the second interworking unit, said code a demultiplexer means for demultiplexing the multiplexed bit stream of data, processes the adaptation information, the synchronization control, the discard control, etc. うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から与えられる第1 And Cormorant adaptation information processing means, first given from the adaptation information processor 1
    の制御情報の符号化データを変換するか、もしくは新たに生成し、第2の制御情報の符号化データを出力する制御情報トランスコード手段と、 前記アダプテーション情報処理手段から与えられる第1 To convert the control information of the encoded data, or newly generated, the control information transcoding means for outputting the coded data of the second control information, first given from the adaptation information processing means
    のメディア情報の符号化データを、前記制御情報トランスコード手段の制御出力に応じて変換するか、もしくは通過し、第2のメディア情報の符号化データを出力するメディア・トランスコード手段と、 前記制御情報トランスコード手段及びメディア・トランスコード手段からの符号化データ出力を受け、新たなアダプテーション情報を付加するアダプテーション情報付加手段と、 前記アダプテーション情報付加手段の出力を多重化してネットワークに送出する多重化手段と、 を備え、 さらに、前記第1の網間接続手段、及び前記第2の網間接続手段に含まれる制御情報変換生成手段が、互いに情報交換を行う手段を備え、 端末から受信した制御情報がネットワーク品質に関係する情報である場合には、前記第1のネットワーク、及び前 The media information of the encoded data, to convert in accordance with the control output of the control information transcoding unit, or passes through, and media transcoding means for outputting the encoded data of the second media information, the control information receiving the encoded data output from the transcoding means and media transcoding means, and adaptation information adding means for adding a new adaptation information, multiplexing means for sending to the network by multiplexing the output of the adaptation information adding means When, with a further, said first interworking unit, and the second control information converting generating means included in the interworking unit comprises means for exchanging information with each other, the control information received from the terminal There If it is information relating to network quality, the first network, and before 第2のネットワークのネットワーク品質情報を用いて前記制御情報を変換し、必要に応じて新規生成を行い、第2の制御情報を出力する、ことを特徴とする網間接続装置。 Using the network quality information of the second network to convert the control information, it performs a new product if necessary, and outputs the second control information, inter-network connection device, characterized in that.
  14. 【請求項14】請求項8乃至13のいずれか一に記載の網間接続装置において、 前記網間接続装置が、異なる伝送方式を使用するネットワーク間に配設され、異なるネットワークに接続された端末を相互接続し、音声信号、映像信号、及び制御情報の符号化データを転送し、 前記端末間に複数個の前記網間接続装置が存在する場合、さらに、前記網間接続装置間で相互に情報交換を行う手段を備えたことを特徴とする網間接続装置。 In interworking unit according to any one of 14. The method of claim 8 to 13, wherein said interworking unit is arranged between networks using different transmission scheme, which is connected to different network terminals the interconnected, audio signals, when transferred coded data of the video signal, and control information, a plurality of the interworking unit is present between the terminals, further, mutually between the interworking unit interworking unit, characterized in that it comprises means to exchange information.
JP10872299A 1999-04-16 1999-04-16 Multimedia terminal device and inter-network connecting device Pending JP2000307637A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10872299A JP2000307637A (en) 1999-04-16 1999-04-16 Multimedia terminal device and inter-network connecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10872299A JP2000307637A (en) 1999-04-16 1999-04-16 Multimedia terminal device and inter-network connecting device

Publications (1)

Publication Number Publication Date
JP2000307637A true JP2000307637A (en) 2000-11-02

Family

ID=14491909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10872299A Pending JP2000307637A (en) 1999-04-16 1999-04-16 Multimedia terminal device and inter-network connecting device

Country Status (1)

Country Link
JP (1) JP2000307637A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004008760A1 (en) * 2002-07-16 2004-01-22 Matsushita Electric Industrial Co., Ltd. Content receiving apparatus and content transmitting apparatus
US6885659B2 (en) * 2000-11-24 2005-04-26 Oki Electric Industry Co., Ltd. Voice packet communications system with communications quality evaluation function
JP2008092214A (en) * 2006-09-29 2008-04-17 Sanyo Electric Co Ltd Transmitter
JP2008136228A (en) * 2002-07-16 2008-06-12 Matsushita Electric Ind Co Ltd Content transmitting apparatus
JP2008536361A (en) * 2005-03-10 2008-09-04 クゥアルコム・インコーポレイテッドQualcomm Incorporated How to improve the control information retrieval latency by transmitting control information in a packet can be individually decoded
US7636359B2 (en) 2006-08-18 2009-12-22 Nec Corporation Received packet processing method and received packet processing apparatus for a packet having a sequence number and a time stamp
JP2010045439A (en) * 2008-08-08 2010-02-25 Hitachi Communication Technologies Ltd Communication network system, path calculation device and communication path establishment control method
WO2015182189A1 (en) * 2014-05-28 2015-12-03 ソニー株式会社 Information processing apparatus, information processing method, and program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885659B2 (en) * 2000-11-24 2005-04-26 Oki Electric Industry Co., Ltd. Voice packet communications system with communications quality evaluation function
US7924824B2 (en) 2000-11-24 2011-04-12 Oki Electric Industry Co., Ltd. Voice packet communications system with communications quality evaluation function
US7489678B2 (en) 2000-11-24 2009-02-10 Oki Electric Industry Co., Ltd. Voice packet communications system with communications quality evaluation function
JP2010246146A (en) * 2002-07-16 2010-10-28 Panasonic Corp Content receiving apparatus
US8503471B2 (en) 2002-07-16 2013-08-06 Panasonic Corporation Content receiver and content transmitter
JP2008136228A (en) * 2002-07-16 2008-06-12 Matsushita Electric Ind Co Ltd Content transmitting apparatus
JP4666110B2 (en) * 2002-07-16 2011-04-06 パナソニック株式会社 Content receiver
US7830881B2 (en) 2002-07-16 2010-11-09 Panasonic Corporation Content receiver and content transmitter
JP4561822B2 (en) * 2002-07-16 2010-10-13 パナソニック株式会社 Content receiver
WO2004008760A1 (en) * 2002-07-16 2004-01-22 Matsushita Electric Industrial Co., Ltd. Content receiving apparatus and content transmitting apparatus
JP2008536361A (en) * 2005-03-10 2008-09-04 クゥアルコム・インコーポレイテッドQualcomm Incorporated How to improve the control information retrieval latency by transmitting control information in a packet can be individually decoded
JP4875056B2 (en) * 2005-03-10 2012-02-15 クゥアルコム・インコーポレイテッドQualcomm Incorporated How to improve the control information retrieval latency by transmitting control information in a packet can be individually decoded
US7636359B2 (en) 2006-08-18 2009-12-22 Nec Corporation Received packet processing method and received packet processing apparatus for a packet having a sequence number and a time stamp
JP2008092214A (en) * 2006-09-29 2008-04-17 Sanyo Electric Co Ltd Transmitter
JP2010045439A (en) * 2008-08-08 2010-02-25 Hitachi Communication Technologies Ltd Communication network system, path calculation device and communication path establishment control method
WO2015182189A1 (en) * 2014-05-28 2015-12-03 ソニー株式会社 Information processing apparatus, information processing method, and program
JPWO2015182189A1 (en) * 2014-05-28 2017-04-20 ソニー株式会社 The information processing apparatus, an information processing method, and a program

Similar Documents

Publication Publication Date Title
Wenger et al. RTP payload format for H. 264 video
US7388873B2 (en) Methods and system for fast session establishment between equipment using H.324 and related telecommunications protocols
CN1969562B (en) Synchronization of audio and video data in a wireless communication system
JP4612028B2 (en) Techniques for compressing the header fields of the data packets
US6850519B1 (en) Communication node and packet transfer method
JP5394735B2 (en) Data transfer system and method
KR100634946B1 (en) Apparatus and method for packet error correction
JP4472347B2 (en) Streaming multimedia data on a network having a bandwidth of the variable
JP3957460B2 (en) Transmitting the header compression apparatus, the moving picture coding apparatus and a moving picture transmission system
JP4405875B2 (en) Computer readable recording medium storing a generation method and generation device and generation program and the program for correcting errors in data
CN1158819C (en) Method and system for exchanging information between multimedia network nodes
US20090097563A1 (en) Method and apparatus for handling video communication errors
EP1045562A2 (en) A Light-weight Internet Protocol Encapsulation (LIPE) scheme for multimedia traffic transport
EP1813115B1 (en) Buffering packets of a media stream
US6175573B1 (en) Multi media data storing and transmitting method and system using the same
JP3931595B2 (en) Data correcting device and a data correcting method
US6771594B1 (en) Reliable/non-reliable transmission of voice using TCP/UDP based on network quality of service
JP4131904B2 (en) Communication for multimedia protocol based on slot
RU2187205C2 (en) Device and method for transmitting voice data bursts in mobile communication system
KR100460970B1 (en) Data transmitting/receiving system and method thereof
KR100382711B1 (en) Transmission system, reception system, and transmission and reception system capable of displaying a scene with high quality
CN1316797C (en) Method and apparatus for creating a packet using a digital signal processor
US6868080B1 (en) Voice over internet protocol call fallback for quality of service degradation
EP1209844B1 (en) maintaining end-to-end synchronization on telecommunications connection
CN1137570C (en) Tone detection elimination

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20021224

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050311