JP2006345289A - Repeater and terminal device - Google Patents

Repeater and terminal device Download PDF

Info

Publication number
JP2006345289A
JP2006345289A JP2005169694A JP2005169694A JP2006345289A JP 2006345289 A JP2006345289 A JP 2006345289A JP 2005169694 A JP2005169694 A JP 2005169694A JP 2005169694 A JP2005169694 A JP 2005169694A JP 2006345289 A JP2006345289 A JP 2006345289A
Authority
JP
Japan
Prior art keywords
information
unit
encoded information
layers
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005169694A
Other languages
Japanese (ja)
Inventor
Tomohito Yamanashi
智史 山梨
Toshiyuki Morii
利幸 森井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005169694A priority Critical patent/JP2006345289A/en
Publication of JP2006345289A publication Critical patent/JP2006345289A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a comfortable communication environment even against the variation of line conditions. <P>SOLUTION: The repeater comprises a transmission error rate detector 31, a line working rate detector 32, a hierarchy allotter 33 for determining the number of layers (layer number) of information source codes contained in coded information sent by a repeater 22 to output hierarchy layer allotting information, a terminal input transmitter-receiver 34 for inputting the priority (priority information) to terminals and hierarchical information (transmit side terminal hierarchical information) to a transmit side communication terminal, a sound information storage 35, a coded information receiver 36, a reconstruction processor 37 for reconstructing the coded information based on the hierarchy layer allotting information, and a coded information transmitter 38 for outputting the reconstructed coded information. In the event of a variation of the line conditions such as line working rate and radio wave conditions, the relay suitably controls the hierarchy of the coded information transmitted to and received from each communication terminal to provide a comfortable communication environment suited to each communication terminal. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、信号を符号化して伝送する通信システムに用いられる中継装置および端末装置に関するものである。   The present invention relates to a relay device and a terminal device used in a communication system that encodes and transmits a signal.

近年、通信インフラの発達により、電話回線を通じて単なる音声信号だけではなく大容量の動画像データまで送受信されるようになってきている。この際、低ビットレートでも送信可能な音声信号から、高ビットレートで送る必要がある動画像データまでを同じ枠組みで扱い、回線効率を向上させるために、可変ビットレート伝送方式などが開発されている。   In recent years, with the development of communication infrastructure, not only simple audio signals but also large-capacity moving image data have been transmitted and received through telephone lines. In this case, variable bit rate transmission methods have been developed to improve the line efficiency by handling audio signals that can be transmitted at low bit rates to moving image data that must be transmitted at high bit rates in the same framework. Yes.

また、音声信号、楽音信号の符号化において、符号化情報の一部からでも音声・楽音信号を復号化でき、パケット損失が発生するような状況においても音質劣化を抑制することができるスケーラブル符号化技術も開発されている(例えば、特許文献1参照)。   In addition, in the coding of voice signals and music signals, scalable coding that can decode voice / music signals even from a part of the coded information and suppress the deterioration of sound quality even in the situation where packet loss occurs. Technology has also been developed (see, for example, Patent Document 1).

このスケーラブル符号化技術の代表的なものとして、第1階層の符号化部で入力信号を符号化して符号化情報を取得し、さらに上位の階層について第(i−1)階層(iは2以上の整数)の符号化部の入力信号と第(i−1)階層の符号化情報の復号化信号との差である残差信号を第i階層の入力信号としてこれを第i階層の符号化部で符号化して符号化情報を取得することを繰り返す方法が知られている。   As a representative example of this scalable encoding technique, an encoding signal is obtained by encoding an input signal in a first layer encoding unit, and the (i-1) th layer (i is 2 or more) for higher layers. The residual signal, which is the difference between the input signal of the encoding section of the encoding unit) and the decoded signal of the encoded information of the (i-1) -th layer, and the input signal of the i-th layer as an input signal of the i-th layer There has been known a method of repeatedly obtaining encoded information by encoding in a unit.

特開平10−97295号公報JP-A-10-97295

しかしながら、このような従来の音響信号符号化方法および復号化方法においては、符号化情報を伝送中にその一部を失った場合でも残りの情報からある程度の復号化信号を得ることができるという特徴を有するが、回線使用率が増加し許容される値を超えた場合において、どのように各通信端末に送信する符号化情報の階層を制御するか、あるいはどのようにして新規通信端末の接続要求を受け入れるか等についての処理が考えられていない。   However, in such a conventional acoustic signal encoding method and decoding method, even if a part of the encoded information is lost during transmission, a certain amount of decoded signal can be obtained from the remaining information. How to control the hierarchy of encoded information to be transmitted to each communication terminal when the line usage rate increases and exceeds an allowable value, or how to connect a new communication terminal The processing about whether to accept is not considered.

また、回線使用率が向上した場合、あるいは電波状況が悪化した場合等においても、低ビットレートから高ビットレートまでの様々な通信サービスを享受している通信端末それぞれに対して適切な階層制御を行わないため、ユーザにとっては快適な通信環境が提供されているとは言えない、という問題があった。   In addition, even when the line usage rate has improved or the radio wave conditions have deteriorated, appropriate hierarchical control is performed for each communication terminal enjoying various communication services from low bit rates to high bit rates. Since this is not performed, there is a problem that it cannot be said that a comfortable communication environment is provided for the user.

本発明は、このような従来の問題を解決するためになされたもので、回線使用率の増加、電波状況の悪化(伝送誤り率の増加)等に代表されるように回線状況が変動した場合に対しても、通信を行っている全ユーザに対して快適な通信環境を提供することのできる中継装置を提供するものである。   The present invention has been made to solve such a conventional problem. When the line condition fluctuates as typified by an increase in the line usage rate, a deterioration in the radio wave condition (an increase in transmission error rate), or the like. Therefore, it is an object of the present invention to provide a relay device that can provide a comfortable communication environment for all users performing communication.

本発明の中継装置は、スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手段と、回線状況の変化に応じて各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理手段と、前記再構成処理手段において再構成された符号化情報を送信する送信手段とを備えたことを特徴とした構成を有している。   The relay apparatus of the present invention adjusts the number of layers of encoded information transmitted to each terminal apparatus in accordance with a receiving unit that receives encoded information composed of a plurality of layers by scalable coding, and re-regulates the number of encoded information transmitted to each terminal device. It has a configuration characterized by comprising a reconstruction processing means to be configured and a transmission means for transmitting the encoded information reconstructed by the reconstruction processing means.

この構成により、回線使用率や電波状況などの回線状況が変動した場合、各通信端末に対して送受信する符号化情報の階層を適切に制御することができ、各通信端末装置に応じた快適な通信環境を提供することができる。また、回線使用率が許容値を超えた場合に対しても、その時点で通信を行っている通信端末に対して送受信する符号化情報の階層を適切に制御することで、別の新たな通信端末の回線接続要求を受け入れることもできる。   With this configuration, when line conditions such as line usage rate and radio wave conditions fluctuate, it is possible to appropriately control the hierarchy of encoded information transmitted to and received from each communication terminal. A communication environment can be provided. In addition, even when the line usage rate exceeds the allowable value, another new communication can be performed by appropriately controlling the hierarchy of the encoded information transmitted to and received from the communication terminal performing communication at that time. It is also possible to accept terminal connection requests.

また、本発明の中継装置は、前記再構成処理手段は、各端末装置に対して設定された優先度に基づき、優先度の高い端末ほど該端末装置に送信する符号化情報の階層数が多くなるように調整することを特徴とした構成を有している。   Further, in the relay apparatus according to the present invention, the reconfiguration processing unit has a higher number of layers of encoded information to be transmitted to a terminal device as the terminal has a higher priority based on the priority set for each terminal device. It has the structure characterized by adjusting so that it may become.

この構成により、優先度に応じて階層数を多くするので、優先度の高い端末に対してほど多くの情報を送信することができる。   With this configuration, the number of hierarchies is increased according to the priority, so that more information can be transmitted to a terminal with a higher priority.

さらに、本発明の中継装置は、前記再構成処理手段は、各端末装置に送信する符号化情報の階層数を平均化するように調整することを特徴とした構成を有している。   Furthermore, the relay apparatus according to the present invention has a configuration characterized in that the reconfiguration processing means adjusts so as to average the number of layers of encoded information transmitted to each terminal apparatus.

この構成により、各端末装置に対して平均化した階層数を送信することができ、どの端末に対しても均等に情報を送信することができる。   With this configuration, the average number of hierarchies can be transmitted to each terminal device, and information can be transmitted equally to any terminal.

さらに、本発明の中継装置は、前記再構成処理手段は、各端末装置に送信する符号化情報に対して、前記符号化情報の伝送誤りを検出復旧するための伝送誤り検出訂正用符号を算出し、付加することを特徴とした構成を有している。   Furthermore, in the relay device according to the present invention, the reconfiguration processing means calculates a transmission error detection / correction code for detecting and recovering a transmission error of the encoded information for the encoded information transmitted to each terminal device. However, it has a configuration characterized by being added.

この構成により、伝送誤り検出訂正用符号を付加するので、回線状況が変動(悪化)した場合に対しても良好な復号化信号を得るために、送信エラーに対する訂正を行うことができる。   With this configuration, a transmission error detection / correction code is added, so that a transmission error can be corrected in order to obtain a good decoded signal even when the channel condition fluctuates (deteriorates).

さらに、本発明の中継装置は、スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手段と、送信元の端末装置が現時点で受信できる符号化情報の階層数を前記端末装置から受信する端末装置情報受信手段と、前記端末装置から得た情報にしたがって各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理手段と、前記再構成処理手段において再構成された符号化情報を送信する送信手段とを備えたことを特徴とした構成を有している。   Furthermore, the relay apparatus according to the present invention includes a receiving unit that receives encoded information composed of a plurality of hierarchies by scalable coding, and the number of hierarchies of encoded information that can be received at present by the terminal apparatus of the transmission source from the terminal apparatus. Receiving terminal apparatus information receiving means, reconfiguration processing means for adjusting and reconfiguring the number of layers of encoded information to be transmitted to each terminal apparatus in accordance with information obtained from the terminal apparatus, and reconfiguration in the reconfiguration processing means And a transmission means for transmitting the encoded information.

この構成により、端末から受信できる符号化情報の階層数を得て、送信情報を再構成するので、端末の受信状況にあった情報量で符号化情報の送信を行うことができる。   With this configuration, the number of layers of encoded information that can be received from a terminal is obtained, and transmission information is reconfigured, so that encoded information can be transmitted with an information amount that matches the reception status of the terminal.

さらに、本発明の端末装置は、スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手段と、受信した符号化情報中に含まれる制御情報に基づきスケーラブル符号化により音声信号を符号化する符号化手段と、受信した符号化情報中に含まれる制御情報に基づきスケーラブル復号化により音声信号を復号化する復号化手段と、スケーラブル符号化された符号化情報を送信する送信手段と、現時点で受信できる符号化情報の階層数を送信する端末装置情報送信手段とを備えたことを特徴とした構成を有している。   Further, the terminal device of the present invention encodes a speech signal by scalable coding based on receiving means for receiving coded information composed of a plurality of layers by scalable coding, and control information included in the received coded information. Encoding means for decoding, decoding means for decoding a speech signal by scalable decoding based on control information included in the received encoded information, transmission means for transmitting scalable encoded information, And a terminal device information transmitting means for transmitting the number of encoded information layers that can be received at the present time.

この構成により、端末の状況に応じた階層数の符号化情報を受信することができるとともに、受信した制御情報にしたがって送信先の状況に応じた符号化を行った符号化情報を送信することができる。   With this configuration, it is possible to receive the number of layers of encoded information according to the status of the terminal, and to transmit encoded information that has been encoded according to the status of the destination according to the received control information. it can.

さらに、本発明の通信システムは、ユーザの優先度を設定したユーザ設定情報を記憶する設定情報記憶装置と、スケーラブル符号化により複数階層で構成された符号化情報を再構成して送受信する中継装置とを備え、前記中継装置は、前記符号化情報および前記ユーザ設定情報を受信する受信手段と、前記ユーザ設定情報に基づいて前記符号化情報の階層数を調整し再構成する再構成手段と、前記再構成した符号化情報を前記ユーザの端末装置に送信する送信手段とを有することを特徴とした構成を有している。   Furthermore, the communication system of the present invention includes a setting information storage device that stores user setting information in which user priorities are set, and a relay device that reconfigures and transmits encoded information composed of a plurality of layers by scalable encoding And the relay apparatus receives the encoded information and the user setting information, a reconfiguration unit that adjusts and reconfigures the number of layers of the encoded information based on the user setting information, A transmission unit configured to transmit the reconstructed encoded information to the terminal device of the user.

この構成により、ユーザの優先度に応じて符号化情報が再構成されるので、例えば、使用料金が高いユーザほど優先的に多くの情報を受信させることができ、設定にしたがって差別化したサービスの提供を行うことができる。   With this configuration, since the encoded information is reconfigured according to the priority of the user, for example, a user with a higher usage fee can receive more information preferentially, and differentiated services according to settings. Provision can be made.

さらに、本発明の通信システムは、前記中継装置の再構成手段は、前記ユーザ設定情報に設定されたユーザの優先度が低い場合、前記符号化情報中に、付加情報を含めて再構成することを特徴とした構成を有している。   Further, in the communication system of the present invention, the reconfiguration unit of the relay device reconfigures the encoded information including additional information when the priority of the user set in the user setting information is low. It has the structure characterized by these.

この構成により、ユーザ優先度が低い場合付加情報が付与されるので、例えば、広告音声情報などを付加情報として付けることができ、広告を付けることにより低料金でサービスの提供を行う等のサービスの多様化を行うことができる。   With this configuration, additional information is given when the user priority is low. For example, advertising audio information can be added as additional information, and services such as providing services at low cost by attaching advertisements can be added. Diversification can be done.

さらに、本発明の通信システムは、前記付加情報は、前記設定情報記憶装置から受信される情報、または、前記中継装置内に格納された情報であることを特徴とした構成を有している。   Furthermore, the communication system of the present invention has a configuration characterized in that the additional information is information received from the setting information storage device or information stored in the relay device.

この構成により、前記付加情報は、前記設定情報記憶装置から受信されるか、または、前記中継装置内の情報を使用するので、付加情報を取得するためにわざわざ別の通信経路を用意することなく、付加情報を取得することができる。   With this configuration, since the additional information is received from the setting information storage device or uses information in the relay device, there is no need to prepare a separate communication path to acquire the additional information. Additional information can be acquired.

さらに、本発明のプログラムは、コンピュータに、スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手順と、回線状況の変化に応じて各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理手順と、前記再構成された符号化情報を送信する送信手順とを実行させることを特徴とした構成を有している。   Furthermore, the program of the present invention is a program for receiving, in a computer, a reception procedure for receiving encoded information composed of a plurality of layers by scalable encoding, and the number of encoded information layers to be transmitted to each terminal device in accordance with a change in line status. A reconfiguration processing procedure for adjusting and reconfiguring and a transmission procedure for transmitting the reconfigured encoded information are executed.

この構成により、回線使用率や電波状況などの回線状況が変動した場合、各通信端末に対して送受信する符号化情報の階層を適切に制御することができ、各通信端末装置に応じた快適な通信環境を提供することができる。また、回線使用率が許容値を超えた場合に対しても、その時点で通信を行っている通信端末に対して送受信する符号化情報の階層を適切に制御することで、別の新たな通信端末の回線接続要求を受け入れることもできる。   With this configuration, when line conditions such as line usage rate and radio wave conditions fluctuate, it is possible to appropriately control the hierarchy of encoded information transmitted to and received from each communication terminal. A communication environment can be provided. In addition, even when the line usage rate exceeds the allowable value, another new communication can be performed by appropriately controlling the hierarchy of the encoded information transmitted to and received from the communication terminal performing communication at that time. It is also possible to accept terminal connection requests.

さらに、本発明の信号処理方法は、多者通話システムに用いられる信号処理方法であって、スケーラブル符号化により複数階層で構成された符号化情報を受信する受信工程と、回線状況の変化に応じて各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理工程と、前記再構成した符号化情報を送信する送信工程とを備えたことを特徴とした構成を有している。   Furthermore, the signal processing method of the present invention is a signal processing method used in a multi-party call system, and includes a reception process for receiving encoded information composed of a plurality of layers by scalable encoding, and a change in line status. A reconstruction processing step for adjusting and reconfiguring the number of layers of encoded information to be transmitted to each terminal device, and a transmission step for transmitting the reconstructed encoded information. ing.

この構成により、回線使用率や電波状況などの回線状況が変動した場合、各通信端末に対して送受信する符号化情報の階層を適切に制御することができ、各通信端末装置に応じた快適な通信環境を提供することができる。また、回線使用率が許容値を超えた場合に対しても、その時点で通信を行っている通信端末に対して送受信する符号化情報の階層を適切に制御することで、別の新たな通信端末の回線接続要求を受け入れることもできる。   With this configuration, when line conditions such as line usage rate and radio wave conditions fluctuate, it is possible to appropriately control the hierarchy of encoded information transmitted to and received from each communication terminal. A communication environment can be provided. In addition, even when the line usage rate exceeds the allowable value, another new communication can be performed by appropriately controlling the hierarchy of the encoded information transmitted to and received from the communication terminal performing communication at that time. It is also possible to accept terminal connection requests.

本発明は、回線状況の変化に応じて各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理手段を設けることにより、回線使用率や電波状況などの回線状況が変動した場合、各通信端末に対して送受信する符号化情報の階層を適切に制御することができ、各通信端末装置に応じた快適な通信環境を提供することができる。また、回線使用率が許容値を超えた場合に対しても、その時点で通信を行っている通信端末に対して送受信する符号化情報の階層を適切に制御することで、別の新たな通信端末の回線接続要求を受け入れることもできる。   The present invention provides a reconfiguration processing means for adjusting and reconfiguring the number of layers of encoded information to be transmitted to each terminal device in accordance with changes in the line status, thereby changing the line status such as the line usage rate and the radio wave status. In this case, it is possible to appropriately control the hierarchy of encoded information transmitted / received to / from each communication terminal, and to provide a comfortable communication environment according to each communication terminal apparatus. In addition, even when the line usage rate exceeds the allowable value, another new communication can be performed by appropriately controlling the hierarchy of the encoded information transmitted to and received from the communication terminal performing communication at that time. It is also possible to accept terminal connection requests.

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、以下の各実施の形態では、3階層で構成された階層的な信号符号化/復号化方法によりCELPタイプの音声符号化/復号化を行う場合について説明する。なお、階層的な信号符号化方法とは、下位レイヤでの入力信号と出力信号との差分信号を符号化し、符号化情報を出力する信号符号化方法が、上位レイヤに複数存在して階層構造を成している方法である。また、以下の説明において、最下位のレイヤ(第1階層)を「基本レイヤ」とし、基本レイヤより上位に存在するレイヤを「拡張レイヤ」とする。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In each of the following embodiments, a case where CELP type speech encoding / decoding is performed by a hierarchical signal encoding / decoding method configured by three layers will be described. The hierarchical signal encoding method is a hierarchical structure in which a plurality of signal encoding methods exist in the upper layer for encoding the difference signal between the input signal and the output signal in the lower layer and outputting the encoded information. It is a method that consists of. In the following description, the lowest layer (first layer) is referred to as a “basic layer”, and a layer existing above the basic layer is referred to as an “extension layer”.

(第1の実施の形態)
第1の実施の形態では、各端末装置に対してサービスを提供する側が設定した何らかの優先度が存在するものとし、回線使用率や伝送誤り率などが変動した場合に、優先度の高い端末に対してより快適な通信環境が提供されるように中継装置が符号化情報の階層を制御するという場合について説明する。
(First embodiment)
In the first embodiment, it is assumed that there is some priority set by the service providing side for each terminal device, and when the line usage rate, transmission error rate, etc. fluctuate, A case will be described in which the relay apparatus controls the hierarchy of encoded information so that a more comfortable communication environment is provided.

図1は、本実施の形態に係る中継装置および端末装置を含むシステム構成を示す図であり、端末装置10A〜端末装置10Nが中継装置22を介してそれぞれ相手側端末装置とスケーラブル符号化/復号化方式により通信を行っている状態を表している。   FIG. 1 is a diagram showing a system configuration including a relay device and a terminal device according to the present embodiment, where terminal device 10A to terminal device 10N and scalable coding / decoding respectively with a counterpart terminal device via relay device 22 This shows a state in which communication is performed by the conversion method.

端末装置10A〜端末装置10Nは、伝送路21を介して中継装置22に符号化情報を送信し、中継装置22から送信される符号化情報を受信する。   The terminal devices 10A to 10N transmit the encoded information to the relay device 22 via the transmission path 21, and receive the encoded information transmitted from the relay device 22.

中継装置22は、端末装置10A〜端末装置10Nから送信される符号化情報を受信し、得られた符号化情報を伝送路23経由で中継装置群24へ送信する。また、中継装置22は、伝送路23を介して送信される符号化情報を受信し、これを端末装置10A〜端末装置10Nに伝送路21経由で送信する。   The relay device 22 receives the encoded information transmitted from the terminal devices 10A to 10N, and transmits the obtained encoded information to the relay device group 24 via the transmission path 23. Further, the relay device 22 receives the encoded information transmitted via the transmission path 23 and transmits it to the terminal devices 10A to 10N via the transmission path 21.

ここで、図中の中継装置群24とは、複数の中継装置が伝送路を介して接続されている通信網であるとし、中継装置22や端末装置10A〜端末装置10Nを管理する管理センター(設定情報記憶装置)もこの中継装置群24に含まれるものとする。   Here, the relay device group 24 in the figure is a communication network in which a plurality of relay devices are connected via a transmission path, and the management center (managing the relay device 22 and the terminal devices 10A to 10N) ( The setting information storage device) is also included in the relay device group 24.

また、符号化情報中には伝送モード情報が含まれるものとする。ここで、伝送モード情報とは、入力信号を符号化し伝送する際の伝送ビットレートを指示する情報であり、予め定められた2つ以上の伝送ビットレートの中から1つの伝送ビットレートが伝送モード情報として選択される。なお、本実施の形態においては、伝送モード情報は、予め定められた3種類の伝送ビットレートbitrate1、bitrate2、bitrate3(bitrate1<bitrate2<bitrate3)の値を取り得るものとする。   Also, it is assumed that transmission mode information is included in the encoded information. Here, the transmission mode information is information indicating a transmission bit rate when an input signal is encoded and transmitted, and one transmission bit rate is a transmission mode among two or more predetermined transmission bit rates. Selected as information. In the present embodiment, it is assumed that the transmission mode information can take values of three predetermined transmission bit rates bitrate1, bitrate2, and bitrate3 (bitrate1 <bitrate2 <bitrate3).

また、以下の説明では、端末装置10A〜端末装置10Nの中の特定の端末装置を示す場合、端末装置10と表記する。   Moreover, in the following description, when showing the specific terminal device in terminal device 10A-terminal device 10N, it describes with the terminal device 10. FIG.

図2は、中継装置22の送受信部分(下り側)の内部構成を示した図である。中継装置22の送受信部分(上り側)については、一部を除いて従来の中継装置の機能と同一であるため、本実施の形態では説明は省略する。   FIG. 2 is a diagram illustrating an internal configuration of a transmission / reception part (downstream side) of the relay device 22. The transmission / reception part (upstream side) of the relay device 22 is the same as the function of the conventional relay device except for a part thereof, so that the description thereof is omitted in this embodiment.

中継装置22は、同図に示すように、伝送誤りを検出して伝送誤り率を算出する伝送誤り率検出部31、通信回線の利用率を検出して回線使用率を算出する回線使用率検出部32、中継装置22が送信する符号化情報に含まれる情報源符号の階層数(レイヤ数)を決定して階層割当情報を出力する階層割当部33、伝送路23を介して端末装置10に対する優先度(優先度情報)および送信元通信端末に対する階層情報(送信元端末階層情報)を入力するとともに、各端末装置10A〜10Nに対して送信する階層数(情報量)に関する情報を出力する端末情報送受信部(端末装置情報受信手段)34、音声情報を入力して格納、および、音声情報を直接保持する音声情報格納部35、伝送路23を介して中継装置群24から送信される符号化情報を入力する符号化情報受信部(受信手段)36、階層割り当て情報に基づいて符号化情報を再構成する再構成処理部(再構成処理手段)37および再構成された符号化情報を該当する端末装置10に伝送路21を介して出力する符号化情報送信部(送信手段)38を備えている。以下、それぞれの処理について詳細に説明する。   As shown in the figure, the relay device 22 detects a transmission error and calculates a transmission error rate, and a transmission error rate detection unit 31 detects a communication line usage rate and calculates a line usage rate. 32, the layer allocation unit 33 for determining the number of layers (number of layers) of the information source code included in the encoded information transmitted by the relay device 22 and outputting the layer allocation information, and the terminal device 10 via the transmission path 23 A terminal that inputs priority (priority information) and hierarchical information (transmission source terminal hierarchical information) for the transmission source communication terminal, and outputs information related to the number of layers (information amount) transmitted to each of the terminal devices 10A to 10N Information transmission / reception unit (terminal device information receiving means) 34, input and storage of voice information, voice information storage unit 35 for directly holding voice information, code transmitted from relay device group 24 via transmission path 23 The encoded information receiving unit (receiving unit) 36 for inputting information, the reconstruction processing unit (reconstruction processing unit) 37 for reconstructing the encoded information based on the hierarchy allocation information, and the reconstructed encoded information are applicable. The terminal device 10 includes an encoded information transmission unit (transmission unit) 38 that outputs the data via the transmission path 21. Hereinafter, each process will be described in detail.

伝送誤り率検出部31は、端末装置10あるいは管理センターからの情報等に基づいて、現在、各通信端末装置10A〜端末装置10N間の伝送路21においてどの程度の伝送誤りが生じているかを検出し、伝送誤り率を算出し、これを階層割当部33に出力する。ここでは、伝送誤り率として、誤り率の低い順にerror1、error2、error3、error4と表記することとし、伝送誤り率検出部31は、error1〜error4のいずれかを階層割当部33に出力するものとする。   The transmission error rate detection unit 31 detects how much transmission error is currently occurring in the transmission path 21 between each of the communication terminal devices 10A to 10N based on information from the terminal device 10 or the management center. Then, the transmission error rate is calculated and output to the layer allocation unit 33. Here, the transmission error rate is expressed as error1, error2, error3, and error4 in ascending order of error rate, and the transmission error rate detection unit 31 outputs any one of error1 to error4 to the hierarchy allocation unit 33. To do.

回線使用率検出部32は、伝送誤り率検出部31と同様に、端末装置10あるいは管理センターからの情報等に基づいて、現在、通信回線の利用率がどの程度であるかを検出し、回線使用率を算出し、これを階層割当部33に出力する。ここでは、回線使用率として、使用率の低い順にuse1、use2、use3、use4と表記することとし、回線使用率検出部32は、use1〜use4のいずれかを階層割当部33に出力するものとする。また、回線使用率検出部32は、前回の処理時に階層割当部33において決定された情報をフィードバックすることによっても回線使用率を算出することができるものとする。   Similar to the transmission error rate detection unit 31, the line usage rate detection unit 32 detects the current usage rate of the communication line based on information from the terminal device 10 or the management center and the like. The usage rate is calculated and output to the tier allocation unit 33. Here, the line usage rate is expressed as use1, use2, use3, and use4 in ascending order of usage rate, and the line usage rate detection unit 32 outputs any one of use1 to use4 to the tier allocation unit 33. To do. The line usage rate detection unit 32 can also calculate the line usage rate by feeding back the information determined by the tier allocation unit 33 during the previous processing.

端末情報送受信部34は、伝送路23を介して管理センターから、中継装置22が送信する対象である端末装置10に対する優先度(優先度情報)を入力し、これを階層割当部33に出力する。ここで、端末装置10に対する優先度情報は、優先度の高い順にpriority1、priority2、priority3、priority4、...と表記することとする。   The terminal information transmission / reception unit 34 inputs the priority (priority information) for the terminal device 10 that is the target to be transmitted by the relay device 22 from the management center via the transmission path 23, and outputs this to the tier allocation unit 33. . Here, the priority information for the terminal device 10 is expressed as priority1, priority2, priority3, priority4,... In descending order of priority.

端末装置10A〜端末装置10Nに対する優先度は、ユーザがサービスを提供する側に支払う料金に応じて設定する等が例として挙げられる。こうすることでユーザを差別化でき、より柔軟なサービスを提供することができる。   As an example, the priority for the terminal device 10A to the terminal device 10N is set according to a fee paid by the user to the service providing side. In this way, the user can be differentiated and a more flexible service can be provided.

また、端末情報送受信部34は、送信元の通信端末側の中継装置から送信される送信元通信端末に対する階層情報(送信元端末階層情報)を入力し、これを階層割当部33に出力する。   Further, the terminal information transmitting / receiving unit 34 inputs hierarchical information (transmission source terminal hierarchical information) for the transmission source communication terminal transmitted from the relay apparatus on the transmission source communication terminal side, and outputs this to the hierarchy allocation unit 33.

また、端末情報送受信部34は、階層割当部33から、各端末装置10A〜10Nに対して送信する階層数(情報量)に関する情報を入力し、これを伝送路23を介して管理センターおよび通信相手側の中継装置に出力する。   Further, the terminal information transmitting / receiving unit 34 inputs information on the number of layers (information amount) to be transmitted to each of the terminal devices 10A to 10N from the layer allocation unit 33, and this is input to the management center and the communication via the transmission path 23. Output to the other relay device.

階層割当部33は、伝送誤り率検出部31から伝送誤り率を入力し、また回線使用率検出部32から回線使用率を入力し、また端末情報送受信部34から優先度情報および送信元端末階層情報を入力し、これらの情報に基づいて、さらに伝送誤り訂正用符号の情報量も考慮した上で、各端末装置10A〜10Nに対して中継装置22が送信する符号化情報に含まれる情報源符号の階層数(レイヤ数)を決定し、これを階層割当情報として、伝送誤り率、回線使用率および送信元端末階層情報とともに、再構成処理部37に出力する(ここでは、伝送誤り率および回線使用率のうち、階層数の決定に利用した情報のみを再構成処理部37に出力するものとする)。   Hierarchy allocating unit 33 inputs a transmission error rate from transmission error rate detecting unit 31, inputs a channel usage rate from channel usage rate detecting unit 32, and receives priority information and source terminal hierarchy from terminal information transmitting / receiving unit 34. Information sources included in the encoded information transmitted by the relay device 22 to the terminal devices 10A to 10N after inputting information and further considering the information amount of the transmission error correction code based on the information. The number of code layers (number of layers) is determined, and this is output as layer allocation information to the reconfiguration processing unit 37 together with the transmission error rate, line usage rate and source terminal layer information (here, the transmission error rate and Of the line usage rate, only the information used for determining the number of layers is output to the reconfiguration processing unit 37).

また、階層割当部33は、各端末装置10A〜10Nに対して送信する階層数(情報量)が決定した後に、階層割当情報を端末情報送受信部34に出力する。また、階層割当部33は、各端末装置10A〜10Nに対して広告用などの補助的音声信号を割り当てる結果になった場合、音声情報格納部35に格納されている音声情報を再構成処理部37に出力するように制御信号を送る。具体的な処理概要を以下に説明する。   Further, the tier allocation unit 33 outputs the tier allocation information to the terminal information transmission / reception unit 34 after the number of layers (information amount) to be transmitted to each of the terminal devices 10A to 10N is determined. Further, the hierarchy allocation unit 33 reconstructs the audio information stored in the audio information storage unit 35 when the result is that an auxiliary audio signal for advertisement or the like is allocated to each of the terminal devices 10A to 10N. A control signal is sent to 37. A specific processing outline will be described below.

中継装置22は、伝送誤り率が変動した場合(ここでは特に増加した場合を例とする)、通話品質を維持するため、各端末装置10A〜10Nに伝送する符号化情報中により多くの伝送誤り訂正用符号を挿入する(伝送誤り訂正用符号を追加する処理は後述する再構成処理部37で行う)。また、この時、各端末装置10A〜10Nに伝送する情報量全体を増加させないために、各端末装置10A〜10Nに伝送する符号化情報中の音声信号用符号の割合を少なくするが、階層割当部33は、端末情報送受信部34から得られる優先度情報を考慮し、優先度の高い端末装置10に対しては優先的に符号化情報の階層を割り当て、優先度の低い端末装置10から先に符号化情報の階層を削減する。   When the transmission error rate fluctuates (in this case, particularly increases, for example), the relay device 22 increases the number of transmission errors in the encoded information transmitted to the terminal devices 10A to 10N in order to maintain call quality. A correction code is inserted (the process of adding a transmission error correction code is performed by the reconstruction processing unit 37 described later). At this time, in order not to increase the total amount of information transmitted to each terminal apparatus 10A to 10N, the ratio of the audio signal code in the encoded information transmitted to each terminal apparatus 10A to 10N is reduced. The unit 33 considers the priority information obtained from the terminal information transmission / reception unit 34, preferentially allocates the encoding information layer to the terminal device 10 having a higher priority, and the terminal device 10 having a lower priority is assigned first. In addition, the hierarchy of encoding information is reduced.

図3に、階層割当部33による各端末装置10A〜10Nに対する階層数の制御例を示す。なお、中継装置22は、伝送誤り率が減少した場合には、上述した伝送誤り率が増加した場合の制御例と全く逆の制御を行うものとする。   In FIG. 3, the example of control of the number of hierarchy with respect to each terminal device 10A-10N by the hierarchy allocation part 33 is shown. Note that, when the transmission error rate decreases, the relay device 22 performs control that is completely opposite to the control example when the transmission error rate increases.

図中の数字は、伝送誤り率と各端末装置10A〜10Nの優先度に基づいて中継装置22から各端末装置10A〜10Nに伝送される符号化情報のうちの音声信号用符号に割り当てられる階層数を示している。値が0となっているところは、その端末装置10には音声信号は伝送されないということを意味する。また、()内の数値は、伝送誤り率が増加したことによる品質低下を防ぐために、各端末装置10A〜10Nに送信する符号化情報に新たに付加する伝送誤り訂正用符号に使用する情報量分の階層数を意味する。また、図中のCMという表記は、音声情報格納部35に格納されている音声情報(ここでは主に広告用音声信号とする)を通常の音声信号に加えて伝送するということを意味し、付加する音声情報には通常の1階層分の情報量を割り当てるものとする。階層割当部33は、同図を元に、各端末装置10A〜10Nに割り当てられる階層数を決定し、これを階層割当情報として再構成処理部37に出力する。   The numbers in the figure are layers assigned to audio signal codes in the encoded information transmitted from the relay device 22 to the terminal devices 10A to 10N based on the transmission error rate and the priorities of the terminal devices 10A to 10N. Shows the number. A value of 0 means that no audio signal is transmitted to the terminal device 10. The numerical value in parentheses indicates the amount of information used for a transmission error correction code that is newly added to the encoded information transmitted to each of the terminal apparatuses 10A to 10N in order to prevent quality degradation due to an increase in the transmission error rate. This means the number of minutes. In addition, the notation CM in the figure means that the audio information stored in the audio information storage unit 35 (here, mainly the advertising audio signal) is transmitted in addition to the normal audio signal, The audio information to be added is assigned a normal information amount for one layer. Based on the figure, the tier allocation unit 33 determines the number of tiers allocated to each of the terminal devices 10A to 10N, and outputs this to the reconfiguration processing unit 37 as tier allocation information.

また、中継装置22は、回線使用率が変動した場合(ここでは特に増加した場合を例とする)、緊急事態に備えたり、新たに新規利用者を回線に接続可能な状態にするために、現在接続中の端末装置10に伝送する符号化情報の情報量を削減する。この時、階層割当部33は、端末情報送受信部34から得られる優先度情報を考慮し、優先度の高い端末装置10に対しては優先的に符号化情報の階層を割り当て、優先度の低い端末装置10から先に符号化情報の階層を削減する。   In addition, the relay device 22 is prepared for an emergency or when a new user can be connected to the line when the line usage rate fluctuates (in this case, particularly increased). The amount of encoded information transmitted to the currently connected terminal device 10 is reduced. At this time, the hierarchy assigning unit 33 considers the priority information obtained from the terminal information transmitting / receiving unit 34, and assigns the encoded information layer preferentially to the terminal device 10 having a high priority, and the priority is low. The hierarchy of encoded information is reduced first from the terminal device 10.

図4に、階層割当部33による各端末装置10A〜10Nに対する階層数の制御例を示す。なお、中継装置22は、回線使用率が減少した場合には、上述した回線使用率が増加した場合の制御例と全く逆の制御を行うものとする。   FIG. 4 shows a control example of the number of hierarchies for each of the terminal devices 10A to 10N by the hierarchy assigning unit 33. Note that, when the line usage rate decreases, the relay device 22 performs control that is completely opposite to the control example when the line usage rate increases.

図中の数字は、回線使用率と各端末装置10A〜10Nの優先度に基づいて中継装置22から各端末装置10A〜10Nに伝送される符号化情報のうちの音声信号用符号に割り当てられる階層数を示している。値が0となっているところは、その端末装置10には音声信号は伝送されないということを意味する。また、図中のCMという表記は、音声情報格納部35に格納されている音声情報(ここでは主に広告用音声信号とする)を通常の音声信号に加えて伝送するということを意味し、付加する音声情報には通常の1階層分の情報量を割り当てるものとする。階層割当部33は、同図を元に、各端末装置10A〜10Nに割り当てられる階層数を決定し、これを階層割当情報として再構成処理部37に出力する。   The numbers in the figure are layers assigned to audio signal codes in the encoded information transmitted from the relay apparatus 22 to the terminal apparatuses 10A to 10N based on the line usage rate and the priority of the terminal apparatuses 10A to 10N. Shows the number. A value of 0 means that no audio signal is transmitted to the terminal device 10. In addition, the notation CM in the figure means that the audio information stored in the audio information storage unit 35 (here, mainly the advertising audio signal) is transmitted in addition to the normal audio signal, The audio information to be added is assigned a normal information amount for one layer. Based on the figure, the tier allocation unit 33 determines the number of tiers allocated to each of the terminal devices 10A to 10N, and outputs this to the reconfiguration processing unit 37 as tier allocation information.

なお、上述した説明では、階層割当部33は、伝送誤り率および回線使用率のどちらか一方と、端末装置10の優先度情報から、各端末装置10A〜10Nに割り当てる階層数を決定しているが、決定方法はこれに限らず、伝送誤り率および回線使用率の両方に基づいて各端末装置10A〜10Nに割り当てる階層数を決定してもよいものとする。   In the above description, the tier allocation unit 33 determines the number of tiers to be allocated to the terminal devices 10A to 10N from either the transmission error rate or the line usage rate and the priority information of the terminal device 10. However, the determination method is not limited to this, and the number of hierarchies to be allocated to the terminal apparatuses 10A to 10N may be determined based on both the transmission error rate and the line usage rate.

音声情報格納部35は、管理センターから広告音声などの音声情報を入力し、これを内部に格納する。また、この音声情報は特に管理センターから入力する等の方法以外に、中継装置22が直接保持する音声情報も含むものとする。また、音声情報格納部35は、階層割当部33から制御信号が入力された場合、格納してある音声情報を再構成処理部37に出力する。   The voice information storage unit 35 receives voice information such as advertisement voice from the management center and stores the voice information therein. The voice information includes voice information directly held by the relay device 22 in addition to a method of inputting from the management center. The voice information storage unit 35 outputs the stored voice information to the reconstruction processing unit 37 when a control signal is input from the hierarchy allocation unit 33.

符号化情報受信部36は、伝送路23を介して中継装置群24から送信される符号化情報を入力し、これを再構成処理部37に出力する。   The encoded information receiving unit 36 receives the encoded information transmitted from the relay device group 24 via the transmission path 23 and outputs it to the reconstruction processing unit 37.

再構成処理部37は、符号化情報受信部36から符号化情報を入力し、また、階層割当部33から階層割当情報、送信元端末階層情報、伝送誤り率および回線使用率を入力し、また、音声情報格納部35から音声情報を入力する。次に再構成処理部37は、階層割当情報に基づき、符号化情報の再構成を行い、得られた符号化情報を符号化情報送信部38に出力する。また、再構成処理部37は、階層割当情報および伝送誤り率に基づき、伝送誤り訂正用符号を新たに算出し、付加することもある。具体的な処理概要を以下に説明する。   The reconfiguration processing unit 37 receives the encoded information from the encoded information receiving unit 36, receives the layer allocation information, the transmission source terminal layer information, the transmission error rate, and the line usage rate from the layer allocation unit 33, and Voice information is input from the voice information storage unit 35. Next, the reconstruction processing unit 37 reconstructs the encoded information based on the hierarchy allocation information, and outputs the obtained encoded information to the encoded information transmitting unit 38. In addition, the reconstruction processing unit 37 may newly calculate and add a transmission error correction code based on the layer assignment information and the transmission error rate. A specific processing outline will be described below.

再構成処理部37は、符号化情報受信部36から伝送路23を介してある端末装置10に送信する符号化情報を得る。次に、再構成処理部37は、階層割当部33から得られる階層割当情報の中から該端末装置10に対して割り当てられた階層数にしたがって、前記符号化情報の再構成を行う。   The reconstruction processing unit 37 obtains encoded information to be transmitted from the encoded information receiving unit 36 to a certain terminal device 10 via the transmission path 23. Next, the reconfiguration processing unit 37 reconfigures the encoded information according to the number of layers allocated to the terminal device 10 from the layer allocation information obtained from the layer allocation unit 33.

具体的には、再構成処理部37は、例えば、符号化情報受信部36から得られた、該端末装置10に対する符号化情報が3層(伝送モード情報がbitrate3)であり、かつ階層割当部33から得られた該端末装置10に対する階層割当情報が2層であった場合は、3層の符号化情報のうち、上位層から1層分削除し、伝送モード情報をbitrate3からbitrate2に修正し、これらと送信元端末階層情報とを新たな符号化情報として統合し、これを符号化情報送信部38に出力する。   Specifically, the reconfiguration processing unit 37 has, for example, three layers of encoded information (transmission mode information is bitrate3) obtained from the encoded information receiving unit 36 and the hierarchical allocation unit. When the layer allocation information for the terminal device 10 obtained from 33 is two layers, one layer from the upper layer is deleted from the three layers of encoded information, and the transmission mode information is corrected from bitrate3 to bitrate2. These and the transmission source terminal layer information are integrated as new encoded information and output to the encoded information transmitting unit 38.

また、再構成処理部37は、符号化情報受信部36から得られた、該端末装置10に対する符号化情報が3層(伝送モード情報がbitrate3)であり、かつ階層割当部33から得られた該端末装置10に対する階層割当情報が1層であった場合は、3層の符号化情報のうち、上位層から2層分削除し、伝送モード情報をbitrate3からbitrate1に修正し、これらと送信元端末階層情報とを新たな符号化情報として統合し、これを符号化情報送信部38に出力する。   Also, the reconstruction processing unit 37 has three layers of encoded information (transmission mode information is bitrate3) obtained from the encoded information receiving unit 36 and obtained from the hierarchical allocation unit 33. When the layer allocation information for the terminal device 10 is one layer, two layers are deleted from the upper layer among the three layers of encoded information, the transmission mode information is modified from bitrate3 to bitrate1, and these and the transmission source The terminal hierarchy information is integrated as new encoded information, and is output to the encoded information transmission unit 38.

また、再構成処理部37は、符号化情報受信部36から得られた、該端末装置10に対する符号化情報が2層(伝送モード情報がbitrate2)であり、かつ階層割当部33から得られた該端末装置10に対する階層割当情報が1層であった場合は、2層の符号化情報のうち、上位層から1層分削除し、伝送モード情報をbitrate2からbitrate1に修正し、これらと送信元端末階層情報とを新たな符号化情報として統合し、これを符号化情報送信部38に出力する。   Also, the reconfiguration processing unit 37 has the encoded information for the terminal device 10 obtained from the encoded information receiving unit 36 in two layers (transmission mode information is bitrate2), and is obtained from the hierarchical allocation unit 33. When the layer allocation information for the terminal device 10 is one layer, one layer from the upper layer is deleted from the two layers of encoded information, the transmission mode information is corrected from bitrate2 to bitrate1, and these and the transmission source The terminal hierarchy information is integrated as new encoded information, and is output to the encoded information transmission unit 38.

また、再構成処理部37は、符号化情報受信部36から得られた、該端末装置10に対する符号化情報の階層数(伝送モード情報)と、階層割当部33から得られた該端末装置10に対する階層割当情報が示す階層数が同一であった場合は、符号化情報に対しては何も処理せずに、これと送信元端末階層情報とを新たな符号化情報として統合し、これを符号化情報送信部38に出力する。   The reconstruction processing unit 37 also obtains the number of layers (transmission mode information) of the encoded information for the terminal device 10 obtained from the encoded information receiving unit 36 and the terminal device 10 obtained from the layer allocation unit 33. If the number of layers indicated by the layer allocation information is the same, the encoded information is not processed and is integrated with the source terminal layer information as new encoded information. The data is output to the encoded information transmission unit 38.

また、再構成処理部37は、符号化情報受信部36から得られた、階層割当部33から得られた該端末装置10に対する階層割当情報が0層であった場合は、符号化情報送信部38には何も出力しない。   Also, the reconfiguration processing unit 37, when the hierarchical allocation information for the terminal device 10 obtained from the hierarchical allocation unit 33 obtained from the encoded information receiving unit 36 is the 0th layer, Nothing is output to 38.

なお、再構成処理部37は、音声情報格納部35から広告用などの補助的音声信号が入力された場合、送信する符号化情報の冗長部分に設けられた音声情報付加フラグを立てる。   Note that, when an auxiliary audio signal for advertising or the like is input from the audio information storage unit 35, the reconstruction processing unit 37 sets an audio information addition flag provided in a redundant portion of encoded information to be transmitted.

また、再構成処理部37は、階層割当部33から伝送誤り率を入力し、さらに該端末装置10に対する階層割当情報が伝送誤り訂正用符号を示すものである場合、伝送誤り訂正用符号を新たに算出して付加し、新たな符号化情報に統合する。この時、新たに算出し付加する伝送誤り訂正用符号に用いる情報量は、階層割当部33の処理説明の部分で挙げた図中の()内の階層分を使うものとする。   Also, the reconfiguration processing unit 37 receives the transmission error rate from the layer allocation unit 33, and if the layer allocation information for the terminal device 10 indicates a transmission error correction code, the reconfiguration processing unit 37 newly sets the transmission error correction code. Calculated and added to be integrated into new encoded information. At this time, the amount of information used for the transmission error correction code that is newly calculated and added is assumed to be the layer in parentheses in the diagram given in the description of the processing of the layer allocation unit 33.

また、再構成処理部37が再構成した符号化情報中の伝送モード情報および送信元端末階層情報を合わせて制御情報と呼ぶことにする。   Also, the transmission mode information and the source terminal layer information in the encoded information reconstructed by the reconstruction processing unit 37 will be collectively referred to as control information.

符号化情報送信部38は、再構成処理部37から、再構成された符号化情報を入力し、これを該当する端末装置10に伝送路21を介して出力する。   The encoded information transmission unit 38 receives the reconfigured encoded information from the reconfiguration processing unit 37 and outputs it to the corresponding terminal device 10 via the transmission path 21.

図5は、端末装置10A〜10Nの内部構成を示した図である。端末装置10A〜10Nは、全て同一の構成であるので、ここでも端末装置10として説明する。   FIG. 5 is a diagram illustrating an internal configuration of the terminal devices 10A to 10N. Since all the terminal devices 10A to 10N have the same configuration, they will be described as the terminal device 10 here.

端末装置10は、伝送路21を介して符号化情報を入力して情報源符号と制御情報に分離する符号化情報分離部(受信手段)41、制御情報を入力し解析して復号化に利用される情報(伝送モード情報)と符号化に利用される情報(送信元端末階層情報)とに分離する制御情報分離部42、情報源符号と伝送モード情報を入力して、伝送モード情報を元に情報源符号を復号化する復号化部(復号化手段)43、入力信号と送信元端末階層情報を入力して、送信元端末階層情報を元に入力信号を符号化する符号化部(符号化手段)44および情報源符号および伝送モード情報を入力し統合して、符号化情報として出力する符号化情報統合部(送信手段、端末装置情報送信手段)45を備えている。以下、各処理ブロックについて詳細に説明する。   The terminal device 10 receives the encoded information via the transmission path 21 and encodes it into an information source code and control information. The terminal device 10 receives the control information, analyzes it, and uses it for decoding. Information to be transmitted (transmission mode information) and information used for encoding (transmission source terminal layer information) 42, information source code and transmission mode information are input, and transmission mode information is A decoding unit (decoding means) 43 for decoding the information source code, an input signal and source terminal layer information are input, and an encoding unit (code) for encoding the input signal based on the source terminal layer information Encoding means) 44 and an encoded information integration unit (transmitting means, terminal device information transmitting means) 45 that inputs and integrates information source codes and transmission mode information and outputs them as encoded information. Hereinafter, each processing block will be described in detail.

符号化情報分離部41は、伝送路21を介して中継装置22から送られる符号化情報を入力し、符号化情報を情報源符号と制御情報に分離し、得られた情報源符号を復号化部43に出力し、制御情報を制御情報分離部42に出力する。   The encoded information separation unit 41 receives the encoded information sent from the relay device 22 via the transmission line 21, separates the encoded information into information source code and control information, and decodes the obtained information source code The control information is output to the control information separation unit 42.

制御情報分離部42は、符号化情報分離部41から制御情報を入力し、制御情報を解析する。制御情報分離部42は、制御情報を解析した後、該端末装置10において復号化に利用される情報(伝送モード情報)と、該端末装置10において符号化に利用される情報(送信元端末階層情報)とに分離し、伝送モード情報を復号化部43に出力し、送信元端末階層情報を符号化部44に出力する。   The control information separator 42 receives the control information from the encoded information separator 41 and analyzes the control information. The control information separation unit 42 analyzes the control information, and then uses information (transmission mode information) used for decoding in the terminal device 10 and information (transmission source terminal layer) used for encoding in the terminal device 10. Information), the transmission mode information is output to the decoding unit 43, and the transmission source terminal layer information is output to the encoding unit 44.

復号化部43は、符号化情報分離部41から情報源符号を入力し、また制御情報分離部42から伝送モード情報を入力する。復号化部43は、得られた伝送モード情報を元に情報源符号を復号化し、出力信号を得る。なお、ここで情報源符号中に伝送誤り訂正用符号も含まれるものとし、復号化部43はこれを用い、情報源符号中の音声情報部分の符号を復号化する。   The decoding unit 43 receives the information source code from the encoded information separation unit 41 and receives the transmission mode information from the control information separation unit 42. The decoding unit 43 decodes the information source code based on the obtained transmission mode information, and obtains an output signal. Here, it is assumed that a transmission error correction code is also included in the information source code, and the decoding unit 43 uses this to decode the code of the speech information portion in the information source code.

符号化部44は、入力信号を入力し、また制御情報分離部42から送信元端末階層情報を入力し、得られた送信元端末階層情報を元に入力信号を符号化し、情報源符号を得る。符号化部44は、得られた情報源符号および制御情報を符号化情報統合部45に出力する。   The encoding unit 44 inputs an input signal, receives transmission source terminal layer information from the control information separation unit 42, encodes the input signal based on the obtained transmission source terminal layer information, and obtains an information source code . The encoding unit 44 outputs the obtained information source code and control information to the encoded information integration unit 45.

また、ここでは符号化部44は、相手側端末装置からの要求に応じた階層で符号化することを前提としているが、自端末装置10で符号化する階層を制御するようにしてもよい。この場合、自端末装置10で、自由にビットレートを制御できるようになる。   Here, the encoding unit 44 is premised on encoding in a hierarchy corresponding to a request from the counterpart terminal apparatus, but may control the hierarchy encoded in the own terminal apparatus 10. In this case, the own terminal device 10 can freely control the bit rate.

符号化情報統合部45は、符号化部44から情報源符号および伝送モード情報を入力し、これらを統合し、符号化情報として伝送路21を介して中継装置22に出力する。   The encoded information integration unit 45 receives the information source code and the transmission mode information from the encoding unit 44, integrates them, and outputs the integrated information to the relay device 22 via the transmission path 21.

次に、図5の符号化部44の構成について、図6のブロック図を用いて説明する。なお、符号化部44は、入力信号をNサンプルずつ区切り(Nは自然数)、Nサンプルを1フレームとしてフレーム毎に符号化を行う。   Next, the configuration of the encoding unit 44 of FIG. 5 will be described using the block diagram of FIG. Note that the encoding unit 44 divides the input signal into N samples (N is a natural number), and encodes each frame with N samples as one frame.

符号化部44は、送信元端末階層情報を入力して制御スイッチ59a、59b、59c、59dのオン/オフ制御を行うとともに、伝送モード情報を出力する符号化動作制御部51、入力信号に対して符号化を行う基本レイヤ符号化部52、基本レイヤ符号化部52から出力された基本レイヤ情報源符号に対して復号化を行う基本レイヤ復号化部53、入力信号に基本レイヤ復号化部53から出力された基本レイヤ復号化信号の極性を反転させた信号を加算する加算部54、加算部54から得られる第1差分信号に対して符号化を行う第1拡張レイヤ符号化部55、第1拡張レイヤ符号化部55から出力された第1拡張レイヤ情報源符号に対して復号化を行う第1拡張レイヤ復号化部56、制御スイッチ59cから得られる第1差分信号に、第1拡張レイヤ復号化部56から出力された第1拡張レイヤ復号化信号の極性を反転させた信号を加算する加算部57、加算部57から出力される第2差分信号に対して符号化を行う第2拡張レイヤ符号化部58および制御スイッチ59a、59b、59c、59dを備えている。   The encoding unit 44 inputs the source terminal layer information and performs on / off control of the control switches 59a, 59b, 59c, and 59d, and outputs the transmission mode information to the encoding operation control unit 51 and the input signal. A base layer encoding unit 52 that performs encoding, a base layer decoding unit 53 that performs decoding on the base layer information source code output from the base layer encoding unit 52, and a base layer decoding unit 53 that receives an input signal. An addition unit 54 that adds a signal obtained by inverting the polarity of the base layer decoded signal output from the first enhancement layer encoding unit 55 that performs encoding on the first differential signal obtained from the addition unit 54, The first enhancement layer decoding unit 56 that performs decoding on the first enhancement layer information source code output from the 1 enhancement layer encoding unit 55, and the first differential signal obtained from the control switch 59c, An adder 57 that adds a signal obtained by inverting the polarity of the first enhancement layer decoded signal output from the first enhancement layer decoding unit 56 and a second differential signal output from the addition unit 57 are encoded. A second enhancement layer encoding unit 58 and control switches 59a, 59b, 59c, 59d are provided.

まず、送信元端末階層情報は、符号化動作制御部51に入力される。   First, the source terminal layer information is input to the encoding operation control unit 51.

次に、符号化動作制御部51は、入力した送信元端末階層情報に応じて、制御スイッチ59a、59b、59c、59dのオン/オフ制御を行う。   Next, the encoding operation control unit 51 performs on / off control of the control switches 59a, 59b, 59c, and 59d according to the input source terminal layer information.

具体的には、符号化動作制御部51は、送信元端末階層情報がbitrate3である場合、制御スイッチ59a、59b、59c、59dを全てオン状態にする。また、符号化動作制御部51は、送信元端末階層情報がbitrate2である場合、制御スイッチ59a、59bをオン状態にし、制御スイッチ59c、59dをオフ状態にする。また、符号化動作制御部51は、送信元端末階層情報がbitrate1である場合、制御スイッチ59a、59b、59c、59dを全てオフ状態にする。   Specifically, the encoding operation control unit 51 turns on all the control switches 59a, 59b, 59c, and 59d when the source terminal layer information is bitrate3. Also, when the source terminal layer information is bitrate2, the encoding operation control unit 51 turns on the control switches 59a and 59b and turns off the control switches 59c and 59d. Also, when the source terminal layer information is bitrate1, the encoding operation control unit 51 turns off all the control switches 59a, 59b, 59c, and 59d.

また、符号化動作制御部51は、伝送モード情報を符号化情報統合部45に出力する。   Also, the encoding operation control unit 51 outputs the transmission mode information to the encoding information integration unit 45.

このように、符号化動作制御部51が送信元端末階層情報に応じて制御スイッチ群をオン/オフ制御することにより、入力信号の符号化に用いる符号化部の組み合わせが決定される。   As described above, the encoding operation control unit 51 performs on / off control of the control switch group according to the transmission source terminal layer information, thereby determining the combination of the encoding units used for encoding the input signal.

また、入力信号は、基本レイヤ符号化部52および制御スイッチ59aに入力される。   Further, the input signal is input to the base layer encoding unit 52 and the control switch 59a.

基本レイヤ符号化部52は、入力信号に対してCELPタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号(以下、「基本レイヤ情報源符号」という)を符号化情報統合部45および制御スイッチ59bに出力する。なお、基本レイヤ符号化部52の内部構成については後述する。   The base layer encoding unit 52 encodes an input signal using a CELP type speech encoding method, and obtains an information source code (hereinafter referred to as a “base layer information source code”) obtained by the encoding. It outputs to the encoding information integration part 45 and the control switch 59b. The internal configuration of base layer encoding unit 52 will be described later.

基本レイヤ復号化部53は、制御スイッチ59bがオン状態の場合、基本レイヤ符号化部52から出力された基本レイヤ情報源符号に対してCELPタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号(以下、「基本レイヤ復号化信号」という)を加算部54に出力する。なお、基本レイヤ復号化部53は、制御スイッチ59bがオフ状態の場合には何も動作しない。なお、基本レイヤ復号化部53の内部構成については後述する。   When the control switch 59b is on, the base layer decoding unit 53 performs decoding on the base layer information source code output from the base layer encoding unit 52 using a CELP type speech decoding method, A decoded signal obtained by decoding (hereinafter referred to as “base layer decoded signal”) is output to adder 54. Note that the base layer decoding unit 53 does not operate when the control switch 59b is off. The internal configuration of base layer decoding unit 53 will be described later.

加算部54は、制御スイッチ59a、59bがオン状態の場合、入力信号に、基本レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第1差分信号を第1拡張レイヤ符号化部55および制御スイッチ59cに出力する。なお、加算部54は、制御スイッチ59a、59bがオフ状態の場合には何も動作しない。   When the control switches 59a and 59b are in the on state, the adder 54 adds a signal obtained by inverting the polarity of the base layer decoded signal to the input signal, and adds the first difference signal as the addition result to the first enhancement layer code To the control unit 55 and the control switch 59c. Note that the adder 54 does not operate when the control switches 59a and 59b are in the OFF state.

第1拡張レイヤ符号化部55は、制御スイッチ59a、59bがオン状態の場合、加算部54から得られる第1差分信号に対してCELPタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号(以下、「第1拡張レイヤ情報源符号」という)を符号化情報統合部45および制御スイッチ59dに出力する。なお、第1拡張レイヤ符号化部は、制御スイッチ59a、59bがオフ状態の場合には何も動作しない。   When the control switches 59a and 59b are in the on state, the first enhancement layer encoding unit 55 encodes the first differential signal obtained from the adding unit 54 using a CELP type speech encoding method, The information source code obtained by encoding (hereinafter referred to as “first enhancement layer information source code”) is output to the encoded information integration unit 45 and the control switch 59d. Note that the first enhancement layer encoding unit does not operate when the control switches 59a and 59b are in the off state.

第1拡張レイヤ復号化部56は、制御スイッチ59dがオン状態の場合、第1拡張レイヤ符号化部55から出力された第1拡張レイヤ情報源符号に対してCELPタイプの音声復号化方法を用いて復号化を行い、復号化により得られた復号化信号(以下、「第1拡張レイヤ復号化信号」という)を加算部57に出力する。なお、第1拡張レイヤ復号化部56は、制御スイッチ59dがオフ状態の場合には何も動作しない。   The first enhancement layer decoding unit 56 uses a CELP type speech decoding method for the first enhancement layer information source code output from the first enhancement layer encoding unit 55 when the control switch 59d is in the ON state. The decoded signal obtained by the decoding (hereinafter referred to as “first enhancement layer decoded signal”) is output to the adding unit 57. The first enhancement layer decoding unit 56 does not operate when the control switch 59d is in the off state.

加算部57は、制御スイッチ59c、59dがオン状態の場合、制御スイッチ59cから得られる第1差分信号に、第1拡張レイヤ復号化信号の極性を反転させた信号を加算し、加算結果である第2差分信号を第2拡張レイヤ符号化部58に出力する。なお、加算部57は、制御スイッチ59c、59dがオフ状態の場合には何も動作しない。   When the control switches 59c and 59d are in the ON state, the adding unit 57 adds a signal obtained by inverting the polarity of the first enhancement layer decoded signal to the first differential signal obtained from the control switch 59c. The second differential signal is output to second enhancement layer encoding unit 58. Note that the adder 57 does not operate when the control switches 59c and 59d are in the OFF state.

第2拡張レイヤ符号化部58は、制御スイッチ59c、59dがオン状態の場合、加算部57から出力される第2差分信号に対してCELPタイプの音声符号化方法を用いて符号化を行い、符号化により得られた情報源符号(以下、「第2拡張レイヤ情報源符号」という)を符号化情報統合部45に出力する。なお、第2拡張レイヤ符号化部は、制御スイッチ59c、59dがオフ状態の場合には何も動作しない。   The second enhancement layer encoding unit 58 encodes the second differential signal output from the addition unit 57 using the CELP type speech encoding method when the control switches 59c and 59d are in the ON state, The information source code obtained by encoding (hereinafter referred to as “second enhancement layer information source code”) is output to the encoded information integration unit 45. The second enhancement layer encoding unit does not operate when the control switches 59c and 59d are in the off state.

次に、図7に伝送前符号化情報のデータ構造(ビットストリーム)を示し、説明する。   Next, FIG. 7 shows a data structure (bit stream) of pre-transmission encoded information, which will be described.

伝送モード情報(送信元端末階層情報)がbitrate1である場合、符号化情報は、図7(a)に示すように、制御情報および基本レイヤ情報源符号を含む冗長部から構成される。   When the transmission mode information (source terminal layer information) is bitrate1, the encoded information is composed of a redundant part including control information and a base layer information source code, as shown in FIG. 7 (a).

伝送モード情報(送信元端末階層情報)がbitrate2である場合、符号化情報は、図7(b)に示すように、制御情報、基本レイヤ情報源符号および第1拡張レイヤ情報源符号を含む冗長部から構成される。   When the transmission mode information (source terminal layer information) is bitrate2, the coding information is redundant including control information, base layer information source code, and first enhancement layer information source code as shown in FIG. 7 (b). It consists of parts.

伝送モード情報(送信元端末階層情報)がbitrate3である場合、符号化情報は、図7(c)に示すように、制御情報、基本レイヤ情報源符号、第1拡張レイヤ情報源符号および第2拡張レイヤ情報源符号を含む冗長部から構成される。   When the transmission mode information (source terminal layer information) is bitrate3, the encoded information includes control information, base layer information source code, first enhancement layer information source code, and second information as shown in FIG. It consists of a redundant part including an enhancement layer information source code.

ここで、図7中のデータ構造における冗長部とは、ビットストリーム中に用意される冗長的なデータ格納部であり、伝送誤り検出・訂正用のビット、上述した送信元端末情報、広告用などの補助的な音声信号を付加したことを示すフラグおよびパケットの同期をとるためのカウンタ等のデータを格納することに利用される。   Here, the redundant part in the data structure in FIG. 7 is a redundant data storage part prepared in the bit stream, such as transmission error detection / correction bits, the above-described transmission source terminal information, advertisements, etc. It is used for storing data such as a flag indicating that an auxiliary audio signal is added and a counter for synchronizing packets.

次に、図6の基本レイヤ符号化部52の内部構成について、図8を用いて説明する。ここでは、基本レイヤ符号化部52において、CELPタイプの音声符号化を行う場合について説明する。   Next, the internal configuration of base layer encoding section 52 in FIG. 6 will be described using FIG. Here, a case will be described in which base layer coding section 52 performs CELP type speech coding.

前処理部71は、入力信号に対し、DC成分を取り除くハイパスフィルタ処理や後続する符号化処理の性能改善につながるような波形整形処理やプリエンファシス処理を行い、これらの処理後の信号(Xin)をLPC分析部72および加算部75に出力する。   The preprocessing unit 71 performs a waveform shaping process and a pre-emphasis process on the input signal so as to improve the performance of a high-pass filter process for removing a DC component and a subsequent encoding process, and a signal (Xin) after these processes. Is output to the LPC analysis unit 72 and the addition unit 75.

LPC分析部72は、前処理部71から出力された信号(Xin)を用いて線形予測分析を行い、分析結果(線形予測係数)をLPC量子化部73に出力する。LPC量子化部73は、LPC分析部72から出力された線形予測係数(LPC)の量子化処理を行い、量子化LPCを合成フィルタ74に出力するとともに量子化LPCを表す符号(L)を多重化部84に出力する。   The LPC analysis unit 72 performs linear prediction analysis using the signal (Xin) output from the preprocessing unit 71 and outputs the analysis result (linear prediction coefficient) to the LPC quantization unit 73. The LPC quantization unit 73 performs a quantization process on the linear prediction coefficient (LPC) output from the LPC analysis unit 72, outputs the quantized LPC to the synthesis filter 74, and multiplexes a code (L) representing the quantized LPC. To the conversion unit 84.

合成フィルタ74は、量子化LPCに基づくフィルタ係数により、後述する加算部81から出力される駆動音源に対してフィルタ合成を行うことにより合成信号を生成し、合成信号を加算部75に出力する。   The synthesis filter 74 generates a synthesized signal by performing filter synthesis on a driving sound source output from an adder 81 described later using a filter coefficient based on the quantized LPC, and outputs the synthesized signal to the adder 75.

加算部75は、合成フィルタ74から出力された合成信号の極性を反転させて、信号(Xin)に加算することにより誤差信号を算出し、誤差信号を聴覚重み付け部82に出力する。   The adding unit 75 calculates the error signal by inverting the polarity of the combined signal output from the combining filter 74 and adding it to the signal (Xin), and outputs the error signal to the auditory weighting unit 82.

適応音源符号帳76は、過去に加算部81によって出力された駆動音源をバッファに記憶しており、パラメータ決定部83から出力された信号により特定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして切り出して乗算部79に出力する。   The adaptive excitation codebook 76 stores the driving excitations output by the adding unit 81 in the past in the buffer, and samples one frame from the past driving excitations specified by the signal output from the parameter determination unit 83. It cuts out as an adaptive sound source vector and outputs it to the multiplier 79.

量子化利得生成部77は、パラメータ決定部83から出力された信号によって特定される量子化適応音源利得と量子化固定音源利得とをそれぞれ乗算部79と乗算部80とに出力する。   The quantization gain generation unit 77 outputs the quantization adaptive excitation gain and the quantization fixed excitation gain specified by the signal output from the parameter determination unit 83 to the multiplication unit 79 and the multiplication unit 80, respectively.

固定音源符号帳78は、パラメータ決定部83から出力された信号によって特定される形状を有するパルス音源ベクトルに拡散ベクトルを乗算して得られた固定音源ベクトルを乗算部80に出力する。   Fixed excitation codebook 78 outputs a fixed excitation vector obtained by multiplying a pulse excitation vector having a shape specified by the signal output from parameter determination section 83 by a diffusion vector to multiplication section 80.

乗算部79は、量子化利得生成部77から出力された量子化適応音源利得を、適応音源符号帳76から出力された適応音源ベクトルに乗じて、加算部81に出力する。乗算部80は、量子化利得生成部77から出力された量子化固定音源利得を、固定音源符号帳78から出力された固定音源ベクトルに乗じて、加算部81に出力する。   Multiplication section 79 multiplies the adaptive excitation vector output from adaptive excitation codebook 76 by the quantized adaptive excitation gain output from quantization gain generation section 77 and outputs the result to addition section 81. Multiplication section 80 multiplies the fixed excitation vector output from fixed excitation codebook 78 by the quantized fixed excitation gain output from quantization gain generation section 77 and outputs the result to addition section 81.

加算部81は、利得乗算後の適応音源ベクトルと固定音源ベクトルとをそれぞれ乗算部79と乗算部80とから入力し、これらをベクトル加算し、加算結果である駆動音源を合成フィルタ74および適応音源符号帳76に出力する。なお、適応音源符号帳76に入力された駆動音源は、バッファに記憶される。   The adder 81 inputs the adaptive excitation vector and the fixed excitation vector after gain multiplication from the multiplier 79 and the multiplier 80, respectively, adds these vectors, and adds the drive sound source as the addition result to the synthesis filter 74 and the adaptive excitation source. The data is output to the code book 76. The driving excitation input to adaptive excitation codebook 76 is stored in the buffer.

聴覚重み付け部82は、加算部75から出力された誤差信号に対して聴覚的な重み付けを行い、符号化歪みとしてパラメータ決定部83に出力する。   The auditory weighting unit 82 performs auditory weighting on the error signal output from the adding unit 75 and outputs the error signal to the parameter determining unit 83 as coding distortion.

パラメータ決定部83は、聴覚重み付け部82から出力された符号化歪みを最小とする適応音源ベクトル、固定音源ベクトルおよび量子化利得を、各々適応音源符号帳76、固定音源符号帳78および量子化利得生成部77から選択し、選択結果を示す適応音源ベクトル符号(A)、固定音源ベクトル符号(F)および音源利得符号(G)を多重化部84に出力する。   The parameter determination unit 83 sets the adaptive excitation vector, the fixed excitation vector, and the quantization gain that minimize the coding distortion output from the perceptual weighting unit 82 to the adaptive excitation codebook 76, the fixed excitation codebook 78, and the quantization gain, respectively. The adaptive excitation vector code (A), fixed excitation vector code (F), and excitation gain code (G) that are selected from the generation unit 77 and indicate the selection result are output to the multiplexing unit 84.

多重化部84は、LPC量子化部73から量子化LPCを表す符号(L)を入力し、パラメータ決定部83から適応音源ベクトルを表す符号(A)、固定音源ベクトルを表す符号(F)および量子化利得を表す符号(G)を入力し、これらの情報を多重化して基本レイヤ情報源符号として出力する。   The multiplexing unit 84 receives the code (L) representing the quantized LPC from the LPC quantizing unit 73, the code (A) representing the adaptive excitation vector, the code (F) representing the fixed excitation vector, and the parameter determining unit 83. A code (G) representing the quantization gain is input, and the information is multiplexed and output as a base layer information source code.

なお、図6の第1拡張レイヤ符号化部55および第2拡張レイヤ符号化部58の内部構成は、基本レイヤ符号化部52と同一であり、入力される信号の種類および出力される情報源符号の種類のみが異なるので、その説明は省略する。   Note that the internal configurations of the first enhancement layer encoding unit 55 and the second enhancement layer encoding unit 58 in FIG. 6 are the same as those of the base layer encoding unit 52, and the type of input signal and the output information source Since only the type of code is different, the description thereof is omitted.

次に、図6の基本レイヤ復号化部53の内部構成について、図9を用いて説明する。ここでは、基本レイヤ復号化部53において、CELPタイプの音声復号化を行う場合について説明する。   Next, the internal configuration of base layer decoding section 53 in FIG. 6 will be described using FIG. Here, the case where the base layer decoding unit 53 performs CELP type speech decoding will be described.

図9において、基本レイヤ復号化部53に入力された基本レイヤ情報源符号は、多重化分離部91によって個々の符号(L、A、G、F)に分離される。分離されたLPC符号(L)はLPC復号化部92に出力され、分離された適応音源ベクトル符号(A)は適応音源符号帳95に出力され、分離された音源利得符号(G)は量子化利得生成部96に出力され、分離された固定音源ベクトル符号(F)は固定音源符号帳97に出力される。   In FIG. 9, the base layer information source code input to the base layer decoding unit 53 is separated into individual codes (L, A, G, F) by the multiplexing / separating unit 91. The separated LPC code (L) is output to the LPC decoding unit 92, the separated adaptive excitation vector code (A) is output to the adaptive excitation codebook 95, and the separated excitation gain code (G) is quantized. The fixed excitation vector code (F) output to the gain generation unit 96 and separated is output to the fixed excitation codebook 97.

LPC復号化部92は、多重化分離部91から出力された符号(L)から量子化LPCを復号化し、合成フィルタ93に出力する。   The LPC decoding unit 92 decodes the quantized LPC from the code (L) output from the demultiplexing unit 91 and outputs the decoded LPC to the synthesis filter 93.

適応音源符号帳95は、多重化分離部91から出力された符号(A)で指定される過去の駆動音源から1フレーム分のサンプルを適応音源ベクトルとして取り出して乗算部98に出力する。   The adaptive excitation codebook 95 extracts a sample for one frame from the past driving excitation designated by the code (A) output from the demultiplexing unit 91 as an adaptive excitation vector and outputs it to the multiplication unit 98.

量子化利得生成部96は、多重化分離部91から出力された音源利得符号(G)で指定される量子化適応音源利得と量子化固定音源利得を復号化し、乗算部98および乗算部99に出力する。   The quantization gain generating unit 96 decodes the quantized adaptive excitation gain and the quantized fixed excitation gain specified by the excitation gain code (G) output from the multiplexing / separating unit 91, and sends them to the multiplying unit 98 and the multiplying unit 99. Output.

固定音源符号帳97は、多重化分離部91から出力された符号(F)で指定される固定音源ベクトルを生成し、乗算部99に出力する。   The fixed excitation codebook 97 generates a fixed excitation vector specified by the code (F) output from the demultiplexing unit 91 and outputs the fixed excitation vector to the multiplication unit 99.

乗算部98は、適応音源ベクトルに量子化適応音源利得を乗算して、加算部100に出力する。乗算部99は、固定音源ベクトルに量子化固定音源利得を乗算して、加算部100に出力する。   Multiplier 98 multiplies the adaptive excitation vector by the quantized adaptive excitation gain and outputs the result to adder 100. Multiplier 99 multiplies the fixed excitation vector by the quantized fixed excitation gain and outputs the result to adder 100.

加算部100は、乗算部98および乗算部99から出力された利得乗算後の適応音源ベクトルと固定音源ベクトルとの加算を行い、駆動音源を生成し、これを合成フィルタ93および適応音源符号帳95に出力する。   The adding unit 100 adds the adaptive excitation vector after gain multiplication and the fixed excitation vector output from the multiplying unit 98 and the multiplying unit 99, generates a driving excitation, and generates a synthesis excitation 93 and an adaptive excitation codebook 95. Output to.

合成フィルタ93は、LPC復号化部92によって復号化されたフィルタ係数を用いて、加算部100から出力された駆動音源のフィルタ合成を行い、合成した信号を後処理部94に出力する。   The synthesis filter 93 performs filter synthesis of the driving sound source output from the addition unit 100 using the filter coefficient decoded by the LPC decoding unit 92, and outputs the synthesized signal to the post-processing unit 94.

後処理部94は、合成フィルタ93から出力された信号に対して、ホルマント強調やピッチ強調といったような音声の主観的な品質を改善する処理や、定常雑音の主観的品質を改善する処理などを施し、基本レイヤ復号化信号として出力する。   The post-processing unit 94 performs, for the signal output from the synthesis filter 93, processing for improving the subjective quality of speech, such as formant enhancement and pitch enhancement, and processing for improving the subjective quality of stationary noise. And output as a base layer decoded signal.

なお、図6の第1拡張レイヤ復号化部56の内部構成は、基本レイヤ復号化部53の内部構成と同一であり、入力される情報源符号の種類および出力される信号の種類のみが異なるので、その説明は省略する。   The internal configuration of first enhancement layer decoding unit 56 in FIG. 6 is the same as the internal configuration of base layer decoding unit 53, and only the type of input information source code and the type of output signal are different. Therefore, the description is omitted.

次に、図5の復号化部43の構成について、図10を用いて説明する。   Next, the configuration of the decoding unit 43 in FIG. 5 will be described with reference to FIG.

復号化部43は、各レイヤの情報源符号と伝送モード情報を入力し、制御スイッチ117a、117bを制御するとともに、各レイヤに対応する情報源符号を出力する復号化動作制御部111、基本レイヤ情報源符号を復号化する基本レイヤ復号化部112、第1拡張レイヤ情報源符号を復号化する第1拡張レイヤ復号化部113、第2拡張レイヤ情報源符号を復号化する第2拡張レイヤ復号化部114、制御スイッチ117a、117bの状態に応じて第1拡張レイヤ復号化信号と第2拡張レイヤ復号化信号とを加算する加算部115、制御スイッチ117aの状態に応じて基本レイヤ復号化信号と加算部115から出力された加算信号とを加算する加算部116および制御スイッチ117a、117bを備えている。   The decoding unit 43 receives the information source code and transmission mode information of each layer, controls the control switches 117a and 117b, and outputs the information source code corresponding to each layer. Base layer decoding section 112 that decodes the information source code, first enhancement layer decoding section 113 that decodes the first enhancement layer information source code, and second enhancement layer decoding that decodes the second enhancement layer information source code Unit 114, addition unit 115 that adds the first enhancement layer decoded signal and the second enhancement layer decoded signal according to the states of control switches 117a and 117b, and the base layer decoded signal according to the state of control switch 117a And an addition signal output from the addition unit 115, and an addition unit 116 and control switches 117a and 117b.

復号化動作制御部111は、符号化情報分離部41から各レイヤの情報源符号を入力し、制御情報分離部42から伝送モード情報を入力する。復号化動作制御部111は、得られた伝送モード情報に応じて制御スイッチ117aおよび制御スイッチ117bのオン/オフ状態を制御し、また、基本レイヤ復号化部112、第1拡張レイヤ復号化部113、第2拡張レイヤ復号化部114に、それぞれ各レイヤに対応する情報源符号を出力する。   The decoding operation control unit 111 inputs the information source code of each layer from the encoded information separation unit 41 and inputs transmission mode information from the control information separation unit 42. The decoding operation control unit 111 controls the on / off states of the control switch 117a and the control switch 117b according to the obtained transmission mode information, and also includes the base layer decoding unit 112 and the first enhancement layer decoding unit 113. The information source code corresponding to each layer is output to second enhancement layer decoding section 114.

具体的には、復号化動作制御部111は、伝送モード情報がbitrate3である場合は、制御スイッチ117a、117bをオン状態にし、基本レイヤ情報源符号を基本レイヤ復号化部112に、第1拡張レイヤ情報源符号を第1拡張レイヤ復号化部113に、第2拡張レイヤ情報源符号を第2拡張レイヤ復号化部114に、それぞれ出力する。   Specifically, when the transmission mode information is bitrate3, the decoding operation control unit 111 turns on the control switches 117a and 117b and sends the base layer information source code to the base layer decoding unit 112 in the first extension. The layer information source code is output to first enhancement layer decoding section 113, and the second enhancement layer information source code is output to second enhancement layer decoding section 114.

また、復号化動作制御部111は、伝送モード情報がbitrate2である場合は、制御スイッチ117aをオン状態にし、制御スイッチ117bをオフ状態にし、基本レイヤ情報源符号を基本レイヤ復号化部112に、第1拡張レイヤ情報源符号を第1拡張レイヤ復号化部113に、それぞれ出力する。またこのとき、復号化動作制御部111は、第2拡張レイヤ復号化部114には何も出力しない。   Also, when the transmission mode information is bitrate2, the decoding operation control unit 111 turns the control switch 117a on, turns the control switch 117b off, and sends the base layer information source code to the base layer decoding unit 112. The first enhancement layer information source code is output to first enhancement layer decoding section 113. At this time, the decoding operation control unit 111 outputs nothing to the second enhancement layer decoding unit 114.

また、復号化動作制御部111は、伝送モード情報がbitrate1である場合は、制御スイッチ117aおよび117bをオフ状態にし、基本レイヤ情報源符号を基本レイヤ復号化部112に出力する。またこのとき、復号化動作制御部111は、第1拡張レイヤ復号化部113および第2拡張レイヤ復号化部114には何も出力しない。   Also, when the transmission mode information is bitrate1, the decoding operation control unit 111 turns off the control switches 117a and 117b and outputs the base layer information source code to the base layer decoding unit 112. At this time, the decoding operation control unit 111 outputs nothing to the first enhancement layer decoding unit 113 and the second enhancement layer decoding unit 114.

基本レイヤ復号化部112は、復号化動作制御部111から基本レイヤ情報源符号を入力し、これをCELPタイプの音声復号化方法により復号化した後、得られた復号化信号を基本レイヤ復号化信号として、加算部116に出力する。   The base layer decoding unit 112 receives the base layer information source code from the decoding operation control unit 111, decodes this using the CELP type speech decoding method, and then performs base layer decoding on the obtained decoded signal The signal is output to the adding unit 116 as a signal.

第1拡張レイヤ復号化部113は、制御スイッチ117aがオン状態である場合、復号化動作制御部111から第1拡張レイヤ情報源符号を入力し、これをCELPタイプの音声復号化方法により復号化した後、得られた復号化信号を第1拡張レイヤ復号化信号として、加算部115に出力する。第1拡張レイヤ復号化部113は、制御スイッチ117aがオフ状態である場合、何も動作しない。   When the control switch 117a is in the on state, the first enhancement layer decoding unit 113 receives the first enhancement layer information source code from the decoding operation control unit 111, and decodes this by the CELP type speech decoding method. Then, the obtained decoded signal is output to addition section 115 as a first enhancement layer decoded signal. The first enhancement layer decoding unit 113 does not operate when the control switch 117a is in the off state.

第2拡張レイヤ復号化部114は、制御スイッチ117bがオン状態である場合、復号化動作制御部111から第2拡張レイヤ情報源符号を入力し、これをCELPタイプの音声復号化方法により復号化した後、得られた復号化信号を第2拡張レイヤ復号化信号として、加算部115に出力する。第2拡張レイヤ復号化部114は、制御スイッチ117bがオフ状態である場合、何も動作しない。   When the control switch 117b is in the on state, the second enhancement layer decoding unit 114 receives the second enhancement layer information source code from the decoding operation control unit 111, and decodes this using the CELP type speech decoding method. Then, the obtained decoded signal is output to addition section 115 as a second enhancement layer decoded signal. The second enhancement layer decoding unit 114 does not operate when the control switch 117b is in an off state.

加算部115は、制御スイッチ117aおよび制御スイッチ117bが共にオン状態である場合、第1拡張レイヤ復号化部113から第1拡張レイヤ復号化信号を入力し、また第2拡張レイヤ復号化部114から第2拡張レイヤ復号化信号を入力し、これらを加算し、加算された信号を加算信号として、加算部116に出力する。   When both the control switch 117a and the control switch 117b are in the on state, the adding unit 115 receives the first enhancement layer decoded signal from the first enhancement layer decoding unit 113, and also receives the first enhancement layer decoding unit 114 from the second enhancement layer decoding unit 114 The second enhancement layer decoded signal is input, these are added, and the added signal is output to addition section 116 as an added signal.

また、加算部115は、制御スイッチ117aがオン状態であり、制御スイッチ117bがオフ状態である場合、第1拡張レイヤ復号化部113から第1拡張レイヤ復号化信号を入力し、これをそのまま加算信号として加算部116に出力する。また、加算部115は、制御スイッチ117aおよび制御スイッチ117bが共にオフ状態である場合、何も動作しない。   Further, when the control switch 117a is in the on state and the control switch 117b is in the off state, the adding unit 115 inputs the first enhancement layer decoded signal from the first enhancement layer decoding unit 113 and adds it as it is The signal is output to the adder 116 as a signal. Adder 115 does not operate when both control switch 117a and control switch 117b are off.

加算部116は、制御スイッチ117aがオン状態である場合は、基本レイヤ復号化部112から基本レイヤ復号化信号を入力し、また加算部115から加算信号を入力し、これらの信号を加算した後、これを出力信号として出力する。また、加算部116は、制御スイッチ117aがオフ状態である場合は、基本レイヤ復号化部112から基本レイヤ復号化信号を入力し、これを出力信号として出力する。   When the control switch 117a is in the ON state, the adding unit 116 inputs the base layer decoded signal from the base layer decoding unit 112, inputs the addition signal from the adding unit 115, and adds these signals. This is output as an output signal. Further, when the control switch 117a is in the OFF state, the adding unit 116 receives the base layer decoded signal from the base layer decoding unit 112 and outputs this as an output signal.

なお、中継装置22において通常の音声信号に加え、広告用など補助的な音声信号が付加された場合、復号化部43では、送信された符号化情報中の音声情報付加フラグの値に基づき、通常の音声信号と付加された音声信号とを別々に復号化した後、それらを加算して出力する。この付加音声情報の復号化方法に関しては、特願2004−220867に詳しく開示されている。   When an auxiliary audio signal such as an advertisement is added to the relay device 22 in addition to the normal audio signal, the decoding unit 43 uses the value of the audio information addition flag in the transmitted encoded information based on the value of the audio information addition flag. After the normal audio signal and the added audio signal are decoded separately, they are added and output. This decoding method of additional audio information is disclosed in detail in Japanese Patent Application No. 2004-220867.

このように、本実施の形態によれば、スケーラブル符号化技術を用いて音声・楽音信号等を伝送している中継装置22を含めた通信システムにおいて、電波状況あるいは回線使用率等の回線状況が変動した場合に対して、各端末装置10A〜10Nに割り当てられた優先度に基づいて、送受信する符号化情報の階層を適切に制御する。これにより、現時点での各端末装置10A〜10Nの状態に応じた快適な通信環境を提供することができる。また、回線使用率が許容値を超えた場合に対しても、その時点で通信を行っている端末装置10に対して送受信する符号化情報の階層を適切に制御することで、別の新たな端末装置10の回線接続要求を受け入れることも可能となる。なお、各端末装置10A〜10Nに対し優先度を設け、優先度の高い端末装置10に対しては高い伝送ビットレート(多くの階層)で通信を行い、優先度の低い端末装置10に対しては低いビットレート(少ない階層)で通信を行い、場合によっては広告用の音声を通常の音声信号と同時に伝送し復号化するという枠組みにより、ユーザを差別化することができ、より適切な、かつ柔軟なサービスを提供することが可能となる。   As described above, according to the present embodiment, in a communication system including the relay device 22 that transmits a voice / musical sound signal or the like by using a scalable coding technique, a radio wave condition or a line condition such as a line usage rate is present. In the case of fluctuation, the hierarchy of encoded information to be transmitted and received is appropriately controlled based on the priority assigned to each of the terminal devices 10A to 10N. Thereby, the comfortable communication environment according to the state of each terminal device 10A-10N at the present time can be provided. In addition, even when the line usage rate exceeds the allowable value, another layer is newly created by appropriately controlling the hierarchy of the encoded information to be transmitted to and received from the terminal device 10 performing communication at that time. It is also possible to accept a line connection request from the terminal device 10. In addition, a priority is provided for each of the terminal devices 10A to 10N, communication is performed at a high transmission bit rate (many layers) for the terminal device 10 having a high priority, and the terminal device 10 having a low priority is performed. Communicates at a low bit rate (low hierarchy), and in some cases, the advertising voice can be transmitted and decoded simultaneously with the normal voice signal to differentiate users, more appropriate, and It becomes possible to provide a flexible service.

また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化/復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する場合について適用することができる。   Further, the present invention does not limit the hierarchy, and in the hierarchical signal encoding / decoding method composed of a plurality of hierarchies, the residual signal, which is the difference between the input signal and the output signal in the lower layer, is assigned to the upper layer. This can be applied to the case of encoding in layers.

また、本実施の形態の図2および図5に示した構成を、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても本発明は適用することができ、本実施の形態と同様の作用効果を得ることができる。   The present invention also applies to the case where the configuration shown in FIGS. 2 and 5 of the present embodiment is recorded and written on a machine-readable recording medium such as a memory, a disk, a tape, a CD, a DVD, and the like. Can be applied, and the same effect as this embodiment can be obtained.

(第2の実施の形態)
上記第1の実施の形態では、サービスを提供する側が、通信端末にそれぞれ優先度を与え、電波状況が悪化したり回線使用率が増加した場合には、優先度の高い通信端末装置に優先的に符号化情報の階層を割り当てるという形態を説明した。これに加え、上記のように各通信端末に優先度を設けず、回線状況が変動した場合には、通信している全通信端末がそれぞれ符号化情報の階層数を平均して分け合うような制御を行う中継装置を含むシステムも考えられる。
(Second Embodiment)
In the first embodiment, the service providing side gives priority to each communication terminal, and when the radio wave condition deteriorates or the line usage rate increases, the service providing side gives priority to the communication terminal device with higher priority. The form of assigning a hierarchy of encoding information to the above has been described. In addition to this, as described above, priority is not provided to each communication terminal, and when the line status fluctuates, control is performed so that all communicating communication terminals share the average number of encoded information layers. A system including a relay device that performs the above is also conceivable.

そこで、本実施の形態では、上述したように、回線状況が変動(悪化)した場合に、全通信端末の通信料が平滑化される場合の通信システムについて説明する。   Therefore, in the present embodiment, as described above, a communication system in which the communication charges of all communication terminals are smoothed when the line status fluctuates (deteriorates) will be described.

本実施の形態に係る中継装置および端末装置を含むシステム構成は、図1と同一であるため説明は省略する。   Since the system configuration including the relay device and the terminal device according to the present embodiment is the same as that shown in FIG.

図1中の中継装置22の内部構成は、端末情報送受信部34、階層割当部33以外は上述した図2の構成要素と同一であるため説明は省略する。   The internal configuration of the relay device 22 in FIG. 1 is the same as the components in FIG. 2 described above, except for the terminal information transmission / reception unit 34 and the hierarchy allocation unit 33, and thus description thereof is omitted.

本実施の形態における端末情報送受信部34は、伝送路23を介して管理センターから、中継装置22が送信する対象である端末装置10A〜10Nに対するグループ情報を入力し、これを階層割当部33に出力する。ここで、端末装置10A〜10Nに対するグループ情報とは、端末装置が受けている通信サービス、あるいは端末装置自体の性能により定められるグループを示し、多くの情報量(階層)を送受信する順に、group1、group2、group3、group4、...と表記することとする。また、端末情報送受信部34は、送信元の通信端末側の中継装置から送信される送信元通信端末に対する階層情報(送信元端末階層情報)を入力し、これを階層割当部33に出力する。また、端末情報送受信部34は、階層割当部33から、各端末装置10A〜10Nに対して送信する階層数(情報量)に関する情報を入力し、これを伝送路23を介して管理センターおよび通信相手側の中継装置に出力する。   The terminal information transmission / reception unit 34 in the present embodiment inputs group information for the terminal devices 10 </ b> A to 10 </ b> N to be transmitted by the relay device 22 from the management center via the transmission path 23, and inputs this to the tier allocation unit 33. Output. Here, the group information for the terminal devices 10A to 10N indicates a group determined by the communication service received by the terminal device or the performance of the terminal device itself, and in order of transmitting and receiving a large amount of information (hierarchy), group1, It will be written as group2, group3, group4, .... Further, the terminal information transmitting / receiving unit 34 inputs hierarchical information (transmission source terminal hierarchical information) for the transmission source communication terminal transmitted from the relay apparatus on the transmission source communication terminal side, and outputs this to the hierarchy allocation unit 33. Further, the terminal information transmitting / receiving unit 34 inputs information on the number of layers (information amount) to be transmitted to each of the terminal devices 10A to 10N from the layer allocation unit 33, and this is input to the management center and the communication via the transmission path 23. Output to the other relay device.

階層割当部33は、伝送誤り率検出部31から伝送誤り率を入力し、また回線使用率検出部32から回線使用率を入力し、また端末情報送受信部34からグループ情報および送信元端末階層情報を入力し、これらの情報に基づいて、さらに伝送誤り訂正用符号長も考慮した上で、各端末装置10A〜10Nに対して中継装置22が送信する符号化情報に含まれる情報源符号の階層数(レイヤ数)を決定し、これを階層割当情報として伝送誤り率、回線使用率および送信元端末階層情報とともに、再構成処理部37に出力する(ここでは、伝送誤り率および回線使用率のうち、階層数の決定に利用した情報のみを再構成処理部37に出力するものとする)。   Hierarchy allocating unit 33 receives a transmission error rate from transmission error rate detecting unit 31, receives a line usage rate from line usage rate detecting unit 32, and receives group information and source terminal hierarchical information from terminal information transmitting / receiving unit 34. Of the information source code included in the encoded information transmitted by the relay device 22 to each of the terminal devices 10A to 10N, further considering the transmission error correction code length based on these pieces of information. The number of layers (number of layers) is determined, and is output to the reconfiguration processing unit 37 together with the transmission error rate, the line usage rate, and the transmission source terminal layer information as the hierarchy allocation information (here, the transmission error rate and the line usage rate) Of these, only the information used to determine the number of layers is output to the reconstruction processing unit 37).

また、階層割当部33は、各端末装置10A〜10Nに対して送信する階層数(情報量)が決定した後に、その情報を端末情報送受信部34に出力する。また、階層割当部33は、各端末装置10A〜10Nに対して広告用などの補助的音声信号を割り当てる結果になった場合、音声情報格納部35に、格納されている音声情報を再構成処理部37に出力するように制御信号を送る。具体的な処理概要を以下に説明する。   Further, the tier allocation unit 33 outputs the information to the terminal information transmission / reception unit 34 after the number of tiers (information amount) to be transmitted to each of the terminal devices 10A to 10N is determined. In addition, when the hierarchical allocation unit 33 results in the allocation of auxiliary audio signals for advertisement or the like to the terminal devices 10A to 10N, the hierarchical allocation unit 33 reconstructs the audio information stored in the audio information storage unit 35. A control signal is sent to the unit 37 for output. A specific processing outline will be described below.

中継装置22は、伝送誤り率が変動した場合(特に伝送誤り率が増加した場合を例にとる)、通話品質を維持するため、各端末装置10A〜10Nに伝送する符号化情報中により多くの伝送誤り訂正用符号を挿入する(伝送誤り訂正用符号を追加する処理は後述する再構成処理部37で行う)。また、この時、各端末装置10A〜10Nに伝送する情報量全体を増加させないために、各端末装置10A〜10Nに伝送する符号化情報中の音声信号用符号の割合を少なくするが、階層割当部33は、端末情報送受信部34から得られるグループ情報を考慮し、その時点で既に多くの階層数(情報量)が割り当てられている端末装置10に対して優先的に符号化情報の階層を削減し、各端末装置10A〜10Nに割り当てられる階層数が平均化されるように階層を割り当てる。   When the transmission error rate fluctuates (especially when the transmission error rate increases), the relay device 22 increases the amount of encoded information transmitted to each of the terminal devices 10A to 10N in order to maintain the call quality. A transmission error correction code is inserted (a process for adding a transmission error correction code is performed by a reconstruction processing unit 37 described later). At this time, in order not to increase the total amount of information transmitted to each terminal apparatus 10A to 10N, the ratio of the audio signal code in the encoded information transmitted to each terminal apparatus 10A to 10N is reduced. The unit 33 considers the group information obtained from the terminal information transmission / reception unit 34, and preferentially assigns a layer of encoded information to the terminal device 10 to which a large number of layers (information amount) has already been assigned at that time. The layers are allocated so that the number of layers allocated to each of the terminal devices 10A to 10N is averaged.

図11に、階層割当部33による各端末装置10A〜10Nに対する階層数の制御例を示す。なお、中継装置22は、伝送誤り率が減少した場合には、伝送誤り率が増加した場合の制御とは全く逆の制御を行うものとする。   In FIG. 11, the example of control of the number of layers with respect to each terminal device 10A-10N by the hierarchy allocation part 33 is shown. Note that, when the transmission error rate decreases, the relay device 22 performs control completely opposite to the control when the transmission error rate increases.

図中の数字は、伝送誤り率と各端末装置10A〜10Nのグループ情報に基づいて中継装置22から各端末装置10A〜10Nに伝送される符号化情報のうちの音声信号用符号に割り当てられる階層数を示している。また、()内の数値は、伝送誤り率が増加したことによる品質低下を防ぐために、各端末装置10A〜10Nに送信する符号化情報に新たに付加する伝送誤り訂正用符号に使用する情報量分の階層数を意味する。また、表中のCMという表記は、音声情報格納部35に格納されている音声情報(ここでは主に広告用音声信号とする)を通常の音声信号に加えて伝送するということを意味し、付加する音声情報には通常の1階層分の情報量を割り当てるものとする。階層割当部33は、同図を元に、各端末装置10A〜10Nに割り当てられる階層数を決定し、これを階層割当情報として再構成処理部37に出力する。   The numbers in the figure are layers assigned to speech signal codes in the encoded information transmitted from the relay device 22 to the terminal devices 10A to 10N based on the transmission error rate and the group information of the terminal devices 10A to 10N. Shows the number. The numerical value in parentheses indicates the amount of information used for a transmission error correction code newly added to the encoded information transmitted to each of the terminal apparatuses 10A to 10N in order to prevent quality degradation due to an increase in the transmission error rate. This means the number of minutes. In addition, the notation CM in the table means that the audio information stored in the audio information storage unit 35 (here, mainly the advertising audio signal) is transmitted in addition to the normal audio signal, The audio information to be added is assigned a normal information amount for one layer. Based on the figure, the tier allocation unit 33 determines the number of tiers allocated to each of the terminal devices 10A to 10N, and outputs this to the reconfiguration processing unit 37 as tier allocation information.

また、中継装置22は、回線使用率が変動した場合(特に回線使用率が増加した場合を例にとる)、緊急事態に備えたり、新たに新規利用者を回線に接続可能な状態にするために、現在接続中の端末装置10に伝送する符号化情報の情報量を削減する。この時、階層割当部33は、端末情報送受信部34から得られるグループ情報を考慮し、その時点で既に多くの階層数(情報量)が割り当てられている端末装置10に対して優先的に符号化情報の階層を削減し、各端末装置10A〜10Nに割り当てられる階層数が平均されるように階層を割り当てる。   In addition, the relay device 22 prepares for an emergency situation or makes a new user connectable to the line when the line usage rate fluctuates (especially when the line usage rate increases). In addition, the amount of encoded information transmitted to the currently connected terminal apparatus 10 is reduced. At this time, the hierarchy allocation unit 33 considers the group information obtained from the terminal information transmission / reception unit 34 and preferentially codes the terminal device 10 to which a large number of layers (information amount) has already been allocated at that time. The number of hierarchization information is reduced, and the hierarchies are assigned so that the number of hierarchies assigned to the terminal apparatuses 10A to 10N is averaged.

図12に、階層割当部33による各端末装置10A〜10Nに対する階層数の制御例を示す。なお、中継装置22は、回線使用率が減少した場合には、回線使用率が増加した場合の制御とは全く逆の制御を行うものとする。   In FIG. 12, the example of control of the number of layers with respect to each terminal device 10A-10N by the hierarchy allocation part 33 is shown. In addition, when the line usage rate decreases, the relay device 22 performs control completely opposite to the control when the line usage rate increases.

図中の数字は、回線使用率と各端末装置10A〜10Nのグループ情報に基づいて中継装置22から各端末装置10A〜10Nに伝送される符号化情報のうちの音声信号用符号に割り当てられる階層数を示している。また、表中のCMという表記は、音声情報格納部35に格納されている音声情報(ここでは主に広告用音声信号とする)を通常の音声信号に加えて伝送するということを意味し、付加する音声情報には通常の1階層分の情報量を割り当てるものとする。階層割当部33は、同図を元に、各端末装置10A〜10Nに割り当てられる階層数を決定し、これを階層割当情報として再構成処理部37に出力する。   The numbers in the figure are layers assigned to speech signal codes in the encoded information transmitted from the relay device 22 to the terminal devices 10A to 10N based on the line usage rate and the group information of the terminal devices 10A to 10N. Shows the number. In addition, the notation CM in the table means that the audio information stored in the audio information storage unit 35 (here, mainly the advertising audio signal) is transmitted in addition to the normal audio signal, The audio information to be added is assigned a normal information amount for one layer. Based on the figure, the tier allocation unit 33 determines the number of tiers allocated to each of the terminal devices 10A to 10N, and outputs this to the reconfiguration processing unit 37 as tier allocation information.

なお、上述した説明では、階層割当部33は、伝送誤り率および回線使用率のどちらか一方と端末装置の優先度情報から、各端末装置10A〜10Nに割り当てる階層数を決定しているが、決定方法はこれに限らず、伝送誤り率および回線使用率の両方に基づいて各端末装置10A〜10Nに割り当てる階層数を決定してもよいものとする。   In the above description, the tier allocation unit 33 determines the number of tiers to be allocated to each of the terminal devices 10A to 10N from either the transmission error rate or the line usage rate and the priority information of the terminal device. The determination method is not limited to this, and the number of hierarchies to be allocated to the terminal apparatuses 10A to 10N may be determined based on both the transmission error rate and the line usage rate.

端末装置10A〜端末装置10Nの内部構成の説明に関しては、第1の実施の形態で説明したものと同一であるためここでは省略する。   The description of the internal configuration of the terminal device 10A to the terminal device 10N is the same as that described in the first embodiment, and is omitted here.

このように、本実施の形態によれば、スケーラブル符号化技術を用いて音声・楽音信号等を伝送している中継装置22を含めた通信システムにおいて、電波状況あるいは回線使用率等の回線状況が変動した場合に対して、端末装置に割り当てられたグループ情報に基づいて、各端末装置10A〜10Nに対して送受信する符号化情報の階層を、全端末装置に割り当てる階層数を可能な限り平均化するように適切に制御する。これにより、各通信端末10A〜10Nに応じた快適な通信環境を提供することができる。また、回線使用率が許容値を超えた場合に対しても、その時点で通信を行っている端末装置10に対して送受信する符号化情報の階層を適切に制御することで、別の新たな端末装置10の回線接続要求を受け入れることも可能となる。   As described above, according to the present embodiment, in a communication system including the relay device 22 that transmits a voice / musical sound signal or the like by using a scalable coding technique, a radio wave condition or a line condition such as a line usage rate is present. In the case of fluctuation, based on the group information assigned to the terminal device, the hierarchy of the encoded information transmitted / received to / from each of the terminal devices 10A to 10N is averaged as much as possible. Control appropriately. Thereby, the comfortable communication environment according to each communication terminal 10A-10N can be provided. In addition, even when the line usage rate exceeds the allowable value, another layer is newly created by appropriately controlling the hierarchy of the encoded information to be transmitted to and received from the terminal device 10 performing communication at that time. It is also possible to accept a line connection request from the terminal device 10.

また、本発明は階層を限定するものではなく、複数階層で構成された階層的な信号符号化/復号化方法において、下位レイヤでの入力信号と出力信号との差である残差信号を上位レイヤで符号化する場合について適用することができる。   Further, the present invention does not limit the hierarchy, and in the hierarchical signal encoding / decoding method composed of a plurality of hierarchies, the residual signal, which is the difference between the input signal and the output signal in the lower layer, is assigned to the upper layer. This can be applied to the case of encoding in layers.

また、本実施の形態の図5に示した構成を、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても本発明は適用することができ、本実施の形態と同様の作用・効果を得ることができる。   The present invention also applies to the case where the configuration shown in FIG. 5 of the present embodiment is recorded and written on a machine-readable recording medium such as a memory, a disk, a tape, a CD, a DVD, and the like. Therefore, the same actions and effects as those of the present embodiment can be obtained.

以上のように、本発明にかかる中継装置は、回線使用率や電波状況などの回線状況が変動した場合、各通信端末に対して送受信する符号化情報の階層を適切に制御することができ、各通信端末装置に応じた快適な通信環境を提供することができるという効果を有し、信号を符号化して伝送する通信システムに用いられる中継装置および端末装置等として有用である。   As described above, the relay device according to the present invention can appropriately control the hierarchy of encoded information transmitted to and received from each communication terminal when the line status such as the line usage rate and the radio wave status fluctuates. It has the effect of providing a comfortable communication environment according to each communication terminal device, and is useful as a relay device and a terminal device used in a communication system that encodes and transmits a signal.

本発明の第1の実施の形態における通信システムの構成を示すブロック図The block diagram which shows the structure of the communication system in the 1st Embodiment of this invention. 中継装置の内部構成を示すブロック図Block diagram showing the internal configuration of the relay device 階層割当部による伝送誤り率と優先度に応じて割り当てられる階層数を示す対応表Correspondence table indicating the number of layers allocated according to the transmission error rate and priority by the layer allocation unit 階層割当部による回線使用率と優先度に応じて割り当てられる階層数を示す対応表Correspondence table showing the number of hierarchies allocated according to the line usage rate and priority by the hierarchy allocation unit 端末装置の内部構成を示すブロック図Block diagram showing internal configuration of terminal device 端末装置内の符号化部の内部構成を示すブロック図The block diagram which shows the internal structure of the encoding part in a terminal device 端末装置および中継装置から伝送される符号化情報のデータ構造図Data structure diagram of encoded information transmitted from terminal device and relay device 符号化部の基本レイヤ符号化部の内部構成を示すブロック図The block diagram which shows the internal structure of the base layer encoding part of an encoding part. 符号化部の基本レイヤ復号化部の内部構成を示すブロック図The block diagram which shows the internal structure of the base layer decoding part of an encoding part. 端末装置内の復号化部の内部構成を示すブロック図The block diagram which shows the internal structure of the decoding part in a terminal device 階層割当部による伝送誤り率とグループに応じて割り当てられる階層数を示す対応表Correspondence table showing the transmission error rate by the layer allocation unit and the number of layers allocated according to the group 階層割当部による回線使用率とグループに応じて割り当てられる階層数を示す対応表Correspondence table showing the line usage rate by the hierarchy allocation unit and the number of hierarchies allocated according to groups

符号の説明Explanation of symbols

10A〜10N 端末装置
21 伝送路
22 中継装置
23 伝送路
24 中継装置群
31 伝送誤り率検出部
32 回線使用率検出部
33 階層割当部
34 端末情報送受信部(端末装置情報受信手段)
35 音声情報格納部
36 符号化情報受信部(受信手段)
37 再構成処理部(再構成処理手段)
38 符号化情報送信部(送信手段)
41 符号化情報分離部(受信手段)
42 制御情報分離部
43 復号化部(復号化手段)
44 符号化部(符号化手段)
45 符号化情報統合部(送信手段、端末装置情報送信手段)
51 符号化動作制御部
52 基本レイヤ符号化部
53 基本レイヤ復号化部
54 加算部
55 第1拡張レイヤ符号化部
56 第1拡張レイヤ復号化部
57 加算部
58 第2拡張レイヤ符号化部
59a、59b、59c、59d 制御スイッチ
71 前処理部
72 LPC分析部
73 LPC量子化部
74 合成フィルタ
75 加算部
76 適応音源符号帳
77 量子化利得生成部
78 固定音源符号帳
79 乗算部
80 乗算部
81 加算部
82 聴覚重み付け部
83 パラメータ決定部
84 多重化部
91 多重化分離部
92 LPC復号化部
93 合成フィルタ
94 後処理部
95 適応音源符号帳
96 量子化利得生成部
97 固定音源符号帳
98 乗算部
99 乗算部
100 加算部
111 復号化動作制御部
112 基本レイヤ復号化部
113 第1拡張レイヤ復号化部
114 第2拡張レイヤ復号化部
115 加算部
116 加算部
117a、117b 制御スイッチ
10A to 10N Terminal device 21 Transmission path 22 Relay device 23 Transmission path 24 Relay device group 31 Transmission error rate detection unit 32 Line usage rate detection unit 33 Hierarchy allocation unit 34 Terminal information transmission / reception unit (terminal device information reception means)
35 Audio information storage unit 36 Encoded information receiving unit (receiving means)
37 Reconfiguration processing unit (reconfiguration processing means)
38 Encoded information transmission unit (transmission means)
41 Encoded information separating unit (receiving means)
42 Control Information Separation Unit 43 Decoding Unit (Decoding Unit)
44 Encoding unit (encoding means)
45 Encoding information integration unit (transmission means, terminal device information transmission means)
51 Coding Operation Control Unit 52 Base Layer Coding Unit 53 Base Layer Decoding Unit 54 Addition Unit 55 First Enhancement Layer Encoding Unit 56 First Enhancement Layer Decoding Unit 57 Addition Unit 58 Second Enhancement Layer Encoding Unit 59a, 59b, 59c, 59d Control switch 71 Preprocessing unit 72 LPC analysis unit 73 LPC quantization unit 74 Synthesis filter 75 Addition unit 76 Adaptive excitation codebook 77 Quantization gain generation unit 78 Fixed excitation codebook 79 Multiplication unit 80 Multiplication unit 81 Addition Unit 82 auditory weighting unit 83 parameter determining unit 84 multiplexing unit 91 demultiplexing unit 92 LPC decoding unit 93 synthesis filter 94 post-processing unit 95 adaptive excitation codebook 96 quantization gain generation unit 97 fixed excitation codebook 98 multiplication unit 99 Multiplication unit 100 Addition unit 111 Decoding operation control unit 112 Base layer decoding unit 113 First extension Layer decoding unit 114 Second enhancement layer decoding unit 115 Adder 116 Adder 117a, 117b Control switch

Claims (11)

スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手段と、
回線状況の変化に応じて各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理手段と、
前記再構成処理手段において再構成された符号化情報を送信する送信手段とを備えたことを特徴とする中継装置。
Receiving means for receiving encoded information composed of a plurality of layers by scalable encoding;
Reconfiguration processing means for adjusting and reconfiguring the number of layers of encoded information to be transmitted to each terminal device in accordance with changes in the line status;
A relay apparatus comprising: transmission means for transmitting encoded information reconstructed by the reconstruction processing means.
前記再構成処理手段は、各端末装置に対して設定された優先度に基づき、優先度の高い端末ほど該端末装置に送信する符号化情報の階層数が多くなるように調整することを特徴とする請求項1に記載の中継装置。 The reconfiguration processing means adjusts based on the priority set for each terminal device so that the higher the priority the higher the number of layers of encoded information transmitted to the terminal device. The relay device according to claim 1. 前記再構成処理手段は、各端末装置に送信する符号化情報の階層数を平均化するように調整することを特徴とする請求項1に記載の中継装置。 The relay apparatus according to claim 1, wherein the reconfiguration processing unit adjusts the number of layers of encoded information transmitted to each terminal apparatus to be averaged. 前記再構成処理手段は、各端末装置に送信する符号化情報に対して、前記符号化情報の伝送誤りを検出復旧するための伝送誤り検出訂正用符号を算出し、付加することを特徴とする請求項1から請求項3までのいずれか1項に記載の中継装置。 The reconstruction processing means calculates and adds a transmission error detection and correction code for detecting and recovering transmission errors of the encoded information to the encoded information transmitted to each terminal apparatus. The relay device according to any one of claims 1 to 3. スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手段と、
送信元の端末装置が現時点で受信できる符号化情報の階層数を前記端末装置から受信する端末装置情報受信手段と、
前記端末装置から得た情報にしたがって各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理手段と、
前記再構成処理手段において再構成された符号化情報を送信する送信手段とを備えたことを特徴とする中継装置。
Receiving means for receiving encoded information composed of a plurality of layers by scalable encoding;
Terminal device information receiving means for receiving from the terminal device the number of layers of encoded information that can be received at the present time by the terminal device of the transmission source;
Reconfiguration processing means for adjusting and reconfiguring the number of layers of encoded information to be transmitted to each terminal device according to the information obtained from the terminal device;
A relay apparatus comprising: transmission means for transmitting encoded information reconstructed by the reconstruction processing means.
スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手段と、
受信した符号化情報中に含まれる制御情報に基づきスケーラブル符号化により音声信号を符号化する符号化手段と、
受信した符号化情報中に含まれる制御情報に基づきスケーラブル復号化により音声信号を復号化する復号化手段と、
スケーラブル符号化された符号化情報を送信する送信手段と、
現時点で受信できる符号化情報の階層数を送信する端末装置情報送信手段とを備えたことを特徴とする端末装置。
Receiving means for receiving encoded information composed of a plurality of layers by scalable encoding;
Encoding means for encoding a speech signal by scalable encoding based on control information included in the received encoded information;
Decoding means for decoding a speech signal by scalable decoding based on control information included in the received encoded information;
Transmission means for transmitting scalable encoded encoding information;
A terminal device comprising: terminal device information transmitting means for transmitting the number of layers of encoded information that can be received at the present time.
ユーザの優先度を設定したユーザ設定情報を記憶する設定情報記憶装置と、
スケーラブル符号化により複数階層で構成された符号化情報を再構成して送受信する中継装置とを備え、
前記中継装置は、前記符号化情報および前記ユーザ設定情報を受信する受信手段と、
前記ユーザ設定情報に基づいて前記符号化情報の階層数を調整し再構成する再構成手段と、
前記再構成した符号化情報を前記ユーザの端末装置に送信する送信手段とを有することを特徴とする通信システム。
A setting information storage device for storing user setting information in which the priority of the user is set;
A relay device for reconfiguring and transmitting and receiving encoded information configured in a plurality of layers by scalable encoding,
The relay device includes a receiving unit that receives the encoded information and the user setting information;
Reconfiguration means for adjusting and reconfiguring the number of layers of the encoded information based on the user setting information;
A communication system comprising: transmission means for transmitting the reconstructed encoded information to the terminal device of the user.
前記中継装置の再構成手段は、前記ユーザ設定情報に設定されたユーザの優先度が低い場合、前記符号化情報中に、付加情報を含めて再構成することを特徴とする請求項7に記載の通信システム。 8. The reconfiguration unit of the relay apparatus, when the priority of the user set in the user setting information is low, reconfigures by including additional information in the encoded information. Communication system. 前記付加情報は、前記設定情報記憶装置から受信される情報、または、前記中継装置内に格納された情報であることを特徴とする請求項8に記載の通信システム。 The communication system according to claim 8, wherein the additional information is information received from the setting information storage device or information stored in the relay device. コンピュータに、
スケーラブル符号化により複数階層で構成された符号化情報を受信する受信手順と、
回線状況の変化に応じて各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理手順と、
前記再構成された符号化情報を送信する送信手順とを実行させるためのプログラム。
On the computer,
A reception procedure for receiving encoded information composed of a plurality of layers by scalable encoding;
Reconfiguration processing procedure for adjusting and reconfiguring the number of layers of encoded information to be transmitted to each terminal device in accordance with changes in the line status;
A program for executing a transmission procedure for transmitting the reconstructed encoded information.
多者通話システムに用いられる信号処理方法であって、
スケーラブル符号化により複数階層で構成された符号化情報を受信する受信工程と、
回線状況の変化に応じて各端末装置に送信する符号化情報の階層数を調整し再構成する再構成処理工程と、
前記再構成した符号化情報を送信する送信工程とを備えたことを特徴とする信号処理方法。
A signal processing method used in a multi-party call system,
A receiving step of receiving encoded information configured in a plurality of layers by scalable encoding;
A reconfiguration processing step of adjusting and reconfiguring the number of layers of encoded information to be transmitted to each terminal device according to a change in the line status;
A signal processing method comprising: a transmission step of transmitting the reconstructed encoded information.
JP2005169694A 2005-06-09 2005-06-09 Repeater and terminal device Pending JP2006345289A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005169694A JP2006345289A (en) 2005-06-09 2005-06-09 Repeater and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005169694A JP2006345289A (en) 2005-06-09 2005-06-09 Repeater and terminal device

Publications (1)

Publication Number Publication Date
JP2006345289A true JP2006345289A (en) 2006-12-21

Family

ID=37641901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005169694A Pending JP2006345289A (en) 2005-06-09 2005-06-09 Repeater and terminal device

Country Status (1)

Country Link
JP (1) JP2006345289A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014142295A1 (en) * 2013-03-15 2017-02-16 日本電気株式会社 Media communication system, bit rate control method, and computer-readable information recording medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308528A (en) * 1992-04-28 1993-11-19 Canon Inc Device and method for processing image
JP2001094982A (en) * 1999-09-20 2001-04-06 Nippon Telegr & Teleph Corp <Ntt> Hierarchical coding method and device, program recording medium used for realization of the method, hierarchical decoding method and device thereof, and program recording medium used for realization of the method
WO2003030543A1 (en) * 2001-10-04 2003-04-10 Hewlett-Packard Company Packetizing devices for secure scalable data streaming
JP2004093673A (en) * 2002-08-29 2004-03-25 Yamaha Corp Vocal data distributing method, server/client system, and server apparatus
JP2005064970A (en) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> Method and system for controlling distribution rate
JP2006246242A (en) * 2005-03-04 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> Hierarchically coded data transfer control system and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308528A (en) * 1992-04-28 1993-11-19 Canon Inc Device and method for processing image
JP2001094982A (en) * 1999-09-20 2001-04-06 Nippon Telegr & Teleph Corp <Ntt> Hierarchical coding method and device, program recording medium used for realization of the method, hierarchical decoding method and device thereof, and program recording medium used for realization of the method
WO2003030543A1 (en) * 2001-10-04 2003-04-10 Hewlett-Packard Company Packetizing devices for secure scalable data streaming
JP2004093673A (en) * 2002-08-29 2004-03-25 Yamaha Corp Vocal data distributing method, server/client system, and server apparatus
JP2005064970A (en) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> Method and system for controlling distribution rate
JP2006246242A (en) * 2005-03-04 2006-09-14 Nippon Telegr & Teleph Corp <Ntt> Hierarchically coded data transfer control system and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014142295A1 (en) * 2013-03-15 2017-02-16 日本電気株式会社 Media communication system, bit rate control method, and computer-readable information recording medium

Similar Documents

Publication Publication Date Title
EP0857375B1 (en) Method of and apparatus for coding, manipulating and decoding audio signals
JP5542306B2 (en) Scalable encoding and decoding of audio signals
EP1990800B1 (en) Scalable encoding device and scalable encoding method
JP6386376B2 (en) Frame loss concealment for multi-rate speech / audio codecs
JP5265358B2 (en) A concept to bridge the gap between parametric multi-channel audio coding and matrix surround multi-channel coding
JP4518714B2 (en) Speech code conversion method
US7904292B2 (en) Scalable encoding device, scalable decoding device, and method thereof
JPWO2007116809A1 (en) Stereo speech coding apparatus, stereo speech decoding apparatus, and methods thereof
KR20070029754A (en) Audio encoding device, audio decoding device, and method thereof
US10607624B2 (en) Signal codec device and method in communication system
WO2006041055A1 (en) Scalable encoder, scalable decoder, and scalable encoding method
JP2006513457A (en) Method for encoding and decoding speech at variable rates
JPWO2009084226A1 (en) Stereo speech decoding apparatus, stereo speech encoding apparatus, and lost frame compensation method
JPWO2008132850A1 (en) Stereo speech coding apparatus, stereo speech decoding apparatus, and methods thereof
JP4948401B2 (en) Scalable encoding apparatus and scalable encoding method
JP4936688B2 (en) Relay device, communication terminal device, signal decoding device, signal processing method, and signal processing program
JP4216364B2 (en) Speech encoding / decoding method and speech signal component separation method
WO2006011444A1 (en) Relay device and signal decoding device
US20100010811A1 (en) Stereo audio encoding device, stereo audio decoding device, and method thereof
JP2005094356A (en) System and method for transmitting sound signal
CN114072874A (en) Method and system for metadata in a codec audio stream and efficient bit rate allocation for codec of an audio stream
JP2006345289A (en) Repeater and terminal device
JP2010539550A (en) Transmission error spoofing of digital signals by complexity distribution
JP4108396B2 (en) Speech coding transmission system for multi-point control equipment
JP2006072269A (en) Voice-coder, communication terminal device, base station apparatus, and voice coding method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110111