JP2007183528A - Encoding apparatus, encoding method, and encoding program - Google Patents
Encoding apparatus, encoding method, and encoding program Download PDFInfo
- Publication number
- JP2007183528A JP2007183528A JP2006117345A JP2006117345A JP2007183528A JP 2007183528 A JP2007183528 A JP 2007183528A JP 2006117345 A JP2006117345 A JP 2006117345A JP 2006117345 A JP2006117345 A JP 2006117345A JP 2007183528 A JP2007183528 A JP 2007183528A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- complexity
- difference signal
- sum
- bits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
この発明は、音声や音楽などのオーディオ信号を低ビットレートで圧縮するために、左チャネルと右チャネルとからなるステレオ信号を効率良く符号化する符号化装置、符号化方法、および符号化プログラムに関する。 The present invention relates to an encoding apparatus, an encoding method, and an encoding program for efficiently encoding a stereo signal composed of a left channel and a right channel in order to compress an audio signal such as voice or music at a low bit rate. .
従来、音声や音楽などのオーディオ信号を直交変換して得られる周波数スペクトルを符号化する方式として、ＩＳＯ／ＩＥＣ １３８１８−７ ＭＰＥＧ−２のオーディオ規格であるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）方式が知られている。ＡＡＣ方式は、地上波デジタルラジオ放送の音声符号化方式として採用されており、さらに、ＭＳ（ミッド・サイド）ステレオ符号化と呼ばれる技術を用いてステレオ信号の圧縮効率を高めている。 Conventionally, an AAC (Advanced Audio Coding) method, which is an audio standard of ISO / IEC 13818-7 MPEG-2, is known as a method for encoding a frequency spectrum obtained by orthogonally transforming audio signals such as voice and music. Yes. The AAC system is adopted as an audio encoding system for terrestrial digital radio broadcasting, and further, the compression efficiency of stereo signals is increased by using a technique called MS (mid side) stereo encoding.
図１２は、ＭＳステレオ符号化の符号化手順を示すブロック図である。図１２に示したＭＳステレオ符号化装置１２００は、まず左チャネルのオーディオ信号（Ｌ）をＬ直交変換部１２０１によって直交変換し、右チャネルのオーディオ信号（Ｒ）をＲ直交変換部１２０２によって直交変換する。変換後のＬ，Ｒは、ＭＳステレオ変換部１２０３へ入力され、入力されたＬ，Ｒから和信号Ｍ（Ｍ＝（Ｌ＋Ｒ）／２）と、差信号Ｓ（Ｓ＝（Ｌ−Ｒ）／２）とにそれぞれ変換される。さらに、和信号Ｍは、和信号量子化器１２０４によって符号化される（符号語１）。同様に差信号Ｓは、差信号量子化器１２０５によって符号化される（符号語２）。
FIG. 12 is a block diagram illustrating an encoding procedure of MS stereo encoding. The MS
ＭＳステレオ符号化の際、ＭＳステレオ変換部１２０３において、ＬとＲとの相関が高い、つまり類似性が高い場合は、和信号Ｍに比べて差信号Ｓの電力が小さくなる。したがって、差信号Ｓの符号化ビット数を少なくして、和信号Ｍの符号化ビット数を多くすることで、符号化効率を向上させることができる。 At the time of MS stereo encoding, when the correlation between L and R is high in the MS stereo conversion unit 1203, that is, the similarity is high, the power of the difference signal S is smaller than that of the sum signal M. Therefore, by reducing the number of encoded bits of the difference signal S and increasing the number of encoded bits of the sum signal M, the encoding efficiency can be improved.
また、ＭＳステレオ符号化による変換に加え、符号化効率を高める方法として、適応的に差信号Ｓをモノラル化する技術が開示されている（例えば、下記特許文献１参照。）。図１３は、適応モノラル化の原理を示す説明図である。図１３に示した図表１３００を用いて適応モノラル化を説明する。図表１３１０，１３２０は、あるオーディオ信号のＬとＲとの波形を示す図表である。また、図表１３３０，１３４０は、ＬとＲを用いて生成した和信号Ｍと、差信号Ｓの波形を示す図表である。Ｌの波形１３１１と、Ｒの波形１３２１とは、それぞれ和信号Ｍの波形１３３１と、差信号Ｓの波形１３４１とに変換される。
In addition to conversion by MS stereo encoding, a technique for adaptively monauralizing the difference signal S is disclosed as a method for improving encoding efficiency (see, for example,
ここで、Ｌ，Ｒから和信号Ｍ、差信号Ｓへの変換に際して周波数ｆの信号に着目する。モノラル化では、ＬとＲとの類似度を求め、ＬとＲとの類似度が高い場合は、差信号Ｓを無音化もしくは小さい振幅を持った信号に変形する。ＬとＲとの類似度が高い場合は差信号Ｓ＝（Ｌ−Ｒ）／２≒０となるので差信号Ｓのビット数を減らして０とする。つまり、差信号Ｓを示す波形１３４１では、周波数ｆの信号が０となり、その分のビットを和信号Ｍを示す波形１３３１の周波数ｆの信号に割り当てている。したがって、和信号Ｍのビット数が増加し、量子化に伴うオーディオ信号の歪みを小さくすることができる。
Here, attention is focused on a signal of frequency f when converting from L and R into a sum signal M and a difference signal S. In monauralization, the similarity between L and R is obtained. If the similarity between L and R is high, the difference signal S is silenced or transformed into a signal having a small amplitude. When the similarity between L and R is high, the difference signal S = (LR) / 2≈0, so the number of bits of the difference signal S is reduced to zero. That is, in the
しかしながら、地上波デジタルラジオ放送では、ＣＤ並みの高品質音声（音楽）と映像を合計３３０ｋｂｐｓ程度で実現するため、音声に割り当てられるビットレートは３２ｋｂｐｓ〜６４ｋｂｐｓと非常に小さい。したがって、従来のＭＳステレオ符号化技術では量子化ビット数の不足による音質劣化が避けられないという問題があった。 However, in terrestrial digital radio broadcasting, high-quality audio (music) and video equivalent to CD are realized at a total of about 330 kbps, and therefore the bit rate assigned to audio is as very low as 32 kbps to 64 kbps. Therefore, the conventional MS stereo encoding technique has a problem that sound quality deterioration due to an insufficient number of quantization bits cannot be avoided.
また、上記の特許文献１に記載の適応モノラル化を用いた場合であっても、差信号Ｓが０の帯域、つまり、モノラル化された帯域においては差信号Ｓの量子化ビット数を減らすことができるが、モノラル化できない帯域では差信号Ｓの量子化ビット数を減らすことができないため、低ビットレート条件では十分な音質が得られないという問題があった。
Even when the adaptive monauralization described in
この発明は、上述した従来技術による問題点を解消するため、低ビットレート条件でも音質劣化の少ない符号化を実現する符号化装置、符号化方法、および符号化プログラムを提供することを目的とする。 An object of the present invention is to provide an encoding device, an encoding method, and an encoding program that can realize encoding with little deterioration in sound quality even under a low bit rate condition in order to eliminate the above-described problems caused by the prior art. .
上述した課題を解決し、目的を達成するため、この発明にかかる符号化装置は、ステレオ信号の左成分信号と右成分信号との和信号と、差信号とを用いてステレオ信号を圧縮する符号化装置において、前記和信号の複雑度と、前記差信号の複雑度とをそれぞれ求める複雑度算出手段と、前記複雑度算出手段によって求めた複雑度に応じて前記和信号と、前記差信号とをそれぞれ量子化する際のビット数の分配割合を設定するビット数設定手段と、前記ビット数設定手段によって決定された前記分配割合に応じて前記和信号と、前記差信号をそれぞれ量子化する量子化手段と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, an encoding apparatus according to the present invention is a code that compresses a stereo signal using a sum signal of a left component signal and a right component signal of a stereo signal and a difference signal. In the encoding apparatus, complexity calculation means for obtaining the complexity of the sum signal and the complexity of the difference signal, respectively, the sum signal according to the complexity obtained by the complexity calculation means, and the difference signal A bit number setting means for setting a distribution ratio of the number of bits when each of the signals is quantized, and a quantizer for respectively quantizing the sum signal and the difference signal according to the distribution ratio determined by the bit number setting means And a converting means.
この発明によれば、類似度に基づいて差信号をモノラル化することにより量子化ビットを削減することができる。また、和信号Ｍと修正差信号Ｓ’の複雑度に応じて量子化ビット数を適応的に配分することができるため、従来技術に比べて効率のよい符号化を図ることができる。 According to the present invention, it is possible to reduce the number of quantization bits by making the difference signal monaural based on the similarity. In addition, since the number of quantization bits can be adaptively allocated according to the complexity of the sum signal M and the modified difference signal S ′, more efficient encoding can be achieved compared to the prior art.
本発明にかかる符号化装置、符号化方法、および符号化プログラムによれば、低ビットレート条件であっても音質劣化の少ない、高音質な音声（音楽）として再生することができるという効果を奏する。 According to the encoding device, encoding method, and encoding program of the present invention, it is possible to reproduce high-quality sound (music) with little deterioration in sound quality even under low bit rate conditions. .
以下に添付図面を参照して、この発明にかかる符号化装置、符号化方法、および符号化プログラムの好適な実施の形態を詳細に説明する。 Exemplary embodiments of an encoding device, an encoding method, and an encoding program according to the present invention will be explained below in detail with reference to the accompanying drawings.
（符号化の原理）
まず、図１〜図３を用いて本発明にかかる符号化方法の原理を説明する。図１は、通常のモノラル化を示す説明図である。図１に示した図表１００は、差信号Ｓの電力を示す図表１１０と、和信号Ｍのビット数を示す図表１２０と、和信号Ｍの複雑度を示す図表１３０とを表している。
(Principle of encoding)
First, the principle of the encoding method according to the present invention will be described with reference to FIGS. FIG. 1 is an explanatory diagram showing normal monauralization. A
図表１００に示した周波数ｆ１の信号に注目して通常のモノラル化の手順を説明する。図表１１０は、横軸が周波数を表し、縦軸が電力を表すことで、差信号Ｓの周波数ごとの電力を表している。周波数ｆ１の差信号Ｓは、モノラル化によって電力が０に変換される。この変換によって差信号Ｓは、ビット数が削減される（図表１１０の例では−５０ｂｉｔ）。
A normal monaural procedure will be described by paying attention to the signal of frequency f1 shown in
図表１２０は、横軸が周波数を表し、縦軸が量子化した際のビット数を表すことで、和信号Ｍの周波数ごとの量子化ビット数を表している。図表１２０においては、図表１１０に示したモノラル化によって削減された差信号Ｓのビット（−５０ｂｉｔ）が、周波数ｆ１の元のビット数１２１に新たにビット数１２２（＋５０ｂｉｔ）として上乗せされる。
In the
図表１３０は、横軸が周波数を表し、縦軸が複雑度を表すことで、和信号Ｍの周波数ごとの複雑度を表している。図表１３０に示した例では、周波数ｆ１の和信号Ｍの複雑度１３１と、周波数ｆ２の和信号Ｍの複雑度１３２が高いことがわかる。周波数ｆ１の和信号Ｍは、図表１２０で説明したように、周波数ｆ１の差信号Ｓの削減部分のビット数１２２が上乗せされている。したがって、周波数ｆ１の和信号Ｍは、量子化誤差を小さくすることができ、音質の向上が期待できる。
In the
しかしながら、通常のモノラル化の場合、ビット数が上乗せされるのは差信号Ｓのビット数が削減された周波数の信号に限られている。周波数ｆ１と同様に複雑度が高い周波数ｆ２の和信号Ｍのビット数１２３には、新たなビット数の上乗せ（例えば、破線で示したビット数１２４）は、行われない。したがって、周波数ｆ２の和信号Ｍは、量子化誤差を小さくできず、音質を向上させることができない。
However, in the case of normal monauralization, the number of bits is added only to a signal having a frequency in which the number of bits of the difference signal S is reduced. Similar to the frequency f1, the number of
本発明では、差信号Ｓのモノラル化によって削減されたビット数を、周波数に関係なく、同じフレーム内の各信号の複雑度に応じて振り分ける。具体的な振り分け方法としては、和信号Ｍの複雑度に応じてビット数を振り分ける方法と、差信号Ｓの複雑度に応じてビット数を振り分ける方法とを用いる。以下、図２，３を用いてそれぞれの振り分け方法について説明する。 In the present invention, the number of bits reduced by making the difference signal S monaural is distributed according to the complexity of each signal in the same frame regardless of the frequency. As a specific distribution method, a method of distributing the number of bits according to the complexity of the sum signal M and a method of distributing the number of bits according to the complexity of the difference signal S are used. Hereinafter, each distribution method will be described with reference to FIGS.
まず、図２は、和信号Ｍの複雑度に応じてビット数を振り分ける方法を示す説明図である。ここでは、和信号Ｍの複雑度を調べ、差信号Ｓで削減したビットを、和信号Ｍを表すビットのうち、複雑な周波数のビットに振り分ける方法について説明する。図２に示した図表２００は、差信号Ｓの電力を示す図表２１０と、和信号Ｍのビット数を示す図表２２０と、和信号Ｍの複雑度を示す図表２３０とを表している。
First, FIG. 2 is an explanatory diagram showing a method of distributing the number of bits according to the complexity of the sum signal M. Here, a method of examining the complexity of the sum signal M and allocating the bits reduced by the difference signal S to bits of a complex frequency among the bits representing the sum signal M will be described. The
図表２１０は、横軸が周波数を表し、縦軸が電力を表すことで、差信号Ｓの周波数ごとの電力を表している。ここで、周波数ｆ１の差信号Ｓは、モノラル化によって電力が０に変換される。この変換によって差信号Ｓは、ビット数が削減される（図表２１０の例では−５０ｂｉｔ）。
In the
図表２２０は、横軸が周波数を表し、縦軸が量子化した際のビット数を表すことで、和信号Ｍの周波数ごとの量子化ビット数を表している。図表２１０に示したように周波数ｆ１の差信号Ｓから削減されたビット数（−５０ｂｉｔ）を、周波数ｆ１の和信号Ｍの元のビット数２２１と、周波数ｆ２の和信号Ｍの元のビット数２２４とにそれぞれ振り分け、上乗せする。図表２２０の例では、周波数ｆ１の和信号Ｍには、＋２０ｂｉｔのビット数２２２が上乗せされて、周波数ｆ２の和信号Ｍには、＋３０ｂｉｔのビット数２２３が上乗せされている。
In the
図表２３０は、横軸が周波数を表し、縦軸が複雑度を表すことで、和信号Ｍの周波数ごとの複雑度を表している。図表２２０に示したような和信号Ｍへのビット数の上乗せは、図表２３０に示した和信号Ｍの周波数ごとの複雑度に応じて決定する。したがって、周波数ｆ１の和信号Ｍの複雑度２３１と、周波数ｆ２の和信号Ｍの複雑度２３２とを、図表２２０によって振り分けられたビット数２２２，２２３に対応させている。
In the
一方、図３は、差信号Ｓの複雑度に応じてビット数を振り分ける方法を示す説明図である。ここでは、差信号Ｓの複雑度を調べ、差信号Ｓで削減したビットを、差信号Ｓを表すビットのうち、複雑な周波数のビットに振り分ける方法について説明する。図３に示した図表３００は、差信号Ｓの電力を示す図表３１０と、差信号Ｓのビット数を示す図表３２０と、差信号Ｓの複雑度を示す図表３３０とを表している。
On the other hand, FIG. 3 is an explanatory diagram showing a method of distributing the number of bits according to the complexity of the difference signal S. Here, a method of examining the complexity of the difference signal S and allocating the bits reduced by the difference signal S to bits having a complex frequency among the bits representing the difference signal S will be described. The
図表３１０は、横軸が周波数を表し、縦軸が電力を表すことで、差信号Ｓの周波数ごとの電力を表している。ここで、周波数ｆ１の差信号Ｓは、モノラル化によって電力が０に変換される。この変換によって差信号Ｓは、ビット数が削減される（図表３１０の例では−５０ｂｉｔ）。
In the
図表３２０は、横軸が周波数を表し、縦軸が量子化した際のビット数を表すことで、差信号Ｓの周波数ごとの量子化ビット数を表している。図表３１０に示したように周波数ｆ１の差信号Ｓから削減されたビット数（−５０ｂｉｔ）３２１を、周波数ｆ０の差信号Ｓの元のビット数３２２と、周波数ｆ２の差信号Ｓの元のビット数３２４とにそれぞれ振り分け、上乗せする。差信号Ｓにビットを上乗せする場合は、図表３１０に示したように周波数ｆ１の差信号Ｓは、０に変換されているため、ビット数３２１を必要としない。したがって、差信号Ｓの複雑度に応じて、周波数ｆ０と周波数ｆ２のそれぞれの差信号Ｓは、ビット数（図３の例ではビット数３２３，３２５）の上乗せによりビット数が増加し、量子化誤差が減少する。
In the
図表３３０は、横軸が周波数を表し、縦軸が複雑度を表すことで、差信号Ｓの周波数ごとの複雑度を表している。図表３３０に示したように、周波数ｆ０の差信号Ｓの複雑度３３２と、周波数ｆ２の差信号Ｓの複雑度３３３とが高いため、図表３２０に示したようなビット数の割り当てに反映されている。なお、周波数ｆ１の差信号Ｓは、ビット数が０であるにも拘わらず複雑度３３１を示しているが、これは、モノラル化され０に変換される前の周波数ｆ１の差信号Ｓの複雑度を示しているためである。
In the
以上、図１〜図３を用いて説明したように、本発明では、モノラル化によって削減された差信号Ｓのビット数を複雑度に応じて和信号Ｍもしくは差信号Ｓの複雑度の高い信号に振り分ける。ビット数の振り分けの際には、和信号Ｍと差信号Ｓとを含む全体の複雑度を求め、重要な信号を抽出する。具体的には、差信号Ｓよりも和信号Ｍの複雑度が大きい際には、和信号Ｍに多くのビット数を割り振る。反対に、和信号Ｍよりも差信号Ｓの複雑度が大きい場合は、差信号Ｓに多くのビット数を割り振る。以下に説明する符号化装置は、説明した原理に基づいて符号化を実現する。 As described above with reference to FIGS. 1 to 3, in the present invention, the number of bits of the difference signal S reduced by monauralization is changed to a sum signal M or a signal having a high complexity of the difference signal S according to the complexity. Sort out. When distributing the number of bits, the overall complexity including the sum signal M and the difference signal S is obtained, and important signals are extracted. Specifically, when the complexity of the sum signal M is larger than the difference signal S, a larger number of bits is assigned to the sum signal M. Conversely, when the complexity of the difference signal S is larger than the sum signal M, a larger number of bits is assigned to the difference signal S. The encoding apparatus described below realizes encoding based on the described principle.
（符号化装置の基本構成）
つぎに、本発明にかかる符号化装置の基本構成を説明する。図４は、本発明にかかる符号化装置の基本構成を示すブロック図である。符号化装置４００は、上述した符号化の原理に基づいて符号化を行う。符号化装置４００は、Ｌ直交変換部４０１と、Ｒ直交変換部４０２と、ＭＳステレオ変換部４０３と、比較手段としての類似度計算部４０４と、修正手段としての差信号修正部４０５と、複雑度算出手段としての複雑度計算部４０６と、ビット数設定手段としてのビット割り当て決定部４０７と、量子化手段としての和信号量子化器４０８、および差信号量子化器４０９とから構成される。
(Basic configuration of encoding device)
Next, the basic configuration of the encoding apparatus according to the present invention will be described. FIG. 4 is a block diagram showing the basic configuration of the encoding apparatus according to the present invention. The
Ｌ直交変換部４０１は、時間領域の入力信号（左チャネルのステレオ信号Ｌ（ｔ））を直交変換し、スペクトル信号Ｌ（ｆ）を出力する。直交変換とは時間領域ｔの空間座標から、周波数座標ｆへ変換する処理である。同様に、Ｒ直交変換部４０２は、時間領域の入力信号（右チャネルのステレオ信号Ｒ（ｔ））を直交変換し、スペクトル信号Ｒ（ｆ）を出力する。
The L
ＭＳステレオ変換部４０３は、Ｌ直交変換部４０１から入力されたスペクトル信号Ｌ（ｆ）と、Ｒ直交変換部４０２から入力されたスペクトル信号Ｒ（ｆ）とをＭＳステレオ変換し、周波数に応じた値を示すスペクトル信号による和信号Ｍ（ｆ）と差信号Ｓ（ｆ）として出力する。
The MS
類似度計算部４０４は、Ｌ直交変換部４０１から入力されたスペクトル信号Ｌ（ｆ）と、Ｒ直交変換部４０２から入力されたスペクトル信号Ｒ（ｆ）との類似度を求める。類似度とはスペクトル信号Ｌ（ｆ）とスペクトル信号Ｒ（ｆ）との相関を数値的に算出した値である。類似度計算の具体的な内容に関しては、実施の形態の記述の際に詳しく説明する。類似度計算部４０４によって計算された類似度は、差信号修正部４０５に入力される。
The
差信号修正部４０５は、ＭＳステレオ変換部４０３から入力された差信号Ｓ（ｆ）に、類似度計算部４０４から入力された類似度に基づいて修正を施し、修正差信号Ｓ’（ｆ）を作成する。差信号修正部４０５によって行われる処理は、モノラル化に相当する。具体的な処理内容としては、周波数帯ごとの差信号Ｓの類似度があらかじめ定めた閾値よりも高いか否かの判断を行う。閾値よりも類似度が高い差信号Ｓは、すなわち差が≒０となり、モノラル化により修正差信号Ｓ’（ｆ）＝０として作成される。また、閾値より類似度が低い差信号は、差が大きいため、そのまま、修正差信号Ｓ’（ｆ）＝Ｓ（ｆ）として作成される。
The difference
複雑度計算部４０６は、ＭＳステレオ変換部４０３から入力された和信号Ｍ（ｆ）を用いて和信号Ｍ（ｆ）の複雑度ＰＥ＿ｍ＿ａｖｅを求め、差信号修正部４０５から入力された修正差信号Ｓ’（ｆ）を用いて修正差信号Ｓ’（ｆ）の複雑度ＰＥ＿ｓ＿ａｖｅを求める。さらに、求めた複雑度ＰＥの比を求めビット割り当て決定部４０７へ出力する。
The
ビット割り当て決定部４０７は、複雑度計算部４０６から入力された複雑度ＰＥの比の値に応じてビット数の分配の割合を決定し、和信号量子化器４０８と、差信号量子化器４０９とにそれぞれビット割り当て情報を出力する。割り当ての際には、複雑度ＰＥの比と閾値との比較に基づいて行う。
The bit
和信号量子化器４０８は、ＭＳステレオ変換部４０３から入力された和信号Ｍ（ｆ）を、ビット割り当て決定部４０７から入力されたビット割り当て情報に基づいて、量子化する。量子化後の和信号Ｍ（ｆ）は、符号語１として出力される。同様に、差信号量子化器４０９は、差信号修正部４０５から入力された修正差信号Ｓ’（ｆ）を、ビット割り当て決定部４０７から入力されたビット割り当て情報に基づいて、量子化する。量子化後の差信号Ｓ（ｆ）は、符号語２として出力される。
The
本発明にかかる符号化装置４００は、以上説明したような基本構成を用いてステレオ信号の符号化を行う。つぎに、各機能部の具体的な構成例とその処理内容について詳しく説明する。ここでは、符号化装置の構成例を実施の形態１〜実施の形態３として説明する。
The
（実施の形態１）
実施の形態１では、図４に示した複雑度計算部４０６に対応する複雑度計算部５１０（図５−１参照）において、和信号Ｍと修正差信号Ｓ’とのそれぞれの心理視聴エントロピー（ＰＥ値）を求め、ＰＥ値の比を複雑度として出力する。また、ビット割り当て決定部４０７では、あらかじめ定めておいた複雑度と修正差信号Ｓ’との対応関係に応じてビット数の分配割合を決定する。
(Embodiment 1)
In the first embodiment, in the complexity calculation unit 510 (see FIG. 5A) corresponding to the
図５−１は、実施の形態１にかかる符号化装置の構成を示すブロック図である。図５−１に示した符号化装置５００は、図４に示した基本構成の具体的な実施例を示す。以下、図４に示した符号化装置４００の類似度計算部４０４、差信号修正部４０５、複雑度計算部４０６、ビット割り当て決定部４０７、和信号量子化器４０８および差信号量子化器４０９の具体的な処理について説明する。
FIG. 5A is a block diagram of the configuration of the encoding apparatus according to the first embodiment. A
図５−２は、実施の形態１にかかる符号化装置の符号化処理の手順を示すフローチャートである。図５−２のフローチャートにおいて、まず、ＭＤＣＴ５０１およびＭＤＣＴ５０２において、左右のステレオ信号Ｌ（ｔ），Ｒ（ｔ）のＭＤＣＴ変換を行う（ステップＳ５２１）。実施の形態１〜実施の形態３ではＬ直交変換部４０１およびＲ直交変換部４０２の処理を実現するために、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；変形離散コサイン変換）を用いる。ＭＤＣＴは、通常のＤＣＴ演算では成分抽出時にブロック境界部分でブロック歪みが発生するため、ブロック区間長の５０％を隣接ブロックとオーバーラップすることによりブロック歪みを除去する変換処理である。
FIG. 5-2 is a flowchart of an encoding process performed by the encoding apparatus according to the first embodiment. In the flowchart of FIG. 5-2, first, MDCT conversion of the left and right stereo signals L (t) and R (t) is performed in the
続いて、ＭＳステレオ変換部４０３によって、左右のスペクトル信号Ｌ（ｆ），Ｒ（ｆ）にＭＳステレオ変換を行う（ステップＳ５２２）。また、類似度計算部４０４においては、スペクトル信号Ｌ（ｆ）とスペクトル信号Ｒ（ｆ）との類似度を計算する（ステップＳ５２３）。ここで、類似度計算部４０４における類似度計算について詳しく説明する。類似度は、スペクトル信号Ｌ（ｆ）とスペクトル信号Ｒ（ｆ）との相関を用いる。
Subsequently, the MS
図６は、信号の帯域の上限と下限の関係を示す図表である。図表６００は、横軸が周波数ｆを表し、縦軸がステレオ信号Ｌの電力を表す。各信号は、複数の周波数帯域（例えば、周波数帯６０１〜６０３で示した帯域ｉ−１，ｉ，ｉ＋１）によって構成されているため、周波数帯域ごとに下記（１）式を用いて相関ｃｏｒ（ｉ）を求める。したがって、類似度計算部４０４から相関ｃｏｒ（ｉ）が差信号修正部４０５へ入力される。
FIG. 6 is a chart showing the relationship between the upper limit and the lower limit of the signal band. In the
その後、相関ｃｏｒ（ｉ）に基づいて、差信号修正部４０５によって、ＭＳステレオ変換部４０３から入力された差信号Ｓ（ｆ）の修正を行う（ステップＳ５２４）。差信号修正部４０５は、差信号Ｓ（ｆ）の帯域ごとに相関ｃｏｒ（ｉ）と閾値との比較を行う。具体的には、相関ｃｏｒ（ｉ）が閾値以上の場合は、帯域ｉ（図６参照）に含まれる全周波数ｆについて修正差信号Ｓ’（ｆ）＝０とする。また、相関ｃｏｒ（ｉ）が閾値以下の場合は、帯域ｉ（図６参照）に含まれる全周波数ｆについて修正差信号Ｓ’（ｆ）＝Ｓ（ｆ）とする。
Thereafter, based on the correlation cor (i), the difference
つぎに、複雑度計算部５１０によって行われる複雑度計算の詳細な処理について説明する。複雑度計算部５１０は、許容誤差計算部５０３と、電力計算部５０４と、ＰＥ値計算部５０５と、ＰＥ比計算部５０６とから構成される。複雑度計算部５１０では、まず、許容誤差計算部５０３によって、許容誤差計算を行う（ステップＳ５２５）。
Next, detailed processing of complexity calculation performed by the
許容誤差計算部５０３は、ＭＳステレオ変換部４０３から和信号Ｍ（ｆ）が入力され、差信号修正部４０５から修正差信号Ｓ’（ｆ）が入力され、帯域ｉにおける和信号Ｍ（ｆ）の許容誤差電力ｎ＿ｍ（ｉ）と、修正差信号Ｓ’（ｆ）の許容誤差電力ｎ＿ｓ（ｉ）を求める。このステップにおける許容誤差電力の算出としては、例えば、公知の技術である心理視聴モデルにおける許容誤差電力の計算（ＩＳＯ／ＩＥＣ １３８１８−７：２００３，Ａｄｖａｎｃｅｄ Ａｕｄｕｏ Ｃｏｄｉｎｇ）を用いることができる。
The allowable
続いて、電力計算部５０４によって電力計算を行う（ステップＳ５２６）。電力計算部５０４は、ＭＳステレオ変換部４０３から入力された和信号Ｍ（ｆ）の帯域ｉにおける電力ｅ＿ｍ（ｉ）と、差信号修正部４０５から入力された修正差信号Ｓ’（ｆ）の帯域ｉにおける電力ｅ＿ｓ（ｉ）を下記の（２），（３）式から求める。
Subsequently, power calculation is performed by the power calculation unit 504 (step S526). The
続いて、ＰＥ値計算部５０５によって複雑度ＰＥ値計算を行う（ステップＳ５２７）。ＰＥ値計算部５０５には、許容誤差計算部５０３から和信号Ｍの許容誤差電力ｎ＿ｍ（Ｐ１）と、修正差信号Ｓ’の許容誤差電力ｎ＿ｓ（Ｐ２）が入力され、電力計算部５０４から、和信号Ｍの電力ｅ＿ｍ（Ｐ３）と、修正差信号Ｓ’の電力ｅ＿ｓ（Ｐ４）とが入力される。ＰＥ値計算部５０５は、下記（４）式を用いて、和信号Ｍの許容誤差電力ｎ＿ｍと、和信号Ｍの電力ｅ＿ｍとから和信号Ｍの複雑度ＰＥ＿ｍを求める。同様に、下記（５）式を用いて修正差信号Ｓ’の許容誤差電力ｎ＿ｓと、修正差信号Ｓ’の電力ｅ＿ｓとから修正差信号Ｓ’の複雑度ＰＥ＿ｓを求める。なお、下記（４），（５）式のシグマに用いているｎは帯域の個数を表している。
Subsequently, the PE
つぎに、ＰＥ比計算部５０６によって、ＰＥ比計算を行う（ステップＳ５２８）。ＰＥ比計算部５０６には、ＰＥ値計算部５０５から和信号Ｍの複雑度ＰＥ＿ｍと、修正差信号Ｓ’の複雑度ＰＥ＿ｓが入力される。そして、ＰＥ比計算部５０６は、和信号Ｍの複雑度ＰＥ＿ｍに対する修正差信号Ｓ’の複雑度ＰＥ＿ｓの割合を下記（６）式によって求め、複雑度の比（ＰＥ比）をｐｅ＿ｒａｔｉｏとしてビット割り当て決定部４０７へ出力する。ここまでのステップにより、複雑度計算部５１０の処理が終了する。なお、複雑度計算部５１０は、上述したようなＰＥ比の計算に替わって、ＰＥ差を求め、ビット割り当て決定部４０７に出力してもよい。さらに、ＰＥ比、またはＰＥ差を求める際には、各信号の全周波数帯域のＰＥ値の合計や平均を用いてもよい。
Next, the PE
ｐｅ＿ｒａｔｉｏ＝ＰＥ＿ｓ／ＰＥ＿ｍ …（６） pe_ratio = PE_s / PE_m (6)
続いて、ビット割り当て決定部４０７における処理について説明する。まず、修正差信号Ｓ’（ｆ）の総ビット数を決定し（ステップＳ５２９）、続いて、和信号Ｍ（ｆ）の総ビット数を決定する（ステップＳ５３０）。修正差信号Ｓ’（ｆ）の総ビット数を決定する具体的な手順としては、複雑度比ｐｅ＿ｒａｔｉｏと修正差信号Ｓ’（ｆ）のビット配分量との関係をあらかじめ定めておく手順がある。
Next, processing in the bit
図７は、ＰＥ比とビット分配の関係を示す図表である。図表７００は、横軸が複雑度比ｐｅ＿ｒａｔｉｏを表し、縦軸が修正差信号Ｓ’のビット配分量を表す。また、曲線７０１は、複雑度比ｐｅ＿ｒａｔｉｏとビット配分の関係を示している。ビット割り当て決定部４０７は、図表７００のような、複雑度比ｐｅ＿ｒａｔｉｏとビット配分の関係をあらかじめ定めておく。具体的には、複雑度比ｐｅ＿ｒａｔｉｏの値が大きいときには、修正差信号Ｓ’のビット数分配を多くし、複雑度比ｐｅ＿ｒａｔｉｏの値が小さいときには、修正差信号Ｓ’のビット数分配を少なくする。つまり、修正差信号Ｓ’の複雑度の大きい帯域に多くのビット数を分配するような曲線７０１を設定しておく。
FIG. 7 is a chart showing the relationship between PE ratio and bit distribution. In the
和信号Ｍのビット数は、ステップＳ５２９によって決定された修正差信号Ｓ’（ｆ）のビット数の分配に基づいて決定される。具体的には、１フレーム当たりの量子化ビット数をｂｉｔ＿ｔｏｔａｌとすると、図７の曲線７０１によって修正差信号Ｓ’のビット数ｂｉｔ＿ｓを求めｂｉｔ＿ｔｏｔａｌから修正差信号Ｓ’のビット数ｂｉｔ＿ｓを引き、和信号Ｍのビット数ｂｉｔ＿ｍを求める（ｂｉｔ＿ｍ＝ｂｉｔ＿ｔｏｔａｌ−ｂｉｔ＿ｓ）。
The number of bits of the sum signal M is determined based on the distribution of the number of bits of the modified difference signal S ′ (f) determined in step S529. Specifically, assuming that the number of quantization bits per frame is bit_total, the number of bits bit_s of the modified difference signal S ′ is obtained from the
以上のようにして求めたビット数に応じて、和信号量子化器４０８ではビット数ｂｉｔ＿ｍで和信号Ｍ（ｆ）の量子化を行い（ステップＳ５３１）、差信号量子化器４０９ではビット数ｂｉｔ＿ｓで修正差信号Ｓ’（ｆ）の量子化を行い（ステップＳ５３２）、一連の処理を終了する。
In accordance with the number of bits obtained as described above, the
（実施の形態２）
実施の形態２は、複雑度計算部８１０における複雑度の計算の際に実施の形態１と異なる方法を用いる。また、ビット割り当て決定部４０７におけるビット割り当ての際には、ＰＥ値の重み係数に応じてビット数の分配を行う。
(Embodiment 2)
In the second embodiment, a method different from that in the first embodiment is used when the
図８−１は、実施の形態２にかかる符号化装置の構成を示すブロック図である。実施の形態２にかかる符号化装置８００は、実施の形態１の符号化装置５００と同じ構成によって符号化を行うが、複雑度計算部８１０の処理内容が異なり、それに伴いビット割り当て決定部４０７におけるビット割り当て方法にも変化が生じる。したがって、符号化装置８００の特徴となる、ＰＥ値計算部５０５と、ＰＥ比計算部５０６と、ビット割り当て決定部４０７とについて詳しく説明する。また、他の構成は、符号化装置５００と同じであるため、同一の符号を付して説明を省略する。
FIG. 8A is a block diagram of the configuration of the encoding apparatus according to the second embodiment. The
図８−２は、実施の形態２にかかる符号化装置の符号化処理の手順を示すフローチャートである。図８−２のフローチャートにおいて、ステップＳ８２１〜ステップＳ８２４は、図５−２に示したフローチャートのステップＳ５２１〜ステップＳ５２４と同様の処理を行う。つぎに、複雑度計算部８１０における処理を説明する。
FIG. 8-2 is a flowchart of an encoding process performed by the encoding apparatus according to the second embodiment. In the flowchart of FIG. 8B, steps S821 to S824 perform the same processes as steps S521 to S524 of the flowchart shown in FIG. Next, processing in the
許容量誤差計算部５０３における許容量誤差計算（ステップＳ８２５）と、電力計算部５０４における電力計算（ステップＳ８２６）は、図５−２に示したフローチャートのステップＳ５２５、ステップＳ５２６と同様の処理を行う。つぎに、ＰＥ値計算部５０５によってＰＥ値計算を行う（ステップＳ８２７）。ここで、ＰＥ値計算部５０５には、許容誤差計算部５０３から和信号Ｍの許容誤差電力ｎ＿ｍと、修正差信号Ｓ’の許容誤差電力ｎ＿ｓが入力され、電力計算部５０４から、和信号Ｍの電力ｅ＿ｍと、修正差信号Ｓ’の電力ｅ＿ｓとが入力される。
The tolerance error calculation (step S825) in the tolerance
そして、実施の形態２のＰＥ値計算部５０５は、下記（７）式を用いて、和信号Ｍの許容誤差電力ｎ＿ｍと、和信号Ｍの電力ｅ＿ｍとから和信号Ｍの複雑度ＰＥ＿ｍ（ｉ）を求める。同様に、実施の形態２のＰＥ値計算部５０５は、下記（８）式を用いて修正差信号Ｓ’の許容誤差電力ｎ＿ｓと、修正差信号Ｓ’の電力ｅ＿ｓとから修正差信号Ｓ’の複雑度ＰＥ＿ｓ（ｉ）を求める。
Then, the PE
つぎに、ＰＥ比計算部５０６によって、ＰＥ比計算を行う（ステップＳ８２８）。ＰＥ比計算部５０６には、ＰＥ値計算部５０５から和信号Ｍの複雑度ＰＥ＿ｍ（ｉ）と、修正差信号Ｓ’の複雑度ＰＥ＿ｓ（ｉ）が入力される。そして、ＰＥ比計算部５０６は、和信号Ｍの複雑度ＰＥ＿ｍに対する修正差信号Ｓ’の複雑度ＰＥ＿ｓの割合を下記（９）式によって求め、複雑度の比（ＰＥ比）をｐｅ＿ｒａｔｉｏとしてビット割り当て決定部４０７へ出力する。さらに、ＰＥ値計算部５０５によって求められた和信号Ｍの複雑度ＰＥ＿ｍ（ｉ）をビット割り当て決定部４０７へ出力する。ここまでのステップにより、複雑度計算部８１０の処理が終了する。
Next, the PE
続いて、ビット割り当て決定部４０７における処理について説明する。まず、修正差信号Ｓ’（ｆ）の総ビット数を決定し（ステップＳ８２９）、続いて、和信号Ｍ（ｆ）の総ビット数を決定する（ステップＳ８３０）。修正差信号Ｓ’（ｆ）の総ビット数を決定する具体的な手順としては、実施の形態１と同様に、まず、複雑度ＰＥ＿ｒａｔｉｏに応じて、修正差信号Ｓ’（ｆ）の量子化ビット数ｂｉｔ＿ｓをあらかじめ定めておく。つぎに、１フレームで使用できる量子化ビット数ｂｉｔ＿ｔｏｔａｌからｂｉｔ＿ｓを引いた残りを和信号Ｍの量子化ビット数ｂｉｔ＿ｍとする。ここで、和信号Ｍの各周波数帯域に分配するビット数の上限を決定しておく。
Next, processing in the bit
続いて、重み係数ｗ＿ｍ（ｉ）を決定する（ステップＳ８３１）。図９は、複雑度ＰＥ＿ｍと重み係数ｗ＿ｍの関係を示す図表である。図表９００は、横軸が複雑度ＰＥ＿ｍ（ｉ）を表し、縦軸が重み係数ｗ＿ｍ（ｉ）を表す。また、曲線９０１は、複雑度ＰＥ＿ｍと重み係数ｗ＿ｍの関係を示している。和信号Ｍの各周波数帯域に分配するビット数の上限を決定するには、曲線９０１のような関係をあらかじめ定めておく。各周波数帯域ｉについて複雑度ＰＥ＿ｍ（ｉ）の値と図表９００の関係から重み係数ｗ＿ｍ（ｉ）を決定する。
Subsequently, a weight coefficient w_m (i) is determined (step S831). FIG. 9 is a chart showing the relationship between the complexity PE_m and the weighting factor w_m. In the
つぎに、重み係数の総和ｓｕｍ＿ｗの算出を行う（ステップＳ８３２）重み係数ｗ＿ｍ（ｉ）の総和ｓｕｍ＿ｗは、下記（１０）式を用いて求める。さらに、重み係数の修正を行うために、下記（１１）式を用いて重み係数ｗ＿ｍ（ｉ）を正規化（ｗ＿ｍ２（ｉ））する。なお、総和で正規化するため、ｗ＿ｍ２の総和は１になる。 Next, the summation sum_w of the weighting coefficients is calculated (step S832). The summation sum_w of the weighting coefficient w_m (i) is obtained using the following equation (10). Further, in order to correct the weighting factor, the weighting factor w_m (i) is normalized (w_m2 (i)) using the following equation (11). Since the sum is normalized by the sum, the sum of w_m2 is 1.
その後、和信号Ｍの各周波数帯域に分配するビット数の上限ｂｉｔ＿ｍ（ｉ）を、下記（１２）式を用いて決定し、ビット割り当て決定部４０７の処理を終了する。
Thereafter, the upper limit bit_m (i) of the number of bits distributed to each frequency band of the sum signal M is determined using the following equation (12), and the processing of the bit
以上のようにして求めたビット数に応じて、和信号量子化器４０８ではビット数ｂｉｔ＿ｍで和信号Ｍ（ｆ）の量子化を行い（ステップＳ８３４）、差信号量子化器４０９ではビット数ｂｉｔ＿ｓで修正差信号Ｓ’（ｆ）の量子化を行い（ステップＳ８３５）、一連の処理を終了する。
In accordance with the number of bits obtained as described above, the
（実施の形態３）
実施の形態３は、和信号Ｍ（ｆ）と、修正差信号Ｓ’（ｆ）との電力の比に基づいて和信号Ｍ（ｆ）と、修正差信号Ｓ’（ｆ）とのビット数の分配の割合を決定する。したがって、実施の形態３にかかる符号化装置１０００は、実施の形態１において説明した符号化装置５００の複雑度計算部５１０を簡易化した複雑度計算部１０１０を備えた構成からなる。
(Embodiment 3)
In the third embodiment, the number of bits of the sum signal M (f) and the corrected difference signal S ′ (f) based on the power ratio of the sum signal M (f) and the corrected difference signal S ′ (f). Determine the proportion of distribution. Therefore, the
図１０−１は、実施の形態３にかかる符号化装置の構成を示すブロック図である。図１０−１に示した符号化装置１０００は、図５−１に示した符号化装置５００の複雑度計算部５１０に代わり、複雑度計算部１０１０を備えている。この複雑度計算部１０１０は、電力計算部５０４と、電力比計算部１００１とによって構成される。なお、符号化装置１０００の他の構成は、符号化装置５００と同じであるため、同一の符号を付して説明を省略する。また、ビット割り当て決定部４０７は、複雑度計算部１０１０によって計算された複雑度に応じてビット割り当てを決定する。
FIG. 10A is a block diagram of the configuration of the encoding apparatus according to the third embodiment. The
続いて、実施の形態３にかかる符号化装置１０００の符号化処理の手順を説明する。図１０−２は、実施の形態３にかかる符号化装置の符号化処理の手順を示すフローチャートである。図１０−２のフローチャートにおいて、まず、ＭＤＣＴ５０１およびＭＤＣＴ５０２において、左右のステレオ信号Ｌ（ｔ），Ｒ（ｔ）のＭＤＣＴ変換を行う（ステップＳ１０２１）。
Subsequently, the procedure of the encoding process of the
続いて、ＭＳステレオ変換部４０３によって、左右のスペクトル信号Ｌ（ｆ），Ｒ（ｆ）にＭＳステレオ変換を行う（ステップＳ１０２２）。また、類似度計算部４０４においては、左右のステレオ信号Ｌ（ｔ），Ｒ（ｔ）の相関に基づいて和信号Ｍ（ｆ）と差信号Ｓ（ｆ）との類似度（相関ｃｏｒ（ｉ））を計算する（ステップＳ１０２３）。そして、ステップＳ１０２１において計算された類似度（相関ｃｏｒ（ｉ））に基づいて、差信号修正部４０５によって差信号Ｓ（ｆ）を修正する（ステップＳ１０２４）。
Subsequently, the MS
つぎに、複雑度計算部１０１０における処理について説明する。まず、電力計算部５０４によって、和信号Ｍ（ｆ）と修正差信号Ｓ’（ｆ）との電力計算を行う（ステップＳ１０２５）。電力計算部５０４で計算された和信号Ｍの電力ｅ＿ｍと、修正差信号Ｓ’の電力ｅ＿ｓとは、電力比計算部１００１に出力される。なお、複雑度計算部１０１０は、上述したような電力比の計算に替わって、電力差を求め、ビット割り当て決定部４０７に出力してもよい。さらに、電力比、または電力差を求める際には、各信号の全周波数帯域の電力の合計や平均を用いてもよい。
Next, processing in the
続いて、電力比計算部１００１によって、和信号Ｍの電力ｅ＿ｍと、修正差信号Ｓ’の電力ｅ＿ｓとの電力比を計算する（ステップＳ１０２６）。和信号Ｍと、修正差信号Ｓ’との電力比ｐｏｗ＿ｒａｔｉｏは、ｅ＿ｓ／ｅ＿ｍによって求められる。そして、求められた電力比ｐｏｗ＿ｒａｔｉｏは、ビット割り当て決定部４０７に出力される。
Subsequently, the power
つぎに、ビット割り当て決定部４０７における処理について説明する。まず、修正差信号Ｓ’（ｆ）の総ビット数を決定し（ステップＳ１０２７）、続いて、和信号Ｍ（ｆ）の総ビット数を決定する（ステップＳ１０２８）。修正差信号Ｓ’（ｆ）の総ビット数を決定する具体的な手順としては、電力比ｐｏｗ＿ｒａｔｉｏビット数と修正差信号Ｓ’（ｆ）とのビット配分の関係をあらかじめ定めておく手順がある。
Next, processing in the bit
図１１は、電力比ｐｏｗ＿ｒａｔｉｏとビット配分の関係の一例を示す図表である。図表１１００は、横軸が電力比ｐｏｗ＿ｒａｔｉｏを表し、縦軸が修正差信号Ｓ’のビット配分量を表す。また、曲線１１０１は、電力比ｐｏｗ＿ｒａｔｉｏとビット配分の関係を示している。ビット割り当て決定部４０７は、図表１１００のような、電力比ｐｏｗ＿ｒａｔｉｏとビット配分の関係をあらかじめ定めておく。具体的には、電力比ｐｏｗ＿ｒａｔｉｏの値が大きいときには、修正差信号Ｓ’のビット数分配を多くし、電力比ｐｏｗ＿ｒａｔｉｏの値が小さいときには、修正差信号Ｓ’のビット数分配を少なくする。つまり、修正差信号Ｓ’の電力の大きい帯域に多くのビット数を分配するような、曲線１１０１を設定しておく。
FIG. 11 is a chart showing an example of the relationship between the power ratio pow_ratio and bit allocation. In the
和信号Ｍのビット数は、ステップＳ１０２７によって決定された修正差信号Ｓ’（ｆ）のビット数の分配に基づいて決定される。具体的には、１フレーム当たりの量子化ビット数をｂｉｔ＿ｔｏｔａｌとすると、図１１の曲線１１０１によって修正差信号Ｓ’のビット数ｂｉｔ＿ｓを求め、ｂｉｔ＿ｔｏｔａｌから修正差信号Ｓ’のビット数ｂｉｔ＿ｓを引き、和信号Ｍのビット数ｂｉｔ＿ｍを求める（ｂｉｔ＿ｍ＝ｂｉｔ＿ｔｏｔａｌ−ｂｉｔ＿ｓ）。
The number of bits of the sum signal M is determined based on the distribution of the number of bits of the modified difference signal S ′ (f) determined in step S1027. Specifically, assuming that the number of quantization bits per frame is bit_total, the number of bits bit_s of the modified difference signal S ′ is obtained from the
以上のようにして求めたビット数に応じて、和信号量子化器４０８ではビット数ｂｉｔ＿ｍで和信号Ｍ（ｆ）の量子化を行い（ステップＳ１０２９）、差信号量子化器４０９ではビット数ｂｉｔ＿ｓで修正差信号Ｓ’（ｆ）の量子化を行い（ステップＳ１０３０）、一連の処理を終了する。
In accordance with the number of bits obtained as described above, the
以上説明したように、符号化装置、符号化方法、および符号化プログラムによれば、低ビットレート条件であっても音質劣化の少ない、高音質な音声（音楽）として再生することができる。 As described above, according to the encoding device, the encoding method, and the encoding program, it is possible to reproduce high-quality sound (music) with little deterioration in sound quality even under a low bit rate condition.
なお、本実施の形態１〜３で説明した符号化方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。 Note that the encoding methods described in the first to third embodiments can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. The program may be a transmission medium that can be distributed via a network such as the Internet.
（付記１）ステレオ信号の左成分信号と右成分信号との和信号と、差信号とを用いてステレオ信号を圧縮する符号化装置において、
前記和信号の複雑度と、前記差信号の複雑度とをそれぞれ求める複雑度算出手段と、
前記複雑度算出手段によって求めた複雑度に応じて前記和信号と、前記差信号とをそれぞれ量子化する際のビット数の分配割合を設定するビット数設定手段と、
前記ビット数設定手段によって決定された前記分配割合に応じて前記和信号と、前記差信号をそれぞれ量子化する量子化手段と、
を備えることを特徴とする符号化装置。
(Supplementary note 1) In an encoding apparatus that compresses a stereo signal using a sum signal of a left component signal and a right component signal of a stereo signal and a difference signal,
Complexity calculation means for respectively determining the complexity of the sum signal and the complexity of the difference signal;
A bit number setting means for setting a distribution ratio of the number of bits when each of the sum signal and the difference signal is quantized according to the complexity obtained by the complexity calculating means;
Quantization means for quantizing each of the sum signal and the difference signal according to the distribution ratio determined by the bit number setting means,
An encoding device comprising:
（付記２）前記複雑度算出手段の前段にモノラル化手段を備え、
前記モノラル化手段は、周波数帯ごとに前記差信号の出力を所定の閾値と比較する比較手段と、
前記比較手段による比較結果における前記差信号が前記閾値よりも低い場合には、前記差信号の値を零に修正する修正手段と、
を備えることを特徴とする付記１に記載の符号化装置。
(Supplementary Note 2) A monaural unit is provided before the complexity calculating unit.
The monaural unit includes a comparing unit that compares the output of the difference signal with a predetermined threshold value for each frequency band;
A correction means for correcting the value of the difference signal to zero when the difference signal in the comparison result by the comparison means is lower than the threshold;
The encoding apparatus according to
（付記３）前記ビット数設定手段は、所定のビット数を、所定の間隔で時分割されたフレームごとの前記和信号および前記差信号に分配することを特徴とする付記１または２に記載の符号化装置。
(Supplementary note 3) The
（付記４）前記ビット数設定手段は、前記量子化手段によって量子化を行う際に、複雑度の低い信号にはビット数の分配割合を低くし、複雑度の高い信号にはビット数の分配割合を高くすることを特徴とする付記１〜３のいずれか一つに記載の符号化装置。
(Supplementary Note 4) When the quantization is performed by the quantization unit, the bit number setting unit reduces the bit number distribution ratio for a low complexity signal and distributes the bit number for a high complexity signal. The encoding device according to any one of
（付記５）前記複雑度算出手段は、前記和信号と、前記差信号とのそれぞれの心理聴覚エントロピー値（ＰＥ値）を求め、前記和信号および前記差信号のＰＥ値の比もしくは差を複雑度とすることを特徴とする付記１〜４のいずれか一つに記載の符号化装置。
(Additional remark 5) The said complexity calculation means calculates | requires each psychoacoustic entropy value (PE value) of the said sum signal and the said difference signal, Complicates the ratio or difference of the PE value of the said sum signal and the said difference signal. The encoding device according to any one of
（付記６）前記複雑度算出手段は、前記和信号および前記差信号の全周波数帯域のＰＥ値の平均もしくは合計から前記複雑度を求めることを特徴とする付記５に記載の符号化装置。 (Additional remark 6) The said complexity calculation means calculates | requires the said complexity from the average or the sum total of PE value of all the frequency bands of the said sum signal and the said difference signal, The encoding apparatus of Additional remark 5 characterized by the above-mentioned.
（付記７）前記複雑度算出手段は、前記和信号と、前記差信号とのそれぞれの電力値を求め、前記和信号と、前記差信号との電力値の比もしくは差を複雑度とすることを特徴とする付記１〜４のいずれか一つに記載の符号化装置。
(Supplementary note 7) The complexity calculation means obtains respective power values of the sum signal and the difference signal, and sets the ratio or difference of the power values of the sum signal and the difference signal as complexity. The encoding device according to any one of
（付記８）前記複雑度算出手段は、前記和信号および前記差信号の全周波数帯域の電力値の平均もしくは合計から前記複雑度を求めることを特徴とする付記７に記載の符号化装置。 (Additional remark 8) The said complexity calculation means calculates | requires the said complexity from the average or the sum total of the electric power value of the all frequency band of the said sum signal and the said difference signal, The encoding apparatus of Additional remark 7 characterized by the above-mentioned.
（付記９）前記ビット数設定手段は、あらかじめ定めた前記差信号の複雑度と前記分配割合との対応関係に応じてビット数の分配割合を設定することを特徴とする付記１〜８のいずれか一つに記載の符号化装置。
(Supplementary note 9) Any one of
（付記１０）前記ビット数設定手段は、あらかじめ定めた前記和信号の複雑度と前記分配割合との対応関係に応じてビット数の分配割合を設定することを特徴とする付記１〜８のいずれか一つに記載の符号化装置。
(Supplementary note 10) Any one of
（付記１１）ステレオ信号の左成分信号と右成分信号との和信号と、差信号とを用いてステレオ信号を圧縮する符号化方法において、
前記和信号の複雑度と、前記差信号の複雑度とをそれぞれ求める複雑度算出工程と、
前記複雑度算出工程によって求めた複雑度に応じて前記和信号と、前記差信号とをそれぞれ量子化する際のビット数の分配割合を設定するビット数設定工程と、
前記ビット数設定工程によって決定された前記分配割合に応じて前記和信号と、前記差信号をそれぞれ量子化する量子化工程と、
を含むことを特徴とする符号化方法。
(Supplementary note 11) In an encoding method for compressing a stereo signal using a sum signal of a left component signal and a right component signal of a stereo signal and a difference signal,
A complexity calculation step for determining the complexity of the sum signal and the complexity of the difference signal;
A bit number setting step for setting a distribution ratio of the number of bits when each of the sum signal and the difference signal is quantized according to the complexity obtained by the complexity calculation step;
A quantization step of quantizing the sum signal and the difference signal according to the distribution ratio determined by the bit number setting step;
The encoding method characterized by including.
（付記１２）ステレオ信号の左成分信号と右成分信号との和信号と、差信号とを用いてステレオ信号を圧縮する符号化プログラムにおいて、
前記和信号の複雑度と、前記差信号の複雑度とをそれぞれ求める複雑度算出工程と、
前記複雑度算出工程によって求めた複雑度に応じて前記和信号と、前記差信号とをそれぞれ量子化する際のビット数の分配割合を設定するビット数設定工程と、
前記ビット数設定工程によって決定された前記分配割合に応じて前記和信号と、前記差信号をそれぞれ量子化する量子化工程と、
をコンピュータに実行させることを特徴とする符号化プログラム。
(Additional remark 12) In the encoding program which compresses a stereo signal using the sum signal of the left component signal and right component signal of a stereo signal, and a difference signal,
A complexity calculation step for determining the complexity of the sum signal and the complexity of the difference signal;
A bit number setting step of setting a distribution ratio of the number of bits when each of the sum signal and the difference signal is quantized according to the complexity obtained by the complexity calculation step;
A quantization step of quantizing the sum signal and the difference signal according to the distribution ratio determined by the bit number setting step;
An encoding program for causing a computer to execute.
以上のように、本発明にかかる符号化装置、符号化方法、および符号化プログラムは、ステレオ音声データの圧縮に有用であり、特に、低ビットレートの圧縮条件に適している。 As described above, the encoding apparatus, the encoding method, and the encoding program according to the present invention are useful for compressing stereo audio data, and are particularly suitable for low bit rate compression conditions.
４００ 符号化装置
４０１ Ｌ直交変換部
４０２ Ｒ直交変換部
４０３ ＭＳステレオ変換部
４０４ 類似度計算部
４０５ 差信号修正部
４０６ 複雑度計算部
４０７ ビット割り当て決定部
４０８ 和信号量子化器
４０９ 差信号量子化器
400 Encoder 401 L Orthogonal Transformer 402
Claims (10)
前記和信号の複雑度と、前記差信号の複雑度とをそれぞれ求める複雑度算出手段と、
前記複雑度算出手段によって求めた複雑度に応じて前記和信号と、前記差信号とをそれぞれ量子化する際のビット数の分配割合を設定するビット数設定手段と、
前記ビット数設定手段によって決定された前記分配割合に応じて前記和信号と、前記差信号をそれぞれ量子化する量子化手段と、
を備えることを特徴とする符号化装置。 In an encoding device that compresses a stereo signal using a sum signal of a left component signal and a right component signal of a stereo signal and a difference signal,
Complexity calculation means for respectively determining the complexity of the sum signal and the complexity of the difference signal;
A bit number setting means for setting a distribution ratio of the number of bits when each of the sum signal and the difference signal is quantized according to the complexity obtained by the complexity calculating means;
Quantization means for quantizing each of the sum signal and the difference signal according to the distribution ratio determined by the bit number setting means,
An encoding device comprising:
前記モノラル化手段は、周波数帯ごとに前記差信号の出力を所定の閾値と比較する比較手段と、
前記比較手段による比較結果における前記差信号が前記閾値よりも低い場合には、前記差信号の値を零に修正する修正手段と、
を備えることを特徴とする請求項１に記載の符号化装置。 A monaural unit is provided before the complexity calculating unit,
The monaural unit includes a comparison unit that compares the output of the difference signal with a predetermined threshold for each frequency band;
A correction means for correcting the value of the difference signal to zero when the difference signal in the comparison result by the comparison means is lower than the threshold;
The encoding apparatus according to claim 1, further comprising:
前記和信号の複雑度と、前記差信号の複雑度とをそれぞれ求める複雑度算出工程と、
前記複雑度算出工程によって求めた複雑度に応じて前記和信号と、前記差信号とをそれぞれ量子化する際のビット数の分配割合を設定するビット数設定工程と、
前記ビット数設定工程によって決定された前記分配割合に応じて前記和信号と、前記差信号をそれぞれ量子化する量子化工程と、
を含むことを特徴とする符号化方法。 In an encoding method for compressing a stereo signal using a sum signal of a left component signal and a right component signal of a stereo signal and a difference signal,
A complexity calculation step for determining the complexity of the sum signal and the complexity of the difference signal;
A bit number setting step for setting a distribution ratio of the number of bits when each of the sum signal and the difference signal is quantized according to the complexity obtained by the complexity calculation step;
A quantization step of quantizing the sum signal and the difference signal according to the distribution ratio determined by the bit number setting step;
The encoding method characterized by including.
前記和信号の複雑度と、前記差信号の複雑度とをそれぞれ求める複雑度算出工程と、
前記複雑度算出工程によって求めた複雑度に応じて前記和信号と、前記差信号とをそれぞれ量子化する際のビット数の分配割合を設定するビット数設定工程と、
前記ビット数設定工程によって決定された前記分配割合に応じて前記和信号と、前記差信号をそれぞれ量子化する量子化工程と、
をコンピュータに実行させることを特徴とする符号化プログラム。 In an encoding program for compressing a stereo signal using a sum signal of a left component signal and a right component signal of a stereo signal and a difference signal,
A complexity calculation step for determining the complexity of the sum signal and the complexity of the difference signal;
A bit number setting step of setting a distribution ratio of the number of bits when each of the sum signal and the difference signal is quantized according to the complexity obtained by the complexity calculation step;
A quantization step for quantizing the sum signal and the difference signal according to the distribution ratio determined by the bit number setting step;
An encoding program for causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006117345A JP2007183528A (en) | 2005-12-06 | 2006-04-21 | Encoding apparatus, encoding method, and encoding program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005352470 | 2005-12-06 | ||
| JP2006117345A JP2007183528A (en) | 2005-12-06 | 2006-04-21 | Encoding apparatus, encoding method, and encoding program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007183528A true JP2007183528A (en) | 2007-07-19 |
Family
ID=38339676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006117345A Pending JP2007183528A (en) | 2005-12-06 | 2006-04-21 | Encoding apparatus, encoding method, and encoding program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007183528A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009530653A (en) * | 2006-03-13 | 2009-08-27 | フランス テレコム | Method for encoding sound source signal, corresponding encoding device, decoding method and device, signal, computer program product |
| JP2012141412A (en) * | 2010-12-28 | 2012-07-26 | Fujitsu Ltd | Encoder, encoding method, and encoding program |
| EP2618330A2 (en) | 2012-01-18 | 2013-07-24 | Fujitsu Limited | Audio coding device and method |
| EP2690622A1 (en) | 2012-07-24 | 2014-01-29 | Fujitsu Limited | Audio decoding device and audio decoding method |
| US8818539B2 (en) | 2009-07-03 | 2014-08-26 | Fujitsu Limited | Audio encoding device, audio encoding method, and video transmission device |
| US8818764B2 (en) | 2010-03-30 | 2014-08-26 | Fujitsu Limited | Downmixing device and method |
| EP2770505A1 (en) | 2013-02-20 | 2014-08-27 | Fujitsu Limited | Audio coding device and method |
| US8831960B2 (en) | 2011-08-30 | 2014-09-09 | Fujitsu Limited | Audio encoding device, audio encoding method, and computer-readable recording medium storing audio encoding computer program for encoding audio using a weighted residual signal |
| US8862479B2 (en) | 2010-01-20 | 2014-10-14 | Fujitsu Limited | Encoder, encoding system, and encoding method |
| EP2876640A2 (en) | 2013-11-22 | 2015-05-27 | Fujitsu Limited | Audio encoding device and audio coding method |
| US9111533B2 (en) | 2010-11-30 | 2015-08-18 | Fujitsu Limited | Audio coding device, method, and computer-readable recording medium storing program |
| WO2020009082A1 (en) * | 2018-07-03 | 2020-01-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Encoding device and encoding method |
| JP2021047431A (en) * | 2015-09-25 | 2021-03-25 | ヴォイスエイジ・コーポレーション | Method and system using long-term correlation difference between left and right channels for time domain down-mixing stereo audio signal into primary and secondary channels |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0787033A (en) * | 1993-09-17 | 1995-03-31 | Sharp Corp | Stereo audio signal coder |
| JP2001053617A (en) * | 1999-08-05 | 2001-02-23 | Ricoh Co Ltd | Device and method for digital sound single encoding and medium where digital sound signal encoding program is recorded |
| JP2001255892A (en) * | 2000-03-13 | 2001-09-21 | Nippon Telegr & Teleph Corp <Ntt> | Coding method of stereophonic signal |
| JP2002268694A (en) * | 2001-03-13 | 2002-09-20 | Nippon Hoso Kyokai <Nhk> | Method and device for encoding stereophonic signal |
| JP2003044096A (en) * | 2001-08-03 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Method and device for encoding multi-channel audio signal, recording medium and music distribution system |
| JP2003516555A (en) * | 1999-12-08 | 2003-05-13 | フラオホッフェル−ゲゼルシャフト ツル フェルデルング デル アンゲヴァンドテン フォルシュング エー．ヴェー． | Stereo sound signal processing method and apparatus |
| JP2003271199A (en) * | 2002-03-15 | 2003-09-25 | Nippon Hoso Kyokai <Nhk> | Encoding method and encoding system for audio signal |
| JP2004053626A (en) * | 2002-07-16 | 2004-02-19 | Nippon Telegr & Teleph Corp <Ntt> | Noise superposition quantity evaluating method, method and apparatus for noise suppression, noise superposition quantity evaluating program, noise suppressing program, and recording medium where noise superposition quantity evaluating program or/and noise suppressing program is/are recorded |
| JP2005522722A (en) * | 2002-04-10 | 2005-07-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Stereo signal encoding |
| JP2005202248A (en) * | 2004-01-16 | 2005-07-28 | Fujitsu Ltd | Audio encoding device and frame region allocating circuit of audio encoding device |
| JP2005265865A (en) * | 2004-02-16 | 2005-09-29 | Matsushita Electric Ind Co Ltd | Method and device for bit allocation for audio encoding |
| JP2005328542A (en) * | 2004-05-12 | 2005-11-24 | Samsung Electronics Co Ltd | Digital signal encoding method and apparatus using plurality of lookup tables, and method of generating plurality of lookup tables |
-
2006
- 2006-04-21 JP JP2006117345A patent/JP2007183528A/en active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0787033A (en) * | 1993-09-17 | 1995-03-31 | Sharp Corp | Stereo audio signal coder |
| JP2001053617A (en) * | 1999-08-05 | 2001-02-23 | Ricoh Co Ltd | Device and method for digital sound single encoding and medium where digital sound signal encoding program is recorded |
| JP2003516555A (en) * | 1999-12-08 | 2003-05-13 | フラオホッフェル−ゲゼルシャフト ツル フェルデルング デル アンゲヴァンドテン フォルシュング エー．ヴェー． | Stereo sound signal processing method and apparatus |
| JP2001255892A (en) * | 2000-03-13 | 2001-09-21 | Nippon Telegr & Teleph Corp <Ntt> | Coding method of stereophonic signal |
| JP2002268694A (en) * | 2001-03-13 | 2002-09-20 | Nippon Hoso Kyokai <Nhk> | Method and device for encoding stereophonic signal |
| JP2003044096A (en) * | 2001-08-03 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Method and device for encoding multi-channel audio signal, recording medium and music distribution system |
| JP2003271199A (en) * | 2002-03-15 | 2003-09-25 | Nippon Hoso Kyokai <Nhk> | Encoding method and encoding system for audio signal |
| JP2005522722A (en) * | 2002-04-10 | 2005-07-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Stereo signal encoding |
| JP2004053626A (en) * | 2002-07-16 | 2004-02-19 | Nippon Telegr & Teleph Corp <Ntt> | Noise superposition quantity evaluating method, method and apparatus for noise suppression, noise superposition quantity evaluating program, noise suppressing program, and recording medium where noise superposition quantity evaluating program or/and noise suppressing program is/are recorded |
| JP2005202248A (en) * | 2004-01-16 | 2005-07-28 | Fujitsu Ltd | Audio encoding device and frame region allocating circuit of audio encoding device |
| JP2005265865A (en) * | 2004-02-16 | 2005-09-29 | Matsushita Electric Ind Co Ltd | Method and device for bit allocation for audio encoding |
| JP2005328542A (en) * | 2004-05-12 | 2005-11-24 | Samsung Electronics Co Ltd | Digital signal encoding method and apparatus using plurality of lookup tables, and method of generating plurality of lookup tables |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009530653A (en) * | 2006-03-13 | 2009-08-27 | フランス テレコム | Method for encoding sound source signal, corresponding encoding device, decoding method and device, signal, computer program product |
| US8818539B2 (en) | 2009-07-03 | 2014-08-26 | Fujitsu Limited | Audio encoding device, audio encoding method, and video transmission device |
| US8862479B2 (en) | 2010-01-20 | 2014-10-14 | Fujitsu Limited | Encoder, encoding system, and encoding method |
| US8818764B2 (en) | 2010-03-30 | 2014-08-26 | Fujitsu Limited | Downmixing device and method |
| US9111533B2 (en) | 2010-11-30 | 2015-08-18 | Fujitsu Limited | Audio coding device, method, and computer-readable recording medium storing program |
| JP2012141412A (en) * | 2010-12-28 | 2012-07-26 | Fujitsu Ltd | Encoder, encoding method, and encoding program |
| US8831960B2 (en) | 2011-08-30 | 2014-09-09 | Fujitsu Limited | Audio encoding device, audio encoding method, and computer-readable recording medium storing audio encoding computer program for encoding audio using a weighted residual signal |
| EP2618330A2 (en) | 2012-01-18 | 2013-07-24 | Fujitsu Limited | Audio coding device and method |
| EP2690622A1 (en) | 2012-07-24 | 2014-01-29 | Fujitsu Limited | Audio decoding device and audio decoding method |
| EP2770505A1 (en) | 2013-02-20 | 2014-08-27 | Fujitsu Limited | Audio coding device and method |
| EP2876640A2 (en) | 2013-11-22 | 2015-05-27 | Fujitsu Limited | Audio encoding device and audio coding method |
| US9837085B2 (en) | 2013-11-22 | 2017-12-05 | Fujitsu Limited | Audio encoding device and audio coding method |
| JP2021047431A (en) * | 2015-09-25 | 2021-03-25 | ヴォイスエイジ・コーポレーション | Method and system using long-term correlation difference between left and right channels for time domain down-mixing stereo audio signal into primary and secondary channels |
| JP7140817B2 (en) | 2015-09-25 | 2022-09-21 | ヴォイスエイジ・コーポレーション | Method and system using long-term correlation difference between left and right channels for time-domain downmixing of stereo audio signals into primary and secondary channels |
| WO2020009082A1 (en) * | 2018-07-03 | 2020-01-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Encoding device and encoding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007183528A (en) | Encoding apparatus, encoding method, and encoding program | |
| JP4741476B2 (en) | Encoder | |
| EP1796081A2 (en) | Encoding apparatus, encoding method, and computer product | |
| US9659573B2 (en) | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program | |
| JP5485909B2 (en) | Audio signal processing method and apparatus | |
| AU2016202800B2 (en) | Signal processing apparatus and method, and program | |
| JP5267362B2 (en) | Audio encoding apparatus, audio encoding method, audio encoding computer program, and video transmission apparatus | |
| JP6133408B2 (en) | Efficient encoding and decoding of multi-channel audio signals with multiple substreams | |
| JP6474845B2 (en) | Reduced complexity converter SNR calculation | |
| US20090106030A1 (en) | Method of signal encoding | |
| IL201469A (en) | Temporal envelope shaping for spatial audio coding using frequency domain wiener filtering | |
| US9076440B2 (en) | Audio signal encoding device, method, and medium by correcting allowable error powers for a tonal frequency spectrum | |
| KR20160120713A (en) | Decoding device, encoding device, decoding method, encoding method, terminal device, and base station device | |
| JP4947145B2 (en) | Decoding device, decoding method, and program | |
| JP2003345398A (en) | Audio signal encoding method | |
| KR100928967B1 (en) | Method and apparatus for encoding / decoding audio signal | |
| JP3725876B2 (en) | Audio encoder and its encoding processing program | |
| JP2006276877A (en) | Decoding method for converted and encoded data and decoding device for converted and encoded data | |
| Kurniawati et al. | Decoder Based Approach to Enhance Low Bit Rate Audio | |
| JP2008015357A (en) | Encoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110502 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110801 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110906 |