JP4649351B2 - Digital data decoding device - Google Patents

Digital data decoding device Download PDF

Info

Publication number
JP4649351B2
JP4649351B2 JP2006063605A JP2006063605A JP4649351B2 JP 4649351 B2 JP4649351 B2 JP 4649351B2 JP 2006063605 A JP2006063605 A JP 2006063605A JP 2006063605 A JP2006063605 A JP 2006063605A JP 4649351 B2 JP4649351 B2 JP 4649351B2
Authority
JP
Japan
Prior art keywords
frequency band
spectrum data
quantization
interpolation
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006063605A
Other languages
Japanese (ja)
Other versions
JP2007240902A (en
Inventor
修 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2006063605A priority Critical patent/JP4649351B2/en
Publication of JP2007240902A publication Critical patent/JP2007240902A/en
Application granted granted Critical
Publication of JP4649351B2 publication Critical patent/JP4649351B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To correct and interpolate a coarsely quantized spectrum and a deleted spectrum, on encoding, so as not to feel insufficiency and sense of incongruity, when compressed digital audio data are decoded. <P>SOLUTION: The digital data decoding device 2 decodes a spectrum data in which a frame including a plurality of signals existing in a prescribed period is sequentially input and divided into a plurality of frequency bands, and which is quantized and coded for each frequency band based on an index which is set for each frequency band. The digital decoding device 2 includes an interpolation processing section 25 for correcting and interpolating the spectrum data in which the frequency band of small quantization bit allocation or zero quantization bit allocation, in a reversely quantized spectrum data belonging to a certain frame, by using the spectrum data existing in the same frequency band of either or both of preceding and following frames of the certain frame. <P>COPYRIGHT: (C)2007,JPO&amp;INPIT

Description

本発明は、ミニディスク(MD)やフラッシュメモリ等の記録媒体に記録された圧縮されたデジタルオーディオデータやデジタルビデオデータ等のデジタルデータを復号化するデジタルデータ復号化装置に関する。   The present invention relates to a digital data decoding apparatus for decoding digital data such as compressed digital audio data and digital video data recorded on a recording medium such as a mini disk (MD) or a flash memory.

しかし、上記圧縮されたデジタルオーディオデータは、圧縮符号化技術により符号化する際に一部の情報が削除されているため、楽音や音声等を忠実に再生できる本格的なオーディオ再生装置に供給した場合には、人は物足りなさや違和感を受けることがしばしばある。これは、以下に示す理由による。すなわち、圧縮符号化技術では、符号化する際に、聴覚心理特性上人の耳には聴こえにくい又は聴き分けにくいと考えられるスペクトルの情報を削除している。ところが、上記した本格的なオーディオ再生装置では、そのようなスペクトルの情報であっても忠実に再生することができるため、上記圧縮されたデジタルオーディオデータを再生した場合には、本来あるべき情報が再生されないからである。   However, since the compressed digital audio data is partly deleted when it is encoded by the compression encoding technology, it is supplied to a full-fledged audio playback device that can faithfully reproduce musical sounds and voices. In some cases, people often feel unsatisfactory or uncomfortable. This is due to the following reason. In other words, in the compression coding technique, spectrum information that is difficult to hear or hear from the human ear due to psychoacoustic characteristics is deleted when coding. However, since the above-described full-fledged audio reproduction device can faithfully reproduce even such spectrum information, when the compressed digital audio data is reproduced, there should be information that should be originally present. It is because it is not reproduced.

そこで、最近では、上記問題を解決するために、上記圧縮されたデジタルオーディオデータを伸長復号化する際に、圧縮符号化時に削除した情報を擬似的に補間する技術が提案されている。例えば、従来のデジタルオーディオデータ復号化装置には、核復号化手段と、拡張復号化手段とを備えているものがある。核復号化手段は、入力された符号化列を復号化して、第1周波数スペクトル情報を生成する。拡張復号化手段は、上記第1周波数スペクトル情報に基づいて、符号化列によって表されていない周波数帯域に、第1周波数スペクトル情報が示す調波構造を周波数軸上で延長したものに等しい調波構造を示す第2周波数スペクトル情報を生成する(例えば、特許文献1参照。)。
特開2003−108197号公報(請求項1,[0009]〜[0019]、図1〜図5)
Therefore, recently, in order to solve the above problem, a technique has been proposed in which information deleted during compression encoding is artificially interpolated when the compressed digital audio data is decompressed and decoded. For example, some conventional digital audio data decoding devices include a nuclear decoding unit and an extended decoding unit. The nuclear decoding unit decodes the input coded sequence to generate first frequency spectrum information. Based on the first frequency spectrum information, the extended decoding means has harmonics equal to those obtained by extending the harmonic structure indicated by the first frequency spectrum information on the frequency axis in a frequency band not represented by the encoded sequence. Second frequency spectrum information indicating the structure is generated (for example, see Patent Document 1).
Japanese Patent Laying-Open No. 2003-108197 (Claims 1, [0009] to [0019], FIGS. 1 to 5)

上記した従来のデジタルオーディオデータ復号化装置では、符号化列に表された帯域内でオーディオ信号に比較的一般的な性質である調波構造を抽出して、高域に拡張スペクトル情報を追加的に復元したり(上記特許文献1の段落[0017]参照)、周波数スペクトル情報のエネルギー分布が調波周期Tにおいて余弦関数で表現できると仮定して、1つの調波周期Tの間の低域周波数スペクトル情報をそのまま高域に繰り返しコピーしたり増幅したりしている(上記特許文献1の段落[0019]参照)。   In the above-described conventional digital audio data decoding apparatus, the harmonic structure, which is a relatively general property of the audio signal, is extracted within the band represented by the encoded sequence, and the extended spectrum information is additionally added to the high band. (See paragraph [0017] of Patent Document 1 above) or assuming that the energy distribution of the frequency spectrum information can be expressed by a cosine function in the harmonic period T. The frequency spectrum information is repeatedly copied and amplified as it is in the high frequency region (see paragraph [0019] of Patent Document 1).

ところが、ある符号化列の復号化された低域周波数スペクトル情報に含まれる調波構造と、符号化の際に削除された実際の高域の調波構造とが同一であるとは限らない。また、周波数スペクトル情報のエネルギー分布が調波周期Tにおいて余弦関数で表現できるという仮定が常に当てはまるとは限らない。一方、この仮定が妥当だとしても、低域周波数スペクトル情報をそのまま高域に繰り返しコピーや増幅しただけでは、符号化の際に削除された実際の高域が復元できたとはいいがたい。従って、補間は不完全であり、上記した物足りなさや違和感が解消されない場合がある。また、上記した従来のデジタルオーディオデータ復号化装置では、圧縮符号化時に完全に削除された高域に、原音に近い成分がたとえ付加することができたとしても、量子化ビット数が非零の帯域の量子化ノイズを除去することができないという課題があった。
以上説明した不都合は、アナログビデオ信号を、視覚心理特性等に基づいて、デジタルビデオデータに圧縮符号化した後、記録媒体に記録し、記録媒体から読み出された圧縮符号化されたデジタルビデオデータを伸長復号化する場合にも同様に当てはまる。
However, the harmonic structure included in the decoded low-frequency spectrum information of a certain coded sequence is not necessarily the same as the actual high-frequency harmonic structure deleted at the time of encoding. Further, the assumption that the energy distribution of the frequency spectrum information can be expressed by a cosine function in the harmonic period T is not always true. On the other hand, even if this assumption is valid, it is hard to say that the actual high frequency deleted at the time of encoding can be restored by simply copying and amplifying the low frequency spectrum information directly to the high frequency. Therefore, the interpolation is incomplete, and the above-mentioned lack of satisfaction and discomfort may not be resolved. In the above-described conventional digital audio data decoding apparatus, even if a component close to the original sound can be added to the high frequency band completely deleted at the time of compression encoding, the number of quantization bits is non-zero. There was a problem that the quantization noise in the band could not be removed.
The inconveniences described above are that the analog video signal is compression-encoded into digital video data based on visual psychological characteristics, etc., then recorded on the recording medium, and read out from the recording medium. The same applies to the case of decompression decoding.

本発明は、上述した事情に鑑みてなされたものであり、上述のような課題を解決することができるデジタルデータ復号化装置を提供することを目的とする。   The present invention has been made in view of the above-described circumstances, and an object thereof is to provide a digital data decoding apparatus that can solve the above-described problems.

上記課題を解決するために、請求項1記載の発明は、所定時間内に存在する複数の信号を有するフレームが順次時系列に入力され、さらに複数の周波数帯域に分割され、周波数帯域毎に設定される指標に基づいて周波数帯域毎に量子化、符号化されているスペクトルデータを復号化するデジタルデータ復号化装置に係り、あるフレームに属する逆量子化されたスペクトルデータのうち、量子化ビット割り当てが小さい前記周波数帯域に存在する前記スペクトルデータ又は量子化ビット割り当てが零の前記周波数帯域に存在すべき前記スペクトルデータを、前記あるフレームより前のフレーム又は後のフレームのいずれか一方又は両方の同一周波数帯域に存在する前記スペクトルデータを用いて補正、又は補間する補間処理部を具備し、前記補間処理部は、前記あるフレームより前のフレーム又は後のフレームのいずれか一方又は両方の同一周波数帯域に存在する前記スペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性とを合成して作製した合成マスキングしきい値と、前記補間で得られたスペクトルデータの量子化雑音パワー又はエネルギーとの比が、前記量子化ビット割り当てが大きい帯域の前記比より大きくなるように、前記補間で得られたスペクトルデータに乗算すべき係数を決定し、前記補間で得られたスペクトルデータにそれぞれ乗算することを特徴としている。 In order to solve the above-mentioned problem, according to the first aspect of the present invention, frames having a plurality of signals existing within a predetermined time are sequentially input in time series, further divided into a plurality of frequency bands, and set for each frequency band. The present invention relates to a digital data decoding apparatus that decodes spectrum data that is quantized and encoded for each frequency band based on a specified index, and assigns quantization bits to dequantized spectrum data belonging to a certain frame. The spectrum data existing in the frequency band having a small value or the spectrum data to be present in the frequency band in which the quantization bit allocation is zero is the same in either one or both of the frames before and after the certain frame. correction using the spectral data existing in the frequency band, or comprises an interpolation processor for interpolating the complement The processing unit combines the masking threshold value calculated using the spectrum data existing in the same frequency band of either one or both of the previous frame and the subsequent frame and the minimum audible limit characteristic. Obtained by the interpolation so that the ratio of the produced synthetic masking threshold and the quantization noise power or energy of the spectral data obtained by the interpolation is larger than the ratio of the band where the quantization bit allocation is large. A coefficient to be multiplied with the obtained spectrum data is determined, and each of the spectrum data obtained by the interpolation is multiplied .

また、請求項2記載の発明は、請求項1に記載のデジタルデータ復号化装置に係り、前記補間処理部は、あるフレームに属する逆量子化されたスペクトルデータのうち、量子化ビット割り当てが小さい前記周波数帯域において、0に丸められているスペクトルデータを、前記補間で得られたスペクトルデータ、前記補間及び係数の乗算で得られたスペクトルデータあるいは、前記補正及び値の再補正で得られたスペクトルデータのいずれかと、前記あるフレームより前のフレーム又は後のフレームのいずれか一方又は両方の同一周波数帯域に存在する前記スペクトルデータとを用いて補間することを特徴としている。 Further, an invention according to claim 2, relates to a digital data decoding apparatus according to claim 1, wherein the interpolation processing unit of the dequantized spectral data belonging to a certain frame, a small quantization bit allocation Spectral data rounded to zero in the frequency band, spectral data obtained by the interpolation, spectral data obtained by the interpolation and multiplication of coefficients, or a spectrum obtained by the correction and re-correction of values. Interpolation is performed using any one of the data and the spectrum data existing in the same frequency band of either one or both of the frame before and after the certain frame.

本発明によれば、圧縮されたデジタルデータを復号化する際に、量子化分解能が2値、4値等の低いスペクトルの分解能を高めることができ、符号化時に削除されたスペクトルを、物足りなさや違和感を受けることなく、補間することができる。この結果、再生された楽音や音声等からなるアナログ信号は高品質である。   According to the present invention, when decoding compressed digital data, the resolution of a spectrum having a low quantization resolution such as binary or quaternary can be increased, and a spectrum deleted at the time of encoding can be reduced. Interpolation is possible without receiving a sense of incongruity. As a result, the analog signal made up of reproduced musical sounds, voices, etc. is of high quality.

実施の形態1.
図1は、本発明の実施の形態1に係るデジタルデータ復号化装置を構成する補間処理部の構成を示すブロック図、図2は、図1に示す補間処理部を適用したデジタルオーディオ記録再生システムの構成を示すブロック図である。この例のデジタルオーディオ記録再生システムは、ミニディスク(MD)等で採用されている音声圧縮符号化技術の1つであるATRAC(Adaptive TRanceform Acoustic Coding)方式が適用されており、図2に示すように、デジタルオーディオデータ符号化装置1と、デジタルオーディオデータ復号化装置2とから構成されている。量子化ビット数は、例えば、0〜16ビットであり、量子化データは符号を持つため、量子化ビット数の1は存在せず、0以外の最低量子化ビット数は2となっている。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of an interpolation processing unit constituting the digital data decoding apparatus according to Embodiment 1 of the present invention, and FIG. 2 is a digital audio recording / reproducing system to which the interpolation processing unit shown in FIG. 1 is applied. It is a block diagram which shows the structure of these. The digital audio recording / playback system of this example employs an ATRAC (Adaptive TRanceform Acoustic Coding) system, which is one of the audio compression coding techniques employed in minidiscs (MD) and the like, as shown in FIG. In addition, the digital audio data encoding apparatus 1 and the digital audio data decoding apparatus 2 are configured. The number of quantization bits is, for example, 0 to 16 bits. Since the quantized data has a sign, there is no quantization bit number of 1 and the minimum number of quantization bits other than 0 is 2.

デジタルオーディオデータ符号化装置1は、デジタルオーディオデータDADをデジタルオーディオ符号化データCDADに圧縮符号化した後、ミニディスク等の記録媒体3に記録する。ここで、デジタルオーディオデータDADは、楽音や音声等からなるアナログオーディオ信号がリニアPCM(Pulse Code Modulation)と呼ばれる符号化方式により、圧縮することなく符号化されたものである。記録媒体3がデジタルオーディオデータ復号化装置2にセットされると、デジタルオーディオデータ復号化装置2は、記録媒体3からデジタルオーディオ符号化データCDADを読み出した後、デジタルオーディオデータDAD'に復号化する。   The digital audio data encoding apparatus 1 compresses and encodes the digital audio data DAD into digital audio encoded data CDAD, and then records it on a recording medium 3 such as a mini disk. Here, the digital audio data DAD is obtained by encoding an analog audio signal composed of musical sounds, voices, and the like without being compressed by an encoding method called linear PCM (Pulse Code Modulation). When the recording medium 3 is set in the digital audio data decoding device 2, the digital audio data decoding device 2 reads the digital audio encoded data CDAD from the recording medium 3 and then decodes it into the digital audio data DAD ′. .

デジタルオーディオデータ符号化装置1は、周波数帯域分割部11と、時間周波数変換部12と、帯域毎のパワー算出部13と、マスキング算出部14と、最小可聴限合成部15と、量子化ビット数算出部16と、スケールファクタ算出部17と、量子化部18と、パッキング部19とを有している。デジタルオーディオデータ符号化装置1の入力端には、例えば、44.1kHzのサンプリング周波数でサンプリングされた圧縮されていないデジタルオーディオデータDAD(マルチビットデータ)が所定時間毎、例えば約11.6msのフレーム単位で入力される。   The digital audio data encoding apparatus 1 includes a frequency band division unit 11, a time frequency conversion unit 12, a power calculation unit 13 for each band, a masking calculation unit 14, a minimum audible limit synthesis unit 15, and the number of quantization bits. The calculation unit 16, the scale factor calculation unit 17, the quantization unit 18, and the packing unit 19 are included. An uncompressed digital audio data DAD (multi-bit data) sampled at a sampling frequency of 44.1 kHz, for example, at a predetermined time, for example, a frame of about 11.6 ms is input to the input end of the digital audio data encoding device 1. Entered in units.

周波数帯域分割部11は、帯域分割フィルタの1種である直交鏡像フィルタ(QMF;Quadrature Mirror Filter)を有し、入力されたデジタルオーディオデータDADを複数の周波数帯域(サブバンドフレーム)に分割する。サブバンドフレームとしては、例えば、約0〜5.5kHzの低帯域サブバンドフレームSB11、約5.5〜11kHzの中帯域サブバンドフレームSB12及び約11〜22kHzの高帯域サブバンドフレームSB13の3帯域からなるものや、約0〜5.5kHzの低帯域サブバンドフレームSB21、約5.5〜11kHzの中帯域サブバンドフレームSB22、約11〜16.5kHzの中高帯域サブバンドフレームSB23及び約16.5〜22kHzの高帯域サブバンドフレームSB24の4帯域からなるものがある。   The frequency band dividing unit 11 has a quadrature mirror filter (QMF; Quadrature Mirror Filter) which is one type of band dividing filter, and divides the input digital audio data DAD into a plurality of frequency bands (subband frames). The subband frames include, for example, three bands of a low-band subband frame SB11 of about 0 to 5.5 kHz, a medium-band subband frame SB12 of about 5.5 to 11 kHz, and a high-band subband frame SB13 of about 11 to 22 kHz. Or a low-band subband frame SB21 of about 0 to 5.5 kHz, a medium-band subband frame SB22 of about 5.5 to 11 kHz, a medium-high band subband frame SB23 of about 11 to 16.5 kHz, and about 16. There is one composed of four bands of a high-band subband frame SB24 of 5 to 22 kHz.

時間周波数変換部12は、複数のサブバンドフレーム単位に分割されたデジタルオーディオデータについて、修正離散余弦変換(MDCT;Modified Discrete Cosine Transform)処理を施すことにより、対応する周波数帯域の周波数成分のMDCT係数(スペクトルデータ)に直交変換する。帯域毎のパワー算出部13は、上記周波数帯域毎に設けられており、対応する周波数帯域の周波数成分のMDCT係数を2乗和等して、i個の各周波数帯域のスペクトルパワーSi(i=1,2,…,I、例えば、I=25)を算出する。ただし、このスペクトルパワーSiの算出方法については特に限定しない。ここで、上記周波数帯域には、臨界帯域(単位:Bark)等が用いられる。臨界帯域とは、周波数選択性、マスキングしきい値等の特定の音響心理学的規則性が有効な広帯域オーディオスペクトルの特性的部分をいう。また、パワーとは、単位時間当たりのエネルギーをいう。なお、マスキングしきい値については後述する。   The time frequency conversion unit 12 performs a modified discrete cosine transform (MDCT) process on the digital audio data divided into a plurality of subband frames, thereby performing MDCT coefficients of frequency components in the corresponding frequency band. Orthogonal transform to (spectrum data). The power calculation unit 13 for each band is provided for each frequency band, and the sum of squares of the MDCT coefficients of the frequency components of the corresponding frequency band is used to calculate the spectral power Si (i = i = 1, 2,..., I, for example, I = 25). However, the method for calculating the spectral power Si is not particularly limited. Here, a critical band (unit: Bark) or the like is used as the frequency band. The critical band is a characteristic part of a wideband audio spectrum in which specific psychoacoustic regularity such as frequency selectivity and masking threshold is effective. The power is energy per unit time. The masking threshold will be described later.

マスキング算出部14は、上記周波数帯域毎に、各々のスペクトルパワーSiが他の周波数帯に与える同時マスキング効果によるマスキングしきい値を算出し、その最大値を当該スペクトルパワーSiに対するマスキングしきい値とする。ここで、同時マスキング効果とは、複数の周波数成分の音が同時に発生している場合、ある大きな音圧レベルの音によって、その近傍の周波数に存在する音圧レベルの低い別の音がマスキングされ、人には聴こえない又は聴こえにくいという聴感効果をいう。   For each frequency band, the masking calculation unit 14 calculates a masking threshold value due to the simultaneous masking effect that each spectrum power Si gives to other frequency bands, and sets the maximum value as a masking threshold value for the spectrum power Si. To do. Here, the simultaneous masking effect means that when sounds of multiple frequency components are generated at the same time, another sound with a low sound pressure level present at a nearby frequency is masked by a sound with a certain large sound pressure level. It means an audible effect that is inaudible to humans or difficult to hear.

最小可聴限合成部15は、式(1)等で表される最小可聴限特性lt(f)(dB)等と上記マスキングしきい値とを合成して、図3に示す最終のマスキングしきい値Mi(i=1,2,…,I、例えば、I=25)を各周波数帯域について決定する。この合成処理において、最小可聴限特性lt(f)(dB)と上記マスキングしきい値とのうち、大きい値の方を採用する。最小可聴限特性lt(f)は、テーブルROMに予め記憶しておいても良い。図3において、破線が合成されたマスキングカーブを示している。
lt(f)=−0.6×3.64×(f/1000)−0.8+6.5×exp{−0.6×(f/1000−3.3)}−10−3×(f/1000) …(1)
なお、上記のfは周波数(Hz)である。
The minimum audible limit synthesizing unit 15 synthesizes the minimum audible limit characteristic lt (f) (dB) represented by the equation (1) and the like and the above masking threshold value to obtain the final masking threshold shown in FIG. A value Mi (i = 1, 2,..., I, for example, I = 25) is determined for each frequency band. In this synthesis process, the larger one of the minimum audible limit characteristic lt (f) (dB) and the masking threshold is adopted. The minimum audible limit characteristic lt (f) may be stored in advance in a table ROM. FIG. 3 shows a masking curve in which broken lines are synthesized.
lt (f) = − 0.6 × 3.64 × (f / 1000) −0.8 + 6.5 × exp {−0.6 × (f / 1000−3.3) 2 } −10 −3 × (F / 1000) 4 (1)
In addition, said f is a frequency (Hz).

量子化ビット数算出部16は、まず、i(周波数帯域のインデックス)毎に、帯域毎のパワー算出部13において算出されたスペクトルパワーSiと、最小可聴限合成部15において算出された各周波数帯域のマスキングしきい値Miとの比SMRi(式(2)参照)をすべての周波数帯域について算出する。
SMRi=Si/Mi …(2)
The quantization bit number calculation unit 16 firstly, for each i (frequency band index), the spectrum power Si calculated by the power calculation unit 13 for each band and each frequency band calculated by the minimum audible limit synthesis unit 15. The ratio SMRi (see equation (2)) to the masking threshold value Mi is calculated for all frequency bands.
SMRi = Si / Mi (2)

次に、量子化ビット数算出部16は、各周波数帯域の上記スペクトルパワーSiをnビット(n=0〜16)で量子化した場合の、当該スペクトルパワーSiと量子化雑音パワーNi(n)との比SNRi(n)(式(3)参照)を算出する。
SNRi(n)=Si/Ni(n) …(3)
上記比SNRi(n)は、統計的には、信号の特性に応じた定数(20×log10)となるので、統計処理によって予め算出しておいても良い。
さらに、量子化ビット数算出部16は、上記比SNRi(n)と上記比SMRiとの比から、マスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)(式(4)参照)を算出する。
MNRi(n)=SNRi(n)/SMRi …(4)
Next, the quantization bit number calculation unit 16 quantizes the spectrum power Si and the quantization noise power Ni (n) when the spectrum power Si of each frequency band is quantized with n bits (n = 0 to 16). The ratio SNRi (n) (see equation (3)) is calculated.
SNRi (n) = Si / Ni (n) (3)
Since the ratio SNRi (n) is statistically a constant (20 × log 10 2 n ) corresponding to the signal characteristics, it may be calculated in advance by statistical processing.
Further, the quantization bit number calculation unit 16 calculates the ratio MNRi (n) (formula (N)) of the masking threshold value Mi and the quantization noise power Ni (n) from the ratio of the ratio SNRi (n) and the ratio SMRi. 4) is calculated.
MNRi (n) = SNRi (n) / SMRi (4)

これ以降、量子化ビット数算出部16は、上記ビット数nを0から順に大きくしてゆき、その都度、各周波数帯域のマスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)を算出し、当該比MNRi(n)が最小となる周波数帯域から順にビットを割り当ててゆき、上記ビット数nを更新する毎に、同様に比MNRi(n)が最小となる周波数帯域にビット割り当てを行い、所望のビットレートに応じた所定の割当可能ビット数となるまでビット割り当てを行う。すなわち、上記スペクトルパワーSiのうち、マスキングしきい値Miを超えた部分の長さが最も長い周波数帯域から順次ビット割り当てが行われることになる。このように算出された量子化ビット数WL(i)は、同一周波数帯域内のスペクトルに対し、同一に配分される。ただし、スペクトルパワーSiを基に、聴覚心理特性を利用するビット配分の方法は、これに限ったものではない。   Thereafter, the quantization bit number calculation unit 16 sequentially increases the bit number n from 0, and each time the ratio MNRi of the masking threshold value Mi and the quantization noise power Ni (n) in each frequency band. (N) is calculated, bits are allocated in order from the frequency band in which the ratio MNRi (n) is the smallest, and each time the number of bits n is updated, the frequency band in which the ratio MNRi (n) is similarly minimized. Bit allocation is performed until a predetermined number of allocatable bits corresponding to a desired bit rate is reached. That is, bit allocation is sequentially performed from the frequency band having the longest length of the spectrum power Si that exceeds the masking threshold Mi. The quantization bit number WL (i) calculated in this way is equally distributed to the spectrum in the same frequency band. However, the bit allocation method using the psychoacoustic characteristics based on the spectrum power Si is not limited to this.

一方、スケールファクタ算出部17は、時間周波数変換部12において直交変換された各周波数帯域の周波数成分のMDCT係数の絶対最大値(例えば、16ビット、フル振幅を0dBとする。)から約2dB毎にスケールファクタ(指標)(例えば、0dBの場合、60)を算出する。このスケールファクタは、スペクトル(MDCT係数)のスケール(大きさ)の因子を表しており、一般的には、量子化される周波数単位の中で、最大スペクトルの絶対値をコード化することにより算出される。すなわち、各周波数帯域のMDCT係数の絶対最大値をKmax(i)、その時のスケールファクタをSF(i)とすれば、式(5)を満たすスケールファクタSF(i)が算出される。
SF(i)×2−1/3≦Kmax(i)<SF(i) …(5)
On the other hand, the scale factor calculation unit 17 is approximately every 2 dB from the absolute maximum value (for example, 16 bits, full amplitude is 0 dB) of the MDCT coefficient of the frequency component of each frequency band orthogonally transformed by the time-frequency conversion unit 12. A scale factor (index) (for example, 60 in the case of 0 dB) is calculated. This scale factor represents the scale (magnitude) factor of the spectrum (MDCT coefficient), and is generally calculated by coding the absolute value of the maximum spectrum among the quantized frequency units. Is done. That is, if the absolute maximum value of the MDCT coefficient in each frequency band is Kmax (i) and the scale factor at that time is SF (i), the scale factor SF (i) that satisfies the equation (5) is calculated.
SF (i) × 2 −1/3 ≦ Kmax (i) <SF (i) (5)

量子化部18は、量子化ビット数算出部16において算出された各周波数帯域の量子化ビット数WL(i)と、スケールファクタ算出部17において算出されたスケールファクタSF(i)と、時間周波数変換部12において直交変換された各周波数帯域の周波数成分のMDCT係数K(m)とに基づいて、式(6)に示す量子化した量子化係数MK(m)を算出する。
MK(m)=Round{K(m)×(2WL(i)−1−1)/SF(i)} …(6)
式(6)において、mはMDCT係数のインデックス、iは量子化周波数帯域のインデックスを表しており、Roundは小数点以下を四捨五入する関数である。
The quantization unit 18 includes a quantization bit number WL (i) of each frequency band calculated by the quantization bit number calculation unit 16, a scale factor SF (i) calculated by the scale factor calculation unit 17, and a time frequency. Based on the MDCT coefficient K (m) of the frequency component of each frequency band orthogonally transformed in the transform unit 12, the quantized quantization coefficient MK (m) shown in Expression (6) is calculated.
MK (m) = Round {K (m) × (2 WL (i) −1 −1) / SF (i)} (6)
In Expression (6), m represents an index of the MDCT coefficient, i represents an index of the quantization frequency band, and Round is a function that rounds off the decimal part.

パッキング部19は、量子化部18において量子化された量子化係数MK(m)、量子化ビット数算出部16において算出された各周波数帯域の量子化ビット数WL(i)、スケールファクタ算出部17において算出されたスケールファクタSF(i)をフレーム情報とともにパッキングした後、デジタルオーディオ符号化データCDADに符号化し、記録媒体3に記録する。   The packing unit 19 includes a quantization coefficient MK (m) quantized by the quantization unit 18, a quantization bit number WL (i) of each frequency band calculated by the quantization bit number calculation unit 16, and a scale factor calculation unit. After the scale factor SF (i) calculated in 17 is packed together with the frame information, it is encoded into the digital audio encoded data CDAD and recorded on the recording medium 3.

デジタルオーディオデータ復号化装置2は、アンパッキング部21と、逆量子化部22と、純音性判定部23と、切換部24と、補間処理部25と、周波数時間変換部26と、周波数帯域合成部27とを有している。アンパッキング部21は、記録媒体3から読み出されたデジタルオーディオ符号化データCDADを構成するフレーム情報に基づいて、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)をアンパッキングする。   The digital audio data decoding apparatus 2 includes an unpacking unit 21, an inverse quantization unit 22, a pure tone determination unit 23, a switching unit 24, an interpolation processing unit 25, a frequency time conversion unit 26, and a frequency band synthesis. Part 27. The unpacking unit 21 performs quantization coefficient MK (m), quantization bit number WL (i), and scale factor SF () based on frame information constituting the digital audio encoded data CDAD read from the recording medium 3. i) Unpacking.

逆量子化部22は、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を逆量子化するとともに、これらに基づいて、式(7)に示す逆量子化した、各周波数帯域の周波数成分の逆修正離散余弦変換(IMDCT;Inverse Modified Discrete Cosine Transform)係数I(m)(スペクトルデータ)を算出する。
I(m)=SF(i)×MK(m)/(2WL(i)−1−1) …(7)
式(7)において、mはIMDCT係数のインデックス、iは逆量子化周波数帯域のインデックスを表している。
The inverse quantization unit 22 inversely quantizes the quantization coefficient MK (m), the number of quantization bits WL (i), and the scale factor SF (i). Based on these, the inverse quantization shown in Expression (7) is performed. The inverse modified discrete cosine transform (IMDCT) coefficient I (m) (spectral data) of the frequency component of each frequency band is calculated.
I (m) = SF (i) × MK (m) / (2 WL (i) −1 −1) (7)
In Equation (7), m represents an IMDCT coefficient index, and i represents an inverse quantization frequency band index.

純音性判定部23は、逆量子化部22で逆量子化されたスケールファクタSF(i)の最大値SFmaxと平均値SFav(=ΣSFj/J)との差分値(SFmax−SFav)を求めるとともに、当該差分値(SFmax−SFav)の大小に基づいてデジタルオーディオ符号化データCDADの純音性の高低を判定し、その判定結果に基づいて切換部24の切換制御を行う。すなわち、純音性判定部23は、差分値(SFmax−SFav)が非常に大きい場合(例えば、70dBより大)に純音性が高いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を周波数時間変換部26に供給するように制御する。一方、純音性判定部23は、差分値(SFmax−SFav)が例えば70dB以下の場合に、純音性が低いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25に供給するように制御する。 Difference value of tonality determination unit 23, a maximum value SF max and the average value SF av of the scale factor SF which is inverse quantized by the inverse quantization unit 22 (i) (= ΣSFj / J) (SF max -SF av ) And the level of the pure tone of the digital audio encoded data CDAD is determined based on the magnitude of the difference value (SF max −SF av ), and the switching control of the switching unit 24 is performed based on the determination result. That is, the pure tone determination unit 23 determines that the pure tone property is high when the difference value (SF max −SF av ) is very large (for example, greater than 70 dB), and the switching unit 24 performs an inverse quantization unit. Control is performed so that the quantization coefficient MK (m), the quantization bit number WL (i), and the scale factor SF (i) inversely quantized at 22 are supplied to the frequency time conversion unit 26. On the other hand, the pure tone determination unit 23 determines that the pure tone is low when the difference value (SF max −SF av ) is, for example, 70 dB or less, and the inverse quantization unit 22 performs inverse quantization on the switching unit 24. Control is performed to supply the quantized coefficient MK (m), the number of quantized bits WL (i), and the scale factor SF (i) to the interpolation processing unit 25.

ここで、純音性判定部23を設け、純音性の高いデジタルオーディオ符号化データCDADに後述する補間処理を施さない理由について説明する。正弦波のように純音性の高いデジタルオーディオ符号化データCDADの場合、極めて狭い帯域にデータビットが集中しているため、後述する補間処理を施すと、上記した物足りなさや違和感が解消されないばかりか却って音質が劣化してしまうのである。
なお、純音性判定部23の詳細については、例えば、特開2005−195983号公報を参照されたい。
Here, the reason why the pure tone determination unit 23 is provided and the later-described interpolation processing is not applied to the digital audio encoded data CDAD having high pure tone will be described. In the case of digital audio encoded data CDAD having a high pure tone such as a sine wave, data bits are concentrated in an extremely narrow band. Therefore, when interpolation processing described later is performed, not only the above-mentioned unsatisfactory and uncomfortable feelings are eliminated. The sound quality will deteriorate.
For details of the pure tone determination unit 23, refer to, for example, Japanese Patent Application Laid-Open No. 2005-195983.

切換部24は、純音性判定部23の制御の下、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25又は周波数時間変換部26のいずれかに供給する。補間処理部25は、量子化ビット数WL(i)が「0」ビット、「2」ビット又は「3」ビットであるIMDCT係数I(m)(スペクトルデータ)について補間する。周波数時間変換部26は、サブバンドフレーム毎に、補間処理部25又は逆量子化部22から供給されるIMDCT係数I(m)(スペクトルデータ)について、IMDCT処理を施すことにより、対応する時間軸のデータに直交変換する。周波数帯域合成部27は、帯域合成フィルタの1種である逆直交鏡像フィルタ(Inverse QMF;Quadrature Mirror Filter)を有し、入力された複数の周波数帯域(サブバンドフレーム)を帯域合成してデジタルオーディオデータDAD'に復号化する。   The switching unit 24 controls the quantization coefficient MK (m), the quantization bit number WL (i), and the scale factor SF (i) dequantized by the inverse quantization unit 22 under the control of the pure tone determination unit 23. This is supplied to either the interpolation processing unit 25 or the frequency time conversion unit 26. The interpolation processing unit 25 interpolates the IMDCT coefficient I (m) (spectrum data) whose quantization bit number WL (i) is “0” bits, “2” bits, or “3” bits. The frequency time conversion unit 26 performs IMDCT processing on the IMDCT coefficient I (m) (spectral data) supplied from the interpolation processing unit 25 or the inverse quantization unit 22 for each subband frame, thereby corresponding time axis. Is orthogonally transformed to The frequency band synthesizer 27 has an inverse orthogonal mirror image filter (Inverse QMF; Quadrature Mirror Filter), which is one type of band synthesis filter, and performs digital synthesis by performing band synthesis on a plurality of input frequency bands (subband frames). Decrypt into data DAD ′.

次に、補間処理部25の機能及び構成について説明する。この実施の形態1では、補間処理部25は、以下に示す処理を行う。
(1)量子化ビット数WL(i)が「2」ビット又は「3」ビットである帯域に関する補間処理
(a)量子化ビット数が「2」ビット又は「3」ビットに丸められている複数のスペクトルデータについて、量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータと自身の帯域に存在するスペクトルデータを用いて補正する。
(b)上記帯域は量子化ビット数WL(i)が「2」ビット又は「3」ビットにビット割り当てされているために、本来値を有すべきであるが、0に丸められているスペクトルデータについて、(a)で補正された複数のスペクトルデータと、量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて補正する。
Next, the function and configuration of the interpolation processing unit 25 will be described. In this Embodiment 1, the interpolation process part 25 performs the process shown below.
(1) Interpolation processing for a band in which the number of quantization bits WL (i) is “2” or “3” bits (a) A plurality of quantization bits that are rounded to “2” bits or “3” bits Is corrected using a plurality of spectrum data existing in other bands in which the number of quantization bits WL (i) is “4” bits or more and spectrum data existing in its own band.
(B) Since the quantization bit number WL (i) is bit-assigned to “2” bits or “3” bits, the band should originally have a value, but is a spectrum rounded to zero. The data is corrected using a plurality of spectrum data corrected in (a) and a plurality of spectrum data existing in other bands in which the quantization bit number WL (i) is “4” bits or more.

(2)圧縮符号化される段階において、比SMRiが、採用されるビットレートで定まるオフセット(しきい)値に対して小さいために、量子化ビット数WL(i)が「0」ビットとされた帯域に本来存在すべき複数のスペクトルデータに関する補正処理
(a)すべてのスペクトルデータについて、量子化ビット数WL(i)が「0」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて補間する。
(b)量子化ビット数WL(i)が「2」ビット以上の他の帯域に存在する複数のスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性lt(f)(dB)等とを合成して作製した合成マスキングカーブに基づいて、(a)における補間で得られたすべてのスペクトルデータの係数を補正する。
(3)(1)及び(2)の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
(2) Since the ratio SMRi is smaller than the offset (threshold) value determined by the employed bit rate at the stage of compression encoding, the number of quantization bits WL (i) is set to “0” bits. (A) For all the spectral data, a plurality of spectral data existing in other bands in which the quantization bit number WL (i) is “0” bits or more are used. To interpolate.
(B) Masking threshold value calculated using a plurality of spectral data existing in other bands in which the number of quantization bits WL (i) is “2” bits or more, the minimum audible limit characteristic lt (f) (dB), etc. Are corrected for all the spectral data coefficients obtained by the interpolation in (a).
(3) In the processes of (1) and (2), when there are a plurality of spectrum data in the same band of either one or both of the previous frame and the subsequent frame, the plurality of spectrum data are used. Interpolate.

次に、補間処理部25の構成について、図1を参照して説明する。補間処理部25は、量子化ビット数判定部31と、IMDCT係数1次補正部32と、1次ゲイン制御部33と、帯域毎のパワー算出部34と、マスキング算出部35と、最小可聴限合成部36と、MNR算出部37と、係数保存部38と、IMDCT係数2次補間部39と、2次ゲイン制御部40とから構成されている。   Next, the configuration of the interpolation processing unit 25 will be described with reference to FIG. The interpolation processing unit 25 includes a quantization bit number determination unit 31, an IMDCT coefficient primary correction unit 32, a primary gain control unit 33, a power calculation unit 34 for each band, a masking calculation unit 35, and a minimum audible limit. The combining unit 36, the MNR calculation unit 37, the coefficient storage unit 38, the IMDCT coefficient secondary interpolation unit 39, and the secondary gain control unit 40 are included.

量子化ビット数判定部31は、入力されたIMDCT係数I(m)の量子化ビット数WL(i)が何ビットであるかを判定し、判定結果をIMDCT係数1次補正部32に供給する。IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、周波数領域において、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。ラグランジュ補間は、ある区間の全部の点を通る単一の補間多項式を算出する補間であり、既知のデータの間隔が等しくない場合でも目的の値を算出することができるという特徴がある。スプライン補間は、ある区間毎に分けてその区間毎に式を算出することにより与えられた全部の点を通る式を構成する区分的多項式を算出する補間の代表である。   The quantization bit number determination unit 31 determines how many bits the quantization bit number WL (i) of the input IMDCT coefficient I (m) is, and supplies the determination result to the IMDCT coefficient primary correction unit 32. . The IMDCT coefficient primary correction unit 32 converts the quantization bit number WL (i), the scale factor SF (i), and the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22. On the basis of the frequency domain, Lagrangian interpolation or spline interpolation is performed on the spectrum data whose quantization bit number WL (i) is “2” bits or “3” bits, and the existing quantized spectrum data is converted to the Lagrange interpolation or Replace with the spectrum data on the interpolation curve obtained by spline interpolation. Lagrangian interpolation is an interpolation that calculates a single interpolation polynomial that passes through all points in a certain section, and has a feature that a target value can be calculated even when known data intervals are not equal. Spline interpolation is a representative example of interpolation that calculates piecewise polynomials that form an expression that passes through all given points by dividing an expression into sections and calculating an expression for each section.

また、IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、係数保存部38に保存された、前のフレームの補間処理後のIMDCT係数I(m)(スペクトルデータ)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、前後のフレームの同一周波数について、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。この場合、IMDCT係数1次補正部32は、補正対象のスペクトルデータに隣接するスペクトルデータが前後のフレームの同一周波数及び同一フレームの隣接する周波数にともに存在する場合は、補正対象のスペクトルデータに隣接するスペクトルデータのうち、大きな振幅値を有するスペクトルデータに基づいて補正されたスペクトルデータを使用する。ここで、上記した「前後のフレームの同一周波数」とは、図3において、t1、t2、t3を各々のフレームの番号とし、被補間フレームをt2とすれば、被補間帯域がiの場合に、t1、t3の同一周波数の複数のIMDCT係数(スペクトル)であるI(t1)、I(t3)を用いてI(t2)の補間を行うことを示している。また、前記「同一フレームの隣接する周波数」とは、被補間フレームをt2とすれば、被補間帯域がiの場合に、Ii−1(t2)、Ii+1(t2)を用いてI(t2)の補間を行うことを示している。図3において、実線はIのスペクトルパワーを表している。 Further, the IMDCT coefficient primary correction unit 32 stores the IMDCT coefficient I (after the interpolation processing of the previous frame, which is stored in the quantization bit number WL (i), the scale factor SF (i), and the coefficient storage unit 38. m) (spectrum data) and the number of quantization bits WL (i) for the same frequency of the preceding and following frames based on the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22 Performs Lagrangian interpolation or spline interpolation on the spectrum data of “2” bits or “3” bits, and replaces the existing quantized spectrum data with the spectrum data on the interpolation curve obtained by the Lagrange interpolation or the spline interpolation. In this case, the IMDCT coefficient primary correction unit 32 adjoins the spectrum data to be corrected when the spectrum data adjacent to the spectrum data to be corrected exists at both the same frequency of the previous and subsequent frames and the adjacent frequency of the same frame. Among the spectral data to be processed, spectral data corrected based on spectral data having a large amplitude value is used. Here, the above-mentioned “same frequency of the preceding and following frames” refers to the case where the interpolated band is i, where t1, t2, and t3 are the numbers of the respective frames and the interpolated frame is t2. , T1 and t3 are interpolated with I i (t2) using I i (t1) and I i (t3) which are a plurality of IMDCT coefficients (spectrums) of the same frequency. The “adjacent frequency of the same frame” means that if the interpolated frame is t2, and the interpolated band is i, I i−1 (t2), I i + 1 (t2) is used to make I i It shows that the interpolation of (t2) is performed. In FIG. 3, the solid line represents the spectral power of I i .

1次ゲイン制御部33は、量子化係数MK(m)に関する上記した式(6)に基づいて、量子化係数MK(m)が、量子化ビット数WL(i)とスケールファクタSF(i)と量子化係数MK(m)から定まるMDCT係数K(m)の理論範囲に収まるように、IMDCT係数1次補正部32によって補正されたスペクトルデータの大きさを調整する。例えば、図4で示すように、量子化ビット数WL(i)が「2」ビットであり、スケールファクタSF(i)が2、量子化周波数帯域iのスペクトルデータの本数が6本である場合、補正処理前のスペクトルデータが0に丸められており、かつ、補正処理後のスペクトルデータが0.5×2を超える場合は、補正する範囲が0〜0.5×2に収まるように、ゲイン係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。補正された範囲全体がMDCT係数K(m)の理論範囲に収まらない場合は、0.5×2又は0でクリップされる。図4において、×は量子化丸め前のスペクトルデータの値、○は量子化丸め後のスペクトルデータの値を表している。 The primary gain control unit 33 determines that the quantization coefficient MK (m) is the quantization bit number WL (i) and the scale factor SF (i) based on the equation (6) regarding the quantization coefficient MK (m). The magnitude of the spectrum data corrected by the IMDCT coefficient primary correction unit 32 is adjusted so that it falls within the theoretical range of the MDCT coefficient K (m) determined from the quantization coefficient MK (m). For example, as shown in FIG. 4, the number of quantization bits WL (i) is “2” bits, the scale factor SF (i) is 2 5 , and the number of spectrum data in the quantization frequency band i is 6. In this case, when the spectrum data before correction processing is rounded to 0 and the spectrum data after correction processing exceeds 0.5 × 25 , the range to be corrected falls within 0 to 0.5 × 25 . Thus, the gain coefficient is determined, and all the spectral data of the corrected quantization frequency band i are multiplied. If the entire corrected range does not fall within the theoretical range of the MDCT coefficient K (m), it is clipped by 0.5 × 25 or 0. In FIG. 4, x represents the value of the spectrum data before quantization rounding, and ◯ represents the value of the spectrum data after quantization rounding.

帯域毎のパワー算出部34は、上記周波数帯域毎に設けられており、量子化ビット数判定部31から供給された判定結果が、入力されたIMDCT係数I(m)の量子化ビット数WL(i)が非零ビットであることを示す場合には、入力された対応する周波数帯域の周波数成分のIMDCT係数I(m)を2乗和等して、i個の各周波数帯域のスペクトルパワーSi(i=1,2,…,I、例えば、I=25)を算出する。ただし、このスペクトルパワーSiの算出方法については特に限定しない。ここで、上記周波数帯域には、臨界帯域(単位:Bark)等が用いられる。   The power calculation unit 34 for each band is provided for each frequency band, and the determination result supplied from the quantization bit number determination unit 31 indicates that the quantized bit number WL () of the input IMDCT coefficient I (m). When i) indicates that it is a non-zero bit, the IMDCT coefficient I (m) of the frequency component of the corresponding frequency band that has been input is summed to a square or the like, and the spectral power Si of each of the i frequency bands is calculated. (I = 1, 2,..., I, for example, I = 25) is calculated. However, the method for calculating the spectral power Si is not particularly limited. Here, a critical band (unit: Bark) or the like is used as the frequency band.

マスキング算出部35は、帯域毎のパワー算出部34において算出された各々のスペクトルパワーSiが他の周波数帯に与える同時マスキング効果によるマスキングしきい値を算出し、その最大値を当該スペクトルパワーSiに対するマスキングしきい値とする。このマスキングしきい値は、後述するIMDCT係数2次補間部39での補間において、データの値が振動することがあるが、それを抑止する効果がある。最小可聴限合成部36は、式(1)等で表される最小可聴限特性lt(f)(dB)等と上記マスキング算出部35において算出された上記マスキングしきい値とを合成して、図3に示す最終のマスキングしきい値Mi(i=1,2,…,I、例えば、I=25)を各周波数帯域について決定する。最小可聴限特性lt(f)は、テーブルROMに予め記憶しておいても良い。   The masking calculation unit 35 calculates a masking threshold value due to the simultaneous masking effect that each spectrum power Si calculated in the power calculation unit 34 for each band gives to other frequency bands, and the maximum value is calculated for the spectrum power Si. The masking threshold is used. This masking threshold has the effect of suppressing data values that may oscillate in the interpolation performed by the IMDCT coefficient secondary interpolation unit 39 described later. The minimum audible limit combining unit 36 combines the minimum audible limit characteristic lt (f) (dB) represented by the equation (1) and the like and the masking threshold calculated by the masking calculation unit 35, The final masking threshold value Mi (i = 1, 2,..., I, for example, I = 25) shown in FIG. 3 is determined for each frequency band. The minimum audible limit characteristic lt (f) may be stored in advance in a table ROM.

MNR算出部37は、入力された量子化ビット数WL(i)が上記した式(4)に基づいて線形変換されたものであると仮定し、すなわち、圧縮符号化時に採用されたビットレートで定まるマスキングしきい値に基づいて機械的にビット割り当てが行われていると仮定し、この量子化ビット数WL(i)に基づいて周波数帯域毎のMNRi(n)の範囲を算出する。式(4)において、比SNRi(n)は、上記したように、統計的には、信号の特性に応じた定数(20×log10)となるので、統計処理によって予め算出しておいても良い。これにより、例えば、量子化ビット数WL(i)が「3」ビットである場合には、MNRi(n)は、6dBより大きく、12dB以下となる。 The MNR calculation unit 37 assumes that the input quantization bit number WL (i) is linearly converted based on the above equation (4), that is, at the bit rate adopted at the time of compression encoding. Assuming that bit allocation is performed mechanically based on a fixed masking threshold, the range of MNRi (n) for each frequency band is calculated based on the number of quantized bits WL (i). In Expression (4), the ratio SNRi (n) is statistically a constant (20 × log 10 2 n ) corresponding to the signal characteristics as described above, and thus is calculated in advance by statistical processing. May be. Thereby, for example, when the quantization bit number WL (i) is “3” bits, MNRi (n) is larger than 6 dB and equal to or smaller than 12 dB.

MNR算出部37は、まず、i(周波数帯域のインデックス)毎に、帯域毎のパワー算出部34において算出されたスペクトルパワーSiと、最小可聴限合成部36において算出された各周波数帯域のマスキングしきい値Miとの比SMRi(上記式(2)参照)をすべての周波数帯域について算出する。次に、MNR算出部37は、各周波数帯域の上記スペクトルパワーSiをnビット(n=0〜16)で量子化した場合の、当該スペクトルパワーSiと量子化雑音パワーNi(n)との比SNRi(n)(上記式(3)参照)を算出する。
上記比SNRi(n)は、上記したように、統計的には、信号の特性に応じた定数(20×log10)となるので、統計処理によって予め算出しておいても良い。
さらに、MNR算出部37は、上記比SNRi(n)と上記比SMRiとの比から、マスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)(上記式(4)参照)を算出し、算出された周波数帯域毎のMNRi(n)の範囲のうち、量子化ビット数WL(i)が、すべての周波数帯域についてのMNRi(n)の範囲に含まれるように、全体のMNRi(n)のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
The MNR calculation unit 37 first masks the spectrum power Si calculated by the power calculation unit 34 for each band and the frequency bands calculated by the minimum audible limit synthesis unit 36 for each i (frequency band index). A ratio SMRi (see the above equation (2)) with the threshold value Mi is calculated for all frequency bands. Next, the MNR calculation unit 37 compares the spectrum power Si and the quantization noise power Ni (n) when the spectrum power Si in each frequency band is quantized with n bits (n = 0 to 16). SNRi (n) (see the above formula (3)) is calculated.
As described above, the ratio SNRi (n) is statistically a constant (20 × log 10 2 n ) corresponding to the characteristics of the signal, and may be calculated in advance by statistical processing.
Further, the MNR calculation unit 37 calculates the ratio MNRi (n) between the masking threshold value Mi and the quantization noise power Ni (n) (the above formula (4)) from the ratio between the ratio SNRi (n) and the ratio SMRi. Reference) and the number of quantization bits WL (i) in the calculated MNRi (n) range for each frequency band is included in the MNRi (n) range for all frequency bands. Adjust the offset of the entire MNRi (n). This offset value represents the intercept at the time of the linear conversion.

係数保存部38は、例えば、RAMやフラッシュメモリ等の半導体メモリ、FD(フレキシブルディスク)が装着されるFDドライブ、HDが装着されるHDドライブ、MO(光磁気)ディスクが装着されるMOディスクドライブ、CD−R(Recordable)、CD−RW(ReWritable)やDVD−R、DVD−RW等が装着されるCD/DVDドライブ等からなる。係数保存部38には、前又は後のフレームのいずれか一方又は両方の補間処理後のIMDCT係数I(m)(スペクトルデータ)が保存される。   The coefficient storage unit 38 includes, for example, a semiconductor memory such as a RAM and a flash memory, an FD drive to which an FD (flexible disk) is mounted, an HD drive to which an HD is mounted, and an MO disk drive to which an MO (magneto-optical) disk is mounted. CD-R (Recordable), CD-RW (ReWritable), DVD-R, DVD-RW, etc., a CD / DVD drive or the like. The coefficient storage unit 38 stores the IMDCT coefficient I (m) (spectral data) after the interpolation processing of either one or both of the previous and subsequent frames.

IMDCT係数2次補間部39は、量子化ビット数WL(i)が「0」ビット、すなわち無音の帯域について、逆量子化部22で逆量子化されたIMDCT係数I(m)の有音スペクトルデータと、IMDCT係数1次補正及び1次ゲイン制御がそれぞれ施された有音スペクトルデータ、及び「0」ビットの帯域のいずれかの無音スペクトルデータを用いて、ラグランジュ補間又はスプライン補間を行い、有音化する。   The IMDCT coefficient secondary interpolation unit 39 has a quantized bit number WL (i) of “0” bits, that is, a sound spectrum of the IMDCT coefficient I (m) dequantized by the inverse quantization unit 22 for a silent band. The Lagrange interpolation or spline interpolation is performed using the data, the sound spectrum data subjected to the IMDCT coefficient primary correction and the primary gain control, and the silence spectrum data in any band of “0” bit. Sound.

ゲイン制御部40は、IMDCT係数2次補間部39によって補間された「0」ビットの帯域のスペクトルデータが、MNR算出部37において算出されたMNRi(n)以下の値に収まるように、補間されたスペクトルデータに乗算する係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。   The gain control unit 40 is interpolated so that the spectrum data of the “0” bit band interpolated by the IMDCT coefficient secondary interpolation unit 39 falls within a value equal to or less than MNRi (n) calculated by the MNR calculation unit 37. A coefficient for multiplying the obtained spectrum data is determined, and all the spectrum data in the corrected quantization frequency band i are multiplied.

次に、上記構成を有するデジタルオーディオ記録再生システムの動作のうち、まず、デジタルオーディオデータ復号化装置2の動作の概略について説明する。図示せぬスピンドルモータにより回転駆動される図示せぬターンテーブルに記録媒体3がセットされると、スピンドルモータは、記録媒体3を回転駆動する。これにより、アンパッキング部21は、記録媒体3から読み出されたデジタルオーディオ符号化データCDADを構成するフレーム情報に基づいて、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)をアンパッキングする。   Next, out of the operations of the digital audio recording / reproducing system having the above configuration, the outline of the operation of the digital audio data decoding apparatus 2 will be described first. When the recording medium 3 is set on a turntable (not shown) rotated by a spindle motor (not shown), the spindle motor drives the recording medium 3 to rotate. Accordingly, the unpacking unit 21 performs the quantization coefficient MK (m), the quantization bit number WL (i), and the scale based on the frame information constituting the digital audio encoded data CDAD read from the recording medium 3. Unpack factor SF (i).

次に、逆量子化部22は、量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を逆量子化するとともに、これらに基づいて、上記した式(7)に示す逆量子化した各周波数帯域の周波数成分のIMDCT係数I(m)を算出する。また、純音性判定部23は、逆量子化部22で逆量子化されたスケールファクタSF(i)の最大値SFmaxと平均値SFavとの差分値(SFmax−SFav)を求めるとともに、差分値(SFmax−SFav)が非常に大きい場合(例えば、70dBより大)に純音性が高いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25に供給するように制御する。一方、純音性判定部23は、差分値(SFmax−SFav)が例えば70dB以下の場合に、純音性が低いと判定し、切換部24に対して、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を周波数時間変換部26に供給するように制御する。 Next, the inverse quantization unit 22 inversely quantizes the quantization coefficient MK (m), the number of quantization bits WL (i), and the scale factor SF (i), and based on these, the above formula (7 ) To calculate the IMDCT coefficient I (m) of the frequency component of each frequency band obtained by inverse quantization. The pure tone determination unit 23 obtains a difference value (SF max −SF av ) between the maximum value SF max and the average value SF av of the scale factor SF (i) dequantized by the dequantization unit 22. When the difference value (SF max −SF av ) is very large (for example, greater than 70 dB), it is determined that the pure tone property is high, and the switching unit 24 performs the dequantization by the inverse quantization unit 22. Control is performed so that the quantization coefficient MK (m), the number of quantization bits WL (i), and the scale factor SF (i) are supplied to the interpolation processing unit 25. On the other hand, the pure tone determination unit 23 determines that the pure tone is low when the difference value (SF max −SF av ) is, for example, 70 dB or less, and the inverse quantization unit 22 performs inverse quantization on the switching unit 24. Control is performed so that the quantized coefficient MK (m), the number of quantized bits WL (i), and the scale factor SF (i) are supplied to the frequency-time converter 26.

これにより、純音性判定部23において純音性が低いと判定された場合には、切換部24は、逆量子化部22で逆量子化された量子化係数MK(m)、量子化ビット数WL(i)及びスケールファクタSF(i)を補間処理部25に供給する。従って、補間処理部25は、純音性判定部23において純音性が低いと判定された場合には、量子化ビット数WL(i)が「0」ビット、「2」ビット又は「3」ビットであるIMDCT係数I(m)(スペクトルデータ)について補間する。   Thereby, when the pure tone determination unit 23 determines that the pure tone is low, the switching unit 24 performs the quantization coefficient MK (m) dequantized by the inverse quantization unit 22 and the number of quantization bits WL. (I) and the scale factor SF (i) are supplied to the interpolation processing unit 25. Accordingly, when the pure tone determination unit 23 determines that the pure tone property is low, the interpolation processing unit 25 determines that the quantization bit number WL (i) is “0” bits, “2” bits, or “3” bits. Interpolation is performed for a certain IMDCT coefficient I (m) (spectral data).

そして、周波数時間変換部26は、純音性判定部23において純音性が低いと判定された場合には、サブバンドフレーム毎に、補間処理部25から供給されるIMDCT係数I(m)(スペクトルデータ)について、IMDCT処理を施すことにより、対応する時間軸のデータに直交変換する。一方、純音性判定部23において純音性が高いと判定された場合には、周波数時間変換部26は、サブバンドフレーム毎に、逆量子化部22から切換部24を経て供給される供給されるIMDCT係数I(m)(スペクトルデータ)について、IMDCT処理を施すことにより、対応する時間軸のデータに直交変換する。次に、周波数帯域合成部27は、入力された複数の周波数帯域(サブバンドフレーム)を帯域合成してデジタルオーディオデータDAD'に復号化する。   When the pure tone determination unit 23 determines that the pure tone is low, the frequency time conversion unit 26 supplies the IMDCT coefficient I (m) (spectrum data) supplied from the interpolation processing unit 25 for each subband frame. ) Is orthogonally transformed into corresponding time-axis data by performing IMDCT processing. On the other hand, when the pure tone determination unit 23 determines that the pure tone is high, the frequency time conversion unit 26 is supplied from the inverse quantization unit 22 via the switching unit 24 for each subband frame. The IMDCT coefficient I (m) (spectrum data) is subjected to an IMDCT process, thereby orthogonally transforming to corresponding time axis data. Next, the frequency band synthesizing unit 27 performs band synthesis on a plurality of input frequency bands (subband frames) and decodes them into digital audio data DAD ′.

以下、補間処理部25の動作についてより具体的に説明する。
まず、量子化ビット数判定部31は、逆量子化されたIMDCT係数I(m)の量子化ビット数WL(i)が何ビットであるかを判定し、判定結果をIMDCT係数1次補正部32に供給する。IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、周波数領域において、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。
Hereinafter, the operation of the interpolation processing unit 25 will be described more specifically.
First, the quantization bit number determination unit 31 determines the number of quantization bits WL (i) of the dequantized IMDCT coefficient I (m), and the determination result is used as the IMDCT coefficient primary correction unit. 32. The IMDCT coefficient primary correction unit 32 converts the quantization bit number WL (i), the scale factor SF (i), and the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22. On the basis of the frequency domain, Lagrangian interpolation or spline interpolation is performed on the spectrum data whose quantization bit number WL (i) is “2” bits or “3” bits, and the existing quantized spectrum data is converted to the Lagrange interpolation or Replace with the spectrum data on the interpolation curve obtained by spline interpolation.

また、IMDCT係数1次補正部32は、量子化ビット数WL(i)と、スケールファクタSF(i)と、係数保存部38に保存された、前のフレームの補間処理後のIMDCT係数I(m)(スペクトルデータ)と、逆量子化部22で逆量子化されたIMDCT係数I(m)(スペクトルデータ)とに基づいて、前後のフレームの同一周波数について、量子化ビット数WL(i)が「2」ビット又は「3」ビットのスペクトルデータについてラグランジュ補間又はスプライン補間を行い、既存の量子化されたスペクトルデータを上記ラグランジュ補間又はスプライン補間で得られる補間曲線上のスペクトルデータに置き換える。この場合、IMDCT係数1次補正部32は、補正対象のスペクトルデータに隣接するスペクトルデータが前後のフレームの同一周波数及び同一フレームの隣接する周波数にともに存在する場合は、補正対象のスペクトルデータに隣接するスペクトルデータのうち、大きな振幅値を有するスペクトルデータに基づいて補正されたスペクトルデータを使用する。   Further, the IMDCT coefficient primary correction unit 32 stores the IMDCT coefficient I (after the interpolation processing of the previous frame, which is stored in the quantization bit number WL (i), the scale factor SF (i), and the coefficient storage unit 38. m) (spectrum data) and the number of quantization bits WL (i) for the same frequency of the preceding and following frames based on the IMDCT coefficient I (m) (spectrum data) dequantized by the inverse quantization unit 22 Performs Lagrangian interpolation or spline interpolation on the spectrum data of “2” bits or “3” bits, and replaces the existing quantized spectrum data with the spectrum data on the interpolation curve obtained by the Lagrange interpolation or the spline interpolation. In this case, the IMDCT coefficient primary correction unit 32 adjoins the spectrum data to be corrected when the spectrum data adjacent to the spectrum data to be corrected exists at both the same frequency of the previous and subsequent frames and the adjacent frequency of the same frame. Among the spectral data to be processed, spectral data corrected based on spectral data having a large amplitude value is used.

1次ゲイン制御部33は、量子化係数MK(m)に関する上記した式(6)に基づいて、量子化係数MK(m)が、量子化ビット数WL(i)とスケールファクタSF(i)と量子化係数MK(m)から定まるMDCT係数K(m)の理論範囲に収まるように、IMDCT係数1次補正部32によって補正されたスペクトルデータの大きさを調整する。例えば、図4で示すように、量子化ビット数WL(i)が「2」ビットであり、スケールファクタSF(i)が2、量子化周波数帯域iのスペクトルデータの本数が6本である場合、補正処理前のスペクトルデータが0に丸められており、かつ、補正処理後のスペクトルデータが0.5×2を超える場合は、補正する範囲が0〜0.5×2に収まるように、ゲイン係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。補正された範囲全体がMDCT係数K(m)の理論範囲に収まらない場合は、0.5×2又は0でクリップされる。 The primary gain control unit 33 determines that the quantization coefficient MK (m) is the quantization bit number WL (i) and the scale factor SF (i) based on the equation (6) regarding the quantization coefficient MK (m). The magnitude of the spectrum data corrected by the IMDCT coefficient primary correction unit 32 is adjusted so that it falls within the theoretical range of the MDCT coefficient K (m) determined from the quantization coefficient MK (m). For example, as shown in FIG. 4, the number of quantization bits WL (i) is “2” bits, the scale factor SF (i) is 2 5 , and the number of spectrum data in the quantization frequency band i is 6. In this case, when the spectrum data before correction processing is rounded to 0 and the spectrum data after correction processing exceeds 0.5 × 25 , the range to be corrected falls within 0 to 0.5 × 25 . Thus, the gain coefficient is determined, and all the spectral data of the corrected quantization frequency band i are multiplied. If the entire corrected range does not fall within the theoretical range of the MDCT coefficient K (m), it is clipped by 0.5 × 25 or 0.

上記周波数帯域毎に設けられた帯域毎のパワー算出部34は、量子化ビット数判定部31から供給された判定結果が、入力されたIMDCT係数I(m)の量子化ビット数WL(i)が非零ビットであることを示す場合には、入力された対応する周波数帯域の周波数成分のIMDCT係数I(m)を2乗和等して、i個の各周波数帯域のスペクトルパワーSiをそれぞれ算出する。   The power calculation unit 34 for each frequency band provided for each frequency band uses the determination result supplied from the quantization bit number determination unit 31 as the quantization bit number WL (i) of the input IMDCT coefficient I (m). Indicates that it is a non-zero bit, the IMDCT coefficient I (m) of the input frequency component of the corresponding frequency band is summed to a square or the like, and the spectrum power Si of each of the i frequency bands is obtained. calculate.

マスキング算出部35は、帯域毎のパワー算出部34において算出された各々のスペクトルパワーSiに基づいて、マスキングしきい値を算出する。最小可聴限合成部36は、上記した式(1)等で表される最小可聴限特性lt(f)等と上記マスキング算出部35において算出された上記マスキングしきい値とを合成して、図3に示す最終のマスキングしきい値Miを各周波数帯域について決定する。   The masking calculation unit 35 calculates a masking threshold value based on each spectrum power Si calculated by the power calculation unit 34 for each band. The minimum audible limit combining unit 36 combines the minimum audible limit characteristic lt (f) represented by the above-described equation (1) and the like with the masking threshold calculated by the masking calculation unit 35, A final masking threshold Mi shown in FIG. 3 is determined for each frequency band.

MNR算出部37は、入力された量子化ビット数WL(i)が上記した式(4)に基づいて線形変換されたものであると仮定し、量子化ビット数WL(i)に基づいて周波数帯域毎のMNRi(n)の範囲を算出する。例えば、量子化ビット数WL(i)が「3」ビットである場合には、MNRi(n)は、6dBより大きく、12dB以下であるとする。   The MNR calculation unit 37 assumes that the input quantization bit number WL (i) is linearly converted based on the above-described equation (4), and the frequency based on the quantization bit number WL (i). The range of MNRi (n) for each band is calculated. For example, when the number of quantization bits WL (i) is “3” bits, it is assumed that MNRi (n) is greater than 6 dB and less than or equal to 12 dB.

MNR算出部37は、まず、i毎に、帯域毎のパワー算出部34において算出されたスペクトルパワーSiと、最小可聴限合成部36において算出された各周波数帯域のマスキングしきい値Miとの比SMRi(上記式(2)参照)をすべての周波数帯域について算出する。次に、MNR算出部37は、各周波数帯域の上記スペクトルパワーSiをnビット(n=0〜16)で量子化した場合の、当該スペクトルパワーSiと量子化雑音パワーNi(n)との比SNRi(n)(上記式(3)参照)を算出する。
さらに、MNR算出部37は、上記比SNRi(n)と上記比SMRiとの比から、マスキングしきい値Miと量子化雑音パワーNi(n)との比MNRi(n)(上記式(4)参照)を算出し、算出された周波数帯域毎のMNRi(n)の範囲のうち、量子化ビット数WL(i)が、すべての周波数帯域についてのMNRi(n)の範囲に含まれるように、全体のMNRi(n)のオフセットを調整する。このオフセット値は、上記線形変換の際の切片を表している。
First, for each i, the MNR calculation unit 37 calculates the ratio between the spectrum power Si calculated by the power calculation unit 34 for each band and the masking threshold Mi of each frequency band calculated by the minimum audible limit synthesis unit 36. SMRi (see Equation (2) above) is calculated for all frequency bands. Next, the MNR calculation unit 37 compares the spectrum power Si and the quantization noise power Ni (n) when the spectrum power Si in each frequency band is quantized with n bits (n = 0 to 16). SNRi (n) (see the above formula (3)) is calculated.
Further, the MNR calculation unit 37 calculates the ratio MNRi (n) between the masking threshold value Mi and the quantization noise power Ni (n) (the above formula (4)) from the ratio between the ratio SNRi (n) and the ratio SMRi. Reference) and the number of quantization bits WL (i) in the calculated MNRi (n) range for each frequency band is included in the MNRi (n) range for all frequency bands. Adjust the offset of the entire MNRi (n). This offset value represents the intercept at the time of the linear conversion.

係数保存部38には、前又は後のフレームのいずれか一方又は両方の補間処理後のIMDCT係数I(m)(スペクトルデータ)が保存される。   The coefficient storage unit 38 stores the IMDCT coefficient I (m) (spectral data) after the interpolation processing of either one or both of the previous and subsequent frames.

IMDCT係数2次補間部39は、量子化ビット数WL(i)が「0」ビット、すなわち無音の帯域について、逆量子化部22で逆量子化されたIMDCT係数I(m)の有音スペクトルデータと、IMDCT係数1次補正及び1次ゲイン制御がそれぞれ施された有音スペクトルデータ、及び「0」ビットの帯域のいずれかの無音スペクトルデータを用いて、ラグランジュ補間又はスプライン補間を行い、有音化する。   The IMDCT coefficient secondary interpolation unit 39 has a quantized bit number WL (i) of “0” bits, that is, a sound spectrum of the IMDCT coefficient I (m) dequantized by the inverse quantization unit 22 for a silent band. The Lagrange interpolation or spline interpolation is performed using the data, the sound spectrum data subjected to the IMDCT coefficient primary correction and the primary gain control, and the silence spectrum data in any band of “0” bit. Sound.

ゲイン制御部40は、IMDCT係数2次補間部39によって補間された「0」ビットの帯域のスペクトルデータが、MNR算出部37において算出されたMNRi(n)以下の値に収まるように、補間されたスペクトルデータに乗算する係数を決定し、補正された量子化周波数帯域iのすべてのスペクトルデータに乗算する。   The gain control unit 40 is interpolated so that the spectrum data of the “0” bit band interpolated by the IMDCT coefficient secondary interpolation unit 39 falls within a value equal to or less than MNRi (n) calculated by the MNR calculation unit 37. A coefficient for multiplying the obtained spectrum data is determined, and all the spectrum data in the corrected quantization frequency band i are multiplied.

以上説明したように、補間処理部25では、以下に示す処理が行われている。
(1)量子化ビット数WL(i)が「2」ビット又は「3」ビットである帯域に関する補間処理
(a)量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータと自身の帯域に存在するスペクトルデータとに基づいて、量子化ビット数が「2」ビット又は「3」ビットに丸められている複数のスペクトルデータを補正する。さらに、上記補正されたスペクトルデータがスケールファクタSF(i)及び量子化ビット数WL(i)で定まる範囲内に存在する場合には、上記補間及び係数乗算により得られたスペクトルデータをそのまま採用し、上記範囲外に存在する場合には、上記範囲内の値に補正する。
(b)上記帯域が量子化ビット数WL(i)が「2」ビット又は「3」ビットにビット割り当てされているために、本来値を有すべきであるが、0に丸められているスペクトルデータについて、(a)で補間及び補正された複数のスペクトルデータと、量子化ビット数WL(i)が「4」ビット以上の他の帯域に存在する複数のスペクトルデータとを用いて、(a)と同様に、補正する。
As described above, the interpolation processing unit 25 performs the following processing.
(1) Interpolation processing for a band in which the number of quantization bits WL (i) is “2” or “3” bits (a) The number of quantization bits WL (i) exists in another band of “4” bits or more The number of quantization bits is rounded to “2” bits or “3” bits based on the plurality of spectrum data having the maximum value and the next value among the plurality of spectrum data to be processed and the spectrum data existing in its own band. The plurality of spectral data being corrected is corrected. Furthermore, when the corrected spectral data is within a range determined by the scale factor SF (i) and the quantization bit number WL (i), the spectral data obtained by the interpolation and coefficient multiplication are used as they are. If it is outside the above range, it is corrected to a value within the above range.
(B) Since the quantization band number WL (i) is assigned to “2” bits or “3” bits in the above band, the spectrum should originally have a value but is rounded to zero With respect to the data, a plurality of spectrum data interpolated and corrected in (a) and a plurality of spectrum data existing in other bands in which the quantization bit number WL (i) is “4” bits or more are used (a Correct as in ().

(2)圧縮符号化される段階において、比SMRiが、採用されるビットレートで定まるオフセット(しきい)値に対して小さいために、量子化ビット数WL(i)が「0」ビットとされた帯域に本来存在すべき複数のスペクトルデータに関する補正処理
(a)すべてのスペクトルデータについて、量子化ビット数WL(i)が「2」ビット以上の他の帯域に存在する複数のスペクトルデータのうち、最大値及びそれに次ぐ値を有する複数のスペクトルデータに基づいて、無音の周波数帯域iを補間する。
(b)量子化ビット数WL(i)が「2」ビット以上の他の帯域に存在するスペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性lt(f)(dB)を合成して合成マスキングカーブを作製する。上記(a)で補間した帯域iのスペクトルデータのパワー値を上記合成マスキングカーブで除算して得た比SMRiが、圧縮符号化時にWL(i)を「0」にしたと想定されるオフセット(しきい)値より小さい場合には、上記(a)で補間した帯域iに存在するスペクトルデータをそのまま採用し、上記オフセット(しきい)値より大きい場合には、上記(a)で求めた帯域iに存在するスペクトルデータの係数を補正する。
(3)(1)及び(2)の処理において、前のフレーム又は後のフレームのいずれか一方又は両方の同一帯域に複数のスペクトルデータが存在する場合には、これら複数のスペクトルデータを用いて補間する。
(2) Since the ratio SMRi is smaller than the offset (threshold) value determined by the employed bit rate at the stage of compression encoding, the number of quantization bits WL (i) is set to “0” bits. (A) For all spectrum data, among the plurality of spectrum data existing in other bands where the number of quantization bits WL (i) is “2” bits or more. The silent frequency band i is interpolated based on a plurality of spectrum data having the maximum value and the next value.
(B) A masking threshold value calculated using spectral data existing in another band having a quantization bit number WL (i) of “2” bits or more and a minimum audible limit characteristic lt (f) (dB) are synthesized. To create a composite masking curve. The ratio SMRi obtained by dividing the power value of the spectrum data of the band i interpolated in (a) above by the composite masking curve is assumed to have offset ((0)) that WL (i) is set to “0” at the time of compression encoding ( When the value is smaller than the threshold value, the spectrum data existing in the band i interpolated in the above (a) is used as it is, and when it is larger than the above offset (threshold) value, the band obtained in the above (a). The coefficient of the spectrum data existing in i is corrected.
(3) In the processes of (1) and (2), when there are a plurality of spectrum data in the same band of either one or both of the previous frame and the subsequent frame, the plurality of spectrum data are used. Interpolate.

このように、本発明の実施の形態1によれば、量子化分解能が2値、4値等の低いスペクトルの分解能を高めることができ、マスキング効果が高いスペクトルデータの量子化ビット数を小さくするという圧縮符号化の手法(アルゴリズム)を可能な限り流用することにより、圧縮されたデジタルデータを復号化する際に、符号化時に削除されたスペクトルの情報を、物足りなさや違和感を受けることなく、補間することができる。この結果、再生された楽音や音声等からなるアナログ信号は高品質である。   As described above, according to the first embodiment of the present invention, the resolution of a spectrum having a low quantization resolution such as binary or quaternary can be increased, and the number of quantization bits of spectrum data having a high masking effect can be reduced. By using the compression encoding method (algorithm) as much as possible, when decoding compressed digital data, the spectrum information deleted during encoding is interpolated without being unsatisfactory or uncomfortable. can do. As a result, the analog signal made up of reproduced musical sounds, voices, etc. is of high quality.

また、本発明の実施の形態1によれば、比MNRi(n)を算出し、この比MNRi(n)に基づいて、補間された複数のスペクトルデータに乗算すべき係数を決定しているので、如何なるビットレートの圧縮符号化であっても、無音のスペクトルデータの大きさを適切に補間することができる。   Further, according to the first embodiment of the present invention, the ratio MNRi (n) is calculated, and the coefficient to be multiplied with the plurality of interpolated spectrum data is determined based on the ratio MNRi (n). Any compression rate encoding of the bit rate can appropriately interpolate the size of silent spectrum data.

実施の形態2.
上述の実施の形態1においては、デジタルオーディオデータ復号化装置2をハードウェアで構成した例を示したが、これに限定されない。すなわち、上記デジタルオーディオデータ復号化装置2のうち、補間処理部25を、CPU(中央処理装置)と、ROMやRAM等の内部記憶装置と、FDドライブ、HDドライブ、MOディスクドライブ、CD/DVDドライブ等の外部記憶装置と、出力手段と、入力手段とを有するコンピュータによって構成しても良い。そして、CPUの機能が補間処理プログラムとして、ROM等の半導体メモリや、FD、HDやCD−ROM等の記憶媒体に記憶されていると構成しても良い。この場合、上記内部記憶装置、あるいは外部記憶装置が係数保存部38となり、補間処理プログラムは、記憶媒体からCPUに各々読み込まれ、CPUの動作を制御する。補間処理プログラムが起動されると、CPUは上記補間処理部25を構成する量子化ビット数判定部31と、IMDCT係数1次補正部32と、1次ゲイン制御部33と、帯域毎のパワー算出部34と、マスキング算出部35と、最小可聴限合成部36と、MNR算出部37と、IMDCT係数2次補間部39と、2次ゲイン制御部40として機能し、補間処理プログラムの制御により、上記した処理を実行するのである。
Embodiment 2. FIG.
In the above-described first embodiment, the example in which the digital audio data decoding apparatus 2 is configured by hardware has been described. However, the present invention is not limited to this. That is, in the digital audio data decoding device 2, the interpolation processing unit 25 includes a CPU (central processing unit), an internal storage device such as a ROM and a RAM, an FD drive, an HD drive, an MO disk drive, and a CD / DVD. You may comprise by the computer which has external storage devices, such as a drive, an output means, and an input means. The CPU function may be stored as an interpolation processing program in a semiconductor memory such as a ROM, or a storage medium such as an FD, HD, or CD-ROM. In this case, the internal storage device or the external storage device serves as the coefficient storage unit 38, and the interpolation processing program is read into the CPU from the storage medium and controls the operation of the CPU. When the interpolation processing program is started, the CPU calculates the number of quantization bits, the IMDCT coefficient primary correction unit 32, the primary gain control unit 33, and the power calculation for each band, which constitute the interpolation processing unit 25. Functions as a unit 34, a masking calculation unit 35, a minimum audible limit synthesis unit 36, an MNR calculation unit 37, an IMDCT coefficient secondary interpolation unit 39, and a secondary gain control unit 40. The above processing is executed.

以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。
例えば、上述の各実施の形態では、本発明は、ATRAC方式が適用されたデジタルオーディオ記録再生システムに適用する例を示したが、これに限定されない。本発明は、IMDCT係数I(m)(スペクトルデータ)、量子化ビット数WL(i)及びスケールファクタSF(i)があれば良いので、例えば、MP3(MPEG Audio Layer-3)方式、AAC(Advanced Audio Coding)方式、あるいはWMA(Windows Media Audio)(Windowsは登録商標)方式等の音声圧縮符号化技術が適用されたデジタルオーディオ記録再生システムにも適用することができる。
As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to these embodiments, and the design can be changed without departing from the scope of the present invention. Is included in the present invention.
For example, in each of the above-described embodiments, the present invention is applied to a digital audio recording / reproducing system to which the ATRAC system is applied. However, the present invention is not limited to this. In the present invention, the IMDCT coefficient I (m) (spectral data), the number of quantization bits WL (i), and the scale factor SF (i) may be used. For example, the MP3 (MPEG Audio Layer-3) system, AAC ( The present invention can also be applied to a digital audio recording / reproducing system to which an audio compression encoding technique such as an Advanced Audio Coding (WMA) method or a WMA (Windows Media Audio) (Windows is a registered trademark) method is applied.

また、上述の各実施の形態では、量子化ビット数は、0〜16ビットである例を示したが、これに限定されず、量子化ビット数は、何ビットでも良い。また、量子化係数がハフマン符号により符号化された方式にも適応することができる。これと関連して、上述の各実施の形態では、量子化ビット数WL(i)が「0」ビット、「2」ビット又は「3」ビットである帯域に関する補間処理を行う例を示したが、これに限定されず、量子化ビット数WL(i)が「4」ビット以上である帯域に関する補間処理を行うようにしても良い。   Further, in each of the above-described embodiments, the example in which the number of quantization bits is 0 to 16 bits is shown, but the present invention is not limited to this, and the number of quantization bits may be any number. Further, the present invention can also be applied to a method in which the quantization coefficient is encoded by a Huffman code. In relation to this, in each of the above-described embodiments, an example is shown in which interpolation processing is performed for a band in which the number of quantization bits WL (i) is “0” bits, “2” bits, or “3” bits. However, the present invention is not limited to this, and interpolation processing relating to a band in which the number of quantization bits WL (i) is “4” bits or more may be performed.

また、上述の各実施の形態では、本発明をミニディスク(MD)等の記録媒体に記録された圧縮されたデジタルオーディオデータから圧縮されていないデジタルオーディオデータを復号化する場合に適用する例を示したが、これに限定されない。本発明は、例えば、通常の生活者レベル程度の速度で変化するアナログビデオ信号を、視覚心理特性等に基づいて、デジタルビデオデータに圧縮符号化した後、記録媒体に記録し、記録媒体から読み出された圧縮符号化されたデジタルビデオデータを圧縮されていないデジタルビデオデータに復号化する場合にも適用することができる。   In each of the above-described embodiments, the present invention is applied to a case where uncompressed digital audio data is decoded from compressed digital audio data recorded on a recording medium such as a mini disk (MD). Although shown, it is not limited to this. The present invention, for example, compresses and encodes an analog video signal that changes at a speed similar to that of a normal consumer level into digital video data based on visual psychological characteristics, etc., and then records and reads the recorded video from the recording medium. The present invention can also be applied to the case where the output compression-coded digital video data is decoded into uncompressed digital video data.

また、上述の各実施の形態では、記録媒体としてミニディスク(MD)を用いる例を示したが、これに限定されず、記録媒体は、例えば、コンパクトディスク(CD)、DVD(Digital Versatile Disk)、ハードディスク(HD)、あるいはフラッシュメモリなどの半導体メモリでも良い。
また、上述の各実施の形態では、符号化デジタルデータを生成するための変換方法としては、MDCTを挙げたが、DCTといった直交変換する変換方法であれば本発明が適用可能である。
また、上述の各実施の形態では、マスキングとして同時マスキングを用いる例を示したが、これに限定されず、経時マスキングを用いたり、同時マスキング及び経時マスキングの両方を用いたりしても良い。
In each of the embodiments described above, an example in which a mini disk (MD) is used as a recording medium has been described. However, the present invention is not limited to this, and the recording medium may be, for example, a compact disk (CD) or a DVD (Digital Versatile Disk). A semiconductor memory such as a hard disk (HD) or a flash memory may be used.
In each of the above-described embodiments, MDCT is used as a conversion method for generating encoded digital data. However, the present invention can be applied to any conversion method that performs orthogonal transform such as DCT.
Further, in each of the above-described embodiments, an example in which simultaneous masking is used as masking has been described. However, the present invention is not limited to this, and temporal masking may be used, or both simultaneous masking and temporal masking may be used.

本発明の実施の形態1に係るデジタルオーディオデータ復号化装置を構成する補間処理部の構成を示すブロック図である。It is a block diagram which shows the structure of the interpolation process part which comprises the digital audio data decoding apparatus which concerns on Embodiment 1 of this invention. 図1に示す補間処理部を適用したデジタルオーディオ記録再生システムの構成を示すブロック図である。It is a block diagram which shows the structure of the digital audio recording / reproducing system to which the interpolation process part shown in FIG. 1 is applied. 図1及び図2に示す最小可聴限合成部におけるパワー算出部において算出された各周波数帯域のスペクトルパワーを示す図である。It is a figure which shows the spectrum power of each frequency band calculated in the power calculation part in the minimum audible limit synthetic | combination part shown in FIG.1 and FIG.2. MDCT係数の一例を示す図である。It is a figure which shows an example of a MDCT coefficient.

符号の説明Explanation of symbols

1 デジタルオーディオデータ符号化装置
2 デジタルオーディオデータ復号化装置
3 記録媒体
11 周波数帯域分割部
12 時間周波数変換部
13,34 帯域毎のパワー算出部
14,35 マスキング算出部
15,36 最小可聴限合成部
16 量子化ビット数算出部
17 スケールファクタ算出部
18 量子化部
19 パッキング部
21 アンパッキング部
22 逆量子化部
23 純音性判定部
24 切換部
25 補間処理部
26 周波数時間変換部
27 周波数帯域合成部
31 量子化ビット数判定部
32 IMDCT係数1次補正部
33 1次ゲイン制御部
37 MNR算出部
38 係数保存部
39 IMDCT係数2次補間部
40 2次ゲイン制御部
DESCRIPTION OF SYMBOLS 1 Digital audio data encoding apparatus 2 Digital audio data decoding apparatus 3 Recording medium 11 Frequency band division part 12 Time frequency conversion part 13, 34 Power calculation part for every band 14,35 Masking calculation part 15,36 Minimum audible limit synthetic | combination part DESCRIPTION OF SYMBOLS 16 Quantization bit number calculation part 17 Scale factor calculation part 18 Quantization part 19 Packing part 21 Unpacking part 22 Inverse quantization part 23 Pure tone determination part 24 Switching part 25 Interpolation process part 26 Frequency time conversion part 27 Frequency band synthetic | combination part 31 Quantization bit number determination unit 32 IMDCT coefficient primary correction unit 33 Primary gain control unit 37 MNR calculation unit 38 Coefficient storage unit 39 IMDCT coefficient secondary interpolation unit 40 Secondary gain control unit

Claims (2)

所定時間内に存在する複数の信号を有するフレームが順次時系列に入力され、さらに複数の周波数帯域に分割され、周波数帯域毎に設定される指標に基づいて周波数帯域毎に量子化、符号化されているスペクトルデータを復号化するデジタルデータ復号化装置であって、
あるフレームに属する逆量子化されたスペクトルデータのうち、量子化ビット割り当てが小さい前記周波数帯域に存在する前記スペクトルデータ又は量子化ビット割り当てが零の前記周波数帯域に存在すべき前記スペクトルデータを、前記あるフレームより前のフレーム又は後のフレームのいずれか一方又は両方の同一周波数帯域に存在する前記スペクトルデータを用いて補正、又は補間する補間処理部を具備し、
前記補間処理部は、
前記あるフレームより前のフレーム又は後のフレームのいずれか一方又は両方の同一周波数帯域に存在する前記スペクトルデータを用いて算出したマスキングしきい値と最小可聴限特性とを合成して作製した合成マスキングしきい値と、前記補間で得られたスペクトルデータの量子化雑音パワー又はエネルギーとの比が、前記量子化ビット割り当てが大きい帯域の前記比より大きくなるように、前記補間で得られたスペクトルデータに乗算すべき係数を決定し、前記補間で得られたスペクトルデータにそれぞれ乗算することを特徴とするデジタルデータ復号化装置。
A frame having a plurality of signals existing within a predetermined time is sequentially input in time series, further divided into a plurality of frequency bands, and quantized and encoded for each frequency band based on an index set for each frequency band. A digital data decoding device for decoding the spectrum data that comprises:
Of the spectrum data dequantized belonging to a certain frame, the spectrum data existing in the frequency band having a small quantization bit allocation or the spectrum data to be present in the frequency band having a quantization bit allocation of zero, An interpolation processing unit that corrects or interpolates using the spectrum data existing in the same frequency band of either one or both of a frame before and after a certain frame ;
The interpolation processing unit
Synthetic masking produced by synthesizing the masking threshold calculated using the spectrum data existing in the same frequency band of either one or both of the previous frame and the subsequent frame or the minimum audible limit characteristic Spectral data obtained by the interpolation so that the ratio of the threshold value and the quantization noise power or energy of the spectral data obtained by the interpolation is larger than the ratio of the band in which the quantization bit allocation is large. A digital data decoding apparatus characterized by determining a coefficient to be multiplied by and multiplying the spectrum data obtained by the interpolation .
前記補間処理部は、
あるフレームに属する逆量子化されたスペクトルデータのうち、量子化ビット割り当てが小さい前記周波数帯域において、0に丸められているスペクトルデータを、前記補間で得られたスペクトルデータ、前記補間及び係数の乗算で得られたスペクトルデータあるいは、前記補正及び値の再補正で得られたスペクトルデータのいずれかと、前記あるフレームより前のフレーム又は後のフレームのいずれか一方又は両方の同一周波数帯域に存在する前記スペクトルデータとを用いて補間することを特徴とする請求項1に記載のデジタルデータ復号化装置。
The interpolation processing unit
Of the dequantized spectrum data belonging to a certain frame, the spectrum data rounded to 0 in the frequency band where the quantization bit allocation is small is converted to the spectrum data obtained by the interpolation, the interpolation and the multiplication of the coefficients. Or the spectral data obtained by the correction and the re-correction of the value, and the one existing in the same frequency band of either the frame before or after the certain frame or both. 2. The digital data decoding apparatus according to claim 1 , wherein interpolation is performed using spectrum data.
JP2006063605A 2006-03-09 2006-03-09 Digital data decoding device Expired - Fee Related JP4649351B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006063605A JP4649351B2 (en) 2006-03-09 2006-03-09 Digital data decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006063605A JP4649351B2 (en) 2006-03-09 2006-03-09 Digital data decoding device

Publications (2)

Publication Number Publication Date
JP2007240902A JP2007240902A (en) 2007-09-20
JP4649351B2 true JP4649351B2 (en) 2011-03-09

Family

ID=38586506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006063605A Expired - Fee Related JP4649351B2 (en) 2006-03-09 2006-03-09 Digital data decoding device

Country Status (1)

Country Link
JP (1) JP4649351B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8498874B2 (en) * 2009-09-11 2013-07-30 Sling Media Pvt Ltd Audio signal encoding employing interchannel and temporal redundancy reduction
CN103854653B (en) 2012-12-06 2016-12-28 华为技术有限公司 The method and apparatus of signal decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001102930A (en) * 1999-09-27 2001-04-13 Pioneer Electronic Corp Method and device for correcting quantization error, and method and device for decoding audio information
JP2004053891A (en) * 2002-07-19 2004-02-19 Sony Corp Apparatus and method for data processing, program and recording medium
JP2004134900A (en) * 2002-10-09 2004-04-30 Matsushita Electric Ind Co Ltd Decoding apparatus and method for coded signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001102930A (en) * 1999-09-27 2001-04-13 Pioneer Electronic Corp Method and device for correcting quantization error, and method and device for decoding audio information
JP2004053891A (en) * 2002-07-19 2004-02-19 Sony Corp Apparatus and method for data processing, program and recording medium
JP2004134900A (en) * 2002-10-09 2004-04-30 Matsushita Electric Ind Co Ltd Decoding apparatus and method for coded signal

Also Published As

Publication number Publication date
JP2007240902A (en) 2007-09-20

Similar Documents

Publication Publication Date Title
JP5048697B2 (en) Encoding device, decoding device, encoding method, decoding method, program, and recording medium
JP3926726B2 (en) Encoding device and decoding device
JP4521170B2 (en) Innovation in pure lossless audio compression
JP2006011456A (en) Method and device for coding/decoding low-bit rate and computer-readable medium
JP2005202248A (en) Audio encoding device and frame region allocating circuit of audio encoding device
JP2010079275A (en) Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program
JPH08237132A (en) Signal coding method and device, signal decoding method and device, and information recording medium and information transmission method
WO2003096325A1 (en) Coding method, coding device, decoding method, and decoding device
JP4760278B2 (en) Interpolation device, audio playback device, interpolation method, and interpolation program
JP2004198485A (en) Device and program for decoding sound encoded signal
JP3964860B2 (en) Stereo audio encoding method, stereo audio encoding device, stereo audio decoding method, stereo audio decoding device, and computer-readable recording medium
JP2008033269A (en) Digital signal processing device, digital signal processing method, and reproduction device of digital signal
WO2004044891A1 (en) Music information encoding device and method, and music information decoding device and method
JP4308229B2 (en) Encoding device and decoding device
JP4649351B2 (en) Digital data decoding device
JP4627737B2 (en) Digital data decoding device
JP4641272B2 (en) Digital data decoding device
JP3776004B2 (en) Encoding method of digital data
JP3984468B2 (en) Encoding device, decoding device, and encoding method
JP3942882B2 (en) Digital signal encoding apparatus and digital signal recording apparatus having the same
JPH1083623A (en) Signal recording method, signal recorder, recording medium and signal processing method
JPH0863901A (en) Method and device for recording signal, signal reproducing device and recording medium
JP4024185B2 (en) Digital data encoding device
JP4271588B2 (en) Encoding method and encoding apparatus for digital data
JP2005114813A (en) Audio signal reproducing device and reproducing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4649351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees