JP2913695B2 - Digital signal encoding method - Google Patents

Digital signal encoding method

Info

Publication number
JP2913695B2
JP2913695B2 JP25579989A JP25579989A JP2913695B2 JP 2913695 B2 JP2913695 B2 JP 2913695B2 JP 25579989 A JP25579989 A JP 25579989A JP 25579989 A JP25579989 A JP 25579989A JP 2913695 B2 JP2913695 B2 JP 2913695B2
Authority
JP
Japan
Prior art keywords
band
circuit
bits
energy
digital signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP25579989A
Other languages
Japanese (ja)
Other versions
JPH03117920A (en
Inventor
義仁 藤原
知子 梅沢
正之 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP25579989A priority Critical patent/JP2913695B2/en
Publication of JPH03117920A publication Critical patent/JPH03117920A/en
Application granted granted Critical
Publication of JP2913695B2 publication Critical patent/JP2913695B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、入力ディジタル信号の符号化を行うディジ
タル信号符号化方法に関するものである。
Description: TECHNICAL FIELD The present invention relates to a digital signal encoding method for encoding an input digital signal.

〔発明の概要〕[Summary of the Invention]

本発明は、入力ディジタル信号を複数の周波数帯域に
分割すると共に、高い周波数帯域ほどバンド幅を広く選
定し、各バンド毎のエネルギに基づいて各バンド単位の
許容ノイズレベルを設定し、各バンドのエネルギと設定
された許容ノイズレベルの差のレベルに応じたビット数
で各バンドの成分を量子化するディジタル信号符号化方
法において、量子化後の出力情報量を検出し、この検出
出力と目標値の誤差及び各バンドのエネルギに基づい
て、量子化の際の割当てビット数を補正するようにし
て、所定期間における情報量を一定化するようにしたこ
とにより、簡単な構成で、信号劣化の少ないビットレー
ト調整(ビットパッキング)を行うことが可能で、特
に、エネルギの集中した周波数帯域にビット数を多く割
当てることができるようにし、聴感上のS/Nを向上させ
ることが可能なディジタル信号符号化方法を提供するも
のである。
The present invention divides an input digital signal into a plurality of frequency bands, selects a wider bandwidth for a higher frequency band, sets an allowable noise level for each band based on energy for each band, and In a digital signal encoding method for quantizing the components of each band with the number of bits according to the level of the difference between the energy and the set allowable noise level, the amount of output information after quantization is detected, and the detected output and the target value The number of bits allocated at the time of quantization is corrected based on the error of each band and the energy of each band, so that the amount of information in a predetermined period is made constant. Bit rate adjustment (bit packing) can be performed. In particular, a large number of bits can be allocated to a frequency band where energy is concentrated. , There is provided a digital signal encoding method which can improve the S / N of the hearing sense.

〔従来の技術〕[Conventional technology]

オーディオ,音声等の信号の高能率符号化において
は、オーディオ,音声等の入力信号を時間軸又は周波数
軸で複数のチャンネルに分割すると共に、各チャンネル
毎のビット数を適応的に割当てるビットアロケーシヨン
(ビット割当て)による符号化技術がある。例えば、オ
ーディオ信号等の上記ビット割当てによる符号化技術に
は、時間軸上のオーディオ信号等を複数の周波数帯域に
分割して符号化する帯域分割符号化(サブ・バンド・コ
ーディング:SBC)や、時間軸の信号を周波数軸上の信号
に変換(直交変換)して複数の周波数帯域に分割し各帯
域毎で適応的に符号化するいわゆる適応変換符号化(AT
C)、或いは、上記SBCといわゆる適応予測符号化(AP
C)とを組み合わせ、時間軸の信号を帯域分割して各帯
域信号をベースバンド(低域)に変換した後複数次の線
形予測分析を行って予測符号化するいわゆる適応ビット
割当て(APC−AB)等の符号化技術がある。
In high-efficiency coding of signals such as audio and voice, a bit allocator that divides an input signal such as audio and voice into a plurality of channels along a time axis or a frequency axis and adaptively allocates the number of bits for each channel. There is an encoding technique based on a shion (bit allocation). For example, coding techniques based on the above-mentioned bit allocation of audio signals and the like include band division coding (sub-band coding: SBC) in which an audio signal or the like on the time axis is divided into a plurality of frequency bands and encoded. A so-called adaptive transform coding (AT) that converts a signal on the time axis into a signal on the frequency axis (orthogonal transform), divides the signal into a plurality of frequency bands, and adaptively codes each band.
C) or the above-mentioned SBC and so-called adaptive prediction coding (AP
C), a so-called adaptive bit allocation (APC-AB) in which a signal on the time axis is band-divided, each band signal is converted into a baseband (low band), and then multi-order linear prediction analysis is performed to perform predictive coding. ).

ここで例えば、上記帯域分割符号化においては、圧縮
効率を上げるために、一定の単位時間ブロック毎のビッ
トレートを一定に保ちながら、帯域分割した各バンドに
与えるビット数を信号スペクトル強度の時間変動に応じ
てダイナミックに(適応的に)変化させている。また、
上記適応変換符号化においては、周波数軸上でダイナミ
ックに割当てビット数を変化させている。
Here, for example, in the above-mentioned band division coding, in order to increase the compression efficiency, while keeping the bit rate per unit time block constant, the number of bits to be given to each band divided band is represented by the time variation of the signal spectrum intensity. Is dynamically (adaptively) changed according to the Also,
In the above adaptive transform coding, the number of allocated bits is dynamically changed on the frequency axis.

〔発明が解決しようとする課題〕[Problems to be solved by the invention]

上述のようなビット数を適応的に割当てる高能率符号
化においては、ビット数の割当ての仕方しだいで単位ブ
ロック(単位時間ブロック或いは単位周波数ブロック)
当たりのビットレートが一定にならない場合が生じ、ビ
ットの過不足が起こる場合がある。すなわち、与えられ
たビットレートに対して、時間軸上或いは周波数軸上で
信号レベルの低い所ではビットが余り、信号レベルの高
い所ではビットが足りないという現象が起こることがあ
る。
In the high-efficiency coding that adaptively allocates the number of bits as described above, a unit block (a unit time block or a unit frequency block) depends on how the number of bits is allocated.
The bit rate per hit may not be constant, which may result in excess or deficiency of bits. That is, for a given bit rate, a phenomenon may occur in which a bit is excessive at a place where the signal level is low on the time axis or the frequency axis, and a bit is insufficient at a place where the signal level is high.

このようなビット数の過不足があった場合には、効果
的にビット数を調整するようなビットレート調整(いわ
ゆるビットパッキング)の手法を用いる必要があった。
When there is such an excess or deficiency in the number of bits, it is necessary to use a bit rate adjustment (so-called bit packing) technique for effectively adjusting the number of bits.

このビットレート調整とは、単位ブロックでビットが
余ったときには、この単位ブロックに与えるビット数を
減らし、ビットが足りないときには与えるビット数を増
加させるようにすることにより、全体のビットレートを
一定に調整するものである。当該ビットレート調整は、
例えば、第8図に示すような機能ブロックを用いて行う
ことができると考えられる。この第8図において、入力
ディジタル信号に対して、割当てビット数決定機能ブロ
ック90で量子化の際の割当てビット数を決定し、ビット
レート調整機能ブロック91で、入力ディジタル信号の単
位ブロックのスペクトル強度に応じたビットレートの調
整(ビットパッキング)を行う。その後、ビットレート
調整されて決定されたビット数を用いて符号化機能ブロ
ック92で入力ディジタル信号の符号化(再量子化)が行
われて出力される。
This bit rate adjustment is to reduce the number of bits given to this unit block when bits remain in the unit block, and to increase the number of bits given when there are not enough bits to keep the overall bit rate constant. It is to adjust. The bit rate adjustment is
For example, it is conceivable that this can be performed using functional blocks as shown in FIG. In FIG. 8, for the input digital signal, the number of allocated bits at the time of quantization is determined by an allocated bit number determining function block 90, and the spectrum intensity of a unit block of the input digital signal is determined by a bit rate adjusting function block 91. Of the bit rate (bit packing) according to. After that, the input digital signal is encoded (re-quantized) by the encoding function block 92 using the number of bits determined by adjusting the bit rate, and is output.

ところが、上記ビットレート調整機能ブロック92で行
われるビットレートの調整としては、未だ、簡単でかつ
信号の劣化が目立たない効果的な方法がなく、このた
め、従来より、効果的なビットレート調整の方法の確立
が望まれている。特に、ビットレート調整の際に、ある
帯域に信号(スペクトル強度,エネルギ)が集中してい
るトーン性のあるソース(サイン波,トーンバースト
波,単楽器音等)については、その帯域部分で発生する
ノイズが劣化として感じられることが多く、この劣化を
防ぐための対処法の必要性があった。
However, as the bit rate adjustment performed by the bit rate adjustment function block 92, there is still no effective method that is simple and signal deterioration is not conspicuous. The establishment of a method is desired. In particular, when adjusting the bit rate, a tone source (sine wave, tone burst wave, single instrument sound, etc.) in which signals (spectral intensity and energy) are concentrated in a certain band is generated in that band. Noise that occurs is often felt as deterioration, and there is a need for a countermeasure to prevent this deterioration.

そこで、本発明は、上述のような事情に鑑みて提案さ
れたものであり、簡単な構成で、信号の劣化の目立たな
いビットレート調整(ビットパッキング)を行うことが
でき、特に、トーン性のあるソースであっても劣化の少
ない信号符号化を行うことが可能なディジタル信号符号
化方法を提供することを目的とするものである。
Therefore, the present invention has been proposed in view of the above-described circumstances, and it is possible to perform bit rate adjustment (bit packing) in which signal deterioration is not noticeable with a simple configuration. It is an object of the present invention to provide a digital signal encoding method capable of performing signal encoding with little deterioration even with a certain source.

[課題を解決するための手段] 本発明に係るディジタル信号符号化方法は、上述の課
題を解決するために提案されたものであり、入力ディジ
タル信号を複数の周波数帯域に分割すると共に、高い周
波数帯域ほどバンド幅を広く選定し、当該各バンド毎の
エネルギに基づいて各バンド単位の許容ノイズレベルを
設定するノイズレベル設定工程と、上記各バンドのエネ
ルギと上記設定された許容ノイズレベルとの差のレベル
に応じたビット数で上記各バンドの成分を量子化する量
子化工程とを有するディジタル信号符号化方法であっ
て、上記量子化工程により得られる出力情報量を検出
し、該検出出力と目標値との誤差検出し、この検出され
た誤差及び上記各バンドのエネルギに基づいて、上記量
子化工程での割当てビット数を、トーン性信号における
エネルギの集中しているバンドに多くのビット数を割り
当てるように補正して、所定期間における情報量を一定
化するようにしたことを特徴とするものである。
[Means for Solving the Problems] A digital signal encoding method according to the present invention has been proposed to solve the above-described problems, and divides an input digital signal into a plurality of frequency bands and has a high frequency band. A noise level setting step of selecting a wider bandwidth for each band and setting an allowable noise level for each band based on the energy of each band; and a difference between the energy of each band and the set allowable noise level. And a quantization step of quantizing the components of each band with the number of bits according to the level of the digital signal, wherein the amount of output information obtained by the quantization step is detected, and the detected output and An error from a target value is detected, and based on the detected error and the energy of each band, the number of bits allocated in the quantization step is converted into a tone signal. The present invention is characterized in that a correction is made so that a large number of bits are assigned to a band where energy is concentrated in the band, and the information amount in a predetermined period is made constant.

[作用] 本発明によれば、全体のビットレートを一定に保ち、
同時に、各バンドのエネルギに基づいて割当てビット数
を一定量増減することで、エネルギの集中した帯域にビ
ット数を多く割当てている。
[Operation] According to the present invention, the overall bit rate is kept constant,
At the same time, the number of allocated bits is increased or decreased by a certain amount based on the energy of each band, so that a larger number of bits is allocated to a band where energy is concentrated.

〔実施例〕 以下、本発明を適用した実施例について図面を参照し
ながら説明する。
Embodiments Hereinafter, embodiments to which the present invention is applied will be described with reference to the drawings.

本実施例のディジタル信号符号化方法が適用されたデ
ィジタル信号符号化装置は、オーディオ或いは音声等の
入力ディジタル信号を、例えば、帯域分割符号化(SB
C)や、適応変換符号化(ATC)、適応ビット割当て(AP
C−AB)等により高能率符号化するものである。そのた
め、本実施例装置では、入力ディジタル信号を複数の周
波数帯域に分割すると共に、高い周波数帯域ほどバンド
幅を広く選定している。すなわち、後述する人間の聴覚
特性を考慮したいわゆる臨界帯域幅(クリティカルバン
ド)で上記入力ディジタル信号を分割している。また、
第1図に示すように、当該クリティカルバンドの各バン
ド毎のエネルギ(又はピーク値,平均値)に基づいて各
バンド単位の許容ノイズレベルを設定するノイズレベル
設定手段としての総和検出回路14及びフィルタ回路15
と、上記各バンドのエネルギと上記ノイズレベル設定手
段の差のレベルに応じて割当てられたビット数で上記各
バンドの成分を量子化する量子化回路24とを有するもの
である。ここで、上記量子化回路24の出力情報量を後述
するデータ量演算回路26で検出し、該検出出力と端子3
からの所定の目標値(ビットレート調整のためのビット
レートの目標値)との誤差が後述する誤差検出回路27で
検出される。その後、後述する補正値決定回路28でこの
誤差出力及び各バンドのエネルギに基づいて、上記量子
化回路24の割当てビット数を補正する補正値が決定さ
れ、この補正値に基づいて量子化が行われている。この
ようにすることにより、本実施例装置では、所定期間に
おける情報量を一定化(ビットレートの調整)を行うよ
うにしている。
The digital signal encoding apparatus to which the digital signal encoding method of the present embodiment is applied converts an input digital signal such as audio or voice into, for example, band division encoding (SB
C), adaptive transform coding (ATC), adaptive bit allocation (AP
C-AB) or the like to perform high-efficiency coding. Therefore, in the present embodiment, the input digital signal is divided into a plurality of frequency bands, and the higher the frequency band, the wider the bandwidth is selected. That is, the input digital signal is divided by a so-called critical bandwidth (critical band) in consideration of human auditory characteristics described later. Also,
As shown in FIG. 1, a total sum detection circuit 14 and a filter as noise level setting means for setting an allowable noise level for each band based on the energy (or peak value, average value) of each band of the critical band. Circuit 15
And a quantization circuit 24 that quantizes the components of each band with the number of bits assigned according to the energy of each band and the level of the difference between the noise level setting means. Here, the output information amount of the quantization circuit 24 is detected by a data amount calculation circuit 26 described later, and the detected output and the terminal 3
An error with a predetermined target value (a target value of a bit rate for adjusting a bit rate) from the data is detected by an error detection circuit 27 described later. Thereafter, a correction value for correcting the number of bits allocated to the quantization circuit 24 is determined by a correction value determination circuit 28 described later based on the error output and the energy of each band, and quantization is performed based on the correction value. Have been done. In this way, in the present embodiment, the amount of information in a predetermined period is made constant (adjustment of the bit rate).

その後、上記量子化回路24からの量子化出力は、バッ
ファメモリ25を介して本実施例のディジタル信号符号化
装置の出力端子2から出力されるようになる。
Thereafter, the quantized output from the quantizing circuit 24 is output from the output terminal 2 of the digital signal encoding device of the present embodiment via the buffer memory 25.

このため、第1図の装置に供給される信号が、例え
ば、第2図Aに示すような信号スペクトルSSの信号であ
る場合、すなわち、ある帯域に信号(スペクトル強度,
エネルギ)が集中しているトーン性のあるソース(サイ
ン波,トーンバースト波,単楽器音等)である場合、上
記信号スペクトルSSに対して、ノイズスペクトルNSは第
2図中一点鎖線で示すようなものとなる。したがって、
第1図の本実施例装置においては、例えば、信号の周波
数分析を行い、各バンド毎のエネルギの割合を求め、与
えられた一定のビットに対してビット数が余った場合に
は、信号エネルギに比例してエネルギの大きい帯域には
多くのビット数を与え、小さい(少ない)帯域には少な
いビット配分でビットレートの調整を行う。これによ
り、第2図Bに示すように、ノイズスペクトルNSは、第
2図Bの図中点線で示すノイズスペクトルNSBのように
補正される。逆に、ビットが不足する場合には、信号エ
ネルギに反比例してエネルギの少ない帯域からビットを
取り上げてそのビット数の不足した帯域に与える。これ
により、第2図Cに示すように、ノイズスペクトルNS
は、第2図Cの図中点線で示すノイズスペクトルNSC
ように補正される。
Therefore, when the signal supplied to the apparatus shown in FIG. 1 is, for example, a signal having a signal spectrum SS as shown in FIG. 2A, that is, a signal (spectral intensity,
In the case of a tonal source (sine wave, tone burst wave, single instrument sound, etc.) in which energy is concentrated, the noise spectrum NS is represented by a dashed line in FIG. It becomes something. Therefore,
In the apparatus of this embodiment shown in FIG. 1, for example, the frequency of a signal is analyzed to determine the ratio of energy for each band. A larger number of bits is given to a band having a large energy in proportion to, and a bit rate is adjusted with a small bit allocation to a small (small) band. Thus, as shown in FIG. 2 B, the noise spectrum NS is corrected to noise spectrum NS B shown in dotted line in the figure in Figure 2 B. Conversely, when there are insufficient bits, bits are picked up from a band having a small energy in inverse proportion to the signal energy, and given to a band where the number of bits is insufficient. Thereby, as shown in FIG. 2C, the noise spectrum NS
Is corrected as noise spectrum NS C shown in the figure in FIG. 2 C dotted line.

ここで、第1図に示す本実施例のディジタル信号符号
化装置は、オーディオ信号,音声信号等を高速フーリエ
変換(FFT)して、時間軸の信号を周波数軸に変換し、
符号化(再量子化)を行うものである。
Here, the digital signal encoding apparatus of the present embodiment shown in FIG. 1 performs a fast Fourier transform (FFT) on an audio signal, a voice signal, and the like, and converts a time-axis signal into a frequency axis.
The encoding (requantization) is performed.

第1図において、入力端子1には、例えばオーディオ
信号が供給されており、この時間軸上のオーディオ信号
が高速フーリエ変換回路11に伝送される。この高速フー
リエ変換回路11では、上記時間軸上のオーディオ信号が
所定時間毎(単位ブロック)に周波数軸上の信号に変換
され、実数成分値Reと虚数成分値ImとからなるFFT係数
が得られる。これらFFT係数は振幅位相情報発生回路12
に伝送され、当該振幅位相情報発生回路12では上記実数
成分値Reと虚数成分値Imとから振幅値Amと位相値とが得
られて、この振幅値Amの情報が出力されるようになる。
すなわち一般の人間の聴覚は周波数領域の振幅(パワ
ー)には敏感であるが、位相についてはかなり鈍感であ
るため、本実施例では上記振幅位相情報発生回路12の出
力から上記振幅値Amのみを取り出し、これを本発明実施
例での入力ディジタル信号としている。
In FIG. 1, for example, an audio signal is supplied to an input terminal 1, and the audio signal on the time axis is transmitted to a fast Fourier transform circuit 11. In the fast Fourier transform circuit 11, the audio signal on the time axis is converted into a signal on the frequency axis at predetermined time intervals (unit blocks), and an FFT coefficient including a real component value Re and an imaginary component value Im is obtained. . These FFT coefficients are stored in the amplitude / phase information generation circuit 12
The amplitude and phase information generation circuit 12 obtains the amplitude value Am and the phase value from the real component value Re and the imaginary component value Im, and outputs information on the amplitude value Am.
That is, general human hearing is sensitive to the amplitude (power) in the frequency domain, but relatively insensitive to the phase. Therefore, in this embodiment, only the amplitude value Am is obtained from the output of the amplitude / phase information generation circuit 12. This is taken out as an input digital signal in the embodiment of the present invention.

このようにして得られた振幅値Am等の入力ディジタル
信号は、帯域分割回路13に伝送される。この帯域分割回
路13では、上記振幅値Amで表現された入力ディジタル信
号をいわゆる臨界帯域幅(クリティカルバンド)に分割
している。このクリティカルバンドとは、人間の聴覚特
性(周波数分析能力)を考慮したものであり、例えば0
〜16kHzを24バンドに分け、高い周波数帯域ほどバンド
幅を広く選定しているものである。すなわち人間の聴覚
は、一種のバンドパスフィルタのような特性を有してい
て、この各フィルタによって分けられたバンドを臨界帯
域と呼んでいる。ここで、第3図に上記クリティカルバ
ンドを示す。ただし、この第3図では図示を簡略化する
ため、上記クリティカルバンドのバンド数を12バンド
(B1〜B12)で表現している。
The input digital signal such as the amplitude value Am obtained in this way is transmitted to the band dividing circuit 13. The band division circuit 13 divides the input digital signal represented by the amplitude value Am into a so-called critical bandwidth (critical band). This critical band takes into account human auditory characteristics (frequency analysis capability), and is, for example, 0
1616 kHz is divided into 24 bands, and the higher the frequency band, the wider the bandwidth is selected. That is, human hearing has characteristics like a kind of band-pass filter, and the band divided by each filter is called a critical band. Here, FIG. 3 shows the critical band. However, in FIG. 3, the number of the critical bands is represented by 12 bands (B 1 to B 12 ) to simplify the illustration.

上記帯域分割回路13でクリティカルバンドに分割され
た各バンド(例えば24バンド)毎の上記振幅値Amは、各
々上記総和検出回路14に伝送される。この総和検出回路
14では、各バンド毎のエネルギ(各バンドでのスペクト
ル強度)が、各バンド内のそれぞれの振幅値Amの総和
(振幅値Amのピーク又は平均或いはエネルギ総和)をと
ることにより求められる。該総和検出回路14の出力すな
わち各バンドの総和のスペクトルは、一般にバークスペ
クトルと呼ばれ、この各バンドのバークスペクトルSBは
例えば第4図に示すようになる。
The amplitude value Am for each band (for example, 24 bands) divided into critical bands by the band division circuit 13 is transmitted to the sum detection circuit 14, respectively. This sum detection circuit
In 14, the energy for each band (spectral intensity in each band) is obtained by taking the sum of the respective amplitude values Am in each band (peak or average of the amplitude values Am or total energy). The output of the sum detection circuit 14, that is, the spectrum of the sum of each band is generally called a bark spectrum, and the bark spectrum SB of each band is as shown in FIG. 4, for example.

ここで、上記バークスペクトルSBのいわゆるマスキン
グに於ける影響を考慮するため、該バークスペクトルSB
に所定の重みづけの関数を畳込む(コンボリューショ
ン)。このため、上記総和検出回路14の出力すなわち該
バークスペクトルSBの各値は、フィルタ回路15に送られ
る。該フィルタ回路15は、第5図に示すように、入力端
子100からの入力データを順次遅延させる遅延素子
(z-1)1011,1012‥‥101m-2〜101m+3‥‥10123,10124
(クリティカルバンドに対応した例えば24個の遅延素
子)と、これら遅延素子1011〜10124からの出力にフィ
ルタ係数(重みづけの関数)を乗算する例えば24個の乗
算器1021,1022‥‥102m-3〜102m+3‥‥10223,10224と、
総和加算器104とから構成されるものである。この時、
上記乗算器102m-3〜102m+3において、例えば、乗算器10
2m-3でフィルタ係数0.0000086を、乗算器102m-2でフィ
ルタ係数0.0019を、乗算器102m-1でフィルタ係数0.15
を、乗算器102mでフィルタ係数1を、乗算器102m+1でフ
ィルタ係数0.4を、更に乗算器102m+2でフィルタ係数0.0
6を乗算し、乗算器102m+3でフィルタ係数0.007を各遅延
素子の出力に乗算することにより、上記バークスペクト
ルSBの畳込み処理が行われる。畳込み処理により、第4
図中点線で示す部分の総和がとられる。なお、上記マス
キングとは、人間の聴覚上の特性により、ある信号によ
って他の信号がマスクされて聞こえなくなる現象をいう
ものであり、このマスキング効果には、時間軸上のオー
ディオ信号に対するマスキング効果と周波数軸上の信号
に対するマスキング効果とがある。すなわち、該マスキ
ング効果により、マスキングされる部分にノイズがあっ
たとしても、このノイズは聞こえないことになる。この
ため、実際のオーディオ信号では、このマスキングされ
る部分内のノイズは許容可能なノイズとされる。
Here, in order to consider the influence of the bark spectrum SB on so-called masking, the bark spectrum SB
Is convolved with a function of a predetermined weight (convolution). Therefore, the output of the sum detection circuit 14, that is, each value of the bark spectrum SB is sent to the filter circuit 15. The filter circuit 15, as shown in FIG. 5, the delay elements for sequentially delaying input data from the input terminal 100 (z -1) 101 1, 101 2 ‥‥ 101 m-2 ~101 m + 3 ‥‥ 101 23 , 101 24
(For example, 24 delay elements corresponding to the critical band) and, for example, 24 multipliers 102 1 , 102 2乗 算 for multiplying the outputs from these delay elements 101 1 to 101 24 by filter coefficients (weighting functions). ‥ 102 m-3 to 102 m + 3 ‥‥ 102 23 , 102 24 ,
And a sum adder 104. At this time,
In the multipliers 102 m−3 to 102 m + 3 , for example, the multiplier 10
The filter coefficient 0.0000086 at 2 m-3, the filter coefficient 0.0019 at multiplier 102 m-2, filter coefficient 0.15 at multiplier 102 m-1
The multiplier 102 the filter coefficient 1 at m, a multiplier 102 the filter coefficients 0.4 m + 1, the filter coefficients in addition multiplier 102 m + 2 0.0
By multiplying by 6 and multiplying the output of each delay element by the filter coefficient 0.007 by the multiplier 102 m + 3 , the convolution processing of the Bark spectrum SB is performed. By the convolution process, the fourth
The sum of the parts indicated by the dotted lines in the figure is calculated. The masking refers to a phenomenon that a certain signal masks another signal and makes it inaudible due to human auditory characteristics.This masking effect includes a masking effect for an audio signal on a time axis. There is a masking effect on signals on the frequency axis. That is, even if there is noise in the masked portion due to the masking effect, this noise will not be heard. For this reason, in an actual audio signal, the noise in the masked portion is regarded as acceptable noise.

その後、上記フィルタ回路15の出力は引算器16に送ら
れる。該引算器16は、上記畳込んだ領域での後述する許
容可能なノイズレベルに対応するレベルαを求めるもの
である。なお、当該許容可能なノイズレベル(許容ノイ
ズレベル)に対応するレベルαは、後述するように、逆
コンボリューション処理を行うことによって、クリティ
カルバンドの各バンド毎の許容ノイズレベルとなるよう
なレベルである。ここで、上記引算器16には、上記レベ
ルαを求めるための許容関数(マスキングレベルを表現
する関数)が供給される。この許容関数を増減させるこ
とで上記レベルαの制御を行っている。当該許容関数
は、後述する関数発生回路29から供給されているもので
ある。
Thereafter, the output of the filter circuit 15 is sent to the subtractor 16. The subtracter 16 calculates a level α corresponding to an allowable noise level described later in the convolved area. The level α corresponding to the permissible noise level (permissible noise level) is, as described later, a level at which the permissible noise level of each critical band is obtained by performing inverse convolution processing. is there. Here, an allowance function (a function expressing a masking level) for obtaining the level α is supplied to the subtractor 16. The level α is controlled by increasing or decreasing the allowable function. The permissible function is supplied from a function generation circuit 29 described later.

すなわち、許容ノイズレベルに対応するレベルαは、
クリティカルバンドのバンドの低域から順に与えられる
番号をiとすると、第(1)式で求めることができる。
That is, the level α corresponding to the allowable noise level is
Assuming that the number given in order from the low band of the critical band is i, the critical band can be obtained by Expression (1).

α=S−(n−ai) ‥‥‥‥(1) この第(1)式において、n,aは定数でa>0、Sは
畳込み処理されたバークスペクトルの強度であり、第
(1)式中(n−ai)が許容関数となる。本実施例では
n=38,a=1としており、この時の音質劣化はなく、良
好な符号化が行えた。
α = S− (n−ai) ‥‥‥‥ (1) In the equation (1), n and a are constants and a> 0, and S is the intensity of the convolution-processed bark spectrum. 1) (n-ai) in the equation is an allowable function. In the present embodiment, n = 38, a = 1, and there was no deterioration in sound quality at this time, and good encoding was performed.

このようにして、上記レベルαが求められ、このデー
タは、割算器17に伝送される。当該割算器17では、上記
畳込みされた領域での上記レベルαを逆コンボリューシ
ョンするためのものである。したがって、この逆コンボ
リューション処理を行うことにより、上記レベルαから
マスキングスペクトルが得られるようになる。すなわ
ち、このマスキングスペクトルが許容ノイズスペクトル
となる。なお、上記逆コンボリューション処理は、複雑
な演算を必要とするが、本実施例では簡略化した割算器
17を用いて逆コンボリューションを行っている。
Thus, the level α is obtained, and this data is transmitted to the divider 17. The divider 17 is for inversely convolving the level α in the convolved region. Therefore, by performing the inverse convolution processing, a masking spectrum can be obtained from the level α. That is, this masking spectrum becomes an allowable noise spectrum. Although the above inverse convolution process requires a complicated operation, in this embodiment, a simplified divider is used.
17 is used for inverse convolution.

次に、上記マスキングスペクトルは、合成回路18を介
して減算器19に伝送される。ここで、当該減算器19に
は、上記総和検出回路14の出力すなわち前述した総和検
出回路14からのバークスペクトルSBが、遅延回路21を介
して供給されている。したがって、この減算器19で上記
マスキングスペクトルとバークスペクトルSBとの減算演
算が行われることで、第6図に示すように、上記バース
クペクトルSBは、該マスキングスペクトルMSのレベルで
示すレベル以下がマスキングされることになる。
Next, the masking spectrum is transmitted to the subtractor 19 via the synthesis circuit 18. Here, the output of the sum detection circuit 14, that is, the bark spectrum SB from the sum detection circuit 14 described above is supplied to the subtractor 19 via the delay circuit 21. Therefore, by performing the subtraction operation of the masking spectrum and the bark spectrum SB in the subtracter 19, as shown in FIG. 6, the burspectrum SB has a level lower than the level indicated by the level of the masking spectrum MS. It will be masked.

当該減算器19の出力は、ROM20を介して量子化回路24
に供給されており、上記量子化回路24では、この減算器
19の出力に応じた割合でビット数で、遅延回路23を介し
て供給されている振幅値Amの量子化を行うことになる。
すなわち、換言すれば、当該量子化回路24では、上記ク
リティカルバンドの各バンドのエネルギと上記ノイズレ
ベル設定手段の差のレベルに応じて割当てられたビット
数で上記各バンドの成分を量子化することになる。な
お、上記遅延回路21は上記合成回路18以前の各回路での
遅延量を考慮して上記総和検出回路14からのバークスペ
クトルSBを遅延させ、上記遅延回路23は上記ROM20以前
の各回路での遅延量を考慮して上記振幅値Amを遅延させ
るために設けられている。また、上記ROM20は量子化の
際の所定時間毎の上記減算器19の出力を一時格納して送
り出すために設けられている。
The output of the subtracter 19 is supplied to the quantization circuit 24 via the ROM 20.
In the quantization circuit 24, the subtracter
The quantization of the amplitude value Am supplied via the delay circuit 23 is performed with the number of bits at a rate corresponding to the output of 19.
In other words, in other words, the quantization circuit 24 quantizes the components of each band with the number of bits allocated according to the energy of each band of the critical band and the level of the difference between the noise level setting means. become. In addition, the delay circuit 21 delays the bark spectrum SB from the sum detection circuit 14 in consideration of the delay amount in each circuit before the synthesis circuit 18, and the delay circuit 23 performs the delay in each circuit before the ROM 20. It is provided to delay the amplitude value Am in consideration of the delay amount. Further, the ROM 20 is provided for temporarily storing and sending out the output of the subtractor 19 every predetermined time at the time of quantization.

ここで、上記量子化回路24の量子化の際には、前述し
たように、上記量子化回路24の出力情報量を検出し、該
検出出力と目標値の誤差及び各バンドのエネルギに基づ
いて、量子化の際に割当てビット数を補正するようにし
て、所定期間における情報量を一定化するようにしてい
る。
Here, at the time of the quantization of the quantization circuit 24, as described above, the output information amount of the quantization circuit 24 is detected, and based on the error between the detected output and the target value and the energy of each band. The amount of allocated bits is corrected at the time of quantization, so that the amount of information in a predetermined period is made constant.

このようなことを行うため、本実施例装置において
は、上記バッファメモリ25からのデータは、データ量演
算回路26によってデータ量が求められた後、誤差検出回
路27に送られる。当該誤差検出回路27では、上記データ
量と端子3からの所定の目標値(ビットレート調整のた
めのビットレートの目標値)との誤差が検出され、その
誤差データは補正値決定回路28に伝送される。また、こ
の補正値決定回路28には、単位ブロックのデータをメモ
リするメモリ33を介した総和検出回路14の出力(エネル
ギ,スペクトル強度)も供給されている。当該補正値決
定回路28は、上記誤差データが正であればエネルギの大
きい帯域により多くの補正値を与え、逆に上記誤差デー
タが負であればエネルギの大きい帯域に小さな補正値を
与えるようにするものである。このような補正値が、ビ
ット数補正回路31に伝送される。このビット数補正回路
31で、上記ROM20の出力を上記補正値で補正すること
で、量子化の際の割当てビット数の補正(ビットレート
の調整)が行われることになり、所定期間としての単位
時間ブロックにおける情報量を一定化するようになる。
このようなことから、エネルギ大の帯域では多くのビッ
ト数で量子化を行うことになり、エネルギ小の帯域では
少ないビット数で量子化を行うことになる。ここで、当
該ビット数補正回路31の出力は、四捨五入回路32を介し
て上記量子化回路24に供給されているため、ビット数の
細かな変化が矯正されている。
To do this, in the present embodiment, the data from the buffer memory 25 is sent to the error detection circuit 27 after the data amount is calculated by the data amount calculation circuit 26. The error detection circuit 27 detects an error between the data amount and a predetermined target value (a target value of the bit rate for adjusting the bit rate) from the terminal 3, and transmits the error data to the correction value determination circuit 28. Is done. The output (energy and spectrum intensity) of the sum detection circuit 14 is also supplied to the correction value determination circuit 28 via a memory 33 for storing data of a unit block. The correction value determination circuit 28 gives a larger correction value to a band with a larger energy if the error data is positive, and gives a smaller correction value to a band with a larger energy if the error data is negative. Is what you do. Such a correction value is transmitted to the bit number correction circuit 31. This bit number correction circuit
In step 31, by correcting the output of the ROM 20 with the correction value, correction of the number of allocated bits at the time of quantization (adjustment of the bit rate) is performed. Becomes constant.
For this reason, quantization is performed with a large number of bits in a high energy band, and quantization is performed with a small number of bits in a low energy band. Here, since the output of the bit number correction circuit 31 is supplied to the quantization circuit 24 via the rounding circuit 32, a fine change in the bit number is corrected.

なお、上述した合成回路18での合成の際には、最小可
聴カーブ発生回路22から供給される第7図に示すような
人間の聴覚特性であるいわゆる最小可聴カーブ(等ラウ
ドネス曲線)RCを示すデータと、上記マスキングスペク
トルMSとを合成することができる。したがって、この最
小可聴カーブRCとマスキングスペクトルMSとを共に合成
することで、許容ノイズレベルは図中斜線で示す部分ま
でとすることができるようになり、量子化の際に図中鎖
線で示す部分の割当てビット数を減らすことができるよ
うになる。なお、この第7図は、前述の第3図に示した
クリティカルバンドで表わされており、信号スペクトル
SSも同時に示している。
In the case of the synthesizing by the synthesizing circuit 18, the so-called minimum audible curve (equal loudness curve) RC which is a human auditory characteristic as shown in FIG. The data and the masking spectrum MS can be synthesized. Therefore, by synthesizing the minimum audible curve RC and the masking spectrum MS together, the allowable noise level can be reduced to the portion indicated by the oblique line in the figure, and the portion indicated by the chain line in the diagram at the time of quantization. Can be reduced. FIG. 7 is represented by the critical band shown in FIG.
SS is also shown.

ただし、本実施例においては、上述した最小可聴カー
ブの合成処理を行わない構成とすることもできる。すな
わち、この場合には、最小可聴カーブ発生回路22,合成
回路18が不要となり、上記引算器16からの出力は、割算
器17で逆コンボリューションされた後、すぐに減算器19
に伝送されることになる。
However, in the present embodiment, a configuration may be adopted in which the above-described minimum audible curve synthesis processing is not performed. That is, in this case, the minimum audible curve generating circuit 22 and the synthesizing circuit 18 become unnecessary, and the output from the subtracter 16 is deconvolved by the divider 17 and immediately thereafter,
Will be transmitted.

すなわち、本実施例のディジタル信号符号化装置にお
いては、オーディオ信号を符合化する際に、上述したよ
うにビットレート調整を行い、ノイズスペクトルの形状
が変化しないので、ビット数を減らした場合でも、聴感
上の劣化が少なくてすむことになる。特に、トーン性の
あるソースであっても劣化の少ない信号符号化を行うこ
とが可能となる。またビットレート調整のアルゴリズム
が容易なのでハードウェアを簡単に構成することができ
る。
That is, in the digital signal encoding device of the present embodiment, when encoding an audio signal, the bit rate is adjusted as described above, and since the shape of the noise spectrum does not change, even when the number of bits is reduced, The hearing deterioration is small. In particular, it is possible to perform signal encoding with little deterioration even for a source having a tone characteristic. Also, since the algorithm for adjusting the bit rate is easy, hardware can be easily configured.

本発明は、上述した第1図の実施例のように、入力デ
ィジタル信号を高速フーリエ変換して処理するいわゆる
適応変換符号化の他に、例えば、帯域分割符号化(SB
C)を行う装置にも適用することができる。この場合
は、信号をバンドパスフィルタ等で帯域分割して、この
各チャンネルに割り当てるビット数を、量子化手段の出
力情報量の検出出力と目標値の誤差及び各バンドのエネ
ルギに基づいて、増減させるものとなる。当該帯域分割
符号化の場合も上述同様の効果を得ることができる。
In the present invention, in addition to the so-called adaptive transform coding for processing an input digital signal by performing a fast Fourier transform as in the embodiment of FIG.
The present invention can be applied to an apparatus that performs C). In this case, the signal is band-divided by a band-pass filter or the like, and the number of bits assigned to each channel is increased or decreased based on the error between the detection output of the output information amount of the quantization means and the target value and the energy of each band. It will be. In the case of the band division coding, the same effect as described above can be obtained.

〔発明の効果〕〔The invention's effect〕

本発明のディジタル信号符号化方法においては、量子
化後の出力情報量を検出し、該検出出力と目標値との誤
差を検出し、この検出された誤差及び上記各バンドのエ
ネルギに基づいて、上記量子化工程での割当てビット数
を、トーン性信号におけるエネルギの集中しているバン
ドに多くのビット数を割り当てるように補正して、所定
期間における情報量を一定化するようにしたことによ
り、簡単な構成の装置で、信号の劣化の目立たないビッ
トレート調整(ビットパッキング)を行うことが可能と
なる。特に、トーン性のあるソースであっても劣化の少
ない信号符号化を行うことが可能となる。したがって、
聴感上のS/N劣化を少なくすることができるようにな
る。
In the digital signal encoding method of the present invention, the amount of output information after quantization is detected, an error between the detected output and a target value is detected, and based on the detected error and the energy of each band, By correcting the number of bits allocated in the quantization step so as to allocate a large number of bits to a band where energy is concentrated in the tone signal, so as to stabilize the information amount in a predetermined period, With a device having a simple configuration, it is possible to perform bit rate adjustment (bit packing) with no noticeable signal deterioration. In particular, it is possible to perform signal encoding with little deterioration even for a source having a tone characteristic. Therefore,
S / N deterioration on hearing can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

第1図は本発明の一実施例のディジタル信号符号化方法
が適用されたディジタル信号符号化装置の概略構成を示
すブロック回路図、第2図Aはビットレート調整をする
前のノイズスペクトルを示す特性図、第2図Bはビット
レート調整(ビット数余りの場合)後のノイズスペクト
ルを示す特性図、第2図Cはビットレート調整(ビット
数不足の場合)後のノイズスペクトルを示す特性図、第
3図はクリティカルバンドを示す図、第4図はバークス
ペクトルを示す図、第5図はフィルタ回路を示す回路
図、第6図はマスキングスペクトルを示す図、第7図は
最小可聴カーブ,マスキングスペクトルを合成した図、
第8図はビットレート調整のための機能ブロック図であ
る。 11……高速フーリエ変換回路 12……振幅位相情報発生回路 13……帯域分割回路 14……総和検出回路 15……フィルタ回路 16……引算器 17……割算器 18……合成回路 19……減算器 20……ROM 21,23……遅延回路 22……最小可聴カーブ発生回路 24……量子化回路 25……バッファメモリ 26……データ量演算回路 27……誤差検出回路 28……補正値決定回路 29……関数発生回路 31……ビット数補正回路 32……四捨五入回路 33……メモリ
FIG. 1 is a block circuit diagram showing a schematic configuration of a digital signal encoding apparatus to which a digital signal encoding method according to an embodiment of the present invention is applied, and FIG. 2A shows a noise spectrum before bit rate adjustment. FIG. 2B is a characteristic diagram showing a noise spectrum after bit rate adjustment (when the number of bits is too small), and FIG. 2C is a characteristic diagram showing a noise spectrum after bit rate adjustment (when the number of bits is insufficient). 3 is a diagram showing a critical band, FIG. 4 is a diagram showing a bark spectrum, FIG. 5 is a circuit diagram showing a filter circuit, FIG. 6 is a diagram showing a masking spectrum, FIG. Figure that combines masking spectrum,
FIG. 8 is a functional block diagram for adjusting a bit rate. 11 Fast Fourier transform circuit 12 Amplitude / phase information generation circuit 13 Band division circuit 14 Sum detection circuit 15 Filter circuit 16 Divider 17 Divider 18 Synthesis circuit 19 … Subtractor 20… ROM 21,23… Delay circuit 22… Minimum audible curve generation circuit 24… Quantization circuit 25… Buffer memory 26… Data amount calculation circuit 27… Error detection circuit 28… Correction value determination circuit 29 Function generation circuit 31 Bit number correction circuit 32 Rounding circuit 33 Memory

フロントページの続き (56)参考文献 特開 平3−117921(JP,A) 特開 昭60−96041(JP,A) 特開 昭62−57621(JP,A) 特開 昭61−110200(JP,A) Proceedings.IEEE International Conf erence on Acoustic s,Speech and Signa l Processing(1988)Vo l.5,p.2524−2527 Proceedings.IEEE International Conf erence on Acoustic s,Speech and Signa l Processing(1989)Vo l.3,p.1993−1996 昭和59年度電子通信学会通信部門全国 大会講演論文集[分冊1],第1−389 〜390頁Continuation of front page (56) References JP-A-3-117921 (JP, A) JP-A-60-96041 (JP, A) JP-A-62-57621 (JP, A) JP-A-61-110200 (JP, A) , A) Proceedings. IEEE International Conferencing on Acoustics, Speech and Signal Processing (1988) Vol. 5, p. 2524-2527 Proceedings. IEEE International Conferencing on Acoustics, Speech and Signal Processing (1989) Vol. 3, p. 1993-1996 Proceedings of the National Meeting of the Institute of Electronics, Communication and Communication Engineers, 1984-1984 [Part 1], pp. 1-389-390

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】入力ディジタル信号を複数の周波数帯域に
分割すると共に、高い周波数帯域ほどバンド幅を広く選
定し、当該各バンド毎のエネルギに基づいて各バンド単
位の許容ノイズレベルを設定するノイズレベル設定工程
と、 上記各バンドのエネルギと上記設定された許容ノイズレ
ベルとの差のレベルに応じたビット数で上記各バンドの
成分を量子化する量子化工程とを有するディジタル信号
符号化方法であって、 上記量子化工程により得られる出力情報量を検出し、該
検出出力と目標値との誤差を検出し、この検出された誤
差及び上記各バンドのエネルギに基づいて、上記量子化
工程での割当てビット数を、トーン性信号におけるエネ
ルギの集中しているバンドに多くのビット数を割り当て
るように補正して、所定期間における情報量を一定化す
るようにしたこと を特徴とするディジタル信号符号化方法。
1. A noise level for dividing an input digital signal into a plurality of frequency bands, selecting a wider bandwidth for a higher frequency band, and setting an allowable noise level for each band based on the energy of each band. A digital signal encoding method, comprising: a setting step; and a quantization step of quantizing components of each band with a number of bits corresponding to a level of a difference between the energy of each band and the set allowable noise level. Detecting the amount of output information obtained in the quantization step, detecting an error between the detected output and a target value, and based on the detected error and the energy of each of the bands, The number of allocated bits is corrected so as to allocate a large number of bits to a band where energy is concentrated in the tone signal, and the amount of information in a predetermined period is corrected. Digital signal encoding method is characterized in that so as to kept constant.
JP25579989A 1989-09-30 1989-09-30 Digital signal encoding method Expired - Lifetime JP2913695B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25579989A JP2913695B2 (en) 1989-09-30 1989-09-30 Digital signal encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25579989A JP2913695B2 (en) 1989-09-30 1989-09-30 Digital signal encoding method

Publications (2)

Publication Number Publication Date
JPH03117920A JPH03117920A (en) 1991-05-20
JP2913695B2 true JP2913695B2 (en) 1999-06-28

Family

ID=17283796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25579989A Expired - Lifetime JP2913695B2 (en) 1989-09-30 1989-09-30 Digital signal encoding method

Country Status (1)

Country Link
JP (1) JP2913695B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2729013B2 (en) * 1992-09-11 1998-03-18 松下電器産業株式会社 A threshold control quantization decision method for audio signals.

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Proceedings.IEEE International Conference on Acoustics,Speech and Signal Processing(1988)Vol.5,p.2524−2527
Proceedings.IEEE International Conference on Acoustics,Speech and Signal Processing(1989)Vol.3,p.1993−1996
昭和59年度電子通信学会通信部門全国大会講演論文集[分冊1],第1−389〜390頁

Also Published As

Publication number Publication date
JPH03117920A (en) 1991-05-20

Similar Documents

Publication Publication Date Title
JP2751564B2 (en) Digital signal coding device
JP2861238B2 (en) Digital signal encoding method
US5268685A (en) Apparatus with transient-dependent bit allocation for compressing a digital signal
EP0421259B1 (en) Digital signal encoding apparatus
JP2913731B2 (en) Highly efficient digital data encoding method.
JP3134337B2 (en) Digital signal encoding method
JP3033156B2 (en) Digital signal coding device
EP0575110B1 (en) Compressing and expanding digital signals
US5651093A (en) Method of processing audio signal
WO1992017942A1 (en) Method of encoding digital signals
JP3041967B2 (en) Digital signal coding device
JP2913695B2 (en) Digital signal encoding method
JP2913696B2 (en) Digital signal encoding method
JP3089692B2 (en) Highly efficient digital data encoding method.
JP2797524B2 (en) Digital signal encoding method
JP3070123B2 (en) Digital signal encoding apparatus and method
JP3060577B2 (en) Digital signal encoding method
JP3089691B2 (en) Highly efficient digital data encoding method.
JP3033157B2 (en) Digital signal coding device
JP3060578B2 (en) Digital signal encoding method
JP3060576B2 (en) Digital signal encoding method
JP3134335B2 (en) Digital signal encoding method and digital signal decoding device
JPH03139923A (en) Highly efficient encoder for digital data
JPH04302537A (en) High-efficiency encoding device for digital signal

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080416

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20090416

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20090416

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20100416