JP2001188569A - Voice coding method - Google Patents

Voice coding method

Info

Publication number
JP2001188569A
JP2001188569A JP2000323047A JP2000323047A JP2001188569A JP 2001188569 A JP2001188569 A JP 2001188569A JP 2000323047 A JP2000323047 A JP 2000323047A JP 2000323047 A JP2000323047 A JP 2000323047A JP 2001188569 A JP2001188569 A JP 2001188569A
Authority
JP
Japan
Prior art keywords
signal
prediction
circuit
data
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000323047A
Other languages
Japanese (ja)
Other versions
JP3344579B2 (en
Inventor
Norihiko Fuchigami
徳彦 渕上
Shoji Ueno
昭治 植野
Yoshiaki Tanaka
美昭 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2000323047A priority Critical patent/JP3344579B2/en
Publication of JP2001188569A publication Critical patent/JP2001188569A/en
Application granted granted Critical
Publication of JP3344579B2 publication Critical patent/JP3344579B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve compression ratio in the case or predictive-coding of voice signals. SOLUTION: An adding circuit 1a calculates a sum signal (L+R) of two- channel stereo signals L, R, and a subtracting circuit 1b calculates a difference signals (L-R). Difference arithmetic circuits 11D1, 11D2 calculate difference Δ(L+R), Δ(L-R) between this time and least time, and prediction-coding circuits (15D1, 15D2, 16D1, 16D2) calculate plural predicted values of the differences Δ(L+R), Δ(L-R), and calculate each prediction residual of the plural predicted values and the differences Δ(L+R), Δ(L-R), and a minimum prediction residual is selected.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、音声信号を予測符
号化して圧縮するための音声符号化方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a speech coding method for predictively coding and compressing a speech signal.

【0002】[0002]

【従来の技術】音声信号を予測符号化する方法として、
本発明者は先の出願(特願平9−289159号)にお
いて1チャネル(チャンネル)の原デジタル音声信号に
対して、特性が異なる複数の予測器により時間領域にお
ける過去の信号から現在の信号の複数の線形予測値を算
出し、原デジタル音声信号と、この複数の線形予測値か
ら予測器毎の予測残差を算出し、この複数の予測残差の
最小値を選択する方法を提案している。
2. Description of the Related Art As a method of predictive encoding of a speech signal,
In the prior application (Japanese Patent Application No. 9-289159), the present inventor has applied a plurality of predictors having different characteristics to an original digital audio signal of one channel (channel) from a past signal in the time domain to a current signal. A method of calculating a plurality of linear prediction values, calculating a prediction residual for each predictor from the original digital audio signal and the plurality of linear prediction values, and selecting a minimum value of the plurality of prediction residuals; I have.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、上記方
法では原デジタル音声信号がサンプリング周波数=96
kHz、量子化ビット数=20ビット程度の場合に、あ
る程度の圧縮効果を得ることができるが、近年のDVD
オーディオディスクでは、この2倍のサンプリング周波
数(=192kHz)が使用され、また、量子化ビット
数も24ビットが使用される傾向があるので、圧縮率を
改善する必要がある。
However, in the above method, the original digital audio signal has a sampling frequency = 96.
In the case of kHz and the number of quantization bits = about 20 bits, a certain compression effect can be obtained.
In audio discs, twice this sampling frequency (= 192 kHz) is used, and the number of quantization bits tends to be 24 bits. Therefore, it is necessary to improve the compression ratio.

【0004】そこで本発明は、音声信号を予測符号化す
る場合に圧縮率を改善することができる音声符号化方法
を提供することを目的とする。
Accordingly, an object of the present invention is to provide a speech coding method capable of improving the compression ratio when predictive coding of a speech signal is performed.

【0005】[0005]

【課題を解決するための手段】本発明は上記目的を達成
するために、以下の手段よりなる。すなわち、
The present invention comprises the following means to achieve the above object. That is,

【0006】同一サンプリング周波数の第1及び第2の2
系統の音声信号をミックスして互いに相関あるチャネル
に変換するステップと、前記ステップにより変換された
2つの相関信号を、チャネル毎に、入力される音声信号
に応答して先頭サンプル値を得ると共に、時間領域の過
去の信号から予測される現在の信号の複数の予測値の中
でその予測残差が最小値となる線形予測方法を選択して
予測符号化するステップと、ヘッダ情報とユーザデータ
とを有して、このユーザデータ内に圧縮PCMアクセス
ユニットを有する圧縮PCMデータフォーマットにおけ
る圧縮PCMアクセスユニット内のサブパケット内に前
記ステップにより選択された先頭サンプル値と予測残差
と線形予測方法とを含む予測化データを格納するステッ
プと、からなる音声符号化方法。
[0006] The first and second two of the same sampling frequency
Mixing the audio signals of the systems and converting them into channels correlated with each other; obtaining the first sample value in response to the input audio signal for each channel by converting the two correlated signals converted in the step; A step of selecting a linear prediction method whose prediction residual is a minimum value among a plurality of prediction values of a current signal predicted from a past signal in the time domain and performing predictive encoding, header information and user data; In the sub-packet in the compressed PCM access unit in the compressed PCM data format having the compressed PCM access unit in the user data, the first sample value selected by the step, the prediction residual, and the linear prediction method are stored. And storing the predicted data including the data.

【0007】[0007]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1は本発明に係る音声符号化方
法を適用した音声符号化装置とそれに対応した音声復号
装置の第1の実施形態を示すブロック図、図2は図1の
エンコーダを詳しく示すブロック図、図3は図2のマル
チプレクサにより多重化される1フレームのフォーマッ
トを示す説明図、図4はDVDのパックのフォーマット
を示す説明図、図5はDVDのオーディオパックのフォ
ーマットを示す説明図、図6は図1のデコーダを詳しく
示すブロック図である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of a speech encoding apparatus to which the speech encoding method according to the present invention is applied and a speech decoding apparatus corresponding thereto, and FIG. 2 is a block diagram showing the encoder of FIG. 1 in detail. 3 is an explanatory diagram showing the format of one frame multiplexed by the multiplexer of FIG. 2, FIG. 4 is an explanatory diagram showing the format of a DVD pack, FIG. 5 is an explanatory diagram showing the format of a DVD audio pack, and FIG. FIG. 2 is a block diagram illustrating a decoder of FIG. 1 in detail.

【0008】図1に示すチャネル相関回路Aは加算回路
1aと減算回路1bを有する。加算回路1aは各チャネ
ル(以下、ch)が例えばサンプリング周波数=192k
Hz、量子化ビット数=24ビットのステレオ2ch信号
L、Rの和信号(L+R)を算出して和ch用1chロスレ
ス・エンコーダ2D1に出力し、減算回路1bは差信号
(L−R)を算出して差ch用1chロスレス・エンコーダ
2D2に出力する。エンコーダ2D1、2D2は図2に
詳しく示すように、それぞれ和信号(L+R)、差信号
(L−R)の差分Δ(L+R)、Δ(L−R)を予測符
号化して記録媒体や通信媒体を介して伝送する。
The channel correlation circuit A shown in FIG. 1 has an addition circuit 1a and a subtraction circuit 1b. In the addition circuit 1a, each channel (hereinafter, ch) has a sampling frequency of 192 k
Calculates the sum signal (L + R) of the stereo 2ch signals L and R with the frequency and the number of quantization bits = 24 bits and outputs the sum signal to the 1ch lossless encoder 2D1 for the sum channel, and the subtraction circuit 1b calculates the difference signal (LR). The calculated value is output to the 1ch lossless encoder 2D2 for the difference channel. As shown in detail in FIG. 2, the encoders 2D1 and 2D2 predictively encode differences Δ (L + R) and Δ (LR) of the sum signal (L + R) and the difference signal (LR), respectively, and Transmitted via.

【0009】そして、復号側では、図6に詳しく示すよ
うにデコーダ3D1、3D2がそれぞれ各chの予測符号
化データを和信号(L+R)、差信号(L−R)に復号
し、次いでチャネル相関回路Bがこの和信号(L+
R)、差信号(L−R)をステレオ2ch信号L、Rに復
元する。
On the decoding side, the decoders 3D1 and 3D2 decode the prediction coded data of each channel into a sum signal (L + R) and a difference signal (LR), respectively, as shown in detail in FIG. Circuit B outputs the sum signal (L +
R) and the difference signal (LR) are restored to stereo 2-ch signals L and R.

【0010】図2を参照してエンコーダ2D1、2D2
について詳しく説明する。和信号(L+R)と差信号
(L−R)は1フレーム毎に1フレームバッファ10に
格納される。そして、1フレームの各サンプル値(L+
R)、(L−R)がそれぞれ差分演算回路11D1、1
1D2に印加され、今回と前回の差分Δ(L+R)、Δ
(L−R)、すなわち差分PCM(DPCM)データが
算出される。また、各フレームの先頭サンプル値(L+
R)、(L−R)がマルチプレクサ19に印加される。
Referring to FIG. 2, encoders 2D1, 2D2
Will be described in detail. The sum signal (L + R) and the difference signal (LR) are stored in one frame buffer 10 for each frame. Then, each sample value (L +
R) and (LR) are the difference calculation circuits 11D1, 1D1,
1D2, the difference Δ (L + R), Δ
(LR), that is, differential PCM (DPCM) data is calculated. Also, the first sample value (L +
R) and (LR) are applied to the multiplexer 19.

【0011】差分演算回路11D1により算出された差
分Δ(L+R)は、予測係数が異なる複数の予測器12
a−1〜12a−nと減算器13a−1〜13a−nに
印加される。そして、予測器12a−1〜12a−nで
はそれぞれ各予測係数に基づいて差分Δ(L+R)の各
予測値が算出され、減算器13a−1〜13b−nでは
それぞれこの各予測値と差分Δ(L+R)の各予測残差
が算出される。バッファ・選択器16D1はこの複数の
予測残差を一時記憶して、選択信号生成器17により指
定されたサブフレーム毎に最小の予測残差を選択し、パ
ッキング回路18に出力する。なお、このサブフレーム
はフレームの数十分の1程度のサンプル長であり、一例
として1フレームを80サブフレームとする。ここで、
予測器12a−1〜12a−nと減算器13a−1〜1
3a−nは和信号chの予測回路15D1を構成し、ま
た、この予測回路15D1とバッファ・選択器16D1
は和信号chの予測符号化回路を構成している。
The difference Δ (L + R) calculated by the difference calculation circuit 11D1 is calculated by a plurality of predictors 12 having different prediction coefficients.
a-1 to 12a-n and subtracters 13a-1 to 13a-n. Then, the predictors 12a-1 to 12a-n calculate the respective predicted values of the difference Δ (L + R) based on the respective prediction coefficients, and the subtractors 13a-1 to 13b-n calculate the respective predicted values and the difference Δ Each prediction residual of (L + R) is calculated. The buffer / selector 16D1 temporarily stores the plurality of prediction residuals, selects the minimum prediction residual for each subframe specified by the selection signal generator 17, and outputs the selected prediction residual to the packing circuit 18. Note that this subframe has a sample length of about one-tenth of a frame, and one frame is, for example, 80 subframes. here,
Predictors 12a-1 to 12a-n and subtracters 13a-1 to 13a-1
3a-n constitute a prediction circuit 15D1 for the sum signal ch, and the prediction circuit 15D1 and the buffer / selector 16D1
Constitutes a predictive encoding circuit for the sum signal ch.

【0012】同様に、差分演算回路11D2により算出
された差分Δ(L−R)は、予測係数が異なる複数の予
測器12b−1〜12b−nと減算器13b−1〜13
b−nに印加される。そして、予測器12b−1〜12
b−nではそれぞれ各予測係数に基づいて差分Δ(L−
R)の各予測値が算出され、減算器13b−1〜13b
−nではそれぞれこの各予測値と差分Δ(L−R)の各
予測残差が算出される。バッファ・選択器16D2はこ
の複数の予測残差を一時記憶して、選択信号生成器17
により指定されたサブフレーム毎に最小の予測残差を選
択し、パッキング回路18に出力する。予測器12b−
1〜12b−nと減算器13b−1〜13b−nは差信
号chの予測回路15D2を構成し、また、この予測回路
15D2とバッファ・選択器16D2は差信号chの予測
符号化回路を構成している。
Similarly, the difference Δ (LR) calculated by the difference calculation circuit 11D2 is calculated by using a plurality of predictors 12b-1 to 12b-n and subtracters 13b-1 to 13b-13 having different prediction coefficients.
b-n. Then, the predictors 12b-1 to 12b-12
bn, the difference Δ (L−
R) are calculated, and the subtractors 13b-1 to 13b
In −n, each prediction residual of the difference Δ (LR) from each of the prediction values is calculated. The buffer / selector 16D2 temporarily stores the plurality of prediction residuals, and
The minimum prediction residual is selected for each sub-frame specified by, and is output to the packing circuit 18. Predictor 12b-
1 to 12b-n and the subtractors 13b-1 to 13b-n form a prediction circuit 15D2 for the difference signal ch, and the prediction circuit 15D2 and the buffer / selector 16D2 form a prediction encoding circuit for the difference signal ch. are doing.

【0013】選択信号生成器17は予測残差のビット数
フラグ(5ビット)をパッキング回路18とマルチプレ
クサ19に対して印加し、また、予測残差が最小の予測
器を示す予測器選択フラグ(その数nが2〜9個として
3ビット)をマルチプレクサ19に対して印加する。パ
ッキング回路18はバッファ・選択器16D1、16D
2により選択された2ch分の予測残差を、選択信号生成
器17により指定されたビット数フラグに基づいて指定
ビット数でパッキングする。
The selection signal generator 17 applies a bit number flag (5 bits) of the prediction residual to the packing circuit 18 and the multiplexer 19, and a predictor selection flag (predictor) indicating the predictor having the minimum prediction residual. The number n is 2 to 9 and 3 bits) are applied to the multiplexer 19. The packing circuit 18 includes buffer / selectors 16D1, 16D
The prediction residual for 2 ch selected by 2 is packed with the specified number of bits based on the bit number flag specified by the selection signal generator 17.

【0014】続くマルチプレクサ19は図3に示すよう
に1フレーム分に対して ・フレームヘッダ(40ビット)と、 ・和信号ch(L+R)の1フレームの先頭サンプル値
(25ビット)と、 ・差信号ch(L−R)の1フレームの先頭サンプル値
(25ビット)と、 ・和信号ch(L+R)のサブフレーム毎の予測器選択
フラグ(3ビット×80)と、 ・差信号ch(L−R)のサブフレーム毎の予測器選択
フラグ(3ビット×80)と、 ・和信号ch(L+R)のサブフレーム毎のビット数フ
ラグ(5ビット×80)と、 ・差信号ch(L−R)のサブフレーム毎のビット数フ
ラグ(5ビット×80)と、 ・和信号ch(L+R)の予測残差データ列(可変ビッ
ト数)と、 ・差信号ch(L−R)の予測残差データ列(可変ビッ
ト数)とをアクセスユニットとして多重化し、可変レー
トビットストリームとして出力する。上記予測残差デー
タ列はサブパケットを構成する。このような予測符号化
によれば、原信号が例えばサンプリング周波数=192
kHz、量子化ビット数=24ビット、2チャネルの場
合、59%の圧縮率を実現することができる。
As shown in FIG. 3, the following multiplexer 19 outputs a frame header (40 bits), a first sample value (25 bits) of one frame of the sum signal ch (L + R) for one frame, A head sample value (25 bits) of one frame of the signal ch (LR); a predictor selection flag (3 bits × 80) for each subframe of the sum signal ch (L + R); a difference signal ch (L) −R) a predictor selection flag (3 bits × 80) for each subframe; a sum signal ch (L + R) a bit number flag for each subframe (5 bits × 80); a difference signal ch (L− R) the number-of-bits flag (5 bits × 80) for each sub-frame; a prediction residual data sequence (variable number of bits) of the sum signal ch (L + R); and a prediction residual of the difference signal ch (LR). Difference data string (variable bit ) And multiplexed as an access unit, output as a variable rate bit stream. The prediction residual data sequence forms a subpacket. According to such predictive coding, the original signal is, for example, sampling frequency = 192.
In the case of kHz, the number of quantization bits = 24 bits, and two channels, a compression ratio of 59% can be realized.

【0015】また、この可変レートビットストリームデ
ータをDVDオーディオディスクに記録する場合には、
図4に示す圧縮PCMのオーディオ(A)パックにパッ
キングされる。このパックは2034バイトのユーザデ
ータ(Aパケット、Vパケット)に対して4バイトのパ
ックスタート情報と、6バイトのSCR(System Clock
Reference:システム時刻基準参照値)情報と、3バイ
トのMux レート(rate)情報と1バイトのスタッフィン
グの合計14バイトのパックヘッダが付加されて構成さ
れている(1パック=合計2048バイト)。この場
合、タイムスタンプであるSCR情報を、ACBユニッ
ト内の先頭パックでは「1」として同一タイトル内で連
続とすることにより同一タイトル内のAパックの時間を
管理することができる。
When recording the variable rate bit stream data on a DVD audio disk,
It is packed in the audio (A) pack of the compressed PCM shown in FIG. This pack has 4 bytes of pack start information for 2034 bytes of user data (A packet and V packet) and 6 bytes of SCR (System Clock).
Reference: system time reference value, 3-byte Mux rate (rate) information, and 1-byte stuffing for a total of 14-byte pack header (1 pack = 2048 bytes in total). In this case, the time of the A pack in the same title can be managed by setting the SCR information as the time stamp to be “1” in the first pack in the ACB unit so as to be continuous in the same title.

【0016】圧縮PCMのAパケットは図5に詳しく示
すように、17、9又は14バイトのパケットヘッダ
と、プライベートヘッダと、図3に示すフォーマットの
1ないし2015バイトのオーディオ圧縮PCMデータ
により構成されている。圧縮PCMのプライベートヘッ
ダは、 ・1バイトのサブストリームIDと、 ・2バイトのUPC/EAN−ISRC(Universal Pr
oduct Code/European Article Number-International S
tandard Recording Code)番号、及びUPC/EAN−
ISRCデータと、 ・1バイトのプライベートヘッダ長と、 ・2バイトの第1アクセスユニットポインタと、 ・4バイトのオーディオデータ情報(ADI)と、 ・0〜7バイトのスタッフィングバイトとに、より構成
されている。このように圧縮PCMのAパケットのAD
Iは、4バイトに選定され、通常の非圧縮のPCMのA
パケットのADIよりも4バイトだけ短くされている。
したがってオーディオデータは4バイト分増加させるこ
とができる。
As shown in detail in FIG. 5, the A packet of the compressed PCM is composed of a packet header of 17, 9, or 14 bytes, a private header, and audio compressed PCM data of 1 to 2015 bytes in the format shown in FIG. ing. The private header of the compressed PCM is: 1-byte substream ID, 2 bytes of UPC / EAN-ISRC (Universal Prism).
oduct Code / European Article Number-International S
tandard Recording Code) number and UPC / EAN-
ISRC data, 1-byte private header length, 2-byte first access unit pointer, 4 bytes of audio data information (ADI), and 0 to 7 bytes of stuffing bytes. ing. Thus, the AD of the A packet of the compressed PCM
I is chosen to be 4 bytes and is the normal uncompressed PCM A
It is shorter by 4 bytes than the ADI of the packet.
Therefore, the audio data can be increased by 4 bytes.

【0017】次に図6を参照してデコーダ3D1、3D
2について説明する。図3に示したフォーマットの可変
レートビットストリームデータは、デマルチプレクサ2
1によりフレームヘッダに基づいて分離される。そし
て、和信号ch(L+R)及び差信号ch(L−R)の
1フレームの先頭サンプル値はそれぞれ累積演算回路2
5a、25bに印加され、和信号ch(L+R)及び差
信号ch(L−R)の予測器選択フラグはそれぞれ予測
器(24a−1〜24a−n)、(24b−1〜24b
−n)の各選択信号として印加され、和信号ch(L+
R)及び差信号ch(L−R)のビット数フラグと予測
残差データ列はアンパッキング回路22に印加される。
ここで、予測器(24a−1〜24a−n)、(24b
−1〜24b−n)はそれぞれ、符号化側の予測器(1
2a−1〜12a−n)、(12b−1〜12b−n)
と同一の特性であり、予測器選択フラグにより同一特性
のものが選択される。
Next, referring to FIG. 6, decoders 3D1, 3D
2 will be described. The variable rate bit stream data of the format shown in FIG.
1 based on the frame header. Then, the leading sample values of one frame of the sum signal ch (L + R) and the difference signal ch (LR) are respectively calculated by the accumulation operation circuit 2.
5a and 25b, the predictor selection flags of the sum signal ch (L + R) and the difference signal ch (LR) are set to predictors (24a-1 to 24a-n) and (24b-1 to 24b, respectively).
−n), and the sum signal ch (L +
R) and the bit number flag of the difference signal ch (LR) and the prediction residual data string are applied to the unpacking circuit 22.
Here, the predictors (24a-1 to 24a-n), (24b
-1 to 24b-n) are predictors (1) on the encoding side, respectively.
2a-1 to 12a-n), (12b-1 to 12b-n)
And the same characteristic is selected by the predictor selection flag.

【0018】アンパッキング回路22は和信号ch(L
+R)及び差信号ch(L−R)の予測残差データ列を
ビット数フラグ毎に基づいて分離してそれぞれ加算回路
23a、23bに出力する。加算回路23a、23bで
はそれぞれ、アンパッキング回路22からの和信号ch
(L+R)及び差信号ch(L−R)の今回の予測残差
データと、予測器(24a−1〜24a−n)、(24
b−1〜24b−n)の内、予測器選択フラグにより選
択された各1つにより予測された前回の予測値が加算さ
れて今回の予測値が算出される。この今回の予測値は、
図2に示す差分回路11a、11bによりそれぞれ算出
された差分Δ(L+R)、Δ(L−R)すなわちDPC
Mデータであり、予測器(24a−1〜24a−n)、
(24b−1〜24b−n)と累積演算回路25a、2
5bに印加される。
The unpacking circuit 22 outputs a sum signal ch (L
+ R) and the prediction residual data sequence of the difference signal ch (LR) are separated based on the bit number flags and output to the adders 23a and 23b, respectively. The adder circuits 23a and 23b respectively add the sum signal ch from the unpacking circuit 22.
(L + R) and the current prediction residual data of the difference signal ch (LR), and the predictors (24a-1 to 24a-n), (24
b-1 to 24b-n), the previous predicted value predicted by each one selected by the predictor selection flag is added to calculate the current predicted value. This forecast is
The differences Δ (L + R) and Δ (LR) calculated by the difference circuits 11a and 11b shown in FIG.
M data, predictors (24a-1 to 24a-n),
(24b-1 to 24b-n) and cumulative operation circuits 25a, 2
5b.

【0019】累積演算回路25a、25bはそれぞれ、
1フレームの先頭サンプル値に対して差分Δ(L+
R)、Δ(L−R)をサンプル毎に累積加算して和信号
ch(L+R)、差信号ch(L−R)の各PCMデー
タを出力する。この和信号(L+R)、差信号(L−
R)は図1に示すように加算回路4aにより2L信号が
算出されるとともに、減算回路4bにより2R信号が算
出される。そして、2L信号と2R信号がそれぞれ割り
算器5a、5bにより1/2に割り算され、元のステレ
オ2チャネル信号L、Rが復元される。
The cumulative operation circuits 25a and 25b are respectively
The difference Δ (L +
R) and Δ (LR) are cumulatively added for each sample to output PCM data of a sum signal ch (L + R) and a difference signal ch (LR). The sum signal (L + R) and the difference signal (L−
As for R), as shown in FIG. 1, a 2L signal is calculated by the adding circuit 4a, and a 2R signal is calculated by the subtracting circuit 4b. Then, the 2L signal and the 2R signal are each divided by 1/2 by the dividers 5a and 5b, and the original stereo two-channel signals L and R are restored.

【0020】次に図7、図8を参照して第2の実施形態
について説明する。上記の実施形態では、和信号(L+
R)、差信号(L−R)の各差分Δ(L+R)、Δ(L
−R)、すなわちDPCMデータのみを予測符号化する
ように構成されているが、この第2の実施形態では和信
号(L+R)、差信号(L−R)すなわちPCMデー
タ、又はその各差分Δ(L+R)、Δ(L−R)すなわ
ちDPCMデータを選択的に予測符号化するように構成
されている。
Next, a second embodiment will be described with reference to FIGS. In the above embodiment, the sum signal (L +
R), each difference Δ (L + R), Δ (L) of the difference signal (LR)
-R), that is, predictive encoding is performed only on the DPCM data. In the second embodiment, the sum signal (L + R), the difference signal (LR), ie, the PCM data, or each difference Δ (L + R), Δ (LR), that is, DPCM data is selectively and predictively encoded.

【0021】このため図7に示す符号化装置では、図2
に示す構成に対して和信号(L+R)、差信号(L−
R)をそれぞれ予測符号化するための予測回路15A、
15Sとバッファ・選択器16A、16Sが追加されて
いる。また、選択信号生成器17はバッファ・選択器1
6A、16Sによりそれぞれ選択された和信号(L+
R)、差信号(L−R)と、バッファ・選択器16D
1、16D2によりそれぞれ選択された差分Δ(L+
R)、Δ(L−R)の各予測残差の最小値に基づいて、
PCMデータとDPCMデータのどちらが圧縮率が高い
か否かを判断し、高い方のデータを選択する。このと
き、そのPCM/DPCMの選択フラグ(予測回路選択
フラグ)を追加して多重化する。
For this reason, the encoding apparatus shown in FIG.
The sum signal (L + R) and the difference signal (L−
R) for predictive encoding, respectively.
15S and buffer / selectors 16A and 16S are added. The selection signal generator 17 is a buffer / selector 1
6A, the sum signal (L +
R), the difference signal (LR) and the buffer / selector 16D
1, ΔD (L +
R), Δ (LR) based on the minimum value of each prediction residual.
It is determined whether the compression ratio of PCM data or DPCM data is higher, and the higher data is selected. At this time, the PCM / DPCM selection flag (prediction circuit selection flag) is added and multiplexed.

【0022】ここで、図7に示す和信号(L+R)の予
測回路15Aと差分Δ(L+R)の予測回路15D1が
同一の構成であり、また、差信号(L−R)の予測回路
15Sと差分Δ(L−R)の予測回路15D2が同一の
構成である場合、復号装置では図8に示すようにPCM
データとDPCMデータの両方の予測回路を設ける必要
はなく、1つのデータ分の予測回路でよい。そして、符
号化装置から伝送された予測回路選択フラグに基づいて
セレクタ26a、26bにより、DPCMデータの場合
には累積演算回路25a、25bの出力を選択し、PC
Mデータの場合には加算回路23a、23bの出力を選
択する。
Here, the prediction circuit 15A for the sum signal (L + R) and the prediction circuit 15D1 for the difference Δ (L + R) shown in FIG. 7 have the same configuration, and the prediction circuit 15S for the difference signal (L−R) has the same configuration. When the difference Δ (LR) prediction circuits 15D2 have the same configuration, the decoding apparatus uses the PCM as shown in FIG.
It is not necessary to provide a prediction circuit for both data and DPCM data, and a prediction circuit for one data may be used. Then, based on the prediction circuit selection flag transmitted from the encoding device, the selectors 26a and 26b select the outputs of the accumulator circuits 25a and 25b in the case of DPCM data.
In the case of M data, the outputs of the adders 23a and 23b are selected.

【0023】第3の実施形態では図9に示すように、原
信号L、R(PCMデータ)と、和信号(L+R)、差
信号(L−R)(PCMデータ)と、その各差分Δ(L
+R)、Δ(L−R)(DPCMデータ)の3グループ
の1つを選択的に予測符号化するように構成されてい
る。
In the third embodiment, as shown in FIG. 9, original signals L and R (PCM data), a sum signal (L + R), a difference signal (LR) (PCM data), and each difference Δ (L
+ R) and one of the three groups Δ (LR) (DPCM data) are selectively predictively encoded.

【0024】このため図9に示す符号化装置では、図7
に示す構成に対して原信号L、Rをそれぞれ予測符号化
するための予測回路15L、15Rとバッファ・選択器
16L、16Rが追加されている。また、選択信号生成
器17はバッファ・選択器16L、16Rにより選択さ
れた原信号L、Rと、バッファ・選択器16A、16S
により選択された和信号(L+R)、差信号(L−R)
と、バッファ・選択器16D1、16D2により選択さ
れた各差分Δ(L+R)、Δ(L−R)の各予測残差の
最小値に基づいて圧縮率が高いグループのデータを選択
する。このとき、その選択フラグ(予測回路選択フラ
グ)を追加して多重化する。
For this reason, in the encoding device shown in FIG.
In addition to the configuration shown in (1), prediction circuits 15L and 15R for predictively encoding the original signals L and R, and buffers / selectors 16L and 16R are added. Further, the selection signal generator 17 includes the original signals L and R selected by the buffer / selectors 16L and 16R and the buffer / selectors 16A and 16S.
Signal (L + R), difference signal (LR) selected by
And data of a group having a high compression rate based on the minimum values of the prediction residuals of the differences Δ (L + R) and Δ (LR) selected by the buffer / selectors 16D1 and 16D2. At this time, the selection flag (prediction circuit selection flag) is added and multiplexed.

【0025】また、図9に示す3グループの予測回路が
同一の構成である場合、復号装置では図10に示すよう
に3グループ分の予測回路を設ける必要はなく、1つの
グループ分の予測回路でよい。そして、符号化装置から
伝送された予測回路選択フラグに基づいて、DPCMデ
ータの場合には累積演算回路25a、25bの出力を選
択し、PCMデータの場合には加算回路23a、23b
の出力を選択してチャネル相関回路Bにより原信号L、
Rを復元する。そして、更にセレクタ27a、27bに
より原信号L、Rのグループの場合には加算回路23
a、23bの出力を選択し、他の場合にはチャネル相関
回路Bの出力を選択する
When the three groups of prediction circuits shown in FIG. 9 have the same configuration, the decoding device does not need to provide three groups of prediction circuits as shown in FIG. Is fine. Then, based on the prediction circuit selection flag transmitted from the encoding device, the output of the accumulation operation circuits 25a and 25b is selected in the case of DPCM data, and the addition circuits 23a and 23b in the case of PCM data.
And the channel correlation circuit B selects the original signal L,
Restore R. Further, in the case of the group of the original signals L and R by the selectors 27a and 27b, the addition circuit 23
a, 23b are selected, and in other cases, the output of the channel correlation circuit B is selected.

【0026】また、符号化側により予測符号化された可
変レートビットストリームデータをネットワークを介し
て伝送する場合には、符号化側では図11に示すように
伝送用にパケット化し(ステップS41)、次いでパケ
ットヘッダを付与し(ステップS42)、次いでこのパ
ケットをネットワーク上に送り出す(ステップS4
3)。復号側では図12に示すようにヘッダを除去し
(ステップS51)、次いでデータを復元し(ステップ
S52)、次いでこのデータをメモリに格納して復号を
待つ(ステップS53)。
When the variable-rate bit stream data predicted and coded by the coding side is transmitted through a network, the coding side packetizes the data for transmission as shown in FIG. 11 (step S41). Next, a packet header is added (step S42), and then this packet is sent out onto the network (step S4).
3). On the decoding side, the header is removed as shown in FIG. 12 (step S51), the data is restored (step S52), and the data is stored in a memory and decoding is waited (step S53).

【0027】図5に示す圧縮PCM(PPCM)のオー
ディオ(A)パケットの図3と異なる態様を図13に示
す。この異なる態様では、圧縮PCM(PPCM)のオ
ーディオ(A)パケットにおけるオーディオデータエリ
アは、図13に示すように複数のPPCMアクセスユニ
ットにより構成され、PPCMアクセスユニットはPP
CMシンク情報とサブパケットにより構成されている。
最初のPPCMアクセスユニット内のサブパケットは、
ディレクトリと、ビットトリームBS0と、CRCと、
エクストラ情報により構成され、ビットストリームBS
0はPPCMブロックのみにより構成されている。2番
目以降のPPCMアクセスユニット内のサブパケット
は、ディレクトリを除いてビットストリームBS0と、
CRCと、エクストラ情報により構成され、フレーム先
頭のサブストリームBS0はリスタートヘッダとPPC
Mブロック(フレーム先頭サンプル値を含む)により構
成されている。
FIG. 13 shows an aspect of the compressed PCM (PPCM) audio (A) packet shown in FIG. 5 which is different from FIG. In this different aspect, the audio data area in the audio (A) packet of the compressed PCM (PPCM) is composed of a plurality of PPCM access units as shown in FIG.
It is composed of CM sync information and subpackets.
The subpacket in the first PPCM access unit is:
Directory, bitstream BS0, CRC,
Bit stream BS composed of extra information
0 is composed of only the PPCM block. Sub-packets in the second and subsequent PPCM access units include a bit stream BS0 except for a directory,
The sub-stream BS0 at the head of the frame is composed of a CRC and extra information.
It is composed of M blocks (including a frame head sample value).

【0028】PPCMシンク情報(以下、同期情報とも
いう)は次の情報を含む。 ・1パケット当たりのサンプル数:サンプリング周波数
fsに応じて40、80又は160が選択される。 ・データレート:VBRの場合には「0」(サブパケッ
ト内のデータが圧縮データであることを示す識別子) ・サンプリング周波数fs及び量子化ビット数Qb ・チャネル割り当て情報 リスタートヘッダはフレーム毎にチャネル相関回路A
(加算回路と減算回路を有すること)を明記した情報を
有している。図13に示したフォーマットの可変レート
ビットストリームデータは、図6のデマルチプレクサ2
1以下の構成からなるデコーダ3D1、3D2により元
の2チャネルオーディオ信号に復号される。
The PPCM sync information (hereinafter also referred to as synchronization information) includes the following information. -Number of samples per packet: 40, 80 or 160 is selected according to the sampling frequency fs. -Data rate: "0" in the case of VBR (identifier indicating that the data in the subpacket is compressed data)-Sampling frequency fs and number of quantization bits Qb-Channel allocation information The restart header is a channel for each frame. Correlation circuit A
(Having an addition circuit and a subtraction circuit). The variable rate bit stream data of the format shown in FIG.
The original 2 channel audio signal is decoded by the decoders 3D1 and 3D2 having a configuration of 1 or less.

【0029】図14は、本発明に係る音声符号化装置及
び音声復号装置の第2の実施形態を示すブロック図であ
る。図14に示すチャネル相関回路A−1は加算回路1
aと減算回路1bを有する。加算回路1aはステレオ2
ch信号L、Rの和信号(L+R)を算出し、この和信号
(L+R)を割り算器5aにより1/2に割り算してか
ら、ロスレス・エンコーダ2Dに出力し、減算回路1b
は差信号(L−R)を算出し、この差信号(L−R)を
割り算器5bにより1/2に割り算してから、ロスレス
・エンコーダ2Dに出力する。ロスレス・エンコーダ2
Dは、1/2(L+R)と1/2(L−R)を用いてこ
れらを多重化して多重化信号250を作る。多重化信号
250はロスレス・デコーダ3Dによりデコードされ
て、元の1/2(L+R)と1/2(L−R)が得ら
れ、これらが、チャネル相関回路B−1を構成する加算
回路4aと減算回路4bにそれぞれ与えられ、出力信号
としてステレオ2chのL信号とR信号が得られる。な
お、ロスレス・エンコーダ2Dとロスレス・エンコーダ
2Dにおける一連の動作である、差分の算出、予測値の
算出、最小予測残差の選択、最小予測残差を用いた予測
値の算出などは、第1の実施の形態と同様に行われる。
図13に示したフォーマットの可変レートビットストリ
ームデータは、図1のチャネル相関回路を用いたか、図
14のチャネル相関回路を用いたかを例えばPPCMア
クセスユニットのリスタートヘッダに格納した識別子で
識別するようにしているので、いずれであっても確実に
デコードできる。なお、フレーム毎のロスレス圧縮を例
に説明したが、固定ではなく、区間は可変の長さにして
もよい。
FIG. 14 is a block diagram showing a second embodiment of the speech encoding apparatus and speech decoding apparatus according to the present invention. The channel correlation circuit A-1 shown in FIG.
a and a subtraction circuit 1b. The addition circuit 1a is a stereo 2
The sum signal (L + R) of the ch signals L and R is calculated, the sum signal (L + R) is divided by 1/2 by the divider 5a, and the divided signal is output to the lossless encoder 2D, and the subtraction circuit 1b
Calculates the difference signal (LR), divides the difference signal (LR) by に よ り by the divider 5b, and outputs the result to the lossless encoder 2D. Lossless encoder 2
D multiplexes these using 1/2 (L + R) and 1/2 (LR) to create a multiplexed signal 250. The multiplexed signal 250 is decoded by the lossless decoder 3D to obtain the original 1/2 (L + R) and 1/2 (LR), which are added to the addition circuit 4a constituting the channel correlation circuit B-1. And a subtraction circuit 4b, respectively, to obtain stereo 2-channel L and R signals as output signals. Note that a series of operations in the lossless encoder 2D and the lossless encoder 2D, such as calculation of a difference, calculation of a predicted value, selection of a minimum prediction residual, and calculation of a predicted value using the minimum prediction residual are performed in the first step. This is performed in the same manner as in the embodiment.
The variable rate bit stream data of the format shown in FIG. 13 is used to identify whether the channel correlation circuit shown in FIG. 1 or the channel correlation circuit shown in FIG. 14 is used, for example, by using an identifier stored in the restart header of the PPCM access unit. Therefore, any one of them can be reliably decoded. Although lossless compression for each frame has been described as an example, the section may be of variable length instead of being fixed.

【0030】[0030]

【発明の効果】以上説明したように本発明によれば、特
に、同一サンプリング周波数の第1及び第2の2系統の音
声信号をミックスして互いに相関あるチャネルに変換2
つの相関信号を、チャネル毎に入力される音声信号に応
答して先頭サンプル値を得ると共に、時間領域に過去の
信号から予測される現在の信号の複数の予測値の中でそ
の予測残差が最小となる線形予測方式によりロスレス圧
縮するようにしたので、音声信号を予測符号化する場合
に圧縮率を改善できる。
As described above, according to the present invention, in particular, the first and second audio signals of the same sampling frequency are mixed and converted into mutually correlated channels.
The first sample value is obtained from the two correlation signals in response to the audio signal input for each channel, and the prediction residual among a plurality of prediction values of the current signal predicted from the past signal in the time domain is obtained. Since the lossless compression is performed by the minimum linear prediction method, the compression ratio can be improved when predictive coding of the audio signal is performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明を適用した音声符号化装置とそれに対応
する音声復号装置の第1の実施形態を示すブロック図で
ある。
FIG. 1 is a block diagram showing a first embodiment of a speech encoding apparatus to which the present invention is applied and a speech decoding apparatus corresponding thereto.

【図2】図1のエンコーダを詳しく示すブロック図であ
る。
FIG. 2 is a block diagram showing the encoder of FIG. 1 in detail.

【図3】図2のマルチプレクサにより多重化される1フ
レームのフォーマットを示す説明図である。
FIG. 3 is an explanatory diagram showing a format of one frame multiplexed by the multiplexer of FIG. 2;

【図4】DVDのパックのフォーマットを示す説明図で
ある。
FIG. 4 is an explanatory diagram showing a format of a DVD pack.

【図5】DVDのオーディオパックのフォーマットを示
す説明図である。
FIG. 5 is an explanatory diagram showing a format of a DVD audio pack.

【図6】図1のデコーダを詳しく示すブロック図であ
る。
FIG. 6 is a block diagram illustrating the decoder of FIG. 1 in detail;

【図7】第2の実施形態のエンコーダを示すブロック図
である。
FIG. 7 is a block diagram illustrating an encoder according to a second embodiment.

【図8】第2の実施形態のデコーダを示すブロック図で
ある。
FIG. 8 is a block diagram illustrating a decoder according to a second embodiment.

【図9】第3の実施形態のエンコーダを示すブロック図
である。
FIG. 9 is a block diagram illustrating an encoder according to a third embodiment.

【図10】第3の実施形態のデコーダを示すブロック図
である。
FIG. 10 is a block diagram illustrating a decoder according to a third embodiment.

【図11】音声伝送方法を示すフローチャートである。FIG. 11 is a flowchart showing a voice transmission method.

【図12】音声伝送方法を示すフローチャートである。FIG. 12 is a flowchart showing a voice transmission method.

【図13】図5に示す圧縮PCM(PPCM)のオーデ
ィオ(A)パケットの図3と異なる態様を示すフォーマ
ット説明図である。
FIG. 13 is a format explanatory diagram showing an aspect different from FIG. 3 of the audio (A) packet of the compressed PCM (PPCM) shown in FIG. 5;

【図14】本発明を適用した音声符号化装置とそれに対
応した音声復号装置の第2の実施形態を示すブロック図
である。
FIG. 14 is a block diagram showing a second embodiment of a speech encoding apparatus to which the present invention is applied and a speech decoding apparatus corresponding thereto.

【符号の説明】[Explanation of symbols]

1a、4a 加算回路(加算手段) 1b、4b 減算回路(減算手段) 5a、5b 割り算器 11D1 差分演算回路(第1の差分演算手段) 11D2 差分演算回路(第2の差分演算手段) 12a−1〜12a−n 予測器(減算器13a−1〜
13a−n、バッファ・選択器16D1と共に第1の予
測符号化手段を構成する。) 12b−1〜12b−n 予測器(減算器13b−1〜
13b−n、バッファ・選択器16D2と共に第2の予
測符号化手段を構成する。) 13a−1〜13a−n,13b−1〜13b−n 減
算器 16D1,16D2,16A,16S,16L,16R
バッファ・選択器 15A 予測回路(バッファ・選択器16Aと共に第3
の予測符号化手段を構成する。) 15S 予測回路(バッファ・選択器16Sと共に第4
の予測符号化手段を構成する。) 15L 予測回路(バッファ・選択器16Lと共に第5
の予測符号化手段を構成する。) 15R 予測回路(バッファ・選択器16Rと共に第6
の予測符号化手段を構成する。)
1a, 4a Addition circuit (addition means) 1b, 4b Subtraction circuit (subtraction means) 5a, 5b Divider 11D1 Difference calculation circuit (first difference calculation means) 11D2 Difference calculation circuit (second difference calculation means) 12a-1 -12a-n predictor (subtractors 13a-1
13a-n and the buffer / selector 16D1 constitute a first predictive encoding means. ) 12b-1 to 12b-n predictors (subtractors 13b-1 to 13b-1)
13b-n and the buffer / selector 16D2 constitute a second predictive encoding means. 13a-1 to 13a-n, 13b-1 to 13b-n Subtractors 16D1, 16D2, 16A, 16S, 16L, 16R
Buffer / selector 15A Prediction circuit (third with buffer / selector 16A)
Of predictive encoding means. ) 15S prediction circuit (4th with buffer / selector 16S)
Of predictive encoding means. ) 15L prediction circuit (fifth with buffer / selector 16L)
Of predictive encoding means. ) 15R prediction circuit (6th with buffer / selector 16R)
Of predictive encoding means. )

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 9/14 J 9/18 D ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G10L 9/14 J 9/18 D

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】同一サンプリング周波数の第1及び第2の2系
統の音声信号をミックスして互いに相関あるチャネルに
変換するステップと、 前記ステップにより変換された2つの相関信号を、チャ
ネル毎に、入力される音声信号に応答して先頭サンプル
値を得ると共に、時間領域の過去の信号から予測される
現在の信号の複数の予測値の中でその予測残差が最小値
となる線形予測方法を選択して予測符号化するステップ
と、 ヘッダ情報とユーザデータとを有して、このユーザデー
タ内に圧縮PCMアクセスユニットを有する圧縮PCM
データフォーマットにおける圧縮PCMアクセスユニッ
ト内のサブパケット内に前記ステップにより選択された
先頭サンプル値と予測残差と線形予測方法とを含む予測
化データを格納するステップと、からなる音声符号化方
法。
A step of mixing first and second audio signals having the same sampling frequency and converting the mixed signals into channels correlated with each other; and converting the two correlated signals converted by the step into channels, A linear prediction method that obtains a leading sample value in response to an input audio signal and that has a minimum prediction residual among a plurality of prediction values of a current signal predicted from a past signal in the time domain. Selecting and predictively encoding; a compressed PCM having header information and user data and having a compressed PCM access unit in the user data.
Storing in the subpacket in the compressed PCM access unit in the data format the predicted data including the head sample value selected in the step, the prediction residual, and the linear prediction method.
JP2000323047A 1998-10-13 2000-10-23 Audio coding method Expired - Lifetime JP3344579B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000323047A JP3344579B2 (en) 1998-10-13 2000-10-23 Audio coding method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP30634998 1998-10-13
JP10-342352 1998-11-16
JP34235298 1998-11-16
JP10-306349 1998-11-16
JP2000323047A JP3344579B2 (en) 1998-10-13 2000-10-23 Audio coding method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP29167899A Division JP3387461B2 (en) 1998-10-13 1999-10-13 Recording medium, audio decoding device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001265425A Division JP3606458B2 (en) 1998-10-13 2001-09-03 Audio signal transmission method and audio decoding method

Publications (2)

Publication Number Publication Date
JP2001188569A true JP2001188569A (en) 2001-07-10
JP3344579B2 JP3344579B2 (en) 2002-11-11

Family

ID=27338825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000323047A Expired - Lifetime JP3344579B2 (en) 1998-10-13 2000-10-23 Audio coding method

Country Status (1)

Country Link
JP (1) JP3344579B2 (en)

Also Published As

Publication number Publication date
JP3344579B2 (en) 2002-11-11

Similar Documents

Publication Publication Date Title
JP3387461B2 (en) Recording medium, audio decoding device
JP3342001B2 (en) Recording medium, audio decoding device
JP3344578B2 (en) Audio coding device
JP4367455B2 (en) Audio signal transmission method and audio signal decoding method
JP3606458B2 (en) Audio signal transmission method and audio decoding method
JP3865257B2 (en) Speech encoding method and speech decoding method
JP3344581B2 (en) Audio coding device
JP3344583B2 (en) Audio encoding method and audio decoding method
JP3344579B2 (en) Audio coding method
JP3344580B2 (en) Audio encoding method and audio decoding method
JP3344582B2 (en) Audio coding method
JP3865253B2 (en) Speech encoding method and speech decoding method
JP3864985B2 (en) Speech encoding method and speech decoding method
JP3856330B2 (en) Speech encoding method and speech decoding method
JP3856332B2 (en) Speech encoding method and speech decoding method
JP3856328B2 (en) Speech encoding method and speech decoding method
JP3865258B2 (en) Speech encoding method and speech decoding method
JP3856329B2 (en) Speech encoding method and speech decoding method
JP3856333B2 (en) Speech encoding method and speech decoding method
JP3864984B2 (en) Speech encoding method and speech decoding method
JP3865254B2 (en) Speech encoding method and speech decoding method
JP3856331B2 (en) Speech encoding method and speech decoding method
JP3856334B2 (en) Speech encoding method and speech decoding method
JP2002006894A (en) Sound signal transmission method
JP2006053554A (en) Voice coding method and voice decoding method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R151 Written notification of patent or utility model registration

Ref document number: 3344579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080830

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080830

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090830

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090830

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100830

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100830

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110830

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110830

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20200830

Year of fee payment: 18

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20200830

Year of fee payment: 18

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term