JP2002236500A - 多チャネル雑音抑圧装置、その方法、そのプログラム及びその記録媒体 - Google Patents
多チャネル雑音抑圧装置、その方法、そのプログラム及びその記録媒体Info
- Publication number
- JP2002236500A JP2002236500A JP2001032421A JP2001032421A JP2002236500A JP 2002236500 A JP2002236500 A JP 2002236500A JP 2001032421 A JP2001032421 A JP 2001032421A JP 2001032421 A JP2001032421 A JP 2001032421A JP 2002236500 A JP2002236500 A JP 2002236500A
- Authority
- JP
- Japan
- Prior art keywords
- channel
- power
- noise
- ratio
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Noise Elimination (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Interface Circuits In Exchanges (AREA)
Abstract
に適用した場合の再生側での音像変位、残留雑音による
再生品質劣化を抑える。 【解決手段】 各チャネルの雑音抑圧部16−m(m=
1,2,…,M)の入力信号Xm(n)のパワーPxmの
全チャネルの入力信号X1(n)〜XM(n)のパワー
の和ΣPxmに対するパワー比Pxm/ΣPxmを計算部60
で計算し、また各チャネルの雑音抑圧部16−mの出力
信号Ym(n)パワーPymの全チャネルの出力信号Y1
(n)〜YM(n)のパワーの和ΣPymに対するパワー
比Pym/ΣPymを計算部70で計算し、対応するチャネ
ルのパワー比により補正利得Gm=(Pxm/ΣPxm)/
(Pym/ΣPym)を計算部80で計算し、このGmを対
応チャネルの雑音抑圧部出力信号Ym(n)に対し乗算
する。
Description
TV会議装置などの音声/音響装置、特に共通の音響空
間において複数のマイクロホンにより集音された多チャ
ネル入力信号から不要な雑音を抑圧する多チャネル雑音
抑圧装置、その方法、そのプログラム及びその記録媒体
に関する。
は、マイクロホンで受音し、相手側に送られる送話信号
に目的となる音声以外の周囲雑音が混入すると、音声の
明瞭性が損なわれ、通話品質が著しく劣化する。このた
め、送話信号は含まれる目的音声以外の周囲雑音を抑圧
することが求められている。従来の雑音抑圧装置は例え
ば特開2000−82999号公報に示されている。こ
の技術の詳細は同公報に示されているので、ここでは図
2を参照して簡単に説明する。マイクロホン11には、
マイクロホンから離れた位置に居る人からの発声信号
(目的信号)S(n)と空調などの不要な周囲雑音N
(n)とが入力信号X(n)=S(n)+N(n)とし
て受音される。ここでnは信号の時間表現を離散時間と
して表わす整数値である。
でデジタル化された後、周波数帯域分割部22でM個の
周波数帯域の信号Xk(n)(k=1,2,…,M)に分
割される。この周波数帯域信号への分割は、短時間ごと
に例えば離散フーリエ変換により周波数領域の信号に変
換した後、M個の周波数帯域信号に分離する。入力信号
パワー計算部24で各周波数帯域信号Xk(n)のパワー
レベルPx,k(n)が計算され、また各周波数帯域信号X
k(n)は雑音パワー推定部51でその帯域信号Xk(n)
内の雑音パワーPavN,k(n)が推定される。瞬時SN
比推定部201で入力信号パワーPx,k(n)と雑音パワ
ーPavN,k(n)とから目的信号対雑音信号の比率SN
Rk(n)′を求め、更にSNRk(n)′と1フレーム時刻
前の推定値(雑音抑圧されたパワー)を用いて平均化し
たSNRk(n)を求める。
Rk(n)′とSNRk(n)を用いて、ゲインファクターG
(SNRk(n))が決定され、このゲインファクターG
(SNRk(n))がゲインファクター挿入部28におい
て対応する周波数帯域信号Xk(n)に対して乗算されて、
雑音の抑圧が行われる。入力信号加算部54において周
波数帯域信号Xk(n)のα倍と、ゲインファクター挿入
部28からの雑音抑圧された信号Yk (n)′の(1−
α)倍とが加算され、時間領域変換部29でその加算さ
れた信号Yk(n)の全帯域の信号が合成され、更に例え
ば逆離散的フーリエ変換により、時間領域の信号に変換
され、更にD/A変換部30でアナログ信号に変換さ
れ、雑音抑圧された信号Y(n)として出力される。
即ち、SNRk(n)が長時間SN比計算部52に入力さ
れて、予め決められた時間の平均値SNRavk(n)が計
算され、このSNRavk(n)が最適入力信号加算率決定
部53に入力されて、SNRavk(n)が大きい場合は例
えばα=0.05、小さい場合はα=0.5とされる。
議のように、一つの音響空間に複数のマイクロホンが設
けられる多チャネル系において、各マイクロホンよりの
各入力信号に対し、前記雑音抑圧装置をそれぞれ用いる
と、この多チャネルマイクロホンよりの入力信号を再生
する側において、送話側の音源と対応した正しい音像が
得られないことが判明した。これは各チャネルの抑圧ゲ
イン、つまりゲインファクターの推定誤差に基づくもの
と考えられる。
とに入力信号を雑音抑圧部に入力し、その雑音抑圧部で
推定した雑音比率を用いて入力信号中の雑音抑圧をして
出力する多チャネル雑音抑圧装置であって、各チャネル
の入力信号パワーの相対比が入力パワー比計算部で計算
され、また各チャネルの雑音抑圧部の出力信号パワーの
相対比が出力パワー比計算部で計算され、補正利得計算
部により各チャネルごとに、入力信号パワーの相対比と
出力信号パワーの相対比とを用いて、出力信号パワーの
相対比を入力信号パワーの相対比とほぼ等しくする補正
利得が計算され、その各補正利得により対応するチャネ
ルの出力信号のレベルが各チャネルの利得補正部で補正
される。
す。M個(Mは2以上の整数)のマイクロホン11−
1,11−2,…,11−Mが同一音場空間に配されて
いる。これらマイクロホン11−1,…,11−Mで受
音された入力信号X1(n),…,XM(n)はそれぞ
れ、例えば図2に示した雑音抑圧部16−1,…,16
−Mに入力されて、それぞれ雑音が抑圧されて信号Y1
(n),…,YM(n)として出力される。つまりMチャ
ネルの受音信号雑音抑圧系が構成されている。
0において、各チャネルの雑音抑圧部11−m(m=
1,2,…,M)に入力される入力信号Xm(n)のパ
ワーの相対比が計算される。この例では全チャネルの入
力信号のパワーの和で規格化されたパワーの相対比を求
めるようにした場合である。このため各入力信号Xm
(n)のパワーの全チャネル入力信号X1(n)〜XM
(n)の各パワーの和に対する比が計算されて、入力信
号のパワーの相対比とされる。この計算は短時間ごとに
行われ、雑音抑圧部16−mが図2に示したように短時
間ごとに処理される場合は、その処理と合わせて各入力
信号Xm(n)の短時間ごとに行われる。つまり雑音抑
圧部16−mがL個の入力信号サンプル値Xm(n−
(L−1))〜Xm(n)ごとに処理する場合は、各入
力信号Xm(n)の短時間パワーPxmは次式により計算
される。
らk=L−1までの総和 更に全チャネルの入力信号のパワーの和PxAが次式で計
算される。 PxA=Σm=1 MPxm 各入力信号Xm(n)のパワーの、全チャネルの入力信
号パワーの和に対するパワー比Pxm/PxAが求められ
る。また各チャネルの雑音抑圧部16−mの出力信号Y
m(n)のパワーの相対比が、この例では全チャネルの
出力信号のパワーの和で規格化されたものとして求めら
れる。つまり各出力信号Ym(n)のパワーの全チャネ
ルの出力信号Y1(n)〜YM(n)の各パワーの和に
対するパワー比が出力パワー比計算部70で計算され
る。この計算も入力パワー比計算部60での計算と同様
にして、各出力信号Ym(n)の短時間パワーPymが次
式により計算される。
らk=L−1までの総和 更に全チャネルの出力信号のパワーの和PyA=Σm=1 M
Pymが計算され、更に各出力信号Ym(n)のパワーの
全チャネルの出力信号パワーの和に対するパワー比Pym
/PyAが求められる。入力パワー比計算部60で計算さ
れた各チャネルの入力信号パワーの相対比、この例では
パワー比Pxm/PxAと、出力パワー比計算部60で計算
された各チャネルの出力信号パワーの相対比、この例で
はパワー比Pym/PyAが補正利得計算部80に入力さ
れ、各チャネルの出力信号パワーの相対比が、入力信号
パワーの相対比とほぼ等しくなるように、この例では出
力信号のパワー比Pym/PyAが対応する入力信号のパワ
ー比Pxm/PyAとほぼ等しくなるように各チャネルの出
力信号Ym(n)に対し利得制御するための補正利得G
mが(Pxm/PxA)/(P ym/PyA)の計算により求め
られる。
力側に利得補正部90−1,…,90−Mが直列に挿入
され、利得補正部90−1,…,90−Mで各出力信号
Y1(n),…,YM(n)に対し、補正利得G1,…,
GMがそれぞれ乗算されて、利得補正が行われる。従っ
て雑音抑圧部16−1,…,16−Mにおける、目的信
号に対する雑音比率、つまり例えば図2の場合における
ゲインファクターの推定誤差に基づき、出力信号のチャ
ネルパワーの相対比が入力信号のチャネル内パワーの相
対比と異っても、この利得補正部90−1,…,90−
Mよりの利得補正された各チャネルの出力信号パワー
の、全チャネルの出力信号パワーの和に対するパワー比
が、対応するチャネルの入力信号Xm(n)のパワーの
全チャネルの入力信号パワーの和に対するパワー比と等
しくなり、つまり出力信号パワーの相対比が入力信号パ
ワーの相対比とほぼ等しくなる。従って、この利得補正
された出力信号をマイクロホン11−1,…,11−M
の配置と同一の関係で配置したM′個のスピーカにより
再生すれば、各チャネルの出力信号パワーの相対比が各
チャネルの入力信号パワーの相対比と等しいため、発話
音源と同一関係位置の音像が受話者に得られる。
ャネルの入力信号パワーの和で規格化して入力信号パワ
ーの相対比を求め、出力信号についても、同様に規格化
してパワーの相対比を求めたが、任意の1つのチャネル
の入力信号パワーにより各チャネルの入力信号パワーを
規格化して入力信号パワーの相対比を求めてもよい、こ
の場合は、出力信号についても、前記任意の1つのチャ
ネルと同一チャネルの出力信号パワーにより各チャネル
の出力信号パワーを規格化して、出力信号パワーの相対
比を求める。このように1チャネルの信号により規格化
する場合は、その基準となるチャネルのパワーの推定を
誤ると、誤差が大きくなるが、全チャネルの信号パワー
の和で規格化した方がそのような誤りは小さくなる。な
お規格化することなく、単に入力信号パワーの相対比つ
まりPx1:Px2:Px3:…:PxMを求め、出力信号パワ
ーも同様に求めてもよい。
ものに限らず、入力信号中の雑音比率を推定し、その雑
音比率を用いて入力信号中の雑音比率を抑圧する雑音抑
圧部を用いてもよい。要は、多チャネルの場合に雑音抑
圧部の入力信号レベルと、出力信号レベルの関係が同様
にならないおそれがある雑音抑圧部を用いる場合にこの
発明は適用できる。雑音抑圧部としては図2に示すもの
や前記公開公報中の従来技術として示しているもののよ
うに、特に、入力信号を周波数帯域に分割し、各周波数
帯域ごとにその帯域の入力信号と推定雑音を用いて目的
信号に対する雑音の比率を推定し、その比率に基づき、
入力信号の対応周波数帯域信号の雑音を抑圧し、その雑
音抑圧された周波数帯域信号を合成することを短時間ご
とに行うものが好ましい。ここで短時間とは、例えば周
波数帯域信号への変換を、8kHzサンプリング入力信
号Xm(n)列の512点(時刻)づつ行う場合は64
msとなり、入力パワーの相対比計算、出力パワーの相
対比計算もこの時間ごとに行う。
算部70、補正利得計算部80、利得補正部90−1〜
90−Mはコンピュータによりプログラムを実行させる
ことにより機能させてもよい。この場合は、そのプログ
ラムはCD−ROM、フロッピー(登録商標)ディス
ク、磁気ディスクなどに記録されたものを、コンピュー
タ内のプログラム用メモリに取込んで行うことになる。
このプログラム用メモリには、通信によりプログラムを
ダウンロードさせてもよい。
来の雑音抑圧技術を多チャネルに適用した場合に、音像
の変位が生じる問題を解決することができる。
Claims (8)
- 【請求項1】 各チャネルごとにその入力信号を雑音抑
圧部に入力し、その雑音抑圧部で推定した雑音比率を用
いて入力信号中の雑音を抑圧して出力する多チャネル雑
音抑圧装置において、 上記各チャネルの入力信号が入力され、各チャネルの入
力信号パワーの相対比を求める入力パワー比計算部と、 上記各チャネルの雑音抑圧部からの出力信号について各
チャネルの出力信号パワーの相対比を求める出力パワー
比計算部と、 上記入力信号パワーの相対比と上記出力信号パワーの相
対比が入力され、各チャネルの出力信号パワーの相対比
を、上記各チャネルの入力信号パワーの相対比と等しく
するチャネルごとの補正利得を計算する補正利得計算部
と、 各チャネルごとに設けられ、そのチャネルの雑音抑圧部
の出力信号と、そのチャネルの上記補正利得によりその
出力信号のレベルを補正して出力する利得補正部とを具
備することを特徴とする多チャネル雑音抑圧装置。 - 【請求項2】 上記入力パワー比計算部は全チャネルの
入力信号パワーの和又は1つのチャネルの入力信号パワ
ーにより規格化された入力信号パワーの相対比を求める
計算部であり、 上記出力パワー比計算部は全チャネルの出力信号パワー
の和又は上記1つのチャネルの出力信号パワーにより規
格化された出力信号パワーの相対比を求める計算部であ
ることを特徴とする請求項1記載の多チャネル雑音抑圧
装置。 - 【請求項3】 上記各雑音抑圧部は短時間ごとに、入力
信号を複数の周波数帯域の信号に分割し、各周波数帯域
ごとにその周波数帯域の入力信号と推定雑音を用いて目
的信号に対する雑音比率を推定し、その比率に基づき対
応周波数帯域の信号中の雑音を抑圧し、これら雑音抑圧
された周波数帯域信号を合成する雑音抑圧部であり、 上記入力パワー比計算部及び上記出力パワー比計算部
は、それぞれ上記短時間ごとのパワーを求めて信号パワ
ーの相対比を求めるものであることを特徴とする請求項
1記載の多チャネル雑音抑圧装置。 - 【請求項4】 各チャネルごとに入力信号中の雑音比率
を推定し、その雑音比率を用いて入力信号に対し雑音抑
圧処理して出力する多チャネル雑音抑圧方法であって、 各チャネルの入力信号パワーの相対比を計算し、 上記各チャネルの雑音抑圧処理された出力信号のパワー
の相対比を計算し、 各チャネルについて上記入力信号パワーの相対比と上記
出力信号パワーの相対比を用いて補正利得を計算し、 これら各補正利得により対応するチャネルの雑音抑圧処
理された出力信号のレベルを補正することを特徴とする
多チャネル雑音抑圧方法。 - 【請求項5】 上記入力信号のパワーの相対比は、全チ
ャネルの入力信号のパワーの和又は1つのチャネルの入
力信号のパワーにより規格化し、 上記出力信号のパワーの相対比は、全チャネルの出力信
号のパワーの和又は上記1つのチャネルの出力信号のパ
ワーにより規格化することを特徴とする請求項4記載の
多チャネル雑音抑圧方法。 - 【請求項6】 上記各チャネルごとの雑音抑圧処理は、
短時間ごとに、そのチャネルの入力信号を複数の周波数
帯域の信号に分割し、各周波数帯域ごとにその周波数帯
域の入力信号と推定雑音を用いて目的信号に対する雑音
比率を推定し、その比率に基づき、対応周波数帯域の信
号中の雑音を抑圧し、これら雑音抑圧された周波数帯域
信号を合成して出力する処理であり、 上記入力信号パワーの相対比の計算、上記出力信号パワ
ーの相対比の計算、上記補正利得の計算、上記出力信号
のレベル補正は上記短時間ごとに行うことを特徴とする
請求項4又は5記載の多チャネル雑音抑圧方法。 - 【請求項7】 請求項4乃至6の何れかに記載の多チャ
ネル雑音抑圧方法をコンピュータにより実行させるプロ
グラム。 - 【請求項8】 請求項7に記載のプログラムが記録され
たコンピュータにより読み出し可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001032421A JP3619461B2 (ja) | 2001-02-08 | 2001-02-08 | 多チャネル雑音抑圧装置、その方法、そのプログラム及びその記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001032421A JP3619461B2 (ja) | 2001-02-08 | 2001-02-08 | 多チャネル雑音抑圧装置、その方法、そのプログラム及びその記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002236500A true JP2002236500A (ja) | 2002-08-23 |
JP3619461B2 JP3619461B2 (ja) | 2005-02-09 |
Family
ID=18896356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001032421A Expired - Lifetime JP3619461B2 (ja) | 2001-02-08 | 2001-02-08 | 多チャネル雑音抑圧装置、その方法、そのプログラム及びその記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3619461B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004019654A1 (ja) * | 2002-08-20 | 2004-03-04 | Sony Corporation | 自動風音低減回路および自動風音低減方法 |
JPWO2008004499A1 (ja) * | 2006-07-03 | 2009-12-03 | 日本電気株式会社 | 雑音抑圧の方法、装置、及びプログラム |
JP2010160245A (ja) * | 2009-01-07 | 2010-07-22 | Nara Institute Of Science & Technology | 雑音抑圧処理選択装置,雑音抑圧装置およびプログラム |
WO2014021492A1 (ko) * | 2012-07-30 | 2014-02-06 | 건국대학교 산학협력단 | 공간 분할을 이용한 위치 의존형 누화 제거 방법 |
JP2018031897A (ja) * | 2016-08-24 | 2018-03-01 | 富士通株式会社 | 利得調整装置、利得調整方法および利得調整プログラム |
-
2001
- 2001-02-08 JP JP2001032421A patent/JP3619461B2/ja not_active Expired - Lifetime
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004019654A1 (ja) * | 2002-08-20 | 2004-03-04 | Sony Corporation | 自動風音低減回路および自動風音低減方法 |
US7174023B2 (en) | 2002-08-20 | 2007-02-06 | Sony Corporation | Automatic wind noise reduction circuit and automatic wind noise reduction method |
JPWO2008004499A1 (ja) * | 2006-07-03 | 2009-12-03 | 日本電気株式会社 | 雑音抑圧の方法、装置、及びプログラム |
JP5435204B2 (ja) * | 2006-07-03 | 2014-03-05 | 日本電気株式会社 | 雑音抑圧の方法、装置、及びプログラム |
US10811026B2 (en) | 2006-07-03 | 2020-10-20 | Nec Corporation | Noise suppression method, device, and program |
JP2010160245A (ja) * | 2009-01-07 | 2010-07-22 | Nara Institute Of Science & Technology | 雑音抑圧処理選択装置,雑音抑圧装置およびプログラム |
WO2014021492A1 (ko) * | 2012-07-30 | 2014-02-06 | 건국대학교 산학협력단 | 공간 분할을 이용한 위치 의존형 누화 제거 방법 |
KR101404411B1 (ko) * | 2012-07-30 | 2014-06-10 | 건국대학교 산학협력단 | 공간 분할을 이용한 위치 의존형 누화 제거 방법 |
JP2018031897A (ja) * | 2016-08-24 | 2018-03-01 | 富士通株式会社 | 利得調整装置、利得調整方法および利得調整プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3619461B2 (ja) | 2005-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6449368B1 (en) | Multidirectional audio decoding | |
US9949053B2 (en) | Method and mobile device for processing an audio signal | |
KR100626233B1 (ko) | 스테레오 확장 네트워크에서의 출력의 등화 | |
JP5802753B2 (ja) | マルチチャンネルオーディオ再生のためのアップミキシング方法及びシステム | |
US7773743B2 (en) | Integration of a microphone array with acoustic echo cancellation and residual echo suppression | |
US10104470B2 (en) | Audio processing device, audio processing method, recording medium, and program | |
JPH1118194A (ja) | マイクロホンアレイ装置 | |
KR20050060789A (ko) | 가상 음향 재생 방법 및 그 장치 | |
JP2004187283A (ja) | マイクロホン装置および再生装置 | |
WO2009104252A1 (ja) | 音処理装置、音処理方法及び音処理プログラム | |
KR20200081514A (ko) | 매칭되지 않은 트랜스오럴 라우드스피커 시스템용 강화된 가상 스테레오 재생 | |
JP2014523174A (ja) | スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置 | |
US20060008091A1 (en) | Apparatus and method for cross-talk cancellation in a mobile device | |
EP3671740B1 (en) | Method of compensating a processed audio signal | |
US20220328056A1 (en) | Sound Field Related Rendering | |
JP4460256B2 (ja) | 雑音低減処理方法、この方法を実施する装置、プログラム、記録媒体 | |
JP2002236500A (ja) | 多チャネル雑音抑圧装置、その方法、そのプログラム及びその記録媒体 | |
JP2012163682A (ja) | 音声処理装置及び方法 | |
JP5937451B2 (ja) | エコー消去装置、エコー消去方法及びプログラム | |
WO2021057214A1 (zh) | 一种声场扩展方法、计算机设备以及计算机可读存储介质 | |
GB2611357A (en) | Spatial audio filtering within spatial audio capture | |
JP2013526166A (ja) | 下位互換音声形式記述を生成する方法および装置 | |
JP2017212732A (ja) | チャンネル数変換装置およびプログラム | |
JPH05268700A (ja) | ステレオ聴覚補助装置 | |
JP2006313954A (ja) | 自動音量制御方法、自動音量制御装置、プログラム、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3619461 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |