JP2010263567A - 音声抽出装置 - Google Patents
音声抽出装置 Download PDFInfo
- Publication number
- JP2010263567A JP2010263567A JP2009114631A JP2009114631A JP2010263567A JP 2010263567 A JP2010263567 A JP 2010263567A JP 2009114631 A JP2009114631 A JP 2009114631A JP 2009114631 A JP2009114631 A JP 2009114631A JP 2010263567 A JP2010263567 A JP 2010263567A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- filter
- filter coefficient
- unit
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Abstract
【解決手段】スピーカからマイクロフォンへの伝達系を模擬したフィルタ係数の設定および更新を行う第1の適応フィルタ111,114および第2の適応フィルタ112,115と、スピーカに入力される入力音声信号を第1および第2の適応フィルタで演算処理し得られた模擬信号とマイク入力音声信号との差分である第1および第2の残差信号を抽出する減算部12および減算部13と、減算部12におけるマイク入力音声信号および第1の残差信号の差分量と減算部13におけるマイク入力音声信号および第2の残差信号の差分量とを監視するキャンセル量比較部16と、差分量の高い側の残差信号を送出する抽出信号送出部とを備えた。
【選択図】図1
Description
これにより、話者A側では、自分の発声した音声が自分の側のスピーカから出力されることになり、これがエコーとして聞こえてしまう。
また、以下に示すように、「音響システムとディジタル処理」(大賀寿郎 山崎芳男 金田豊 共著)で、関連技術が開示されている。
ここで、室内の音響インパルス応答をh’(k)で表すと、y’(k)はx(k)とh’(k)を畳み込んだ信号となる。
合成したy(k)をマイクロフォンで受音した信号から減算することで音響エコーの消去を行う。
また、この適応フィルタとしては安定な実時間動作が可能であるなどの理由からFIRフィルタが利用される。このときFIRフィルタの係数が室内音響伝達系のインパルス応答の推定値h(k)となる。
(数1)
e(k)=y’(k)+s(k)−y(k)
したがって、同時通話状態時には、適応フィルタの適応動作を停止させる、若しくは適応速度を低減させることなどが行われている(特許文献1)。
この拡声系は、発話者による発話音声や楽器の音などであるs(k)をマイクロフォンで受音し、それを増幅器で増幅した信号x(k)を発話者と同一空間内(室内)にスピーカで再生する系である。
この系において増幅器のゲインを大きくしすぎると閉ループのゲインが1以上となり、ハウリングが発声する。
この状態は、上記音響エコーキャンセラにおける同時通話状態に相当する。また、帰還信号y’(k)と推定の妨害信号s(k)とは強い相関をもつ。
このように、ハウリングキャンセラは、音響エコーキャンセラと比べて劣悪な条件下で空間伝達系の推定を行わなければならない。
また、上記特許文献2に開示された関連技術では、室内伝達系の推定に時間を要するため、伝達系の変動に十分追従できないといった不都合がある。
更に、上記特許文献1および2に開示された関連技術では、同時通話状態時における適応フィルタの適応動作を停止、若しくは収束速度を低減させる必要があるため、この場合、人の移動や周囲環境の変化への追従性が低下してしまうといった不都合がある。
更に、誤差信号e(k)は、エコーや帰還信号を消去した後の最終的な送話信号となるが、同時通話状態の検出に失敗しインパルス応答推定に誤りが生じている場合には、この送話信号に劣化が生じてしまう不都合がある。また、適応動作を停止せずに常時更新した場合でも、送話信号の品質が劣化してしまう不都合が生じ得る。
これは、特に送話信号を入力信号として音声認識処理に利用する場合など、抽出された送話信号の品質が高いことが要求される場合に大きな問題となり得る。
本発明は、上記関連技術の有する不都合を改善し、スピーカから発せられた帰還音とスピーカ以外の音源からの外部音とがマイクロフォンより収音された同時通話状態時に、外部音声を有効に抽出し得る音声抽出装置を提供することを、その目的とする。
次に、本発明の実施形態1について、その基本的構成内容を説明する。
この音声入力装置1は、その内部に車内に設置されたカーオーディオシステム4からの音声信号を取得する適応フィルタ部11を備えると共に、ユーザによる発話音声を収音するためのマイクロフォン3を備えた構成となっている。
また、カーオーディオシステム4には、上記適応フィルタ部11が取得する音声信号(以下「入力信号x(k)という」)と同一の音声信号を送出するスピーカ2が接続して設けられている。
このため、アドレス指定を行うにあたっては、この音声認識部6に入力される送話信号は、より高品質であることが望ましい。
尚、音声入力装置1は、プロセッサを備えたコンピュータであって、予め設定されたプログラムに基づく実行処理を行うことにより、以下に示す各部、および各手段の動作機能を実現するものとする。
尚、このアナログ音声信号は、遅延バッファ113に入力される入力信号x(k)に対してD/A(Digital/Analog)変換を行い生成された音声信号であり、この音声信号をアンプなどを介して増幅したものとする。
このマイクロフォン入力信号は、スピーカ2から出力(再生)され、帰還伝達系100を介して、マイクロフォン入力信号として、マイクロフォン3に受音される。
尚、上記マイクロフォン入力信号は、A/D(Analog/Digital)コンバータ(図示なし)によりA/D変換され、図1に示すように、帰還音信号d(k)として加算部12,13、およびキャンセル量算出部14,15に入力されるものとする。
この場合、マイクロフォン3に入力される音声の状態は、スピーカ2から帰還伝達系100を介してマイクロフォンに入力された帰還音声と、ユーザの発話したアドレス指定音声(「東京都八王子」という音声:送話信号s(k)とする)とが含まれる同時通話状態(ダブルトーク状態)となる。
また、適応フィルタ部11では、フィルタ係数算出手段111および内積演算手段114と、フィルタ係数算出手段112および内積演算手段115とにおいて、それぞれ適応信号処理が行われる。
本発明に係る実施形態では、上述のように、入力信号x(k)が、スピーカ3から出力されるのに並行して、遅延バッファ113に供給されることで、内積演算手段114、および115から出力される模擬信号yf(k)、およびyb(k)を、帰還音信号d(k)に近似させることができる。
また、フィルタ係数算出手段111は、算出されたフィルタ係数の更新を行い、内積演算手段114に対してこれを通知する(フィルタ係数更新設定機能)。これにより、内積演算手段114におけるフィルタ係数の設定を行う。
また、フィルタ係数更新設定機能は、予め設定された時間間隔毎(例えば、数μsec〜数百μsec毎)に行われる設定としてもよい。
これにより、フィルタ係数算出手段111は、一定のキャンセル量が得られた時点で、学習を完了し(学習完了状態)、この時点でフィルタ係数が固定されるものとする。
これにより、フィルタ係数算出手段111、112で更新(算出)されたフィルタ係数のうち、キャンセル量の高い、つまり、室内伝達系100のより正確に(精度よく)同定されたフィルタ係数を内積演算手段114に設定することができる。
また、フィルタ係数算出手段112は、算出されたフィルタ係数の更新を行い、内積演算手段115に対してこれを通知する(フィルタ係数更新設定機能)。これにより、内積演算手段115におけるフィルタ係数の設定を行う。
また、フィルタ係数更新設定機能は、予め設定された時間間隔毎(例えば、数μsec〜数百μsec毎)に行われる設定としてもよい。
ここで、適応アルゴリズムとしては、例えば、学習同定法、LMS法、射影法及びRLS法などを適用することができる。
また、内積演算手段114、115は、入力された遅延信号x(k−τ)を、フィルタ係数算出手段111により算出されたフィルタ係数で畳み込み演算処理を行う。
これにより、内積演算手段114は、模擬信号yf(k)を生成し、この模擬信号yf(k)を加算部12に対して出力する。また、内積演算手段115は、模擬信号yb(k)を生成し、この模擬信号yb(k)を加算部13に対して出力する。
ここで、この高速H∞フィルタでは、例えば、収束速度の速いパラメータv1としてのγf1、および収束速度の遅いパラメータv2としてのγf2(ただしγf1<γf2とする)が予め設定されているものとする。
尚、係数コピー手段116は、比較判定部16の機能として設定されてもよい。
また、ここで出力される模擬信号ef(k)は、送出信号(Sout)として、カーナビゲーションシステム5の音声認識部6に入力される。
ここで、キャンセル量算出部14は、d(k)/ef(k)(デシベル表現では、d(k)−ef(k))の値を算出する。
ここで、キャンセル量算出部14は、d(k)/eb(k)(デシベル表現では、d(k)−eb(k))の値を算出する。
また、キャンセル量比較部16は、キャンセル量算出部14のキャンセル量(foregroundキャンセル量という)が予め設定されたキャンセル量閾値(can1dB:例えば、24dBとする)に達した(上回った)場合、フィルタ係数算出手段111における学習が完了したと判定し、フィルタ係数算出手段111における係数算出更新機能を停止する制御を行う学習停止制御機能を備えている。
これにより、フィルタ係数算出手段111では、フィルタ係数の算出更新が停止される。
このとき、フィルタ係数算出手段112では、フィルタ係数の算出更新が継続して行われる。
具体的には、キャンセル量比較部16は、フィルタ係数算出手段112におけるフィルタ係数の算出更新の収束速度を、予め設定された遅い方の(ステップサイズ)パラメータv2に設定する。
ここで、フィルタ係数算出手段112が高速H∞フィルタである場合には、上述のように、γf2に設定する。
これにより、フィルタ係数算出手段112では、収束速度を落とした状態でフィルタ係数の算出更新が継続して行われる。
これにより、フィルタ係数算出手段111,112では、同時に学習が再開され、フィルタ係数の算出更新が開始される。
次に、本実施形態1である音声入力装置1の学習時における動作について、図4のフローチャートに基づいて説明する。
まず、フィルタ係数算出手段111,112が同時にフィルタ係数の算出更新処理を行う(ステップS1)。
このとき、フィルタ係数算出手段111、112では、予め設定された収束速度の速いパラメータv1(H∞フィルタである場合はパラメータγf1)に基づき、高速にフィルタ係数の算出更新が行われるものとする。
ここで、キャンセル量比較部16がキャンセル量算出部14におけるキャンセル量がcan1dB(例えば24dB)を上回ったことを検知した場合に(ステップS2)、キャンセル量比較部16は、フィルタ係数算出手段111の算出更新動作(学習動作)を停止する制御を行う(ステップS3)と共に、フィルタ係数算出手段112における学習動作を収束速度の遅いパラメータv2(H∞フィルタである場合はパラメータγf2)に基づき行うように制御する、つまり、フィルタ係数算出手段112におけるフィルタ係数の算出更新処理を、収束速度を下げた状態で行う(ステップS4)。
まず、キャンセル量比較部16は、常時キャンセル量算出部14および15のキャンセル量を監視している(ステップS11)。
ここで、backgroundキャンセル量がforegroundキャンセル量を上回った場合に(ステップS12)、キャンセル量比較部16は、係数コピー手段116に対して係数コピー機能の実行を指示する(ステップS13)。
係数コピー手段116は、フィルタ係数算出手段112で算出されたフィルタ係数を取得し、フィルタ係数算出手段111におけるフィルタ係数を書き換える処理を行う(ステップS14)。
これにより、フィルタ係数算出手段112で算出(更新)されたフィルタ係数は、係数コピー手段116によりコピーされ、フィルタ係数算出手段111で算出されたフィルタ係数に書き換えられ、この書き換えられたフィルタ係数に基づき内積演算(畳み込み演算)が行われる。
次に、本実施形態1で、適応フィルタ部11における再学習動作が開始される場合の音声入力装置1の動作について、図6のフローチャートに基づき説明する。
foregroundキャンセル量が、予め設定されたcan1dB(例えば9dB)を下回ったことを検知した場合(ステップS22)、キャンセル量比較部16は、帰還伝達系100に変動が生じたものと判定し、適応フィルタ部11に対して再学習動作の開始を指示する(ステップS23)。
この指示に応じてフィルタ係数算出手段111および112は、同時に再学習動作を開始する(ステップS24)。このとき、フィルタ係数算出手段111および112は、共に収束速度の速いパラメータv1(γf1)に基づき、高速にフィルタ係数の算出更新動作を行うものとする。
また、この音声入力装置(音響エコーキャンセル装置)により処理され出力される送出信号(Sout)の劣化を有効に抑制することができる。
次に、本発明に係る実施形態2について説明する。
この実施形態2における音声入力装置1の機器構成部分は、図2に示すように、前述した実施形態1と同一の構成を備えている。
また、前述の実施形態1におけるカーオーディオシステム4およびカーナビゲーションシステム5に代えて、予め設定された室内に設置され、カラオケ伴奏音信号の再生出力を行うカラオケ装置7を備えた構成となっている。
ここで、前述した実施形態1と同一の部分については、同一の符号を付するものとする。
次に、本発明に係る実施形態3について説明する。
この実施形態3は、図3に示すように、音響エコーキャンセル装置(音声入力装置)31および32を、それぞれ話者A側および話者B側に設置し、話者AおよびBは、自己側に設置されたスピーカおよびマイクを用いて相互通話を行う構成とする。
尚、音響エコーキャンセル装置31および32の内部機器構成部分は、前述した実施形態1および2の音声入力装置1と同一の構成を備えているものとする。
一方、話者A側でも、同様に、マイクロフォンAから入力された音声信号に、スピーカAからの出力された相手(話者B)の発話信号と話者Aによる発話音声とが入力された状態(同時通話状態:ダブルトーク状態)であっても、音響エコーキャンセル装置31は、帰還音信号としての話者Bの発話信号を有効に除去し、話者Aによる発話信号だけを送出信号(Sout)として話者B側(伝送路)へと送出することができる。
また、この音声入力装置(音響エコーキャンセル装置)により処理され出力される送出信号(Sout)の劣化を有効に抑制することができる。
2 スピーカ
3 マイクロフォン
4 カーオーディオ
5 カーナビゲーションシステム
6 音声認識部
7 カラオケ音源
8 ミキサー
11 適応フィルタ部
12,13 加算部
14,15 キャンセル量算出部
16 キャンセル量比較部
100 帰還伝達系
111,112 フィルタ係数算出手段
113 遅延バッファ手段
114,115 内積演算手段
Claims (6)
- マイクロフォンに接続され、予め設定されたスピーカ以外の外部音源から前記マイクロフォンに入力された外部音声信号を抽出信号として抽出する適応信号処理部を備えた音声信号抽出装置であって、
前記適応信号処理部は、
前記スピーカに入力される音声信号と前記マイクロフォンから入力されたマイク入力音声信号とに基づき前記スピーカから前記マイクロフォンへの伝達系を模擬したフィルタ係数の設定および更新を行う第1および第2の適応フィルタと、
前記スピーカに入力される入力音声信号を前記第1の適応フィルタで演算処理し得られた模擬信号と前記マイク入力音声信号との差分を第1の残差信号として抽出すると共に、当該第1の残差信号を前記第1の適応フィルタ部に送り込む第1の減算部と、
前記入力音声信号を前記第2の適応フィルタで演算処理して得られた模擬信号と前記マイク入力音声信号との差分を第2の残差信号として抽出すると共に、当該第2の残差信号を前記第2の適応フィルタ部に送り込む第2の減算部と、
前記第1の減算部における前記マイク入力音声信号および前記第1の残差信号の差分量と前記第2の減算部における前記マイク入力音声信号および前記第2の残差信号の差分量とを監視する減算量監視部と、
前記差分量の高い側の残差信号を前記抽出信号として送出する抽出信号送出部と、
を備えたことを特徴とする音声信号抽出装置。 - 前記請求項1に記載の音声信号抽出装置において、
前記減算量監視部は、前記第1の減算部で予め設定された値を超える差分量が検知された場合に、前記第1の適応フィルタにおけるフィルタ係数の更新動作を停止する係数更新停止制御機能を備えたことを特徴とする音声信号抽出装置。 - 前記請求項2に記載の音声信号抽出装置において、
前記減算量監視部は、前記第1および第2の適応フィルタにおける係数更新の収束速度を、予め設定された収束速度の速いパラメータおよび遅いパラメータの少なくとも2種のパラメータを用いて制御する収束速度制御機能と、
前記第1の適応フィルタにおけるフィルタ係数の更新動作停止中に、前記第2の適応フィルタにおける係数更新の収束速度を前記収束速度の遅いパラメータに基づき動作制御する低収束速度同定制御機能とを備えたことを特徴とする音声信号抽出装置。 - 前記請求項2,3に記載の音声抽出装置において、
前記減算量監視部は、前記第1の適応フィルタにおけるフィルタ係数の更新動作停止中に、前記第1の減算部で予め設定された値を下回る差分量が検知された場合に、前記第1および第2の適応フィルタにおける設定および更新動作を起動する再学習起動機能を備えたことを特徴とする音声信号抽出装置。 - 前記請求項2,3,4に記載の音声抽出装置において、
前記減算量監視部は、前記第1の適応フィルタにおけるフィルタ係数の更新動作停止中に前記第2の減算部の差分量が前記第1の減算部の差分量を超えたことが検知された場合に、前記第1の適応フィルタにおけるフィルタ係数を前記第2の適応フィルタのフィルタ係数に書き換えるフィルタ係数複製設定機能を備えたことを特徴とする音声信号抽出装置。 - 前記請求項1乃至5の何れか1つに記載の拡声装置において、
前記適応フィルタとして当該適応フィルタにおけるフィルタ係数を高速に算出する高速算出フィルタを用いることを特徴とした拡声装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009114631A JP5373473B2 (ja) | 2009-05-11 | 2009-05-11 | 音声抽出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009114631A JP5373473B2 (ja) | 2009-05-11 | 2009-05-11 | 音声抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010263567A true JP2010263567A (ja) | 2010-11-18 |
JP5373473B2 JP5373473B2 (ja) | 2013-12-18 |
Family
ID=43361251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009114631A Active JP5373473B2 (ja) | 2009-05-11 | 2009-05-11 | 音声抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5373473B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9628892B2 (en) | 2013-01-24 | 2017-04-18 | Samsung Electronics Co., Ltd. | Method of determining operation mode of hearing device and hearing device |
JP2019087815A (ja) * | 2017-11-02 | 2019-06-06 | リオン株式会社 | フィードバックキャンセラ及びそれを備えた補聴器 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10068585B2 (en) | 2014-07-24 | 2018-09-04 | Amenity Research Institute Co., Ltd. | Echo canceller device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09148965A (ja) * | 1995-11-22 | 1997-06-06 | Nec Corp | 音響用エコーキャンセラ |
JPH09153848A (ja) * | 1995-11-30 | 1997-06-10 | Sony Corp | エコーキャンセラー |
JPH10341190A (ja) * | 1997-04-18 | 1998-12-22 | Nokia Mobile Phones Ltd | エコー消去システム及び方法、並びに移動通信装置 |
-
2009
- 2009-05-11 JP JP2009114631A patent/JP5373473B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09148965A (ja) * | 1995-11-22 | 1997-06-06 | Nec Corp | 音響用エコーキャンセラ |
JPH09153848A (ja) * | 1995-11-30 | 1997-06-10 | Sony Corp | エコーキャンセラー |
JPH10341190A (ja) * | 1997-04-18 | 1998-12-22 | Nokia Mobile Phones Ltd | エコー消去システム及び方法、並びに移動通信装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9628892B2 (en) | 2013-01-24 | 2017-04-18 | Samsung Electronics Co., Ltd. | Method of determining operation mode of hearing device and hearing device |
JP2019087815A (ja) * | 2017-11-02 | 2019-06-06 | リオン株式会社 | フィードバックキャンセラ及びそれを備えた補聴器 |
JP7045165B2 (ja) | 2017-11-02 | 2022-03-31 | リオン株式会社 | フィードバックキャンセラ及びそれを備えた補聴器 |
Also Published As
Publication number | Publication date |
---|---|
JP5373473B2 (ja) | 2013-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9208771B2 (en) | Ambient noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices | |
JP6280199B2 (ja) | パーソナルオーディオデバイスにおける適応雑音消去(anc)の有効性推定および補正 | |
EP2847760B1 (en) | Error-signal content controlled adaptation of secondary and leakage path models in noise-canceling personal audio devices | |
JP6964581B2 (ja) | 固定応答フィルタによって部分的に提供されるフィードバック応答を有するフィードバック適応雑音消去(anc)コントローラおよび方法 | |
US20210112157A1 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
US8811602B2 (en) | Full duplex speakerphone design using acoustically compensated speaker distortion | |
JP2006217542A (ja) | ハウリング抑制装置および拡声装置 | |
US9392364B1 (en) | Virtual microphone for adaptive noise cancellation in personal audio devices | |
US20060210091A1 (en) | Howling canceler apparatus and sound amplification system | |
WO2016013667A1 (ja) | エコーキャンセラ装置 | |
JP5373473B2 (ja) | 音声抽出装置 | |
JP2006261967A (ja) | ハウリング抑制装置および拡声装置 | |
JP2001005463A (ja) | 音響装置 | |
JP2006067127A (ja) | 残響除去方法及びその装置 | |
JPH09116469A (ja) | エコー・ノイズキャンセラおよびエコー・ノイズ消去方法 | |
JP2005198093A (ja) | 音声処理装置、音声処理方法および音声処理プログラム | |
US11462203B2 (en) | In-vehicle communication support system | |
JP7497233B2 (ja) | 車内コミュニケーション支援システム | |
JP2006148375A (ja) | エコー除去方法、エコーキャンセラ及び電話中継装置 | |
JP2009284096A (ja) | ステレオ音響エコーキャンセル方法、ステレオ音響エコーキャンセル装置、ステレオ音響エコーキャンセルプログラム、その記録媒体 | |
WO2024042938A1 (ja) | 通話装置、通話方法及び通話プログラム | |
JP4247158B2 (ja) | 多チャネル音響エコー消去方法、多チャネル音響エコー消去装置、多チャネル音響エコー消去プログラム、記録媒体 | |
JP2004080647A (ja) | エコーキャンセラー及び通話音声処理装置 | |
CN113347527A (zh) | 声学路径的确定方法、装置、可读存储介质及电子设备 | |
JP2001189795A (ja) | 通信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5373473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |