JP2004294915A - Method, device, and program for noise discrimination - Google Patents

Method, device, and program for noise discrimination Download PDF

Info

Publication number
JP2004294915A
JP2004294915A JP2003089164A JP2003089164A JP2004294915A JP 2004294915 A JP2004294915 A JP 2004294915A JP 2003089164 A JP2003089164 A JP 2003089164A JP 2003089164 A JP2003089164 A JP 2003089164A JP 2004294915 A JP2004294915 A JP 2004294915A
Authority
JP
Japan
Prior art keywords
time
noise
series data
frequency
predicted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003089164A
Other languages
Japanese (ja)
Other versions
JP4175563B2 (en
Inventor
Kazuo Murakawa
一雄 村川
Fumihiko Ishiyama
文彦 石山
Akiyoshi Tominaga
哲欣 富永
Hiroshi Yamane
宏 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003089164A priority Critical patent/JP4175563B2/en
Publication of JP2004294915A publication Critical patent/JP2004294915A/en
Application granted granted Critical
Publication of JP4175563B2 publication Critical patent/JP4175563B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Complex Calculations (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method, a device, and a program for noise discrimination that can accurately discriminate noise by extracting and using frequency information of a measurement signal even under a severe noise environment. <P>SOLUTION: Time-series data consisting of a sound, an electric signal, and mechanical vibration are divided into finite-time sections (step S11), frequency analyses of time-series data of the individual divided finite-time sections are taken in a linear predicting method (step S13), and a defining means 5 newly defines a complex frequency and its predicted value from calculation quantities obtained from analysis results (step S15); and tracks of temporal variations of the complex frequency and predicted value are stereoscopically displayed to grasp features of the noise (step S17). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、音声、電気信号または機械的振動からなる時系列データに潜在するノイズをそのノイズの有する周波数情報であるホルマント周波数を用いて識別するノイズ識別方法、装置およびプログラムに関し、特に音声またはノイズを含む電気信号や機械的振動に潜在する特徴的な周波数情報である複素周波数とその予測値を求めることによりノイズの特徴を捉えることでノイズを識別するノイズ識別方法、装置およびプログラムに関する。
【0002】
【従来の技術】
従来、測定信号に潜在する特徴的な周波数を抽出する方法として、フーリェ変換法を始め、近年では線形予測法(例えば、非特許文献1参照)やウェーブレット変換法(例えば、非特許文献2参照)が提案されている。
【0003】
フーリェ変換法は、時系列データと所定の周波数を有する正弦波との相関係数を調べるのに対して、線形予測法は、測定信号である時系列データの予測係数を求め、その結果の予測係数を用いて特徴的な周波数を抽出する方法である。ウェーブレット変換法は、あるパルス幅とある時間遅れを有するパルスと時系列データの相関を調べるものである。
【0004】
ここで、従来の線形予測方法による周波数解析手法について説明する。ホルマント解析は、音声の時系列データ(音声に限る必要は特にない)に存在する特徴的あるいは周期的な周波数成分を得る解析手法として知られている。周波数解析の手法には、幾つかの手法があるが、ここでは、線形予測分析方法について説明する。具体的には、時系列データ{x(n):n=0,1,2,…N,T:サンプル間隔}の特徴を示す周波数情報を抽出するため、以下の時系列データに対する予測値を考える。
【0005】
【数1】

Figure 2004294915
なお、a(i=1,2,…,p)は予測係数とも呼ばれているもので、式(1)で用いられている考え方は多変量解析などで行われる回帰分析手法と同様なものであり、過去の時系列データからある時刻の時系列データを予測するものである。なお、pは予測係数の項数もしくは次数である。予測次数は時系列データの有する周波数成分の数に依存するが、通常、予測次数pは4〜10が選択されている。
【0006】
ここで、(1)式をフーリェ変換すると、以下の関係が成り立つ。次式において、X(ω)は時系列データx(n)のフーリェ変換であり、
【数2】
Figure 2004294915
はその予測値である。
【0007】
【数3】
Figure 2004294915
このとき、未知の予測係数を求めるため、時系列データとその予測値との差を以下のように定義する。
【0008】
【数4】
Figure 2004294915
式(3)で示される時系列データの差分のフーリェ変換から次式を得る。
【0009】
【数5】
Figure 2004294915
ただし、
【数6】
Figure 2004294915
ただし、ωは角周波数である。なお、式(5)の絶対値の2乗値は周波数の関数であるパワースペクトルとも呼ばれて、以下のように定義する。
【0010】
【数7】
Figure 2004294915
このとき、式(6)が最小になるようa(i=1,2,…,p)を決定することで、時系列データの周波数特性であるx(ω)の予測値を求めることができる。
【0011】
【非特許文献1】
趙、島村、高橋、鈴木:“線形予測分析に基づくホルマント周波数抽出の雑音体制の改善”、電子情報通信学会論文誌A、Vol.J89−A, No.6, pp.745−758, 2001年6月
【非特許文献2】
章、川畑:“ウェーブレット変換による異常信号診断法に関する研究”、日本機械学会論文誌C、No.00−1060, pp.71−78, 2001年5月
【0012】
【発明が解決しようとする課題】
上述した従来の手法は、時系列データから得られる周波数とそのレベルまたは相関値を二次元的に表示することでノイズを特徴づけるものであるが、時系列データに混入しているホワイトノイズと信号とのS/Nの問題があり、ノイズが多くなると、ホルマント周波数の抽出精度が著しく劣化するという問題がある。
【0013】
また、実環境で測定される測定信号には商用電源からの電磁誘導の影響を受けることが多く、その影響により解析結果が変動するなどの問題がある。
【0014】
更に、従来の手法におけるホルマント解析では、ある時系列データの周波数特性を調べるため、未知の予測係数を求めることを主眼に置いている。このとき、未知の予測係数を決定する際、フーリェ変換などで行われる複素演算処理が不要である。この結果、四則演算でほぼ特徴的な周波数情報を得ることができる。ただし、これまでの周波数解析では、得られた周波数情報を実数空間のみで表示することに主眼を置いていたため、本来、時系列データが有する周波数情報を充分に用いていないという問題がある。
【0015】
本発明は、上記に鑑みてなされたもので、その目的とするところは、高ノイズ下においても測定信号の周波数情報を抽出して用いることによりノイズを適確に識別することができるノイズ識別方法、装置およびプログラムを提供することにある。
【0016】
【課題を解決するための手段】
上記目的を達成するため、請求項1記載の本発明は、音声、電気信号または機械的振動からなる時系列データに潜在するノイズを識別するノイズ識別方法であって、前記時系列データを有限時間区間に分割し、個々の有限時間区間の時系列データに対して線形予測法により周波数解析を行い、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義し、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉えることを要旨とする。
【0017】
請求項1記載の本発明は、ノイズの周波数特性を捉えることを基本としたノイズ識別方法であって、時系列データを有限時間区間に分割し、各有限時間区間の時系列データに対して周波数解析を行い、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義し、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉えるため、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0018】
また、請求項2記載の本発明は、請求項1記載の発明において、前記時系列データの時間波形に対して自己相関または積分処理の前処理を行うことで広い周波数範囲における時系列データの有する複素周波数とその予測値を求め、この複素周波数とその予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉えることを要旨とする。
【0019】
請求項2記載の本発明にあっては、時間波形に対して自己相関または積分処理の前処理を行って広い周波数範囲における時系列データの有する複素周波数と予測値を求め、この複素周波数と予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉えるため、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0020】
更に、請求項3記載の本発明は、音声、電気信号または機械的振動からなる時系列データに潜在するノイズを識別するノイズ識別装置であって、前記時系列データを有限時間区間に分割する時系列データ分割手段と、個々の有限時間区間の時系列データに対して線形予測法により周波数解析を行う周波数解析手段と、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義する定義手段と、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示してノイズの特徴を捉える立体的表示手段とを有することを要旨とする。
【0021】
請求項3記載の本発明にあっては、時系列データを有限時間区間に分割し、各有限時間区間の時系列データに対して周波数解析を行い、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義し、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉えるため、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0022】
請求項4記載の本発明は、請求項3記載の発明において、前記時系列データの時間波形に対して自己相関または積分処理の前処理を行うことで広い周波数範囲における時系列データの有する複素周波数とその予測値を求め、この複素周波数とその予測値の時間的な変化を立体的に表示してノイズの特徴を捉える手段を有することを要旨とする。
【0023】
請求項4記載の本発明にあっては、時間波形に対して自己相関または積分処理の前処理を行って広い周波数範囲における時系列データの有する複素周波数と予測値を求め、この複素周波数と予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉えるため、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0024】
また、請求項5記載の本発明は、音声、電気信号または機械的振動からなる時系列データに潜在するノイズを識別するためのコンピュータが実行可能なノイズ識別プログラムであって、前記時系列データを有限時間区間に分割する手順と、個々の有限時間区間の時系列データに対して線形予測法により周波数解析を行う手順と、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義する手順と、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉える手順とを前記コンピュータに実行させることを要旨とする。
【0025】
請求項5記載の本発明にあっては、時系列データを有限時間区間に分割し、各有限時間区間の時系列データに対して周波数解析を行い、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義し、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉えるため、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0026】
更に、請求項6記載の本発明は、請求項5記載の発明において、前記時系列データの時間波形に対して自己相関または積分処理の前処理を行うことで広い周波数範囲における時系列データの有する複素周波数とその予測値を求め、この複素周波数とその予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉える手順を前記コンピュータに実行させることを要旨とする。
【0027】
請求項6記載の本発明にあっては、時間波形に対して自己相関または積分処理の前処理を行って広い周波数範囲における時系列データの有する複素周波数と予測値を求め、この複素周波数と予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉えるため、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0028】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図1は、本発明の一実施形態に係るノイズ識別方法を実施するノイズ識別装置の構成を示すブロック図であり、図2は、その処理手順を示すフローチャートである。
【0029】
本実施形態を図面で説明する前に、まず本発明の概要について説明する。従来の技術において説明したように、ホルマント解析では、ある時系列データの周波数特性を調べるため、未知の予測係数を求めることを主眼に置いている。このとき、未知の予測係数を決定する際、フーリェ変換などで行われる複素演算処理が不要である。この結果、四則演算でほぼ特徴的な周波数情報を得ることができる。ただし、これまでの周波数解析では、得られた周波数情報を実数空間のみで表示することに主眼を置いていたため、本来、時系列データが有する周波数情報を充分に用いていない問題があった。このため、式(2)の関係を用いて、以下の複素周波数を定義する。
【0030】
【数8】
Figure 2004294915
式(7)はある有限時間区間の時系列データに対する周波数成分の予測値と真値との比に周波数を掛けたものである。しかも、式(7)の単位は複素数の周波数である。なお、予測値と真値が等しくなる場合、式(7)から得られる周波数と時系列データの有する周波数は合致することになる。従って、複素周波数を軸として式(7)を立体表示することにより、時系列データの有する特徴もしくは振る舞いをより動的に表現することができる。ここで、式(7)を用いて式(5)である予測スペクトルは以下のようにも表現できる。
【0031】
【数9】
Figure 2004294915
式(8)において、予測値と真値が合致した場合、式(8)の分母は発散し、予測値と真値が合致しない場合、予測値が有限な値を有することから、この式(8)を表示することによって、ノイズの特徴を定量的に捉えることができる。
【0032】
次に、以上の説明を踏まえて、本実施形態のノイズ識別装置およびその処理手順について図面を用いて説明する。図1に示すように、本実施形態のノイズ識別装置は、時系列データ分割手段1、周波数解析手段3、定義手段5および立体的表示手段7から構成されている。
【0033】
図2に示すフローチャートでは、本実施形態のノイズ識別方法は、まず時系列データ分割手段1において音声、電気信号または機械的振動からなる時系列データを有限時間区間に分割し(ステップS11)、この分割された個々の有限時間区間の時系列データに対して線形予測法により周波数解析を周波数解析手段3において行う(ステップS13)。
【0034】
次に、周波数解析手段3による解析結果から得られる計算量から複素周波数とその予測値を定義手段5で新たに定義する(ステップS15)。それから、この複素周波数と予測値の時間的な変化の軌跡を立体的表示手段7で立体的に表示することによりノイズの特徴を捉えることができる(ステップS17)。
【0035】
なお、本実施形態のノイズ識別方法では、更に時系列データの時間波形に対して自己相関または積分処理の前処理を行うことで広い周波数範囲における時系列データの有する複素周波数とその予測値を求め、この複素周波数とその予測値の時間的な変化を立体的に表示してノイズの特徴を捉えることができる。
【0036】
次に、図3乃至図10を参照して、本実施形態のノイズ識別方法の具体的な解析結果について説明する。
【0037】
図3乃至図10に示す解析結果は、ノイズ源としてインバータ方式の蛍光灯を用いたものであり、図3乃至図6は、蛍光灯の点灯中において電源線に流れているコモンモード電流の解析結果であり、図7乃至図10は、蛍光灯の点灯直後において電源線に流れているコモンモード電流の解析結果である。
【0038】
また、図3乃至図10において、図3および図7はノイズ電流の時間波形である。図4および図8は従来の周波数解析結果を時間とその時間に存在する周波数によって表示した図であり、同図において黒くなっている箇所にノイズの周波数成分が存在していることが示されている。
【0039】
また、図において、図4および図5は複素周波数による特徴、すなわち予測評価値を三次元的に表示したものであり、平面軸として複素周波数の実軸と虚軸があり、この平面軸上に予測スペクトルである予測評価値(正規化|A(ω)|)を立体的に表示しているものである。図6および図10は図5および図9の複素周波数の実軸から見た図である。この図5および図9、図6および図10の縦軸で示す予測スペクトルは、ノイズの有する周波数の存在を示す指標であり、この値が高い程、ノイズが有するある周波数の存在確率が高いことを示している。従って、実軸と虚軸の周波数軸を有する複素周波数で予測スペクトルを表示することで、その周波数の存在を定量的に判断することができる。従って、図5および図9、図6および図10においてピークが示されている箇所にその周波数が存在することがわかる。
【0040】
図4および図8に示す従来の表示方法では、矢印で示すように、周波数50kHz付近に特徴的な周波数が存在することは見られるが、図面から両者の違いを明確に判断できない。
【0041】
これに対して、本実施形態による図5および図9、図6および図10による表示方法では、矢印で示すように周波数50kHz付近にピークのある特徴的な周波数があることを始め、両者の違いを明確に識別することができ、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確にまた商用電源からの低周波誘導による影響も抽出することができる。
【0042】
なお、上記実施形態のノイズ識別方法の処理手順をプログラムとして例えばCDやFDなどの記録媒体に記録して、この記録媒体をコンピュータシステムに組み込んだり、または記録媒体に記録されたプログラムを通信回線を介してコンピュータシステムにダウンロードしたり、または記録媒体からインストールし、該プログラムでコンピュータシステムを作動させることにより、ノイズ識別方法を実施するノイズ識別装置として機能させることができることは勿論であり、このような記録媒体を用いることにより、その流通性を高めることができるものである。
【0043】
【発明の効果】
以上説明したように、本発明によれば、時系列データを有限時間区間に分割し、各有限時間区間の時系列データに対して周波数解析を行い、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義し、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉えるので、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0044】
また、本発明によれば、時間波形に対して自己相関または積分処理の前処理を行って広い周波数範囲における時系列データの有する複素周波数と予測値を求め、この複素周波数と予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉えるので、高ノイズ下において時系列データの特徴を示す周波数とその振る舞いを高い精度で適確に、また商用電源からの低周波誘導による影響も抽出することができる。
【0045】
更に、本発明によれば、ノイズ識別方法をノイズ識別プログラムとして例えば記録媒体などに記録したコンピュータに実行させるので、該記録媒体を用いて、その流通性を高めることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係るノイズ識別方法を実施する装置の構成を示すブロック図である。
【図2】図1に示す実施形態のノイズ識別装置の処理手順を示すフローチャートである。
【図3】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯中において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【図4】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯中において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【図5】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯中において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【図6】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯中において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【図7】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯直後において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【図8】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯直後において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【図9】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯直後において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【図10】図1、図2に示す実施形態のノイズ識別方法の具体的な解析結果、特に蛍光灯の点灯直後において電源線に流れているコモンモード電流の解析結果を示すグラフである。
【符号の説明】
1 時系列データ分割手段
3 周波数解析手段
5 定義手段
7 立体的表示手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a noise identification method, an apparatus, and a program for identifying noise latent in time-series data composed of voice, electric signal, or mechanical vibration using a formant frequency which is frequency information of the noise, and particularly relates to voice or noise. TECHNICAL FIELD The present invention relates to a noise identification method, apparatus, and program for identifying noise by capturing a characteristic of noise by obtaining a complex frequency which is characteristic frequency information latent in an electric signal or mechanical vibration including the above, and a predicted value thereof.
[0002]
[Prior art]
Conventionally, as a method for extracting a characteristic frequency latent in a measurement signal, a Fourier transform method has been started, and in recent years, a linear prediction method (for example, see Non-Patent Document 1) and a wavelet transform method (for example, see Non-Patent Document 2) Has been proposed.
[0003]
The Fourier transform method examines a correlation coefficient between time-series data and a sine wave having a predetermined frequency, whereas the linear prediction method calculates a prediction coefficient of the time-series data which is a measurement signal, and predicts the result. This is a method of extracting characteristic frequencies using coefficients. The wavelet transform method examines a correlation between a pulse having a certain pulse width and a certain time delay and time-series data.
[0004]
Here, a frequency analysis method using a conventional linear prediction method will be described. The formant analysis is known as an analysis technique for obtaining a characteristic or periodic frequency component existing in time-series data of a voice (it is not particularly limited to voice). There are several frequency analysis methods. Here, a linear prediction analysis method will be described. Specifically, in order to extract frequency information indicating the characteristics of the time-series data {x (n): n = 0, 1, 2,... Think.
[0005]
(Equation 1)
Figure 2004294915
Note that a i (i = 1, 2,..., P) is also called a prediction coefficient, and the concept used in equation (1) is similar to the regression analysis method performed in multivariate analysis or the like. This is for predicting time-series data at a certain time from past time-series data. Here, p is the number of terms or order of the prediction coefficient. Although the prediction order depends on the number of frequency components included in the time-series data, usually, the prediction order p is selected from 4 to 10.
[0006]
Here, when the equation (1) is Fourier-transformed, the following relationship is established. In the following equation, X (ω) is a Fourier transform of the time series data x (n),
(Equation 2)
Figure 2004294915
Is the predicted value.
[0007]
[Equation 3]
Figure 2004294915
At this time, in order to obtain an unknown prediction coefficient, the difference between the time-series data and its predicted value is defined as follows.
[0008]
(Equation 4)
Figure 2004294915
The following equation is obtained from the Fourier transform of the difference between the time series data represented by the equation (3).
[0009]
(Equation 5)
Figure 2004294915
However,
(Equation 6)
Figure 2004294915
Here, ω is an angular frequency. The square value of the absolute value in the equation (5) is also called a power spectrum which is a function of the frequency, and is defined as follows.
[0010]
(Equation 7)
Figure 2004294915
At this time, by determining a i (i = 1, 2,..., P) such that Expression (6) is minimized, it is possible to obtain a predicted value of x (ω) which is a frequency characteristic of the time-series data. it can.
[0011]
[Non-patent document 1]
Zhao, Shimamura, Takahashi, Suzuki: “Improvement of the noise system in formant frequency extraction based on linear prediction analysis”, IEICE Transactions A, Vol. J89-A, No. 6, pp. 745-758, June 2001 [Non-Patent Document 2]
Chapter, Kawabata: “Study on abnormal signal diagnosis method by wavelet transform”, Transactions of the Japan Society of Mechanical Engineers, C, No. 00-1060, pp. 71-78, May 2001
[Problems to be solved by the invention]
The conventional method described above characterizes noise by displaying the frequency obtained from the time-series data and its level or correlation value two-dimensionally, but the white noise and signal mixed in the time-series data However, there is a problem that when noise increases, the formant frequency extraction accuracy is significantly deteriorated.
[0013]
In addition, a measurement signal measured in a real environment is often affected by electromagnetic induction from a commercial power supply, and there is a problem that an analysis result fluctuates due to the influence.
[0014]
Furthermore, the formant analysis in the conventional method mainly focuses on finding unknown prediction coefficients in order to examine the frequency characteristics of certain time-series data. At this time, when the unknown prediction coefficient is determined, complex arithmetic processing performed by Fourier transform or the like is unnecessary. As a result, almost characteristic frequency information can be obtained by the four arithmetic operations. However, the frequency analysis so far has focused on displaying the obtained frequency information only in the real number space, and thus there is a problem that the frequency information included in the time-series data is not sufficiently used.
[0015]
The present invention has been made in view of the above, and it is an object of the present invention to provide a noise identification method capable of accurately identifying noise by extracting and using frequency information of a measurement signal even under high noise. , An apparatus and a program.
[0016]
[Means for Solving the Problems]
In order to achieve the above object, the present invention according to claim 1 is a noise identification method for identifying a potential noise in time-series data consisting of voice, electric signal or mechanical vibration, wherein the time-series data is stored for a finite time. Frequency division is performed on the time-series data of each finite time section by a linear prediction method, and a complex frequency and its predicted value are newly defined from a calculation amount obtained from the analysis result. The gist of the present invention is to grasp the characteristics of noise by displaying the trajectory of the temporal change of the predicted value and the time.
[0017]
The present invention according to claim 1 is a noise identification method based on capturing frequency characteristics of noise, wherein time series data is divided into finite time sections, and frequency Analysis is performed, complex frequencies and their predicted values are newly defined from the amount of calculation obtained from the analysis results, and the trajectory of the temporal change in the complex frequencies and the predicted values is displayed three-dimensionally, thereby characterizing the noise. Therefore, it is possible to accurately and accurately determine the frequency and the behavior of the time-series data under high noise with high accuracy, and also to extract the influence of low-frequency induction from a commercial power supply.
[0018]
According to a second aspect of the present invention, in the first aspect of the present invention, the time waveform of the time-series data is subjected to pre-processing of auto-correlation or integration processing, so that the time-series data has a wide frequency range. The gist of the present invention is to obtain a complex frequency and its predicted value, and to capture the characteristics of noise by displaying the temporal change of the complex frequency and its predicted value in a three-dimensional manner.
[0019]
According to the second aspect of the present invention, a complex frequency and a predicted value of the time-series data in a wide frequency range are obtained by performing a pre-process of an autocorrelation or an integration process on a time waveform. In order to capture the characteristics of noise by displaying the time change of the value three-dimensionally, the frequency indicating the characteristics of the time-series data and its behavior under high noise can be accurately and accurately determined. The effect of frequency induction can also be extracted.
[0020]
Further, the present invention according to claim 3 is a noise discriminating apparatus for identifying a potential noise in time-series data composed of voice, electric signal or mechanical vibration, wherein the time-series data is divided into finite time sections. Sequence data division means, frequency analysis means for performing frequency analysis on the time series data of each finite time section by linear prediction, and complex frequency and its predicted value are newly defined from the amount of calculation obtained from this analysis result The gist of the present invention is to include a definition means for performing the above-described processing and a three-dimensional display means for three-dimensionally displaying the trajectory of the temporal change of the complex frequency and the predicted value to capture the characteristics of the noise.
[0021]
According to the third aspect of the present invention, the time series data is divided into finite time sections, the frequency analysis is performed on the time series data in each finite time section, and the complex frequency is calculated from the amount of calculation obtained from the analysis result. And its predicted value are newly defined, and the complex frequency and the trajectory of the temporal change of the predicted value are displayed three-dimensionally to capture noise characteristics. And its behavior can be accurately and accurately extracted, and the influence of low-frequency induction from a commercial power supply can be extracted.
[0022]
According to a fourth aspect of the present invention, in accordance with the third aspect of the present invention, a complex frequency of the time-series data in a wide frequency range is obtained by performing a pre-process of an autocorrelation or an integration process on the time waveform of the time-series data. And a prediction value thereof, and a means for three-dimensionally displaying the complex frequency and the temporal change of the prediction value to capture characteristics of noise.
[0023]
According to the fourth aspect of the present invention, a complex frequency and a predicted value of the time-series data in a wide frequency range are obtained by performing a pre-process of the autocorrelation or the integration process on the time waveform. In order to capture the characteristics of noise by displaying the time change of the value three-dimensionally, the frequency indicating the characteristics of the time-series data and its behavior under high noise can be accurately and accurately determined. The effect of frequency induction can also be extracted.
[0024]
According to a fifth aspect of the present invention, there is provided a computer-executable noise identification program for identifying potential noise in time-series data including voice, electric signal, or mechanical vibration, wherein the time-series data is A procedure for dividing into finite time sections, a procedure for performing frequency analysis on the time series data of each finite time section by a linear prediction method, and a method for newly adding a complex frequency and its predicted value from a calculation amount obtained from the analysis result. The gist of the present invention is to cause the computer to execute a procedure of defining and a procedure of three-dimensionally displaying a trajectory of a temporal change of the complex frequency and the predicted value to capture a feature of noise.
[0025]
According to the fifth aspect of the present invention, the time-series data is divided into finite time sections, frequency analysis is performed on the time-series data in each finite time section, and a complex frequency is calculated based on a calculation amount obtained from the analysis result. And its predicted value are newly defined, and the complex frequency and the trajectory of the temporal change of the predicted value are displayed three-dimensionally to capture noise characteristics. And its behavior can be accurately and accurately extracted, and the influence of low-frequency induction from a commercial power supply can be extracted.
[0026]
Furthermore, the present invention according to claim 6 is the invention according to claim 5, wherein the time waveform of the time-series data is subjected to pre-processing of autocorrelation or integration processing so that the time-series data has a wide frequency range. The gist of the present invention is to cause the computer to execute a procedure of obtaining a complex frequency and a predicted value thereof and displaying a time-dependent change of the complex frequency and the predicted value in a three-dimensional manner to capture characteristics of noise.
[0027]
According to the sixth aspect of the present invention, a complex frequency and a prediction value of the time-series data in a wide frequency range are obtained by performing a pre-process of an autocorrelation or an integration process on a time waveform. In order to capture the characteristics of noise by displaying the time change of the value three-dimensionally, the frequency indicating the characteristics of the time-series data and its behavior under high noise can be accurately and accurately determined. The effect of frequency induction can also be extracted.
[0028]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a noise identification device that performs a noise identification method according to an embodiment of the present invention, and FIG. 2 is a flowchart illustrating a processing procedure thereof.
[0029]
Before describing the present embodiment with drawings, an outline of the present invention will be described first. As described in the related art, the formant analysis focuses on finding unknown prediction coefficients in order to examine the frequency characteristics of certain time-series data. At this time, when the unknown prediction coefficient is determined, complex arithmetic processing performed by Fourier transform or the like is unnecessary. As a result, almost characteristic frequency information can be obtained by the four arithmetic operations. However, the frequency analysis so far has focused on displaying the obtained frequency information only in the real number space, and there has been a problem that the frequency information included in the time-series data is not sufficiently used. For this reason, the following complex frequency is defined using the relationship of Expression (2).
[0030]
(Equation 8)
Figure 2004294915
Equation (7) is obtained by multiplying the frequency by the ratio between the predicted value and the true value of the frequency component for the time-series data in a certain finite time section. Moreover, the unit of the equation (7) is a complex frequency. If the predicted value is equal to the true value, the frequency obtained from Expression (7) matches the frequency of the time-series data. Therefore, by displaying the equation (7) three-dimensionally with the complex frequency as an axis, the feature or behavior of the time-series data can be more dynamically expressed. Here, using equation (7), the predicted spectrum represented by equation (5) can also be expressed as follows.
[0031]
(Equation 9)
Figure 2004294915
In Equation (8), when the predicted value matches the true value, the denominator of Equation (8) diverges. When the predicted value does not match the true value, the predicted value has a finite value. By displaying 8), the characteristics of the noise can be quantitatively grasped.
[0032]
Next, based on the above description, the noise discriminating apparatus according to the present embodiment and its processing procedure will be described with reference to the drawings. As shown in FIG. 1, the noise discriminating apparatus of the present embodiment includes a time-series data dividing unit 1, a frequency analyzing unit 3, a defining unit 5, and a three-dimensional display unit 7.
[0033]
In the flowchart shown in FIG. 2, in the noise identification method according to the present embodiment, first, the time-series data dividing unit 1 divides time-series data including voice, electric signal, or mechanical vibration into finite time sections (step S11). Frequency analysis is performed by the frequency analysis means 3 on the divided time-series data of each finite time section by the linear prediction method (step S13).
[0034]
Next, a complex frequency and its predicted value are newly defined by the definition means 5 from the calculation amount obtained from the analysis result by the frequency analysis means 3 (step S15). Then, the trajectory of the temporal change of the complex frequency and the predicted value is stereoscopically displayed by the stereoscopic display means 7, so that the characteristic of the noise can be grasped (step S17).
[0035]
In the noise identification method according to the present embodiment, a complex frequency of the time-series data in a wide frequency range and its predicted value are obtained by further performing a pre-process of the autocorrelation or the integration process on the time waveform of the time-series data. The three-dimensional display of the complex frequency and its temporal change in the predicted value enables the characteristics of the noise to be grasped.
[0036]
Next, specific analysis results of the noise identification method according to the present embodiment will be described with reference to FIGS.
[0037]
The analysis results shown in FIGS. 3 to 10 are obtained by using an inverter-type fluorescent lamp as a noise source. FIGS. 3 to 6 show the analysis of the common mode current flowing in the power supply line while the fluorescent lamp is turned on. FIG. 7 to FIG. 10 show the analysis results of the common mode current flowing in the power supply line immediately after lighting of the fluorescent lamp.
[0038]
3 to 10, FIGS. 3 and 7 are time waveforms of the noise current. FIGS. 4 and 8 are diagrams showing the results of the conventional frequency analysis in terms of time and the frequencies present at that time. In FIG. 4 and FIG. 8, it is shown that the frequency components of the noise are present in black portions. I have.
[0039]
4 and 5 show three-dimensional features of complex frequencies, that is, prediction evaluation values. There are real axes and imaginary axes of complex frequencies as plane axes. The prediction evaluation value (normalized | A (ω) |), which is a prediction spectrum, is displayed in three dimensions. 6 and 10 are diagrams of the complex frequencies in FIGS. 5 and 9 as viewed from the real axis. The predicted spectra indicated by the vertical axes in FIGS. 5 and 9, 6 and 10 are indices indicating the presence of frequencies having noise. The higher this value is, the higher the probability of existence of certain frequencies having noise is. Is shown. Therefore, by displaying a predicted spectrum at a complex frequency having a frequency axis of a real axis and an imaginary axis, the existence of the frequency can be quantitatively determined. Therefore, it can be seen that the frequency exists at the position where the peak is shown in FIGS. 5 and 9 and FIGS. 6 and 10.
[0040]
In the conventional display method shown in FIGS. 4 and 8, it is seen that a characteristic frequency exists near the frequency of 50 kHz as indicated by the arrow, but the difference between the two cannot be clearly determined from the drawings.
[0041]
On the other hand, in the display method according to the present embodiment shown in FIGS. 5 and 9, 6 and 10, there is a characteristic frequency having a peak near a frequency of 50 kHz as indicated by an arrow, and the difference between the two. Can be clearly identified, and the frequency and the characteristic showing the characteristics of the time-series data under high noise can be accurately and accurately extracted with high accuracy, and the influence of low-frequency induction from a commercial power supply can also be extracted.
[0042]
Note that the processing procedure of the noise identification method of the above embodiment is recorded as a program on a recording medium such as a CD or FD, and this recording medium is incorporated into a computer system, or the program recorded on the recording medium is transmitted to a communication line. Of course, by downloading to a computer system via a computer or installing from a recording medium, and operating the computer system with the program, the computer system can function as a noise identification device that implements a noise identification method. By using a recording medium, its distribution can be enhanced.
[0043]
【The invention's effect】
As described above, according to the present invention, the time-series data is divided into finite time sections, the frequency analysis is performed on the time-series data in each finite time section, and the complex frequency is calculated based on the calculation amount obtained from the analysis result. And its predicted value are newly defined, and the characteristic of the noise is captured by displaying the complex frequency and the trajectory of the temporal change of the predicted value three-dimensionally. And its behavior can be accurately and accurately extracted, and the influence of low-frequency induction from a commercial power supply can be extracted.
[0044]
Further, according to the present invention, a pre-process of an autocorrelation or integration process is performed on a time waveform to obtain a complex frequency and a predicted value of the time-series data in a wide frequency range, and the temporal relationship between the complex frequency and the predicted value is obtained. The characteristics of the noise are captured by displaying the three-dimensional changes in a three-dimensional manner, so that the frequency and the behavior indicating the characteristics of the time-series data under high noise can be accurately and accurately determined. Can also be extracted.
[0045]
Furthermore, according to the present invention, since the computer executes the noise discrimination method as a noise discrimination program, for example, on a recording medium or the like, it is possible to use the recording medium to enhance the distribution.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an apparatus that performs a noise identification method according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure of the noise identification device of the embodiment shown in FIG.
FIG. 3 is a graph showing a specific analysis result of the noise identification method according to the embodiment shown in FIGS. 1 and 2, particularly an analysis result of a common mode current flowing in a power supply line while a fluorescent lamp is turned on.
FIG. 4 is a graph showing a specific analysis result of the noise identification method of the embodiment shown in FIGS. 1 and 2, in particular, an analysis result of a common mode current flowing in a power supply line while a fluorescent lamp is turned on.
FIG. 5 is a graph showing a specific analysis result of the noise identification method according to the embodiment shown in FIGS. 1 and 2, particularly an analysis result of a common mode current flowing in a power supply line during lighting of a fluorescent lamp.
FIG. 6 is a graph showing a specific analysis result of the noise identification method according to the embodiment shown in FIGS. 1 and 2, particularly an analysis result of a common mode current flowing in a power supply line during lighting of a fluorescent lamp.
FIG. 7 is a graph showing a specific analysis result of the noise identification method of the embodiment shown in FIGS. 1 and 2, particularly an analysis result of a common mode current flowing in a power supply line immediately after lighting of a fluorescent lamp.
FIG. 8 is a graph showing a specific analysis result of the noise identification method of the embodiment shown in FIGS. 1 and 2, particularly an analysis result of a common mode current flowing in a power supply line immediately after lighting of a fluorescent lamp.
FIG. 9 is a graph showing a specific analysis result of the noise identification method according to the embodiment shown in FIGS. 1 and 2, particularly an analysis result of a common mode current flowing in a power supply line immediately after lighting of a fluorescent lamp.
FIG. 10 is a graph showing a specific analysis result of the noise identification method of the embodiment shown in FIGS. 1 and 2, particularly an analysis result of a common mode current flowing in a power supply line immediately after lighting of a fluorescent lamp.
[Explanation of symbols]
1 time-series data division means 3 frequency analysis means 5 definition means 7 three-dimensional display means

Claims (6)

音声、電気信号または機械的振動からなる時系列データに潜在するノイズを識別するノイズ識別方法であって、前記時系列データを有限時間区間に分割し、個々の有限時間区間の時系列データに対して線形予測法により周波数解析を行い、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義し、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉えること
を特徴とするノイズ識別方法。
Voice, a noise identification method for identifying a potential noise in the time-series data consisting of electrical signals or mechanical vibration, the time-series data is divided into finite time sections, for each time-series data of the finite time section Performs frequency analysis by linear prediction method, newly defines the complex frequency and its predicted value from the amount of calculation obtained from this analysis result, and three-dimensionally displays the trajectory of the temporal change of this complex frequency and the predicted value. A noise discrimination method characterized by capturing characteristics of noise.
前記時系列データの時間波形に対して自己相関または積分処理の前処理を行うことで広い周波数範囲における時系列データの有する複素周波数とその予測値を求め、この複素周波数とその予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉えることを特徴とする請求項1記載のノイズ識別方法。By performing pre-processing of autocorrelation or integration processing on the time waveform of the time-series data, a complex frequency of the time-series data in a wide frequency range and its predicted value are obtained. 2. The noise identification method according to claim 1, wherein the characteristic of the noise is captured by displaying a three-dimensional change. 音声、電気信号または機械的振動からなる時系列データに潜在するノイズを識別するノイズ識別装置であって、前記時系列データを有限時間区間に分割する時系列データ分割手段と、個々の有限時間区間の時系列データに対して線形予測法により周波数解析を行う周波数解析手段と、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義する定義手段と、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示してノイズの特徴を捉える立体的表示手段とを有することを特徴とするノイズ識別装置。What is claimed is: 1. A noise discriminating device for identifying potential noise in time-series data consisting of voice, electric signal or mechanical vibration, a time-series data dividing means for dividing the time-series data into finite time sections, and individual finite time sections. Frequency analysis means for performing a frequency analysis on the time-series data by a linear prediction method, definition means for newly defining a complex frequency and its predicted value from the amount of calculation obtained from the analysis result, and a complex frequency and a predicted value A three-dimensional display means for three-dimensionally displaying a trajectory of the temporal change of the three-dimensional image and capturing characteristics of the noise. 前記時系列データの時間波形に対して自己相関または積分処理の前処理を行うことで広い周波数範囲における時系列データの有する複素周波数とその予測値を求め、この複素周波数とその予測値の時間的な変化を立体的に表示してノイズの特徴を捉える手段を有することを特徴とする請求項3記載のノイズ識別装置。By performing pre-processing of autocorrelation or integration processing on the time waveform of the time-series data, a complex frequency of the time-series data in a wide frequency range and its predicted value are obtained. 4. The noise discriminating apparatus according to claim 3, further comprising means for three-dimensionally displaying the change and capturing characteristics of the noise. 音声、電気信号または機械的振動からなる時系列データに潜在するノイズを識別するためのコンピュータが実行可能なノイズ識別プログラムであって、前記時系列データを有限時間区間に分割する手順と、個々の有限時間区間の時系列データに対して線形予測法により周波数解析を行う手順と、この解析結果から得られる計算量から複素周波数とその予測値を新たに定義する手順と、この複素周波数と予測値の時間的な変化の軌跡を立体的に表示することによりノイズの特徴を捉える手順とを前記コンピュータに実行させることを特徴とするノイズ識別プログラム。Sound, a computer-executable noise identification program for identifying potential noise in time-series data consisting of electrical signals or mechanical vibrations, a procedure for dividing the time-series data into finite time intervals, A procedure for performing a frequency analysis on the time-series data of a finite time section by a linear prediction method, a procedure for newly defining a complex frequency and its predicted value from a calculation amount obtained from the analysis result, and a procedure for newly defining the complex frequency and the predicted value And a step of displaying the trajectory of the temporal change in three dimensions to capture the characteristics of the noise. 前記時系列データの時間波形に対して自己相関または積分処理の前処理を行うことで広い周波数範囲における時系列データの有する複素周波数とその予測値を求め、この複素周波数とその予測値の時間的な変化を立体的に表示することによりノイズの特徴を捉える手順を前記コンピュータに実行させることを特徴とする請求項5記載のノイズ識別プログラム。By performing pre-processing of autocorrelation or integration processing on the time waveform of the time-series data, a complex frequency of the time-series data in a wide frequency range and its predicted value are obtained. The computer-readable storage medium according to claim 5, wherein the computer is caused to execute a procedure of capturing a characteristic of the noise by displaying a three-dimensional change.
JP2003089164A 2003-03-27 2003-03-27 Noise display method, apparatus and program Expired - Lifetime JP4175563B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003089164A JP4175563B2 (en) 2003-03-27 2003-03-27 Noise display method, apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003089164A JP4175563B2 (en) 2003-03-27 2003-03-27 Noise display method, apparatus and program

Publications (2)

Publication Number Publication Date
JP2004294915A true JP2004294915A (en) 2004-10-21
JP4175563B2 JP4175563B2 (en) 2008-11-05

Family

ID=33403108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003089164A Expired - Lifetime JP4175563B2 (en) 2003-03-27 2003-03-27 Noise display method, apparatus and program

Country Status (1)

Country Link
JP (1) JP4175563B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339200A (en) * 1995-06-13 1996-12-24 Oki Electric Ind Co Ltd Frequency analysis method for received arrival signal
JPH09257559A (en) * 1996-03-25 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> Frequency component extracting device
JP2001133506A (en) * 1999-11-01 2001-05-18 Hitachi Ltd Method and device for diagnosing compressed gas insulation equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339200A (en) * 1995-06-13 1996-12-24 Oki Electric Ind Co Ltd Frequency analysis method for received arrival signal
JPH09257559A (en) * 1996-03-25 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> Frequency component extracting device
JP2001133506A (en) * 1999-11-01 2001-05-18 Hitachi Ltd Method and device for diagnosing compressed gas insulation equipment

Also Published As

Publication number Publication date
JP4175563B2 (en) 2008-11-05

Similar Documents

Publication Publication Date Title
EP2997327B1 (en) Apparatus and method for determining a room dimension estimate
CN109490730A (en) Cable discharge detection method, device, storage medium and processor
JP6922708B2 (en) Anomaly detection computer program, anomaly detection device and anomaly detection method
MXPA05006834A (en) Methods and apparatus for processing acoustic waveforms received in a borehole.
WO2006028219A1 (en) Remote sensing apparatus
CN105280196B (en) Refrain detection method and system
US10068558B2 (en) Method and installation for processing a sequence of signals for polyphonic note recognition
Barenghi et al. Information leakage discovery techniques to enhance secure chip design
EP3504708B1 (en) A device and method for classifying an acoustic environment
JP2010097084A (en) Mobile terminal, beat position estimation method, and beat position estimation program
Gonçalves et al. STFT or CWT for the detection of Doppler ultrasound embolic signals
Savari et al. High-performance combination method of electric network frequency and phase for audio forgery detection in battery-powered devices
JP4175563B2 (en) Noise display method, apparatus and program
CN106852171B (en) Method for recognizing multiple behaviors of user based on sound information
JP2012055100A (en) Device for identifying electric apparatus being used and method for determining electric apparatus being used
JP6307814B2 (en) Fundamental visualization device, fundamental visualization method and program
CN108596215B (en) Multi-modal signal analysis and separation method, device, equipment and storage medium
JP2007133199A (en) Musical score information tracking device
JP5203404B2 (en) Tempo value detection device and tempo value detection method
US20190029562A1 (en) Biological sound analyzing apparatus, biological sound analyzing method, computer program, and recording medium
JP2005504347A (en) Process for characterizing timbre of an acoustic signal based on at least one descriptor
JP7272631B2 (en) Sound or vibration determination method and information processing system for determination
JPWO2019035323A1 (en) Signal processing system and signal processing method
JP4198690B2 (en) Noise measurement method, noise measurement program, and noise measurement device
JPH10339664A (en) Monitor and monitoring method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060721

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060721

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060829

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4175563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term