JP2004205385A - Wavelet transformation method for wall surface exfoliation diagnosis, and wall surface exfoliation diagnostic device - Google Patents

Wavelet transformation method for wall surface exfoliation diagnosis, and wall surface exfoliation diagnostic device Download PDF

Info

Publication number
JP2004205385A
JP2004205385A JP2002375776A JP2002375776A JP2004205385A JP 2004205385 A JP2004205385 A JP 2004205385A JP 2002375776 A JP2002375776 A JP 2002375776A JP 2002375776 A JP2002375776 A JP 2002375776A JP 2004205385 A JP2004205385 A JP 2004205385A
Authority
JP
Japan
Prior art keywords
wall surface
wavelet
waveform
reference signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002375776A
Other languages
Japanese (ja)
Other versions
JP4016831B2 (en
Inventor
Fumihiro Inoue
文宏 井上
Atsuhiro Doyama
敦弘 堂山
Tamotsu Ota
有 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Obayashi Corp
Original Assignee
Obayashi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Obayashi Corp filed Critical Obayashi Corp
Priority to JP2002375776A priority Critical patent/JP4016831B2/en
Publication of JP2004205385A publication Critical patent/JP2004205385A/en
Application granted granted Critical
Publication of JP4016831B2 publication Critical patent/JP4016831B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To accurately diagnose existence of wall surface exfoliation by performing wavelet transformation analysis by using a mother wavelet suitable for the wall surface which is a diagnostic object. <P>SOLUTION: In order to diagnose existence of exfoliation of the wall surface 20, a sound generated when a contact body 12 is pressed on the wall surface 20 and simultaneously moved is measured by a microphone 14, and wavelet transformation operation is applied to a measured signal by a signal processing part 16. The signal processing part 16 has a mother wavelet creation part 34 for acquiring the measured signal on a proper part on the wall surface 20 as a reference signal and creating the mother wavelet based on the reference signal, a wavelet transformation part 36 for applying the wavelet transformation operation by using the created mother wavelet to the measured signal on the diagnostic object part on the wall surface 20, and an output part 38 for outputting the operation result. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、壁面剥離の診断を行うためのウェーブレット変換方法およびウェーブレット変換を用いた壁面剥離診断用装置に関する。
【0002】
【従来の技術】
従来より、タイルやコンクリートなどの壁面の剥離状態の診断は、作業員がゴンドラや足場などを利用して検査場所へ行き、壁面をハンマー等で打撃した際の打撃音を聞き分けて判定することにより行うのが一般的である。すなわち、健全な壁面と剥離が生じた壁面とでは、打撃に対する振動応答が異なることから、その差異を作業員が感知して剥離の有無を診断するのである。このため、診断結果は作業員の勘や技能に左右されやすく、必ずしも高い精度で剥離の有無を診断することはできない。
【0003】
これに対して、例えば特許文献1および2には、壁面の打撃音をマイクロフォンで採取し、これを信号処理することにより剥離状態を自動的に診断する技術が開示されている。しかし、壁面を打撃する方法では、打撃点が離散的にならざるを得ないため、打撃点の間に生じた剥離を見逃してしまうおそれがある。一方、特許文献3には、壁部のタイルに回転体または鋼球を押し付けた状態で、この回転体または鋼球をタイル表面に沿って移動させた際の発生音をマイクで集音し、集音信号に基づいて剥離診断を行うことが開示されている。
【0004】
【特許文献1】
特開2000−131288号公報
【0005】
【特許文献2】
特許第2915704号公報
【0006】
【特許文献3】
特許第2965762号公報
【0007】
【発明が解決しようとする課題】
しかし、特許文献3には、マイクで集音された連続的な信号をどのように処理して剥離を診断するのか明らかにされていない。一方、特許文献1には、信号をウェーブレット変換により、周波数帯域毎の時系列信号を求め、その信号と基準値との比較に基づいて剥離の診断を行うことが記載されている。ウェーブレット変換は周波数分布を時系列的に計算する手法であり、特許文献3のように連続的に得られた信号の周波数解析を行うのに適している。このウェーブレット変換によって正確に剥離の有無を診断するには、ウェーブレット変換の際に用いる基底関数(マザーウェーブレット)を適切に選択することが必要である。ところが、特許文献1には、測定波形や観測したい現象に合わせて適切なマザーウェーブレットを選択する旨が記載されている(特許文献1の段落0078〜0081、図4等参照)に過ぎず、具体的にどのような基準でマザーウェーブレットを選択すべきであるのか全く明らかにされていない。
【0008】
本発明は上記の点に鑑みてなされたものであり、診断対象である壁面に適したマザーウェッブレットを用いてウェーブレット変換解析を行うことにより、壁面剥離の有無を正確に診断できるようにすることを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、壁面の剥離の有無を診断するために、接触体を当該壁面に接触させながら移動させた際に発生する音を測定し、その測定信号にウェーブレット変換演算を行う方法であって、
前記壁面の適宜な部分についての前記測定信号を基準信号として取得するステップと、
該取得した基準信号に基づいてマザーウェーブレットを作成するステップと、
前記壁面の診断対象部分についての前記測定信号を取得するステップと、
該取得した測定信号に対して、前記作成したマザーウェーブレットを用いてウェーブレット変換演算を行うステップと、を含むことを特徴とする。
【0010】
本発明によれば、診断対象である壁面から得られた測定信号を基準信号としてマザーウェーブレットを作成する。このため、ウェーブレット変換が施される測定信号とほぼ同じ周波数帯域を有するマザーウェーブレットを用いることが可能となり、測定信号の周波数分布の時間的な変化を、広い周波数範囲に亘り適切に抽出することができる。したがって、かかるウェーブレット変換の結果に基づいて、壁面の剥離の有無を正確に判断することが可能となる。
【0011】
また、本発明において、前記ウェーブレット変換演算の結果を出力するステップを更に含むこととしてもよく、また、前記ウェーブレット変換演算の結果に基づいて壁面剥離の有無を判定するステップを更に含むこととしてもよい。
【0012】
また、前記マザーウェーブレットを作成するステップでは、前記基準信号から波形発生点および波形終了点を決定し、それら波形発生点および波形終了点の間での前記基準信号の波形に基づいて点対称な波形を作成し、該作成した波形をそのノルムで割ることにより正規化した波形をマザーウェーブレットとすることとしてもよい。
【0013】
【発明の実施の形態】
図1は、本発明の一実施形態であるシステムの全体構成図である。同図に示すように、本実施形態のシステムは、支持棒10の先端に取り付けられた、例えば鋼球よりなる接触体12と、この接触体12の近傍に設置されたマイクロフォン14と、このマイクロフォン14からの出力信号を処理する信号処理部16とを備えている。
【0014】
壁面の剥離診断を行う場合、作業員が支持棒10をつかんで接触体12を診断対象である壁面20に押し付けながら壁面20の表面に沿って移動させる。ただし、壁面20への押し付け力を一定に保ちながら接触体12を移動させる自動機構を設けてもよい。また、接触体12である鋼球を支持棒10に回転自在に支持して壁面20の表面上を転がすようにしてもよく、また、接触体12として支持棒10に回転可能に支持された車輪状の部材を用いてもよい。
【0015】
マイクロフォン14は、上記のように接触体12が壁面20に押し付けられながら移動するのに伴って発生する音を集音し、その音に応じた電気信号を測定信号として信号処理部16へ出力する。
【0016】
図1に示すように、信号処理部16は、増幅部30、A/D変換部32、マザーウェーブレット作成部34、ウェーブレット変換部36、出力部38などにより構成されている。
【0017】
増幅部30はマイクロフォン14から出力された測定信号を増幅し、A/D変換部32は、この増幅信号をデジタル化してマザーウェーブレット作成部34およびウェーブレット変換部36へ供給する。マザーウェーブレット作成部34は、デジタル化された測定信号に基づいて、ウェーブレット変換部36がウェーブレット変換演算を行う際に用いるマザーウェーブレットを作成する。ウェーブレット変換部36は、マザーウェーブレット作成部34により作成されたマザーウェーブレットを用いて、診断対象である壁面20についての測定信号に対してウェーブレット変換計算を行う。出力部38は、このウェーブレット変換計算の結果をディスプレイ上に表示し、あるいは、プリンタに印刷出力する。
【0018】
なお、マザーウェーブレット作成部34およびウェーブレット変換部36は、夫々、コンピュータがプログラムを実行することによりソフトウェア的に実装されてもよいし、あるいは、専用のハードウェア回路により実現されていてもよい。
【0019】
以下、マザーウェーブレット作成部34によるマザーウェーブレットの作成処理の内容について説明する。
【0020】
マザーウェーブレット作成部34は、診断対象である壁面20の適宜な部分において接触体12を移動させた場合のマイクロフォン14の測定信号を、マザーウェーブレット作成の基となる信号(以下、基準信号という)として取得し、この基準信号に基づいてマザーウェーブレットを作成する。
【0021】
図2は、基準信号からマザーウェーブレットを作成する処理の概略を示すフローチャートである。同図に示すように、マザーウェーブレットの作成処理は、概略、▲1▼基準信号について波形発生点の検出、▲2▼自己相関による波形終了点の検出、▲3▼開始点・終了点間の波形の並べ替え・反転等、および▲4▼波形の正規化という手順で行われる
▲1▼基準信号について波形発生点の検出
例えば、基準信号が図3のように得られたとする。なお、同図中においてA/D変換部32によるサンプリング点(以下、データ点という)を黒丸で示している。先ず、このような基準信号の絶対値をとり、絶対値が最大となる点(絶対値最大点P)を特定する(図4を参照)。次に、元の基準信号において、絶対値最大点Pから時間軸をさかのぼって初めて符号が変化するデータ点(図3、図4における点Q)を波形発生点とし、この波形発生点以前のデータ点の値を全て0とする(図5を参照)。
【0022】
▲2▼自己相関に基づく波形終了点の検出
先ず、波形発生点以前の値を0とした基準信号について自己相関係数を計算する。図6に自己相関係数の計算結果例を示す。この図からもわかるように、基準信号についての自己相関係数は値の変化が激しい。そこで、自己相関係数の平滑化処理を行う。平滑化処理としては、例えば、連続する複数のデータ点のうちの最大点を代表値とするなどの処理を行う。図7は、図6に示す自己相関係数を平滑化した結果を示す。なお、図7では、平滑化の際のデータ点数を4点、10点、および20点とした場合の結果を示している。
【0023】
次に、上記のように平滑化した自己相関係数が所定の閾値以下となる最初のデータ点に基づいて波形終了点を定める。上記図7に示す例では、例えば、平滑化点数を20点とした場合、閾値を0.2とすると自己相関係数は点R1で初めて閾値を下回り、また、閾値を0.1とすると自己相関係数は点R2で始めて閾値を下回っている。このように閾値を初めて下回る点の横軸座標をx(図7の例で、平均点数を20、閾値を0.2とした場合の点R1であれば「19」)として、基準信号の時間波形の最初からx番目のデータ点を波形終了点とする。
【0024】
▲3▼開始点・終了点間の波形の並べ替え・反転等
基準信号を上記▲1▼および▲2▼で夫々検出した波形発生点および波形終了点の間で切り出し、この切り出した信号波形(以下、採用波形という)を基にマザーウェーブレットを作成する。
【0025】
一般にウェーブレット解析に用いるマザーウェーブレットΨ(x)は一般に次のアドミッシブル条件を満足しなければならない。
【数1】

Figure 2004205385
【0026】
そこで、このアドミッシブル条件が満足されるように採用波形を以下の(i),(ii)の処理により左右対称な波形にする。
(i)採用信号のデータを時間的な順序が逆になるように並べ替えたうえで符号を反転させる。すなわち、採用波形の各データ点が
S(ti)=ai (i=1,・・・,N,Nはデータ点数)
と表されるとすると、
Figure 2004205385
となる波形Tを作成する。図8に、上記図3に示す基準信号についての採用波形Sを、また、図9に、この採用波形Sに対する波形Tを示す。
【0027】
(ii)上記(i)で得られた波形Tの後に元の採用波形Sを結合して波形Uを得る。すなわち、
Figure 2004205385
図10は、図8および図9に夫々示す波形S,Tから得られた波形Uを示す。
【0028】
なお、波形Tの最後のデータ点T(tN)=−a1と、波形Sの最初のデータ点S(t1)=a1の値は共に「0」であるから、これらを共通のデータ点としており、そのため、全データ点数は2・Nではなく(2・N−1)となっている。
【0029】
▲4▼波形の正規化
上記▲3▼で作成した波形Uを正規化する。すなわち、先ず、式
【数2】
Figure 2004205385
により波形Uのノルムを計算する。
【0030】
そして、波形Uをこのノルムで割って正規化することでマザーウェーブレットΨが完成する。すなわち、
【数3】
Figure 2004205385
【0031】
図11〜図13は、3種類の壁面で採取された基準信号に基づいて作成されたマザーウェーブレットΨの波形の例を示す。なお、各図において(a)は上記手順▲2▼において波形終了点を決定する際の閾値を0.1とした場合、(b)は同閾値を0.2とした場合の例を夫々示している。
【0032】
次に、以上のようにして作成されたマザーウェーブレットΨを用いてウェーブレット変換部36が行うウェーブレット変換計算処理の内容について説明する。
【0033】
ウェーブレット変換は
【数4】
Figure 2004205385
で定義される。
【0034】
ここで、f(t)は解析される信号(解析信号)である。左辺の(WΨf)は、ウェーブレット係数と呼ばれ、マザーウェーブレットΨ((x−b)/a)と解析信号f(x)との類似の度合いを示す指標を与える係数である。一方、右辺のパラメータaは周波数の局所化を行うためのスケーリングパラメータである。このスケーリングパラメータaはマザーウェーブレットの時間方向の伸縮度合いを表すものであってマザーウェーブレットの周波数を定める。また、パラメータbは時間の局所化をおこなうためのトランスパラメータである。周波数および時間に夫々対応するこれらのパラメータaおよびbの値を様々に変化させることにより、解析信号f(x)を時間―周波数平面上に展開することが可能となる。
【0035】
本実施形態では、スケールパラメータaについては、0〜10000Hzの範囲を20Hz刻みで変化させ、また、トランスパラメータbについては、0.005ms刻みで変化させた。
【0036】
従前のウェーブレット変換の計算法では、2つのパラメータ(b,a)の各組について上記式の数値積分を実行していたため、膨大な計算時間がかかっていた。これに対して、本実施形態では、以下のような手順で計算を行うことにより計算時間の短縮を図っている。
【0037】
ウェーブレット変換の定義を表す上記式(1)は、
【数5】
Figure 2004205385
の関係を用いて
【数6】
Figure 2004205385
と表すことができる。ただし、
【数7】
Figure 2004205385
x=t−bとおくと、
【数8】
Figure 2004205385
よって、
【数9】
Figure 2004205385
となる。
【0038】
関数f(t)が区間[0,T0]で周期的と仮定すると、
【数10】
Figure 2004205385
また、
【数11】
Figure 2004205385
したがって、
【数12】
Figure 2004205385
ここで、
【数13】
Figure 2004205385
となる。
【0039】
区間[0,T0]をN等分すると(ただし、Nは偶数であり、一般にはFFTを考慮して2のべき乗とする)、
【数14】
Figure 2004205385
解析信号f(t)についても離散点
【数15】
Figure 2004205385
で与えられているとすると、
【数16】
Figure 2004205385
したがって、
【数17】
Figure 2004205385
ゆえに、
【数18】
Figure 2004205385
【0040】
上記式(4)はFFT(高速フーリエ変換)を表す式であり、上記式(5)は逆FFTを表す式である。そこで、式(4)によりakを高速フーリエ変換により計算しておき、その後、aをパラメータとして、式(5)のフーリエ逆変換を行うことによりウェーブレット変換計算を行う。
【0041】
以上のように行われたウェーブレット変換計算の結果は出力部38によりディスプレイ画面上に表示され、あるいは、プリンタに印刷出力される。
【0042】
図14および図15は、出力部36によるウェーブレット変換計算結果の出力の例を示すものであり、図14は、剥離タイルを測定して得られた基準信号に基づき作成したマザーウェーブレットを用いた結果を、図15は、健全タイルを測定して得られた基準信号に基づき作成したマザーウェーブレットを用いた結果を、夫々示している、また、図16は、従来との比較のため、マザーウェーブレットとして一般的なGabor関数を用いた場合の解析結果を示す。なお、図14〜図16の各図において、(a)は測定信号の時間波形を、また、(b)はウェーブレット変換結果を示す。各図(b)のウェーブレット変換結果において、横軸は時間((4)式におけるT0/N(=b))を表し、縦軸は周波数(式(4)におけるa)を表しており、色が白いほど値が大きいことを示している。なお、上述のように測定信号は接触体12を壁面上で移動させながら採取したものであるから、各図の横軸(時間軸)は壁面の診断位置に対応することになる。図14〜図16の例では、時刻T1、T2に対応する位置で剥離が発生している。
【0043】
例えば、図14〜図16のウェーブレット変換結果における時刻T1付近を比較すると、図14および図15では低周波数から高周波数の広い範囲に亘って白く表示がされている(つまり、大きな出力が得られている)のに対して、図16では、低周波数領域で白い表示が現れている。
【0044】
このような図14および図15と図16との対比からわかるように、本実施形態におけるウェーブレット変換結果の方が、従前のように既存のマザーウェーブレットを用いた場合よりも、剥離発生位置においてより広い周波数範囲で大きな出力が得られている。これは、本実施形態では、マザーウェーブレットが、診断対象である壁面から採取した基準信号を基に作成されることにより、測定信号とほぼ同じ周波数帯域を有することとなり、測定信号の周波数成分を広い周波数範囲に亘って適切に抽出できていることによる。これに対して、従来のように既存のマザーウェーブレットを用いたのでは、その周波数特性を診断対象から得られる測定信号に合致させることが難しく、測定信号から周波数成分を適切に抽出することができないのである。
【0045】
以上のように、本実施形態では、診断対象である壁面を測定して得られた信号を基にマザーウェーブレットを作成し、そのマザーウェーブレットを用いて同じ壁面についての測定信号をウェーブレット変換することにより、測定信号の周波数成分を広範囲に亘り抽出することができ、これにより、壁面剥離の有無をより正確に診断することが可能となる。
【0046】
なお、上記実施形態では、ウェーブレット変換結果を画面上やプリンタに出力し、その出力結果に基づいて目視で壁面剥離の有無を判断するものとしたが、これに限らず、例えば、各時刻におけるウェーブレット変換結果の値(例えば、ある周波数範囲に亘る積分値)が所定の閾値を越えた場合に剥離有りと判断するなど、壁面剥離の有無の判断を自動的に行うようにしてもよい。
【0047】
【発明の効果】
診断対象である壁面に適したマザーウェッブレットを用いてウェーブレット変換解析を行うことができ、これにより、壁面剥離の有無を正確に診断することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態である壁面剥離診断装置の構成図である。
【図2】マザーウェーブレット作成処理の概略を示すフローチャートである。
【図3】マザーウェーブレットを作成するための基準信号の一例の波形を示す図である。
【図4】基準信号の絶対値をとった結果を示す図である。
【図5】波形発生点以前のデータ点の値を全て0とした基準信号の波形を示す図である。
【図6】図5に示す基準信号の自己相関係数の計算結果を示す図である。
【図7】図6の自己相関関数を平滑化した結果を示す図である。
【図8】図3に示す基準信号についての採用波形Sを示す図である。
【図9】図8に示す採用波形Sの符号を反転し、時間的にも反転した波形Tを示す図である
【図10】図8に示す波形Sと図9に示す波形Tとを結合して得た波形Uを示す図である。
【図11】作成されたマザーウェーブレットの第1の例を示す図である。
【図12】作成されたマザーウェーブレットの第2の例を示す図である。
【図13】作成されたマザーウェーブレットの第3の例を示す図である。
【図14】剥離タイルを測定して得られた基準信号に基づいて作成したマザーウェーブレットを用いたウェーブレット変換計算結果を示す図である。
【図15】健全タイルを測定して得られた基準信号に基づいて作成したマザーウェーブレットを用いたウェーブレット変換計算結果を示す図である。
【図16】従前のように既存のマザーウェーブレットを用いたウェーブレット変換計算結果を示す図である。
【符号の説明】
12 接触体
14 マイクロフォン
16 信号処理部
30 増幅部
32 A/D変換部
34 マザーウェーブレット作成部
36 ウェーブレット変換部
38 出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a wavelet transform method for diagnosing wall separation and a device for diagnosing wall separation using wavelet transformation.
[0002]
[Prior art]
Conventionally, the diagnosis of the peeling state of a wall such as a tile or concrete is performed by a worker using a gondola or a scaffold to go to the inspection location and distinguish the impact sound when the wall is hit with a hammer or the like. It is common to do. That is, since the vibration response to the impact is different between the sound wall surface and the wall surface where the separation has occurred, the worker senses the difference and diagnoses the presence or absence of the separation. For this reason, the diagnosis result is easily influenced by the intuition and skill of the worker, and it is not always possible to diagnose the presence or absence of peeling with high accuracy.
[0003]
On the other hand, for example, Patent Literatures 1 and 2 disclose a technique in which a tapping sound on a wall surface is collected by a microphone, and a signal is processed to automatically diagnose a peeling state. However, in the method of hitting the wall surface, the hit points must be discrete, and there is a possibility that the peeling occurring between the hit points may be missed. On the other hand, in Patent Document 3, in a state where a rotating body or a steel ball is pressed against a tile on a wall, a sound generated when the rotating body or the steel ball is moved along the tile surface is collected by a microphone, It is disclosed that a peeling diagnosis is performed based on a sound collection signal.
[0004]
[Patent Document 1]
JP 2000-131288 A [0005]
[Patent Document 2]
Japanese Patent No. 2915704
[Patent Document 3]
Japanese Patent No. 2965762
[Problems to be solved by the invention]
However, Patent Document 3 does not disclose how a continuous signal collected by a microphone is processed to diagnose separation. On the other hand, Patent Literature 1 describes that a time-series signal is obtained for each frequency band by performing a wavelet transform on a signal, and a diagnosis of separation is performed based on a comparison between the signal and a reference value. The wavelet transform is a method of calculating a frequency distribution in a time-series manner, and is suitable for performing a frequency analysis of a signal obtained continuously as disclosed in Japanese Patent Application Laid-Open No. H11-163,036. In order to accurately diagnose the presence or absence of separation by the wavelet transform, it is necessary to appropriately select a basis function (mother wavelet) used in the wavelet transform. However, Patent Literature 1 only describes that an appropriate mother wavelet is selected according to a measured waveform or a phenomenon to be observed (see paragraphs 0078 to 0081 of FIG. 4 of Patent Literature 1). It is not clear what criteria should be used to select a mother wavelet.
[0008]
The present invention has been made in view of the above points, and it is an object of the present invention to perform a wavelet transform analysis using a mother weblet suitable for a wall to be diagnosed, so that the presence or absence of wall separation can be accurately diagnosed. With the goal.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention measures a sound generated when a contact body is moved while being brought into contact with the wall, in order to diagnose the presence or absence of peeling of the wall, and a wavelet transform is applied to the measurement signal. A method of performing an operation,
Obtaining the measurement signal for an appropriate portion of the wall surface as a reference signal,
Creating a mother wavelet based on the acquired reference signal;
Obtaining the measurement signal for the diagnosis target portion of the wall surface,
Performing a wavelet transform operation on the acquired measurement signal using the created mother wavelet.
[0010]
According to the present invention, a mother wavelet is created using a measurement signal obtained from a wall surface to be diagnosed as a reference signal. Therefore, it is possible to use a mother wavelet having substantially the same frequency band as the measurement signal to be subjected to the wavelet transform, and to appropriately extract a temporal change in the frequency distribution of the measurement signal over a wide frequency range. it can. Therefore, it is possible to accurately determine whether or not the wall surface has peeled based on the result of the wavelet transform.
[0011]
In the present invention, the method may further include a step of outputting a result of the wavelet transform operation, and may further include a step of determining presence or absence of wall surface separation based on a result of the wavelet transform operation. .
[0012]
Further, in the step of creating the mother wavelet, a waveform generation point and a waveform end point are determined from the reference signal, and a point-symmetric waveform is determined based on the waveform of the reference signal between the waveform generation point and the waveform end point. And a normalized waveform obtained by dividing the created waveform by its norm may be used as a mother wavelet.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is an overall configuration diagram of a system according to an embodiment of the present invention. As shown in FIG. 1, the system according to the present embodiment includes a contact body 12 made of, for example, a steel ball attached to a tip of a support rod 10, a microphone 14 installed near the contact body 12, and a microphone And a signal processing unit 16 for processing an output signal from the control unit 14.
[0014]
When performing wall surface peeling diagnosis, an operator grasps the support rod 10 and moves the contact body 12 along the surface of the wall surface 20 while pressing the contact body 12 against the wall surface 20 to be diagnosed. However, an automatic mechanism for moving the contact body 12 while keeping the pressing force against the wall surface 20 constant may be provided. Further, a steel ball as the contact body 12 may be rotatably supported on the support rod 10 so as to roll on the surface of the wall surface 20, and a wheel rotatably supported on the support rod 10 as the contact body 12. May be used.
[0015]
The microphone 14 collects a sound generated as the contact body 12 moves while being pressed against the wall surface 20 as described above, and outputs an electric signal corresponding to the sound to the signal processing unit 16 as a measurement signal. .
[0016]
As shown in FIG. 1, the signal processing unit 16 includes an amplification unit 30, an A / D conversion unit 32, a mother wavelet creation unit 34, a wavelet conversion unit 36, an output unit 38, and the like.
[0017]
The amplifier 30 amplifies the measurement signal output from the microphone 14, and the A / D converter 32 digitizes the amplified signal and supplies it to the mother wavelet generator 34 and the wavelet converter 36. The mother wavelet creating unit 34 creates a mother wavelet used when the wavelet transform unit 36 performs the wavelet transform operation based on the digitized measurement signal. The wavelet transform unit 36 uses the mother wavelet created by the mother wavelet creating unit 34 to perform a wavelet transform calculation on the measurement signal for the wall surface 20 to be diagnosed. The output unit 38 displays the result of the wavelet transform calculation on a display, or prints out the result to a printer.
[0018]
Note that the mother wavelet creating unit 34 and the wavelet transforming unit 36 may each be implemented as software by a computer executing a program, or may be realized by a dedicated hardware circuit.
[0019]
Hereinafter, the content of the processing of creating the mother wavelet by the mother wavelet creating unit 34 will be described.
[0020]
The mother wavelet creating unit 34 uses the measurement signal of the microphone 14 when the contact body 12 is moved at an appropriate part of the wall surface 20 to be diagnosed as a signal (hereinafter, referred to as a reference signal) on which the mother wavelet is created. Obtain and create a mother wavelet based on this reference signal.
[0021]
FIG. 2 is a flowchart showing an outline of a process for creating a mother wavelet from a reference signal. As shown in the figure, the process of creating a mother wavelet is roughly performed by (1) detection of a waveform generation point for a reference signal, (2) detection of a waveform end point by autocorrelation, and (3) between a start point and an end point. (1) Detection of waveform generation point for reference signal performed by procedures such as (4) waveform normalization and waveform rearrangement. For example, it is assumed that the reference signal is obtained as shown in FIG. It should be noted that the sampling points (hereinafter referred to as data points) by the A / D converter 32 are indicated by black circles in FIG. First, the absolute value of such a reference signal is taken, and the point where the absolute value is maximum (the absolute value maximum point P) is specified (see FIG. 4). Next, in the original reference signal, a data point (point Q in FIGS. 3 and 4) at which the sign changes for the first time from the absolute value maximum point P on the time axis is defined as a waveform generation point. All point values are set to 0 (see FIG. 5).
[0022]
(2) Detection of Waveform End Point Based on Autocorrelation First, an autocorrelation coefficient is calculated for a reference signal whose value before the waveform generation point is 0. FIG. 6 shows an example of the calculation result of the autocorrelation coefficient. As can be seen from this figure, the value of the autocorrelation coefficient for the reference signal changes drastically. Therefore, the autocorrelation coefficient smoothing process is performed. As the smoothing process, for example, a process is performed in which the maximum point among a plurality of continuous data points is set as a representative value. FIG. 7 shows the result of smoothing the autocorrelation coefficient shown in FIG. FIG. 7 shows the results when the number of data points at the time of smoothing is 4, 10, and 20 points.
[0023]
Next, the waveform end point is determined based on the first data point at which the autocorrelation coefficient smoothed as described above becomes equal to or less than a predetermined threshold value. In the example shown in FIG. 7, for example, when the number of smoothing points is 20, the threshold value is 0.2 and the autocorrelation coefficient falls below the threshold value at the point R1 for the first time. The correlation coefficient is below the threshold starting at point R2. In this way, the horizontal axis coordinate of the point below the threshold for the first time is x (in the example of FIG. 7, the average score is 20, and the point R1 when the threshold is 0.2 is "19"), and the time of the reference signal The x-th data point from the beginning of the waveform is defined as the waveform end point.
[0024]
{Circle around (3)} A reference signal such as rearrangement / inversion of the waveform between the start point and the end point is cut out between the waveform generation point and the waveform end point detected in the above [1] and [2], respectively. Hereinafter, a mother wavelet is created based on the adopted waveform.
[0025]
Generally, the mother wavelet Ψ (x) used for the wavelet analysis must satisfy the following admissible condition.
(Equation 1)
Figure 2004205385
[0026]
Therefore, the adopted waveform is converted into a symmetrical waveform by the following processes (i) and (ii) so as to satisfy the admissible condition.
(i) The data of the adopted signal is rearranged so that the temporal order is reversed, and then the sign is inverted. That is, each data point of the adopted waveform is S (t i ) = a i (i = 1,..., N, N is the number of data points)
Is expressed as
Figure 2004205385
Is created. FIG. 8 shows a waveform S adopted for the reference signal shown in FIG. 3, and FIG. 9 shows a waveform T for the adopted waveform S.
[0027]
(ii) The waveform U obtained by combining the original adopted waveform S after the waveform T obtained in (i) above. That is,
Figure 2004205385
FIG. 10 shows a waveform U obtained from the waveforms S and T shown in FIGS. 8 and 9, respectively.
[0028]
The value of the last data point T (t N ) = − a 1 of the waveform T and the value of the first data point S (t 1 ) = a 1 of the waveform S are both “0”. The number of data points is 2. Therefore, the total number of data points is not 2 · N but (2 · N−1).
[0029]
(4) Normalization of waveform The waveform U created in the above (3) is normalized. That is, first, the equation
Figure 2004205385
To calculate the norm of the waveform U.
[0030]
Then, by dividing the waveform U by this norm and normalizing, the mother wavelet Ψ is completed. That is,
[Equation 3]
Figure 2004205385
[0031]
11 to 13 show examples of the waveform of the mother wavelet Ψ created based on the reference signals collected on three types of wall surfaces. In each figure, (a) shows an example in which the threshold value for determining the waveform end point in the above procedure (2) is set to 0.1, and (b) shows an example in which the threshold value is set to 0.2. ing.
[0032]
Next, the content of the wavelet transform calculation processing performed by the wavelet transform unit 36 using the mother wavelet Ψ created as described above will be described.
[0033]
The wavelet transform is
Figure 2004205385
Is defined by
[0034]
Here, f (t) is a signal to be analyzed (analysis signal). The left side (W Ψ f) is called the wavelet coefficients, a coefficient given an index indicating the degree of similarity between the mother wavelet Ψ ((x-b) / a) and the analytic signal f (x). On the other hand, the parameter a on the right side is a scaling parameter for localizing the frequency. This scaling parameter a represents the degree of expansion and contraction of the mother wavelet in the time direction, and determines the frequency of the mother wavelet. The parameter b is a trans parameter for localizing time. By variously changing the values of these parameters a and b corresponding to the frequency and the time, respectively, the analysis signal f (x) can be developed on the time-frequency plane.
[0035]
In the present embodiment, the scale parameter a is changed in the range of 0 to 10000 Hz in increments of 20 Hz, and the trans parameter b is changed in increments of 0.005 ms.
[0036]
In the conventional calculation method of the wavelet transform, since the numerical integration of the above equation is performed for each set of two parameters (b, a), an enormous calculation time is required. On the other hand, in the present embodiment, the calculation time is reduced by performing the calculation in the following procedure.
[0037]
The above equation (1) representing the definition of the wavelet transform is:
(Equation 5)
Figure 2004205385
Using the relation of
Figure 2004205385
It can be expressed as. However,
(Equation 7)
Figure 2004205385
If x = t−b,
(Equation 8)
Figure 2004205385
Therefore,
(Equation 9)
Figure 2004205385
It becomes.
[0038]
Assuming that the function f (t) is periodic in the interval [0, T 0 ],
(Equation 10)
Figure 2004205385
Also,
[Equation 11]
Figure 2004205385
Therefore,
(Equation 12)
Figure 2004205385
here,
(Equation 13)
Figure 2004205385
It becomes.
[0039]
If the interval [0, T 0 ] is divided into N equal parts (where N is an even number, and is generally a power of 2 in consideration of FFT),
[Equation 14]
Figure 2004205385
The discrete points for the analytic signal f (t) are also
Figure 2004205385
Given that
(Equation 16)
Figure 2004205385
Therefore,
[Equation 17]
Figure 2004205385
therefore,
(Equation 18)
Figure 2004205385
[0040]
The above equation (4) is an equation representing FFT (Fast Fourier Transform), and the above equation (5) is an equation representing inverse FFT. Therefore, ak is calculated by fast Fourier transform according to equation (4), and then wavelet transform calculation is performed by performing inverse Fourier transform of equation (5) using a as a parameter.
[0041]
The result of the wavelet transform calculation performed as described above is displayed on a display screen by the output unit 38 or printed out to a printer.
[0042]
14 and 15 show examples of the output of the wavelet transform calculation result by the output unit 36. FIG. 14 shows the result of using the mother wavelet created based on the reference signal obtained by measuring the peeling tile. FIG. 15 shows a result using a mother wavelet created based on a reference signal obtained by measuring a sound tile, and FIG. 16 shows a result as a mother wavelet for comparison with the related art. The analysis result when a general Gabor function is used is shown. In each of FIGS. 14 to 16, (a) shows the time waveform of the measurement signal, and (b) shows the result of the wavelet transform. In the results of the wavelet transform shown in FIG. 3B, the horizontal axis represents time (T 0 / N (= b) in equation (4)), and the vertical axis represents frequency (a in equation (4)). The whiter the color, the greater the value. As described above, since the measurement signal is obtained while moving the contact body 12 on the wall surface, the horizontal axis (time axis) in each figure corresponds to the diagnosis position on the wall surface. In the examples of FIGS. 14 to 16, peeling has occurred at positions corresponding to times T1 and T2.
[0043]
For example, comparing the vicinity of time T1 in the results of the wavelet transform in FIGS. 14 to 16, in FIGS. 14 and 15, white is displayed over a wide range from a low frequency to a high frequency (that is, a large output is obtained). On the other hand, in FIG. 16, a white display appears in the low frequency region.
[0044]
As can be seen from the comparison between FIG. 14 and FIG. 15 and FIG. 16, the result of the wavelet transform in the present embodiment is higher at the peeling occurrence position than when the existing mother wavelet is used as before. A large output is obtained in a wide frequency range. This is because, in the present embodiment, the mother wavelet is created based on the reference signal collected from the wall surface to be diagnosed, so that it has substantially the same frequency band as the measurement signal, and the frequency component of the measurement signal is wide. This is due to proper extraction over the frequency range. On the other hand, if an existing mother wavelet is used as in the related art, it is difficult to match its frequency characteristics to a measurement signal obtained from a diagnosis target, and it is not possible to properly extract a frequency component from the measurement signal. It is.
[0045]
As described above, in the present embodiment, a mother wavelet is created based on a signal obtained by measuring a wall to be diagnosed, and a measurement signal for the same wall is subjected to wavelet transform using the mother wavelet. In addition, the frequency component of the measurement signal can be extracted over a wide range, thereby making it possible to more accurately diagnose the presence or absence of wall surface separation.
[0046]
In the above-described embodiment, the result of the wavelet transform is output on a screen or a printer, and the presence or absence of wall surface separation is visually determined based on the output result. The determination of the presence or absence of wall separation may be performed automatically, such as determining that separation has occurred when the value of the conversion result (for example, an integrated value over a certain frequency range) exceeds a predetermined threshold.
[0047]
【The invention's effect】
Wavelet transform analysis can be performed using a mother weblet suitable for the wall surface to be diagnosed, thereby making it possible to accurately diagnose the presence or absence of wall surface separation.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a wall peeling diagnosis device according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an outline of a mother wavelet creation process.
FIG. 3 is a diagram illustrating a waveform of an example of a reference signal for creating a mother wavelet.
FIG. 4 is a diagram showing a result obtained by taking an absolute value of a reference signal.
FIG. 5 is a diagram illustrating a waveform of a reference signal in which values of data points before a waveform generation point are all set to 0.
6 is a diagram showing a calculation result of an autocorrelation coefficient of the reference signal shown in FIG.
FIG. 7 is a diagram showing a result of smoothing the autocorrelation function of FIG. 6;
FIG. 8 is a diagram showing a waveform S adopted for the reference signal shown in FIG. 3;
9 is a diagram showing a waveform T obtained by inverting the sign of the adopted waveform S shown in FIG. 8 and also inverting with time. FIG. 10 Combining the waveform S shown in FIG. 8 and the waveform T shown in FIG. FIG. 7 is a diagram showing a waveform U obtained by the above.
FIG. 11 is a diagram showing a first example of a created mother wavelet.
FIG. 12 is a diagram illustrating a second example of the created mother wavelet.
FIG. 13 is a diagram illustrating a third example of the created mother wavelet.
FIG. 14 is a diagram showing a wavelet transform calculation result using a mother wavelet created based on a reference signal obtained by measuring a peeled tile.
FIG. 15 is a diagram showing a wavelet transform calculation result using a mother wavelet created based on a reference signal obtained by measuring a healthy tile.
FIG. 16 is a diagram showing a wavelet transform calculation result using an existing mother wavelet as before.
[Explanation of symbols]
12 contact body 14 microphone 16 signal processing unit 30 amplification unit 32 A / D conversion unit 34 mother wavelet creation unit 36 wavelet conversion unit 38 output unit

Claims (7)

壁面の剥離の有無を診断するために、接触体を当該壁面に接触させながら移動させた際に発生する音を測定し、その測定信号に対してウェーブレット変換演算を行う方法であって、
前記壁面の適宜な部分についての前記測定信号を基準信号として取得するステップと、
該取得した基準信号に基づいてマザーウェーブレットを作成するステップと、
前記壁面の診断対象部分についての前記測定信号を取得するステップと、
該取得した測定信号に対して、前記作成したマザーウェーブレットを用いてウェーブレット変換演算を行うステップと、を含むことを特徴とする壁面剥離診断のためのウェーブレット変換方法。
A method of diagnosing the presence or absence of peeling of a wall surface, measuring a sound generated when the contact body is moved while being in contact with the wall surface, and performing a wavelet transform operation on the measurement signal,
Obtaining the measurement signal for an appropriate portion of the wall surface as a reference signal,
Creating a mother wavelet based on the acquired reference signal;
Obtaining the measurement signal for the diagnosis target portion of the wall surface,
Performing a wavelet transform operation on the acquired measurement signal using the created mother wavelet.
請求項1記載の方法において、前記ウェーブレット変換演算の結果を出力するステップを更に含むことを特徴とする方法。The method of claim 1, further comprising outputting a result of the wavelet transform operation. 請求項1または2記載の方法において、前記ウェーブレット変換演算の結果に基づいて壁面剥離の有無を判定するステップを更に含むことを特徴とする方法。3. The method according to claim 1, further comprising the step of determining whether there is wall separation based on a result of the wavelet transform operation. 請求項1〜3のうち何れか1項記載の方法において、前記マザーウェーブレットを作成するステップでは、前記基準信号から波形発生点および波形終了点を決定し、それら波形発生点および波形終了点の間での前記基準信号の波形に基づいて点対称な波形を作成し、該作成した波形をそのノルムで割ることにより正規化した波形をマザーウェーブレットとすることを特徴とする方法。The method according to any one of claims 1 to 3, wherein the step of creating the mother wavelet includes determining a waveform generation point and a waveform end point from the reference signal, and determining between the waveform generation point and the waveform end point. Generating a point-symmetrical waveform based on the waveform of the reference signal in (1), and dividing the generated waveform by its norm to obtain a normalized waveform as a mother wavelet. 壁面に接触体を接触させながら当該接触体を移動させた際に発生する音の測定信号に基づいて当該壁面の剥離の有無を診断するために用いられる装置であって、
前記壁面の適宜な部分についての前記測定信号を基準信号として取得する手段と、
該取得した基準信号に基づいてマザーウェーブレットを作成する手段と、
前記壁面の被診断部分についての前記測定信号を取得する手段と、
該取得した測定信号に対して、前記作成したマザーウェーブレットを用いて、ウェーブレット変換計算を行う手段と、を備えることを特徴とする壁面剥離診断用装置。
An apparatus used for diagnosing the presence or absence of peeling of the wall based on a measurement signal of a sound generated when the contact body is moved while the contact body is in contact with the wall,
Means for acquiring the measurement signal for an appropriate portion of the wall surface as a reference signal,
Means for creating a mother wavelet based on the acquired reference signal;
Means for obtaining the measurement signal for the portion to be diagnosed of the wall surface,
Means for performing a wavelet transform calculation on the acquired measurement signal using the created mother wavelet.
請求項5記載の装置において、前記ウェーブレット変換演算の結果を出力する手段を更に備えることを特徴とする装置。6. The apparatus according to claim 5, further comprising means for outputting a result of the wavelet transform operation. 請求項5または6記載の装置において、前記ウェーブレット変換演算の結果に基づいて壁面剥離の有無を判定する手段を更に備えることを特徴とする装置。The apparatus according to claim 5, further comprising a unit configured to determine presence or absence of wall surface separation based on a result of the wavelet transform operation.
JP2002375776A 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis Expired - Fee Related JP4016831B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002375776A JP4016831B2 (en) 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002375776A JP4016831B2 (en) 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis

Publications (2)

Publication Number Publication Date
JP2004205385A true JP2004205385A (en) 2004-07-22
JP4016831B2 JP4016831B2 (en) 2007-12-05

Family

ID=32813406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002375776A Expired - Fee Related JP4016831B2 (en) 2002-12-26 2002-12-26 Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis

Country Status (1)

Country Link
JP (1) JP4016831B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007205885A (en) * 2006-02-01 2007-08-16 Jtekt Corp Method and apparatus for diagnosing sound or vibration abnormality
JP2007205886A (en) * 2006-02-01 2007-08-16 Jtekt Corp Method and apparatus for analyzing sound or vibration
JP2007309827A (en) * 2006-05-19 2007-11-29 Ohbayashi Corp Method and apparatus for diagnosing peeling-off of tiled surface
CN107209157A (en) * 2015-01-26 2017-09-26 株式会社岛津制作所 Noise level estimation method, determination data processing unit and determination data processing program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007205885A (en) * 2006-02-01 2007-08-16 Jtekt Corp Method and apparatus for diagnosing sound or vibration abnormality
JP2007205886A (en) * 2006-02-01 2007-08-16 Jtekt Corp Method and apparatus for analyzing sound or vibration
JP2007309827A (en) * 2006-05-19 2007-11-29 Ohbayashi Corp Method and apparatus for diagnosing peeling-off of tiled surface
CN107209157A (en) * 2015-01-26 2017-09-26 株式会社岛津制作所 Noise level estimation method, determination data processing unit and determination data processing program

Also Published As

Publication number Publication date
JP4016831B2 (en) 2007-12-05

Similar Documents

Publication Publication Date Title
EP3206003B1 (en) System and method for detecting abnormality of rotating machines
US20060244744A1 (en) Movement analysis display apparatus and movement analyzing method
JP2006322947A (en) Vibration peak value extraction method, and peak value extractor for machinery facility
WO2013013646A2 (en) Device and method for enhancing accuracy of recognizing fetus heart rate acceleration data
TW201300742A (en) Abnormal sound diagnostic equipment
CN106053074B (en) Rolling bearing sound signal fault feature extraction method based on STFT and rotational inertia entropy
US8942939B2 (en) Real-time detection system and the method thereof
JP3958538B2 (en) Concrete hammering inspection method and concrete hammering inspection apparatus
JP2004020193A (en) Method for diagnosing object facility, computer program, and device for diagnosing subject facility
JP4016831B2 (en) Wavelet transform method for wall peeling diagnosis and apparatus for wall peeling diagnosis
JP3438525B2 (en) Hammer judgment device
JP3759881B2 (en) Process diagnosis monitoring system
JP3920715B2 (en) Vibration signal processing method
JP4598809B2 (en) Soundness diagnosis method by sound analysis
JP2007292700A (en) Partial discharge position specifying method of stationary induction apparatus
JP2003130724A (en) Evaluation apparatus
JP2003202276A (en) Abnormality diagnosing method of mechanical facility or appliance
JP5351835B2 (en) Sound signal section extraction device and sound signal section extraction method
JP4003086B2 (en) Evaluation method and apparatus
JP3648023B2 (en) Data conversion apparatus and program storage medium
JP2009211021A (en) Reverberation time estimating device and reverberation time estimating method
JP3561151B2 (en) Abnormality diagnosis device and abnormality diagnosis method
CN116519112A (en) Ultrasonic tool bit vibration energy efficiency evaluation method based on laser vibration measurement
JP2009300192A (en) Crack detecting device and crack detecting method
JPH09257765A (en) Apparatus for diagnosing peeling of wall surface

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051118

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20051118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4016831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140928

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees