JP2000258398A - 欠陥検査方法,欠陥検査装置及び欠陥検査支援方法 - Google Patents

欠陥検査方法,欠陥検査装置及び欠陥検査支援方法

Info

Publication number
JP2000258398A
JP2000258398A JP11067091A JP6709199A JP2000258398A JP 2000258398 A JP2000258398 A JP 2000258398A JP 11067091 A JP11067091 A JP 11067091A JP 6709199 A JP6709199 A JP 6709199A JP 2000258398 A JP2000258398 A JP 2000258398A
Authority
JP
Japan
Prior art keywords
defect
image
defect candidate
candidate
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11067091A
Other languages
English (en)
Other versions
JP3694418B2 (ja
Inventor
Toshiro Asano
敏郎 浅野
Kaoru Sakai
薫 酒井
Tetsuo Taguchi
哲夫 田口
Isao Tanaka
勲夫 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP06709199A priority Critical patent/JP3694418B2/ja
Publication of JP2000258398A publication Critical patent/JP2000258398A/ja
Application granted granted Critical
Publication of JP3694418B2 publication Critical patent/JP3694418B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)

Abstract

(57)【要約】 【課題】 画像による目視検査での欠陥候補の確認をし
易くし、欠陥の見逃しなどをなくして欠陥検査の信頼性
を高める。 【解決手段】 ここでは、試験体1に紫外線を照明し、
割れ欠陥2aで蛍光を発光させる磁粉探傷法による欠陥
検査であるが、かかる試験体1の表面を、紫外線カット
フィルタ5を介して、カラーテレビカメラ3で撮像す
る。カラービデオカメラ3から出力されるR,G,B信
号による原画像は、画像メモリ7に一旦格納される。こ
の原画像はカラーモニタ9で表示されるとともに、コン
ピュータ8はG画像を処理して欠陥候補を検出し、カラ
ーモニタ9に表示される原画像中の欠陥候補毎に欠陥候
補マーカを付加表示させる。検査者は、この欠陥候補マ
ーカでもって原画像中の欠陥候補を知り、この欠陥候補
に対して真の割れ欠陥か擬似欠陥かを目視確認する。原
画像と検査結果はデータ記憶装置11に格納される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、試験体の表面の割
れなどの欠陥検査及びその支援に係り、特に、磁粉探
傷,浸透探傷といった非破壊検査法に基づく欠陥検査方
法,欠陥検査装置及び欠陥検査支援方法に関する。
【0002】
【従来の技術】管や各種部品などの製造物の品質を管理
するために、かかる製造物(以下、試験体という)の表
面の割れ(クラック)などの欠陥検査が行なわれる。そ
の検査方法としては、試験体に損傷を与えない非破壊検
査法が用いられ、特に、試験体の表面の割れなどの欠陥
検査法としては、磁粉探傷法と浸透探傷法とがある。
【0003】磁粉探傷法は、主として鉄などの磁性を有
する金属の表面もしくはその内部の表面に近い部分に生
ずる割れを検査する方法である。この方法では、まず、
蛍光磁粉を含む溶液を試験体の表面に散布し、しかる
後、この試験体の表面を磁化する。表面に割れなどの欠
陥があると、その欠陥部分で磁束が集中し、この結果、
この欠陥部分に蛍光磁粉が集まる。そこで、この表面に
紫外線を照射すると、蛍光体が励起されて緑色に発光す
るが、磁束が集中して蛍光磁粉が集まった部分で発光が
強くなり、この結果、欠陥が強調されることになる。
【0004】ところで、上記のように試験体の表面を磁
化しても、その表面に谷状などのくぼみ部があると、そ
こでも磁束が集中する場合もあり、このような部分も恰
も欠陥のように強調される。かかる強調部分を、真の欠
陥に対して、以下、擬似欠陥ということにするが、従来
では、このように紫外線が照射されている試験体の表面
を目視で観測することにより、真の欠陥を探索する検査
を行なっていた。
【0005】これに対し、試験体が大量生産部品のよう
に同一形状物であるときには、例えば、社団法人日本非
破壊検査協会主催の「平成10年度春季大会講演概要
集」pp.305−308で報告されているように、紫
外線が照射されている試験体の表面をモノクロのビデオ
カメラで撮像し、これらよって得られる画像信号を処理
して自動的に欠陥を検査している例もある。
【0006】一方、浸透探傷法は、浸透液と称される赤
色の溶液を試験体の表面に塗布し、一定時間後、布など
でこれを除去する。これにより、割れなどの欠陥に浸透
した溶液だけが残ることになる。その後、現像液と称さ
れる白い粉が混入した溶剤を試験体の表面に塗布する。
この現像液により、欠陥の中に浸透していた赤い浸透液
が吸い上げられ、白い現像液の上に吸い上げられた浸透
液による赤い指示模様が現れる。従来では、この浸透探
傷法による検査も、目視で行なわれていた。
【0007】なお、浸透探傷法は、試験体の材質などに
関係なく用いることができるものであり、しかも、磁粉
探傷法に比べて簡単な方法であることから、一般にこの
方法が用いられるが、磁粉探傷法は、欠陥の形状が比較
的正確に得られるし、また、表面に隠れた、即ち、試験
体の表面近くにあって外部に開口していない欠陥も検査
できるという利点がある。
【0008】
【発明が解決しようとする課題】ところで、磁粉探傷法
にしろ、浸透探傷法にしろ、目視で真の割れ欠陥である
か、擬似欠陥であるかの確認を行なうのが一般的である
が、目視によると、検査員の疲労により、真の欠陥の見
逃しがあったり、検査員の個人差によって検査結果が異
なったりするおそれもあり、検査結果が「合格」などの
文字でしか残らないという検査信頼性上の問題があっ
た。
【0009】また、上記のように自動検査の例もある
が、この場合、モノクロのビデオカメラを使用している
ため、表示画面上の検査結果画像もモノクロとなって実
物と異検査員はその画像から真の欠陥を確認しずらかっ
た。
【0010】さらに、かかる自動検査では、試験体が長
いものであるとき、ビデオカメラの撮像位置がわからな
くなり、得られた画像が試験体のどの部分であるか、検
査された欠陥が試験体のどの部分であるのかわからなく
なる場合もあった。
【0011】本発明の目的は、かかる問題を解消し、真
の欠陥の判別を容易にした欠陥検査方法,欠陥検査装置
及び欠陥検査支援方法を提供することにある。
【0012】本発明の他の目的は、長い試験体に対して
も、欠陥位置を容易に知ることができるようにした欠陥
検査方法,欠陥検査装置及び欠陥検査支援方法を提供す
ることにある。
【0013】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、磁粉探傷法あるいは浸透探傷法で欠陥の
検出を行なうために、試験体をカラービデオカメラで撮
像する。これによると、画像処理によって欠陥の探索が
自動的に行なわれるし、また、得られた画像はカラーで
表示されることになり、試験体の画像が実物と同様に表
示されて真の欠陥が確認し易くなる。特に、磁粉探傷法
の場合には、カラービデオカメラが紫外線カットフィル
タを介して試験体を撮像するように構成することによ
り、試験体の表面で反射された紫外線がカラービデオカ
メラに対して遮断されることになり、表示画面に紫外線
による画像が現われるのを防止することができ、さら
に、真の欠陥の確認が容易となる。
【0014】また、本発明は、カラービデオカメラの出
力画像信号の処理によって得られた欠陥候補(真の欠陥
と擬似欠陥)との表示画像をマークで指示するようにす
る。これにより、検査者は、マークで指示される欠陥候
補についてのみ、真の欠陥か、擬似欠陥かの確認をすれ
ばよく、検査者の作業負担が軽減して高精度の検査結果
が得られることになる。
【0015】上記他の目的を達成するために、本発明
は、試験体にスケールを付随させ、試験体の検査領域と
ともにスケールがカラービデオカメラの視野内に入るよ
うにして撮像する。これにより、このスケールの目盛も
試験体の画像に含まれて表示され、試験体が長尺のもの
であっても、この試験体での欠陥の位置を容易に把握す
ることができる。
【0016】
【発明の実施の形態】以下、本発明の実施形態を図面に
より説明する。図1は本発明による欠陥検査装置の第1
の実施形態を示すブロック図であって、1は試験体、2
aは割れ欠陥、2bは擬似欠陥、3はカラービデオカメ
ラ、4a,4bは紫外線照明手段、5は紫外線カットフ
ィルタ、6は照明電源、7は画像メモリ、8はコンピュ
ータ、9はカラーモニタ、10は操作部、11はデータ
記憶装置である。以下、この実施形態の動作を、磁粉探
傷法によるものとして、説明する。
【0017】図1において、試験体1が図示しない検査
台上に載置されている。ここでは、この試験第1の表面
には割れ欠陥2aが存在し(但し、この割れ欠陥2a
は、表面に開口があるものでもよいし、また、開口がな
くて表面には現われていない表面近くのものであっても
よい)、既に蛍光磁粉の溶液が散布されて磁化されてい
るものとする。照明電源6から紫外線照明手段4a,4
bに電源を供給してこの試験体1を紫外線で照明する
と、この試験体1の表面の割れ欠陥2aに集まった蛍光
磁粉が緑色に発光する。このため、カラーテレビカメラ
3でこの試験体1の表面を撮像すると、割れ欠陥2aは
濃い緑色の線として見える。
【0018】なお、このような割れ欠陥2a以外の部分
でも、濃い緑色の線として見えるものもある。例えば、
試験体1に溶接部があると、溶接ビードに沿って、ある
いは、表面が完全に平坦でなく、谷部のような凹み部が
ある場合には、その谷部に沿って磁束が強く蛍光磁粉が
集まることになり、この部分でも、濃い緑色の線として
見えることになる。後述するように、コンピュータ8に
おいて、画像処理により欠陥の検出が行なわれるが、こ
の画像処理によって溶接ビードに沿った部分も欠陥とし
て検出されてしまう。このように、画像処理によって検
出される真の欠陥以外の欠陥を擬似欠陥といい、試験体
1においても、かかる擬似欠陥2bが存在するものとし
ている。また、表面に緩やかなうねりがある場合には、
その低部に蛍光磁粉が残ることもあり、この部分も紫外
線照射によって緑色に発光する。しかし、この部分は、
後述する画像処理によって除くことができ、従って、こ
の部分は擬似欠陥ではない。
【0019】紫外線で照明された試験体1の表面は、カ
ラーテレビカメラ3で撮像される。この場合、カラービ
デオカメラ3には、紫外線カットフィルタ5が設けられ
ており、試験体1の表面やその表面の異物から反射され
る紫外線をカットする。人間の眼は紫外線に対して感応
しないが、カラービデオカメラ3は感応するため、カラ
ービデオカメラ3から得られる画像信号による表示画面
には、この紫外線反射部分に対して不所望な画像が表示
されることになり、これが真の欠陥と重なると、その欠
陥の確認がしにくくなる。これを防止するために、紫外
線カットフィルタ5が設けられているのである。
【0020】カラーテレビカメラ3からはR(赤),G
(緑),B(青)の三原色信号が得られ、1画像分の三
原色信号を画像メモリ7に一時格納される。コンピュー
タ8は、画像メモリ7から1画面分の画像信号を読み取
り、これを原画像としてカラーモニタ9に表示させると
ともに、また、画像メモリ7から読み取った画像信号を
画像処理によって解析し、欠陥候補を探索する。ここで
は、欠陥候補として探索されたものは、試験体1の表面
での真の割れ欠陥2aと擬似欠陥2bである。
【0021】以上が、この欠陥検査装置での欠陥検査方
法の一実施形態の概要であり、次に、この欠陥検査方法
で得られた欠陥候補から真の割り欠陥2aを探索するた
めの本発明による欠陥検査支援方法の一実施形態につい
て説明する。
【0022】コンピュータ8は、この欠陥候補の探索結
果に従って、カラーモニタ9に表示される原画像での真
の割れ欠陥2aと擬似欠陥2bとにマーク(これを欠陥
候補マーカという)を付してこれらを指示する。検査者
はこの欠陥候補マーカによって原画像中の欠陥候補を簡
単に知ることができ、この欠陥候補が真の割れ欠陥2a
であるか、疑似欠陥2bであるかを目視で判別する。こ
の判別結果を操作部10から入力し、この入力情報に応
じてコンピュータ8は擬似欠陥2bに対する欠陥候補マ
ーカを消去する。全ての欠陥候補に対する検査が終了す
ると、コンピュータ8はその検査結果と原画像とをデー
タ記憶装置10に保存される。
【0023】なお、データ記憶装置10に保存された原
画像と検査結果とは、操作部10の操作により、適宜読
み出してカラーモニタ9に表示させることもできるし、
また、プリントアウトすることもできる。勿論、真の割
り欠陥の部分の拡大表示やプリントアウトも可能であ
り、また、検査結果に基づいて、真の割り欠陥を欠陥候
補マーカと同様のマーカで指示するようにすることもで
きる。
【0024】図2はこの紫外線カットフィルタ5の効果
を示す図であって、同図(a)は紫外線カットフィルタ
5を用いない場合のカラービデオカメラ3の出力画像信
号による表示画像を、同図(b)は紫外線カットフィル
タ5を用いた場合のカラービデオカメラ3の出力画像信
号による表示画像を夫々示している。
【0025】図2(a)において、紫外線カットフィル
タ5を用いない場合には、真の割れ欠陥2aや擬似欠陥
2bなどの蛍光磁粉の発光による画像のほかに、試験体
1の表面の紫外線の正反射部分による画像2cや試験体
1の表面にある紫外線を反射する糸くずなどの異物の画
像2dが緑色に表示され、真の割り欠陥2aと区別でき
なくなる場合もあるし、また、例えば、画像2cが真の
割れ欠陥2aと重なる場合には、この真の割れ欠陥2a
を見落とすおそれがある。
【0026】これに対し、カラービデオカメラ3に紫外
線カットフィルタ5を設けると、図2(b)に示すよう
に、紫外線が反射してカラービデオカメラ5に入射する
ことによる画像2c,2dを除くことができ、蛍光磁粉
の発光による画像のみが得られることになる。
【0027】次に、図1に示した欠陥検査装置に用いる
本発明による欠陥検査方法の一実施形態の画像処理につ
いて、図3により説明する。なお、図3は、この欠陥検
査方法において、図1におけるコンピュータ8による画
像メモリ7の内容の解析のための画像処理アルゴリズム
を示すフローチャートである。
【0028】同図において、コンピュータ8は、まず、
画像メモリ7の読み取りを行ない、G(緑)画像を取り
込む(ステップ100)。そして、このG画像を微分し
(ステップ101)、レベルが急変する部分ほど強調さ
れたG微分画像を得る。これにより、割れ欠陥のような
蛍光磁粉から発光情報量が多く、かつ線状に輝度変化す
る部分のレベルが強調され、磁粉溜りのような輝度は高
いが、輝度変化の少ない部分のレベルは強調されない。
次に、このG微分画像の平均レベルを参考にして2値化
の閾値を決定し、これを用いてG微分画像を2値化する
(ステップ102)。そして、2値化されたG微分画像
から孤立点などの画像ノイズを除去する(ステップ10
3)。
【0029】以上の処理により、線状の輝度変化が大き
い部分の画像からなる2値画像が得られたことになり、
かかる画像が仮の欠陥候補を表わしていることになる。
そこで、次に、仮の欠陥候補毎に、その位置と長さとコ
ントラストが算出される。図2において、いま、真の割
れ欠陥2aが仮の欠陥候補として検出されたとすると、
この仮の欠陥候補の位置はこの仮の欠陥候補の重心位置
とし、この仮の欠陥候補の長さはこの仮の欠陥候補の両
端を結ぶ直線の長さとする。また、この仮の欠陥候補の
コントラストは、G画像でのこの仮の欠陥候補を構成す
る全ての画素のレベルの平均値とする。
【0030】このように各仮の欠陥候補の位置や長さ,
コントラストが求まると、次に、各仮の欠陥候補毎にそ
の長さやコントラストが予め設定された閾値以上か否か
判定し、長さとコントラストがともに閾値以上の仮の欠
陥候補を欠陥候補と決定する(ステップ105)。例え
ば、図2(b)において、真の割れ欠陥2aと擬似欠陥
2b,2b’とが仮の欠陥候補となり、そのうちの擬似
欠陥2b’の長さとコントラストのうちの少なくとも1
つが閾値に満たない場合、真の割れ欠陥2aと擬似欠陥
2bとが欠陥候補として決定される。
【0031】次に、図1に示した欠陥検査装置に用いる
本発明による欠陥検査支援方法の一実施形態を、図4に
より詳細に説明する。なお、図4は図3の処理で得られ
た欠陥候補から真の欠陥を確認する過程を示すフローチ
ャートである。
【0032】同図において、図3に示した処理で欠陥候
補が決まると、コンピュータ8は、まず、カラーモニタ
9の表示画面に表示される1つの欠陥候補にマーカ表示
を行なう。このマーカが欠陥候補マーカであるが、これ
を図5を用いて説明する。ここでは、欠陥候補マーカを
欠陥候補を囲む枠とする。
【0033】図5において、この欠陥候補12の両端部
1,P2の位置が、その長さを求めるときに得られてお
り、まず、両端部P1,P2を結ぶ直線を中心線13とし
て求め、この中心線13を端部P1から延長した直線上
の端部P1から距離dの点a1を求める。また、端部P1
を通り中心線13に垂直な直線上の端部P1から両側に
距離dの点a2,a6を求める。端部P2側についても
同様であって、中心線13を端部P2から延長した直線
上の端部P2から距離dの点a4を求め、また、端部P2
を通り中心線13に垂直な直線上の端部P2から両側に
距離dの点a3,a5を求める。
【0034】次に、点a2,a3を結ぶ直線、点a5,
a6を結ぶ直線、点a2,a6を結ぶ直線に平行で点a
1を通る直線及び点a3,a5を結ぶ直線に平行で点a
4を通る直線を夫々求め、点a2,a3を結ぶ直線と点
a2,a6を結ぶ直線に平行で点a1を通る直線との交
点を点A、点a2,a3を結ぶ直線と点a3,a5を結
ぶ直線に平行で点a4を通る直線との交点を点B、点a
5,a6を結ぶ直線と点a3,a5を結ぶ直線に平行で
点a4を通る直線との交点を点C、点a5,a6を結ぶ
直線と点a2,a6を結ぶ直線に平行で点a1を通る直
線との交点を点Dとし、点A→B→C→D→Aを結ぶ枠
を欠陥候補マーカ14とする。
【0035】ここで、真の割れ欠陥は、一般に、ほぼ直
線状をなしており、大きく曲がっているような曲線状の
ものはほとんどない。上記の距離dは、得られた欠陥候
補マーカ14が欠陥候補12に接したり、交差したりす
ることがなく、かつできる限り小さい値に設定される。
【0036】また、欠陥候補マーカ14の短辺DA,B
Cを直線状としたが、円弧状,三角状,台形状など他の
形状としてもよい。
【0037】このようにして、各欠陥候補毎に欠陥候補
マーカ14を作成し、図4のステップ200では、カラ
ーモニタ9(図1)で表示される原画像において、欠陥
候補を囲むようにして欠陥候補マーカ14を、例えば、
白色で表示する。図6は図2(b)に示した真の割り欠
陥2aと擬似欠陥2b,2b’とが決定された欠陥候補
として(図3のステップ105)、夫々の欠陥候補2
a,2b,2b’毎に欠陥候補マーカ14a,14b,
14cを表示した状態を示す図である。
【0038】なお、図3のステップ104において、仮
の欠陥候補毎に図5で説明したように欠陥候補マーカ1
4を作成するようにしてもよい。この場合には、両端部
1,P2間の中心線13の中点をこの仮の欠陥候補の位
置とし、両端部P1,P2間の中心線13の長さをこの仮
の欠陥候補の長さとする。また、この場合、仮の欠陥候
補のコントラストは、次のようにして算出することがで
きる。即ち、欠陥候補マーカ14の短辺ADに平行で長
辺AB,CDとの交点b,c間の直線をコントラスト算
出線15とし、このコントラスト算出線15上の画素の
平均輝度と最大輝度とを求めてこれらの輝度差を求め、
かかる輝度差をコントラスト算出線15を一方の端部P
1から他方の端部P2に順次1画素あるいは複数画素分ず
つ移動させながらその移動毎に求め、得られた輝度差の
平均をこの仮の欠陥候補のコントラストとする。
【0039】このように、図3のステップ104の処理
を行なうとき、仮の欠陥候補毎に欠陥候補マーカ14を
形成することにより、仮の欠陥候補の位置や長さ,コン
トラストの算出処理の過程で欠陥候補マーカ14の作成
が可能となり、無駄なく処理が行なわれるし、また、欠
陥候補が決定すると(図3のステップ105)、図4の
ステップ200で直ちに決定した欠陥候補に欠陥候補マ
ーカを表示することができる。
【0040】なお、図6に示すように、原画像の全ての
欠陥候補に同時に欠陥候補マーカを表示するようにして
もよいが、図4では、マーカ表示されるのは1つの欠陥
候補のみとする。
【0041】図4に戻って、カラーモニタ9の原画像の
1つの欠陥候補にマーカ表示がなされると(ステップー
200)、検査者はこのマーカ表示された欠陥候補を目
視し(ステップ201)、この欠陥候補が真の割れ欠陥
であるか、擬似欠陥であるかを確認する(ステップ20
2)。検査者がこれを真の割れ欠陥と判定し、その旨を
示す情報を操作部10(図1)を操作して入力すると、
コンピュータ8(図1)はこの入力情報に基づいてこの
真の割れ欠陥に対する欠陥情報(図3のステップ104
で得られた各情報や欠陥候補マーカ14など)をデータ
記憶装置11(図1)に格納する(ステップ203)と
ともに、この真の割り欠陥に対して表示される欠陥候補
マーカ14の表示色を白色から赤色に変更し、欠陥マー
カとして表示される。そして、他に目視確認していない
欠陥候補が残っていると(ステップ206)、一定時間
経過後、次の欠陥候補に対して上記のマーカ表示を行な
い(ステップ200)、真の割れ欠陥か否かの目視確認
ができるようにする。次の欠陥候補がマーカ表示される
ときには、目視確認されて赤色の表示されるマーカも消
去される。
【0042】このように、マーカは、欠陥候補マーカと
欠陥マーカを含めて、1つしか表示されず、この表示さ
れるマーカは目視確認の対象となる候補欠陥と重なるこ
とがないので、目視確認しようとする欠陥候補を簡単に
知ることができるし、また、目視確認も容易となる。
【0043】また、検査者が欠陥候補を目視確認して擬
似欠陥と判定し、それを示す情報を操作部10から入力
すると(ステップ205)、コンピュータ8は、この欠
陥候補に対する欠陥候補マーカ14を直ちに消去する。
そして、他に目視確認していない欠陥候補が残っている
と(ステップ206)、一定時間経過後、次の欠陥候補
に対して上記のマーカ表示を行なう(ステップ20
0)。
【0044】以上のようにして、真の割り欠陥と判定さ
れた欠陥候補の欠陥情報は順次データ記憶装置11に格
納され(ステップ203)、全ての欠陥候補の目視確認
が終了すると(ステップ206:このことは、白色の欠
陥候補マーカが表示されなくなり、マーカ表示される欠
陥候補がなくなったことによって知ることができる)、
R,G,Bからなるカラー原画像が画像メモリ7から読
み出され、データ記憶装置に保存される(ステップ20
7)。以上により、欠陥検査の支援動作も終了する。
【0045】なお、以上の図4の説明では、白色の欠陥
候補マーカを目視確認する毎に1つずつ表示するように
したが、欠陥候補があまり近接して表示されないような
場合には、全ての欠陥候補について同時にマーカ表示を
するようにしてもよい。この場合には、図4において、
ステップ200で全ての欠陥候補に白色のマーカ表示を
行なわせ、目視確認でもって真の割り欠陥と判定された
ものに対しては、赤色のマーカ表示に変更させてそのま
ま表示させ(ステップ204)、擬似欠陥と判定された
ものに対しては、マーカを消去するようにする(ステッ
プ205)。そして、白色のマーカ表示がなされている
欠陥候補がある場合には、ステップ206からステップ
201に戻り、次の欠陥候補の目視確認ができるように
する。この場合、次に目視確認する欠陥候補に対して
は、コンピュータ8はその欠陥候補マーカ14を、例え
ば、点滅させるようにする。これにより、次に目視確認
すべき欠陥候補を容易に知ることができる。
【0046】以上のように、この第1の実施形態では、
試験体1をカラービデオカメラ3で撮像して原画像をカ
ラー表示できるようにするものであるから、試験体1の
画像が明確に表示されて欠陥の確認が容易になるし、ま
た、画像処理によって自動的に検査対象となる欠陥候補
が絞り込まれ、かつ欠陥候補がマーカ表示されるので、
真の割り欠陥か否かの確認をすべき画像を容易かつ明確
に知ることができて、確認の漏れが生ずることがない。
【0047】さて、以上説明した第1の実施形態は、磁
粉探傷法を用いて、画像処理により自動検査を行なうも
のであったが、センサとしてカラーテレビカメラを用い
ており、浸透探傷法においても、センサとしてカラービ
デオカメラを用いることができることから、浸透探傷と
磁粉探傷との両方が適用可能な共用センサプローブを実
現できる。
【0048】図7は本発明による欠陥検査装置の第2の
実施形態の要部、即ち、磁粉/浸透探傷共用プローブを
示す構成図であって、16はフード、17a,17bは
コネクタ、18は電源ケーブル、19は白色照明手段で
あり、図1に対応する部分には同一符号をつけている。
【0049】同図において、ここでは、紫外線照明手段
4と白色照明手段19とが設けられており、外光による
影響を避けるために、これら照明手段4,8やカラービ
デオカメラ3の光入射部分がフード16によって覆われ
ている。
【0050】かかる共用プローブを磁粉探傷法による欠
陥検査装置に使用する場合には、カラービデオカメラ3
を画像解析装置に接続して図1に示す構成とし、電源ケ
ーブル18をコネクタ17aに接続し、紫外線照明手段
4を駆動するようにすればよい。この場合の欠陥検査や
その支援は先の図1に示した実施形態と同様である。ま
た、浸透探傷法による欠陥検査装置に使用する場合に
は、カラービデオカメラ3を同様の構成の画像解析装置
に接続し、かつ電源ケーブル18をコネクタ17bに接
続し、白色照明手段19を駆動するようにすればよい。
【0051】なお、紫外線照明手段4や白色照明手段1
9のランプとしては、ここでは、リング状のものとして
いるが、棒状のものであってもよい。
【0052】次に、浸透探傷法による欠陥候補抽出方法
の一具体例を図8により説明するが、この場合の画像解
析装置も、基本構成としては、図1に示す構成と同様
に、画像メモリ,コンピュータ,カラーモニタ,操作部
及びデータ記憶装置からなるものであり、コンピュータ
による処理が異なるだけであるから、図1を参照して説
明する。
【0053】浸透探傷法による欠陥検査の場合には、図
7において、試験体1の表面の割れ欠陥の部分が赤色で
表わされるようにしている。かかる試験体1の表面に白
色照明手段19によって白色光を照明し、この表面をカ
ラービデオカメラ3で撮像する。このカラービデオカメ
ラ3から出力されるR,G,Bの三原色信号の1画像分
は、図1において、画像メモリ7に原画像として書き込
まれて記憶される。
【0054】かかる書込みが終了すると、コンピュータ
8は、画像メモリ7からR,G,B画像を取り込み(ス
テップ300)、各画素毎にそのR,G,Bの画素値
(レベル)から色度値x,yを求める(ステップ30
1)。
【0055】いま、画素のR,G,B毎の画素値を夫々
R,G,Bとすると、試験体1の表面からカラービデオ
カメラ3に与えられる刺激値X,Y,Zは次の数1で表
わされる。
【0056】
【数1】
【0057】但し、a11〜a33はカラービデオカメラ3
で決まる係数である。従って、この画素での色度x,y
は次の数2で表わされる。
【0058】
【数2】
【0059】次に、得られた色度x,yを色相θ,彩度
rのデータに変換する(ステップ302)。図9におい
て、いま、白色の色度を(xC,yC)とすると、任意の
色度(x,y)の色相θ,彩度rは次の数3,数4で求
められる。
【0060】
【数3】
【0061】
【数4】
【0062】次に、得られた色相θ,彩度rが欠陥とし
て規定する赤色の範囲にあるかどうかを判定し、かかる
範囲内の画像を仮の欠陥候補とする(ステップ30
3)。即ち、図9に示すように、この赤色の範囲とし
て、色相θ1〜θ2,彩度r1〜r2の範囲が設定されてお
り、上記のようにして求めた色相θ,彩度rが θ1≦θ≦θ2 かつr1≦r≦r2 を満たすとき、この色相θ,彩度rのデータを持つ画素
は赤色の範囲にあり、かかる画素が隣り合って形成され
る画素群が仮の欠陥候補ということになる。
【0063】次に、以上のようにして求められた仮の欠
陥候補毎に、その位置と面積Aと長さLと最大彩度r
MAXとが求められる(ステップ304)。そして、予め
設定された面積の閾値A0,長さの閾値L0,最大彩度の
閾値r0に対してこれら面積A,長さL,最大彩度rMAX
が夫々、 A0≦A,L0≦L,r0≦rMAX を同時に満たすとき、これを満たす仮の欠陥候補を欠陥
候補と決定する(ステップ305)。
【0064】この決定した欠陥候補に対する欠陥検査の
支援方法は図4で示した実施形態の場合と同様であり、
各欠陥候補に、例えば、白色の欠陥候補マーカを表示す
るとともに、目視確認により、真の割れ欠陥に対して
は、欠陥候補マーカを白色から、例えば、青色に変更
し、擬似欠陥に対しては、欠陥候補マーカを消去する。
【0065】図10は欠陥候補に欠陥候補マーカを付し
た状態を示すものであって、浸透探傷法での欠陥候補2
0は、先に説明したように、面積を持った領域となる。
かかる欠陥候補20の両端部P1,P2を検出し、これら
両端部P1,P2を結ぶ直線を中心線21とし、この中心
線21の長さを欠陥候補20の長さL,この欠陥候補2
0内での画素数を欠陥候補20の面積Aとし、この欠陥
候補20の重心(あるいは中心線21の中心位置)をこ
の欠陥候補20の位置とする。また、この欠陥候補20
に対する欠陥候補マーカ22は、両端部P1,P2と中心
線21とから図5で示したように求められるが、両端部
1,P2からの距離dを磁粉探傷法の場合よりも大きく
して、欠陥候補マーカ22が欠陥候補20に重ならない
ようにする。勿論、先に説明した磁粉探傷の場合と同様
に、図8のステップ304で仮の欠陥候補の面積や長さ
となどを求めるときに、欠陥候補マーカ22を作成する
ようにしてもよい。
【0066】なお、この実施形態では、図1に示したよ
うな画像メモリ,コンピュータ,カラーモニタ,操作部
及びデータ記憶装置からなる画像解析装置を備えた欠陥
検査装置が磁粉探傷法によるものと浸透探傷法によるも
のとの2種類があり、それらのいずれにも使用できるよ
うにしたものであるが、また、この実施形態の磁粉/浸
透探傷共用プローブに上記の画像解析装置が接続された
1つの欠陥検査装置を、コンピュータ8(図1)が図3
に示す磁粉探傷法の欠陥検査の画像処理と図8に示す浸
透探傷法の欠陥検査の画像処理とを行なうことができる
ようにすることにより、磁粉探傷法と浸透探傷法とに共
用できるようにすることができる。この場合、磁粉探傷
法による欠陥検査を行ないたいときには、図7におい
て、電源ケーブル18をコネクタ17aに接続するとと
もに、図1において、操作部10の操作によってコンピ
ュータ8に磁粉探傷法による欠陥検査であることを指示
し、また、浸透探傷法による欠陥検査を行ないたいとき
には、図7において、電源ケーブル18をコネクタ17
bに接続するとともに、図1において、操作部10の操
作によってコンピュータ8に浸透探傷法による欠陥検査
であることを指示するようにすればよい。
【0067】図11は本発明による欠陥検査方法のさら
に他の実施形態を示す図であって、23はスケール、2
4はカメラ視野であり、その他の部分は先の実施形態と
同様である。また、前出図面に対応する部分には同一符
号をつけて重複する説明を省略する。この実施形態は、
基本構成としては、先に説明した実施形態と同様である
が、長尺の試験体に対して特に有効である。
【0068】図11において、試験体1は、カラービデ
オカメラ(図1)のカメラ視野24内に収まらないよう
な長尺なものである。このような試験体1に対しては、
試験体1の長手方向に沿ってスケール23を配置する。
この場合のスケール23の配置としては、カラービデオ
カメラからみて、このスケール23によって試験体1の
検査すべき表面が隠されることがなく、かつスケール2
3がカメラ視野24内に入るようにする。
【0069】このスケール23としては、等間隔(例え
ば、1cm毎)に区切り線23aが設けられ、この区切
り線23aで区切られる区間毎に順番を示す目盛数字2
3bが付されている。また、磁粉探傷法による欠陥検査
の場合のスケール23と浸透探傷法による欠陥検査の場
合のスケール23とを色違いにしておくこともできる。
例えば、磁粉探傷法による欠陥検査に使用するスケール
23では、白地で区切り線23aや数字23の色を緑の
蛍光色とし、浸透探傷法による欠陥検査に使用するスケ
ール23では、白地で区切り線23aや数字23の色を
赤色とする。
【0070】図12(a)は図11に示した撮像による
表示画面の一具体例を示す図であって、25は表示画面
であり、図11に対応する部分には同一符号をつけて重
複する説明を省略する。また、図12(b)はこの表示
画面での画像信号を示す波形図である。
【0071】同図(a)において、表示画面25(図1
におけるカラーモニタ9の表示画面)には、試験体1
(図11)の表面の一部の画像とスケール23(図1
1)の一部の画像とからなる原画像が表示される。この
試験体1の表示画像のみをみたのでは、試験体1に対す
るカラービデオカメラ3の位置(この場合の位置とは、
試験体1の端部を基準位置とし、この基準位置からの試
験体1の長手方向の距離である)が不明であるが、スケ
ール23の画像をみることにより、その位置が明確とな
る。図示する例では、試験体1の端部から長手方向ほぼ
17cmの位置にカラービデオカメラ3があり、また、
試験体1のこの位置に欠陥候補2があることがわかる。
【0072】また、スケール23の画像を用いて位置を
自動的にかつ精度良く求めることができる。即ち、コン
ピュータ8(図1)は、パターンマッチングによってス
ケール23の目盛り数字23bを認識することができる
し、スケール23の区切り線23aを検出することがで
きるから、検出した区切り線23aと認識した目盛り数
字23bとの位置関係により、表示画面25上での各位
置が試験体1の端部からどの位の距離にあるかを認識で
きる。
【0073】この場合、表示画面25のスケール23の
画像上のこれに平行な探索線26の画像信号には、図1
2(b)に示すように、スケール23の区切り線23a
に対するピークE1,E2,……が生じ、これを検出す
ることにより、区切り線23aの表示画面25での位置
を検出することができる。つまり、表示画面25に表示
される区切り線23a毎に、試験体1の端部からの位置
と表示画面25での位置とが対応付けられている。
【0074】図12(a)において、例えば、スケール
23での目盛り数字17,18間の区切り線23aは、
試験体1の端部から17cmの位置にあるが、コンピュ
ータ8による演算の結果、表示画面25上でその左端部
から画素単位で距離h1の位置にあり、目盛り数字1
8,19間の区切り線23aは、試験体1の端部から1
8cmの位置にあるが、表示画面25上でその左端部か
ら画素単位で距離h2の位置にあるとし、欠陥候補2の
位置(重心位置M)が表示画面25上でその左端部から
画素単位で距離hの位置(但し、h1<h<h2とする)
にあるとし、また、隣り合う区切り線23a間の実際の
距離をH(ここでは、上記のように、H=1cmとす
る)とすると、欠陥候補2の試験体1上での位置は、次
の数5で表わされる。
【0075】
【数5】
【0076】このように、試験体1上の欠陥候補2の位
置を精度良く検出することができるし、さらには、表示
画面25上での区切り線23a間の距離をその間の画素
数や画素幅などをパラメータとして算出し、この算出距
離と実際の距離Hとから撮像倍率が得られるから、図1
2(a)において、距離h1,hからも、 17+(h−h1)×α (cm) (但し、αは撮像倍率)から欠陥候補2の位置Mを求め
ることもできる。
【0077】
【発明の効果】以上説明したように、本発明によると、
カラービデオカメラを用いて画像入力を行なうため、さ
らには、磁粉探傷法による欠陥検査では、紫外線カット
フィルタによって試験体から反射される紫外線をカット
できるため、検査者は自動欠陥検査結果の確認を容易に
行なうことができるし、また、欠陥候補が自動的に指示
表示されるので、欠陥検査の見逃しがほとんどなくな
り、しかも、検査画像を保存するため、検査の信頼性が
向上する。
【0078】また、本発明によると、カラービデオカメ
ラを用いるため、磁粉探傷と浸透探傷の自動欠陥検査を
同じセンサプローブで行なうことができ、利便性が大幅
に向上する。
【図面の簡単な説明】
【図1】本発明による欠陥検査装置の第1の実施形態を
示す構成図である。
【図2】図1に示した実施形態での紫外線カットフィル
タの効果を示す図である。
【図3】図1に示した欠陥検査装置に用いる本発明によ
る欠陥検査方法の一実施形態を示すフローチャートであ
る。
【図4】図1に示した欠陥検査装置に用いる本発明によ
る欠陥検査支援方法の第1の実施形態を示すフローチャ
ートである。
【図5】図4に示す欠陥検査支援方法で表示する欠陥候
補マーカの生成方法の一具体例を示す図である。
【図6】図4に示す欠陥検査支援方法でのマーカ表示し
た欠陥候補を示す図である。
【図7】本発明による欠陥検査装置の第2の実施形態の
要部を示す構成図である。
【図8】図7に示した欠陥検査装置に用いる本発明によ
る欠陥検査方法の一実施形態を示すフローチャートであ
る。
【図9】図8のステップ302,303の説明図であ
る。
【図10】図7に示した実施形態での浸透探傷で用いる
欠陥候補マーカの一具体例を示す図である。
【図11】本発明による欠陥検査装置の第3の実施形態
の要部説明図である。
【図12】図11に示した実施形態での表示画面を示す
図である。
【符号の説明】
1 試験体 2a 真の割れ欠陥 2b,2b’ 擬似欠陥 3 カラーテレビカメラ 4 紫外線照明手段 5 紫外線カットフィルタ 7 画像メモリ 8 コンピュータ 9 カラーモニタ 10 操作部 11 データ記憶装置 12 欠陥候補 13 中心線 14,14a〜14c 欠陥候補マーカ 16 フード 17a,17b コネクタ 18 電源ケーブル 19 白色照明手段 20 欠陥候補 22 欠陥候補マーカ 23 スケール 23a 区切り線 23b 目盛り数字 24 カメラ視野
───────────────────────────────────────────────────── フロントページの続き (72)発明者 田口 哲夫 茨城県日立市幸町一丁目1番1号 株式会 社日立製作所日立工場内 (72)発明者 田中 勲夫 茨城県日立市幸町一丁目1番1号 株式会 社日立製作所日立工場内 Fターム(参考) 2G051 AA37 AB02 AC02 AC22 BA05 BB07 CA04 ED04 FA04 GC04 GC17 GD01 2G053 AA11 AB22 BA12 BA15 BB08 CB24 CB27 CB29

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 磁粉探傷法による欠陥検査方法におい
    て、 カラーテレビカメラを用いて検査対象の試験体を撮像す
    ることを特徴とする欠陥検査方法。
  2. 【請求項2】 請求項1において、 前記ビデオカメラは、紫外線照射された前記試験体を紫
    外線カットフィルタを介して撮像することを特徴とする
    欠陥検査方法。
  3. 【請求項3】 浸透探傷法による欠陥検査方法におい
    て、 カラーテレビカメラを用いて検査対象の試験体を撮像す
    ることを特徴とする欠陥検査方法。
  4. 【請求項4】 請求項1,2または3において、 前記試験体を撮像する前記カラービデオカメラの視野内
    にスケールを配置したことを特徴とする欠陥検査方法。
  5. 【請求項5】 探傷法による欠陥検査装置において、 検査対象の試験体を撮像するカラービデオカメラと、 該試験体の照明手段としての紫外線照明手段及び白色照
    明手段とを設け、紫外線照明手段を用いた磁粉探傷法に
    よる欠陥検査と白色照明手段を用いた浸透探傷法による
    欠陥検査とを行なうことができるようにしたことを特徴
    とする欠陥検査装置。
  6. 【請求項6】 請求項5において、 前記試験体を撮像する前記カラービデオカメラの視野内
    にスケールを配置したことを特徴とする欠陥検査装置。
  7. 【請求項7】 請求項1〜6のいずれか1つに記載の前
    記カラービデオカメラから出力される画像信号を演算処
    理して前記試験体の欠陥候補を判定検出し、 前記カラービデオカメラの出力カラー画像信号によるカ
    ラー原画像を画面に表示して、該カラー原画像での欠陥
    候補と判定された画像をマーカで指示することを特徴と
    する欠陥検査支援方法。
  8. 【請求項8】 請求項7において、 前記画面に表示される欠陥候補が真の欠陥であるとき、
    該真の欠陥に対する前記マーカの表示色を異ならせ、該
    候補欠陥が擬似欠陥であるとき、該擬似欠陥に対する前
    記マーカを消去することを特徴とする欠陥検査支援方
    法。
JP06709199A 1999-03-12 1999-03-12 欠陥検査方法及び欠陥検査装置 Expired - Fee Related JP3694418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06709199A JP3694418B2 (ja) 1999-03-12 1999-03-12 欠陥検査方法及び欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06709199A JP3694418B2 (ja) 1999-03-12 1999-03-12 欠陥検査方法及び欠陥検査装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005154196A Division JP2005283599A (ja) 2005-05-26 2005-05-26 欠陥検査方法,欠陥検査装置及び欠陥検査支援方法

Publications (2)

Publication Number Publication Date
JP2000258398A true JP2000258398A (ja) 2000-09-22
JP3694418B2 JP3694418B2 (ja) 2005-09-14

Family

ID=13334882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06709199A Expired - Fee Related JP3694418B2 (ja) 1999-03-12 1999-03-12 欠陥検査方法及び欠陥検査装置

Country Status (1)

Country Link
JP (1) JP3694418B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194316A (ja) * 1999-10-26 2001-07-19 Hitachi Ltd 非破壊検査方法およびその装置
WO2006065180A1 (en) * 2004-12-16 2006-06-22 Volvo Aero Corporation A method and a device for detecting cracks in an object
WO2007073879A1 (de) * 2005-12-16 2007-07-05 Automation W + R Gmbh Verfahren und anornung zur erkennung von materialfehlern, in werkstücken
JP2014006219A (ja) * 2012-06-27 2014-01-16 Sumitomo Mitsui Construction Co Ltd ひび割れ検知装置、及びひび割れ検知方法
CN107764894A (zh) * 2016-08-22 2018-03-06 宝山钢铁股份有限公司 钢管磁粉探伤成像检测系统及方法
PL421962A1 (pl) * 2017-06-20 2019-01-02 Digital Care Spółka Z Ograniczoną Odpowiedzialnością Urządzenie do optycznej detekcji wad lustrzanej powierzchni płaskich obiektów, zwłaszcza wyświetlaczy telefonów komórkowych i/lub smartfonów
CN112683912A (zh) * 2020-11-27 2021-04-20 成都数之联科技有限公司 一种布面缺陷视觉检测方法及其装置
CN115908142A (zh) * 2023-01-06 2023-04-04 诺比侃人工智能科技(成都)股份有限公司 一种基于视觉识别的接触网微小部件验损方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194316A (ja) * 1999-10-26 2001-07-19 Hitachi Ltd 非破壊検査方法およびその装置
WO2006065180A1 (en) * 2004-12-16 2006-06-22 Volvo Aero Corporation A method and a device for detecting cracks in an object
WO2007073879A1 (de) * 2005-12-16 2007-07-05 Automation W + R Gmbh Verfahren und anornung zur erkennung von materialfehlern, in werkstücken
US7667834B2 (en) 2005-12-16 2010-02-23 Automation W + R Gmbh Method and configuration for detecting material defects in workpieces
JP2014006219A (ja) * 2012-06-27 2014-01-16 Sumitomo Mitsui Construction Co Ltd ひび割れ検知装置、及びひび割れ検知方法
CN107764894A (zh) * 2016-08-22 2018-03-06 宝山钢铁股份有限公司 钢管磁粉探伤成像检测系统及方法
PL421962A1 (pl) * 2017-06-20 2019-01-02 Digital Care Spółka Z Ograniczoną Odpowiedzialnością Urządzenie do optycznej detekcji wad lustrzanej powierzchni płaskich obiektów, zwłaszcza wyświetlaczy telefonów komórkowych i/lub smartfonów
CN112683912A (zh) * 2020-11-27 2021-04-20 成都数之联科技有限公司 一种布面缺陷视觉检测方法及其装置
CN115908142A (zh) * 2023-01-06 2023-04-04 诺比侃人工智能科技(成都)股份有限公司 一种基于视觉识别的接触网微小部件验损方法

Also Published As

Publication number Publication date
JP3694418B2 (ja) 2005-09-14

Similar Documents

Publication Publication Date Title
US7215807B2 (en) Nondestructive inspection method and apparatus
US7462827B2 (en) Non-destructive inspection method and apparatus therefor
JP2002236100A (ja) 非破壊検査方法およびその装置
US11300508B2 (en) Apparatus and method for extracting low intensity photonic signals
JPH11108759A (ja) 欠陥検査方法及びその装置
JP2005351910A (ja) 欠陥検査方法およびその装置
US4428672A (en) Variable threshold workpiece examination
JP2005283599A (ja) 欠陥検査方法,欠陥検査装置及び欠陥検査支援方法
JP4618501B2 (ja) 蛍光探傷装置および蛍光探傷方法
JP2000258398A (ja) 欠陥検査方法,欠陥検査装置及び欠陥検査支援方法
JP4279833B2 (ja) 外観検査方法及び外観検査装置
JP2010139434A (ja) 異物とキズ痕との判別検査装置及び検査方法
JP2003014580A (ja) 検査装置、検査方法
JP4956077B2 (ja) 欠陥検査装置及び欠陥検査方法
JP2001194316A (ja) 非破壊検査方法およびその装置
JP2001141664A (ja) 表面検査における検査支援方法
JPH08190633A (ja) 欠陥判別方法
JP2563865B2 (ja) 画像認識装置及び方法
JPH10103938A (ja) 鋳造品の外観検査方法及び装置
WO2023053728A1 (ja) 表示処理装置、表示処理方法、及び、表示処理プログラム
JPH02110306A (ja) 観測位置検出方法およびその装置
JPH09318489A (ja) 液晶表示板検査装置
JP2564737B2 (ja) 自動磁粉探傷装置
JPS62110148A (ja) 磁粉探傷欠陥判別法
JP2004289571A (ja) 撮像素子の画素欠陥マスク方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050114

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050624

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090701

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100701

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110701

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110701

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120701

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130701

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees